Cloudflare Blog· Matthew Conroy·· 4 天前精选AI 评分73
Cloudflare 公布与 OpenAI 搜索发现合作成果，已助力索引数亿新网页
Cloudflare and OpenAI: Making AI discovery better for everyone
AI 导读
Cloudflare 宣布与 OpenAI 开展的联合试点已帮助其搜索爬虫发现并索引数亿个此前未知的网页。该试点基于 Cloudflare 约 1% 的网络流量，通过识别自动化假流量、重定向和恶意单页来减少爬虫的无效抓取，从而降低站点负载。官方表示该合作仅使用网络元数据优化搜索发现而不用于模型训练，站长仍可通过 AI Crawl Control 控制 AI 访问权限。
推荐理由
Cloudflare 借助网络元数据帮助 OpenAI 索引数亿新网页，为内容站点在避免无效爬取负载的前提下接入 AI 搜索提供了参考路径。
来源：Cloudflare Blog · blog.cloudflare.com