互联网公司Cloudflare将默认阻止人工智能爬虫在未经网站所有者许可或补偿的情况下抓取内容，此举可能显著影响AI开发者训练模型的能力。
自周二起，每个新注册Cloudflare的域名都将被询问是否允许AI爬虫访问，从而有效赋予网站阻止爬虫抓取其数据的能力。该公司还将允许出版商通过新型“按次付费爬取”模式向AI爬虫收取访问费用。
Cloudflare属于内容分发网络（CDN）服务商，通过将数据缓存至更接近终端用户的位置，帮助企业加速在线内容和应用程序的传输。这类网络对保障人们日常无缝访问网络内容起着关键作用。该公司在2023年报告中估算，全球约16%的互联网流量直接经由其CDN网络传输。
“AI爬虫始终在无限制地抓取内容。我们的目标是将控制权交还给创作者，同时继续助力AI公司创新，”Cloudflare联合创始人兼CEO马修·普林斯（Matthew Prince）在周二的声明中表示。他补充道：“这是通过建立多方共赢的新模式，守护自由繁荣互联网未来的关键举措。”
