Cloudflare首席执行官Matthew Prince刚刚正式宣布：从今天起，Cloudflare将默认阻止已知的AI机器人抓取网站，除非获得明确许可或支付费用。

这不仅仅是一个技术调整。Cloudflare的“内容独立日”标志着集体升级。自去年秋天以来，已有超过一百万个网站选择阻止AI爬虫，但现在这是每个新Cloudflare域名的默认设置。此外，一批媒体巨头——从美联社、《时代》、《大西洋月刊》和BuzzFeed到Reddit、Quora和环球音乐集团——都已签署加入。

这一行动在社交媒体上受到好评，投资者和SEO专家称赞这一举措。

“这就是方向，”Stability AI前音频副总裁Ed Newton-Rex说；“Cloudflare再次解决问题，”化名交易员和内容创作者Romano RNR说。“没关系。需要一种力量来将平衡倾斜回到曾经的状态，”前谷歌和现任SEO顾问Pedro Dias说。

当然，并非所有人都信服。反对这一举措的主要论点是它可能会伤害未出现在AI搜索中的企业。

或者也许不会：Prince指出，十年前，谷歌每发送给出版商一个访问，就抓取两个页面。鉴于使用互联网的人数激增至几乎覆盖全球，出版商应该受益。但他们没有，因为为了在谷歌上“被看到”，出版商需要让他们的内容更容易被搜索巨头总结——以便更好地将他们留在谷歌搜索中。

所以今天，对于谷歌从你那里获取的每“18个页面，你得到一个访问者，”Prince说。

但对于AI公司的数字则是成倍的毁灭性。Prince说：“六个月前OpenAI的比例是多少？250比1。今天是多少？1500比1。”而OpenAI还不是最严重的。Anthropic六个月前是“6000比1。今天是多少？60000比1，”他说。

“如果互联网要在AI时代生存下去，我们需要给予出版商他们应得的控制权，并建立一个对每个人都有效的新的经济模式——创作者、消费者、未来的AI创始人以及网络本身的未来，”Prince辩称。“我不会粉饰太平。如果人们没有创造内容的动力，他们就不会创造内容”他单独说。“我们必须把这一点还给他们，否则互联网就会消亡，”Prince说。

“按次爬取付费”——或者不爬取

为了迫使AI公司付出代价或被排除在外，Cloudflare正在开创一种新的AI内容访问方式：一个有权限的、按次爬取付费的市场。出版商首次可以为AI机器人设定自己的费率——调用长期未用的HTTP 402“需要付款”代码作为数字收费站。

出版商可以允许免费访问、对每次爬取收费或完全阻止。公司表示这仅对领先内容创作者提供早期访问，但计划扩大系统规模。

“按次爬取付费”倡议的到来正值一些网络最大内容提供商在多年内容被免费获取并在其他地方获利后，寻求对AI公司的杠杆作用。“当AI公司不能再免费获取任何他们想要的东西时，它为基于许可和合作的可持续创新打开了大门，”Condé Nast首席执行官Roger Lynch说。

Prince认为，这种联盟建设是必要的。

“没有稀缺性就不可能有良好的市场，这就是为什么这需要集体努力，”他说。他警告说，今天达成的许可协议，如果不与真正的阻止结合，将来会更糟。

研究证实，这一运动不仅仅是象征性的。根据Originality.AI和路透社研究所的研究，48%的全球顶级网站已经在阻止AI爬虫。去年，Cloudflare实施了一个选项以便轻松阻止AI爬虫，公司表示已有超过一百万客户使用了该选项。

现在，新的Cloudflare域名在注册时会被询问是否允许AI爬虫，默认是阻止。现有客户可以随时更改他们的设置。