原文：Cloudflare’s new policy pushes AI companies to pay for publishers’ content
Cloudflare 刚刚向人工智能行业发出了一个新的截止日期，将用于传统搜索目的的网络爬虫（例如 Google 搜索）与用于人工智能代理和训练的网络爬虫分开。该公司周三宣布，从 2026 年 9 月 15 日开始，Cloudflare 的默认设置将阻止“混合用途”爬虫访问任何托管广告的页面。
这意味着默认情况下，混合搜索、代理使用和训练的爬虫将被阻止爬行这些网站，除非网站所有者另外调整设置。该公司表示，这些默认设置的更改将适用于新的 Cloudflare 客户、现有客户设置的新站点以及所有现有的免费客户。
此举可能会影响人工智能模型提供商访问网络内容以进行培训并帮助支持其代理服务的方式。
Cloudflare 指出，大多数网站所有者希望他们的内容可以通过搜索以及人工智能服务被发现，但他们希望得到保护，防止其知识产权被免费泄露。
Cloudflare 特别指出，“世界上最大的搜索引擎”（显然是指谷歌！）比其他人工智能公司能够访问“多两倍的信息”，因为这家搜索巨头让客户很难在不使用人工智能的情况下保持被发现。
谷歌过去曾反对这种普遍化，并指出它提供了一个名为 Google Extended 的机器人，允许网站所有者选择不将其内容用于培训以及 Gemini Apps 和 Vertex API 等人工智能产品和服务。它的使用不会影响网站在 Google 搜索中的收录。然而，这家科技巨头的旗舰产品 Googlebot 可以进行搜索抓取，包括 AI 概述和 AI 模式等 AI 功能。
Cloudflare 联合创始人兼首席执行官 Matthew Prince 在宣布这一消息时表示：“既然互联网上的大部分流量都是非人类的，我们必须走得更远、更快地采取行动，以便出现可持续的生态系统。”