网络上的绝大多数用户体验由搜索驱动。搜索是我们完成任务的方式，也是网络上几乎所有内容被发现的途径——无论是创作者、商家，还是为您在搜索框中输入的问题提供答案。近 30 年来，这一内容发现过程始终建立在一项简单契约之上：您允许搜索引擎抓取内容，作为回报，它将为您的网站导流访客。您可借助广告、订阅服务，甚至仅凭受众规模，将这些访问者转化为商业价值。可被发现等于获得收益。一年前，在首个内容独立日，我们表明了在 AI 时代捍卫这一协议的决心。但表明决心仅是第一步。自那时起，AI 搜索在消费者生活中的普及速度持续加快，如今超过 50% 的在线流量已来自非人类实体。威胁已不再局限于少数可被屏蔽的训练爬虫；而是搜索本身正围绕 AI 生成的答案被重构。
如今的问答引擎会读取您的页面并向用户直接提供摘要，因此用户无需实际访问页面——而原本依赖此次访问所产生的收入也随之消失。我们对此有切身体会，独立研究也证实了这一点：皮尤研究中心（Pew Research Center）2025 年的一项研究发现，当 Google 显示 AI 生成的摘要时，用户点击传统搜索结果链接的比例仅为 8%（约为无摘要时的一半），而点击摘要内部链接的比例更是仅有 1%。这让我们的客户进退维谷：退出 AI 意味着可发现性降低，而参与其中虽能为用户创造可观价值，自身所得回报却日益微薄。我们的客户希望在提供价值的同时获得应有的曝光与回报，而当前却被迫在这两者之间做出取舍。
今天，我们宣布了新的机器人选项，以帮助客户更好地控制谁可以访问他们的网站以及可以执行的操作。但屏蔽仅是第一步：说“不”虽能保护内容，却无法重建支撑其可持续发展的商业模式。是时候开始建立互联网的新经济模型了，从搜索开始。
透明度与控制权是基石，但还需要更多。在 2025 年，我们通过一套负责任的 AI 机器人原则奠定了我们的基础：机器人应透明地表明其身份及用途，尊重网站所有者的选择，并以善意行事。我们的工具确保机器人恪守这一标准。但强制机器人遵守良好行为规范，并不能让依赖 AI 搜索的用户获得更好的体验，也无法将任何收益返还给那些其创作成果使答案成为可能的内容创作者。我们不仅能帮助网络说“不”，更能助力重建它愿意说“是”的内容。
为此，我们今天宣布推出两项新举措，旨在由守转攻，重新弥合这一传统契约中相互依存的两个关键部分。
让 AI 搜索更智能：通过利用我们全球网络中所见的信号，例如最新内容、高质量内容和实际变更，我们可以帮助搜索引擎呈现最相关的内容，并减少不必要的抓取。只有在网页发生变化时才重新抓取，这样人们搜索时就能得到更好的答案，同时 AI 公司和网站所有者的成本也会降低。
让创作者因其贡献的价值获得报酬：您的作品若被用于解答用户疑问，就应得到合理回报，而非沦为免费抓取的数据源。您应当能够清楚了解哪些内容被使用，以及用户提出了哪些问题。这应当成为真实的收入来源，并激励您持续创作值得被发现的原创内容。
今天，我们正式启动一项研究计划，旨在让 AI 搜索变得更智能，并避免客户为那些无法产出新价值的爬取行为买单。
超过 20% 的网站流量通过 Cloudflare 的网络传输，这使我们拥有独特的视角。我们可以判断哪些页面确实发生了变化，以及哪些页面受到用户和智能体的关注。通过本计划，我们将利用客户自愿提供的内容新鲜度信号进行探索，并结合我们对人类流量与机器人流量的深度分析。对问答引擎而言，这正是通往高质量内容的路线图。对我们的客户而言，该方案提供了用户实际查询内容的洞察，以及其内容在 AI 搜索结果中的呈现情况。其目标是衡量两件事：这些信号在多大程度上帮助问答引擎呈现更及时、更高质量的内容，以及在多大程度上减少了不必要的爬取。
第二项优势，即减少不必要的爬取，其意义超过表面所见。Cloudflare 数据表明，超过 50% 的善意机器人的抓取流量用于重新获取未更改的页面——随着抓取量的增加，这一比例可能会进一步上升。只要有一个“内容无更新”的信号，爬虫便可直接跳过访问。这节省了回答引擎的计算资源。更重要的是，网站所有者无需再为那些根本不需要的请求承担服务和付费成本。
此计划秉持中立原则：旨在为所有愿以公平方式参与的问答引擎提供支持。研究仅限于搜索。我们不共享任何内容，也不会将任何数据用于基础模型的训练。我们将发布研究成果，涵盖对网站所有者的具体收益，如增强内容可发现性及降低服务器压力。我们计划在今年晚些时候广泛推出此项功能，以减少我们整个网络中不必要的爬取行为。
去年我们上线了“按爬取付费”功能，让内容发布者能够就 AI 公司对其内容的爬取行为收费。此举迈出了实质性的第一步，然而以爬取来衡量价值仍显粗糙。某个页面可能仅被爬取一次，却在数千个答案中被引用；也可能被反复爬取，却从未被实际使用。创作者希望就其所提供的价值获得公平报酬。
因此，我们正将“按抓取付费”改为“按使用付费”。我们正与 Ceramic.ai、You.com 等领先 AI 公司开展实验，合作安排十分明确：这些公司可将其支付模型接入 Cloudflare 网络，并轻松扩展至其中的所有内容所有者。
Ceramic 构建了“按查询付费”模式，参与该计划的发布者可在其内容出现在 Ceramic 搜索结果中时获得报酬。这意味着付款基于内容所产生的实际价值，而非取决于爬虫偶然抓取该内容的次数。
Ceramic.ai 创始人兼首席执行官 Anna Patterson 表示：“要推动 AI 搜索的未来发展，我们需要一位具备广泛覆盖能力、并同样致力于透明度与公平补偿的合作伙伴。Cloudflare 使我们能够轻松且以编程方式扩展运营规模。通过将我们的按查询付费模型引入其网络，我们确保数百万内容所有者能够无缝选择加入，并在其内容每次出现在我们的搜索结果中时获得报酬。”
除了报酬外，参与 Cloudflare/Ceramic 计划的内容所有者还将获得新的报告，以助力问答引擎优化（Answer Engine Optimization, AEO）。客户终于能够查看导致其内容出现在搜索结果中的热门查询、具体的网页及摘要片段、其内容在搜索结果中的平均排名位置等信息。我们将推出多款旨在帮助客户提高可发现性的产品，这只是第一个。
这只是新兴方案之一。另一种方案来自 You.com：智能体可根据需要按需付费获取特定的优质内容，无需任何预先承诺。AI 提供商正在测试各种新的支付模式（例如按查询付费、按结果付费等），而我们具备支持所有这些模式的基础设施。
我们必须坦率说明，这是一项实验。尚有许多待探索的问题，尤其在互联网级规模下的可行性与稳定性。我们将与合作伙伴及客户在实践中共同探索，并分享所获经验。但目标是明确的：AI 搜索公司可获得更新、更有依据的答案，而那些凭借自身工作使这些答案成为可能的客户，在提供帮助时即获得报酬。Cloudflare 在此过程中的职责是提供基础设施层，以促进这一市场的繁荣发展。
我们认为，这更契合搜索经济的发展方向。过去以人类为中心的网络对搜索进行了优化，旨在节省时间——提供摘要、十条蓝色链接和一次点击。智能体式互联网有所不同：智能体可以快速读取并持续搜索。搜索正变成智能体为回答单个问题而执行数十次的操作，其性质更接近一种实用工具，而非目的地。在那样的环境下，爬取行为或用户点击已不再重要。真正重要的是结果。对结果进行定价，并向促成这一结果的人支付报酬，这才是网络持续繁荣的方式。
一年前的“内容独立日”，我们的目标是默认“拒绝”：AI 不可在未提供补偿的情况下进行爬取。今年，我们专注于为用户提供更多产品和控制能力，使其能够表示“同意”，并从中获得更丰厚的收益。
今天的公告仅仅是个开端。Cloudflare 的研究项目旨在探讨：我们的信号能否以更少的爬取量获得更优的结果。“按使用付费”是一个颇具前景的方向，我们将携手认同“内容创作者应为其工作获得公平补偿”的合作伙伴共同开展实验。过去 30 年的 Web 正是这样构建起来的：有人开展试点，将“现有模式已失效”转化为“这就是新模式”，一次实验、一次迭代地推进。我们相信，在这个全新的智能体时代，让客户的内容具备可发现性，并针对最大化的发现效果进行优化，将为其创造切实价值。但前提应当是他们不用免费交出其最具价值的创意资产。
Web 正在改变，其所依赖的商业模式亦随之变化。过去的互联网具备开放性与中立性，因而值得人们为之贡献内容。我们正面临一次难得的机遇：维持互联网的开放与中立，并构建能够为其未来提供资金支持的商业模式。为提问的人类和智能体提供更智能的答案。为凭借专业能力、创意与持续投入产出优质问答内容的从业者打造公平合理的权益分配方案。这正是我们践行 Cloudflare 使命的方式：助力打造更优质的互联网。
祝内容独立日快乐！
正在开放、智能体就绪的 Web 上进行构建？如果您希望进一步了解 Ceramic 与 You 计划，请填写此表单。如果您正在构建一个问答引擎并希望以更智能的方式进行抓取，我们也很愿意听到您的想法：aeo@cloudflare.com。