在 2024 年的生日周活动期间，我们在 Cloudflare Radar 上推出了 AI 机器人与爬网程序流量图表，让用户可以了解哪些机器人与爬网程序最具攻击性、请求量最大，哪些爬网程序定期爬取以及其他信息。今天，我们将在 Cloudflare Radar 上推出新的专用“AI 见解”页面，其中包含了这张图表，并在此基础上添加了其他指标，以便用户可以从多个角度了解 AI 相关趋势。除了流量趋势之外，新增部分还包括基于 1.1.1.1 DNS 解析器流量的、公开可用的生成式 AI 服务的相对受欢迎程度视图、使用 robots.txt 指令限制 AI 机器人对内容的访问，以及 Cloudflare Workers AI 所见的开源模型使用情况。
下面，我们将更详细地查看全新“AI 见解”页面的各个部分。
跟踪 AI 机器人的流量趋势，有助于我们更好地了解机器人活动随时间变化的情况。最初于 2024 年 9 月在 Cloudflare Radar 的“流量”页面推出的 AI 机器人与爬网程序流量趋势图表已移至“AI 见解”页面，并且可以查看选定时间段内收集的全球最活跃的五大 AI 机器人与爬网程序流量趋势。此处跟踪的用户代理关联列表基于 ai.robots.txt 列表，并且将在识别新条目后进行更新。可从 Radar API 获得此图表的时间序列和摘要数据，而我们看到的、完整集合的 AI 机器人与爬网程序流量趋势可在 Data Explorer 中查看。
在过去几年里，Cloudflare Radar 年度回顾报告已经分析了来自我们 1.1.1.1 DNS 解析器的请求流量数据，以展示最热门的互联网服务排名，包括总体排名和多个类别的排名。在 2023 年 和 2024 年的年度回顾报告中，此部分都包含了公开可用的生成式 AI 服务排名，ChatGPT 在这两年均高居榜首。虽然一篇配套的博客文章更详细地介绍了这些服务排名在一年之中的变化情况，但它也只是回顾已经发生的事情。也就是说，它无法让人深入了解正在发生的变化。新的生成式 AI 服务的受欢迎程度图表，会根据每日汇总的与这些服务相关的域的 DNS 请求流量来显示这些服务和平台的相对排名。可通过 Radar API 来获取基础时间序列数据，操作方法是使用 serviceCategory=Generative%20AI 参数。
下图显示，截至 2025 年 1 月底，排名前五的服务在过去四周内相当稳定，但排名第 6 至 10 位的服务则经常变动。我们预计，排名将随着时间的推移继续变动。DeepSeek 是一项在 1 月底风靡全行业的生成式 AI 服务，可以看到它在 1 月 26 日首次出现时排名第 9 位，仅仅三天之后，它在 1 月 29 日迅速上升到第 3 位。
内容提供商可以尝试使用 robots.txt 文件中的“允许”或“禁止”指令，控制对其完整网站或特定部分的访问。不过，访问控制能否成功取决于机器人是否遵守所列出的各项指令。Cloudflare 的 AI 审核让用户可以查看并控制 AI 机器人与网站的交互方式，并且如今的 Cloudflare Radar 让您能够深入了解其他网站的应对方法。
我们每周都会分析 Cloudflare Radar 的前 10,000 个域，以确定哪些关联的网站发布了 robots.txt 文件，并汇总这些文件中的特定 AI 指令。在新的 robots.txt 文件中找到的 AI 用户代理图表（如下所示）中，我们现在会提供关于这些热门网站针对 AI 机器人所执行的操作方面的见解。这些操作均由指令指定，允许或禁止特定用户代理（机器人标识符）访问网站上的所有内容（完全允许/禁止）或某些部分（部分允许/禁止）。
此外，我们还按类别（例如，电子商务、新闻与媒体）来梳理这些域，突出显示这些类别中的网站在其指令中所列出的特定机器人。例如，如下面的新闻与媒体域类别图表所示，这些类型的网站几乎普遍完全禁止 AI 用户代理访问其网站。
将指令更改为“允许”会显示一组数量少得多的用户代理，明确允许完全访问或部分访问的网站数量大幅减少。（请注意，如果 robots.txt 文件中未列出用户代理且未指定通配符“*”用户代理，则默认情况下允许完全访问。）
除了显示在“AI 见解”页面上之外，还可以通过 Radar API 和 Data Explorer 进一步探索和分析基础数据。
AI 模型的竞争格局正在迅速演变，提供商会定期发布更强大的模型，能够完成文本生成、图像生成、语音识别和图像分类等任务。Cloudflare 与 AI 模型提供商密切合作，确保Workers AI 可以在这些模型发布之后，尽快为其提供支持。现在，在 Cloudflare Radar 新的“AI 见解”页面中，可以根据客户账户共享，查看公开可用的受支持模型的受欢迎程度（Workers AI 模型受欢迎程度），以及这些模型执行的任务类型（Workers AI 任务受欢迎程度）。可以在 Data Explorer 中查看各种拓展见解，包括模型和任务完整列表的份额趋势和摘要，以及比较模型和任务份额在一段时间的变化。也可以通过 API 端点，了解基础模型受欢迎程度和任务受欢迎程度。
AI 领域的发展极具活力，新的平台、服务和模型不断涌现。在某些情况下，这些新进入者甚至有能力颠覆市场，因为它们看到了用户兴趣和使用量的快速增长。自 ChatGPT 发布两年多以来，内容提供商与 AI 平台之间关于抓取内容进行模型训练的问题依旧存在矛盾冲突。Cloudflare Radar 上的新“AI 见解”页面提供了关于不断变化的 AI 领域的及时趋势和信息，让行业观察家和参与者能够更好地了解 AI 的动态变化和发展。
如果您在社交媒体上分享“AI 见解”图表，请务必标记我们：@CloudflareRadar (X)、noc.social/@cloudflareradar (Mastodon) 以及 radar.cloudflare.com (Bluesky)。您也可以在社交媒体上联系我们，或发送电子邮件联系我们，提出 AI 指标方面的建议，我们可以探讨将这些指标添加到未来的页面中。