隆重推出 Markdown for Agents

在线内容和企业的发现方式正在迅速变化。过去，流量来自传统的搜索引擎，而 SEO 决定了谁能优先被搜索到。如今，流量越来越多地来自 AI 爬网程序和代理，它们需要从为真人用户构建的、通常为非结构化的 Web 中获取结构化数据。

企业为了继续保持领先地位，现在不能只考虑真人访客或遵循传统的 SEO 优化方法，更要开始将智能体视为同等重要的用户。

将原始 HTML 提供给 AI，就像是按字数付费阅读包装，而不是里面的字母。在 Markdown 页面中添加一个简单的 ## About Us 大约消耗 3 个令牌；而它对应的 HTML 代码 <h2 class="section-title" id="about">About Us</h2> 会占用 12-15 个令牌，这还不包括填充每个真实网页但毫无语义价值的 <div> 包装器、导航栏和脚本标签。

您正在阅读的这篇博客文章在 HTML 中占用 16,180 个令牌，而转换为 Markdown 后仅使用 3,150 个令牌。这相当于令牌使用量减少了 80%。

Markdown 已迅速成为智能体和整个 AI 系统的通用语言。格式清晰的结构使其非常适合 AI 处理，最终带来更好的结果，同时最大限度地减少令牌浪费。

问题在于，Web 是由 HTML 而不是 Markdown 构成，而且页面大小多年来一直在稳步增长，导致页面难以解析。智能体的目标是过滤掉所有非必要元素，并扫描相关内容。

如今，将 HTML 转换为 Markdown 是任何 AI 管道的常见步骤。不过，这个流程不尽如人意：它会浪费计算资源，增加成本和处理复杂度，最重要的是，这可能并不是内容创作者最初预期的使用方式。

如果 AI 智能体绕过复杂的意图分析和文档转换，直接从源接收结构化 Markdown 文档，将会怎么样？

Cloudflare 网络现在支持在源实时转换内容，适用于已启用内容协商标头的区域。现在，当 AI 系统从任何使用 Cloudflare 且已启用 Markdown for Agents 功能的网站请求页面时，它们可以在请求中表达对 text/markdown 格式的偏好。在条件允许的情况下，我们的网络会自动、高效地将 HTML 实时转换为 Markdown。

其工作原理如下所述：要从已启用 Markdown for Agents 功能的区域获取任何页面的 Markdown 版本，客户端需要添加 Accept 协商标头，并将 text/markdown 作为其中一个选项。Cloudflare 将检测此标头，从源获取原始 HTML 版本并将其转换为 Markdown，然后再提供给客户端。

下面是一个带有 Accept 协商标头的 curl 示例，请求获取我们的开发人员文档中的页面：

curl https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/ \
  -H "Accept: text/markdown"

或者，如果您要使用 Workers 构建 AI 智能体，则可以使用 TypeScript：

const r = await fetch(
  `https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/`,
  {
    headers: {
      Accept: "text/markdown, text/html",
    },
  },
);
const tokenCount = r.headers.get("x-markdown-tokens");
const markdown = await r.text();

我们已经看到一些目前最流行的编码智能体（例如 Claude Code 和 OpenCode）将此类 Accept 标头与内容请求一起发送。现在，将以 Markdown 格式返回此请求的响应。就是这么简单。

HTTP/2 200
date: Wed, 11 Feb 2026 11:44:48 GMT
content-type: text/markdown; charset=utf-8
content-length: 2899
vary: accept
x-markdown-tokens: 725
content-signal: ai-train=yes, search=yes, ai-input=yes

---
title: Markdown for Agents · Cloudflare Agents docs
---

## What is Markdown for Agents

The ability to parse and convert HTML to Markdown has become foundational for AI.
...

请注意，我们在转换后的响应中添加了一个 x-markdown-tokens 标头，用于指明 Markdown 文档中估计的令牌数量。例如，您可以在流程中使用此值，计算上下文窗口的大小或决定分块策略。

其工作原理如下图所示：

在上一次生日周期间，Cloudflare 宣布推出了内容信号，这个框架支持任何用户表达他们对他人访问其内容后如何使用这些内容的偏好。

返回 Markdown 时，需要确保内容能够被智能体或 AI 爬网程序使用。这就是 Markdown for Agents 转换后的响应添加 Content-Signal: ai-train=yes, search=yes, ai-input=yes 标头的原因，它表明内容可用于 AI 训练、搜索结果和 AI 输入，包括智能体的使用。未来，Markdown for Agents 将提供用于界定自定义内容信号政策的选项。

有关此框架的更多信息，请访问我们的内容信号专门页面。

我们在 Cloudflare 开发人员文档和博客中启用了这项功能，邀请所有 AI 爬网程序和智能体使用 Markdown 而不是 HTML 格式来访问我们的内容。

立即体验此项功能，使用 Accept: text/markdown 请求获取这篇博客。

curl https://blog.cloudflare.com/markdown-for-agents/ \
  -H "Accept: text/markdown"

结果为：

---
description: The way content is discovered online is shifting, from traditional search engines to AI agents that need structured data from a Web built for humans. It’s time to consider not just human visitors, but start to treat agents as first-class citizens. Markdown for Agents automatically converts any HTML page requested from our network to markdown.
title: Introducing Markdown for Agents
image: https://blog.cloudflare.com/images/markdown-for-agents.png
---

# Introducing Markdown for Agents

The way content and businesses are discovered online is changing rapidly. In the past, traffic originated from traditional search engines and SEO determined who got found first. Now the traffic is increasingly coming from AI crawlers and agents that demand structured data within the often-unstructured Web that was built for humans.

...

如果您要构建的 AI 系统需要从 Cloudflare 外部转换任意文档，或者内容源不支持 Markdown for Agents 功能，我们提供了其他方法，帮助您将文档转换为 Markdown 以供应用：

• Workers AI AI.toMarkdown() 支持多种文档类型（不仅限于 HTML）以及摘要功能。

• 如果您需要在真实浏览器中渲染动态页面或应用然后再进行转换，则浏览器渲染 /markdown REST API 支持 Markdown 转换。

为了应对 AI 系统浏览网页方式的转变，Cloudflare Radar 现在在全球 AI 见解页面以及单个机器人信息页面中都提供了 AI 机器人和爬网程序流量的内容类型见解。

新增的 content_type 维度和过滤器将显示返回给 AI 智能体和爬网程序的内容类型分布，按 MIME 类型类别进行分组。

您还可以查看按特定智能体或爬网程序筛选的 Markdown 请求。以下是向 OAI-Searchbot 返回 Markdown 的请求，OAI-Searchbot 是 OpenAI 用于支持 ChatGPT 搜索的爬网程序：

这些新数据将使我们能够跟踪 AI 机器人、爬网程序和智能体使用 Web 内容的方式随时间的变化趋势。与以往一样，可以通过公共 API 和 Data Explorer 免费访问 Radar 中的所有内容。

若要为您的区域启用 Markdown for Agents 功能，请登录 Cloudflare 仪表板，选择您的帐户，选择所在区域，找到“快速操作”，切换 Markdown for Agents 按钮即可启用。此项功能目前处于测试阶段，Pro、Business 和 Enterprise 计划以及 SSL for SaaS 客户均可免费使用。

您可以在 Cloudflare 开发人员文档中找到关于 Markdown for Agents 的更多信息。我们将继续完善和增强这项功能，并且欢迎您提供反馈。我们期待了解 AI 爬网程序和智能体如何处理和适应不断演变的非结构化 Web 数据。