このコンテンツは自動機械翻訳サービスによる翻訳版であり、皆さまの便宜のために提供しています。原本の英語版と異なる誤り、省略、解釈の微妙な違いが含まれる場合があります。ご不明な点がある場合は、英語版原本をご確認ください。
オンラインのコンテンツや企業の発見方法は、急速に変化しています。過去には、トラフィックは従来の検索エンジンから発信され、SEOが誰が最初に見つかるかを決定しました。現在、人間向けに構築された非構造化Webの中で構造化されたデータを要求するAIクローラーやエージェントからのトラフィックが増加しています。
企業として常に先手を打つためには、今こそ人間の訪問者やSEO最適化の従来の常識として考えているのではなく、エージェントを第一級の市民として扱い始める時です。
生のHTMLをAIに送り込むことは、中の文字ではなくパッケージを読むための言葉で料金を支払うようなものです。Markdownのページ上の単純な## About Usは、およそ3トークンのコストがかかります。そのHTML版 – <h2 class="section-title" id="about">About Us</h2> – は12～15トークンを消費します。これは、すべての実際のウェブページを膨らませ、意味的な価値がまったくない<div>ラッパー、ナビゲーションバー、スクリプトタグを考慮に入れる前の話です。
今お読みいただいているこのブログ記事は、HTMLで16,180トークン、Markdownに変換する際に3,150トークンを必要とします。これはトークンの使用量を80％削減することです。
Markdownは、エージェントとAIシステム全体にとって、あっという間に共通語になりました。このフォーマットの明示的な構造は、AIによる処理に適しており、最終的にはトークンの無駄を最小限に抑えつつ、より良い結果をもたらします。
問題は、WebはMarkdownではなくHTMLでできており、ページの重みが年月と共に着実に増え、ページを解析するのが難しくなっているという点です。エージェントの目標は、不要な要素をすべてフィルタリングし、関連するコンテンツをスキャンすることです。
HTMLからMarkdownへの変換は、今やAIパイプラインでよく行われるステップです。しかし、このプロセスは理想的なものとは程遠いものです。計算の無駄になったり、コストや処理の複雑さが増すこともありますし、何よりも、コンテンツ制作者が最初に自分のコンテンツの利用を意図したわけではない可能性があるからです。
AIエージェントが意図分析やドキュメント変換の複雑さを回避し、代わりにソースから直接構造化されたマークダウンを受け取ることができるとしたら？
Cloudflareのネットワークは、有効化されたゾーンでコンテンツネゴシエーションヘッダーを使用して、ソースでのリアルタイムのコンテンツ変換をサポートするようになりました。AIシステムがCloudflareを使用し、Markdown for Agentsが有効になっているWebサイトからページをリクエストする際、リクエストでテキスト/Markdownの希望を表明できるようになりました。当社のネットワークは、可能な限り、その場で自動的かつ効率的にHTMLをMarkdownに変換します。
仕組みは次の通りです。エージェントのMarkdownが有効になっているゾーンから任意のページのMarkdownバージョンを取得するには、クライアントは、Acceptネゴシエーションヘッダーにtext/markdownをオプションの1つとして追加する必要があります。Cloudflareはこれを検出し、オリジンからオリジナルのHTMLバージョンを取得し、クライアントに提供する前にマークダウンに変換します。
以下は、開発者向けドキュメントからページをリクエストする、Accept交渉ヘッダーを含むcurlの例です。
curl https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/ \
-H "Accept: text/markdown"
また、Workersを使用してAIエージェントを作成する場合は、TypeScriptを使用することができます。
const r = await fetch(
`https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/`,
{
headers: {
Accept: "text/markdown, text/html",
},
},
);
const tokenCount = r.headers.get("x-markdown-tokens");
const markdown = await r.text();
Claude CodeやOpenCodeなど、現在最も人気のあるコーディングエージェントのいくつかは、コンテンツへのリクエストとともにこれらの受け入れヘッダーを送信しています。これで、このリクエストに対するレスポンスはマークダウン形式で構成されます。とてもシンプルです。
HTTP/2 200
date: Wed, 11 Feb 2026 11:44:48 GMT
content-type: text/markdown; charset=utf-8
content-length: 2899
vary: accept
x-markdown-tokens: 725
content-signal: ai-train=yes, search=yes, ai-input=yes
---
title: Markdown for Agents · Cloudflare Agents docs
---
## What is Markdown for Agents
The ability to parse and convert HTML to Markdown has become foundational for AI.
...
変換済みレスポンスには、Markdown文書の推定トークン数を示す x-markdown-tokens ヘッダーが含まれることに注意してください。この値は、例えばコンテキストウィンドウのサイズを計算したり、チャンク化戦略を決定するために使用できます。
以下は、その仕組みを図示したものです：
前回のバースデーウィーク中に、CloudflareはContent Signalsを発表しました。これは、誰もがアクセスされた後の自分のコンテンツの利用方法に対する意向を表明できるフレームワークです。
Markdownを返すとき、エージェントまたはAIクローラーがコンテンツを使用していることを確認する必要があります。そのため、エージェントのMarkdown変換されたレスポンスには、AIトレーニング、検索結果、AI入力（エージェントによる使用を含む）にコンテンツを使用できることを示すContent-Signal: ai-train=yes, search=yes, ai-input=yesヘッダーシグナリングが含まれます。Markdown for Agentsは、将来的にカスタムコンテンツシグナルポリシーを定義するオプションを提供する予定です。
このフレームワークの詳細については、専用のコンテンツシグナルページをご覧ください。
Cloudflareのブログと開発者向けドキュメントで、お試しください
当社は、開発者向けドキュメントとブログでこの機能を有効にし、すべてのAIクローラーとエージェントがHTMLではなくマークダウンを使用して当社のコンテンツを消費するよう招待しました。
このブログをAccept: text/markdownとともにリクエストして、今すぐお試しください。
curl https://blog.cloudflare.com/markdown-for-agents/ \
-H "Accept: text/markdown"
結果：
---
description: The way content is discovered online is shifting, from traditional search engines to AI agents that need structured data from a Web built for humans. It’s time to consider not just human visitors, but start to treat agents as first-class citizens. Markdown for Agents automatically converts any HTML page requested from our network to markdown.
title: Introducing Markdown for Agents
image: https://blog.cloudflare.com/images/markdown-for-agents.png
---
# Introducing Markdown for Agents
The way content and businesses are discovered online is changing rapidly. In the past, traffic originated from traditional search engines and SEO determined who got found first. Now the traffic is increasingly coming from AI crawlers and agents that demand structured data within the often-unstructured Web that was built for humans.
...
Cloudflare外部から任意のドキュメント変換を必要とするAIシステムを構築する場合、またはMarkdown for Agentsがコンテンツソースから利用できない場合、当社はアプリケーション用にドキュメントをMarkdownに変換する他の方法を提供しています。
AIシステムのWeb閲覧方法の変化を予測して、Cloudflare RadarにはAIボットとクローラートラフィックに関するコンテンツタイプのインサイトが、世界中のAI Insightsページと個々のボット情報ページに掲載されています。
新しいcontent_typeディメンションとフィルターは、AIエージェントとクローラーに返されたコンテンツタイプの分布を、MIMEタイプカテゴリーごとにグループ化して示します。
また、特定のエージェントやクローラーでフィルタリングされたMarkdownのリクエストも表示できます。OAI-Searchbot（OpenAIがChatGPTの検索に使用するクローラー）にマークダウンを返すリクエストは以下の通りです。
この新しいデータにより、AIボット、クローラー、エージェントがWebコンテンツをどのように消費しているかの進化を追跡することができます。いつものように、Radar上のすべてのものは、パブリックAPIとデータエクスプローラーを介して自由にアクセスできます。
お客様のゾーンでMarkdown for Agentsを有効にするには、Cloudflareのダッシュボードにログインし、アカウントを選択し、ゾーンを選択し、クイックアクションを探して、Markdown for Agentsボタンを切り替えて有効にします。この機能は、Proプラン、Businessプラン、Enterpriseプランのベータ版、SaaSのお客様向けSSLでお使いいただけます。
エージェント向けマークダウンの詳細については、弊社の開発者向けドキュメントをご覧ください。この機能の改良と強化を続けて行きたいと考えているため、お客様からのフィードバックをお待ちしています。AIクローラーやエージェントが進化する中で、Webの非構造化性質をどのようにナビゲートし、適応しているのかが気になるところです。