1年前、私たちは初回Content Independence Day（コンテンツ独立記念日）を宣言し、Webサイトオーナーがコンテンツのコントロールを取り戻す手段を提供しました。クローラーとWebサイトオーナーの間で30年間続いてきた取り決め（クロールさせてリファラルを獲得する）は、もはや成り立たなくなりました。AIはすべてを収集するだけして何も返さず、Webサイトオーナーにとっては存続を危うくする脅威になっていました。そこで私たちは、ワンクリックでAIボットをブロックする「Block AI Bots」を提供すると同時に、Pay-Per-Crawl（クロールごとに課金）の市場を創始しました。
この1年で多くの変化がありました。昨年7月、「AIボット」関連の会話の中心は無償のAI学習をブロックすることでした。コンテンツがモデルの学習に利用され、Webサイトオーナーには何の価値も還元されないというAIの一人勝ち状態が指摘されていたのです。しかし、ブロックする・しないではなく、より柔軟で繊細なアプローチを求める声も出てきました。コンテンツオーナーはやはり自分のコンテンツを保護したいと思っており、創作、キュレーション、共有に努力したオリジナルコンテンツについて対価を受け取るべきです。コンテンツのロックダウンが万能策でないこともわかっています。Webサイトオーナーは「すべての自動トラフィックを常にブロックする」以外の選択肢を求めています。
小規模なサイトの場合、問題は誰かがコンテンツをモデル学習に使う可能性があるだけでなく、そもそも誰にも見つけてもらえない可能性があります。そこで、ファウスト的な取引をするか。「検索で表示され、AI学習に使われる」か「発見可能性を失うリスクを冒す」かの選択です。既存の検索プロバイダーは、同じボットを検索と学習に兼用していれば不当に有利になり、この不当な優位性に対抗したい新興勢力が競合ギャップを埋めようとして回避型になるのです。
今や、AIはあらゆるものに存在し得ます。Google検索は、AIによる並び替えから、検索結果ページで直接質問に答える完全な回答エンジンへ進化しました。これはGoogleに限ったことではなく、「検索」全体の方向性です。
「AI」と認識される基準について今日討論しても、明日にはその基準が変わるかもしれません。そこで、私たちの新しい分類法では、ボットをまず「AI」として定義するのではなく、ボットやエージェントの行動についてより深い質問をします。「私のサイトで何をしているのか？」「何を保存しているのか？」そして、「私のコンテンツをどのように再共有するのか？」を吟味するのです。
これらの問いに答えるには繊細な見方、つまり、お客様にとって重要なAIユースケースに応じた実用的な分類法が必要です。そこで本日は、AI学習だけの議論にとどまらず、すべてのお客様が管理できるようにしたい3つのAIユースケースを中心に考察します：
検索：後の質問に備えてコンテンツを収集またはインデックス化する行動すべて。重要なのは、検索エンジンが後でクエリに答えるために、サイトのデータベースを主体的に構築しているという点です。サイトオーナーは、結果としてリファラルトラフィックや他の公正な見返りを期待しているはずです。
エージェント：通常リアルタイムで人に代わって何かを即座に処理する、自動化された行動。これには、チャットフェッチボット（例：ChatGPT-User）とブラウザ操作エージェント（例：Chromeに搭載されたGeminiやClaude）が含まれます。重要なのは、それらはタスクを完了するためにWebアプリケーションを訪問するのであり、通常は向こう側で人間が待っているという点です。
学習：モデルの学習や微調整に使うためにコンテンツを収集するクローラー。重要なのは、データがAIの基盤アーキテクチャに恒久的に取り込まれ、AIの機能向上に使われる点です。
よく使われるWebクローラーの多くは上記の分類のいずれかに該当します。複数に該当するものもあります。それ以外にも、アドベリフィケーション、フィードフェッチ、エージェントトランザクションなど多くの行動分類がありますが（これについては後述します）、上記3つのAI中心のユースケースについては、すべてのWebサイトオーナーがアクセスを簡単に管理できるべきだと私たちは考えています。そのために、ボットオペレーターがクローラーを分離すべきだと考えます。分離すればWebサイトオーナーにとっての透明性が高まり、各クローラーの訪問理由を理解しやすくなり、そのクローラーのアクセスの管理が容易になるからです。検索インデックスの作成、エージェントの機能、モデル学習用データの収集を自動化している企業には、その自動化を3つの個別のクローラーに分けることを強く推奨します。
実現したいのは、拡張性があり、自動化トラフィックが進化する世界に合った分類システムです。ボットの目的の追跡は目新しくはありませんが、私たちの新しい分類法は、現在のボットトラフィックの状態をより正確に反映するアップデートをいくつか含んでいます。特に、複数の目的を持つボットは1つでなくすべての目的を追跡すべきという認識を表したいと思っています。
Cloudflareネットワーク上のすべてのWebサイトオーナーに、各種AIトラフィックを管理するための選択肢をより多く提供したいと考えています。
過去に発表した「Block AI Bots（AIボットをブロック）」するマネージドプリセットには、モデル学習データ収集専用ボットが含まれていました（下の画像に見てとれます）。
AIボットトラフィック管理の既存設定のスクリーンショット（2025年7月1日）
しかし、AIによる利用がみな同じとは限りませんので、お客様が必要とする制御を可能にしたいのです。そこで、3つの主要ユースケース（検索クローラー、エージェントクローラー、学習クローラー）に基づいてAIトラフィックを管理する機能を発表します。このように新たに選択肢が広がることで、お客様はAIボットトラフィックの管理をさらに細かく調整できるようになります（Freeプランのお客様も同様です）。
AIボットトラフィック管理の新たな選択肢のスクリーンショット（2026年7月1日）
2026年9月15日に、これら3つの分類のそれぞれについて新しいデフォルトを設定します。Cloudflareに新規登録される全ドメインにおいて、学習とエージェントのカテゴリは、広告を表示するページではデフォルトでブロックされ、検索はデフォルトで許可されます。
広告は、閲覧者がそのページを訪れて見ることをWebサイトオーナーが意図していることを示し、ビジネスの成長を加速する収益化が可能なものです。したがって、広告を表示するページでは、人間の注意を引くことが最終的な目標と考え、それを妨げるかもしれないボット（つまり、学習ボットとエージェントボット）を排除します。一方、検索は最も自然に訪問者をサイトへ流入させる行動であり、多くのサイトオーナーにとって許可することが利益になると考えています。
9月15日に適用されるもう1つの変更として、多目的クローラー（特に検索と学習の用途を複合したもの）は、その行動のすべてに基づいて許可またはブロックされることになります。これは、Webサイトオーナーのために透明性を高めるという当社の呼びかけに沿った変更です。デフォルトは該当する最も厳しいルールに従って適用されます。お客様が（AIトラフィック管理の新たな選択肢または従来のBlock AI Botsサービスを通じて）学習をブロックすることを選んだ場合、Googlebot、Applebot、BingBotのような多目的クローラーはブロックされます。
もちろん、お客様の選択が最優先されます。Webサイトオーナーが新しいデフォルト設定の適用を望まない場合は、9月15日まで随時セキュリティ設定で非適用を簡単に指定でき、それが検索目的も兼ねた学習クローラーについて変更を望まないことの確認となります。また、9月15日が近づいた頃に改めてデフォルト変更をお知らせし、お客様がデフォルトと異なる設定を希望される場合は非適用を選択をできるようにご案内します。
BotBase：Enterpriseプランご利用者向けの新しい可視性プレーン
Enterprise Bot Managementの新機能として可視性の大型アップデートを発表でき、嬉しく思います。Cloudflareの追跡対象ボットディレクトリが肥大化するにつれ、それらのボットを合理的にグループ分けして管理し、特定ボットについて詳細に把握したいという欲求が高まっています。
BotBaseをご紹介します。BotBaseは、検証済み（Verified）のボットやエージェントを含め、すべての既知のボットを追跡する当社の新しいデータベースです。このデータベースは、ボットディレクトリ全体を包括的に検索できるビューを、Cloudflareダッシュボードで提供します。まずは可視性を優先しますが、今年中にはBotBaseを拡張し、お客様Webサイト上の既知の自動化コンテンツを直接管理するためのコントロールセンターを提供する予定です。
Enterprise Bot Managementをお使いのお客様は新しいビューで、すべての検証済みボット/エージェントの完全カタログと、それらがアップデート後の分類法でどのように分類されているかを確認できます。Cloudflareダッシュボード上でこれまで動的に表示したことがなかったビューです。特定のボットに絞ってご覧になりたいお客様は、フィルタリングでそのボットからのすべてのトラフィックを簡単に抽出でき、検出IDをコピーしてセキュリティルールで使用することができます。これらすべてが現在専用ページで公開されており、Bot Management設定カードを通じてアクセスできます。
BotBaseを構築する際、さまざまなボットをカバーする拡張可能で強力なインサイト機能の構築に資する情報はすべて考慮したいと考えました。その1つがアップデートされた分類法の基礎になっています。サイトでボットが何をするのか、つまり行動です。区分は以下の通りで、各ボットはこれらの行動の1つ以上を基準に分類されています。
ボットの分類 | 行動と用途 |
検索 | 検索エンジンの結果表示に反映するためにサイトをクロールしてスキャン |
エージェント | ユーザーから指示されたエージェントが、人間に代わってページを訪問 |
学習 | モデルの学習または微調整のためにクロール |
トランザクション | ユーザーに代わってチェックアウトアクションを実行 |
データ収集 | 価格情報のスクレイピング、競合情報の収集、サードパーティによる分析を含む |
セキュリティテスト | 脆弱性スキャンと侵入テストを含む |
SEO | SEOクロール、サイト監査、アクセシビリティチェック |
アドベリフィケーション | 広告配置の検証、広告詐欺の検出 |
ソーシャル / リンクプレビュー | ソーシャルプラットフォームやメッセージングアプリのリンクプレビュー |
フィードフェッチ | RSSリーダー、ポッドキャストアグリゲーター、ニュースフィードボットを含む |
監視と運用 | アップタイム監視、Webフック、ヘルスチェックを含む |
太字で斜体の行は新たな設定可能項目で、すべてのお客様にご利用いただけます。
お客様にとって重要とお聞きしたもう1つの情報は、ボットによるコンテンツ利用。つまり、ボットはお客様のコンテンツをクロールした後、何を保持し、再共有するのかです。私たちはその声に応え、Bot Managementをお使いのお客様向けに「コンテンツ利用」の範囲に基づいて選択およびブロックする機能を構築しています。この機能は、許可範囲が狭いものから広いものまで3レベルの設定が可能です。
これらの設定値をボット分類と組み合わせて、たとえば「検索、SEO、アドベリフィケーションに利用されるすべてのボットを許可するが、参照利用レベルまでに限る」など、柔軟で繊細なルールにすることもできます。これにより、Webサイトオーナーは個々のボットごとにルールを管理するのではなく、合理的に分けたグループごとに意思決定できます。
そのさらなるサポートとして、本日から新しいシグナルuseのテストを開始します。これはContent Signalsの拡張で、robots.txtに追加されます。Content Signalsの最初のバージョンの3つのフィールドに、上記のプリファレンスを表明する第4の任意フィールドが追加されます。
use=immediate
use=reference
use=full
robots.txtファイルに記載された他のすべての項目と同様、コンテンツ利用の値はWebサイトオーナーのプリファレンスを示すものであり、即座にブロックを発動させるわけではありません。今回、この拡張機能のサポートを強化します。すでにマネージドrobots.txtを有効化していれば、robots.txtの先頭行に「検索のためのクローリングは許可するが、学習のためのクローリングは許可しない」というプリファレンス（preference）が記述されていますが、今後はuse=referenceのプリファレンスがrobots.txtに追加されます。
# Cloudflare Managed content with original Content Signals
User-agent: *
Content-Signal: search=yes,ai-train=no
Allow: /
Cloudflareのマネージドrobots.txt（Content Signalsの設定値は元のまま）
# Cloudflare Managed content with the new content-use signal
User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
Allow: /
Cloudflareのマネージドrobots.txt（パラメータが追加されています）
また、BotBaseに登録されたすべてのボットについてコンテンツ利用の追跡を始めており、シグナルを悪用するボットを発見した場合は、そのボットは「検証済み」のステータスを失い、許可されなくなります。現在、完全再現するボットは検証済みのステータスを取得することはできません。
「検証済み」についてですが、許可とブロックのデフォルトのベースラインが今後変更されるのを反映して、検証済みの定義がアップデートされます。以前はすべての検証済みボットがデフォルトで許可され、迷惑自動トラフィックをブロックする基本的なBot Fight Mode機能やEnterprise Bot Managementのお客様向けのルールテンプレートに、その基準が反映されていました。
本日より、これに細やかさが加わります。未検証ボットは引き続きデフォルトでブロックされますが、「検証済み」を「デフォルト許可」と見なすことはもうありません。これからは、検証済みのラベルは、ボットが該当カテゴリによって許可可能であることを示します。つまり、何がWebサイトにアクセスできるかは、許可されたカテゴリ（例：検索を許可）によって決まるのです。
この変更に伴うバランス調整として、検証済みボットになるプロセスを公開し、透明性も高めます。ボットを「検証済み」にするには、ボットオペレーターは2つのことを示す必要があります。「自分の正体を偽らず誠実に伝えていること」と「その誠実さで得たアクセスを悪用しないこと」です。ボットオペレーターの負担を減らすため、現在、Cloudflareの分類システムがボットオペレーターを正確に分類するようにするためのボットオペレーター用管理ツールを構築中です（近日中に発表予定です）。
Cloudflare Bots Directoryの次世代版である BotBaseに登録されているか、登録を希望するボットオペレーター用に構築された新しいプラットフォームのプレビュー画像。
もう1つ押さえておきたいのは、アクセスを試みるボット（またはエージェント）を作成会社が実行しない場合が増えていることです。CloudflareのDeveloper Platformのようなプラットフォームは、何千ものオペレーターの自動化を同時実行しています。オペレーターは大企業から無名の開発者までさまざまです。Stripeは信頼しても、週末プロジェクトにStripeのツールを組み込んだ人すべてを信頼するわけではないでしょう。
私たちは（サイトオーナー → ボットオーナー企業 → エンドユーザー）のケースを推移的信頼の問題と呼び、リクエストに付随して「プロキシ処理で失われた情報をプロキシコンポーネントが開示」できるようにする既存のForwardedヘッダー（RFC 7239で定義）を利用することを提案しています。
これは、IPアドレスに対するX-Forwarded-Forの働きや、元のHostヘッダーを保持するX-Forwarded-Hostの働きに似ています。ですから、Webサイトオーナーが「このオペレーターを許可してください」と言えば、オペレーターが直接来ようと、信頼される仲介者が3層介在していようと、そのプリファレンスは維持されます。詳細は当社のドキュメントでご確認いただけますが、フォーマットをご覧いただくために簡単な例を挙げます。
Forwarded: for="openai"
前述のコンテンツ利用を加えてヘッダーを拡張すると下のようになります。これで、アクセスしたコンテンツをオペレーターがどう利用すると言っているかを指定できます。
Forwarded: for="openai";use="reference"
これは、私たちが育てたいインセンティブモデルとも一致しています。Cloudflareを経由する20%以上のWebドメインで信頼されるというステータスの喪失は、効果的な抑止力となります。信頼は持ち運べる財産になりますが、失うこともあるのです。
しかし、ボットトラフィックと人間のトラフィックが混ざり合っているため、この推移的信頼のシステムは、特定されても構わないというユーザー以外には通用しないかもしれません。今日私たちが提案する対策は信頼を伝えるのに役立ちますが、Web全体に永遠に適合するものではありません。小規模なトラフィック源はプライバシーを必要としており、自社のプライバシーコミットメントを守りたい企業がプライベートレート制限など、エージェンティックインターネットの未来を構築するための公正な構成要素を模索できるようにする必要があります。
これらは小さな変更ですが、向かう方向は同じです。誰がコンテンツをどう利用するかについて、サイトオーナーのコントロールを強化することです。本日発表され、近々実装される新しいデフォルトが透明性向上を促すものであり、世界の行く先をより正確に反映していると、私たちは信じています。
もちろん、Webの潮流は足元で絶え間なく変化するでしょうから、私たちもそれに応じて調整を続けます。しかし、Cloudflareが創業当時から目指す「信頼に基づくWebエコシステム」という方向性は変わりません。ものを作る人がその利用方法を決められる世界 — そして、自分の行動について誠実に伝えればアクセスを失うのではなく、誠実であることでより多くのアクセスが得られる世界を実現したいのです。
ご紹介したAIトラフィック管理の新たな選択肢はすでに利用可能になっており、既存のお客様はゾーン設定で設定できます。まだCloudflareをご利用でない場合は、無料で開始して、お望みのトラフィックコントロールを今すぐ設定しましょう。
コンテンツ独立記念日、万歳！