検索はWeb上の多くの体験の起点になっています。何事をするにも検索が必要で、クリエイターも商品も、ボックスに入力した問いの答えも、Web上のほぼすべてのものは検索を通して発見されます。約30年間、この発見のプロセスは「検索エンジンにコンテンツをクロールさせて、サイト訪問者を送ってもらう」という単純な取引条件の上で成り立っていました。それらの訪問者を、広告やサブスクリプションを通じて、あるいは単にオーディエンスとしてビジネスにつなげたのです。発見は収益と直結していました。その取引をAIの時代にも成立させるべく、私たちは1年前、初めてのContent Independence Day（コンテンツ独立記念日）をスタートラインとして取り組みを始めました。しかし、この線引きは最初の一歩に過ぎませんでした。その後、AI検索は消費者の生活に急速に浸透し、オンライントラフィックの50%以上がノンヒューマン（非人間）になっています。脅威はもはや、ブロックが可能な少数の学習クローラーではありません。AIの回答を中心に再構築されている検索そのものなのです。
現在の回答エンジンはページを読み取って要約をユーザーに提供するため、訪問の必要がなくなり、訪問者に依存していた収益が得られなくなっています。この現状を私たちは直に見ており、独立系調査もそれを裏付けています。2025年のPew Research Centerの調査では、GoogleがAI要約を表示する場合、ユーザーが従来の検索結果リンクをクリックする割合は8%に過ぎず（要約がない場合の約半分の頻度）、要約内のリンクをクリックする割合はわずか1%という結果が出ています。こうなると、お客様は苦境に立たされます。AIを拒否（オプトアウト）して発見しにくくなるか、許可（オプトイン）してユーザーに大きな価値を提供しながら、ほとんど収益につながらない状況を受け入れるか、選択を迫られます。発見されたいし、価値提供に対する対価も得たい。しかし、どちらかを選ばざるを得ないのが現状です。
本日、私たちは新しいボット管理の選択肢を発表しました。これにより、お客様はサイトへのアクセスとコンテンツの利用をより細やかに制御できるようになります。ブロックは最初のステップに過ぎませんでした。「ノー」と言えばコンテンツは保護できますが、コンテンツの持続的な提供を支えるビジネスモデルを構築することにはなりません。そこで、インターネットの新しい経済モデルの構築を、まず検索から始めましょう。
透明性と制御が基盤になりますが、それだけでは不十分です。私たちは2025年に責任あるAIボットの原則を基盤として提示しました。ボットは「正体と目的を透明にすべし」、「サイトオーナーの選択を尊重すべし」、「誠実に行動すべし」という原則です。Cloudflareのツールは、ボットにこれらの原則に従うよう要求します。しかし、良いボットの振る舞いを強制しても、AI検索を頼りにする人にとっての改善にはならず、AIの回答を可能にしたクリエイターには何の対価も支払われません。私たちにできることは、Webサイトが「ノー」と言えるようにすることだけではありません。もう一歩踏み込んで、何に対して「イエス」と言うか、取引そのものを再構築するお手伝いもできるのです。
そこで本日は、防御から攻撃に転じ、かつて双方に利があった取引を再び構築する2つのイニシアチブを発表します。
AI検索をよりスマートに：Cloudflareグローバルネットワーク上のシグナル（コンテンツの鮮度、品質、更新などを示すシグナル）を活用して、回答エンジンが最も妥当なコンテンツを表面化できるようにし、迷惑クローリングを減らします。検索する人はより良い回答を得られ、Webページ更新時のみ再クロールすれば、AI企業とサイトオーナーの双方でコストを削減できます。
クリエイターの価値提供に対価を：作品が誰かの質問への回答に利用されるなら、クリエイターはただ無償でスクレイピングされるのではなく、対価を得るべきです。また、利用されているコンテンツと質問の内容も見れてしかるべきでしょう。この対価は確かな収益源になり、発見する価値のあるオリジナルコンテンツを継続的に制作するインセンティブになるでしょう。
私たちは本日、AI検索をよりスマートにして、新たな価値を生み出さないクロールの費用をお客様が負担しなくて済むようにする研究プログラムを開始します。
Webの20%以上がCloudflareのネットワークを経由しており、それにより当社独自の視点が得られます。どのページが実際に変更されているか、どのページに人とエージェントが殺到しているかがわかります。このプログラムを通じて、お客様が共有を選択してくださったコンテンツ鮮度のシグナルを試し、その結果とトラフィックフロー（人間とボットの両方）に関する当社独自のインサイトを掛け合わせます。これは、回答エンジンにとっては高品質なコンテンツへのロードマップです。お客様にとっては、ユーザーが実際に何を尋ねているか、お客様のコンテンツがAIの検索結果にどう表示されているかの確認になります。研究の目的は2項目の測定です。「回答エンジンが新鮮で高品質なコンテンツを表面化するのに、シグナルがどの程度役立つか」と、「迷惑なクローリングがどの程度減るか」です。
第2点の迷惑クローリングの削減は、意外と大きなメリットをもたらします。Cloudflareのデータは、良性ボットからのクロールトラフィックの50%以上が、変更されていないページの再取得であることを示唆しています。この数値は、クロール量の増加につれて上がるでしょう。「ここは何も変わっていません」というシグナルさえあれば、クローラーはそのページをスキップでき、回答エンジンの計算リソースを節約できます。さらに重要なのは、サイトオーナーが不要なリクエストを処理してその費用を負担する必要がなくなることです。
このプログラムは意図的に中立に設計されています。公正な取引をする用意のあるすべての回答エンジンにとって有益なものにしたいのです。研究範囲は検索のみです。コンテンツは一切共有せず、基盤モデルの学習にも使用されません。結果は公開する予定です。これには、コンテンツ発見可能性の向上やサーバー負荷の軽減など、サイトオーナーにとっての効果も含まれます。この機能は今年後半に広く利用可能にし、当社ネットワーク全体で不要なクローリングを減らす計画です。
Pay Per CrawlからPay Per Useへ
昨年、私たちはPay Per Crawl（クロールごとに課金）を開始し、AI企業によるコンテンツクローリングに対してパブリッシャーが課金できるようにしました。これが本格的な動きの始まりでした。しかし、クロールは大まかな価値尺度です。1ページが1度クロールされた後、何千もの回答に引用されることもあれば、何度もクロールされながら全く使われないこともあります。クリエイターは、提供する価値に対する公正な対価を求めています。
そこで、私たちはPay Per Crawl（クロールごとに課金）をPay Per Use（利用ごとに課金）に変える取り組みを始めています。Ceramic.ai、You.comなどのトップAI企業と実験を行いますが、仕組みはシンプルです。各社が自社の支払いモデルを持ち込み、Cloudflareネットワークを通じてコンテンツオーナーに容易に拡張・適応することができます。
Ceramicは「Pay-Per-Query（クエリごとに課金）」というモデルを構築しました。オプトインしたパブリッシャーは、自社コンテンツがCeramicの検索結果に表示されるたびに対価を受け取れます。つまり、フェッチの回数ではなく、コンテンツの価値に従って支払いが発生するように設計されているのです。
「AI検索を今後大きく発展させるには、広範なリーチを持ち、透明性と公正報酬に対する当社のコミットメントを共有するパートナーが必要です。Cloudflareのおかげで、オペレーションをプログラムで簡単に拡張できます。当社のPay-Per-QueryモデルをCloudflareのネットワークに導入することで、何百万ものコンテンツオーナーがシームレスにオプトインし、自分のコンテンツが検索結果に表示されるたびに対価を受け取れるようになります。」– Anna Patterson、Ceramic.ai創業者兼CEO
Cloudflare/Ceramicプログラムに参加するコンテンツオーナーには、対価だけでなく、回答エンジン最適化（AEO）に役立つ新しいレポートも提供されます。お客様は、検索結果でのコンテンツ表示に至ることが多い検索クエリ、表示されるWebページとスニペット、検索結果における平均掲載順位などをやっと確認できるようになります。私たちはこれを皮切りに、お客様の発見可能性の向上に役立つ製品をどんどんリリースしていきます。
これは新しいアプローチの1つにすぎません。もう1つはYou.comのモデルで、各エージェントが事前のコミットメントなしで、必要な特定プレミアムコンテンツに対して都度（オンデマンドで）支払うというものです。AIプロバイダーが持ち込む新しい支払いモデル（Pay per Query、Pay per Resultなど）がテストされていますが、それらすべてをサポートするインフラが当社にはあります。
率直に言いますが、これは実験です。確認すべきことはたくさんあります。インターネット規模でどう機能するかもその1つですが、それについては今後パートナーやお客様と協力しながら答えを探し、結果を共有します。とはいえ、目標は明確です。AI検索企業は鮮度が高く根拠が確かな回答ができ、それを可能にするコンテンツを提供するお客様は貢献に対する対価を得られるようにすること。そのためにCloudflareが果たす役割は、この市場が繁栄するためのインフラストラクチャ層の提供です。
これが検索の経済の方向性により自然に適合すると、私たちは考えています。人間が短時間で情報を探し出すために最適化された従来のWeb検索は、抜粋と10個の青いリンクが表示され、クリックするものでした。エージェンティックインターネットは違います。エージェントは高速で読み取り、継続的に検索することができます。検索は、エージェントが1つの質問に答えるために何十回も行うものになりつつあり、デスティネーションというよりユーティリティに近いものになっています。そんな世界で重要な単位は、クロールやクリックではありません。成果です。成果の価格を設定し、成果の実現を可能にした人に対価を支払ってこそ、Webは今後も発展していくのです。
1年前のContent Independence Dayに関する記事は、「ノー！対価を支払わないAIクローラーはお断り」が定番の見出しでした。今年の重点目標は、ユーザーにもっと多くの製品とコントロールを提供して「イエス！」と言えるように、それによって多くのメリットがもたらされるようにすることです。
本日の発表は始まりにすぎません。Cloudflareの研究プロジェクトは、「当社のシグナルが、少ないクロールでよい検索結果を出すことにつながるかどうか」を確認するのが目的です。Pay Per Useは有望な方向性であり、コンテンツクリエイターは作品の公正な対価を受け取るべきと考えるパートナーとともに実験していきます。これは過去30年のWeb構築のプロセスと同じです。誰かがパイロットを実施し、実験をひとつひとつ積み重ねて「モデルが破綻している」から「これが新しいモデルだ」へ前進するのです。この新しいエージェンティックインターネットの時代に、お客様にとって重要なのは発見可能性、そして発見可能性を最大化するためのコンテンツ最適化だと私たちは考えています。それは貴重なクリエイティブアセットを無償提供しなくても可能なはずです。
Webは変化しており、それに伴ってビジネスモデルも変化しています。かつてのインターネットはオープンで中立で、貢献する価値がありました。その状態に戻し、将来も維持できるようなビジネスモデルを構築する貴重なチャンスが、今です。質問する人間やエージェントには、よりスマートな回答を。その回答を価値あるものにするためのスキル、創造力、コミットメントをもつ人々には、公正な取引を。私たちはこれらの推進を通して、Cloudflareのミッションである「より良いインターネットの構築支援」に取り組んでいます。
コンテンツ独立記念日、万歳！
オープンでエージェントレディなWebで構築していますか？CeramicやYouのプログラムに関心をお持ちの方は、こちらのフォームにご記入ください。回答エンジンを構築していて、よりスマートにクロールしたいとお考えの方も、ぜひご連絡ください：aeo@cloudflare.com。