2024年のバースデーウィーク中に、Cloudflare RadarでAIボットとクローラーのトラフィックのグラフを公開しました。このグラフでは、最も攻撃的でリクエスト数が多いボットやクローラー、定期的にクロールを行うボットなどを可視化することができます。本日、Cloudflare Radarに「AI Insights」専用ページを新たに公開しました。このページでは、先述のグラフを組み込み、AIに関連するトレンドを多角的に理解できる追加のメトリクスも提供しています。新しいセクションでは、トラフィックのトレンドに加えて、1.1.1.1 DNSリゾルバートラフィックに基づく一般公開されている生成AIサービスの相対的な人気、AIボットのコンテンツアクセス制限に使われるrobots.txtディレクティブの使用状況、Cloudflare Workers AIによるオープンソースモデルの使用状況も確認できます。
以降で、新しいAI Insightsページの各セクションについて、より詳しく説明していきます。
AIボットによるトラフィックの傾向を追跡することで、その時間の経過に伴うAIボットの活動をよりよく理解することができます。このAIボットとクローラーのトラフィックを示したグラフは、2024年9月にRadarの「トラフィック」ページで初めて公開されましたが、新しい「AI Insights」ページへ移動しました。ここでは、世界中のデータを使用して、指定した期間における最も活動的な上位5つのAIボットとクローラーのトラフィック傾向を可視化することができます。追跡対象のユーザーエージェントのリストはai.robots.txtに記載されています。なお、このリストは新たなボットが確認され次第追加され、更新されます。このグラフの時系列データと要約データは Radar APIからも利用可能です（当社がトラフィックを確認しているAIボットおよびクローラーの完全なセットのトラフィック傾向は、Data Explorerで見ることができます）。
過去数年間にわたり、Cloudflare RadarのYear in Reviewでは、1.1.1.1 DNSリゾルバーからのリクエストトラフィックデータを分析し、一般およびいくつかのカテゴリの両方で、最も人気のあるインターネットサービスのランキングを紹介してきました。2023年と2024年には、一般公開されている生成AIサービスのランキングも掲載され、両年ともChatGPTが首位を獲得しました。しかし、関連するブログ記事でも1年間を通したランキングの推移を詳しく紹介していますが、過去のデータをもとにした分析であり、リアルタイムの変化を捉えるものではありませんでした。新しい生成AIサービスの人気度グラフでは、生成AI関連のドメインに対するDNSリクエストのデータを集計し、サービスごとの相対的な人気度を日単位で可視化しています。時系列の元データは、Radar APIのserviceCategory=Generative%20AIパラメーターを使用して取得することができます。
下のグラフを見ると、2025年1月末現在、上位5サービスは直前の4週間の間、安定した順位を維持していましたが、6～10位のサービスには頻繁な変動がありました。ランキングは今後も推移していくことが予想されます。特に1月末に業界を席巻した生成AIサービス「DeepSeek」は、1月26日に9位で初登場し、わずか3日後の1月29日には3位まで急上昇しました。
Webサイトの運営者は、robots.txtファイルの「Allow」または「Disallow」ディレクティブ（指令）を使用して、サイト全体またはサイトの特定の部分へのアクセス可否を指定することができます。ただし、このアクセス制御が機能するかどうかは、このファイルに記載したディレクティブ（指令）をボットが遵守するかどうかに依存しています。CloudflareのAI監査は、AIボットが自分のサイトとどのようにやり取りしているかを可視化し、制御することを可能にします。また、Cloudflare Radarは、他のサイトがAIボットをどのように処理しているかに関するインサイトを提供します。
Cloudflareでは毎週Radarの上位10,000件のドメインを分析し、それらのサイトがrobots.txtファイルを公開している場合、そのディレクティブに記載されているそれぞれのAI関連の情報を集約しています。robots.txtに記載されたAIユーザーエージェントを以下のグラフで見ると、これらの上位サイトがAIボットに関してどのようなアクションをとっているかを知ることができます。処理方法としては、特定のユーザーエージェント（ボット識別子）に対し、サイト全体のコンテンツ（完全許可/完全拒否）または特定のセクション（部分許可/部分拒否）へのアクセスを制御するディレクティブによって指定されます。
さらに、サイトのカテゴリごと（例：eコマース、ニュースメディア）に分類し、各業界がどのAIボットをrobots.txtのディレクティブでどのように制限しているかを分析しています。例えば、ニュースメディアのサイトでは、ほぼすべてのAIボットを完全拒否していることがわかります。
一方、ディレクティブを「Allow」に変更すると、表示されるユーザーエージェントの数が大幅に減少し、完全または部分的なアクセスを明示的に許可するサイトの数が大幅に減少します。（なお、robots.txt内に特定のユーザーエージェント（ボット）が記載されていない場合、またはワイルドカード「*」も指定されていない場合、そのボットはデフォルトで完全にアクセス可能となります。）
これらの分析結果は「AI Insights」ページで見ることができるほか、より詳細な調査や分析を行うためにRadarAPIやData Explorerを通じて元データを取得することも可能です。
AIモデルの進化は急速に進んでおり、テキストや画像の生成、音声認識、画像分類などの高度なタスクが可能なモデルが次々と登場しています。Cloudflareは、こうしたAIモデルの提供者と緊密に連携し、リリース後すぐにWorkers AIがこれらのモデルに対応できるようにしています。新しい「AI Insights」ページでは、Radarを通じて、Workers AIで利用可能な公開モデルの人気度（Workers AIモデルの人気度）や、それらのモデルが対応するタスクの人気度（Workers AIタスクの人気度）を可視化できます。これらのデータは、顧客アカウントの利用割合をもとに分析されています。Data Explorerでは、モデルとタスクの全リストについての共有傾向や概要、モデルとタスクの割合を時系列で比較する機能など、様々な情報を利用することができます。また、APIエンドポイント経由でモデルの人気度とタスクの人気度に関する元データを取得することもできます。
AI分野は非常に変化が激しく、新しいプラットフォームやサービス、モデルが次々と登場しています。中には急速に注目を集め、市場に大きな影響を与えるものもあります。また、ChatGPTの発表から2年以上が経ちましたが、コンテンツ提供者とAIプラットフォームの間では、モデルのトレーニングを目的としたコンテンツのスクレイピングの是非についての議論が続いています。Cloudflare Radarの新しい「AI Insights」ページは、この変化の激しい分野の最新傾向や情報を提供し、業界関係者や参加者がAIの変化と進化の様子をよりよく理解できるようにします。
AI Insightsのグラフをソーシャルメディアで共有する際は、必ずタグ付けをしていただけますようお願いします：@CloudflareRadar（X）、noc.social/@cloudflareradar（Mastodon）、radar.cloudflare.com（Bluesky）。また、ソーシャルメディアやメールを通じて、追加してほしいAIメトリクスのリクエストも受け付けています。