2025년, 생성형 AI는 사람과 기업의 인터넷 사용 방식을 변화시키고 있습니다. 한때 검색 엔진은 링크를 통해 콘텐츠 크리에이터에게 트래픽을 유도했습니다. 현재 일반적으로 사용되는 LLM의 기반인 AI 학습 크롤러는 방대한 양의 웹 데이터를 소비하는 반면, 돌려 보내는 사용자는 훨씬 줄어들고 있습니다. 7월 초에는, 이러한 변화와 관련 동향, Cloudflare 기능 (예: 크롤링당 결제)을 다루었습니다. 퓨 리서치 센터(1, 2)와 Authoritas 의 연구에 따르면 이미 Google이 AI로 생성한 요약을 검색 결과 상단에 표시하는 AI 개요(AI Overview)가 뉴스 웹 사이트 트래픽의 급격한 감소에 기여했다고 지적했습니다. 뉴스 사이트의 경우 이는 봇이 많이 발생한다는 것을 의미하지만, 클릭하여 연결하는 실제 독자는 훨씬 더 적고, 이는 광고를 클릭하거나 구독으로 전환할 기회가 적다는 것을 의미합니다.
Cloudflare의 데이터도 동일한 패턴을 보여줍니다. 2025년 상반기에는 검색 엔진과 AI 서비스를 통한 크롤링이 급증하여 6월에는 전년 대비 24% 증가했으며, 7월에는 전년 대비 4% 증가하는 데 그치며 둔화되었습니다. 공간은 어떻게 진화하고 있을까요? 어떤 크롤링 목적이 가장 일반적이며, 어떻게 변하고 있을까요? 스포일러: 훈련 관련 크롤링이 주도하고 있습니다. 이 게시물에서는 AI 및 검색 봇 크롤링 활동, 주로 어떤 목적으로 사용되는지, 크리에이터에게 추천 트래픽을 가장 적게 다시 기여하는 플랫폼이 무엇인지 추적합니다.
학습 크롤링의 성장: 현재 학습은 AI 봇 활동의 약 80%를 차지합니다. 이는 1년 전의 72%보다 증가한 수치입니다.
게시자 추천 감소: 뉴스 사이트에 대한 Google 추천은 감소했으며, 2025년 3월에는 1월 대비 최대 9% 감소했습니다.
AI 및 검색 크롤링 증가: 2025년 4월, 크롤링은 전년 대비 32% 증가했으며, 7월에는 전년 대비 4% 성장률로 둔화되었습니다.
AI 전용 크롤러 변화: OpenAI의 GPTBot은 AI 크롤링 트래픽에서 두 배 이상 증가했으며(4.7%에서 11.7%로), Anthropic의 ClaudeBot은 6%에서 최대 10%로 증가했으며, ByteDance의 Bytespider는 14.1%에서 2.4%로 하락했습니다.
크롤링 기준의 불균형(사용자가 다시 클릭한 페이지당 봇이 크롤링하는 페이지 수): Anthropic은 참조는 증가했지만 7월 방문자당 크롤링은 38,000건으로 여전히 선두를 유지했습니다(1월의 286,000:1보다 감소). Perplexity는 2025년에 조회 수가 감소했습니다. 7월 크롤링은 증가했지만 조회는 줄었으며 방문자당 194개의 크롤링을 기록했습니다.
이 블로그의 몇 가지 동향은 Cloudflare Radar의 새로운 AI 인사이트 기능을 사용하며, “AI 크롤러 심층 살펴보기: 목적 및 산업별 트래픽 분석” 게시물에 더 자세히 설명되어 있습니다.
AI Overview가 확장되면서 Google 추천이 감소
검색을 통한 추천 트래픽은 앞서 언급하고 여러 연구 결과에서 알 수 있듯이 이미 변화하고 있습니다. 미주, 유럽, 아시아에 걸친 뉴스 관련 고객 데이터세트에서 Google의 추천은 2025년 2월부터 확실히 감소하고 있습니다. 북반구의 대부분이 학교나 직장에서 쉬는 여름인 7월과 8월에 전반적인 인터넷 트래픽(및 추천도 포함)이 감소했던 적이 있기 때문에, 이러한 감소는 비정상적인 것입니다. 계절적 변화가 가장 크고 가장 적었던 3월은 3월이었습니다. 3월은 달이 31일로 구성되어 있음에도 불구하고 기간이 28일인 2월과 거의 동일한 조회수를 기록했습니다.
더 긴 비교 살펴보기: 2025년 3월 Google의 추천 트래픽은 1월보다 9% 낮았으며, 6월과 동일한 수준으로 감소했습니다. 4월에는 상황이 더 악화되어 1월에 비해 15% 감소했습니다.
이러한 감소는 Google의 일부 변화와 일치하는 것으로 보입니다. AI Overview는 2024년 5월 미국에서 출시되었지만, 2025년 3월 Google은 AI Overview를 Gemini 2.0으로 업그레이드하고 Labs에 AI Mode를 도입했으며 Overview를 더 많은 유럽 국가로 확장했습니다. 2025년 5월, AI 모드는 대화 검색, 딥 검색, 맞춤형 추천이 추가된 Gemini 2.5를 통해 미국에 널리 배포되었습니다.
뉴스 검색을 위한 사이트 파이프라인이 약해진 것으로 보이며, 부분적으로 AI 기반 결과로 대체되고 있습니다.
일별 관점에서 살펴보면, 또한 미국 선거와 관련하여 Google에서 알려진 뉴스 사이트들로의 추천이 뚜렷하게 증가한 것을 볼 수 있는데, 2024년 11월 5일부터 6일까지입니다.
AI 및 검색 크롤링: 봄에는 급증(+24%), 여름에는 내리막
6월에는 검색 및 AI 크롤러의 성장에 대해 설명했으며, 이제 추세를 더 완벽하게 파악할 수 있게 되었습니다. AI 및 검색 크롤러에만 집중하고 고객 증가라는 편향을 제거하기 위해 특정 주 동안의 고정된 고객 집합을 분석했습니다. 이 방법은 Cloudflare Radar 연례 검토에서도 사용했습니다.
데이터에 따르면, 크롤링 트래픽은 2024년 11월과 2025년 3월과 4월 사이에 두 차례 급증했습니다. 2025년 4월 한 달은 비슷한 데이터를 보유한 첫 월인 2024년 5월에 비해 32% 상승하였습니다. 급증한 이후 성장률은 안정화되었습니다. 2025년 6월에는 크롤링 트래픽이 여전히 전년 대비 24% 증가했지만, 7월에는 4%로 증가하는 데 그쳤습니다. 이러한 변화는 크롤러의 활동이 얼마나 빨리 가속화되었다가 다시 진정될 수 있는지를 보여줍니다.
아래 차트에서 볼 수 있듯이 크롤링 트래픽은 3월과 4월에 급격히 증가했습니다. 높은 수준을 유지했지만 5월에는 약간 낮았다가 6월부터 하락하기 시작했습니다. 이러한 계절적 감소는 북반구의 하절기(8월과 9월이 가장 조용함)의 전체 인터넷 트래픽과 유사하지만, 크롤러의 경우 봇 자체가 트래픽을 처리하기보다는 전체 웹 활동이 감소했기 때문일 수 있습니다 "휴식"이라고요. 역사적으로 AI 및 검색 봇 트래픽은 2024년과 마찬가지로 11월에 활동이 다시 증가하는 경향이 있습니다. 이때 AI 및 검색 봇 트래픽은 사람들이 쇼핑과 계절적 습관으로 인해 온라인에서 더 많은 시간을 보내는 경향이 있습니다(지난 몇 년 동안 이러한 패턴을 보임).
Googlebot은 여전히 전체 AI 및 검색 크롤러 트래픽의 39%를 차지할 정도로 핵심적인 위치를 차지하고 있지만, 현재 가장 빠른 성장세는 AI 관련 크롤러에서 이루어지고 있습니다. GPTBot의 점유율은 2024년 7월 4.7%에서 2025년 7월 11.7%로 증가했습니다. ClaudeBot도 6%에서 거의 10%로 증가했고, Meta의 크롤러도 0.9%에서 7.5%로 증가했습니다. 반면 Amazonbot은 10.2%에서 5.9%로 감소했고 ByteDance의 Bytespider는 14.1%에서 2.4%로 떨어졌습니다.
아래 표에는 2024년 7월부터 2025년 7월 사이에 시장 점유율이 어떻게 변화했는지가 나와 있습니다.
| 봇 이름 | % 점유율 2024년 7월 | % 점유율 2025년 7월 | ∆ 퍼센트 포인트 변화 |
1 | Googlebot | 37.5 | 39 | 1.5 |
2 | GPTBot | 4.7 | 11.7 | 7 |
3 | ClaudeBot | 6 | 9.9 | 3.9 |
4 | Bingbot | 8.7 | 9.3 | 0.6 |
5 | Meta-ExternalAgent | 0.9 | 7.5 | 6.5 |
6 | Amazonbot | 10.2 | 5.9 | -4.3 |
7 | Googlebot-Image | 4.1 | 3.3 | -0.8 |
8 | Yandex | 5 | 2.9 | -2.1 |
9 | Google기타 | 4.6 | 2.7 | -1.8 |
10 | Bytespider | 14.1 | 2.4 | -11.6 |
11 | Applebot | 1.8 | 1.5 | -0.3 |
12 | ChatGPT-User | 0.1 | 0.9 | 0.9 |
13 | OAI-SearchBot | 0 | 0.9 | 0.9 |
14 | Baiduspider | 0.5 | 0.5 | 0 |
15 | Googlebot-Mobile | 0.2 | 0.4 | 0.2 |
AI 전용 크롤러: OpenAI는 상승, ByteDance는 하락
Radar AI 페이지에서 추적되는 AI 봇 트래픽만 살펴보면 추세가 명확합니다. 2025년 1월 이후, GPTBot의 크롤링 볼륨은 주로 훈련 관련 활동을 중심으로 꾸준히 증가했습니다. 6월에 ClaudeBot 크롤링이 가속화된 반면, Amazonbot과 Bytespider의 활동은 둔화되었습니다.
아래 차트 에는 GPTBot이 지난 12개월 동안 급증하여 급락한 Amazonbot과 Bytespider를 추월한 모습이 나와 있습니다.
2024년 7월과 2025년 7월을 비교하면 그 변화가 훨씬 더 분명해집니다. GPTBot은 16% 포인트 증가, Meta의 크롤러는 15% 이상, ClaudeBot은 8% 포인트 감소했습니다. 감소한 측면에서 Amazonbot은 12% 포인트 감소, Bytespider는 31% 포인트 이상 감소했습니다.
| AI 전용 봇 | 2024년 7월 % | 2025년 7월 % | ∆ 퍼센트 포인트 변화 |
1 | GPTBot | 11.9 | 28.1 | 16.1 |
2 | ClaudeBot | 15 | 23.3 | 8.3 |
3 | Meta-ExternalAgent | 2.4 | 17.7 | 15.3 |
4 | Amazonbot | 26.4 | 14.1 | -12.3 |
5 | Bytespider | 37.3 | 5.8 | -31.5 |
6 | Applebot | 4.9 | 3.7 | -1.2 |
7 | ChatGPT-User | 0.2 | 2.4 | 2.2 |
8 | OAI-SearchBot | 0 | 2.2 | 2.2 |
9 | TikTokspider | 0 | 0.7 | 0.7 |
10 | imgproxy | 0 | 0.7 | 0.7 |
11 | PerplexityBot | 0 | 0.4 | 0.4 |
12 | Google-CloudVertexBot | 0 | 0.3 | 0.3 |
13 | AI2Bot | 0 | 0.2 | 0.2 |
14 | Timpibot | 0.6 | 0.1 | -0.5 |
15 | CCBot | 0.1 | 0.1 | 0 |
저희는 6월 블로그 게시물에서 이러한 봇의 기능을 다루었습니다.
교육이 확실한 리더입니다. (우리는 운영자 공개 및 업계 소식을 기반으로 목적을 분류하며, 이 AI Week 블로그에서 설명한 방법을 이용합니다.) 지난 12개월 동안 학습을 위한 AI 크롤링의 80%, 검색 18%, 사용자 행동을 위한 크롤링의 2%에 불과했습니다. 지난 6개월 동안 교육의 비율은 추가로 82%로 증가했지만, 검색은 15%로 하락했고 사용자 작업은 3%로 소폭 증가했습니다.
아래 차트 는 훈련 관련 크롤링이 지난 한 해 동안 어떻게 꾸준히 성장하여 다른 목적을 크게 앞섰는지 보여줍니다.
전년 대비 비교를 통해 이러한 추세를 강화할 수 있습니다. 2024년 7월 기준, 훈련은 AI 크롤링의 72%를 차지했습니다. 2025년 7월에는 이 비율이 79%로 상승했습니다. 같은 기간 검색은 26%에서 17%로 감소했고 사용자 행동은 2%에서 3.2%로 소폭 증가했습니다.
크롤링 대 참조 비율 변화: 인간의 클릭당 수만 건의 봇 크롤링
크롤링 대 참조 비율은 사용자를 웹 사이트로 유도하는 빈도와 비교하여 플랫폼이 크롤링하는 페이지 수를 측정합니다. 실제로 비율이 높다는 것은 크롤링은 많지만 참조 트래픽은 적다는 것을 의미합니다. 예를 들어, Anthropic이 웹 사이트를 다시 참조하는 모든 방문자에 대해 크롤러는 이미 수만 페이지를 방문했습니다.
이 메트릭이 중요한 이유는? 이는 AI 시스템이 소비하는 콘텐츠의 양과 반환되는 트래픽의 양 사이의 불균형을 강조합니다. 퍼블리셔에게 이는 원본 자료를 무료로 제공하는 것과 같은 느낌일 수 있습니다. 이를 염두에 두고 2025년 1월부터 7월까지 플랫폼을 비교해보면 다음과 같습니다.
Anthropic은 여전히 크롤링이 가장 많은 플랫폼입니다. 올해 87% 감소한 후에도, 2025년 7월에는 여전히 모든 추천된 페이지 방문당 38,000페이지가 크롤링되었으며, 이는 주요 AI 업체 중 가장 큰 불균형입니다. 하지만 2025년 3월, Anthropic이 웹 검색을 Claude에 추가하고 (초기 미국 유료 사용자용으로 제공) 5월에 무료 등급을 포함한 모든 사용자에게로 확장한 후 추천이 개선되고 있을 수 있습니다. 이 기능을 통해 클릭 가능한 URL을 통한 직접 인용이 도입되어 새로운 추천 경로가 만들어졌습니다.
전체 데이터 세트는 아래와 같이 플랫폼별 2025년 1월~7월 비율을 가장 높은 비율 평균 순으로 정렬하여 보여줍니다. (참고: 비율이 증가하면 다시 전송되는 인간 클릭당 더 많은 봇 크롤링이 전송된다는 것을 의미하고, 비율이 감소하면 다시 전송되는 인간 클릭당 봇 크롤링이 적다는 것을 의미합니다 )
크롤링당 참조 비율(Cloudflare Radar 데이터 이용)
서비스 | 1월 | 2월 | 3월 | 4월 | 5월 | 6월 | 7월 | 평균 | 변화율(% 변화) 1월~7월 |
Anthropic | 286,930.1 | 271,748.2 | 121,612.7 | 130,330.2 | 114,313 | 71,282.8 | 38,065.7 | 147,754.7 | -86.7% |
OpenAI | 1,217.4 | 1,774.5 | 2,217명 | 1200 | 995.6 | 1,655.9 | 1,091.4 | 1,437.8 | -10.4% |
Perplexity | 54.6 | 55.3 | 201.3 | 300.9 | 199.1 | 200.6 | 194.8 | 172.4 | 256.7% |
Microsoft | 38.5 | 44.2 | 42.3 | 43.3 | 45.1 | 42 | 40.7 | 42.3 | 5.7% |
Yandex | 15.5 | 13.1 | 13.1 | 15.7 | 14.7 | 15.9 | 21.4 | 15.6 | 38.3% |
Google | 3.8 | 6.3 | 14.6 | 22.5 | 16.7 | 13.1 | 5.4 | 11.8 | 43% |
ByteDance | 18 | 16.4 | 3.5 | 2.3 | 1.6 | 1.6 | 0.9 | 6.3 | -95% |
Baidu | 0.6 | 0.7 | 0.8 | 1.5 | 1.2 | 1 | 0.9 | 1 | 44.5% |
DuckDuckGo | 0.1 | 0.2 | 0.2 | 0.2 | 0.3 | 0.3 | 0.3 | 0.2 | 116.3% |
2025년 1월부터 7월까지의 변화 살펴보기:
봇에서 인간으로의 트래픽은 86.7%로 가장 큰 감소세를 기록했습니다. 1월에 1인당 286,930개의 봇에서 7월에는 1인당 38,065개의 봇으로 조회 수가 급격히 증가했습니다. 이러한 변화에도 불구하고 여전히 크롤링이 가장 많은 플랫폼으로, 여전히 모든 추천에 대해 수만 개의 페이지가 크롤링됩니다.
봇 크롤링이 +256.7% 증가했으며, 난해한 상황이 반전되었습니다. 인간 방문자와 비교했을 때 1월에 1인당 54개의 봇 에서 7월에는 195개의 봇 으로 증가했습니다. 그 비율은 여전히 인류에 비해 훨씬 낮지만, 이러한 증가를 보면, 이전보다는 참조하는 트래픽에 비해 더 많이 크롤링하고 있음을 알 수 있습니다.
OpenAI 비율은 1월에 1인당 1,217개에서 7월에는 1,091개(-10%)로 소폭 감소했습니다. 규모는 작지만, 이는 OpenAI가 크롤링에 비해 상대적으로 더 많은 참조 트래픽을 전송하고 있음을 시사합니다.
Microsoft 는 1월 1인당 38.5개 봇에서 7월 40.7개(+6%)로 소폭 변동하는 등 안정성을 유지했습니다. 이러한 일관성은 Bing 연결 서비스가 안정적으로 행동한다는 것을 의미합니다.
Yandex 는 1월 1인당 봇 15.5개에서 7월에는 21.4개(+38%)로 증가했습니다. 전체 비율은 Anthropic이나 Perplexity보다 훨씬 작지만, 다시 전송하는 트래픽에 비해 Yandex가 더 많이 크롤링하고 있음을 보여줍니다.
크롤링 볼륨 및 추천 트래픽(이제 Cloudflare Radar의 AI 인사이트 페이지에서도 확인 가능)을 측정하는 것과 함께 AI 운영자가 봇을 배포할 때 모범 사례를 따르는지 살펴보는 것은 가치가 있습니다. Cloudflare 데이터에 따르면 주요 AI 크롤러는 대부분 검증된 봇 목록에 있습니다. 즉, IP 주소가 게시된 범위와 일치하며 robots.txt를 존중합니다. 그러나 HTTP 메시지의 암호화 서명을 사용하여 요청이 특정 봇으로부터 온 것인지, 특히 최근에 유행하는지 확인하는 WebBotAuth 와 같은 더 새로운 표준의 채택은 아직 이루어지지 않고 있습니다.
Google, Meta, OpenAI는 서로 다른 목적으로 서로 다른 봇을 운영하는 반면, Anthropic은 검증에 시급합니다. 이렇게 하면 악성 사용자가 크롤러를 스푸핑하여 robots.txt를 무시하고 이는 검증이 없으면 진짜 트래픽과 가짜 트래픽을 구분하기 어렵기 때문에 규정 준수가 사실상 불분명합니다. (더 긴 AI 봇 목록은 여기에서 확인할 수 있습니다).
추천이 정체된 상태에서 훈련 관련 크롤링이 계속 지배적이라면, 크리에이터는 트래픽을 확보하지 않고 AI 시스템에 데이터를 제공하는 역설에 직면하게 됩니다. 많은 사람은 자신의 콘텐츠가 챗봇의 답변에 포함되기를 원하지만, 수익 창출이나 협력이 없다면 양질의 콘텐츠를 만들어낼 인센티브가 줄어듭니다.
웹은 이제 갈림길에 서 있습니다. 새로운 AI 시대가 퍼블리셔와 크리에이터를 유지하는 데 도움이 되는 새로운 저울이 등장하거나, AI가 오픈 웹을 일방통행 세트로 바꾸어 가치 유출이 거의 발생하지 않게 해야 합니다.
이러한 데이터 동향 중 일부는 Cloudflare Radar의 업데이트된 AI 인사이트 페이지에서 자세히 알아볼 수 있습니다.