독창적인 콘텐츠는 대화와 호기심을 이끄는 원동력입니다. 만약 독창적인 콘텐츠가 없는 세상을 상상해 보세요. 이미 만들어진 내용을 수없이 반복해 재생산하는 방법은 얼마든지 찾을 수 있겠지만, 새로운 아이디어와 새로운 주장들은 점차 사라지게 될 것입니다.
웹사이트 소유자는 아이디어와 뉴스, 흥미로운 정보가 순환하는 생태계를 떠받치는 핵심입니다. 그러나 동시에 웹사이트로 유입되는 트래픽을 관리하고 콘텐츠에 대한 정당한 보상을 받는 일은 점점 더 복잡한 과제가 되고 있습니다. 일부 봇 트래픽은 악성이라는 점이 분명하지만, 특정 AI 크롤러가 비즈니스에 도움이 되는지, 아니면 해를 끼치는지는 항상 명확하지 않습니다. 이를 판단하려면 사이트 소유자에게는 가치를 제공하는 트래픽과 리소스를 소모하면서 비즈니스 모델의 근간인 실제 사람이 콘텐츠를 소비하는 환경을 약화시키는 트래픽을 구분할 수 있는 세밀하고 신뢰할 수 있는 데이터가 필요합니다.
Cloudflare는 웹사이트 소유자가 자신의 콘텐츠에 대한 액세스를 통제할 권리가 있다는 신념을 가지고 있습니다. 우리는 웹사이트 소유자가 고품질 콘텐츠를 지속적으로 제공하고 AI 트래픽을 효과적으로 관리할 수 있도록 지원하고자 합니다.
이처럼 꼭 필요한 가시성을 제공하고 웹사이트 소유자가 통제권을 확보할 수 있도록 지원하기 위해, 비즈니스 의사결정권자와 퍼블리셔를 위해 설계된 새로운 Attribution Business Insights 대시보드를 발표하게 되어 기쁘게 생각합니다.
수십 년 동안 인터넷의 비즈니스 모델은 단순하면서도 암묵적인 계약에 기반해 운영되었습니다. 웹사이트 소유자는 검색 엔진이 자신의 콘텐츠를 크롤링하도록 허용하고, 그 대가로 검색 엔진은 독자를 다시 해당 웹사이트로 보내주었습니다. 기존 검색 엔진은 "크롤링과 추천 트래픽" 간의 균형 잡힌 비율을 유지했고, 이러한 공생 관계는 광고, 제휴 수익, 구독을 유지하는 데 필요한 페이지 조회수를 만들어냈습니다. 검색 색인 크롤러는 추천 트래픽을 보내기 위해 콘텐츠를 몇 차례 크롤링했으며, 웹사이트를 크롤러에 공개하는 것은 추가 수익으로 이어지는 명확한 경로였습니다. 이를 SEO(Search Engine Optimization) 시대라고 볼 수 있습니다.
그러나 오늘날 AI 크롤러와 에이전트가 폭발적으로 증가하면서 이러한 계약은 무너졌고, 디지털 퍼블리싱 산업은 전례 없는 위기에 직면했습니다. 인터넷은 AI 챗봇이 원본 콘텐츠를 수집해 즉각적인 답변을 생성하고 원본 출처를 완전히 우회하는 '제로 클릭(zero-click)' 생태계로 전환될 위험에 놓여 있습니다. 우리는 이미 SEO만 존재하던 시대에서 AEO(Answer Engine Optimization) 시대로의 뚜렷한 전환을 목격했으며, 이제는 GEO(Generative Engine Optimization)를 둘러싼 논의가 중심 무대로 떠오르고 있습니다.
이러한 새로운 현실의 불균형은 오늘날 인터넷에서 나타나는 크롤링 대비 추천 비율(crawl-to-referral ratio)에서 분명하게 드러납니다. 기존 검색 엔진은 크롤링 횟수와 실제 추천 방문자 수 사이에서 비교적 균형 잡힌 비율을 유지했지만, 주요 AI 크롤러는 완전히 다른, 일방적으로 콘텐츠를 가져가는 규모로 운영되고 있습니다. 주요 AI 기업의 봇에서는 크롤링 대비 추천 비율이 118:1에서 거의 50,000:1에 이르는 사례가 관찰되었습니다. 이는 2025년 콘텐츠 독립기념일 무렵 Cloudflare가 확인한 수치입니다. 다시 말해 AI 크롤러는 프리미엄 콘텐츠를 수만 번 크롤링하면서도 실제 방문자는 단 한 명만 보내줄 수도 있다는 뜻입니다. 이러한 비율은 근본적으로 불공정합니다.
퍼블리셔는 이로 인해 이중의 타격을 받고 있습니다. 첫째, 콘텐츠 제작과 저널리즘을 뒷받침하는 핵심 요소인 추천 트래픽, 광고 노출, 그리고 독자와의 직접적인 관계를 잃고 있습니다. 둘째, 아무런 상업적 가치를 돌려주지 않는 자동화된 봇에 콘텐츠를 제공하기 위해 증가하는 인프라 비용까지 부담해야 합니다. 발견될 가능성만을 기대하며 모든 크롤러를 허용하는 시대는 이제 끝났습니다.
Attribution Business Insights 소개
우리는 웹사이트 소유자가 어떤 봇이 비즈니스에 도움이 되고 어떤 봇이 해를 끼치는지 이해할 수 있도록 객관적인 사실과 명확한 수치를 제공하고자 합니다. 또한 이러한 분석을 그 어느 때보다 쉽게 수행할 수 있도록, 고객들이 가장 중요하다고 꼽은 정보에 집중하고 불필요한 요소는 제거하는 방향으로 Attribution Business Insights를 설계했습니다.
오늘부터 Attribution Business Insights 대시보드는 모든 Cloudflare Bot Management 고객이 사용할 수 있습니다. 새로운 대시보드는 웹사이트로 유입되는 봇 트래픽을 집중적으로 보여주도록 설계되었습니다. 많은 수작업 필터링이 필요한 기존 분석 도구와 달리, 이 대시보드는 핵심 인사이트를 즉시 제공합니다.
우리는 오늘날 사이트 소유자가 가장 궁금해하는 질문에 답하고자 했습니다. 웹사이트의 AI 트래픽을 어떻게 바라봐야 할까요? 사람, AI가 아닌 봇, AI 봇을 포함한 다양한 방문자의 가치는 무엇일까요? 그리고 가장 중요한 질문은 내 데이터가 무엇에 사용되고 있는가입니다.
Attribution Business Insights의 새로운 대시보드 화면. 전체 봇 트래픽, 사이트 전체의 크롤링 대비 추천 비율, AI 봇 트래픽과 자연 트래픽의 분포에 대한 인사이트를 제공합니다.
이러한 질문에 답하기 위해 대시보드는 다음과 같은 강력한 데이터와 인사이트를 제공합니다.
콘텐츠 페이지에 대한 봇 트래픽: 사람과 봇의 전체 트래픽 비율은 물론, 콘텐츠에 성공적으로 액세스한 전체 봇의 트래픽 규모를 확인할 수 있습니다.
크롤링 대비 추천 비율: 지난 24시간, 7일, 30일 기준으로 사이트 전체의 크롤링 대비 추천 비율을 확인할 수 있습니다. 또한 봇 운영자별(하나 이상의 봇을 운영하는 기업별) 크롤링 대비 추천 비율도 확인할 수 있습니다.
주요 봇 분석: 트래픽 규모가 큰 봇 목록과 함께 해당 봇의 국가, 웹사이트에서 사용하는 대역폭, 현재 차단 또는 허용 여부를 확인할 수 있습니다.
크롤러 동작 기반의 새로운 분류: 단순히 'AI 크롤러'라고 표시하는 데 그치지 않고, 업데이트된 분류 체계에 따라 학습(예: 차세대 LLM 챗봇 학습), 검색(예: 검색 증강 생성(Retrieval-Augmented Generation)을 위한 데이터베이스 갱신), 에이전트(예: 에이전트 상호작용에서 최종 사용자에게 답변을 제공하는 용도) 등으로 크롤러를 분류합니다.
AI 크롤러가 비즈니스에 어떤 영향을 미치는지 이해하기 위해 보안 전문가일 필요는 없습니다. 웹사이트 소유자는 단 몇 분만 투자해 핵심 인사이트를 살펴보는 것만으로도 콘텐츠 보안 정책이 얼마나 효과적으로 작동하고 있는지 전반적인 현황을 빠르게 파악할 수 있습니다.
AI 기업이 콘텐츠를 어떻게 활용하고 있는지 조금 더 깊이 이해하거나, 향후 AI 기업과의 관계를 어떻게 발전시킬지 판단하는 데 필요한 정보를 얻고 싶은 고객을 위해, Cloudflare는 봇 운영자별로 정리된 더욱 세부적인 정보를 제공합니다.
웹사이트의 봇 활동 분석 화면. 각 봇의 유형, 크롤링 대비 추천 비율, 현재 적용 중인 조치 등 주요 정보를 확인할 수 있습니다.
웹사이트 콘텐츠에 액세스하려는 기업들을 한곳에서 확인할 수 있기 때문에 크롤러 활동의 기준선을 더욱 명확하게 파악할 수 있습니다. Cloudflare는 이러한 데이터를 통해 고객이 어떠한 비즈니스 협상에서도 객관적인 근거를 바탕으로 논의할 수 있기를 바랍니다. 예를 들어 Company1에는 크롤링 규모가 Company4보다 20배 크다는 점을 설명하고, Company4는 이미 콘텐츠 사용에 대한 보상을 제공하고 있다는 사실을 제시할 수 있습니다. 또는 최근 활동을 바탕으로 Company2와의 콘텐츠 라이선스 계약 방식을 다시 검토할 수도 있습니다. 새로운 대시보드는 이러한 비즈니스 논의를 한 단계 더 발전시키는 기반을 제공합니다.
그렇다면 이러한 새로운 가시성 계층은 웹사이트를 악용으로부터 보호하는 기존 도구와 어떻게 연결될까요? 다른 Bot Management 기능과 마찬가지로 실제 조치는 보안 규칙에서 이루어집니다. 제어 환경에 불필요한 복잡성을 더하지 않기 위해 Attribution Business Insights는 또 하나의 조치 수행 화면이 아니라, 신중하게 선별된 분석을 제공하는 허브로 설계되었습니다. 이 대시보드는 중앙 정보 허브 역할을 하며, 사용자는 여기에서 충분히 분석한 후 다른 악용 방지 기능과 동일한 규칙 엔진에서 필요한 조치를 취할 수 있습니다. 또한 AI 트래픽에 관한 논의에는 보안 담당자뿐 아니라 다양한 이해관계자가 참여한다는 점을 고려하여, 비즈니스 의사결정권자도 적극적으로 활용할 수 있는 대시보드로 만들고자 했습니다.
Attribution Business Insights 대시보드는 웹사이트 소유자가 변화하는 AI 봇 위협을 관리하고, 더 나아가 새롭게 변화하는 인터넷 환경에 대응하는 데 필요한 투명성과 제어 기능을 제공하는 중요한 다음 단계입니다. Cloudflare는 이미 주요 퍼블리싱 파트너와 협력하여 다음 버전을 준비하고 있으며, 가치 있는 독창적인 콘텐츠를 제공하는 웹사이트 소유자의 관점에서 보안을 분석할 수 있는 새로운 가시성 계층을 구축하고 있습니다.
아래 미리보기에서는 기사별 크롤러 활동을 분석하여 AI 기업이 어떤 콘텐츠와 어떤 캠페인에 더 큰 관심을 보이는지 확인할 수 있는 새로운 화면을 소개합니다.
트래픽 규모를 기준으로 가장 많이 조회된 기사 분석 화면. AI 봇 트래픽, 기타 봇 트래픽, 사람의 트래픽을 직접 유입과 추천 유입으로 구분하여 주요 지표를 제공합니다.
가시성은 시작에 불과합니다. Cloudflare는 웹사이트 소유자가 새로운 시대에도 자신의 콘텐츠를 더욱 효과적으로 관리할 수 있도록 앞으로도 다양한 기능을 계속 제공할 예정입니다. 특히 비즈니스 의사결정에 참여하는 고객이라면 Cloudflare Bot Management의 새로운 분석 기능을 직접 활용해 보시기를 권장합니다.