1년 전 우리는 첫 번째 콘텐츠 독립기념일을 선언하며 웹사이트 소유자가 자신의 콘텐츠에 대한 통제권을 되찾을 수 있는 수단을 제공했습니다. 30년 동안 유지되어 온 크롤러와 웹사이트 소유자 간의 암묵적인 계약, 즉 "우리가 당신의 사이트를 크롤링하면 당신은 추천 트래픽을 얻는다"는 원칙은 더 이상 유효하지 않았습니다. AI는 모든 것을 가져가면서도 아무것도 돌려주지 않았고, 이는 웹사이트 소유자의 존립 자체를 위협하는 문제가 되었습니다. 이에 우리는 클릭 한 번으로 사용할 수 있는 'AI 봇 차단(Block AI Bots)' 옵션과 크롤링당 결제 마켓플레이스를 출시했습니다.
지난 1년 동안 많은 것이 달라졌습니다. 지난해 7월만 해도 'AI 봇'에 대한 논의는 보상 없이 이루어지는 AI 학습을 차단하는 데 초점이 맞춰져 있었습니다. 콘텐츠는 모델 학습에 사용되지만 웹사이트 소유자에게는 아무런 가치도 돌아오지 않는 일방적인 거래였기 때문입니다. 그러나 이제는 보다 세분화된 접근 방식에 대한 요구가 커지고 있습니다. 콘텐츠 소유자는 여전히 자신의 콘텐츠를 보호할 수 있어야 하며, 직접 제작하고 선별하고 공유하기 위해 많은 노력을 기울인 원본 콘텐츠에 대해서는 정당한 보상을 받아야 합니다. 또한 콘텐츠를 무조건 잠그는 것이 모든 상황에 맞는 해결책이 아니라는 점도 분명해졌습니다. 웹사이트 소유자는 '모든 자동화를 항상 차단'하는 것보다 더 다양한 선택지를 원합니다.
소규모 사이트를 운영한다면 문제는 단순히 누군가가 내 콘텐츠를 모델 학습에 사용할 수 있다는 것만이 아닙니다. 애초에 아무도 내 사이트를 찾지 못할 수도 있다는 점이 더 큰 문제입니다. 결국 파우스트식 거래를 해야 하는 상황에 놓이게 됩니다. 검색 결과에 노출되는 대신 AI가 내 콘텐츠를 학습하도록 허용하거나, 그렇지 않으면 검색 가능성을 포기해야 하는 것입니다. 검색과 AI 학습에 동일한 봇을 사용하는 기존 검색 사업자는 이러한 구조에서 부당한 이점을 얻게 됩니다. 또한 이러한 불공정한 우위는 후발 사업자들이 경쟁 격차를 좁히기 위해 자신의 의도를 명확히 드러내지 않도록 만드는 요인으로 작용합니다.
오늘날 AI는 거의 모든 곳에 존재합니다. Google 검색은 AI를 활용해 검색 결과를 정렬하는 수준을 넘어, 검색 결과 페이지에서 질문에 직접 답하는 완전한 답변 엔진으로 변화했습니다. 그리고 이는 Google만의 변화가 아닙니다. '검색' 자체가 이러한 방향으로 진화하고 있습니다.
오늘날 무엇을 'AI'로 볼 것인지에 대해 기준을 세우려 해도, 그 기준은 내일이면 또 달라질 수 있습니다. 그래서 우리는 봇을 단순히 'AI인지 아닌지'로 구분하는 대신, 봇이나 에이전트의 행동을 더 깊이 살펴보는 새로운 분류 방식을 도입하고자 합니다. 내 사이트에서 무엇을 하고 있는가?무엇을 저장하고 있는가?그리고 내 콘텐츠를 어떤 방식으로 다시 공유하는가? 하는 것을 살펴보는 것입니다.
이러한 질문에 답하기 위해서는 보다 세분화된 관점이 필요합니다. 즉, 고객이 중요하게 생각하는 AI 활용 사례에 맞춘 실용적인 분류 체계가 필요합니다. 따라서 우리는 논의를 AI 학습에만 국한하지 않고, 모든 고객이 관리할 수 있어야 한다고 생각하는 세 가지 AI 활용 사례에 초점을 맞추고 있습니다.
검색(Search): 나중에 질문에 답할 수 있도록 콘텐츠를 수집하거나 색인을 생성하는 모든 활동입니다. 핵심은 향후 질의에 응답하기 위해 사이트의 데이터베이스를 미리 구축한다는 점입니다. 사이트 소유자는 그 대가로 추천 트래픽이나 이에 상응하는 공정한 보상을 기대할 수 있어야 합니다.
에이전트(Agent): 사람을 대신해 일반적으로 실시간으로 작업을 수행하는 자동화된 활동입니다. 여기에는 채팅 콘텐츠 가져오기 봇(예: ChatGPT-User)과 브라우저 사용 에이전트(예: Chrome을 제어하는 Gemini 또는 Claude)가 포함됩니다. 핵심은 작업을 완료하기 위해 웹 애플리케이션을 방문하며, 그 결과를 기다리는 사람이 있는 경우가 많다는 점입니다.
학습(Training): 모델을 학습시키거나 미세 조정하기 위해 콘텐츠를 수집하는 크롤러입니다. 핵심은 사이트의 데이터가 AI의 기반 구조에 영구적으로 흡수되어 AI의 성능 향상에 활용된다는 점입니다.
현재 널리 사용되는 많은 크롤러는 위 세 가지 분류 가운데 하나에 속하며, 일부는 둘 이상의 분류에 해당합니다. 물론 Cloudflare는 이 세 가지 외에도 광고 검증, 피드 수집, 에이전트 기반 거래(이에 대해서는 뒤에서 다시 설명합니다) 등 다양한 활동을 분류하고 있습니다. 그러나 우리는 모든 웹사이트 소유자가 최소한 이 세 가지 AI 중심 활용 사례에 대해서는 손쉽게 액세스를 관리할 수 있어야 한다고 생각합니다. 또한 우리는 봇 운영자가 크롤러를 목적별로 분리해야 한다고 믿습니다. 그렇게 해야 웹사이트 소유자의 투명성이 높아져 특정 크롤러가 어떤 목적으로 방문하는지 더 잘 이해할 수 있고, 해당 크롤러에 허용할 액세스 수준도 더욱 효과적으로 관리할 수 있기 때문입니다. 하나의 기업이 검색 색인을 구축하고, 에이전트 역할을 수행하며, 모델 학습을 위한 데이터를 수집하는 자동화를 모두 운영한다면, 우리는 이러한 기능을 각각 별도의 크롤러로 분리할 것을 강력히 권장합니다.
우리는 자동화 트래픽이 계속 진화하는 환경에서도 확장 가능하고 현실을 충실히 반영할 수 있는 분류 체계를 구축하고자 합니다. 봇의 목적을 추적하는 개념 자체는 새로운 것이 아닙니다. 하지만 이번에 도입하는 새로운 분류 체계는 오늘날의 봇 트래픽 환경을 더욱 정확하게 반영하도록 여러 부분을 개선했습니다. 특히 여러 목적을 수행하는 봇은 하나의 목적만이 아니라 모든 목적에 대해 분류하고 추적해야 한다는 점을 중요하게 반영했습니다.
Cloudflare 네트워크를 사용하는 모든 웹사이트 소유자가 다양한 유형의 AI 트래픽을 더욱 효과적으로 관리할 수 있도록 새로운 옵션을 제공하고자 합니다.
기존에 발표했던 'AI 봇 차단' 관리 프리셋은 아래와 같이 모델 학습을 위해 데이터를 수집하는 단일 목적의 봇만 차단하는 방식이었습니다.
2025년 7월 1일 기준 AI 봇 트래픽 관리 설정 화면.
그러나 모든 AI 활용 방식이 동일한 것은 아니며, 고객에게는 이에 맞는 제어 기능이 필요합니다. 이에 따라 우리는 검색, 에이전트, 학습 크롤러라는 세 가지 주요 활용 사례를 기준으로 AI 트래픽을 관리할 수 있는 기능을 새롭게 제공합니다. 이러한 새로운 옵션을 통해 고객은 AI 봇 트래픽을 훨씬 더 세밀하게 관리할 수 있으며, Free 요금제 고객도 이를 사용할 수 있습니다.
2026년 7월 1일 기준 새로운 AI 봇 트래픽 관리 옵션 화면.
2026년 9월 15일부터 세 가지 분류 각각에 대해 새로운 기본 설정을 적용합니다. Cloudflare에 새롭게 등록되는 모든 도메인에서는 학습 및 에이전트 범주가 광고가 표시되는 페이지에서 기본적으로 차단되며, 검색은 기본적으로 계속 허용됩니다.
광고는 웹사이트 소유자가 사용자가 해당 페이지를 방문해 광고를 보고, 이를 통해 수익을 창출하기를 의도했다는 신호입니다. 따라서 이러한 페이지에서는 사람의 방문과 관심을 최종 목표로 간주하며, 이러한 관심을 가로챌 수 있는 봇(즉, 학습 및 에이전트 봇)은 차단합니다. 반면 검색은 방문자를 사이트로 다시 유도하는 역할을 하기 때문에, 대부분의 사이트 소유자에게는 이를 허용하는 것이 더 유리하다고 판단합니다.
9월 15일부터 적용되는 또 다른 변경 사항은 다목적 크롤러, 특히 검색과 학습을 함께 수행하는 크롤러를 모든 동작을 기준으로 허용하거나 차단한다는 것입니다. 이는 웹사이트 소유자에게 더 높은 투명성을 제공하자는 우리의 원칙에 따른 것입니다. 기본 설정은 적용 가능한 규칙 가운데 가장 엄격한 기준에 따라 시행되므로, Googlebot, Applebot, BingBot과 같은 다목적 크롤러는 고객이 학습을 차단하도록 선택한 경우(새로운 AI 트래픽 관리 옵션 또는 기존 AI 봇 차단 기능을 통해 설정한 경우 모두 포함) 차단됩니다.
물론 가장 중요한 것은 고객의 선택입니다. 웹사이트 소유자가 이러한 새로운 기본 설정을 적용하지 않으려는 경우에는 9월 15일 이전까지 언제든지 보안 설정에서 이를 선택하여, 검색 목적으로도 크롤링하는 학습 크롤러에 대해 기존 설정을 그대로 유지할 수 있습니다. 또한 9월 15일이 가까워짐에 따라 기본 설정 변경 사항을 지속적으로 안내하여, 기본 설정과 다른 구성을 원하는 고객이 충분히 선택할 수 있도록 지원할 예정입니다.
Enterprise 고객을 위한 새로운 가시성 계층, BotBase
또한 Enterprise Bot Management의 새로운 기능으로 대폭 향상된 가시성 기능을 선보이게 되어 기쁩니다. Cloudflare가 추적하는 봇 디렉터리가 계속 확대되면서, 관련 봇을 의미 있는 그룹으로 관리하고 개별 봇에 대한 더 자세한 정보를 확인하고자 하는 요구도 함께 증가했습니다.
BotBase 소개. BotBase는 검증된(Verified 상태) 봇과 에이전트를 포함한 모든 알려진 봇을 추적하는 새로운 데이터베이스입니다. 이 데이터베이스는 Cloudflare 대시보드에서 전체 봇 디렉터리를 종합적이고 검색 가능한 형태로 제공합니다. 우선은 가시성 향상에 초점을 맞추지만, 올해 후반에는 BotBase를 확장하여 웹사이트의 알려진 자동화 트래픽을 직접 관리할 수 있는 제어 센터도 제공할 예정입니다.
새로운 화면을 통해 Enterprise Bot Management 고객은 모든 검증된 봇 및 에이전트의 전체 목록과, 새롭게 도입된 분류 체계에서 각각이 어떻게 분류되는지를 확인할 수 있습니다. 이러한 정보를 Cloudflare 대시보드에서 동적으로 제공하는 것은 이번이 처음입니다. 또한 특정 봇을 정밀하게 관리하려는 고객은 해당 봇의 모든 트래픽을 손쉽게 필터링할 수 있으며, 보안 규칙에서 사용할 탐지 ID도 바로 복사할 수 있습니다. 이러한 기능은 모두 Bot Management 구성 카드에서 접근할 수 있는 전용 페이지에서 사용할 수 있습니다.
BotBase를 구축하면서 우리는 봇별로 확장 가능하고 강력한 인사이트를 제공하는 데 필요한 모든 정보를 담고자 했습니다. 그중 핵심 요소 가운데 하나가 바로 이번에 새롭게 도입한 분류 체계의 기반이 되는 동작, 즉 봇이 사이트에서 무엇을 하는지를 기준으로 분류하는 방식입니다. 아래와 같이 동작을 구분하며, 각 봇은 하나 이상의 동작으로 분류됩니다.
봇 분류 | 동작 및 용도 |
검색 | 검색 엔진 결과에 사이트가 표시될 수 있도록 사이트를 크롤링 |
에이전트 | 사용자를 대신해 페이지를 방문하는 사용자 지시형 에이전트 |
교육 | 모델을 학습하거나 미세 조정하기 위한 크롤링 |
거래 | 사용자를 대신한 결제 작업 수행 |
데이터 수집 | 가격 수집, 경쟁 정보 수집, 타사 분석 등 |
보안 테스트 | 취약점 스캔 및 침투 테스트 등 |
SEO | SEO 크롤링, 사이트 감사, 접근성 검사 |
광고 검증 | 광고 게재 검증 및 광고 사기 탐지 |
소셜 / 링크 미리보기 | 소셜 플랫폼 및 메시징 애플리케이션의 링크 미리보기 |
피드 가져오기 | RSS 리더, 팟캐스트 수집기, 뉴스 피드 봇 등 |
모니터링 및 운영 | 가동 시간 모니터링, 웹훅, 상태 점검 등 |
굵은 기울임꼴로 표시된 행은 모든 고객이 사용할 수 있는 새 구성 옵션입니다.
고객들이 중요하게 생각하는 또 다른 정보는 봇의 콘텐츠 사용 방식, 즉, 봇이 콘텐츠를 크롤링한 후 무엇을 저장하고, 어떤 내용을 다시 공유하는지에 대한 정보입니다. 이를 지원하기 위해 Cloudflare는 Bot Management 고객이 콘텐츠 사용 방식을 기준으로 봇을 선택하고 차단할 수 있는 기능을 개발하고 있습니다. 이 설정은 허용 범위가 가장 좁은 수준부터 가장 넓은 수준까지 다음 세 단계로 구성됩니다.
즉시(immediate) — 상호작용은 허용하지만 아무것도 저장하거나 재사용하지 않음
참조(reference)(기본값) — 색인 생성, 일부 내용 발췌, 원본으로의 링크 허용
전체(full) — 요약 및 전체 내용 재생산 허용
이러한 값은 봇 분류와 조합하여 보다 세밀한 규칙을 설정할 수 있습니다. 예를 들어 "검색, SEO, 광고 검증에 사용되는 모든 봇은 허용하되, 콘텐츠 사용 방식은 참조 수준까지만 허용"과 같은 정책을 적용할 수 있습니다. 이를 통해 웹사이트 소유자는 개별 봇마다 규칙을 설정하는 대신, 의미 있는 그룹 단위로 정책을 관리할 수 있습니다.
이를 지원하기 위해 오늘부터 콘텐츠 신호를 확장하는 새로운 신호인 use를 테스트합니다. 이 신호는 robots.txt에 추가되며, 기존 콘텐츠 신호의 세 가지 필드에 다음과 같은 네 번째 선택적 필드를 추가합니다.
use=immediate
use=reference
use=full
robots.txt의 다른 항목과 마찬가지로, 콘텐츠 사용 값은 웹사이트 소유자의 선호 사항을 나타낼 뿐 직접 차단을 수행하지는 않습니다. Cloudflare는 이제 이 확장 기능을 지원합니다. 이미 관리형 robots.txt를 활성화한 모든 고객은(검색을 위한 크롤링은 허용하고 학습을 위한 크롤링은 허용하지 않는 기본 설정을 robots.txt에 자동 추가하는 기능) 이제 use=reference 설정도 robots.txt에 함께 추가됩니다.
# Cloudflare Managed content with original Content Signals
User-agent: *
Content-Signal: search=yes,ai-train=no
Allow: /
기존 Content Signals 값이 포함된 Cloudflare 관리형 robots.txt의 내용
# Cloudflare Managed content with the new content-use signal
User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
Allow: /
새로운 매개변수가 추가된 Cloudflare 관리형 robots.txt의 내용
또한 Cloudflare는 BotBase에서 모든 봇의 콘텐츠 사용 방식을 추적하기 시작합니다. 이러한 신호를 악용하는 봇이 확인되면 해당 봇은 Verified(검증) 상태를 잃게 되며, 더 이상 허용되지 않습니다. 현재 콘텐츠를 전체 그대로 재생산하는 봇은 Verified 상태를 받을 수 없습니다.
검증된(Verified 상태) 봇이란 무엇인가요?
"Verified"에 대해 이야기하자면, 앞으로 적용될 기본 허용 및 차단 기준 변경에 맞춰 Verified의 정의도 변경됩니다. 기존에는 모든 Verified 봇이 기본적으로 허용되었으며, 이는 원치 않는 자동화 트래픽을 차단하는 Bot Fight Mode와 Enterprise Bot Management 고객을 위한 규칙 템플릿에도 동일하게 적용되었습니다.
오늘부터는 여기에 보다 세밀한 기준을 적용합니다. 검증되지 않은 봇은 여전히 기본적으로 차단되지만, Verified를 더 이상 "기본적으로 허용됨" 상태로 간주하지 않습니다. 이제 Verified 레이블은 해당 봇이 속한 분류에서 허용 대상이 될 수 있음을 의미합니다. 따라서 웹사이트에서 허용한 분류(예: 검색 허용)에 따라 어떤 봇이 웹사이트에 액세스할 수 있는지가 결정됩니다.
이러한 변경에 맞춰 Verified 봇이 되는 절차도 더욱 개방적이고 투명하게 만들고 있습니다. 봇이 "Verified"가 되려면 두 가지를 입증해야 합니다. 첫째, 자신의 정체를 정직하게 밝히는 것. 그리고 둘째, 그 정직성을 바탕으로 얻은 액세스 권한을 남용하지 않는 것입니다. 또한 봇 운영자가 Cloudflare의 분류 체계에서 자신의 봇이 올바르게 분류되도록 관리할 수 있는 도구도 현재 개발 중이며, 가까운 시일 내에 공개할 예정입니다.
BotBase 참여를 원하는 또는 이미 참여 중인 봇 운영자를 위해 구축 중인 차세대 Cloudflare 봇 디렉터리 플랫폼의 미리보기 화면
마지막으로 한 가지가 더 있습니다. 이제 웹사이트를 방문하는 봇이나 에이전트는 점점 더 해당 서비스를 만든 회사가 직접 운영하지 않는 경우가 많습니다. Cloudflare의 개발자 플랫폼과 같은 플랫폼은 대기업부터 이름조차 들어보지 못한 개발자까지 수천 개 운영자의 자동화를 동시에 실행합니다. 예를 들어 Stripe는 신뢰할 수 있지만, Stripe의 도구를 주말 프로젝트에 연결한 모든 개발자까지 신뢰하는 것은 아닙니다.
Cloudflare는 이러한 사이트 소유자 → 봇 운영 회사 → 최종 사용자 관계를 전이적 신뢰(transitive trust)라고 부르며, RFC 7239에서 정의한 기존 Forwarded 헤더를 활용하는 방안을 제안합니다. 이 헤더는 요청과 함께 전달되며, "프록시 처리 과정에서 손실된 정보를 프록시 구성 요소가 공개할 수 있도록" 합니다.
이는 X-Forwarded-For가 IP 주소를 전달하거나 X-Forwarded-Host가 원래의 Host 헤더를 유지하는 방식과 유사합니다. 따라서 웹사이트 소유자가 "이 운영자는 허용한다"라고 설정하면, 해당 운영자가 직접 방문하든, 신뢰할 수 있는 여러 중개 계층을 거쳐 방문하든 동일한 정책이 적용됩니다. 자세한 내용은 문서에서 확인할 수 있으며, 형식은 다음과 같습니다.
Forwarded: for="openai"
앞서 설명한 콘텐츠 사용 확장 기능을 함께 사용하면 다음과 같이 운영자가 콘텐츠를 어떻게 사용할 것인지를 함께 선언할 수 있습니다.
Forwarded: for="openai";use="reference"
이는 우리가 만들고자 하는 인센티브 구조와도 부합합니다. Cloudflare를 사용하는 20% 이상의 웹 도메인에서 신뢰 상태를 잃는 것은 매우 큰 불이익입니다. 신뢰는 함께 가져갈 수 있는 자산인 동시에 잃을 수도 있는 자산이 됩니다.
물론 봇 트래픽과 사람의 트래픽이 점점 더 혼합됨에 따라, 이러한 전이적 신뢰 체계는 자신의 신원을 공개할 수 있는 사용자에게만 적용될 가능성도 있습니다. 오늘 제안하는 방식은 신뢰를 전달하는 데 도움이 되지만, 미래의 웹 전체에 영구적으로 적용될 수 있는 유일한 해결책은 아닙니다. 소규모 트래픽 공급자는 개인정보 보호가 필요하며, 개인정보 보호 원칙을 유지하려는 기업도 비공개 레이트 리미팅과 같은 공정한 기술을 바탕으로 에이전트 인터넷의 미래를 만들어 갈 수 있어야 합니다.
이러한 변화는 모두 같은 방향을 향하고 있습니다. 웹사이트 소유자가 자신의 콘텐츠를 누가, 어떻게 사용하는지를 더욱 세밀하게 제어할 수 있도록 하는 것입니다. 오늘 소개한 새로운 기본 설정은 앞으로 구현될 예정이며, 더 높은 투명성을 촉진하고 세상의 변화 방향을 더욱 잘 반영한다고 믿습니다.
물론 웹은 앞으로도 계속 변화할 것이며 Cloudflare도 그 변화에 맞춰 계속 발전해 나갈 것입니다. 그러나 방향은 변하지 않습니다. Cloudflare가 처음부터 지향해 온 것은 신뢰를 중심으로 구축되는 웹 생태계이기 때문입니다. 무언가를 만든 사람이 그것이 어떻게 사용될지를 스스로 결정할 수 있고, 자신의 목적을 정직하게 밝히는 사람이 더 많은 액세스 권한을 얻는 웹 말입니다.
이러한 새로운 AI 트래픽 관리 옵션은 지금 바로 사용할 수 있으며, 기존 모든 고객은 자신의 영역 설정에서 설정할 수 있습니다. 아직 Cloudflare를 사용하지 않고 계신가요? 지금 무료로 시작하고 원하는 트래픽 제어 정책을 설정해 보세요.
즐거운 콘텐츠 독립기념일 되세요.