Galileo 프로젝트가 이제 Cloudflare의 Bot Management 및 AI Crawl Control 서비스에 대한 액세스를 포함하게 되었음을 기쁘게 전해 드립니다. 전 세계적으로 약 750명의 언론인, 독립 뉴스 기관 및 뉴스 수집을 지원하는 기타 비영리 단체가 포함된 프로그램 참가자들은 이제 AI 크롤러로부터 무료로 웹사이트를 보호할 수 있는 기능을 갖게 됩니다.
Galileo 프로젝트는 중요한 시민의 목소리를 온라인에서 보호하기 위한 Cloudflare의 무료 프로그램입니다. 2014년에 출시되어 현재 125개 국가에서 3,000개 이상의 조직이 참가하고 있으며, 다른 무료 Cloudflare 프로그램의 기반이 되어 민주적인 선거, 공립학교, 공공 진료소, 기타 핵심 인프라를 보호하는 데 도움을 주고 있습니다.
모든 Galileo 프로젝트 참여자가 이러한 추가 무료 서비스의 혜택을 받을 것이라고 생각하지만, 우리는 특히 언론사에 필수적이라고 믿습니다.
언론사, 특히 지역 뉴스는 AI 기반 웹으로 전환하는 과정에서 상당한 어려움을 겪고 있습니다. 사람들이 정보를 얻기 위해 AI 모델을 점점 더 많이 사용함에 따라, 그 정보가 처음 생성된 실제 웹사이트로의 웹 트래픽은 오히려 감소하고 있습니다. 뉴스 조직처럼 사용자 트래픽에 의존하여 수익을 창출하는 업계는 점점 더 위험에 처해지는 것입니다.
언론사가 AI 크롤러가 웹사이트와 상호 작용하는 방식을 모니터링하고 제어할 수 있도록 하면, 그들은 콘텐츠를 더 잘 보호하고 AI 기업과의 협력에 대해 더 정보에 입각한 결정을 내릴 수 있습니다. 궁극적으로 우리의 목표는 언론사가 그들의 노력에 대한 공정한 보상을 협상할 수 있도록 필요한 도구를 제공하는 것입니다.
AI는 인터넷에서 트래픽 흐름을 근본적으로 변화시키고 있습니다. Cloudflare는 최근 발표한 데이터를 통해 최근 공개 AI를 이용할 경우 동일한 양의 트래픽을 확보하는 것이 이전 Google 검색에 비해 750배 더 어려워졌음을 입증했습니다. Anthropic까지 더해지면 30,000배 더 어렵습니다.
뉴스 조직은 독자와의 소통뿐만 아니라 구독, 광고, 전자 상거래, 라이선스 수익을 창출하기 위해 트래픽에 의존합니다. 최근 파이낸셜 타임스의 CEO는 최근 AI로 인해 검색 엔진을 통해 자사 기사로 유입되는 트래픽이 ‘꽤 갑작스럽고 지속적으로’ 25~30% 감소했다고 밝혔습니다.
사용자 트래픽과 수익의 잠재적 손실은 이미 불안정한 시기에 접어든 뉴스 산업에 더욱 큰 부담으로 다가옵니다. 소규모 독립 신문과 뉴스 라디오 방송국이 특히 미국에서 상당한 재정적 압박을 계속해서 받고 있다는 것은 잘 알려진 사실입니다. 최근 미국 의회 증언에 따르면 2024년에만 매주 두 개 이상의 신문사가 문을 닫았고, 미국 신문의 3분의 1이 2025년이 시작하기 전에 문을 닫았습니다. 노스웨스턴 지역 뉴스 이니셔티브(North Western Local News Initiative)의 2024년 보고서에 따르면 미국에서 206개 이상의 카운티는 지역 뉴스 매체가 전혀 없었고, 1,561개 카운티는 단 하나의 매체만 있는 것으로 나타났습니다.
미국 전역의 공공 뉴스 방송국에 보조금, 프로그램, 기타 지원을 제공했던 공영방송공사 및 내셔널 퍼블릭 라디오에 대한 최근 자금 삭감으로 인해 이들 조직에 추가적인 부담이 가해졌으며 더 많은 폐쇄가 예상됩니다.
언론인과 뉴스 조직이 AI 기반 웹에 적응할 수 있도록 돕는 중요한 첫 단계는 AI 모델이 그들의 콘텐츠에 접근하는 것을 모니터링하고 제어할 수 있는 도구를 제공하는 것입니다.
“AI와 디지털 혁신으로 정의되는 시대에 독립 미디어에 강력한 도구를 제공하는 것은 단순한 지원이 아니라 생명줄입니다” - Meera, CEO Internews Europe
“독립 출판업자들은 사용하기 쉽고 저렴하여 비즈니스 성장에 집중할 수 있는 도구를 필요로 합니다. LION은 수년간 Galileo 프로젝트를 통해 Cloudflare가 회원들에게 제공한 보안과 보호에 대해 감사드립니다. 또한, 회원들이 빠르게 변화하는 디지털 보안 환경을 관리할 수 있도록 더 많은 자원이 제공되어 기쁩니다.” - Sarah Gustavus Lim, LION 멤버십 디렉터
Cloudflare Bot Management 및 AI Crawl Control은 바로 이러한 목적으로 설계되었습니다. Bot Management는 머신 러닝을 활용하여 웹 트래픽을 분석하고, 검색 엔진 크롤러와 같은 좋은 봇과 웹사이트를 공격하거나 자격 증명을 도용하는 나쁜 봇을 구분하는 보안 도구입니다. 웹사이트 소유자는 이를 통해 악성 봇이 웹사이트에 접근하는 것을 차단하면서 유용한 봇이 계속 작업할 수 있도록 할 수 있습니다.
AI Crawl Control은 AI 크롤러를 식별하고 관리하기 위한 유사한 도구를 제공합니다. Cloudflare는 다양한 기술을 사용하여 크롤러(HTTP 헤더, 휴리스틱 및 기타 동작)를 식별하고 분류하여 웹사이트 소유자가 유형별로(예: AI 검색, AI 스크래퍼), 출처별로(Google, OpenAI, Anthorpic 등), 그리고 액세스하는 콘텐츠별로 활동을 분석할 수 있도록 합니다. 예를 들어, Cloudflare의 AI Crawl Control 도구는 다음과 같은 종류의 데이터를 제공할 수 있습니다(radar.cloudflare.com 도메인 사용).
Cloudflare는 이러한 인사이트와 사용하기 쉬운 제어 기능을 결합하여 웹사이트 소유자가 특정 유형의 봇이나 개별 AI 회사에만 데이터를 제공하는 등 데이터를 제공할지 여부에 대해 정보에 입각한 결정을 내릴 수 있도록 합니다. 예를 들어, 지역 신문은 모든 AI 크롤러를 차단하고 자체 웹사이트를 통해 독자와의 직접 연결을 유지하거나, 트래픽을 유도하는 AI 검색 크롤러를 허용하면서 AI 스크래퍼만 차단하거나, 단일 AI 회사에 콘텐츠에 대한 독점 액세스를 협상하고 판매할 수도 있습니다. 다음 이미지는 AI Crawl Control을 통해 사용자가 크롤러별로 액세스를 허용하거나 차단하는 방법을 보여줍니다.
AI 크롤러 활동을 제어하고 모니터링하는 기능은 뉴스 조직이 자신의 콘텐츠를 보호하고 모델이 데이터를 어떻게 사용하는지 이해하는 데 즉각적인 도움이 될 것이라고 생각합니다.
또한 우리는 이것이 시간이 지남에 따라 언론사들이 AI 기업과 상호 이익이 되는 관계를 협상할 수 있도록 장기적인 통찰력을 제공할 것이라고 생각합니다.
"독립 언론이 뉴스를 수집하고 신뢰할 수 있는 정보를 배포함으로써 민주적 기능을 수행할 수 있는 능력은 정치적 또는 사업적 영향으로부터 자유로운 수익 창출에 달려 있습니다. 미디어는 출판사 사이트의 크롤링을 모니터링하고 수익화함으로써 지적 재산을 보호하는 동시에 양질의 저널리즘을 지원할 새로운 수익원을 개발할 수 있습니다." - Ryan Powell, International Press Institute 혁신 및 미디어 비즈니스 책임자
저널리즘은 자유 사회와 민주적 통치의 기초 중 하나입니다. 저널리즘은 권력에 책임을 물을 수 있으며 소외된 소수 계층이 목소리를 낼 수 있는 기회를 제공합니다. 이는 또한 스타트업이 강력한 기존 기업에 도전할 수 있는 자유롭고 개방된 시장을 보호합니다.
특히 지역 뉴스는 공동의 정체성을 형성하는 데 기여합니다. 커뮤니티 행사, 고등학교 스포츠, 농산물 직거래 장터, 신규 사업체를 다룰 뿐만 아니라 지방 공무원, 교육 위원회, 공공 안전 행사, 선거에 대한 필수적인 투명성과 감독 기능을 제공합니다.
언론인과 언론 기관을 온라인에서 보호하는 것은 항상 Cloudflare의 사명 중 하나였습니다. 이는 Cloudflare의 비즈니스와 인터넷의 미래에 필수적인 요소라고 생각합니다.
Galileo 프로젝트에 대해 더 알고 싶으시다면, 지금 가입하세요. 더 나은 인터넷 세상을 만드는 데 관심이 있으시다면 함께하세요.