검색은 웹에서 이루어지는 거의 모든 경험의 중심입니다. 검색은 우리가 원하는 일을 처리하는 방식이며, 웹에 있는 거의 모든 것을 발견하는 수단이기도 합니다. 창작자, 판매자, 그리고 방금 검색창에 입력한 질문에 대한 답까지 모두 검색을 통해 찾습니다. 거의 30년 동안 이러한 검색 중심의 발견 과정은 단순한 암묵적 계약 위에서 운영되었습니다. 검색 엔진이 콘텐츠를 크롤링하도록 허용하면, 검색 엔진은 방문자를 웹사이트로 보내주었습니다. 웹사이트 소유자는 광고와 구독, 또는 독자 자체를 통해 그 방문자를 비즈니스로 연결했습니다. 검색 가능성과 수익 창출은 사실상 같은 의미였습니다. 1년 전 첫 번째 콘텐츠 독립기념일에 우리는 AI 시대에도 이러한 계약을 지키기 위한 분명한 원칙을 제시했습니다. 그러나 원칙을 세우는 것만으로는 충분하지 않았습니다. 그 이후 온라인 트래픽의 50% 이상이 사람이 아닌 주체에 의해 발생하게 되면서, 소비자의 일상에서 AI 검색은 더욱 빠르게 확산되었습니다. 이제 위협은 차단할 수 있는 일부 학습 크롤러에 그치지 않습니다. 검색 자체가 AI 기반 답변을 중심으로 다시 만들어지고 있습니다.
오늘날의 답변 엔진은 웹페이지를 읽고 사용자에게 요약된 답변을 제공합니다. 그 결과 웹사이트 방문은 물론, 그 방문을 기반으로 했던 수익도 더 이상 필요하지 않게 됩니다. Cloudflare는 이러한 변화를 직접 확인하고 있으며, 독립적인 연구 결과도 이를 뒷받침합니다. Pew Research Center의 2025년 연구에 따르면 Google이 AI 요약을 제공하는 경우 사용자가 기존 검색 결과 링크를 클릭하는 비율은 8%에 불과했습니다. 이는 AI 요약이 없을 때의 약 절반 수준입니다. AI 요약 안에 포함된 링크를 클릭한 비율은 1%에 그쳤습니다. 이러한 상황은 고객에게 어려운 선택을 강요합니다. AI를 허용하지 않으면 검색되기 어려워지고, AI를 허용하면 사용자에게 큰 가치를 제공하면서도 그에 대한 보상은 점점 줄어듭니다. 고객은 자신의 콘텐츠가 검색되고 그 가치에 대한 정당한 보상을 받기를 원하지만, 지금은 둘 중 하나를 선택해야 하는 상황에 놓여 있습니다.
오늘 Cloudflare는 고객이 누가 자신의 사이트에 액세스할 수 있는지, 그리고 무엇을 할 수 있는지를 더욱 효과적으로 제어할 수 있도록 새로운 봇 관리 옵션을 발표했습니다. 그러나 차단은 첫 번째 단계에 불과합니다. '아니요'라고 말하는 것만으로는 콘텐츠는 보호할 수 있지만, 이를 지속 가능하게 만드는 비즈니스 모델은 복원할 수 없습니다. 이제는 검색부터 시작해 인터넷의 새로운 경제 모델을 구축해야 할 때입니다.
투명성과 제어는 출발점이지만 그것만으로는 충분하지 않습니다. Cloudflare는 2025년, 봇은 자신의 정체와 목적을 투명하게 밝혀야 하고, 사이트 소유자의 선택을 존중해야 하며, 선의에 따라 행동해야 한다는 책임 있는 AI 봇 원칙을 발표하며 그 기반을 마련했습니다. Cloudflare의 도구는 봇이 이러한 원칙을 지키도록 합니다. 그러나 봇이 올바르게 행동하도록 강제하는 것만으로는 AI 검색을 이용하는 사람들에게 더 나은 경험을 제공할 수 없으며, 답변을 가능하게 만든 창작자에게 보상이 돌아가도록 할 수도 없습니다. 우리는 웹이 단순히 '아니요'라고 말하도록 돕는 것을 넘어, 무엇에 '예'라고 말해야 하는지도 함께 만들어 갈 수 있습니다.
오늘 Cloudflare는 방어에서 한 걸음 더 나아가, 과거의 계약을 다시 완성하기 위한 두 가지 이니셔티브를 발표합니다.
AI 검색을 더욱 똑똑하게 만들기: Cloudflare는 글로벌 네트워크에서 확인하는 최신성, 품질, 실제 변경 여부와 같은 신호를 활용해 답변 엔진이 가장 관련성이 높은 콘텐츠를 찾고 불필요한 크롤링을 줄일 수 있도록 지원합니다. 사용자는 더 나은 답변을 받을 수 있으며, 웹페이지가 실제로 변경되었을 때만 다시 크롤링하면 되므로 AI 기업과 사이트 소유자 모두 비용을 절감할 수 있습니다.
창작자가 제공한 가치에 대해 보상하기: 누군가의 질문에 답하기 위해 여러분의 콘텐츠가 사용되었다면, 무료로 수집되는 대신 정당한 보상을 받아야 합니다. 또한 어떤 콘텐츠가 사용되었고 사람들이 무엇을 질문했는지도 확인할 수 있어야 합니다. 이것은 실제 수익원이 되어야 하며, 계속해서 독창적인 콘텐츠를 제작하도록 장려하는 동기가 되어야 합니다.
오늘 Cloudflare는 AI 검색을 더욱 똑똑하게 만들고, 아무런 새로운 결과도 만들어내지 못하는 크롤링 비용을 고객이 부담하지 않도록 하기 위한 연구 프로그램을 시작합니다.
웹의 20% 이상이 Cloudflare 네트워크를 사용하고 있기 때문에 우리는 독보적인 시각을 가지고 있습니다. 어떤 페이지가 실제로 변경되었는지, 그리고 사람과 에이전트가 어떤 콘텐츠에 몰리고 있는지를 파악할 수 있습니다. 이번 프로그램에서는 고객이 공유하기로 선택한 콘텐츠 최신성 신호와, Cloudflare가 보유한 사람 및 봇 트래픽 흐름에 대한 인사이트를 결합해 활용하는 방안을 연구합니다. 답변 엔진에는 고품질 콘텐츠를 찾기 위한 지침이 되고, 고객에게는 사용자가 실제로 무엇을 질문하는지와 자신의 콘텐츠가 AI 결과에 어떻게 노출되는지를 보여주는 정보가 됩니다. 이번 연구의 목표는 두 가지입니다. 이러한 신호가 답변 엔진이 더 신선하고 품질 높은 콘텐츠를 제공하는 데 얼마나 도움이 되는지, 그리고 불필요한 크롤링을 얼마나 줄일 수 있는지를 측정하는 것입니다.
두 번째 효과인 불필요한 크롤링 감소는 생각보다 훨씬 큰 의미를 갖습니다. Cloudflare 데이터에 따르면 정상적인 봇의 크롤링 트래픽 가운데 50% 이상이 변경되지 않은 페이지를 다시 가져오는 데 사용되고 있으며, 크롤링 규모가 증가할수록 이 비율도 더 높아질 가능성이 있습니다. '여기에는 아무런 변경이 없습니다'라는 신호만으로도 크롤러는 불필요한 방문을 생략할 수 있습니다. 이는 답변 엔진의 컴퓨팅 자원을 절약할 뿐 아니라, 보다 중요하게는 사이트 소유자가 필요하지도 않았던 요청을 처리하고 그 비용을 부담하는 일도 줄여줍니다.
이 프로그램은 특정 기업에 치우치지 않는 중립적인 방식으로 설계되었습니다. 우리의 목표는 공정하게 참여하는 모든 답변 엔진이 이를 활용할 수 있도록 하는 것입니다. 이 프로그램은 검색에만 적용되며, 어떠한 콘텐츠도 공유하지 않고, 어떤 정보도 기반 모델 학습에 사용되지 않습니다. 또한 콘텐츠 검색 가능성 향상과 서버 부담 감소 등 사이트 소유자가 얻는 이점을 포함해 연구 결과를 공개할 예정입니다. Cloudflare는 올해 안에 이 기능을 폭넓게 제공하고, 네트워크 전반에서 불필요한 크롤링을 줄일 계획입니다.
지난해 Cloudflare는 퍼블리셔가 AI 기업의 콘텐츠 크롤링에 대해 비용을 청구할 수 있도록 크롤링당 결제를 출시했습니다. 이는 의미 있는 첫걸음이었지만, 크롤링 횟수는 콘텐츠의 가치를 평가하는 데에는 지나치게 단순한 기준입니다. 하나의 페이지가 한 번만 크롤링된 뒤 수천 개의 답변에서 인용될 수도 있고, 반대로 수없이 크롤링되었지만 전혀 사용되지 않을 수도 있습니다. 콘텐츠 제작자는 자신이 제공한 가치에 대해 공정한 보상을 받기를 원합니다.
그래서 Cloudflare는 크롤링당 결제를 사용당 결제로 발전시키고 있습니다. 현재 Ceramic.ai와 You.com을 비롯한 주요 AI 기업과 함께 실험을 진행하고 있으며, 방식은 간단합니다. 각 기업은 자신들의 결제 모델을 그대로 가져와 Cloudflare 네트워크의 콘텐츠 소유자에게 손쉽게 확장할 수 있습니다.
Ceramic은 "쿼리당 결제" 모델을 구축했습니다. 이에 따라 참여를 선택한 퍼블리셔는 자신의 콘텐츠가 Ceramic의 검색 결과에 표시될 때마다 보상을 받을 수 있습니다. 즉, 크롤러가 콘텐츠를 몇 번 가져갔는지가 아니라, 해당 콘텐츠가 실제로 창출한 가치에 따라 보상이 이루어지도록 설계된 것입니다.
"AI 검색의 미래를 확장하려면 광범위한 도달 범위와 투명성 및 공정한 보상에 대한 공동의 의지를 갖춘 파트너가 필요합니다"라고 Ceramic.ai의 창립자 겸 CEO인 Anna Patterson은 말합니다. "Cloudflare는 우리의 운영을 쉽고 프로그래밍 방식으로 확장할 수 있도록 지원합니다. 우리의 쿼리당 결제 모델을 Cloudflare 네트워크에 도입함으로써, 수백만 명의 콘텐츠 소유자가 자신의 콘텐츠가 검색 결과에 표시될 때마다 손쉽게 보상을 받을 수 있도록 하고 있습니다."
보상뿐만 아니라 Cloudflare/Ceramic 프로그램에 참여하는 콘텐츠 소유자는 AEO(Answer Engine Optimization)를 지원하는 새로운 보고 기능도 이용할 수 있습니다. 이제 고객은 어떤 검색어를 통해 자신의 콘텐츠가 검색 결과에 노출되었는지, 어떤 웹페이지와 스니펫이 사용되었는지, 평균 검색 순위는 어떠한지 등을 확인할 수 있습니다. 이는 Cloudflare가 고객의 검색 가능성을 높이기 위해 선보일 다양한 기능 가운데 첫 번째입니다.
이는 여러 새로운 접근 방식 가운데 하나일 뿐입니다. 또 다른 사례는 You.com입니다. You.com에서는 에이전트가 필요한 프리미엄 콘텐츠에 대해 사전 계약 없이 필요할 때마다 비용을 지불할 수 있습니다. 현재 AI 기업들은 쿼리당 결제, 결과당 결제 등 다양한 결제 모델을 시험하고 있으며, Cloudflare는 이러한 모든 모델을 지원할 수 있는 인프라를 갖추고 있습니다.
Cloudflare는 이것이 아직 실험 단계라는 점을 분명히 말씀드리고자 합니다. 인터넷 규모에서도 이러한 모델이 실제로 작동하는지 등 아직 배워야 할 것이 많습니다. 앞으로 파트너와 고객과 함께 이를 검증하고, 그 과정에서 얻은 결과를 공유할 예정입니다. 그러나 목표는 분명합니다. AI 검색 기업은 더욱 신선하고 신뢰할 수 있는 답변을 제공하고, 그 답변을 가능하게 한 고객은 자신이 기여한 만큼 정당한 보상을 받는 것입니다. 이러한 시장이 성장할 수 있도록 기반 인프라를 제공하는 것이 Cloudflare의 역할입니다.
Cloudflare는 이것이 검색 경제가 나아가는 방향에 더욱 자연스럽게 부합한다고 생각합니다. 사람 중심의 기존 웹에서는 검색이 시간을 절약하도록 최적화되었습니다. 검색 결과에는 일부 발췌 내용과 파란색 링크 10개, 그리고 클릭이 있었습니다. 그러나 에이전트 인터넷은 다릅니다. 에이전트는 빠르게 읽고 끊임없이 검색할 수 있습니다. 이제 검색은 목적지가 아니라, 하나의 질문에 답하기 위해 에이전트가 수십 번 수행하는 일종의 기반 서비스가 되어가고 있습니다. 이러한 세상에서 중요한 단위는 크롤링도 클릭도 아닙니다. 결과입니다. 결과에 가격을 매기고, 그 결과를 가능하게 한 사람에게 보상하는 것이 웹이 계속 번영하는 길입니다.
1년 전 콘텐츠 독립기념일의 핵심 메시지는 기본적으로 '아니요'였습니다. 보상 없이 AI가 콘텐츠를 크롤링해서는 안 된다는 것이었습니다. 올해 Cloudflare가 집중하는 것은 고객이 '예'라고 말할 수 있도록 더 많은 제품과 제어 기능을 제공하고, 그에 따른 더 큰 혜택을 누릴 수 있도록 하는 것입니다.
오늘 발표한 내용은 시작에 불과합니다. Cloudflare의 연구 프로젝트는 우리가 제공하는 신호가 더 적은 크롤링으로 더 나은 검색 결과를 만들어낼 수 있는지 검증하기 위해 진행됩니다. 사용당 결제 역시 콘텐츠 제작자는 자신의 작업에 대해 공정한 보상을 받아야 한다는 믿음을 공유하는 파트너들과 함께 실험해 나갈 유망한 방향입니다. 지난 30년 동안 웹이 발전해 온 방식도 이와 같았습니다. 누군가가 "기존 모델은 더 이상 작동하지 않는다"를 "새로운 모델은 이것이다"로 바꾸기 위해 하나씩 실험을 시작했고, 그렇게 웹은 발전해 왔습니다. Cloudflare는 고객이 새로운 에이전트 시대에도 검색 가능성을 확보하고, 콘텐츠가 최대한 많이 발견되도록 최적화하는 데 큰 가치가 있다고 믿습니다. 그러나 가장 가치 있는 창작물을 아무런 대가 없이 내주면서까지 그렇게 할 필요는 없습니다.
웹은 변화하고 있으며, 웹을 지탱해 온 비즈니스 모델도 함께 변화하고 있습니다. 과거의 인터넷은 개방적이었고, 중립적이었으며, 누구나 기여할 가치가 있는 공간이었습니다. 우리는 이러한 가치를 지키는 동시에, 미래의 인터넷을 지속적으로 뒷받침할 새로운 비즈니스 모델을 구축할 수 있는 드문 기회를 맞이하고 있습니다. 질문을 던지는 사람과 에이전트 모두에게 더 나은 답변을 제공하고, 그 답변을 가치 있게 만든 기술과 창의성, 그리고 헌신에 대해 정당한 보상을 제공하는 것. 그것이 Cloudflare가 더 나은 인터넷을 만들겠다는 사명을 실현하는 방법입니다.
즐거운 콘텐츠 독립기념일 되세요!
개방적이고 에이전트 준비도를 갖춘 웹을 구축하고 계신가요? Ceramic 및 You 프로그램에 대해 자세히 알아보고 싶다면 신청서를 작성해 주세요. 답변 엔진을 개발하고 있으며 더 스마트한 크롤링에 관심이 있다면 aeo@cloudflare.com으로 연락해 주시기 바랍니다.