구독해서 새 게시물에 대한 알림을 받으세요.

콘텐츠 독립기념일: 보상 없이는 AI 크롤링도 없다!

2025-07-01

4분 읽기
이 게시물은 English, 日本語, Español (Latinoamérica)简体中文로도 이용할 수 있습니다.

거의 30년 전, 스탠포드 대학교의 대학원생 두 명인 Larry Page와 Sergey Brin이 Backrub이라는 연구 프로젝트를 시작했습니다. 물론, 그것이 바로 Google을 탄생시킨 프로젝트였죠 하지만 그것뿐만 아니라 이 프로젝트는 웹을 위한 비즈니스 모델도 창조했습니다.

Google이 콘텐츠 크리에이터와 맺은 계약은 간단했습니다. 검색을 위해 콘텐츠를 복사하게 해주면 트래픽을 보내주겠다는 거였죠 콘텐츠 크리에이터로서, 트래픽에서 가치를 창출할 수 있는 방법은 세 가지 정도입니다. 광고를 게재하거나, 구독을 판매하거나, 누군가가 내가 만든 콘텐츠를 소비하고 있다는 사실에서 오는 기쁨이 그것이죠.

Google은 이 모두를 가능케 했습니다. 검색이 트래픽을 생성했죠. Google은 DoubleClick을 인수하고 AdSense를 구축하여 콘텐츠 크리에이터가 광고를 제공할 수 있도록 도왔습니다. 그리고 Urchin을 인수하여 특정 시점에 콘텐츠를 보고 있는 사람을 측정할 수 있는 Google Analytics를 출시했습니다.

거의 30년 동안 그 관계는 웹을 정의하고 번영하게 했습니다.

하지만 그 관계는 변하고 있습니다. Google 역사상 처음으로 검색 수가 감소하고 있습니다. 무엇이 그 자리를 대신하고 있을까요? 바로 AI입니다.

만약 여러분이 저와 같다면, 지난 2년 동안 출시된 새로운 AI 시스템에 놀라움을 금치 못했을 것이며, 과거에는 Google에서 찾았을 질문에 대한 답을 얻기 위해 이제는 AI 시스템을 활용하고 있을 겁니다. 아직 초기 단계이지만, 웹의 미래 인터페이스는 간단한 검색창과 파란색 링크 10개보다는 ChatGPT와 더 유사해질 것으로 보입니다.

Google 자체도 바뀌었습니다. 10년 전만 해도 Google은 링크 목록만 보여주며 사용자가 최대한 빨리 이 사이트를 떠나는 것이 성공이라고 여겼습니다. 하지만 이제는 답변 상자를 추가했고, 최근에는 AI 오버뷰까지 도입해 사용자가 Google.com을 떠나지 않고도 질문에 대한 답을 얻을 수 있게 했죠. 답변 상자를 도입하면서 75%의 쿼리가 사용자가 Google을 떠나지 않고도 답변되었다고 보고했습니다. 최근에 AI 오버뷰가 출시되면서 그 비율은 더 높아졌습니다.

Google 사용자는 이를 좋아할 수 있지만, 콘텐츠 크리에이터에게는 피해를 주고 있습니다. Google은 여전히 크리에이터의 콘텐츠를 복사하지만, 지난 10년 동안 '검색' UI의 변경으로 인해 콘텐츠 크리에이터가 동일한 양의 트래픽을 얻는 것이 거의 10배는 더 어려워졌기 때문이죠. 광고, 구독, 또는 누군가가 내 제작물에 관심을 가진다는 자부심에서 가치를 창출하기가 10배 더 어렵다는 의미입니다.

이 정도는 다행일 수도 있습니다. 오늘날의 AI 도구 때문에 상황은 더욱 안 좋습니다. OpenAI가 등장하면서 과거 Google을 사용할 때보다 트래픽을 확보하는 것이 750배 더 어렵습니다. Anthropic까지 더해지면 30,000배 더 어렵죠. 이유는 간단합니다. 점점 더 우리는 오리지널을 소비하는 것이 아니라 파생물을 소비하고 있기 때문이죠.

문제는 콘텐츠 생성 목적이 광고를 판매하기 위해서든, 구독을 판매하기 위해서든, 또는 사람들이 내 제작물을 가치 있게 여긴다는 것을 알기 위해서든, AI 기반 웹은 기존의 검색 기반 웹처럼 콘텐츠 크리에이터에게 보상을 주지 않는다는 것입니다. 그리고 이는 Google이 트래픽을 보내는 대가로 콘텐츠를 가져가겠다는 거래가 더 이상 의미가 없다는 뜻이기도 하죠.

공정 거래는커녕, 웹은 AI 크롤러에게 그야말로 채굴당하고 있으며, 콘텐츠 크리에이터들은 트래픽조차 거의 못 받으면서 가치 또한 거의 얻지 못하는 상황입니다.

이러한 상황이 ‘콘텐츠 독립기념일’로 불리는 오늘 7월 1일 변화하게 됩니다. Cloudflare와 세계 주요 퍼블리셔 및 AI 회사의 대다수는 AI 크롤러가 콘텐츠에 대한 대가를 지불하지 않으면 차단해 버리는 기본 설정으로 선회하고 있습니다. 그 콘텐츠는 AI 엔진을 구동하는 연료이며, 따라서 콘텐츠 크리에이터가 직접적인 보상을 받는 것이 공정하다는 것이죠.

BLOG-2860 2

이는 시작에 불과합니다. 다음 단계로 우리는 크고 작은 콘텐츠 크리에이터와 AI 기업들이 함께 모일 수 있는 마켓플레이스를 만들 계획입니다. 트래픽은 항상 가치의 프록시로서 부적절했습니다. 우리는 더 잘할 수 있다고 생각합니다. 설명해 보죠.

AI 엔진을 스위스 치즈 덩어리라고 상상해 보세요. AI 엔진의 치즈 덩어리에 있는 구멍들을 메우는 새로운 오리지널 콘텐츠는 오늘날 웹을 지배하는 중복적이고 가치가 떨어지는 콘텐츠보다 더 큰 가치를 가집니다.

BLOG-2860 3

우리는 콘텐츠가 생성하는 트래픽의 양이 아니라 지식을 얼마나 발전시키는지, 즉 AI 엔진의 '스위스 치즈' 같은 현재의 구멍들을 얼마나 메우는지에 따라 콘텐츠의 가치를 평가하고 점수를 매길 수 있다면, AI 엔진이 더 빠르게 개선될 뿐만 아니라 고가치 콘텐츠 창작의 새로운 황금기를 열 수 있을 것이라고 믿습니다.

아직 모든 답을 알고 있지는 않지만, 주요 경제학자 및 컴퓨터 과학자들과 협력하여 답을 찾고 있습니다.

BLOG-2860 4

웹이 변화하고 있습니다. 그 비즈니스 모델도 변경될 것입니다. 그리고 그 과정에서 우리는 지난 30년 동안 웹의 어떤 점이 훌륭했는지, 그리고 미래의 웹을 위해 무엇을 개선할 수 있는지 배울 기회를 갖습니다.

Cloudflare의 사명은 더 나은 인터넷을 구축하는 것입니다. 웹이 진화함에 따라 우리가 그 역할을 하고 있다는 사실이 자랑스럽습니다. 저는 콘텐츠 크리에이터들이 열심히 만든 콘텐츠의 가치를 주장하고 당당히 요구할 수 있도록 돕고 있다는 점이 역시 자랑스럽습니다.

즐거운 콘텐츠 독립기념일 되세요!

BLOG-2860 5

Cloudflare에서는 전체 기업 네트워크를 보호하고, 고객이 인터넷 규모의 애플리케이션을 효과적으로 구축하도록 지원하며, 웹 사이트와 인터넷 애플리케이션을 가속화하고, DDoS 공격을 막으며, 해커를 막고, Zero Trust로 향하는 고객의 여정을 지원합니다.

어떤 장치로든 1.1.1.1에 방문해 인터넷을 더 빠르고 안전하게 만들어 주는 Cloudflare의 무료 애플리케이션을 사용해 보세요.

더 나은 인터넷을 만들기 위한 Cloudflare의 사명을 자세히 알아보려면 여기에서 시작하세요. 새로운 커리어 경로를 찾고 있다면 채용 공고를 확인해 보세요.
Pay per crawlAI Bots (KO)AI

X에서 팔로우하기

Matthew Prince|@eastdakota
Cloudflare|@cloudflare

관련 게시물