Revelar a atividade dos crawlers com o Attribution Business Insights

O conteúdo original é a essência das conversas e da curiosidade. Imagine um mundo sem ele: poderíamos encontrar mil maneiras de reproduzir o mesmo material já criado, mas assistiríamos ao declínio de ideias e argumentos inovadores.

Os proprietários de sites alimentam o ecossistema de ideias, notícias e informações interessantes, mas enfrentam o desafio, cada vez mais complexo, de gerenciar o tráfego em seus sites e serem remunerados por seu conteúdo. Enquanto parte do tráfego de bots é claramente maliciosa, nem sempre é fácil determinar se um determinado crawler de IA está ajudando ou prejudicando o seu negócio. Para responder a isso, os proprietários de sites precisam de dados granulares e confiáveis para que possam diferenciar entre o tráfego que gera valor e o que sobrecarrega os recursos e compromete a base de seu modelo de negócios: pessoas reais consumindo seu conteúdo. 

Na Cloudflare, temos uma crença fundamental: os proprietários de sites têm o direito de controlar o acesso ao seu conteúdo. Queremos ajudá-los a preservar seu conteúdo de alta qualidade e a gerenciar o tráfego de IA.

Para trazer a transparência necessária e ajudar os proprietários de sites a assumirem o controle, temos o prazer de anunciar o novo painel Attribution Business Insights, desenvolvido especialmente para tomadores de decisão de negócios e editores.

Por décadas, o modelo de negócios da internet se baseou em um acordo simples e implícito: os proprietários de sites permitiam que os mecanismos de busca fizessem a varredura de seu conteúdo e, em troca, esses mecanismos redirecionavam leitores para suas páginas. Essa relação simbiótica, onde os mecanismos de busca tradicionais operavam com uma proporção equilibrada entre "rastreamento e referência", gerava as visualizações de página necessárias para sustentar receitas com publicidade, programas de afiliados e assinaturas. Os crawlers dos índices de busca examinavam seu conteúdo algumas vezes para cada referência enviada, portanto, tornar seu site disponível para esses crawlers criava um caminho claro para aumentar a receita. Podemos pensar nisso como a era da SEO (otimização para mecanismos de busca).

Hoje, o crescimento explosivo dos crawlers e agentes de IA rompeu esse acordo, mergulhando o setor de publicação digital em uma crise sem precedentes. A Internet corre o risco de se transformar em um ecossistema de "zero cliques", no qual chatbots de IA extraem conteúdo original para sintetizar respostas instantâneas, ignorando completamente as fontes originais. Já observamos uma mudança significativa de um mundo focado apenas em SEO para um mundo de AEO (otimização para mecanismos de resposta), e agora as discussões sobre GEO (otimização para mecanismos generativos) estão ganhando destaque.

O desequilíbrio dessa nova realidade fica evidente nas proporções entre rastreamento e referência que observamos em toda a internet atualmente. Enquanto os mecanismos de busca tradicionais tinham uma proporção mais equilibrada entre varreduras e visitantes legítimos encaminhados aos sites, os principais crawlers de IA operam em uma escala muito diferente e essencialmente extrativa. Observamos que os bots das principais empresas de IA apresentavam proporções entre varredura e referência variando de 118:1 a até quase 50.000:1 na época do nosso Dia da independência do conteúdo de 2025. Em outras palavras, um crawler de IA pode ter varrido seu conteúdo premium dezenas de milhares de vezes para enviar de volta apenas um único visitante. Essa proporção é fundamentalmente injusta.

Para os editores, isso representa um prejuízo duplo: em primeiro lugar, eles perdem o tráfego de referência, as impressões de anúncios e o relacionamento direto com o público, elementos que financiam a criação de conteúdo e o jornalismo. Em segundo lugar, precisam arcar com o aumento dos custos de infraestrutura para hospedar e entregar conteúdo a bots automatizados que não oferecem nenhum valor comercial em troca. A era em que fazia sentido permitir o acesso irrestrito de todos os crawlers na esperança de ganhar visibilidade chegou ao fim.

Queremos que os proprietários de sites tenham acesso aos fatos, aos dados concretos que mostram quais bots estão ajudando seus negócios e quais estão causando prejuízos. Também queremos tornar essa análise mais simples do que nunca, por isso desenvolvemos o Attribution Business Insights para eliminar o excesso de informações e focar nos detalhes que nossos clientes citaram como os mais importantes. 

Hoje, o painel Attribution Business Insights está disponível para todos os clientes do Cloudflare Bot Management. O novo painel foi projetado para fornecer uma visão direcionada do tráfego de bots que chega ao seu site. Ao contrário das ferramentas de análise tradicionais que podem exigir uma extensa filtragem manual, este painel fornece insights importantes imediatamente.

Nosso objetivo foi responder às perguntas mais urgentes dos proprietários de sites atualmente: Como interpretar o tráfego de IA em seus sites? Qual é o valor dos diferentes tipos de público, incluindo humanos, bots que não utilizam IA e bots de IA? E, mais importante, como seus dados estão sendo usados? 

^{A nova visualização do painel Attribution Business Insights, que inclui insights sobre o tráfego de bots de modo geral, uma proporção entre varreduras e referências em todo o site e a distribuição do tráfego de bots de IA em comparação ao tráfego orgânico.} 

Para responder a essas perguntas, o painel exibe um conjunto poderoso de dados e insights:

• Tráfego de bots para páginas de conteúdo: visualize o tráfego geral de bots em comparação com humanos, bem como o volume de todos os bots que acessam o conteúdo com sucesso.

• Proporção entre varreduras e referências: acompanhe a proporção entre varreduras e referências de seu site em períodos de 24 horas, sete dias ou 30 dias. Você também pode visualizar as proporções entre varreduras e referências por operador de bot (ou seja, por empresa responsável por um ou mais bots).

• Detalhamento dos principais bots: uma lista dos principais bots por volume, incluindo país de origem, largura de banda consumida em seu site e se eles estão sendo bloqueados ou permitidos no momento.

• Classificação atualizada com base no comportamento de crawlers: vamos além do rótulo genérico de “crawler de IA”, classificando crawlers com nossa taxonomia atualizada: Treinamento (usado para treinar a próxima versão de um chatbot de LLM), Busca (usado para atualizar bancos de dados para Geração Aumentada por Recuperação), ou Agente (usado em interação agêntica para retornar respostas a um usuário final).  

Você não precisa ser um especialista em segurança para entender como os crawlers de IA afetam seu negócio. Se os proprietários de sites quiserem dedicar apenas alguns minutos para analisar os principais insights, poderá obter rapidamente uma visão clara da eficácia de sua política de proteção de conteúdo.

Para aqueles que desejam explorar um pouco mais para entender como as empresas de IA estão utilizando seu conteúdo, ou reunir informações para orientar a forma como desejam conduzir seu relacionamento com essas empresas, apresentamos uma visão mais detalhada organizada por operador de bots.

^{Análise da atividade de bots em um site, com detalhes importantes para cada bot, como tipo, proporção entre varreduras e referência e ação atual.} 

Ao ter uma visão consolidada das empresas que buscam acessar o conteúdo de seu site, você estabelecer uma base de referência melhor para a atividade de crawlers. Queremos que esses dados capacitem nossos clientes a participar de qualquer negociação comercial munidos de fatos concretos. Informe à Empresa1 que o volume de varreduras dela é vinte vezes maior que o da Empresa4, e que a Empresa4 já remunera você pelo conteúdo. Reavalie a forma como a Empresa2 licencia seu conteúdo com base em suas atividades recentes. Esse novo painel foi desenvolvido para impulsionar esse tipo de conversa de negócios. 

Como essa nova camada de visibilidade se integra às ferramentas que você já utiliza para proteger seu site contra violações? Assim como ocorre com outros recursos do Bot Management, a etapa ação é realizada nas Regras de segurança. Para evitar adicionar complexidade ao plano de controle, o Attribution Business Insights foi concebido como um centro de análises criteriosas e filtradas, e não como mais um local para executar ações. Este painel serve como uma fonte central de informações, permitindo que você investigue antes de executar uma ação no mesmo mecanismo de regras que gerencia outras mitigação de violações. Queremos também deixar claro o convite para que tomadores de decisão da área de negócios utilizem esse painel, reconhecendo que as discussões sobre tráfego de IA envolvem um grupo de partes interessadas mais amplo do que apenas usuários especializados em segurança.

O painel Attribution Business Insights representa o próximo passo fundamental para oferecer aos proprietários de sites a transparência e o controle de que precisam para gerenciar as crescentes ameaças representadas por bots de IA e, de forma mais ampla, ajudar a moldar a nova dinâmica da internet. Já estamos desenvolvendo a próxima evolução da solução em parceria com importantes editores, com o objetivo de criar um plano de visibilidade voltado à segurança sob a perspectiva dos proprietários de sites que produzem e compartilham conteúdo original e valioso. 

Uma prévia apresentada abaixo inclui uma nova visualização que permite analisar a atividade de crawlers por artigo, revelando o interesse das empresas de IA em diferentes tipos de conteúdo, campanhas, entre outros aspectos.

^{Detalhamento dos artigos mais populares, de acordo com o volume de tráfego. Exibe métricas importantes, como a comparação entre tráfego de bots de IA, tráfego de outros bots e tráfego humano (tanto direto quanto proveniente de referências).}  

A visibilidade é apenas o primeiro passo. Ainda há muito mais por vir para capacitar os proprietários de sites a assumir o controle de seu conteúdo nesta nova era. Incentivamos todos os clientes do Cloudflare Bot Management, especialmente aqueles envolvidos em decisões estratégicas de negócios, a acessar essa ferramenta hoje mesmo e descobrir uma nova perspectiva sobre a análise de tráfego.