Seu site, suas regras: novas opções de tráfego de IA para todos os clientes

Há um ano, declaramos o primeiro Dia da independência do conteúdo e demos aos proprietários de sites os meios para retomar o controle de seu conteúdo. O acordo entre crawlers e proprietários de sites que havia sido mantido por 30 anos, nós rastreamos você e você recebe referências, não era mais válido. A IA estava tomando tudo e não devolvendo nada, apresentando uma ameaça existencial aos proprietários de sites. E assim lançamos uma opção de "bloquear bots de IA" com um clique, junto com um marketplace de pagamento por varredura.

Muita coisa mudou em um ano. Em julho passado, as conversas sobre "bots de IA" giravam em torno de bloquear o treinamento de IA sem remuneração, destacando um modelo desfavorável em que o conteúdo era usado para treinar modelos sem gerar qualquer valor para o proprietário do site. Mas surgiu uma demanda por uma abordagem mais equilibrada: os proprietários de conteúdo ainda querem proteger seu conteúdo e devem ser remunerados pelo conteúdo original que se dedicam a criar, selecionar e compartilhar. Também sabemos que restringir totalmente o acesso ao conteúdo não é uma solução única para todos; os proprietários de sites querem mais opções além de recorrer a “bloquear toda automação, sempre.”

Se você administra um site pequeno, o problema não é apenas que alguém possa usar seu conteúdo para treinar modelos de IA, é que ninguém consegue encontrar você em primeiro lugar. Assim, você acaba tendo que fazer uma espécie de pacto faustiano: ou aparece nos resultados de busca e permite que a IA seja treinada com seu conteúdo, ou corre o risco de perder visibilidade. Isso favorece injustamente os provedores de busca já estabelecidos quando eles utilizam os mesmos bots tanto para indexação em mecanismos de busca quanto para treinamento de IA. Além disso, essa vantagem competitiva desigual incentiva novos players a adotarem estratégias evasivas na tentativa de reduzir a desvantagem competitiva.

Atualmente, a IA pode estar presente em qualquer lugar. A busca do Google deixou de apenas usar IA para ordenar resultados e passou a funcionar como um mecanismo de respostas completo, fornecendo a resposta diretamente na página de resultados. E o Google não é o único seguindo esse caminho, essa é a direção que a "busca" está tomando.

Poderíamos discutir onde está o limite do que pode ser considerado "IA" atualmente, apenas para descobrir que esse critério mudará amanhã. Por isso, em vez de definir um bot principalmente como sendo ou não "IA", nossa abordagem atualizada de classificação faz perguntas mais profundas sobre o comportamento de bots e agentes: O que eles estão fazendo no meu site? O que estão armazenando? E como irão redistribuir meu conteúdo?

Para responder a essas perguntas, precisamos de uma visão mais detalhada, uma taxonomia pragmática que esteja alinhada aos casos de uso de IA que mais importam para nossos clientes. Por isso, estamos ampliando a discussão para além do treinamento de IA e concentrando o foco em três casos de uso de IA que queremos que todos os clientes possam gerenciar:

• Busca: qualquer comportamento que colete ou indexe seu conteúdo, para que possa responder a perguntas sobre ele posteriormente. O aspecto fundamental é que a busca cria proativamente um banco de dados de seu site para responder a consultas no futuro. Os proprietários de sites devem esperar receber tráfego de referência ou outra forma de compensação justa em troca.

• Agente: comportamento automatizado que atua, normalmente em tempo real, em nome de uma pessoa para realizar uma tarefa imediatamente. Isso inclui bots de busca para chats (por exemplo, ChatGPT-User) e agentes de uso de navegadores (por exemplo, Gemini ou Claude operando o Chrome). A característica principal é que eles acessam seu aplicativo web para concluir uma tarefa, geralmente com um usuário humano aguardando o resultado do outro lado.

• Treinamento: um crawler que coleta seu conteúdo para treinar ou ajustar um modelo. O ponto central é que seus dados são permanentemente incorporados à arquitetura subjacente da IA para aprimorar suas capacidades.

Muitos crawlers populares na web se enquadram em uma das classificações acima; alguns se enquadram em várias. Classificamos diversos outros tipos de comportamento além desses três, incluindo verificação de anúncios, coleta de feeds e transações agênticas (mais sobre isso adiante). Mas acreditamos que deve ser simples para todos os proprietários de sites gerenciarem o acesso relacionado a esses três principais casos de uso centrados em IA. Acreditamos que os operadores de bots devem separar seus crawlers de acordo com suas finalidades, pois isso proporciona maior transparência aos proprietários de sites: permitindo que entendam melhor por que um determinado crawler está visitando seu site e gerenciar com mais precisão o nível de acesso concedido a ele. Se uma empresa utiliza automação para criar índices de busca, atuar como agente e coletar dados para treinar seus modelos, recomendamos fortemente que essa empresa separe a automação em três crawlers distintos.

Queremos um sistema de classificação que seja escalável e represente adequadamente o mundo do tráfego automatizado à medida que ele evolui. Rastrear a finalidade de um bot não é novidade, mas nossa nova taxonomia traz algumas atualizações que representam melhor o estado do tráfego de bots atual. A principal delas é reconhecer que bots com múltiplas finalidades devem ser rastreados por todas as suas finalidades, e não apenas por uma delas.

Queremos fornecer mais opções para gerenciar diferentes tipos de tráfego de IA a todos os proprietários de sites na rede da Cloudflare.

A configuração predefinida gerenciada para "Bloquear bots de IA", anunciada anteriormente, incluía bots de finalidade única que rastreavam dados para treinamento de modelos, conforme mostrado abaixo: 

^{Captura de tela da configuração existente para gerenciar o tráfego de bots em 1º de julho de 2025.}

Mas nem todo uso de IA é igual e queremos que nossos clientes tenham os controles de que precisam. Portanto, estamos lançando a capacidade de gerenciar o tráfego de IA com base em três grandes casos de uso: crawlers de busca, agente e treinamento. Com essas novas opções, nossos clientes, inclusive aqueles em nosso plano gratuito, podem ajustar com mais precisão como gerenciam o tráfego de bots de IA.

^{Captura de tela das novas opções para gerenciar o tráfego de bots em 1º de julho de 2026.}

Em 15 de setembro de 2026, vamos definir novos padrões para cada uma dessas três classificações. Para todos os novos domínios que ingressarem na Cloudflare, as categorias treinamento e agente serão bloqueadas por padrão nas páginas que exibem anúncios, enquanto busca continuará permitida por padrão. 

Um anúncio é um sinal de que o proprietário do site pretendia que uma pessoa chegasse àquela página e a visse, algo monetizável que impulsiona o negócio. Portanto, nessas páginas, tratamos a atenção humana como o objetivo final e afastamos os bots que possam impedir essa atenção (ou seja, bots de treinamento e de agente). Por outro lado, a busca é o comportamento que mais naturalmente traz de volta visitantes, e acreditamos que é do interesse da maioria dos proprietários de sites permitir isso.

Outra mudança que entrará em vigor em 15 de setembro é que os crawlers com várias funções (especificamente aqueles que combinam busca com treinamento) serão permitidos/bloqueados com base em todos os seus comportamentos, em conformidade com nossa defesa da transparência para os proprietários de sites. Como os padrões serão aplicados pelas regras mais restritivas, crawlers com várias funções como Googlebot, Applebot e BingBot serão bloqueados por clientes que optarem por bloquear treinamento (seja através das novas opções para gerenciar o tráfego de IA ou através do serviço legado de bloqueio de bots de IA).

Claro, a escolha do cliente é fundamental: se o proprietário de um site quiser optar por não usar essas novas configurações padrão, ele pode marcar isso facilmente em suas configurações de segurança a qualquer momento até o dia 15 de setembro, o que confirmará que ele não deseja nenhuma alteração em crawlers de treinamento que também rastreiam para fins de busca. Também continuaremos a notificar os clientes sobre a próxima mudança nos padrões à medida que nos aproximamos de 15 de setembro, para garantir que os clientes que quiserem escolher configurações diferentes dos padrões tenham a oportunidade de fazê-lo.

Também temos o prazer de lançar uma atualização importante de visibilidade como um novo recurso do Enterprise Bot Management. À medida que o diretório de bots monitorados pela Cloudflare cresce, também aumenta a necessidade de gerenciar esses bots em grupos lógicos e de obter mais detalhes sobre um bot específico. 

Apresentamos o BotBase. O BotBase é nosso novo banco de dados que rastreia todos os bots conhecidos, incluindo bots verificados e agentes. Este banco de dados oferece uma visão abrangente e pesquisável de todo o nosso diretório de bots, diretamente no painel da Cloudflare. Estamos focando inicialmente na visibilidade, mas, ainda este ano, vamos expandir o BotBase para fornecer um centro de controle direto para conteúdo automatizado conhecido em seu site.

Com esta nova visualização, os clientes do Enterprise Bot Management podem ver o catálogo completo de todos os bots/agentes verificados e onde eles estão classificados nesta taxonomia atualizada, uma visualização que nunca mostramos dinamicamente no painel do Cloudflare antes. Clientes que desejam direcionar precisamente um bot específico também podem filtrar facilmente todo o tráfego desse bot, além de copiar o ID de detecção para usar nas regras de segurança. Tudo isso já está disponível em uma página dedicada, que pode ser acessada através do cartão de configuração do Bot Management. 

Quando criamos o BotBase, queríamos considerar todas as informações que nos permitiriam desenvolver insights escaláveis e poderosos de bot para bot. Uma dessas peças é fundamental para nossa taxonomia atualizada, que é baseada no que um bot pode fazer em seu site, seu comportamento. Nós separamos essas classificações conforme compartilhado abaixo, e cada bot é classificado com um ou mais desses comportamentos.

^{Linhas em negrito e itálico indicam as novas opções configuráveis disponíveis para todos os clientes.}

Outra informação que sabemos ser importante para nossos clientes é o uso de conteúdo por um bot, o que um bot pode reter e compartilhar novamente após ter rastreado seu conteúdo. Para resolver isso, estamos desenvolvendo recursos que permitem aos clientes do Bot Management selecionar e bloquear bots com base no "uso de conteúdo". Essa configuração pode ser definida em um de três níveis, do menos permissivo ao mais permissivo:

• immediate — interagir, mas não armazenar nem reutilizar nada

• reference (padrão) — índice, trecho e link de retorno

• full — resumir e reproduzir

Esses valores podem ser combinados com classificações de bots para definir regras mais detalhadas, como “permitir todos os bots usados para busca, SEO e verificação de anúncios, mas apenas até o nível de uso reference.” Isso permite que os proprietários de sites tomem decisões baseadas em agrupamentos lógicos, em vez de gerenciar regras individuais para cada bot.

Para viabilizar isso, a partir de hoje, estamos testando um novo sinal, use, que estende os Content Signals e é configurado no seu robots.txt. Essa extensão acrescenta um quarto campo opcional aos três campos da versão inicial dos Content Signals, permitindo expressar a preferência mencionada anteriormente:

• use=immediate

• use=reference

• use=full

Assim como ocorre com todos os outros itens listados no arquivo robots.txt, os valores de uso de conteúdo indicam a preferência do proprietário do site, em vez de emitir bloqueios diretamente. Estamos adicionando suporte para esta extensão: todos os clientes que já ativaram o robots.txt gerenciado, que insere no arquivo a preferência de permitir o rastreamento para fins de busca, mas não para treinamento, agora terão a preferência adicional de use=reference adicionada ao seu robots.txt.

# Cloudflare Managed content with original Content Signals

User-agent: *
Content-Signal: search=yes,ai-train=no
Allow: /

^{Os conteúdos do robots.txt gerenciado pela Cloudflare com os valores originais de Content Signals.}

# Cloudflare Managed content with the new content-use signal

User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
Allow: /

^{O conteúdo do robots.txt gerenciado pela Cloudflare com o parâmetro adicionado.}

Também estamos começando a rastrear o uso de conteúdo para cada bot no BotBase, e quando descobrimos que um bot está violando esses sinais, ele perde o status "Verificado", resultando em sua proibição. Atualmente, bots que reproduzem conteúdo na íntegra não podem obter o status Verificado.

Falando em "Verificado", a definição de Verificado está sendo atualizada para refletir as próximas mudanças nas diretrizes padrão de permissão e bloqueio. Anteriormente, todos os bots Verificados eram permitidos por padrão, o que se refletia em nossa oferta básica de Bot Fight Mode, para bloquear tráfego automático indesejado, e em nossos modelos de regras para clientes do Enterprise Bot Management.

A partir de hoje, estamos ajustando isso para adicionar mais detalhes: bots não verificados ainda são bloqueados por padrão, mas não consideramos mais os Verificados como "permitidos por padrão." Agora, o selo de Verificado torna o bot elegível para permissão dentro de sua categoria específica; ou seja, a categoria permitida (por exemplo, permissão de busca) é que determinará o que tem permissão para acessar um site.

Para equilibrar essa mudança, estamos tornando o processo de obtenção do status de Verificado mais aberto e transparente. Para que um bot seja "Verificado", seu operador precisa demonstrar duas coisas: que se identifica de forma honesta e que não abusa do acesso conquistado por essa honestidade. Além disso, para facilitar esse processo para os operadores, estamos desenvolvendo ferramentas de gerenciamento que permitirão garantir uma representação mais precisa no sistema de classificação da Cloudflare (a ser anunciado em breve). 

^{Uma captura de tela de pré-visualização da plataforma em desenvolvimento, criada diretamente para operadores de bots que fazem parte ou desejam fazer parte do BotBase, a próxima geração do Cloudflare Bots Directory.}

Mais um detalhe: o bot (ou agente) que acessa seu site, muitas vezes, não é operado pela empresa que o criou. Uma plataforma como a plataforma para desenvolvedores da Cloudflare executa automações para milhares de operadores diferentes ao mesmo tempo, variando de grandes empresas até desenvolvedores desconhecidos. Você pode confiar na Stripe, mas não necessariamente em todos que integraram as ferramentas da Stripe em um projeto de fim de semana.

Chamamos o caso de (proprietário do site → empresa proprietária do bot → usuário final) uma questão de confiança transitiva, e propomos utilizar o cabeçalho Forwarded existente conforme definido no RFC 7239, que acompanha a solicitação e permite que "componentes de proxy divulguem informações perdidas no processo de proxy." 

Isso é semelhante ao que o X-Forwarded-For faz com endereços IP, ou ao que o X-Forwarded-Host faz para preservar o cabeçalho Host original. Portanto, quando um proprietário de site diz: "Permitir este operador", essa preferência será mantida, independentemente de o operador chegar diretamente a você ou passar por três camadas de intermediários confiáveis. Mais detalhes podem ser encontrados em nossa documentação, incluindo um breve exemplo do formato abaixo:

Forwarded: for="openai"

Adicionando a extensão com o uso de conteúdo discutido acima, a adição do cabeçalho ficaria algo como o exemplo abaixo, especificando como o operador declara que utilizará o conteúdo acessado:

Forwarded: for="openai";use="reference"

Isso também se alinha ao modelo de incentivos que queremos promover. Perder o status de confiança nos mais de 20% dos domínios da web hospedados na Cloudflare é um mecanismo de dissuasão poderoso. A confiança se torna algo que você pode manter e algo que pode perder.

No entanto, à medida que o tráfego de bots se mistura ao tráfego humano, é possível que esse sistema de confiança transitiva não se estenda além dos usuários que têm condições de serem identificáveis. As medidas que propomos hoje ajudam a transmitir confiança, mas não servirão para toda a web indefinidamente. Fontes menores de tráfego precisam de privacidade, e empresas que desejam manter seus próprios compromissos de privacidade devem poder explorar princípios justos para o futuro de uma internet agêntica, como limitação de taxa privada.

Estas são mudanças que apontam para a mesma direção: os proprietários de sites passam a ter mais controle sobre quem utiliza seu conteúdo e de que maneira. Acreditamos que os novos padrões que discutimos hoje, e que implementaremos em breve, incentivam a transparência e refletem melhor os rumos que o mundo está tomando.

É claro que a dinâmica da web continuará mudando, e nós continuaremos nos adaptando a essas transformações. No entanto, a direção permanecerá a mesma, pois é aquela que norteou a Cloudflare desde o início: um ecossistema web construído com base na confiança. Onde os criadores podem decidir como seu conteúdo é utilizado e onde a transparência sobre suas ações gera mais acesso, e não menos.

Essas novas opções para gerenciar o tráfego de IA já estão disponíveis e podem ser configuradas por todos os clientes existentes em suas Configurações de zona. Ainda não utiliza a Cloudflare? Comece gratuitamente hoje mesmo e defina os controles de tráfego que desejar.

Feliz dia da independência do conteúdo.