Tu sitio, tus reglas: nuevas opciones de tráfico basadas en IA para todos los clientes

Hace un año, declaramos el primer Día de la Independencia del Contenido, y les otorgamos a los propietarios de sitios web los medios para retomar el control de su contenido. El acuerdo entre los rastreadores y los propietarios de sitios web que había durado 30 años —nosotros te rastreamos y tú obtienes referencias— ya no era válido. La inteligencia artificial estaba tomando todo y no devolvía nada, presentando una amenaza existencial para los propietarios de sitios web. Así que lanzamos una opción de "Bloquear bots de IA" con un solo clic, junto con una opción de Pago por rastreo.

Mucho ha cambiado en un año. En julio pasado, las conversaciones sobre los "bots de IA" se centraron en bloquear el entrenamiento de la IA sin recibir compensación, señalando una situación de "ganar o perder" en la que el contenido se utilizaba para entrenar modelos sin generar ningún valor para el propietario del sitio web. Sin embargo, ha surgido el deseo de un enfoque más matizado: los propietarios de contenido siguen queriendo proteger su material y deben recibir una compensación por el contenido original que tanto esfuerzo les cuesta crear, seleccionar y compartir. También sabemos que restringir el contenido no es una solución única para todos; los propietarios de sitios web quieren más opciones que recurrir a "bloquear toda la automatización, en todo momento."

Si administras un sitio pequeño, el problema no es solo que alguien pueda entrenar modelos con tu contenido, sino que nadie te puede encontrar en primer lugar. Entonces tienes que hacer un pacto fáustico: o apareces en las búsquedas y permites que la IA se entrene contigo, o te arriesgas a perder visibilidad. Esto otorga una ventaja injusta a los proveedores de búsqueda establecidos si utilizan los mismos bots tanto para búsquedas como para entrenamiento; y esta ventaja injusta incentiva a los nuevos actores a ser evasivos mientras intentan cerrar la brecha competitiva.

Hoy en día, la IA puede estar en cualquier cosa. La búsqueda de Google ha cambiado de estar organizada por la IA a ser un motor de respuestas completas que responde tu pregunta directamente en la página de resultados. Y Google no es el único en esta posición: esta es la dirección hacia la cual se está moviendo la "búsqueda".

Podríamos debatir sobre el límite para lo que se califica como "IA" hoy, solo para descubrir que el estándar cambia mañana. Así que, en lugar de definir un bot principalmente como “IA” o no, nuestro enfoque actualizado para la clasificación planteará preguntas más profundas sobre el comportamiento de los bots o agentes: ¿Qué están haciendo en mi sitio? ¿Qué están almacenando? ¿Y cómo volverán a compartir mi contenido?

Para abordar estas preguntas, necesitamos una visión más matizada: una taxonomía pragmática que se alinee con los casos de uso de la IA que importan a nuestros clientes. Por lo tanto, estamos abriendo la discusión más allá del entrenamiento de la IA y enfocándonos en tres casos de uso de la IA que queremos que todos los clientes puedan gestionar:

• Buscar: cualquier comportamiento que recopile o indexe tu contenido para poder responder preguntas sobre él más tarde. La clave es que la búsqueda está construyendo proactivamente una base de datos de tu sitio para luego responder a las consultas. Los propietarios de sitios deben esperar obtener tráfico de referencia u otra compensación equitativa como resultado.

• Agente: comportamiento automatizado que actúa, generalmente en tiempo real, en nombre de una persona, para hacer algo en ese momento. Esto incluye bots de recopilación de chats (p. ej., ChatGPT-User) y agentes de uso de navegador (p. ej., Gemini o Claude que manejan Chrome). La clave es que visita tu aplicación web para completar un trabajo, y generalmente hay un humano esperando al otro lado.

• Entrenamiento: un rastreador que toma tu contenido para entrenar o ajustar un modelo. La clave es que tus datos se integran permanentemente en la arquitectura subyacente de la IA para mejorar sus capacidades.

Muchos rastreadores conocidos en la web se clasifican en una de las categorías mencionadas; algunos caen en múltiples. Clasificamos muchos otros comportamientos más allá de los tres mencionados anteriormente, incluidos la verificación de anuncios, la obtención de feeds y las transacciones agénticas (más sobre esto a continuación). Pero creemos que debería ser sencillo para todos los propietarios de sitios web gestionar el acceso a estos tres casos de uso centrados en la IA. Creemos que los operadores de bots deberían separar sus rastreadores porque eso crea más transparencia para los propietarios de sitios web: permitiéndoles comprender mejor por qué un rastreador determinado los visita, así como gestionar mejor el acceso que extienden a ese rastreador. Si una empresa ejecuta una automatización que crea índices de búsqueda, actúa como un agente y recopila datos para entrenar sus modelos, entonces recomendamos de manera específica que esa empresa separe la automatización en tres rastreadores distintos.

Queremos un sistema de clasificación que sea escalable y representativo del mundo del tráfico automatizado a medida que evoluciona. Rastrear los propósitos de un bot no es nada nuevo, pero nuestra nueva taxonomía incluye algunas actualizaciones que representan mejor el estado del tráfico de bots hoy. Sobre todo, queremos reconocer que los bots que tienen múltiples propósitos deben ser rastreados con todos sus propósitos, no solo uno de ellos.

Queremos ofrecer más opciones para gestionar diferentes tipos de tráfico de la IA a todos los propietarios de sitios web en la red de Cloudflare.

El ajuste preconfigurado de "Bloquear bots de IA" que anunciamos anteriormente incluía bots de un solo propósito que rastreaban datos para el entrenamiento de modelos, como se muestra a continuación: 

^{Captura de pantalla de la configuración existente para gestionar el tráfico de bots de IA el 1 de julio de 2025.}

Pero no todo uso de la IA es igual, y queremos que nuestros clientes tengan los controles que necesitan. Así que estamos lanzando la función para gestionar el tráfico de la IA basado en tres casos de uso principales: rastreadores de búsqueda, agente y entrenamiento. Con estas nuevas opciones, nuestros clientes pueden ajustar en detalle cómo gestionan el tráfico de los bots de la IA, incluyendo los clientes en nuestro plan gratuito.

^{Captura de pantalla de las nuevas opciones para gestionar el tráfico de los bots de la IA el 1 de julio de 2026.}

El 15 de septiembre de 2026 estableceremos nuevos valores predeterminados para cada una de estas tres clasificaciones. Para todos los nuevos dominios que se integren a Cloudflare, las categorías de entrenamiento y agente serán bloqueadas por defecto en las páginas que muestran anuncios, mientras que la búsqueda permanecerá permitida por defecto. 

Un anuncio es una señal de que el propietario de un sitio web quería que una persona llegara allí y lo viera, algo monetizable que impulsa el negocio. Por lo tanto, en esas páginas tratamos la atención humana como el objetivo final y mantenemos alejados a los bots que pueden impedir esta atención (es decir, entrenamiento y bots de agente). Por otro lado, la búsqueda es el comportamiento que por naturaleza envía a los visitantes de vuelta con más frecuencia, y creemos que está en el interés de la mayoría de los propietarios de sitios permitir esto.

Otro cambio que entrará en vigor el 15 de septiembre es que los rastreadores de propósito múltiple (específicamente aquellos que combinan la búsqueda con el entrenamiento) serán permitidos/bloqueados según todos sus comportamientos, en línea con nuestro llamado a la transparencia para los propietarios de sitios web. Dado que los valores predeterminados serán aplicados por las reglas más restrictivas, los rastreadores de múltiples propósitos como Googlebot, Applebot y BingBot serán bloqueados por los clientes que hayan optado por bloquear el entrenamiento (ya sea a través de las nuevas opciones para gestionar el tráfico de la IA, o mediante el servicio heredado de bloqueo de bots de la IA).

Por supuesto, la elección del cliente es primordial: si el propietario de un sitio web desea optar por no usar estas nuevas configuraciones predeterminadas, puede marcarlo fácilmente en sus configuraciones de seguridad en cualquier momento antes del 15 de septiembre, lo que confirmará que no desea ningún cambio en los rastreadores de entrenamiento que también realizan búsquedas. También continuaremos notificando a los clientes sobre el próximo cambio en los valores predeterminados a medida que nos acerquemos al 15 de septiembre, para garantizar que aquellos clientes que deseen elegir configuraciones diferentes a las predeterminadas tengan la oportunidad de hacerlo.

También nos emociona lanzar una importante actualización de visibilidad como una nueva función de gestión de bots para el plan Enterprise. A medida que ha crecido el directorio de bots rastreados de Cloudflare, también ha aumentado el deseo de gestionar dichos bots en grupos lógicos y de obtener información más detallada sobre un bot en particular. 

Presentamos BotBase. BotBase es nuestra nueva base de datos que rastrea todos los bots conocidos, incluidos los bots y agentes verificados. Esta base de datos ofrece una visión completa y consultable de todo nuestro directorio de bots, directamente en el panel de control de Cloudflare. Primero abordamos la visibilidad, pero, más tarde este año, ampliaremos BotBase para proporcionar un centro de control directo para el contenido automatizado conocido en tu sitio web.

Con esta nueva vista, los clientes de gestión de bots Enterprise pueden ver el catálogo completo de todos los bots/agentes verificados y dónde se clasifican en esta taxonomía actualizada, una vista que nunca hemos mostrado dinámicamente en el panel de Cloudflare antes. Los clientes que deseen dirigirse a un bot específico pueden también filtrar fácilmente todo el tráfico de este bot, además de copiar el ID de detección para usar en las reglas de seguridad. Todo esto ya está disponible en una página dedicada, a la cual se puede acceder a través de la tarjeta de configuración de gestión de bots. 

Al desarrollar BotBase, quisimos tener en cuenta todas las piezas de información que nos permitirían desarrollar perspectivas escalables y poderosas de bot a bot. Una de estas piezas es fundamental para nuestra taxonomía actualizada, que está basada en lo que un bot puede hacer en tu sitio: su comportamiento. Separamos estas clasificaciones como se muestra a continuación, y cada bot se clasifica con uno o más de estos comportamientos.

^{Las filas en negrita e itálica indican las nuevas opciones configurables que están disponibles para todos los clientes.}

Otra pieza de información que hemos escuchado y es importante para nuestros clientes es el uso de contenido de un bot: lo que un bot puede conservar y volver a compartir después de haber rastreado tu contenido. Para abordar esto, estamos desarrollando funciones para que los clientes de gestión de bots seleccionen y bloqueen según el "uso del contenido". Esta configuración puede establecerse en uno de tres niveles, del menos permisivo al más permisivo:

• Inmediato: interactuar, pero no almacenar ni reutilizar nada.

• Referencia (predeterminado): índice, extracto y enlace de regreso.

• Completo: resume y reproduce.

Estos valores se pueden combinar con clasificaciones de bot para expresar reglas matizadas, como "permitir todos los bots que se utilizan para búsqueda, SEO y verificación de anuncios, pero solo hasta el nivel de uso de referencia." Esto permite a los propietarios de sitios web tomar decisiones en agrupaciones sensatas en lugar de gestionar reglas individuales bot por bot.

Para apoyar esto aún más, a partir de hoy estamos probando un nuevo código, usar, que amplía la política de Content Signals y se encuentra en tu robots.txt. Esto se extiende a los tres campos de la primera versión de Content Signals con un cuarto campo opcional que expresa la misma preferencia mencionada anteriormente:

• use=immediate

• use=reference

• use=full

Como con todos los demás elementos listados en el archivo robots.txt, los valores del contenido indican la preferencia de un propietario del sitio web, en lugar de emitir bloqueos directamente. Ahora estamos añadiendo soporte para esta extensión: todos los clientes que ya han habilitado la gestión de robots.txt —que incluye la preferencia de que el rastreo para búsqueda está permitido, pero el rastreo para entrenamiento no— ahora tendrán la preferencia adicional de use=reference añadida a su robots.txt.

# Cloudflare Managed content with original Content Signals

User-agent: *
Content-Signal: search=yes,ai-train=no
Allow: /

^{El contenido de robots.txt administrado por Cloudflare con los valores originales de Content Signals.}

# Cloudflare Managed content with the new content-use signal

User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
Allow: /

^{El contenido de Cloudflare administrado robots.txt con el parámetro agregado.}

También comenzaremos a rastrear los usos de contenido para cada bot en BotBase, y cuando detectemos que un bot está abusando de estos códigos, perderá el estatus de "Verificado", lo que resultará en que ya no se le permita. Hoy en día, los bots que se reproducen completamente no pueden tener el estado de Verificado.

Hablando de "Verificado", la definición de Verificado se está actualizando para reflejar los próximos cambios en las configuraciones predeterminadas de permitir y bloquear. Anteriormente, todos los bots verificados estaban permitidos de forma predeterminada, lo cual se reflejaba en nuestra oferta básica de Bot Fight Mode para bloquear el tráfico automático no deseado y en nuestras plantillas de reglas para clientes de gestión de bots de Enterprise. 

A partir de hoy, estamos ajustando esto para añadir matices: los bots no verificados aún se bloquean por defecto, pero ya no consideramos que los verificados estén “permitidos por defecto”. Ahora, la etiqueta Verificado permite que un bot sea aceptable con su categoría relevante, lo que significa que la categoría permitida (por ejemplo, permitir la búsqueda) determinará lo que se permite para acceder a un sitio web.

Para equilibrar este cambio, estamos abriendo el proceso de convertirse en un bot Verificado y haciéndolo más transparente también. Para "Verificar" un bot, un operador de bot necesita demostrar dos cosas: que te representas honestamente, y no abusas del acceso que esa honestidad otorga. Y para facilitar esto a los operadores de bots, actualmente estamos desarrollando herramientas de gestión para que los operadores de bots puedan garantizar que estan representados con precisión por el sistema de clasificación de Cloudflare (esto se anunciará en un futuro próximo). 

^{Una captura de pantalla de vista previa de la próxima plataforma diseñada directamente para operadores de bots que son parte o quieren ser parte de BotBase, la próxima generación del directorio de Bots de Cloudflare.}

Una pieza más: el bot (o agente) que llega a tu puerta, cada vez con mayor frecuencia, no es operado por la empresa que lo desarrolló. Una plataforma como la Plataforma para desarrolladores de Cloudflare ejecuta automatizaciones para miles de operadores diferentes a la vez, que van desde empresas hasta un desarrollador del que nunca has oído hablar. Puede que confíes en Stripe, pero no necesariamente confías en todos los que integraron las herramientas de Stripe en un proyecto de fin de semana.

Denominamos el caso de (propietario del sitio → empresa dueña del bot → usuario final) como una cuestión de confianza transitiva, y proponemos utilizar el encabezado Forwarded existente tal como se define en RFC 7239 que acompaña la solicitud y permite a "los componentes proxy revelar información perdida en el proceso de redireccionamiento mediante proxy." 

Esto es similar a lo que hace X-Forwarded-For para las direcciones IP, o X-Forwarded-Host para preservar el host inicial original. Así que cuando un propietario de sitio web dice, "Permitir a este operador", esa preferencia se mantendrá, ya sea que el operador venga directamente o a través de tres capas de intermediarios que son de confianza. Más detalles se pueden encontrar en nuestra documentación, con un breve ejemplo para mostrar el formato a continuación.

Forwarded: for="openai

Añadiendo la extensión con el uso del contenido discutido anteriormente, la adición del encabezado se vería algo como lo siguiente, especificando cómo el operador indica que utilizará el contenido al que accede:

Forwarded: for="openai";use="reference"

Esto también alinea el modelo de incentivos que queremos fomentar. Perder el estatus de confianza en más del 20 % de los dominios web que están detrás de Cloudflare es un poderoso disuasivo. La confianza se convierte en algo que puedes llevar contigo y en algo que puedes perder.

Sin embargo, dado que el tráfico de bots se mezcla con el tráfico humano, es posible que este sistema de confianza transitiva no se extienda más allá de los usuarios que pueden permitirse ser identificables. Las medidas que proponemos hoy ayudan a transmitir confianza, pero no se adaptarán a toda la web para siempre. Las pequeñas fuentes de tráfico necesitan privacidad, y las empresas que desean preservar sus propios compromisos de privacidad deberían poder explorar bloques de construcción justos para el futuro de una Internet agéntica, como la limitación de velocidad privada.

Estos son pequeños cambios que avanzan en la misma dirección: los propietarios del sitio obtienen más control sobre quién usa su contenido y cómo. Creemos que las nuevas configuraciones predeterminadas que presentamos hoy y que pronto implementaremos son aquellas que fomentan la transparencia y reflejan mejor hacia dónde se dirige el mundo.

Por supuesto, los cambios de la web seguirán estando, y continuaremos adaptándonos con ellos. Pero la dirección no cambiará, porque es la que Cloudflare comenzó: un ecosistema web construido alrededor de la confianza. Donde las personas que crean cosas pueden decidir cómo se usan, y donde ser honesto sobre lo que haces te otorga más acceso, no menos.

Estas nuevas opciones para gestionar el tráfico de la IA ya están disponibles y pueden configurarse para todos los clientes existentes en sus configuraciones de zona. ¿Aún no estás en Cloudflare? Comienza gratis para establecer los controles de tráfico que deseas hoy.

¡Feliz Día de la independencia del contenido!