Durante la Semana aniversario de 2024 lanzamos un gráfico del tráfico de bots y rastreadores de IA en Cloudflare Radar que proporciona visibilidad sobre qué bots y rastreadores son los más agresivos y envían el mayor volumen de solicitudes, cuáles realizan rastreos periódicamente, etc. Hoy lanzamos una nueva página "Información sobre IA" en Cloudflare Radar que incluye este gráfico e incorpora métricas adicionales que puedes utilizar para comprender las tendencias relacionadas con la IA desde diversas perspectivas. Además de las tendencias del tráfico, la nueva sección incluye una vista de la popularidad relativa de los servicios de IA generativa disponibles públicamente según el tráfico de nuestro solucinador de DNS 1.1.1.1 y el uso de directivas robots.txt para restringir el acceso de los bots de IA al contenido, así como el uso de modelos de código abierto observado por Cloudflare Workers AI.
A continuación, analizaremos más detalladamente cada una de las secciones de la nueva página Información sobre IA.
Tendencias del tráfico de bots y rastreadores de IA
El seguimiento de las tendencias del tráfico de bots de IA puede ayudarnos a comprender mejor su actividad a lo largo del tiempo. Lanzado inicialmente en septiembre de 2024 en la página Tráfico de Radar, el gráfico dedicado al tráfico de bots y rastreadores de IA se ha trasladado a la página Información de IA y proporciona visibilidad de las tendencias del tráfico recopiladas a nivel mundial durante el periodo de tiempo seleccionado correspondiente a los cinco bots y rastreadores de IA más activos. La lista asociada de agentes de usuario rastreados aquí se basa en la lista ai.robots.txt, y se actualizará con nuevas entradas a medida que se identifiquen. Las series temporales y los datos de resumen de este gráfico están disponibles en la API de Radar, y puedes acceder a las tendencias de tráfico para el conjunto completo de bots y rastreadores de IA del que observamos tráfico en el Explorador de datos.
Popularidad de los servicios de IA generativa
Durante los últimos años, el Resumen del año de Cloudflare Radar ha analizado los datos del tráfico de solicitudes de nuestro solucionador de DNS 1.1.1.1 para presentar las clasificaciones de los servicios de Internet más populares, tanto a nivel general como en distintas categorías. En 2023 y 2024, esta sección incluyó las clasificaciones de los servicios de IA generativa disponibles públicamente, donde ChatGPT encabezó la lista ambos años. Si bien una publicación del blog adjunta ofrece una visión más detallada de cómo ha cambiado la clasificación a lo largo del año, también es una mirada retrospectiva. Es decir, no proporciona visibilidad de los cambios a medida que se producen. El nuevo gráfico de popularidad de los servicios de IA generativa muestra las clasificaciones relativas de estos servicios y plataformas en función del tráfico de solicitudes de DNS correspondientes a los dominios asociados a estos servicios agregados a nivel diario. Los datos de las series temporales subyacentes están disponibles a través de la API de Radar, utilizando el parámetro serviceCategory=Generative%20AI.
El gráfico siguiente muestra que, a finales de enero de 2025, los cinco principales servicios habían mostrado bastante estabilidad durante las cuatro semanas anteriores, pero hubo un movimiento regular entre los que ocupaban los puestos 6-10. Esperamos que las clasificaciones sigan cambiando con el tiempo. DeepSeek, un servicio de IA generativa que revolucionó el sector a finales de enero, aparece por primera vez el 26 de enero en novena posición, y asciende rápidamente al tercer lugar el 29 de enero, apenas tres días después.
Análisis de archivos robots.txt
Los proveedores de contenido pueden intentar controlar el acceso a todo su sitio, o a partes específicas del mismo, mediante el uso de directivas Allow o Disallow en un archivo robots.txt. Sin embargo, el éxito del control de acceso depende de que los bots respeten las directivas especificadas. La Auditoría de IA de Cloudflare te ofrece visibilidad y control sobre cómo interactúan los bots de IA con tu sitio web, y ahora Cloudflare Radar te proporciona información sobre cómo los gestionan otros sitios.
Cada semana analizamos los 10 000 principales dominios de Radar para determinar qué sitios asociados publican archivos robots.txt, y agregamos las directivas específicas de IA en esos archivos. En nuestro nuevo gráfico de agentes de usuario de IA que se encuentran en robots.txt (a continuación) ahora proporcionamos información sobre las acciones que estos sitios principales realizan con respecto a los bots de IA. Estas acciones se especifican mediante directivas que permiten o impiden el acceso de un agente de usuario determinado (identificador de bot) a todo el contenido del sitio (Totalmente permitido/No permitido) o a determinadas secciones (Parcialmente permitido/No permitido).
Además, también hemos organizado estos dominios por categoría (por ejemplo, Comercio electrónico o Noticias y medios de comunicación), destacando los bots específicos que los sitios de esas categorías han incluido en sus directivas. Por ejemplo, el gráfico de la categoría de dominio Noticias y medios de comunicación que se muestra a continuación ilustra que estos tipos de sitios casi universalmente impiden por completo el acceso de los agentes de usuario de IA.
Cambiar la directiva a "Allow" muestra un conjunto mucho menor de agentes de usuario, con un conjunto considerablemente menor de sitios que permiten explícitamente el acceso total o parcial. (Ten en cuenta que si un agente de usuario no aparece en un archivo robots.txt, ni se especifica un agente de usuario comodín "*", por defecto el acceso está totalmente permitido).
Además de aparecer en la página Información sobre IA, los datos subyacentes están disponibles para su posterior exploración y análisis a través de la API de Radar y el Explorador de datos.
Popularidad de los modelos y las tareas en Workers AI
El panorama de los modelos de IA está evolucionando rápidamente, y los proveedores lanzan periódicamente modelos más potentes, capaces de realizar tareas como la generación de texto e imágenes, el reconocimiento de voz y la clasificación de imágenes. Cloudflare colabora estrechamente con los proveedores de modelos de IA para garantizar que Workers AI admita estos modelos lo antes posible tras su lanzamiento. En la nueva página Información sobre IA, ahora Radar ofrece visibilidad de la popularidad de los modelos compatibles disponibles públicamente (Popularidad de los modelos en Workers AI), así como los tipos de tareas (Popularidad de las tareas en Workers AI) que realizan estos modelos, en función del porcentaje de cuentas de los clientes. A través del Explorador de datos, puedes acceder a información ampliada, como las tendencias en porcentaje y el resumen de porcentajes de toda la lista de modelos y tareas, y puedes comparar los porcentajes de los modelos y tareas en distintos periodos de tiempo. Los datos subyacentes sobre la popularidad de los modelos y de las tareas también están disponibles a través de los puntos finales de la API.
El campo de la IA es extremadamente dinámico, con la aparición periódica de nuevas plataformas y nuevos servicios y modelos. En algunos casos, estos nuevos competidores incluso pueden alterar el mercado, ya que el interés que despiertan y su uso crecen rápidamente. Han pasado más de dos años desde el anuncio de ChatGPT y continúa la tensión entre los proveedores de contenido y las plataformas de IA en relación con la apropiación de contenido para el entrenamiento de modelos. La nueva página "Información sobre IA" de Cloudflare Radar proporciona tendencias e información oportuna sobre este campo tan dinámico, por lo que los observadores y participantes del sector pueden comprender mejor cómo este cambia y evoluciona con el tiempo.
Si compartes gráficos de la página Información sobre IA en las redes sociales, asegúrate de etiquetarnos: @CloudflareRadar (X), noc.social/@cloudflareradar (Mastodon) y radar.cloudflare.com (Bluesky). También puedes ponerte en contacto con nosotros en las redes sociales o por correo electrónico para sugerirnos métricas de IA que podamos considerar añadir a la página en el futuro.