Consigue ambas cosas: mantente visible en las búsquedas y, al mismo tiempo, impide el entrenamiento de la IA

Sin controles adecuados, los propietarios de sitios web han enfrentado durante mucho tiempo un dilema difícil: permitir que su contenido se use para el entrenamiento de la IA, o arriesgarse a perder visibilidad en las búsquedas. Ese compromiso existe porque algunas de las organizaciones más grandes en la Internet utilizan rastreadores de uso mixto: un único rastreador que sirve tanto para búsqueda como para entrenamiento de la IA. Si rechazas una, rechazas la otra.

Hoy, Cloudflare anuncia una nueva configuración de Disallow AI Training que te permite mantenerte indexado para las búsquedas mientras impides que el mismo rastreador entrene con tu contenido. Apple, Google y Microsoft honran o se han comprometido (en un plazo especificado) a honrar esta configuración.

Los rastreadores de uso mixto fueron la parte difícil de la pregunta sobre el entrenamiento. Lo siguiente son los resúmenes generados por IA. Una respuesta de sí o un no en todo el sitio es demasiado simple: la cantidad de contenido que aparece en un resumen es tan importante como el hecho de que aparezca o no. La opción de excluir los resúmenes de IA ya es uno de los requisitos que hemos establecido para los operadores de rastreadores de uso mixto. Para principios del próximo año, nuestro objetivo es permitirte controlar cuánto contenido se incluye: configurado una única vez en Cloudflare, en lugar de con cada operador por separado.

Por qué preguntar no es suficiente

La mayoría de los propietarios de sitios web quieren ser encontrados: por humanos, agentes y bots (buenos). Pero una parte significativa de la Internet abierta se financia mediante publicidad, suscripciones o relaciones directas con los visitantes, y esos modelos solo pagan cuando alguien realmente llega.

Casi todos los propietarios de sitios web consideran que la búsqueda es beneficiosa: menos del 1 % de los sitios de Cloudflare elige bloquear los bots de búsqueda. Sin embargo, el entrenamiento es otro punto: el 17 % de los sitios eligen habilitar algún mecanismo para bloquear el entrenamiento. Esta es precisamente la razón por la que decidimos que los propietarios de sitios web necesitaban controles más detallados, en lugar de un solo bloquear la IA en general.

Una directiva de robots.txt por sí sola no puede resolver este problema. Cualquiera puede publicarlo, pero no puede identificar quién está rastreando, determinar por qué están rastreando o detener a un rastreador que lo ignora.

Sin embargo, una red puede resolverlo: publicamos la preferencia, identificamos quién está rastreando, clasificamos por qué están rastreando y bloqueamos a los que lo ignoran; luego informamos lo que cada operador realmente hace en Radar.

Pero el bloqueo elimina un rastreador. No cambia el comportamiento de los rastreadores. El mejor resultado son los operadores que no te hacen elegir en absoluto. Así que desde julio, hemos estado hablando directamente con ellos. La respuesta ha sido alentadora: casi todos acordaron que los propietarios de sitios web deberían tener control y transparencia sobre cómo se utiliza su contenido y la garantía de que se respetarán sus decisiones. Para ayudar a los propietarios de los sitios a entender eso, creamos una designación: Accountable.

La designación Accountable reconoce tanto las capacidades disponibles hoy como los compromisos concretos para ofrecerlas. Para calificar, un operador de bots debe cumplir o comprometerse a cumplir con los siguientes requisitos:

1. Un mecanismo para que los propietarios de sitios se excluyan del entrenamiento de la IA, mediante robots.txt o un estándar similar.
2. Un mecanismo para que los propietarios de sitios opten por no participar en los resúmenes de IA establecidos directamente con el operador, y el próximo año a través de Cloudflare (ver la sección a continuación para más detalles).
3. Visibilidad a nivel de URL sobre qué páginas estuvieron disponibles para el entrenamiento, junto con métricas que muestran cómo el contenido aparecía en las búsquedas.
4. Garantía de que la opción de no participar en el entrenamiento de IA no afectará los resultados de búsqueda tradicionales.

Apple, Google y Microsoft demuestran que cumplen con las calificaciones para ser Accountable. Cada uno combina capacidades disponibles hoy con compromisos temporales para aquellas que aún están en desarrollo. Se comparten a continuación los detalles de los rastreadores de cada una de estas empresas.

Nuevas opciones de configuración de seguridad

Cloudflare clasifica los bots según su comportamiento, y un solo bot puede exhibir más de un comportamiento. Hay disponibles tres comportamientos como controles:

• Búsqueda: rastreo para construir un índice de búsqueda.
• Entrenamiento: rastreo para entrenar o configurar un modelo.
• Agente: agentes dirigidos por un usuario que visitan una página en nombre de una persona, como bots de búsqueda de chat y agentes de uso de navegador.

Un rastreador de uso mixto es un único rastreador que realiza tanto búsqueda como entrenamiento. Sin controles, esa combinación crea la compensación que se describe anteriormente: los propietarios del sitio no pueden rechazar un uso sin rechazar el otro.

Para evitar bloquear a los rastreadores de uso mixto con designación Accountable, aquellos que no imponen esa disyuntiva a los propietarios de sitios web, estamos introduciendo una nueva configuración: "Disallow AI Training" (Prohibir el entrenamiento de la IA). Disallow AI Training se nombra así por el comando "Disallow": que publica en tu robots.txt.

La configuración de "Block" ahora significa algo diferente

Block and “Block on pages with ads” (Bloquear en páginas con anuncios publicitarios) anteriormente no se aplicaban a rastreadores de uso mixto porque bloquearlos también podría afectar la visibilidad en las búsquedas. Ahora que tenemos la nueva configuración "Disallow AI Training", "Block" and “Block on pages with ads” se aplican a todos los rastreadores de entrenamiento, incluidos los rastreadores de uso mixto.

Los controles de entrenamiento, búsqueda y agentes se aplican a nivel de dominio. Con la adición de "Disallow AI Training", las configuraciones disponibles son:

1. Allow: permitir a todos los rastreadores, a menos que estén bloqueados por otra configuración o una regla de WAF.
2. Disallow AI Training: Bot Preference Sync publica en el archivo robots.txt la preferencia aplicable de no utilizar los datos para el entrenamiento. Se permite el uso mixto responsable de rastreadores para las búsquedas. Todos los demás rastreadores de entrenamiento están bloqueados, incluidos los rastreadores de solo entrenamiento gestionados por Amazon, Anthropic, Meta y OpenAI; bloquearlos no afecta la búsqueda. La opción "Disallow AI Training" está disponible solo como configuración para el entrenamiento, no para la búsqueda ni el agente.
3. Block on pages with ads: los rastreadores, incluidos los de uso mixto, se bloquean solo en las páginas detectadas como que sirven un anuncio.
4. Block: se bloquean todos los rastreadores, incluidos los de uso mixto.

La opción "Disallow AI Training" funciona publicando una preferencia en robots.txt. No se puede expresar una preferencia solo de anuncios de esa manera: Cloudflare puede detectar qué páginas muestran anuncios, pero esa lista es demasiado grande y cambia con demasiada frecuencia para enumerarse en robots.txt. Por eso no hay una opción para desactivar el entrenamiento de la IA en las páginas con anuncios.

Los agentes no crean el mismo compromiso entre búsqueda y detección que los rastreadores de uso mixto, y la Internet aún no tiene una directiva bien establecida para expresar preferencias de prohibir para los agentes. Por ahora, no estamos incluyendo una configuración de "Disallow" para los agentes. A medida que estándares como ai-prefs maduran, volvemos a analizar este enfoque.

¿Qué cambia a partir del 15 de septiembre?

Estamos realizando los siguientes cambios en Cloudflare Bot Management y AI Crawl Control:

1. Las funciones de "Block" y "Block on pages with ads" ahora se aplican a rastreadores de uso mixto, incluidos Applebot, Bingbot y Googlebot, por lo que cualquiera de las configuraciones afecta tanto la búsqueda como el entrenamiento. Para detener el entrenamiento y mantener la búsqueda, utilizar la función "Disallow AI Training".
2. "Block AI Bots" se descontinuará en favor de los controles más detallados de búsqueda, entrenamiento y agente.
3. El archivo Managed robots.txt se discontinuara en favor de Bot Preference Sync. Los clientes que activaron Managed Robots.txt migrarán al nuevo sistema.
4. Disallow AI Training se convertirá en parte de la configuración recomendada para ciertos dominios nuevos.
5. Los clientes existentes tendrán sus preferencias migradas a los nuevos controles como se describe a continuación.

Lo que necesitas hacer

Nada, en casi todos los casos. Tus configuraciones actuales se trasladan de forma automática.

Si quieres que los rastreadores de uso mixto desaparezcan por completo, ahora tienes que configurarlo. Seleccionar "Block". Detendrá a Applebot, Bingbot y Googlebot para que no lleguen a tu sitio, incluidas las búsquedas.

Los dominios existentes que nunca usaron los controles de búsqueda/entrenamiento/agente

Los propietarios de los sitios que nunca configuraron los controles más detallados serán migrados a las nuevas configuraciones basadas en su configuración heredada de "Block AI Bots":

Los dominios existentes que previamente configuraron los controles de Búsqueda/Entrenamiento/Agente

Para los dominios que configuraron previamente los controles específicos, preservaremos el efecto práctico de sus selecciones bajo las nuevas definiciones. Las selecciones anteriores de "Block" y "Block on pages with ads" se migrarán para Deshabilitar el Entrenamiento de IA.

Recomendaciones para dominios nuevos

A partir del 15 de septiembre, a los clientes que incorporen un nuevo dominio se les ofrecerá una de dos configuraciones preestablecidas, dependiendo de si el sitio genera ingresos a través de la publicidad. Los ingresos por publicidad dependen de que una persona realmente vea la página. El entrenamiento reemplaza esa visita con una respuesta; los agentes obtienen la página sin que nadie vea los anuncios. Por lo tanto, los ajustes preestablecidos para los sitios con publicidad son más restrictivos. Puedes cambiar cualquiera de estas configuraciones durante el proceso de incorporación o en cualquier momento después.

Configuraciones recomendadas para dominios nuevos.

¿Qué significa esto para los rastreadores de uso mixto específicos?

Applebot, Bingbot y Googlebot son responsables. Apple, Google y Microsoft se comprometen con los mismos principios de elección del editor y transparencia. Con la opción "Disallow AI Training", pueden seguir rastreando tu sitio para las búsquedas. Con la opción "Block" los detiene por completo.

También categorizamos los rastreadores relevantes de Amazon, Anthropic, Meta y OpenAI como Accountable. Estas organizaciones separan sus rastreadores de Búsqueda y de Entrenamiento, por lo que Cloudflare puede bloquear el rastreador de Entrenamiento sin afectar la búsqueda.

Applebot

Applebot permite a los propietarios del sitio optar por no participar en el entrenamiento añadiendo una regla de no permitir a robots.txt para "Applebot-Extended". Actualmente, los propietarios de sitios también pueden expresar sus preferencias respecto a los resúmenes generados por IA mediante la directiva nosnippet ​ en el código HTML de la página. El contenido también puede etiquetarse como contenido con muro de pago para excluirlo de la salida generativa. Applebot aún no proporciona una herramienta para la inspección a nivel de URL. Sin embargo, nos hemos reunido con su equipo y han compartido detalles de su solución en progreso para el próximo año. Apple también ha afirmado que no permitir el entrenamiento no afecta el ranking de búsqueda.

Googlebot

Googlebot permite a los propietarios de sitios optar por no participar en el entrenamiento añadiendo una regla de no permitir a robots.txt para “Google-Extended”, y proporcionan un interruptor dentro de su portal para webmaster que excluye el contenido de un sitio de los resultados de búsqueda generativa. Googlebot también proporciona a los propietarios de sitios métricas e informes sobre los resultados de búsqueda y los resultados de resúmenes generados por IA. Google compartió información sobre sus controles existentes y lanzados recientemente, así como sobre lo que ya están trabajando, incluyendo herramientas adicionales de transparencia a nivel de URL para propietarios de sitios relacionadas con Google-Extended, que esperan lanzar en las próximas semanas. Google también afirmó que desactivar Google-Extended no impacta en el ranking de búsqueda.

Bingbot

Bingbot proporciona controles específicos y transparencia en sus Webmaster Tools. Los propietarios de sitios pueden expresar actualmente sus preferencias de entrenamiento de IA mediante NOARCHIVE meta tag de Bing. Microsoft está ampliando estas capacidades y actualmente construye el mecanismo para respetar también una preferencia de "no entrenamiento" en robots.txt a nivel de dominio/sitio, con un objetivo para principios de 2027. Para los clientes de Cloudflare que deseen excluirse del entrenamiento en Bing hoy, además de usar la etiqueta NOARCHIVE, los propietarios del sitio pueden utilizar la herramienta de bloqueo de URL o eliminación de contenido. Microsoft también ha declarado que usar NOARCHIVE no impactará en la clasificación de búsqueda.

Hasta que se active ese soporte, seleccionar "Disallow AI Training" no transmitirá automáticamente una preferencia de no entrenamiento a Bing a través de robots.txt. Este comportamiento práctico es el mismo que el de la configuración anterior de "Training Block", la cual no se aplicaba a los rastreadores de uso mixto como Bingbot.

Progreso continuo

Continuaremos contactando y colaborando con todos los operadores de rastreadores de IA a medida que estas capacidades evolucionen. Cloudflare Radar realiza un seguimiento público de los controles, la transparencia y los informes proporcionados por los operadores de rastreadores responsables. 

Mejorar la Internet requiere que ambas partes tengan control: los rastreadores necesitan acceso a la web abierta y las personas que crean esa web necesitan tener un control significativo sobre cómo se utiliza su trabajo. El anuncio de hoy representa un progreso concreto hacia ese equilibrio.

El progreso requiere que los proveedores de infraestructura, los creadores de contenido, las empresas de tecnología y los organismos de estándares, como el Internet Engineering Task Force (IETF), trabajen juntos para traducir estos principios en estándares abiertos e interoperables.

Próximos pasos: los resúmenes de IA

El entrenamiento y los resúmenes de IA plantean diferentes preguntas para los propietarios de los sitios web. El entrenamiento se refiere a si el contenido puede utilizarse para crear modelos de IA. Los resúmenes afectan cómo las personas detectan, evalúan y finalmente visitan un sitio. Ambos son importantes, pero afectan a las empresas de maneras diferentes.

Los controles para optar por no recibir resúmenes de IA son el primer paso. Los operadores identificados como Accountable proporcionan o están completando el trabajo para proporcionar esa capacidad, estableciendo una línea de base importante: los propietarios del sitio pueden decir que no.

Sin embargo, una opción a nivel de todo el sitio entre permitir y prohibir los resúmenes sigue siendo un instrumento poco preciso. La decisión correcta depende del sitio, el contenido y el resultado del negocio. Para los editores, el entrenamiento plantea preguntas fundamentales sobre el control, la compensación y la sostenibilidad del contenido original. Los resúmenes crean una pregunta de distribución separada y en general más inmediata: ¿el usuario visita el sitio del editor o consume la respuesta directamente en la experiencia de búsqueda o de IA? Para muchas otras empresas, los resúmenes de IA se sitúan cada vez más entre un cliente potencial y un sitio web. Pueden responder una pregunta, comparar alternativas, recomendar un producto o ayudar a alguien a decidir si visitar o no.

Los datos muestran un impacto mixto. Más de la mitad de los consumidores leen resúmenes en la búsqueda, y esos consumidores son un 40 % más propensos a terminar su búsqueda después de leer uno. Esto puede reducir la cantidad de visitas que recibe un sitio web. Pero los consumidores referidos por AI Search convierten entre tres veces y más de cinco veces la tasa de los referidos por búsqueda tradicional. La IA puede generar menos visitas mientras envía clientes con una intención mucho mayor.

Eso no es inherentemente bueno ni malo. Un editor financiado por publicidad puede optimizar en función del volumen de audiencia. Un minorista puede preferir menos visitantes que tengan más probabilidad de comprar. El papel de Cloudflare no es elegir por ellos, sino proporcionar la visibilidad y el control necesarios para tomar una decisión informada.

Las exclusiones resumidas son un buen comienzo, pero no son el estado final. Nuestro próximo enfoque es ayudar a los propietarios de sitios a entender cómo los resúmenes afectan a sus negocios y darles más control sobre cuánto de su contenido puede ser utilizado. Los estándares abiertos, como ai-prefs, serán una parte importante para hacerlo posible.

Si deseas participar en esta conversación o brindar retroalimentación, contacta con crawlercontrols@cloudflare.com.

Estos nuevos controles están disponibles para todos los clientes, en todos los planes, y se pueden configurar en la configuración de seguridad del dominio (zona) Configuración de seguridad. ¿Aún no estás en Cloudflare? Comienza gratis para establecer los controles de tráfico que deseas hoy.