Bénéficiez du meilleur des deux mondes : préservez votre référencement tout en refusant l’entraînement des IA

En l'absence de contrôles adéquats, les propriétaires de sites web étaient depuis longtemps confrontés à un dilemme : autoriser l'utilisation de leur contenu pour l'entraînement des IA ou risquer de voir diminuer leur référencement dans les résultats de recherche. Ce dilemme s'explique par le fait que certaines des plus grandes entreprises du web utilisent des robots d'exploration à usage mixte : un même robot d'exploration sert à la fois à la recherche et à l'entraînement des IA, et refuser une option revient à refuser l’autre.

Aujourd'hui, Cloudflare annonce un nouveau paramètre « Refuser l'entraînement des IA », qui vous permet de préserver facilement l'indexation de votre site web aux fins de la recherche, tout en interdisant à ces mêmes robots d'exploration d'utiliser votre contenu pour l'entraînement. Apple, Google et Microsoft respectent ce paramètre ou se sont engagés (dans un délai précis) à le respecter.

Les robots d’exploration à usage mixte constituaient l'aspect le plus difficile de la problématique de l'entraînement ; la prochaine question sera celle des résumés générés par l'IA. L'application d'un « oui » ou d'un « non » généralisé à l'ensemble du site est trop simpliste : en effet, la part de votre contenu qui apparaît dans un résumé généré par l'IA est tout aussi importante que l'inclusion ou non de votre contenu dans ce résumé. La possibilité de désactiver les résumés générés par l'IA fait déjà partie des exigences que nous avons établies pour les opérateurs de robots d'exploration à usage mixte. D'ici le début de l'année prochaine, notre objectif est de vous permettre de contrôler la part de votre contenu qui sera incluse en configurant une fois seulement un paramètre sur Cloudflare, plutôt que séparément, auprès de chaque opérateur.

Pourquoi il ne suffit pas de demander

La plupart des propriétaires de sites souhaitent être trouvés : par les utilisateurs humains, par les agents et par les bots (légitimes). Cependant, une part importante de l'Internet ouvert est financée par la publicité, les abonnements ou les relations directes avec les visiteurs, et ces modèles ne génèrent des revenus que lorsqu'un utilisateur humain consulte effectivement un site.

Presque tous les propriétaires de sites considèrent que la recherche est utile : moins de 1 % des sites hébergés sur Cloudflare choisissent de bloquer les robots d'exploration. L'entraînement des IA, en revanche, est une tout autre problématique : 17 % des sites choisissent de déployer un mécanisme destiné à l'interdire. C'est précisément pour cette raison que nous avons décidé que les propriétaires de sites avaient besoin de contrôles plus précis, plutôt que d'une fonctionnalité généraliste « Bloquer les IA ».

Une directive robots.txt ne suffit pas, à elle seule, à résoudre ce problème. Tous les sites peuvent publier une directive, mais celle-ci ne permet pas d'identifier l'auteur de l'exploration, de déterminer à quelles fins cette exploration a lieu, ni d'empêcher un robot d'exploration de l'ignorer.

Un réseau peut, en revanche, résoudre ce dilemme : nous publions la préférence, nous identifions les robots d'exploration, nous classons leurs motivations et nous bloquons ceux qui l'ignorent ; ensuite, nous publions les actions qu'effectue réellement chaque opérateur sur Radar.

Toutefois, le blocage empêche les robots d'exploration d'accéder à un site ; il ne modifie en rien leur comportement. L'idéal serait que les opérateurs de bots ne vous imposent pas du tout ce choix ; c'est pourquoi, depuis juillet, nous échangeons directement avec eux. Les réactions ont été encourageantes : presque tous se sont accordés à dire que les propriétaires de sites web devaient bénéficier de contrôle et de transparence au regard de l'utilisation de leurs contenus, et qu'ils devaient avoir l'assurance que leurs choix seraient respectés. Pour aider les propriétaires de sites à bien comprendre cela, nous avons créé une certification : « Responsable ».

La certification « Responsable » reconnaît à la fois les fonctionnalités disponibles à ce jour et les engagements concrets pris pour les mettre en œuvre. Pour être éligible, un opérateur de bots doit satisfaire aux exigences suivantes ou s'engager à les respecter :

1. Un mécanisme permettant aux propriétaires de sites de refuser que leur contenu soit utilisé pour l'entraînement des IA, via le fichier robots.txt ou une norme similaire.
2. Un mécanisme permettant aux propriétaires de sites de désactiver les résumés générés par l'IA, mis en place directement avec l'opérateur, puis via Cloudflare, l'année prochaine (voir la section ci-dessous pour plus de détails).
3. Une visibilité au niveau des URL permettant de savoir quelles pages ont été mises à disposition pour l'entraînement, ainsi que des indicateurs montrant comment le contenu apparaissait dans les résultats de recherche.
4. L'assurance que le fait de refuser de contribuer à l'entraînement des IA n'aura aucune incidence sur les résultats de recherche traditionnelle.

Apple, Google et Microsoft démontrent tous qu’ils satisfont aux conditions requises pour bénéficier de la certification « Responsable ». Chacun d'entre eux allie les fonctionnalités déjà disponibles à des engagements assortis de délais, pour les fonctionnalités qui sont encore en cours de développement. Vous trouverez ci-dessous des informations détaillées sur les robots d'exploration de chacune de ces entreprises.

Nouvelles options de paramètres de sécurité

Cloudflare classe les bots en fonction de leur comportement, et un même bot peut présenter différents comportements. Les contrôles couvrent trois comportements :

• Recherche : exploration pour constituer un index de recherche.
• Entraînement : exploration pour entraîner ou affiner un modèle.
• Agent : agents pilotés par un utilisateur et consultant une page pour le compte d'un utilisateur humain (par exemple, bots de récupération de messages de chat et agents simulant l'utilisation d'un navigateur).

Un robot d’exploration à usage mixte est un robot unique assurant à la fois des fonctions de recherche et d'entraînement. En l'absence de contrôles, cette combinaison entraîne le dilemme décrit ci-dessus : les propriétaires de sites ne peuvent pas refuser une utilisation sans refuser l'autre.

Afin d’éviter de bloquer les robots d’exploration à usage mixte avec la certification « Responsable » (c'est-à-dire ceux qui n’imposent pas ce compromis aux propriétaires de sites web), nous déployons un nouveau paramètre : « Refuser l’entraînement des IA ». Le paramètre « Refuser l’entraînement des IA » est publie une directive « Disallow: » dans le fichier robots.txt.

Le paramètre « Bloquer » a désormais une nouvelle signification

Les options « Bloquer » et « Bloquer sur les pages contenant des publicités » ne s’appliquaient auparavant pas aux robots d’exploration à usage mixte, car le blocage de ces robots risquait également d’affecter la visibilité dans les résultats de recherche. Maintenant que le nouveau paramètre « Refuser l'entraînement des IA » est disponible, les options « Bloquer » et « Bloquer sur les pages contenant des publicités » s'appliquent à tous les robots d'exploration, y compris aux robots à usage mixte.

Les contrôles relatifs à l'entraînement, à la recherche et aux agents s'appliquent au niveau du domaine. Avec l’ajout du paramètre « Refuser l'entraînement des IA », les paramètres disponibles son t:

1. Autoriser : tous les robots d’exploration sont autorisés, sauf s'ils sont bloqués par un autre paramètre ou une règle de pare-feu WAF.
2. Refuser l'entraînement des IA : Bot Preference Sync publie la préférence applicable de refus de l'entraînement dans le fichier robots.txt. Les robots d'exploration à usage mixte avec la certification « Responsable » restent autorisés pour l'indexation. Tous les autres robots d'exploration utilisés pour l'entraînement sont bloqués, notamment ceux exploités exclusivement à cette fin par Amazon, Anthropic, Meta et OpenAI ; leur blocage n'a aucune incidence sur les résultats de recherche. L'option « Refuser l'entraînement des IA » est uniquement disponible dans les paramètres relatifs à l'entraînement, et non dans les paramètres concernant la recherche ou les agents.
3. Bloquer sur les pages contenant des publicités : les robots d'exploration, y compris les robots à usage mixte, sont uniquement bloqués sur les pages identifiées comme diffusant une publicité.
4. Bloquer : tous les robots d'exploration, y compris les robots à usage mixte, sont bloqués.

Le paramètre « Refuser l'entraînement des IA » publie une préférence d'interdiction dans le fichier robots.txt. Une préférence concernant uniquement les publicités ne peut pas être mise en œuvre de cette manière : Cloudflare est capable de détecter les pages qui diffusent des publicités, mais cette liste est trop longue et trop fréquemment modifiée pour pouvoir être énumérée dans le fichier robots.txt. C'est pourquoi l'option « Refuser l'entraînement des IA » n'est pas disponible pour les pages contenant des publicités.

Les agents ne suscitent pas le même dilemme entre recherche et visibilité que les robots d'exploration à usage mixte, et il n'existe pas encore sur Internet de directive bien établie permettant d'exprimer des préférences « Disallow » à l'intention des agents. Pour l'instant, nous n'avons pas prévu de paramètre « Disallow » pour les agents. À mesure que des normes telles que ai-prefs arriveront à maturité, nous réexaminerons cette approche.

Qu'est-ce qui changera le 15 septembre ?

Nous apportons les modifications suivantes à Bot Management et AI Crawl Control :

1. Les options « Bloquer » et « Bloquer sur les pages contenant des publicités » s'appliquent désormais aux robots d'exploration à usage mixte, notamment à Applebot, Bingbot et Googlebot ; ces deux paramètres ont donc une incidence sur la recherche ainsi que sur l'apprentissage. Pour refuser l'entraînement, mais conserver la recherche, utilisez le paramètre « Refuser l'entraînement des IA ».
2. La fonction « Bloquer les bots IA » sera abandonnée au profit de contrôles plus granulaires concernant la recherche, l'entraînement et les agents.
3. La fonctionnalité Managed Robots.txt sera abandonnée au profit de Bot Preference Sync. Les clients ayant activé Managed Robots.txt seront migrés vers le nouveau système.
4. L'option « Refuser l'entraînement des IA » sera désormais intégrée à la configuration recommandée pour certains nouveaux domaines.
5. Les préférences des clients existants seront migrées vers les nouveaux contrôles, comme décrit ci-dessous.

Ce que vous devez faire

Rien, dans presque tous les cas. Vos paramètres actuels seront transférés automatiquement.

Si vous souhaitez interdire complètement les robots d'exploration à usage mixte, vous devez désormais le préciser. Sélectionnez l'option « Bloquer » ; cela empêchera Applebot, Bingbot et Googlebot d’accéder à votre site, y compris pour la recherche.

Domaines existants n'ayant jamais utilisé les contrôles relatifs à la recherche, à l'entraînement et aux agents.

La configuration des propriétaires de sites qui n'ont jamais défini de contrôles plus précis sera migrée vers les nouveaux paramètres en fonction du paramètre « Bloquer les bots IA » existant :

Domaines existants ayant précédemment configuré les contrôles pour la recherche, l'entraînement et les agents

Si les contrôles granulaires ont déjà été configurés pour certains domaines, l'effet concret de leurs choix sera conservé avec les nouvelles définitions. Les sélections précédentes « Bloquer » ou « Bloquer sur les pages contenant des publicités » pour l'entraînement seront migrées vers « Refuser l'entraînement des IA ».

Recommandations pour les nouveaux domaines

À partir du 15 septembre, les clients intégrant un nouveau domaine se verront proposer l'une des deux configurations prédéfinies, selon que le site génère ou non des revenus publicitaires. Les revenus publicitaires dépendent du fait qu'un utilisateur humain consulte effectivement la page. L'entraînement remplace cette visite par une réponse ; les agents consultent la page sans que les publicités soient affichées. Les paramètres par défaut pour les sites financés par la publicité sont donc plus restrictifs. Vous pouvez modifier n'importe lequel de ces paramètres pendant l'intégration ou le modifier ultérieurement, à tout moment.

Paramètres recommandés pour les nouveaux domaines.

Quelles sont les implications pour certains robots d'exploration à usage mixte ?

Applebot, Bingbot et Googlebot ont reçu la certification « Responsable ». Apple, Google et Microsoft adhèrent aux mêmes principes de liberté de choix des éditeurs et de transparence. Lorsque le paramètre « Refuser l'entraînement des IA » est activé, ces bots peuvent continuer à explorer votre site à des fins de recherche. En revanche, sélectionner l'option « Bloquer » les arrête entièrement.

Nous classons également les robots d'exploration concernés d'Amazon, d'Anthropic, de Meta et d'OpenAI dans la catégorie « Responsable ». Ces entreprises séparent leurs robots de recherche de leurs robots d'entraînement, permettant ainsi à Cloudflare de bloquer le robot d'entraînement sans que cela n'affecte la recherche.

Applebot

Applebot permet aux propriétaires de sites d'interdire l'entraînement en ajoutant une règle « Disallow » dans le fichier robots.txt pour Applebot-Extended. À l'heure actuelle, les propriétaires de sites peuvent également indiquer leurs préférences concernant les résumés générés par l'IA via la directive « nosnippet » dans le code HTML de la page. Le contenu peut également être marqué comme contenu payant afin de l'exclure des résultats générés. Applebot ne propose pas encore d'outil permettant d'effectuer une inspection au niveau de l'URL. Nous avons toutefois rencontré l'équipe, qui nous a donné des précisions sur la solution qu'elle élabore actuellement pour l'année prochaine. Apple a également déclaré que le fait d’interdire l'entraînement n’a aucune incidence sur le classement dans les résultats de recherche.

Googlebot

Googlebot permet aux propriétaires de sites de refuser l’entraînement en ajoutant une règle « Disallow » au fichier robots.txt pour Google-Extended. Il propose également un sélecteur sur son portail pour webmasters permettant d'exclure le contenu d’un site des résultats de recherche génératifs. Googlebot fournit également aux propriétaires de sites des indicateurs et des rapports concernant les résultats de recherche et les résumés générés par l'IA. Google a communiqué des informations sur ses contrôles existants et récemment lancés, ainsi que sur les outils en cours de développement, notamment des outils supplémentaires de transparence au niveau des URL destinés aux propriétaires de sites pour Google-Extended, dont le lancement est prévu dans les semaines à venir. Google a également déclaré que la désactivation de Google-Extended n’a aucune incidence sur le classement dans les résultats de recherche.

Bingbot

Bingbot offre des options de contrôle précises et une grande transparence avec ses outils Webmaster Tools. Les propriétaires de sites peuvent actuellement indiquer leurs préférences concernant l'entraînement des IA via la balise méta NOARCHIVE de Bing. Microsoft étend ces fonctionnalités et développe actuellement un mécanisme permettant de respecter également une préférence de refus de l'entraînement définie dans le fichier robots.txt sur l'ensemble du domaine ou du site ; la mise en œuvre est prévue début 2027. Outre l’utilisation de la balise NOARCHIVE, les clients de Cloudflare qui souhaitent dès aujourd’hui exclure l'utilisation de leur contenu aux fins de l'entraînement de Bing peuvent s'appuyer sur l'outil de blocage d'URL ou de suppression de contenu. Microsoft a également déclaré que l’utilisation de NOARCHIVE n’aura aucune incidence sur le classement dans les résultats de recherche.

Tant que cette fonctionnalité ne sera pas disponible, sélectionner « Refuser l'entraînement des IA » ne transmettra pas automatiquement, via le fichier robots.txt, la préférence de refus de l'entraînement à Bing. Ce comportement correspond à celui de l'ancien paramètre « Bloquer l'entraînement », qui ne s'appliquait pas aux robots d'exploration à usage mixte, tels que Bingbot.

Des progrès continus

Nous continuerons à contacter et à collaborer avec tous les opérateurs de robots d'exploration pilotés par IA, à mesure que ces fonctionnalités évolueront. Cloudflare Radar assure un suivi public des contrôles, de la transparence et des rapports fournis par les opérateurs de robots d'exploration ayant obtenu la certification « Responsable ». 

Pour contribuer à bâtir un Internet meilleur, les deux parties doivent disposer d'une certaine autonomie : les robots d'exploration doivent pouvoir accéder au web ouvert, et les créateurs de ce web doivent disposer d'un contrôle effectif sur l'utilisation de leur travail. L'annonce faite aujourd'hui marque une avancée concrète vers cet équilibre.

Pour assurer la continuité des progrès, les fournisseurs d'infrastructures, les créateurs de contenus, les entreprises technologiques et les organismes de normalisation, tels qu'Internet Engineering Task Force (IETF), devront collaborer afin de traduire ces principes en normes ouvertes et interopérables.

Prochaine étape : les résumés générés par l'IA

L'entraînement des IA et les résumés générés par l’IA entraînent différentes questions pour les propriétaires de sites. L'entraînement des IA détermine si un contenu peut être utilisé pour développer des modèles d'IA, tandis que les résumés générés par l'IA influencent la manière dont les internautes découvrent, évaluent et, en fin de compte, consultent le site web d'une entreprise. Ces deux aspects sont importants, mais ont des répercussions différentes sur les entreprises.

Les contrôles permettant de refuser l'utilisation de contenus dans les résumés générés par l'IA constituent la première étape. Les opérateurs ayant obtenu la certification « Responsable » fournissent ou développent actuellement cette fonctionnalité, établissant un principe fondamental : les propriétaires des sites peuvent refuser.

Cependant, le choix d'autoriser ou d'interdire les résumés générés par l'IA pour l'ensemble du site reste un outil peu précis. Une décision pertinente dépend du site, du contenu et de la finalité commerciale. Pour les éditeurs, l'entraînement des IA soulève des questions fondamentales concernant le contrôle, la rémunération et la pérennité des contenus originaux. Les résumés générés par l'IA soulèvent une question distincte, et souvent plus immédiate, concernant la diffusion : l'internaute se rend-il sur le site de l'éditeur, ou consulte-t-il la réponse directement dans le cadre d'une recherche ou d'une expérience d'utilisation de l'IA ? Pour de nombreuses autres entreprises, les résumés générés par l'IA constituent de plus en plus souvent un maillon entre un client potentiel et un site web. Ils peuvent répondre à une question, comparer différentes alternatives, recommander un produit ou aider un internaute à décider s'il souhaite consulter le site web de l'entreprise.

Les données montrent des résultats mitigés. Plus de la moitié des consommateurs lisent les résumés générés par l'IA inclus dans les résultats de recherche, et ces consommateurs sont plus de 40 % plus susceptibles de mettre fin à leur recherche après avoir lu un résumé. Cela peut entraîner une baisse du nombre de visites sur un site web. Cependant, le taux de conversion des consommateurs orientés par une recherche avec l'IA est trois fois à plus de cinq fois supérieur à celui des visiteurs issus d'une recherche traditionnelle. Si l’IA peut entraîner une baisse du nombre de visites, elle envoie également des clients affichant une intention d'achat beaucoup plus marquée.

En soi, cela n’est ni bon, ni mauvais. Un éditeur financé par la publicité peut chercher à optimiser son volume d'audience. Un revendeur peut, quant à lui, préférer recevoir des visiteurs moins nombreux, mais plus enclins à acheter. Le rôle de Cloudflare n'est pas de choisir à leur place, mais de leur fournir la visibilité et le contrôle nécessaires pour prendre une décision bien informée.

Les options de refus d'utilisation des contenus dans les résumés générés par l'IA sont un bon point de départ, mais ils ne constituent pas une solution définitive. Notre prochain objectif est d'aider les propriétaires de sites à comprendre l'impact des résumés générés par l'IA sur leur activité et de leur donner davantage de contrôle sur la part de leur contenu pouvant être utilisée dans ces résumés. Les normes ouvertes telles que ai-prefs joueront un rôle important pour y parvenir.

Si vous souhaitez participer à cette conversation ou nous faire part de vos commentaires, veuillez nous écrire à l'adresse crawlercontrols@cloudflare.com.

Ces nouveaux contrôles sont disponibles pour tous les clients, dans toutes les offres, et peuvent être configurés depuis les Paramètres de sécurité au niveau du domaine (zone). Votre site n’est pas encore hébergé sur Cloudflare ? Souscrivez à notre offre gratuite et définissez dès aujourd’hui les mesures de contrôle du trafic que vous souhaitez mettre en oeuvre.