Cloudflare et OpenAI : améliorer la découverte par l’IA pour tous

Optimiser votre site pour l’IA n’a pas grand intérêt si l’IA ne le trouve pas. Votre site web contient peut-être déjà la réponse à la question d’un internaute : un guide d’installation que vous avez mis toute une semaine à rédiger, ou un témoignage d’utilisation d’un produit contenant des informations détaillées susceptibles de faire pencher la balance en faveur de l’achat. À l’heure où un nombre croissant d’utilisateurs s’adressent à l’IA pour obtenir de l’aide, vous avez tout intérêt à ce que ces systèmes trouvent votre travail, le représentent fidèlement et renvoient des internautes intéressés vers votre site. Il est également important pour vous de contrôler la manière dont les IA accèdent à votre site.

En juillet 2026, Cloudflare et OpenAI ont ​lancé un projet d’étude pilote dans cette optique. Nous voulions déterminer si les signaux provenant du réseau de Cloudflare pouvaient aider les utilisateurs de ChatGPT à découvrir plus efficacement de nouveaux contenus.

Aujourd’hui, nous vous présentons les premières conclusions. À ce stade, la réponse est un « oui » retentissant : ce projet pilote a permis d’intégrer des pages jusqu’alors inconnues dans l’index de recherche d’OpenAI, offrant ainsi à ChatGPT davantage de sources sur lesquelles s’appuyer pour aider les utilisateurs à obtenir des informations pertinentes et d’actualité. Pendant le déroulement du projet, nous en avons appris davantage sur les caractéristiques qui font qu’une page mérite d’être découverte et sur la manière dont les systèmes d’IA utilisent le web.

Explorer davantage le web

Le web regorge d’informations détaillées. Quelqu’un répare son lave-linge et a besoin du mode d’emploi correspondant précisément à son modèle. Quelqu’un d’autre dépose une demande de passeport et souhaite connaître les conditions et les frais applicables. Enfin, quelqu’un souhaite réserver une table dans un restaurant local et veut consulter le menu actuel et les horaires d’ouverture de l’établissement. Trouver la page pertinente peut faire toute la différence entre une réponse erronée et une réponse réellement utile. Ces pages peuvent présenter un intérêt, même si peu d’autres sites renvoient vers elles.

Dans la précédente version du web, la découvrabilité consistait à figurer en tête d’une page de résultats de recherche. Il appartenait ensuite à l’utilisateur humain qui consultait votre page de déterminer la valeur des informations que vous proposiez, de déposer une demande de passeport ou de réserver une table. À l’heure où les internautes s’appuient toujours davantage sur l’IA pour trouver des informations et accomplir des tâches, la découvrabilité revêt une importance nouvelle. Les systèmes d’IA doivent identifier les sources appropriées, comprendre quelles informations sont utiles et mettre les utilisateurs en relation avec les informations pertinentes, que ce soit par le biais d’une réponse, d’une citation ou d’une consultation du site web lui-même.

Le réseau de Cloudflare fournit des signaux qui peuvent aider le robot d’exploration d’OpenAI à découvrir davantage de pages utiles sur le web, afin de les présenter aux utilisateurs de ChatGPT. OpenAI évalue et classe ensuite de manière indépendante la présentation de ces pages aux utilisateurs en fonction de leur pertinence et de leur utilité. Cette approche crée une boucle de rétroaction permettant d’améliorer à la fois la découverte et la qualité des informations trouvées par les utilisateurs.

Ce projet pilote conjoint, qui reposait sur une cohorte de participants représentant environ 1 % du réseau total de Cloudflare, a permis à OpenAI de découvrir et d’indexer des centaines de millions de nouvelles pages web, et ainsi, d’aider les utilisateurs de ChatGPT à trouver davantage de contenus utiles et à obtenir des réponses à davantage de questions. En proposant des liens vers des sources pertinentes, ChatGPT Search permet également aux utilisateurs d’explorer le contenu original et de découvrir les sites web et les éditeurs qui le proposent.

Avec ​GPT-6 et son interface intelligente, OpenAI transforme également ChatGPT en un espace encore plus efficace pour faire des achats, apprendre et trouver des réponses, en proposant des expériences plus visuelles et interactives, adaptées aux besoins des utilisateurs. Ce travail vient compléter ces avancées en aidant ChatGPT à trouver des informations plus utiles et plus récentes sur l’ensemble du web.

De la découverte aux réponses utiles

Trouver une URL n’est qu’un début. Nous devons savoir si cette URL mène à une page accessible par les utilisateurs, si cette page propose quelque chose de particulier et de quelle manière elle pourrait aider les utilisateurs.

Nous avons découvert, par exemple, la facilité avec laquelle le trafic automatisé peut donner à une page inexistante l’apparence d’une page intéressante. Les bots demandent continuellement des fichiers qui ne s’y trouvent pas. Certains sites redirigent pratiquement toutes les adresses vers leur page d’accueil. D’autres adresses, quant à elles, renvoient vers des copies du même contenu. L’identification de ces schémas nous permet de réduire le travail inutile avant la récupération de la page par un robot d’exploration, et ainsi, d’améliorer l’efficacité d’une manière qui profite aux propriétaires de sites.

Nous testons également des signaux permettant d’identifier et de signaler les pages potentiellement malveillantes, ajoutant ainsi une couche d’informations supplémentaire pour favoriser l’exploration plus sûre et plus fiable. Un site légitime peut comporter une seule page compromise, par exemple, un faux formulaire de connexion inséré sur le site par un acteur malveillant. Signaler cette page en particulier, plutôt que l’ensemble du domaine, permet d’assurer la sécurité des utilisateurs, sans toutefois pénaliser le propriétaire du site. Les premiers résultats indiquent que ces signaux peuvent aider à identifier les pages qui doivent être exclues d’un index.

Simplifier la découverte

À mesure qu’un nombre croissant d’utilisateurs recourt à l’IA pour découvrir des informations, les propriétaires de sites web disposent de nouvelles opportunités pour atteindre des publics intéressés. Pour les propriétaires qui choisissent de mettre leur contenu à la disposition des systèmes d’IA, ces améliorations facilitent la découverte et la rendent plus efficace.

Tenir les informations à jour en récupérant plus fréquemment chaque page serait trop coûteux pour toutes les parties concernées. Pour un propriétaire de site web, un robot d’exploration qui télécharge plusieurs fois une page inchangée alourdit la charge, sans apporter aucun avantage.

Les signaux que nous avons évoqués nous permettent justement d’éviter cette situation. Le filtrage évite que les robots d’exploration n’accèdent à des pages qui n’existent pas ou redirigent simplement les robots vers une autre page. Les signaux de modification leur indiquent quand une page mérite une nouvelle consultation et quand ce n’est pas le cas.

Il est important de trouver un juste équilibre. La découverte de nouvelles pages peut, dans un premier temps, entraîner une intensification de l’exploration pendant que ces pages sont analysées et indexées. L’objectif est de continuer à découvrir de nouveaux contenus et de se tenir à jour, tout en réduisant la charge de travail associée. Pour les clients de Cloudflare, cela se traduit par une réduction de la charge superflue. Pour OpenAI, cela signifie qu’une part plus importante de ses ressources de recherche est consacrée à des informations utiles aux utilisateurs.

Encourager la participation

La prochaine phase s’appuiera sur ce que nous avons appris : améliorer la sélection des pages, tester des signaux de modification plus rapides et plus fiables, et mesurer ce qu’il se passe une fois que le contenu a été découvert.

Nous continuons à collaborer avec OpenAI afin de comprendre comment une meilleure découvrabilité des sites peut se traduire en résultats commerciaux concrets, et nous ne manquerons pas de partager nos enseignements à mesure que nous progresserons.

Les choix des propriétaires de domaines ont une importance déterminante à tous les niveaux. Un signal concernant une page n’accorde pas l’autorisation d’accéder à celle-ci. Cette étude repose sur des métadonnées concernant le web pour la recherche et la détectabilité, plutôt que de partager le contenu des pages pour l’entraînement des modèles.

Vous pouvez utiliser le service ​AI Crawl Control de Cloudflare pour comprendre et gérer de quelle manière les systèmes d’IA accèdent à votre site web.