Cloudflare propose un contrôle pour bloquer l'entraînement IA sans perdre le référencement

Ce que dit la source

Cloudflare établit un diagnostic : depuis des années, les propriétaires de sites font face à un choix binaire imposé par les crawlers mixtes (crawlers à la fois pour la recherche et l'entraînement IA). Refuser l'un revient à refuser l'autre, forçant les sites à choisir entre découvrabilité en recherche et protection contre l'entraînement IA. L'entreprise affirme que 17 % des sites Cloudflare choisissent de bloquer un mécanisme d'entraînement, tandis que moins de 1 % bloquent les bots de recherche. La solution proposée : une nouvelle préférence robots.txt distinguant les deux usages, respectée par Apple, Google et Microsoft (qui s'engagent par contrat à l'honorer), et une surveillance au niveau du réseau pour identifier et bloquer les crawlers non coopératifs.

• >Le nouveau paramètre « Disallow AI Training » distingue l'indexation de recherche et l'entraînement IA dans robots.txt, contrairement aux robots.txt standards qui ne peuvent pas identifier le type de crawler ou la raison de son passage.
• >Les crawlers mixtes d'Apple, Google et Microsoft reconnus « Accountable » restent autorisés pour la recherche quand ce paramètre est activé ; les crawlers d'entraînement exclusifs d'Amazon, Anthropic, Meta et OpenAI sont bloqués sans affecter la découvrabilité.
• >Cloudflare promet une visibilité URL-level sur les pages utilisées pour l'entraînement et des métriques montrant comment le contenu apparaît en recherche, ainsi qu'un label « Accountable » formalisant les engagements de conformité de chaque opérateur.
• >Un système de classification des bots par comportement permet de distinguer trois catégories : Search (indexation), Training (entraînement), Agent (bots dirigés par l'utilisateur type fetch bots).
• >Les critères pour obtenir le label « Accountable » incluent : mécanisme d'opt-out AI, opt-out pour les résumés IA, visibilité URL-level et assurance que l'opt-out d'entraînement ne dégrade pas les classements de recherche.

• >Un sentiment récurrent d'inefficacité structurelle : plusieurs commentateurs soulignent que robots.txt seul n'a jamais arrêté les crawlers déterminés, et que confier à des entreprises privées le respect de « pinky promises » (promesses non exécutoires) n'ajoute aucune protection concrète à la présente situation.
• >Deux objections factuelles parallèles : (1) une critique de la classification des bots par Cloudflare elle-même, suggérant que CF traite les utilisateurs non-JavaScript comme des bots et les charge de CAPTCHA agressifs, ce qui contredit l'impartialité revendiquée ; (2) une remarque que Meta et OpenAI, par leurs antécédents de comportements dérogatoires, ne méritent pas la confiance, indépendamment de tout engagement formel.
• >Quelques commentateurs questionnent la pertinence pratique du dispositif : l'un note que les moteurs de recherche sont désormais eux-mêmes des entreprises IA, rendant la séparation entre indexation et entraînement illusoire (« telling them 'index me for search but don't train your models' is asking them to split a brain that's already fully merged »).
• >Une inquiétude implicite sur le modèle renouvelable des promesses : un commentateur imagine des renouvellements annuels du statut « Accountable™ » pour valider à nouveau les engagements, soulevant la question de la pérennité sans mécanisme d'audit tiers.
• >Une alternative évoquée : Web Bot Auth (RFC draft) comme protocole formel pour l'identification et la signature des crawlers légitimes, plutôt qu'un catalogue géré par une CDN.