robots.txt IA : un jeton commun pour refuser l'entraînement

De quoi parle-t-on exactement ?

Jusqu'ici, refuser l'entraînement d'une IA obligeait à écrire une règle par éditeur : GPTBot, ClaudeBot, Google-Extended, etc. Le jeton commun remplace cette liste par une seule entrée. Google décrit un « policy token » qui permet de fixer ses préférences d'entraînement auprès de plusieurs fournisseurs à la fois.

La syntaxe reste celle de robots.txt. Selon le brouillon IETF rédigé par Kevin Kelley, d'Anthropic, le jeton se place dans une ligne User-Agent. Exemple repris du brouillon et de la presse spécialisée :

Cette règle refuse l'entraînement sur tout le site, sauf le dossier /press-kit/. Le brouillon précise qu'un groupe User-Agent : * ne s'applique pas au jeton : il faut le nommer explicitement.

Est-ce disponible en France ?

Les sources consultées ne mentionnent aucune limite géographique : c'est un fichier technique de votre site, pas un produit à abonnement. En revanche, le calendrier diffère selon l'éditeur :

• Anthropic : il a « déjà commencé » à prendre en charge le brouillon, selon l'analyse de Relevant Audience. Coywolf écrit qu'Anthropic est le seul à l'utiliser aujourd'hui.
• OpenAI : mise en place prévue dans les prochains mois, d'après Coywolf. Je n'ai pas pu consulter la page officielle d'OpenAI (accès refusé), cette information vient donc de la presse.
• Microsoft : les nouvelles préférences prennent effet le 1er février 2027, au fil de l'exploration des pages, d'après le blog de Bing.
• Google : « We aim to support this new control along with other AI providers in 2027 », écrit Google. Aucune date précise n'est donnée.

Combien ça coûte ?

Aucun tarif n'est annoncé : il s'agit d'une ligne à ajouter dans un fichier que vous contrôlez déjà. Le seul coût est le temps de la personne qui gère votre site ou votre CMS.

Comment l'activer en entreprise ?

Étapes concrètes :

1. Décidez de votre position. Voulez-vous refuser l'entraînement sur tout le site, ou seulement sur certaines sections (blog, documentation, espace client) ?
2. Ajoutez le groupe __usage_ai-training dans robots.txt, avec vos règles Disallow et Allow. Le brouillon précise que le jeton est reconnu sans tenir compte de la casse.
3. Gardez vos règles actuelles. Google indique que les contrôles propres à chaque entreprise « continueront de fonctionner » à côté du signal commun. Si vous ne nommez pas Google-Extended, Google traitera votre refus comme un Disallow sur Google-Extended.
4. Côté Microsoft, regardez aussi les balises de page. Le blog de Bing indique que l'entraînement peut aussi se régler par balise meta ou en-tête X-Robots-Tag, et qu'un réglage au niveau de la page l'emporte sur robots.txt. Par défaut, l'entraînement est autorisé.

Quelle différence entre entraînement et réponses générées ?

Le jeton ne couvre que l'entraînement. Microsoft ajoute un second réglage, le « grounding », qui concerne l'usage de vos pages pour construire des réponses générées. Il se configure uniquement au niveau de la page, avec ai-grounding:disallow ou ai-grounding:disallowextended. Selon Bing, la valeur disallowextended limite l'usage aux expériences opérées par Microsoft (Copilot, AI Mode, AI Overview, Microsoft 365).

Attention au compromis : Bing prévient que refuser le grounding peut réduire la visibilité de votre marque dans les expériences d'IA, sans garantie de trafic. Côté Google, les sites qui autorisent Google-Extended restent éligibles à apparaître dans les réponses et à recevoir des clics via le grounding dans les applications Gemini. Google précise aussi que Google-Extended n'affecte ni l'inclusion dans Google Search ni le classement.

Dates Bing à retenir si vous utilisiez NoArchive ou NoCache : ouverture des préférences temporaires dans Bing Webmaster Tools le 15 décembre 2026, échéance du 1er mars 2027 pour publier vos préférences.

Quelles sont les limites ?

• Ce n'est pas une norme. Le texte est un brouillon individuel, non endossé par l'IETF, valable jusqu'au 3 mai 2027 sauf mise à jour. Google parle lui-même d'une « draft proposal ».
• Ce n'est pas une barrière technique. C'est une préférence. Un robot qui ignore robots.txt l'ignorera aussi ici. Pour bloquer ces robots, il faut un service de filtrage dédié.
• Ce n'est pas rétroactif. Le signal vaut pour la suite. Il ne retire rien des données déjà collectées.
• Des propositions concurrentes existent, comme la directive Content-Signal de Cloudflare, d'après Coywolf.

Ce que ça change pour une équipe

Pour un dirigeant, c'est une décision de politique de contenu plus qu'un chantier technique. Elle demande un arbitrage : protéger vos contenus de l'entraînement, ou rester visible dans les réponses générées par les assistants IA. Les deux ne s'excluent pas, puisque l'entraînement et le grounding sont réglés séparément chez Microsoft.

Concrètement : faites vérifier votre robots.txt actuel, listez les sections sensibles, et fixez une règle écrite avant début 2027. Si vous voulez cadrer plus largement l'usage de l'IA dans votre entreprise, notre audit IA gratuit est un point de départ, et notre formation IA en entreprise aide vos équipes à décider avec les bons réflexes.

Sources

• Google Search Central : AI training control
• Blog Bing : Your content, your choice
• IETF : Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
• Coywolf : Google, OpenAI, Microsoft et Anthropic soutiennent un signal robots.txt commun
• Relevant Audience : Google plans to honour shared AI training opt-out in 2027