Testeur robots.txt gratuit : Votre robots.txt vérifié, pour Google et les robots d'IA

Entrez l'adresse de votre site. Mark lit votre fichier robots.txt, relève chaque erreur avec son numéro de ligne, teste vos pages pour Googlebot, Bingbot et les robots d'IA, puis écrit le fichier recommandé, prêt à copier.

Une par ligne : un chemin ou une adresse de votre site (0/10).
Robots d'IA dans le fichier recommandé

Gratuit et sans inscription. Résultat en quelques secondes. Mark ne modifie rien sur votre site.

L'essentiel en 30 secondes

Le robots.txt indique aux robots les pages de votre site qu'ils ont le droit d'explorer.

  • Le fichier se place à la racine de chaque hôte, par exemple https://www.votre-site.fr/robots.txt.
  • Il contrôle l'exploration mais ne retire aucune page de l'index de Google.
  • Google ignore crawl-delay et noindex dans ce fichier : il ne lit que User-agent, Allow, Disallow et Sitemap.
  • Si vous bloquez les CSS et le JavaScript, Google affiche mal vos pages.
  • Vous pouvez autoriser les robots d'IA de recherche et refuser ceux d'entraînement.
  • Notre outil gratuit teste jusqu'à 10 adresses et écrit un robots.txt recommandé, qui n'ouvre jamais aux robots d'IA plus que ce que Googlebot peut lire.

Votre robots.txt tient en quelques lignes. Pourtant, une seule erreur suffit à cacher tout votre site à Google. Une autre peut ouvrir vos contenus à des robots que vous préférez tenir à l'écart.

Les robots d'IA ajoutent 2 questions. Voulez-vous apparaître dans les réponses des moteurs d'IA ? Acceptez-vous que vos pages servent à entraîner des modèles ? Votre robots.txt porte ces 2 décisions.

Ce guide explique la syntaxe, les règles que Google applique et le cas des robots d'IA, avec un exemple avant et après. Testez ensuite votre fichier avec notre outil gratuit, puis corrigez chaque problème à partir de son numéro de ligne.

Ce qu'est le fichier robots.txt, et ce qu'il ne fait pas

Le fichier robots.txt est un fichier texte qui donne des consignes d'exploration aux robots. Il suit un protocole public, décrit dans la norme RFC 9309. Les robots des moteurs de recherche et des IA le lisent avant d'explorer vos pages.

Où se trouve le robots.txt

Le fichier se trouve toujours à la racine de l'hôte. L'adresse https://www.votre-site.fr/robots.txt fonctionne, mais https://www.votre-site.fr/blog/robots.txt n'a aucun effet. Le fichier ne vaut que pour l'hôte, le protocole et le port qui le servent : blog.votre-site.fr a besoin du sien, et les versions avec et sans www lisent chacune le leur.

Ce que le robots.txt ne fait pas

Le robots.txt ne retire pas une page de l'index. Google peut indexer une adresse bloquée si d'autres sites pointent vers elle : la page apparaît alors sans description. Pour sortir une page de l'index, laissez-la accessible et ajoutez une balise meta robots noindex.

Le fichier ne protège pas non plus vos données, car tout le monde peut le lire. Les robots des grands moteurs le respectent, mais rien n'oblige les autres à le faire. Une page confidentielle se protège par un mot de passe.

Les directives à connaître

Google lit 4 champs : User-agent, Allow, Disallow et Sitemap. Les autres, comme crawl-delay, n'ont aucun effet sur lui.

DirectiveRôleExemple
User-agentDésigne le robot visé par le groupe de règlesUser-agent: Googlebot
DisallowInterdit l'exploration des adresses qui commencent par ce cheminDisallow: /admin/
AllowRouvre un chemin dans une zone interditeAllow: /admin/aide/
SitemapDonne l'adresse complète du plan de siteSitemap: https://www.votre-site.fr/sitemap.xml
*Remplace n'importe quelle suite de caractèresDisallow: /*?tri=
$Marque la fin de l'adresseDisallow: /*.pdf$

Robots.txt SEO : pourquoi le fichier compte pour Google et pour l'IA

Sur un grand site, Google consacre un temps limité à l'exploration. Si ses robots perdent ce temps sur des pages de filtres, de tri ou de recherche interne, vos pages utiles attendent. Un robots.txt propre oriente l'exploration vers les contenus qui comptent.

Le fichier joue aussi sur le rendu. Googlebot charge vos CSS et votre JavaScript pour voir la page comme un visiteur. S'il ne peut pas les lire, il évalue une page incomplète.

Le code que renvoie l'adresse /robots.txt compte autant que son contenu. Une erreur 404 veut dire « pas de fichier » : tout est ouvert. Une erreur du serveur est plus grave : Google arrête d'explorer le site pendant 12 heures, puis s'appuie sur la dernière version qu'il connaît, pendant 30 jours au plus.

Côté IA, le robots.txt devient votre premier outil de contrôle. Les moteurs de réponse envoient des robots pour trouver et citer des sources. Les éditeurs de modèles en envoient d'autres pour collecter des données d'entraînement. Vous pouvez traiter ces 2 usages séparément.

La syntaxe d'un robots txt, ligne par ligne

Un fichier se lit par groupes. Chaque groupe commence par une ou plusieurs lignes User-agent, puis liste ses règles. Un robot suit uniquement le groupe qui le nomme. S'il n'en trouve aucun, il suit le groupe « * ». Jamais les 2 à la fois.

# Règles pour tous les robots
User-agent: *
# Bloque l'espace client
Disallow: /compte/
# Bloque les pages de recherche interne
Disallow: /recherche
# Bloque les adresses avec un paramètre de tri
Disallow: /*?tri=
# Rouvre la page d'aide de l'espace client
Allow: /compte/aide/

# Groupe propre à GPTBot : il ignore donc le groupe *
User-agent: GPTBot
Disallow: /

# Adresse complète du plan de site
Sitemap: https://www.votre-site.fr/sitemap.xml

Ici, GPTBot a son propre groupe : il ignore donc les règles du groupe « * » et ne lit aucune page. Les autres robots, Googlebot compris, suivent le groupe « * ».

Quelques règles complètent la lecture :

  • Une règle vise le début du chemin : Disallow: /recherche bloque aussi /recherche?q=chaise et /recherches.
  • Quand 2 règles s'appliquent, Google retient la plus longue : Allow: /compte/aide/ l'emporte donc sur Disallow: /compte/. À égalité, Allow gagne.
  • Les chemins respectent la casse : /Blog/ et /blog/ restent 2 chemins distincts.
  • Une ligne Disallow: vide autorise tout pour son groupe.
  • Tout ce qui suit le signe # est un commentaire, et une ligne Sitemap vaut pour tous les robots, où qu'elle soit placée.
  • Google lit les 500 premiers Kio du fichier et ignore la suite.

Les robots IA : qui explore votre site et pourquoi

Les robots d'IA se rangent en 3 familles, et chaque éditeur leur donne un nom différent :

  • Les robots d'entraînement collectent des pages pour entraîner des modèles.
  • Les robots de recherche lisent vos pages pour les citer dans un moteur de réponse.
  • Les visites à la demande ouvrent une page quand un utilisateur le demande à l'IA.

Le testeur vérifie ces 11 robots :

RobotÉditeurUsage
GPTBotOpenAIEntraînement
OAI-SearchBotOpenAIRecherche
ChatGPT-UserOpenAIVisite à la demande
ClaudeBotAnthropicEntraînement
Claude-SearchBotAnthropicRecherche
Claude-UserAnthropicVisite à la demande
PerplexityBotPerplexityRecherche
Google-ExtendedGoogleEntraînement et réponses de Gemini
Applebot-ExtendedAppleEntraînement
Meta-ExternalAgentMetaEntraînement et indexation
CCBotCommon CrawlCorpus ouvert, souvent repris pour l'entraînement

Google-Extended et Applebot-Extended n'explorent rien eux-mêmes. Google et Apple lisent ces noms pour savoir si vos pages peuvent servir à leurs modèles d'IA. Les bloquer ne vous retire ni de la recherche Google ni des résultats d'Apple. Bloquer Google-Extended retire en revanche vos pages de certaines réponses de Gemini appuyées sur la recherche Google.

Être cité ou refuser l'entraînement : faire votre choix

Le testeur propose 4 politiques pour ces 11 robots :

  • Être cité, sans entraînement. Les robots de recherche et de visite à la demande restent autorisés. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, Meta-ExternalAgent et CCBot sont bloqués.
  • Tout autoriser. Vos pages peuvent être citées et servir à l'entraînement. Un robot d'IA n'y lit jamais plus que Googlebot.
  • Tout bloquer. Vous refusez l'entraînement, mais vous sortez aussi des réponses qui citent leurs sources.
  • Garder mes règles. L'accès des robots d'IA ne change pas, et le test vérifie les erreurs de votre fichier.

Restez prudent sur un point. Les éditeurs ajoutent, renomment ou retirent leurs robots. Certaines visites à la demande suivent aussi des règles particulières : OpenAI précise que le robots.txt peut ne pas s'appliquer à ChatGPT-User, et Perplexity indique que Perplexity-User l'ignore en général. Vérifiez la documentation de chaque éditeur avant de publier votre fichier.

Tester robots.txt en 5 étapes

  1. Ouvrez le fichier en ligne. Tapez l'adresse de votre domaine suivie de /robots.txt. Vous devez voir du texte brut, sans chaîne de redirections : après 5 redirections, Google fait comme s'il n'y avait pas de fichier.
  2. Vérifiez le code HTTP et la taille. Pour Google, un code 404 signifie qu'aucune règle ne s'applique. Une erreur 5xx le pousse à suspendre l'exploration. Google lit aussi seulement les 500 premiers Kio du fichier.
  3. Relisez chaque groupe. Repérez les règles placées avant tout User-agent, car les robots les ignorent. Cherchez aussi les directives que Google ne lit pas, comme crawl-delay ou noindex.
  4. Testez vos adresses clés. Choisissez votre page d'accueil, vos offres, vos articles et vos fichiers CSS et JavaScript. Vérifiez pour chacun si Googlebot, Bingbot et les robots d'IA y accèdent.
  5. Comparez avec votre politique IA. Listez les robots d'IA autorisés et bloqués. Si le fichier ne reflète pas votre choix, corrigez-le, publiez-le, puis relancez le test. Google garde le fichier en cache, en général jusqu'à 24 heures : la correction prend effet à sa prochaine lecture.

Les erreurs fréquentes dans un fichier robots.txt

Bloquer tout le site

La ligne Disallow: / sous User-agent: * ferme tout le site. Elle reste souvent après une mise en ligne depuis un serveur de test. Relisez votre fichier après chaque migration.

Bloquer les CSS et le JavaScript

Des règles comme Disallow: /assets/ ou Disallow: /*.js$ cachent vos ressources à Googlebot. Il voit alors une page incomplète. Laissez ces fichiers accessibles.

Mettre noindex dans le robots.txt

Google ne lit pas la ligne Noindex dans le robots.txt. Placez cette consigne dans une balise meta robots ou dans l'en-tête HTTP X-Robots-Tag, et laissez la page ouverte aux robots pour qu'ils la voient.

Écrire le sitemap en adresse relative

La ligne Sitemap: /sitemap.xml ne fonctionne pas pour Google. Écrivez l'adresse complète, avec le protocole et le domaine.

Utiliser crawl-delay pour Google

Google ignore crawl-delay, mais Bing en tient compte : gardez la ligne si vous en avez besoin pour lui. Si Googlebot surcharge votre serveur, Google conseille de renvoyer un code 500, 503 ou 429 pendant quelques heures, 1 à 2 jours au plus.

Oublier la version avec ou sans www

Les adresses votre-site.fr et www.votre-site.fr sont 2 hôtes distincts. Chacun lit son propre robots.txt. Redirigez une version vers l'autre et testez le fichier de la version finale : le testeur compare aussi les 2 fichiers.

Exemple avant et après : le robots.txt de Verdano

Verdano est une entreprise inventée pour cet exemple : elle vend du mobilier de bureau aux entreprises. Son équipe veut être citée par les moteurs de réponse, mais refuse l'entraînement.

Le fichier avant

Disallow: /recherche/

User-agent: *
Disallow: /admin/
Disallow: /assets/
Crawl-delay: 10
Noindex: /merci/

User-agent: GPTBot
Disallow: /

Sitemap: /sitemap.xml

Le test relève 5 problèmes, et le tableau des robots d'IA montre un 6e point :

  • Ligne 1 : la règle est placée hors de tout groupe, donc les robots l'ignorent.
  • Ligne 5 : la page d'accueil charge ses fichiers CSS et JavaScript depuis /assets/, et cette règle les bloque pour Googlebot.
  • Ligne 6 : Google ignore Crawl-delay, mais Bing le lit.
  • Ligne 7 : Google ignore Noindex.
  • Ligne 12 : le sitemap utilise une adresse relative.
  • Robots d'IA : seul GPTBot est bloqué, alors ClaudeBot, Google-Extended, Applebot-Extended, Meta-ExternalAgent et CCBot peuvent toujours collecter.

Le fichier recommandé

Avec le choix « Être cité, sans entraînement », le testeur écrit ce fichier :

# Disallow: /recherche/ (hors de tout groupe User-agent : les robots l'ignorent)

User-agent: *
Disallow: /admin/
Disallow: /assets/
Crawl-delay: 10
# Noindex: /merci/ (ignorée par Google : utilisez la balise meta robots ou l'en-tête X-Robots-Tag)

User-agent: GPTBot
Disallow: /

# Robots d'IA : entraînement refusé, recherche et visites à la demande autorisées
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
Disallow: /

Sitemap: https://www.verdano.example/sitemap.xml

Les 5 robots d'entraînement qui lisaient encore le site rejoignent un groupe qui leur ferme tout, et GPTBot garde le sien. Les robots de recherche et de visite à la demande suivent toujours le groupe « * ». La règle hors groupe et la ligne Noindex deviennent des commentaires qui disent pourquoi, et le sitemap passe en adresse complète. Crawl-delay reste en place pour Bing.

Le fichier recommandé ne change jamais ce que Googlebot peut lire : la ligne sur /assets/ reste donc, signalée dans les problèmes. Verdano la retire elle-même après avoir vérifié que ce dossier ne contient rien de privé, remonte la règle sur /recherche/ dans le groupe « * » si elle veut l'appliquer, et place une balise meta robots noindex sur sa page /merci/.

Robots.txt, balise meta robots et fichier llms.txt : les différences

CritèreRobots.txtBalise meta robotsFichier llms.txt
EmplacementRacine de chaque hôteCode HTML de chaque page, ou en-tête X-Robots-TagRacine du site
RôleAutoriser ou interdire l'explorationAutoriser ou interdire l'indexationPrésenter vos contenus clés aux IA
PortéeTout le site, par cheminUne seule pageTout le site
Retire une page de l'indexNonOui, avec noindexNon
StatutNorme RFC 9309Reconnue par les grands moteursProposition, sans norme officielle

Les 3 se complètent. Attention quand même : si le robots.txt bloque une page, le robot ne lit jamais sa balise meta robots.

Comment fonctionne notre testeur de robots.txt gratuit

  1. Entrez l'adresse de votre site. Ajoutez jusqu'à 10 adresses à tester, comme vos pages clés, un fichier CSS ou une page que vous voulez fermer.
  2. Choisissez votre politique pour les robots d'IA. Être cité sans entraînement, tout autoriser, tout bloquer ou garder vos règles.
  3. Lisez le diagnostic. L'outil suit les redirections, vérifie le code HTTP, la taille et l'encodage du fichier, puis relève chaque problème avec son numéro de ligne. Il teste chaque adresse pour Googlebot, Bingbot et les 11 robots d'IA, avec la règle qui décide. Un tableau montre les robots d'IA autorisés ou bloqués, aujourd'hui et avec le fichier recommandé.
  4. Récupérez le robots.txt recommandé. L'outil part de votre fichier et signale les lignes modifiées. Copiez-le ou téléchargez-le, relisez-le, puis publiez-le sur votre serveur.

Le fichier recommandé suit 3 règles :

  • Ce que Googlebot peut lire ne change jamais. Une règle qui bloque vos pages ou vos fichiers CSS est signalée, et c'est vous qui la corrigez.
  • Un robot d'IA à autoriser ne lit jamais plus que Googlebot. Il reçoit les règles que suit Googlebot : le groupe « * » quand Googlebot le suit, sinon une copie du groupe de Googlebot. Si Googlebot lui-même ne peut pas lire le site, comme sur une préproduction, les robots d'IA restent tels quels et la page vous dit pourquoi.
  • Crawl-delay reste en place pour Bing. Noindex et host deviennent des commentaires qui disent pourquoi, le sitemap passe en adresse complète, et une faute de frappe que Google lit quand même est corrigée : la règle vaut alors pour tous les robots.

L'outil calcule tout à partir des règles de Google, et aucune IA n'invente le résultat : le même fichier donne toujours le même diagnostic. Il est gratuit et sans inscription.

Ce que l'outil ne fait pas

  • Il ne modifie pas votre serveur : vous publiez vous-même le fichier.
  • Il ne garantit pas que tous les robots respectent le fichier.
  • Il teste 10 adresses au plus par analyse, en plus de la page entrée.
  • Il ne propose pas de fichier quand votre robots.txt répond par une erreur du serveur : corrigez d'abord l'erreur, puis relancez le test.

Nos autres outils gratuits

  • Le générateur de llms.txt crée le fichier qui présente vos contenus clés aux IA.
  • L'audit GEO mesure votre visibilité dans les réponses des IA, face à vos concurrents.
  • L'audit SEO gratuit note votre site sur 100 et repère ce qui freine vos pages dans Google.

Après le test : des pages que les moteurs de réponse citent

Ouvrir la porte aux robots ne suffit pas : ils citent les pages qui répondent clairement aux questions de vos clients. Mark AI écrit vos articles, pages et fiches produit dans le ton de votre marque, avec des réponses directes, et votre équipe valide avant publication.

Comment appliquer ces conseils dès aujourd'hui

  1. Ouvrez votre robots.txt sur la version avec www et sur la version sans www.
  2. Fixez votre politique IA avec vos équipes marketing, SEO et juridique.
  3. Lancez le testeur sur vos 10 adresses les plus importantes.
  4. Publiez le fichier recommandé après avoir relu les lignes modifiées, puis relancez un test pour le valider.
  5. Prévoyez un contrôle après chaque migration, refonte ou changement de serveur.

Questions fréquentes sur le robots.txt

Qu'est-ce qu'un fichier robots.txt ?

C'est un fichier texte, placé à la racine de votre site, qui indique aux robots les pages qu'ils peuvent explorer. Il suit la norme RFC 9309, et les robots des grands moteurs le lisent avant d'explorer votre site.

Où se trouve le robots.txt ?

Il se trouve à la racine de chaque hôte, par exemple https://www.votre-site.fr/robots.txt. Chaque sous-domaine a son propre fichier, comme chaque version avec ou sans www. Un fichier placé dans un sous-dossier n'a aucun effet.

Comment tester son robots.txt ?

Ouvrez le fichier dans votre navigateur et vérifiez qu'il s'affiche en texte brut. Testez ensuite vos adresses clés pour chaque robot. Notre testeur gratuit fait ces vérifications pour 10 adresses en une seule analyse, avec le numéro de ligne de chaque problème.

Comment bloquer GPTBot ?

Ajoutez un groupe User-agent: GPTBot suivi de Disallow: /. GPTBot sert à l'entraînement chez OpenAI. Ce blocage ne touche pas OAI-SearchBot, qui sert à la recherche.

Faut-il bloquer les robots d'IA ?

Tout dépend de votre objectif. Si vous voulez être cité, laissez passer les robots de recherche et de visite à la demande. Si vous refusez l'entraînement, bloquez les robots d'entraînement, en sachant que bloquer Google-Extended retire aussi vos pages de certaines réponses de Gemini.

Le robots.txt empêche-t-il l'indexation ?

Non, il bloque seulement l'exploration. Google peut indexer une adresse bloquée si d'autres sites pointent vers elle. Pour retirer une page, utilisez une balise meta robots noindex et laissez la page ouverte aux robots.

Le testeur robots.txt est-il gratuit ?

Oui, l'outil est gratuit et ne demande aucune inscription. Vous entrez votre adresse et vous obtenez le diagnostic. Vous copiez ou téléchargez ensuite le fichier recommandé.

Gardez la main sur vos robots

Un robots.txt propre guide Google vers vos pages utiles et applique votre choix face aux robots d'IA. Quelques lignes suffisent, à condition de les tester.

Tester mon robots.txt