robots.txt : guide complet et erreurs à éviter en 2026

robots.txt : guide complet et erreurs à éviter en 2026

Le fichier robots.txt est un fichier texte placé à la racine d'un site (https://exemple.com/robots.txt) qui indique aux robots d'indexation (Googlebot, Bingbot, GPTBot, etc.) quelles URLs ils peuvent ou non explorer. C'est le premier fichier que tout robot SEO consulte avant de crawler.

À quoi sert vraiment robots.txt

• Empêcher le crawl de pages inutiles (admin, panier, paramètres infinis).
• Économiser le crawl budget sur les gros sites (10 000+ URLs).
• Bloquer les bots indésirables (scrapers, IA non autorisées).
• Indiquer la localisation du sitemap.xml.

À quoi robots.txt NE SERT PAS

• Ce n'est pas un outil de désindexation — Bloquer dans robots.txt empêche le crawl mais pas l'indexation. Pour désindexer, utilisez noindex dans la balise meta robots.
• Ce n'est pas un outil de sécurité — N'importe qui peut lire votre robots.txt. Ne mettez jamais des chemins sensibles.

Syntaxe de base

User-agent: *
Disallow: /admin/
Disallow: /panier
Disallow: /*?utm_*

Allow: /admin/public/

Sitemap: https://www.exemple.com/sitemap.xml

• User-agent: * = règle pour tous les bots.
• Disallow: = bloque l'URL.
• Allow: = autorise (utile pour faire une exception dans un Disallow).
• Sitemap: = indique le sitemap (1 ou plusieurs lignes).

Les User-agents critiques à connaître en 2026

• Googlebot — Google.
• Googlebot-Image — Google Images.
• Bingbot — Microsoft Bing.
• GPTBot — OpenAI (entraînement ChatGPT).
• ClaudeBot / anthropic-ai — Anthropic Claude.
• Google-Extended — Google AI (Gemini).
• PerplexityBot — Perplexity.
• CCBot — Common Crawl (utilisé par beaucoup de LLM).

Bloquer les bots IA : faut-il le faire en 2026 ?

Non pour la majorité des sites. Les LLM (ChatGPT, Perplexity, Claude) sont devenus une source de trafic — bloquer = se rendre invisible en GEO.

Oui si :

• Vous êtes un média payant qui veut négocier (NYT, Le Monde).
• Vous publiez du contenu propriétaire à forte valeur (rapports, études).
• Vous êtes un site juridique/médical avec contenu sensible.

Syntaxe pour bloquer GPTBot :

User-agent: GPTBot
Disallow: /

Les 7 erreurs fatales à éviter

1. Disallow: / en production — Vous bloquez TOUT votre site. Catastrophe garantie (vu sur des sites en refonte).
2. Bloquer le CSS/JS — Google a besoin de les crawler pour comprendre le rendu. Disallow: /css/ = pénalité Mobile-Friendly.
3. Utiliser robots.txt pour désindexer — Inefficace, utilisez noindex.
4. Mettre des URLs sensibles — /admin, /secret sont publics, c'est un signal pour les hackers.
5. Oublier la ligne Sitemap — Pas critique mais facilite la découverte.
6. Syntaxe cassée — Une majuscule mal placée, un espace en trop, et le fichier est ignoré.
7. robots.txt > 500 Ko — Google tronque les fichiers trop gros.

Comment tester votre robots.txt

• Google Search Console > Anciens outils > Testeur robots.txt (toujours dispo).
• Inspection URL : permet de voir si une URL est bloquée.
• httpstatus.io : pour vérifier l'accessibilité du fichier.
• curl https://exemple.com/robots.txt : check rapide.

Notre robots.txt sur next-generation.dev

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /funnel/
Disallow: /*?utm_*

User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /

Sitemap: https://www.next-generation.dev/sitemap.xml

Nous autorisons explicitement tous les bots IA — c'est notre source de trafic n°2 après Google.

Le bon réflexe

Vérifiez votre robots.txt après chaque refonte ou migration. Un Disallow: / oublié peut détruire 6 mois de SEO en 48h.