Aller au contenu principal
    Blog
    SEO & Référencement6 juin 20266 min

    robots.txt : guide complet et erreurs à éviter en 2026

    robots.txt 2026 : syntaxe, user-agents IA (GPTBot, ClaudeBot, PerplexityBot), faut-il les bloquer, 7 erreurs fatales avec exemple Next Generation.

    MB

    Meymoun Boualaoui

    Président · DG · CTO, Fondateur

    robots.txt : guide complet et erreurs à éviter en 2026

    Le fichier robots.txt est un fichier texte placé à la racine d'un site (https://exemple.com/robots.txt) qui indique aux robots d'indexation (Googlebot, Bingbot, GPTBot, etc.) quelles URLs ils peuvent ou non explorer. C'est le premier fichier que tout robot SEO consulte avant de crawler.

    À quoi sert vraiment robots.txt

    • Empêcher le crawl de pages inutiles (admin, panier, paramètres infinis).
    • Économiser le crawl budget sur les gros sites (10 000+ URLs).
    • Bloquer les bots indésirables (scrapers, IA non autorisées).
    • Indiquer la localisation du sitemap.xml.

    À quoi robots.txt NE SERT PAS

    • Ce n'est pas un outil de désindexation : Bloquer dans robots.txt empêche le crawl mais pas l'indexation. Pour désindexer, utilisez noindex dans la balise meta robots.
    • Ce n'est pas un outil de sécurité : N'importe qui peut lire votre robots.txt. Ne mettez jamais des chemins sensibles.

    Syntaxe de base

    User-agent: *
    Disallow: /admin/
    Disallow: /panier
    Disallow: /*?utm_*
    
    Allow: /admin/public/
    
    Sitemap: https://www.exemple.com/sitemap.xml
    • User-agent: * = règle pour tous les bots.
    • Disallow: = bloque l'URL.
    • Allow: = autorise (utile pour faire une exception dans un Disallow).
    • Sitemap: = indique le sitemap (1 ou plusieurs lignes).

    Les User-agents critiques à connaître en 2026

    • Googlebot : Google.
    • Googlebot-Image : Google Images.
    • Bingbot : Microsoft Bing.
    • GPTBot : OpenAI (entraînement ChatGPT).
    • ClaudeBot / anthropic-ai : Anthropic Claude.
    • Google-Extended : Google AI (Gemini).
    • PerplexityBot : Perplexity.
    • CCBot : Common Crawl (utilisé par beaucoup de LLM).

    Bloquer les bots IA : faut-il le faire en 2026 ?

    Non pour la majorité des sites. Les LLM (ChatGPT, Perplexity, Claude) sont devenus une source de trafic, bloquer = se rendre invisible en GEO.

    Oui si :

    • Vous êtes un média payant qui veut négocier (NYT, Le Monde).
    • Vous publiez du contenu propriétaire à forte valeur (rapports, études).
    • Vous êtes un site juridique/médical avec contenu sensible.

    Syntaxe pour bloquer GPTBot :

    User-agent: GPTBot
    Disallow: /

    Les 7 erreurs fatales à éviter

    1. Disallow: / en production : Vous bloquez TOUT votre site. Catastrophe garantie (vu sur des sites en refonte).
    2. Bloquer le CSS/JS : Google a besoin de les crawler pour comprendre le rendu. Disallow: /css/ = pénalité Mobile-Friendly.
    3. Utiliser robots.txt pour désindexer : Inefficace, utilisez noindex.
    4. Mettre des URLs sensibles : /admin, /secret sont publics, c'est un signal pour les hackers.
    5. Oublier la ligne Sitemap : Pas critique mais facilite la découverte.
    6. Syntaxe cassée : Une majuscule mal placée, un espace en trop, et le fichier est ignoré.
    7. robots.txt > 500 Ko : Google tronque les fichiers trop gros.

    Comment tester votre robots.txt

    • Google Search Console > Anciens outils > Testeur robots.txt (toujours dispo).
    • Inspection URL : permet de voir si une URL est bloquée.
    • httpstatus.io : pour vérifier l'accessibilité du fichier.
    • curl https://exemple.com/robots.txt : check rapide.

    Notre robots.txt sur next-generation.dev

    User-agent: *
    Allow: /
    Disallow: /admin/
    Disallow: /funnel/
    Disallow: /*?utm_*
    
    User-agent: GPTBot
    Allow: /
    User-agent: ClaudeBot
    Allow: /
    User-agent: PerplexityBot
    Allow: /
    
    Sitemap: https://www.next-generation.dev/sitemap.xml

    Nous autorisons explicitement tous les bots IA, c'est notre source de trafic n°2 après Google.

    Le bon réflexe

    Vérifiez votre robots.txt après chaque refonte ou migration. Un Disallow: / oublié peut détruire 6 mois de SEO en 48h.

    Partager

    Questions fréquentes

    MB

    Écrit par

    Meymoun Boualaoui

    Président · DG · CTO, Fondateur

    Fondateur de Next Generation. Dev full-stack, SEO technique et architecture web, il maîtrise toute la chaîne de production, de l'infra au contenu qui ranke. Direct, analytique, perfectionniste.

    Voir le profil & tous les articles
    Service lié

    Besoin d'un accompagnement en seo & référencement ?

    Vos concurrents passent devant vous sur Google ? Audit, contenu, fiche Google et liens : on travaille votre place mois après mois, et on vous montre d'où vient chaque demande.

    Besoin d'aide pour votre stratégie digitale ?

    Nos experts sont là pour transformer vos ambitions en résultats concrets.

    Audit gratuitPremier mois en testRéponse sous 24h ouvrées