À quoi sert le fichier robots.txt ?

Il indique aux robots d'exploration (Googlebot, Bingbot, GPTBot…) quelles URLs ils peuvent ou ne peuvent pas crawler. Placé à la racine du domaine (votresite.com/robots.txt), c'est la première chose que regarde un crawler.

Faut-il bloquer ChatGPT et les autres IA ?

Non, pas si vous voulez être cité par ChatGPT, Perplexity, Claude. Les laisser crawler est la base d'une stratégie GEO. Sauf si votre contenu est confidentiel ou monétisable autrement.

Robots.txt remplace-t-il les balises noindex ?

Non. Disallow empêche le crawl mais Google peut quand même indexer l'URL si d'autres sites pointent dessus. Pour vraiment désindexer une page, utilisez dans le .

Où mettre le robots.txt sur un site Lovable / React ?

Dans le dossier public/ à la racine du projet. Vite et tous les frameworks modernes le copient automatiquement à la racine du build (votresite.com/robots.txt).

OUTIL SEO · CLIENT-SIDE

Générateur de robots.txt

Le robots.txt indique aux moteurs de recherche et aux IA quelles pages crawler. Cochez vos options, copiez le fichier, déposez-le à la racine de votre site. 100% gratuit, aucune donnée envoyée.

Règles

Autoriser tout le site (recommandé)Bloquer /admin/Bloquer /api/Bloquer /search (pages de résultats internes)Bloquer paramètres UTM / fbclid / gclid⚠️ Bloquer les IA (GPTBot, ChatGPT, Claude, Perplexity, Google-Extended)Bloquer scrapers SEO concurrents (Ahrefs, Semrush, MJ12)

URL de votre sitemap

FICHIER ROBOTS.TXT

# robots.txt — généré sur next-generation.dev/outils-gratuits/generateur-robots-txt

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /*?*utm_
Disallow: /*?*fbclid
Disallow: /*?*gclid

Sitemap: https://votre-site.com/sitemap.xml

À FAIRE ENSUITE

Déposez ce fichier à la racine de votre site (/robots.txt)
Vérifiez-le sur Google Search Console → "Outils robots.txt"
Soumettez votre sitemap.xml dans GSC pour accélérer le crawl

Questions fréquentes

À quoi sert le fichier robots.txt ?: Il indique aux robots d'exploration (Googlebot, Bingbot, GPTBot…) quelles URLs ils peuvent ou ne peuvent pas crawler. Placé à la racine du domaine (votresite.com/robots.txt), c'est la première chose que regarde un crawler.
Faut-il bloquer ChatGPT et les autres IA ?: Non, pas si vous voulez être cité par ChatGPT, Perplexity, Claude. Les laisser crawler est la base d'une stratégie GEO. Sauf si votre contenu est confidentiel ou monétisable autrement.
Robots.txt remplace-t-il les balises noindex ?: Non. Disallow empêche le crawl mais Google peut quand même indexer l'URL si d'autres sites pointent dessus. Pour vraiment désindexer une page, utilisez <meta name="robots" content="noindex"> dans le <head>.
Où mettre le robots.txt sur un site Lovable / React ?: Dans le dossier public/ à la racine du projet. Vite et tous les frameworks modernes le copient automatiquement à la racine du build (votresite.com/robots.txt).

Audit SEO complet sur votre URL ?

Title, meta, hiérarchie, canonical, schema, robots — 10 critères en 8 secondes.

Lancer l'audit SEO express