Crawl budget 2026 : optimiser ce que Google peut crawler
Sites > 10k pages : Google ne crawle pas tout. Le crawl budget devient un goulot d'étranglement SEO.
Les 4 leviers d'optimisation
1. Robots.txt précis
Bloquer /search, /filter, /admin, /api. Pas de wildcard Disallow: *.
2. Pagination propre
rel="next"/"prev" ou pages canoniques. Pas d'URLs infinies.
3. Suppression contenu zombie
Pages 0 visite + 0 backlink depuis 12 mois → 410 Gone (pas 301).
4. Internal linking ciblé
Plus une page reçoit de liens internes, plus elle est crawlée.
Mesure GSC
Settings → Crawl stats → "Requests by purpose". Si > 30% en "Refresh" sur pages mortes = problème.
Cas concret
E-commerce 80k SKU : nettoyage 12k pages zombies → +47% nouvelles pages indexées en 90 jours.
Partager