Définition
Le crawl budget dépend de deux facteurs : le crawl rate limit (charge tolérée par le serveur) et le crawl demand (intérêt de Google pour le site, basé sur popularité et fraîcheur). Le gaspiller sur des pages inutiles (paramètres, facettes e-commerce, pagination infinie) retarde l'indexation des pages business.
Leviers d'optimisation : robots.txt strict, gestion des paramètres dans GSC, canonicals propres, sitemap segmenté, suppression des soft 404, latence serveur sous 200 ms.
Pourquoi ça compte
- Sur les gros sites, le crawl budget mal géré = pages business jamais indexées.
- Audit logs serveur = méthode reine pour diagnostiquer.
- Optimisation invisible mais souvent l'unique blocage SEO réel.
Termes liés
Indexation
Processus par lequel Google ajoute une page à son index (la base de données interrogée pour servir les résultats). Sans indexation, aucun ranking possible.
Rendering (rendu côté client vs serveur)
Façon dont une page est construite avant d'être servie au navigateur : CSR (client-side), SSR (server-side), SSG (static generation), ISR (incremental static regeneration), pré-rendu.