Le crawl budget fascine — et génère beaucoup de mythes. Sur un site de quelques centaines à quelques milliers de pages, Google a généralement assez de ressources pour tout explorer… sauf quand le site lui-même multiplie les URLs inutiles. Dans ce cas, Googlebot passe du temps sur des filtres, des archives ou des doublons, et vos pages stratégiques attendent. Voici comment nous diagnostiquons et corrigeons le crawl sur les sites moyens que nous auditons en France.

Crawl budget : utile dès quel volume ?

Google communique surtout sur le crawl budget pour les très gros sites. En pratique, dès 300 à 500 URLs indexables avec une architecture e-commerce ou un CMS qui génère des paramètres, les symptômes apparaissent : nouvelles pages indexées en 3 à 6 semaines, actualisations lentes, pages money crawlées moins souvent que des pages tags. Ce n'est pas forcément un « manque de budget » absolu — c'est une mauvaise allocation. L'objectif n'est pas d'augmenter artificiellement le crawl, c'est de le concentrer là où il crée de la valeur.

Deux leviers distincts existent : le crawl rate limit (capacité / charge serveur) et le crawl demand (envie de Google de revenir). Sur un site moyen bien hébergé, le rate limit est rarement le problème. Le demand, lui, dépend de la popularité, de la fraîcheur utile et de la qualité perçue des URLs.

Les gaspillages les plus fréquents

Sur nos audits Screaming Frog + Search Console, quatre patterns reviennent sans cesse. Les facettes et tris de catalogue qui créent des milliers de combinaisons indexables. Les paramètres de tracking ou de session encore crawlables. Les pages à contenu mince (tags blogs, archives par date, résultats de recherche interne). Et les chaînes de redirections ou soft 404 qui font perdre des hits de crawl sans bénéfice. Chacun de ces problèmes peut absorber 20 à 40 % de l'exploration observée dans les logs ou dans l'inspection d'URL.

La correction n'est pas toujours un noindex massif. Parfois c'est un robots.txt ciblé, parfois des canonicals, parfois la suppression pure des liens internes vers ces URLs. L'important est la cohérence : si vous noindexez une facette mais que 200 liens internes pointent encore vers elle, Google continuera à la découvrir.

Exemple concret

Distributeur B2B : 62 % du crawl sur des URLs inutiles

Un site catalogue B2B (~1 800 URLs) en région Hauts-de-France voyait ses nouvelles fiches produit indexées en 4 à 7 semaines. Analyse des logs sur 30 jours : 62 % des hits Googlebot concernaient des URLs à paramètres (tri, pagination croisée, filtres marque×catégorie). Nous avons bloqué les paramètres non essentiels, consolidé les canonicals, nettoyé le sitemap (de 2 400 à 1 150 URLs) et renforcé le maillage depuis les catégories vers les nouveautés. En huit semaines, le délai médian d'indexation des nouvelles fiches est passé sous 10 jours, et le trafic organique produit a augmenté de 23 % sans création de contenu supplémentaire.

Sitemap, maillage et signaux de priorité

Le sitemap XML n'impose pas l'indexation, mais il reste un signal de priorité et un outil de pilotage. Il doit lister uniquement les URLs canoniques que vous voulez voir explorer et indexer. Couplé à un maillage interne qui place les pages stratégiques à moins de trois clics de l'accueil, il oriente clairement Googlebot. À l'inverse, un sitemap gonflé d'URLs en 404, redirigées ou canonicalisées vers ailleurs envoie un message de faible qualité de maintenance — et dilue l'attention du robot.

Surveillez dans Search Console les rapports « Pages » et « Sitemaps », ainsi que la fréquence de crawl des URL Inspection sur vos pages money. Si une page service phare n'est revisitée que tous les 30 jours alors que des tags blog le sont chaque semaine, votre architecture parle plus fort que votre intention business. Notre article sur l'audit technique SEO détaille la checklist complète.

Attention

Ce qu'il ne faut pas faire

Évitez les « hacks » contre-productifs :

  • Multiplier les ping ou soumissions manuelles obsessives : inutile si l'architecture reste sale.
  • Baisser artificiellement la qualité d'hébergement pour « forcer » Google — le crawl rate limit baissera, ce n'est pas un levier.
  • Noindex massif sans analyse : vous pouvez cacher des pages qui convertissent encore.

Méthode Semsew sur un site moyen

Notre processus tient en quatre étapes. Cartographier les URLs crawlées (logs si disponibles, sinon crawl + GSC). Classer chaque type d'URL : money, support, thin, toxique. Appliquer une politique claire (index, noindex, robots, canonical, suppression de liens). Mesurer pendant 4 à 8 semaines le rythme d'exploration des pages prioritaires. Sur un site de taille moyenne, ce chantier dure souvent une à trois semaines de corrections, puis un mois d'observation. Les gains apparaissent d'abord dans la fraîcheur d'indexation, puis dans le trafic des pages nouvellement mieux exposées.

Pour aller plus loin sur le diagnostic robot, l'analyse de logs SEO reste l'outil le plus honnête — elle montre ce que Googlebot fait vraiment, pas seulement ce que votre CMS expose.

Questions fréquentes

Mon site a 400 pages : dois-je m'inquiéter du crawl budget ?
Oui si vous avez beaucoup de paramètres, de facettes ou de contenu mince. Non si votre architecture est propre et que vos pages stratégiques sont crawlées et mises à jour régulièrement. Le volume seul ne suffit pas à diagnostiquer.
Le fichier robots.txt augmente-t-il mon crawl budget ?
Il ne l'augmente pas magiquement. En revanche, bien utilisé, il empêche Googlebot de gaspiller des hits sur des zones inutiles, ce qui libère de l'exploration pour les URLs importantes.
Faut-il mettre lastmod dans le sitemap ?
Oui, à condition qu'il soit honnête. Un lastmod mis à jour à chaque déploiement sans changement de contenu perd toute crédibilité. Réservez-le aux vraies modifications utiles.
Combien de temps pour voir un effet après nettoyage ?
Souvent 3 à 8 semaines selon la taille du site et la fréquence de crawl historique. Les premiers signaux apparaissent dans Search Console (couverture, inspection d'URL) avant le trafic.

Sur un site moyen, optimiser le crawl budget, c'est surtout arrêter de nourrir Googlebot avec du bruit. Nettoyez les paramètres, soignez sitemap et canonicals, mailllez vos pages money, puis mesurez. Vous n'avez pas besoin d'un site de un million de pages pour perdre de l'exploration — un catalogue mal paramétré y suffit largement.