Recommandation : privilégiez les pages à forte valeur ajoutée, gérez votre budget de crawl en restreignant l'accès du crawler aux URL à faible valeur ajoutée, et configurez les sitemaps XML pour ne diffuser que le contenu essentiel. Sur les grands sites web—en particulier ceux comptant des centaines de milliers ou des millions d'URL—Googlebot ne peut crawler qu'un sous-ensemble limité. Le budget de crawl détermine quelles URL sont découvertes, crawlees et potentiellement indexées, et lesquelles...