推奨事項:価値の高いページを優先し、価値の低いURLへのクローラーアクセスを制限してクロールバジェットを管理し、不可欠なコンテンツのみを表示するようにXMLサイトマップを設定します。大規模なウェブサイト、特に数十万または数百万のURLを持つウェブサイトでは、Googlebotは限られたサブセットしかクロールできません。クロールバジェットは、どのURLが検出され、クロールされ、潜在的にインデックスされるか、またどのURLが無視されるかを決定します。クロールバジェットの管理は、Googleに強制的に多くのページをクロールさせることではありません。限られたクロールリソースを、可視性、トラフィック、ビジネス価値を高めるページに向けることです。クロールバジェットが実際に意味すること クロールバジェットは、Googlebotがサイトに対して行うことを許可され、行うことができるリクエストの数を反映しています...