クロールバジェットの話

Googleウェブマスター向け公式ブログでGoogleのクロールバジェットとは？という記事が上がっておりましたのでご紹介させていただきます。私はクロールバジェットのことを「クロール資産」とか呼んだりしていましたが、ここでは分かりやすく「クロールの割り当て」という訳され方をしています。

どんな感じでクロールをしているのか？

ウェブマスター向け公式ブログでは、ひとつのサイトに対するクローラーの割り当てがどれくらいなのか、どんな仕組みなのかを説明してくれています。実際には巷で「クロール頻度が多いほど検索順位が上がる」とか「クロールバジェットが下がることで、ファインダビリティが低下し検索順位が下がる」等の声もあがっていたため、誤解が無いようにGoogle側から改めて説明してくれているのだと思います。

実際には相当(何百万、何千万)なページ数のサイトでない限り、サイト運用者はクロールバジェットを気にする必要は無いとのことです。逆に大規模サイトやパラメータでURLを自動生成するようなサイトの場合は、インデックスの優先順位等も考慮してクロールバジェットを気を付ける必要はありそうです。

また、Googlebotは頻繁にクロールしすぎて当該サイトに負荷がかからない範疇で設計しているとのことです。その仕組みを“クロールレート”と呼び、クロールレートは当該サイトの同時アクセス可能数やサイトページの応答時間に合わせて、速度(≒頻度)を上げたり下げたりするようです(厳密には上限値をサイト毎に変えているということだと思います)。

クロールレートを調整したい場合はSearch Consoleヘルプに沿って、Search Console上で、下図のように制限をかけることが可能です。

ちなみに、Search Consoleで設定したクロールレートは90日間有効でその後は元に戻りますので、一時的な手段として捉えておいた方が良いと思います。また、ディレクトリ単位等でクロールレートを制限することは出来ません。あくまでもドメイン単位になります。

クロールの頻度と意思

クロールレートが上限値に達していなくても、新たにインデックスさせる必要がないサイト(更新されていないサイト)にはクロール頻度が下がるようです。

つまり、人気(アクセス数やサイテーション、リンク等様々な要素が絡んで“人気”としているはずです)や更新頻度、対象URL数の安定性、またサイト移転等による急激なURL変化等によってもクロール頻度は変動するようです。さらにクロールレートが当該サイト毎に異なるわけですので…クロールバジェットの多さがサイトとしての評価に比例するとは限らないということですね。

クロールの妨げ

EC等にありがちですが、元記事によりますと以下の場合はクロールレートやインデックス登録に悪影響が出る可能性が高そうです。

飽くまでも規模の大きなサイトが対象とのことですが、中小規模サイトでも上記のようなページURLが存在してしまうのは決して気持ち良いものではないですよね…。ファセットナビゲーション(簡単に言ってしまえば、条件絞り込みページ等)に関しては(canonicalやnoindex、disallow等を活かして)インデックス方針等を明確化しておく必要があります。

検索順位との因果関係

Googleはクロールが検索順位に影響するか否かの質問に対して、以下のように答えています。

これは私の個人意見ですが、SEO上のクローラビリティイメージとしましては「しっかりとクロールしやすいサイトであれば、Googleからのアルゴリズム評価も正当に受けやすい」と考えています。せっかく良い情報やコンテンツが書かれていても、クローラーの妨げ要因が多くあることで上手くGoogle側が認識できず、検索順位が上がるまで時間がかかってしまったりしたら勿体ないですからね。直接的に検索順位に影響しなくても、クローラーに分かりやすくサイト構造を設計しておくことは、その管理上も含めてそもそも必要だとは思います。

とにかくクロールバジェットそのものを意識しながらチューニングを行うよりも、サイト構造の設計やインデックス方針をしっかり決めて計画的に運用していければ、クロールバジェットは特に気にしなくて良いのではないかと私は考えています。