Googleは米国現地時間11月24日、Google Search Consoleにおける以前からの機能であるクロール頻度の設定ツールの提供を2024年1月8日をもって提供を終了する旨、検索セントラルブログにて発表しました。既に日本語版も出ておりますのでご紹介だけしておきます。
どういう内容？
Webサイト管理者にとって、サーバの設定や容量の問題等によってはGooglebotに頻繁に来てほしくないケース(逆のケースはほとんどない)がありました。そんな時、Googlebotに来てもらう頻度を調整できることができたのです。今ですと、Google Search Consoleにある[以前のツールとレポート]項目内の[詳細]から[クロール頻度の設定]というツールで確認できます。これによって、サイトに対するGooglebotのクロール頻度を調整(多くの場合は抑制するケースで利用)できました。実際に推奨される使用方法は「Googleによるクロールリクエストでサイトが過負荷になっている場合にのみ使用」とされていました。
しかし、もうGooglebotはサーバへ負荷になっていると判断した場合はクロール頻度が自動的に下がるようになっていますし、このクロール頻度の設定ツールの利用者も少なく、そこまで有用ではないと判断し、この度廃止(2024年1月8日まで)することを決めたとのことです。
引用）検索セントラルブログより一部
実際には既にサーバ状況に合わせてクロール頻度を自動調整していますので、今回のこのツールが廃止されても、従来設定されていた内容は引き継ぐとのことですし、結果的にサーバーを逼迫していたり、検索者に有用でないと判断すれば結果的にクロール頻度は引き継ぐことになるでしょう、とGoogleは言っています。
検索利用されたければクロールされてナンボ
そもそも、Google検索にひっかけたくなければ、robots.txtで制御すれば良いでしょうし、今のこの時代、Googlebotの頻繁なアクセスに困るようなサーバを利用しているWebサイトもほぼ存在しないのではないでしょうか。
むしろクロールが頻繁に来るWebサイトは、新鮮で、常時最新情報があり、wwwにおいて見つかりやすく、リンクも多く受けており、アクセシビリティ性も高い、等の裏返しなので、良質なWebサイトである証ですよね。私も、取引先が大型のサイトやDB系サイト(データベース系サイト：人材案件、不動産物件、EC等の商材を数多くデータベースとして保有するサイトのことを指します。私は今まで案件系サイトと言っていました)の場合は、サーバからGooglebotのクロール情報を取得し、またSearch Consoleのページ単位でも確認し、俯瞰的なレポートとしてご提出するようにしています。サイトページのクロール率を上げたり、クロール頻度を気にすることはSEO上重要な視点なのです。
ですので、敢えてクロール頻度を下げるようなことをする必要もなく、また今回のクロール頻度の設定ツールを使う必要も無い、という話ですね。まぁ、そもそも使用している人も少ないと思いますので、本件は参考情報程度で捉えてください。
