Googleでは、米国現地時間11月1日、クロールバジェットに関するドキュメントを更新し、モバイル版とデスクトップ版で異なるファイルを仕様している場合、モバイル版においても、なにかしらのリンクがないとクローリングが遅れる旨を追記しました。
Added notice about links for large websites with differing mobile and desktop pages
What: Added a best practice about making sure all links are present on the mobile version to the crawl budget documentation.
Why: For large websites with separate HTML on mobile and desktop versions, the discovery of new pages can be slower if the mobile version does not include all the links that are present on the desktop version.
モバイル版とデスクトップ版で異なるページを持つ大規模サイトへのリンクに関する通知を追加
内容: クロールバジェットのドキュメントに、モバイル版にすべてのリンクが存在することを確認するベストプラクティスを追加しました。
理由: モバイル版とデスクトップ版で別のHTMLを使用している大規模サイトの場合、モバイル版にデスクトップ版にあるすべてのリンクが含まれていないと、新しいページの発見が遅くなる可能性があります。
どういうこと
まずは、Google Search Central内にあるクロール管理ドキュメントの英語バージョンで追記された箇所をご紹介します。
- モバイル版とデスクトップ版で別々のHTMLを使用している場合は、モバイル版にもデスクトップ版と同じリンク設置をするようにしてください。モバイル版に同じリンク設置ができない場合は、それらのリンクをサイトマップファイルに含めるようにしてください。Googleはモバイル版のページのみをインデックスするため、モバイル版に表示されるリンクを制限すると、新しいページの発見が遅くなる可能性があります。
引用）Google Search Centralより一部和訳
Googleは現在、完全なモバイルファーストインデックスですのでモバイルページをクローリングし、インデックスします。このモバイルページに関して、デスクトップ版でも同じHTMLファイルで展開している—いわゆるレスポンシブウェブデザインになっていれば問題ないのですが、デスクトップ版とモバイル版で別々のファイルでURL展開している場合は、モバイル版でも(他ページからのリンクやXMLサイトマップ等のリンクで)何かしらのリンクを辿って到達できるようにしてください、という話です。
そうしないとGoogleがモバイル版のファイル発見に時間がかかってしまったり、発見できなかったりするからですね。特に大規模サイト(何万～何十万以上のページから成るサイト)の場合は大量のインデックスが遅れてしまうことになってしまいます。
まぁ、そもそも以前のWebサイトではデスクトップ版でページ展開していた後にモバイル版も作成する際、モバイル専用のファイルやURLを作成し、モバイル版はモバイル版で簡易的なサイトとして運用していたケースが多くありました。その後、モバイルファーストインデックスになり、デスクトップ版ページのモバイル版としてページとして増やしていったのは良いのですが、ファイルやURLをデスクトップ版とは別物で展開しつつもリンク設置していないことがよくあったようです。
その名残のせいで、モバイル版のみのURLファイルにはリンクが無かったりしていて、Googlebotが発見に手間取ることがあるのだと思います。
モバイル版のURLファイルをデスクトップ版とは別で管理しているサイトオーナー様はお気を付けください。
