Googlebotの15MBの件

Googlebot は、HTML ファイルまたはサポートされているテキストベースのファイル内のコンテンツの最初の 15 MB をクロールできます。ファイルの最初の 15 MB を超えると、Googlebot はクロールを停止し、最初の 15 MB のコンテンツのみをインデックス登録の対象とします。

引用）Google検索セントラル

Googlebotと15MBの件

ここ数日、Googlebotに関する技術ドキュメントの更新について、多くのご質問をいただきました。つまり、Googlebotは特定のファイル種類を取得する際に、最初の15メガバイト(MB)しか“見ない”ことを文書化しました。このしきい値は今回新しく設定されたわけではなく、何年も前から存在するものです。デバッグの際に役立つかもしれないことと、めったに変更されないことから、ドキュメントに追加したにすぎません。
この制限は、Googlebotが最初にリクエストしたときに受け取ったバイト数(コンテンツ)にのみ適用され、ページ内で参照されたリソースには適用されません。例えば、https://example.com/puppies.htmlを開くと、ブラウザは最初にHTMLファイルをダウンロードし、そのバイト数に基づいて、JavaScriptや画像など、HTML内のURLで参照されているものに対してさらにリクエストを行うかもしれません。ブラウザ同様、Googlebotも同じことをします。
　

この15MBという制限は、どのような意味を持つのでしょうか？

おそらくそれ以上でもそれ以下でもなく、何の意味もないでしょう。インターネット上では、これより大きなサイズのページはほとんどありません。HTMLファイルのサイズの中央値は30キロバイト(kB)と、15MBの約500分の1なので、皆様がそのようなサイズのページを作ることはまずないでしょう。しかし、もし15MBを超えるHTMLページのオーナーなら、せめてインラインスクリプトとCSSダストを外部ファイルに移動するようにしてください。
　

15MBを超えたコンテンツはどうなるのですか？

最初の15MB以降のコンテンツは、Googlebotによるクロールが停止され、最初の15MBのみがインデックスされます。
　

15MBの制限はどのような種類のコンテンツに適用されますか？

15MBの制限は、Google検索でサポートされているファイル形式のコンテンツに適用され、Googlebot(スマートフォン版Googlebot、デスクトップ版Googlebot)が取得する際に利用されます。
　

Googlebotが画像や動画を見なくなるということですか？

いいえ。Googlebotは、HTML内でURLによって参照されているビデオや画像(例えば<img src=”https://example.com/images/puppy.jpg” alt=”cute puppy looking very disappointed” />など)に関して、別途同時並行して検知しています。
　

データURIはHTMLのファイルサイズを増加させますか？

はい。データURIはHTMLファイル内に存在するため、データURIを使用するとHTMLファイルサイズが増加します。
　

ページのサイズを調べるにはどうしたら良いですか？

いくつかの方法がありますが、最も簡単なのは、ブラウザとそのデベロッパーツールを使う方法です。通常通りページを読み込んでから、デベロッパーツールを起動し[ネットワーク]タブに切り替えてください。ページを再読み込みすると、ページを表示するためにブラウザが行った全てのリクエストが表示されるはずです。一番上のリクエストは、[サイズ]列にページのバイトサイズが表示されているものです。
例えば、Chromeのデベロッパーツールでは、このように表示され、サイズ欄には150kBと表示されます。

もっと自分で挑戦してみたい上級者の場合は、コマンドラインからcURLを使用することもできます。

　
他にもご質問がある場合は、TwitterやSearch Central Forumsでも受け付けています。また、ドキュメントについても詳細説明が必要とお感じであれば、ぜひ対象ページ自体のフィードバックからお知らせください。

引用）Search Central Blogより和訳