noindexディレクティブをrobots.txtに?

※ 2019年9月1日をもって、robots.txt内でnoindexディレクティブへのサポートは終了です。従ってnoindexはページhead内のmetaで記載するようにしてください。詳しくは「robots.txtのディレクティブとその代替について」参照。

当ブログにお問い合わせいただいたのですが、お問い合わせくださった方のご入力メールアドレスに不備があったようで、私からの回答メールが戻ってきてしまう状態でして…。ですので、(ちょうど面白い事案だったのでせっかくですのでご紹介も兼ねて)ここに記載することでご回答とさせていただければと思います。

山

ふわふわ

お問い合わせ内容

私が「noindexとrobots.txtの因果関係」において、robots.txt内でのnoindexディレクティブの記載について以下のように注意書きをしておりました。

※ 2017年現在、Googleはrobots.txt内でnoindexを書き込むことをサポートしなくなっています。いつ機能が無くなるかも分かりませんので、現在はrobots.txtにnoindexのシグナルを送ることは非推奨とお考えください。

この件に関しまして、そもそもrobots.txtにnoindexディレクティブの記載が出来ることを初めて知った上で、機能している、していないの根拠は何か?というお問い合わせでした。

“この内容を見る限り、以前は本当に機能していた方法ということでしょうか。また、2017年現在サポートしなくなっている、というのは何を根拠とされているのか気になりました。”

つまり、noindexディレクティブは、metaタグとHTTPレスポンスヘッダーの2つの方法以外にrobots.txtでの記載も(今でも)出来るのか、という内容です。このことについて私の見解をご回答申し上げたいと思います。

ふわふわ

回答内容として

まず私のブログでの記載に関しまして、結論から申し上げます。

もともと公式にrobots.txt内でのnoindexディレクティブはサポートされているわけではありませんでしたが、私も一旦記事で書いてしまったので、(2017年現在で今後どうなるかも分からないため)注意書きとして追記した次第です。これが正直なところでございます。

と言いますのも、Google Developersのrobots.txt仕様では、正式にサポートしている(というよりも明記している)ディレクティブは、以下3つです。

  • disallow
  • allow
  • sitemap

ですので、noindexに関しては正式にはサポートはされていないという解釈をしました。別の言い方をすれば、(たとえ今サポートされていても)いつサポートされなくなったところで文句は言えない、という解釈です。

しかし、「robots.txt ファイルに誤りがある場合や、サポートされていないディレクティブを使用した場合はどうなりますか?」という質問に関しては、以下のように記載されており、robots.txtは柔軟に読み取ってくれることも示唆しています。

ウェブクローラは高度な柔軟性を備えており、通常は、robots.txtファイルに小さい誤りがあっても影響を受けません。一般に、起こりうる最悪の事態は、正しくないまたはサポートされていないディレクティブが無視されることです。覚えておいていただきたいのは、Googleはrobots.txtファイルを解釈するときに書かれていない意図までを読み取ることはできないということです。Googleは、取得したrobots.txtファイルを解釈することしかできません。ですが実際には、robots.txtファイルに問題がある場合でも、たいていは簡単に解決できます。

引用)よくある質問|Google Developers

また、Search Engine Landでも同様のことを伝えています。

Maybe: Noindex in robots.txt
Noindex in robots.txt is not officially supported, but it may work to remove pages from the index. The problem I have with this method is that it still tells people where they shouldn’t look, and it may not work forever or with all search engines.

The reason I say this is a “maybe” is that it can work and could actually be combined with a disallow in robots.txt, unlike some other methods which don’t work if you disallow crawling (which I will talk about later in this article).

引用)Search Engine Land

「robots.txtでのnoindexは公式サポートされていませんが、機能しています。ただいつどうなるか分からないし、全ての検索エンジンに適用されるとは限らない」という主旨のことが記載されています。

ですので、確実にnoindexを行いたい場合は、やはりページ単位でmetaに入れ込む手法か、HTTPリクエストでnoindexヘッダーを返すほうが正確かな、と考えています。

100%明確な回答になっているか分かりませんが、これが現段階での私の見解となりますので、K様どうぞ宜しくお願いします。


関連記事

目次の順序はランキングに影響する?

コラム等の記事を読んでいると、どの記事も面白いように「とは」「種類」「メリットデメリット」「使い方」「注意点」の順番で目次設定されていて、その通りのストーリー順序で記事化されています。これは以前にも私は触れています。しかし、この順序はSEO評価(検索順位が上がりやすいこと)に繋がるのでしょうか。私の ...(続きを読む)

検索結果タイトル生成アップデート

Googleは米国現地時間8月24日、Webサイトページを検索結果に表示する際、タイトルを生成する新しいシステムを導入したと発表しました。記事内容を和訳しながらご紹介したいと思います。 検索結果表示のタイトルについて 元々、ずいぶん前からタイトルの書き換えは起こっていました。私も以前記事にしていまし ...(続きを読む)

Googleが検索の仕組みを案内

もう何度も何度も何度もGoogleは案内してきていると思いますが、改めてGoogleは「Google検索の仕組み」ページのデザインをリニューアルして公開しました。合わせてThe Keywordでもその内容を案内していますので、和訳してご紹介します。 Google検索の仕組みについて 新しくGoogl ...(続きを読む)

構造化データテストツールは別モノへ

2020年の7月に構造化データテストツールが廃止予定であることをGoogleは予告していました。要はリッチリザルトテストツールに統合されるという話でした。そして8月9日に構造化データテストツールはSchema.orgのテストツールとして変貌しました。 そもそもどうだったの? もともと、構造化データの ...(続きを読む)

コメントを書く

コメントは承認から反映までしばらく時間がかかる場合がございます。メールアドレスが公開されることはございません。