もう何年も前からご相談の多い「過去のインフォメーションページはそのままで良いのか？捨て方が分からない」という内容。これに関して私の意見をご紹介しておきたいと思います。実はインフォメーションページはSEOだけでなく、ユーザー訪問状況、運用管理工数等によって方法がだいぶ変わるんです。
過去のインフォメーションページってどういうこと？
まず、企業サイトやオウンドメディアからのインフォメーションページってよくありますよね？
だいたいよくあるのは以下のような発信情報で、URLディレクトリとしては/info/以下とかで生成するケースが多いページです。
- システム不具合通知
- キャンペーン案内
- プレスリリース
でも、過去案内したキャンペーンページや一過性の不具合の連絡なんて、いつまでもWebサイト内にあるとサイト管理者として邪魔に思うかもしれません。また、あまりにもインフォメーションページが増えることで、本来のWebサイトのテーマ性を中和してしまい、インフォメーションサイトだと思われてしまうかもしれません(半分冗談ですが、半分本気です)。「クロール資産がそっちに取られすぎる！」とまで言うつもりはありませんが、まぁ定期的に整理しておきたいですよね。
検索エンジンのクローラーに指示する方法は？
今回、方法としてご紹介するのは、以下のディレクティブ要素です。
noindex
インデックス登録対象から除外するディレクティブです。以下のメタタグをページの<head>セクションに挿入します。これを設定すると、訪問したクローラーが指示を受けて対応します。
Disallow
クローラーにrobots.txtファイルでページをブロックしたい場合に使用するディレクティブです。サイト単位、ディレクトリ単位、ページ単位でURL設定することで、クローラーがそもそも訪問しない対応をします。
ちなみにnoindexとの相関関係に関しては必ずこちらをご覧ください。noindexとDisallowを併用する際、先にDisallowを設定してしまうと、クローラーがnoindexディレクティブを確認できなくなってしまいます。
404
ファイルを削除し、404コードステータスを返します。これによって、そもそもWebサイト内にあるファイルを減らすことができます。
unavailable_after
このメタタグで指定した日時を経過すると、検索エンジンがインデックスしなくなる(noindex扱いになる)という機能です。対象ページの<head>セクションに以下の情報を記載します。私は個人的に「時限装置タグ」と呼んでいます(笑)。また、最近では最後に対象国を入れなくてもGoogleは日本時間を解釈してくれるようです。詳細はGoogleの「robotsメタタグ、data-nosnippet、X-Robots-Tagの仕様」ページでご確認ください。
↓具体例
<meta name=“robots” content=“unavailable_after: 31-Mar-2017 23:59:59 JST”>
事前に確認しておきたい事項
また、運用していくうえで、事前に目的を明確化しておく必要があります。それによって判断指標が変わりますし対応方法も明確になります。この方針を不明確にしながら「SEO的にどうか？」と考えてしまうと、間違った方法を選択してしまいかねません。以下に5つの状態に関する目的を紹介しておきますのでご確認ください。
- そもそも当該ページの閲覧はできるようにしておきたいのか
- ページはサイト内から辿り着ける導線にしておきたいのか
- 既に他Webサイトからのリンクによって閲覧されている状態か
- 検索ユーザーに見せたくないのか
- 検索エンジンのクローラーに訪問させたくないか
また、目的だけでなく今でも閲覧ユーザーが存在しているかどうか、Google Analytics等の解析ツールを使って確認しておきましょう。いつまでも人気のあるページであれば、そのままにしておいた方が良いと思いますので。
5つの対応方法
では、以上を踏まえて過去のインフォメーションページに対する取り扱い運用方法をご紹介します。
１．そもそもDisallow、noindexを入れておく
インフォメーションページはあまり検索エンジンに読み込ませる必要性を感じません。またインフォメーションの中でもインデックスに有効な内容もあれば、無意味な内容もあります。そこで、そもそも/info/等のインフォメーション以下ディレクトリにはnoindexやDisallowを施しておけば、後から悩むことはなくなります。また、/info/campaign/や/info/system-bug/等、インフォメーションページをさらにジャンル別に分けておき、それぞれでnoindexやDisallow設定を決めておくのも良いでしょう。
２．一定期間が過ぎたらnoindexを入れる
これが一番オーソドックスな対応かもしれません。例えば、毎月の月末にnoindex化対象のインフォメーションページを洗い出して対処していくという方法です。分かりやすい一方で、すべて手動で進めていく面倒さがあります。noindexが自動的に入るシステムを組むことも難しいと思いますので、運用ルーティン工数に入れておかなければなりませんね。
３．一定期間が過ぎたらファイル削除する
これもオーソドックスですね。単純に定期的にファイルを削除し、404ステータスコードを入れておきます。ファイルを削除するので、余計な容量もかからないため、そういう点では良いです。ただ、過去何があったかが一切分からなくなりますので、ユーザーに対して親切かどうか、に懸念が残ります。
他にも.htaccessファイルを使って301リダイレクトを設定し、トップページやインフォメーショントップに転送する手段もありますが、これですと.htaccessが相当ボリューミーになっていってしまいますので、私はリダイレクト設定に関してあまりオススメしません。ユーザーにも分かりにくいですしね。
４．一定期間が過ぎたらDisallowのアーカイブフォルダに移行する
例えば、/info/archives/というあらかじめDisallowディレクティブの対象となるディレクトリを作っておきます。そして、一定の期間が過ぎたインフォメーションページに関して、URLを変更しこのディレクトリに格納しておく方法です。そうすれば、あとから検索エンジンが訪問に来なくなるというクロール軽減にもなりつつ、ユーザーには閲覧できるという利点があります。
ただし対応が面倒で、URLを変更する際、元URLからリダイレクトしないように設定しつつ、当該インフォメーションページへの内部リンクURLを変更しなければなりません。また、robots.txtでDisallowしてもGoogleにはインデックスされてしまう懸念(DisallowでもリンクされていればGoogleはインデックスしつつ「このページはrobots.txtによってブロックされています」という表記をする)もあります。
毎年恒例のホワイトペーパーやキャンペーン等があるのであれば、元URLを更新しつつ(SEO評価をURLに残しつつ)、過去のものをアーカイブ化する方法として便利な方法ですが、細かいインフォメーションページにおいては面倒な作業です。
５．アップ時にunavailable_afterを入れておく
これは以前に、いつnoindexするか決めておき、アップ時にちょっと1行タグを挿入するだけで、一定期間が過ぎた後の工数を作ることなく勝手にnoindex化できるので便利な手法です。最悪途中でnoindex日時を変更したくなったら、タグの内容を変えておけば良いので、意外と便利なのではないでしょうか。また、日時までしっかり設定できるところも安心できます。
あとは運用方針に合わせて
以上が私からご提案する5つの対処手法です。あとは、個別に「閲覧されているページだから」「運用工数がかかるから」等の特殊状況下に合わせて判断すれば良いと思います。
「ちょっとインフォメーションページが増えてきたなぁ」とか「本筋のページ数の大半がインフォメーションページだなぁ」とか「どうしたものかなぁ」とお悩みの方は是非ご参考ください。
