Googleがrobots.txtでnoindexディレクティブをサポートするのをやめる

9月1日より、Googleはロボット専用プロトコルでサポートされていない未発表のルールのサポートを中止する、と同社はGoogle Webmasterブログで発表した。つまり、Googleは、ファイル内にリストされているnoindexディレクティブを持つrobots.txtファイルをサポートしなくなります。

「健全なエコシステムを維持し、将来のオープンソースリリースの可能性に備えて、2019年9月1日に、サポートされていない未公開の規則(noindexなど)を処理するすべてのコードを廃止します。クロールを制御するrobots.txtファイルのindexingディレクティブには、いくつかの選択肢があります。」と同社は述べた。

代替案は何ですか?グーグルは以下のオプションをリストアップした、あなたがとにかくあなたがとにかく使用するべきだったもの:

売り上げアップするならホームページ制作で長崎市

(1) robotsメタタグ内のNoindex :HTTP応答ヘッダーとHTMLの両方でサポートされているため、クロールが許可されているときにインデックスからURLを削除する最も効果的な方法はnoindexディレクティブです。
(2) 404および410 HTTPステータスコード :どちらのステータスコードもページが存在しないことを意味します。クロールおよび処理されると、GoogleのインデックスからそのようなURLが削除されます。
(3)パスワード保護: 購読またはペイウォールコンテンツ示すためにマークアップが使用されていない限り、ログインの背後にあるページを隠すと、通常Googleのインデックスから削除されます。
(4)robots.txtを許可しない:検索エンジンは自分が知っているページしか索引付けできないため、ページがクロールされないようにブロックすると、そのコンテンツに索引が付けられないことがよくあります。検索エンジンは他のページからのリンクに基づいてURLを索引付けすることもできますが、コンテンツ自体は表示されませんが、今後はそのようなページを見にくくすることを目指します。
(5) 検索コンソールURL削除ツール :このツールは、Googleの検索結果から一時的にURLを削除するための迅速で簡単な方法です。

標準になるグーグルは昨日、同社がロボット除外プロトコルの標準化に取り組んでいると発表した。これがおそらく最初の変更点となるだろう。実際、グーグルは昨日のこの発表とともに、彼らのrobots.txtパーサーをオープンソースプロジェクトとしてリリースした。

なぜGoogleは今変化しています。 Googleはこれを何年もの間変更しようとしてきました、そしてGoogleがプロトコルを標準化することを推進しているので、それは今前進することができます。 Googleは、「robots.txtルールの使用法を分析した」と述べた。Googleは、クロール遅延、nofollow、noindexなど、インターネットドラフトのサポートされていない実装に注目することに重点を置いています。 「これらのルールはグーグルによって文書化されていないので、当然、グーグルボットに対するそれらの使用は非常に低い」とグーグルは言った。 「これらの間違いは、Googleの検索結果にWebマスターが意図していたとは思わない方法でWebサイトの存在を傷つけます。」

なぜ私たちは気にします。最も重要なことは、robots.txtファイルでnoindexディレクティブを使用していないことを確認することです。もしそうなら、あなたは9月1日の前に上記の提案された変更をすることを望むでしょう。また、あなたがnofollowまたはcrawl-delayコマンドを使っているかどうか調べてください。


著者について

Barry Schwartzは、Search Engine Landのニュース編集者で、ニューヨークを拠点とするWebコンサルティング会社RustyBrickを所有しています。また、SEMのトピックに関する人気のある検索ブログ、 Search Engine Roundtableも運営しています。