9月に、私はここSearch Engine Landに投票を行い、読者がrobots.txtでページにインデックスなしのマークを付けるように指示するかどうかを確認しました。今日は、主要な問題が何であるか（そしてGoogleがこれのサポートを追加しない理由）のレビューとともに結果を提示します。
なぜこれが興味深いのでしょうか？
現在の環境では、robots.txtはWebクロールの動作をガイドするためにのみ使用されます。さらに、ページを「NoIndex」とマークする現在のアプローチは、ページ自体にタグを配置することです。残念ながら、robots.txtでブロックすると、Googleにタグが表示されることはなく、そのようなことを望まない場合でも、ページにインデックスを付ける可能性があります。
大規模なサイトでは、クロールをブロックし、Googleインデックスから除外したいさまざまなクラスのページがある場合、これにはいくつかの課題があります。これが発生する可能性のある1つの方法は、複雑なファセットナビゲーションの実装で、ユーザーにとって大きな価値があるが、Googleに表示するページが多すぎるページを作成する場合です。たとえば、ある靴の小売業者のWebサイトを調べたところ、「メンズナイキシューズ」に関連する70,000を超えるさまざまなページがあることがわかりました。これには、さまざまなサイズ、幅、色などが含まれます。
上で共有した例のように、複雑なファセットナビゲーションを備えたサイトで参加したいくつかのテストでは、この大量のページが重大な問題であることがわかりました。それらのテストの1つでは、クライアントと協力して、ファセットナビゲーションのほとんどをAJAXに実装しました。これにより、ファセットナビゲーションページのほとんどの存在はGoogleには見えませんが、ユーザーは簡単にアクセスできます。このサイトのページ数は2億ページから20万ページになり、1,000対1の削減になりました。翌年、サイトへのトラフィックは3倍になり、驚くほど良い結果が得られました。ただし、最初はトラフィックが減少し、以前のレベルに戻るまでに約4か月かかり、その後上昇しました。
別のシナリオでは、サイトが新しいeコマースプラットフォームを実装し、そのページ数が約5,000ページから100万ページ以上に急増したのを見ました。彼らのトラフィックは急落し、私たちは彼らの回復を助けるために連れてこられました。修正？インデックス可能なページカウントを以前の場所に戻すには。残念ながら、これはNoIndexやCanonicalタグなどのツールを使用して行われたため、回復の速度は、Googleがサイトのかなりの数のページに再度アクセスするのにかかった時間によって大きく影響を受けました。
どちらの場合も、関係する企業の結果は、Googleのクロール予算と、サイトの新しい構造を完全に理解するのに十分なクロールを完了するのにかかった時間に基づいていました。 Robots.txtに命令があると、これらのタイプのプロセスが急速に高速化されます。
売上アップを目指すためにホームページ制作を佐賀でのご依頼は株式会社ハートウエブへこのアイデアの欠点は何ですか？
これについて、 Ahrefsの製品アドバイザー兼ブランドアンバサダーであるPatrick Stoxと話し合う機会がありました。彼の簡単な説明は、次のとおりです。 Googleは、クロール制御のみにrobots.txtが必要であることを明確にしました。最大の欠点は、おそらくサイト全体を誤ってインデックスから外してしまったすべての人々でしょう。」
そしてもちろん、サイト全体（またはサイトの主要部分）がインデックスから削除されるというこの問題は、それに関する大きな問題です。 Webの全範囲にわたって、これが発生するかどうかを疑う必要はありません。発生するでしょう。悲しいことに、それはいくつかの重要なサイトで発生する可能性があり、残念ながら、それはおそらく多く発生するでしょう。
20年間のSEOの経験から、さまざまなSEOタグの使用方法についての誤解が蔓延していることがわかりました。たとえば、Google Authorshipが問題であり、rel = authorタグがあった当時、サイトがそれらをどの程度適切に実装しているかを調査したところ、72％のサイトがタグを誤って使用していたことがわかりました。それには、私たちの業界で本当に有名なサイトがいくつか含まれていました！
Stoxとの私の話し合いの中で、彼はさらに次のように述べています。以前にnoindexとマークされていたページのインデックス作成を突然開始しますか？」
また、Googleにコメントを求めたところ、2014年にrobots.txtでnoindexのサポートが終了したときに、彼らのブログ投稿が指摘されました。この問題についての投稿の内容は次のとおりです。
「パーサーライブラリをオープンソーシングしているときに、robots.txtルールの使用状況を分析しました。特に、crawl-delay、nofollow、noindexなど、インターネットドラフトでサポートされていないルールに焦点を当てました。これらのルールはGoogleによって文書化されたことがないため、当然、Googlebotに関連するルールの使用は非常に少ないです。さらに掘り下げてみると、インターネット上のすべてのrobots.txtファイルの0.001％を除くすべてで、それらの使用法が他のルールと矛盾していることがわかりました。これらの間違いは、ウェブマスターが意図したとは思わない方法で、Googleの検索結果におけるウェブサイトの存在を傷つけます。 「「
*私による最後の文の太字は強調のために行われました。
これがここでの推進要因だと思います。グーグルはそのインデックスの品質を保護するために行動し、良い考えのように見えるかもしれないものは多くの意図しない結果をもたらす可能性があります。個人的には、NoCrawlとNoIndexの両方のページに明確で簡単な方法でマークを付ける機能が欲しいのですが、問題の真実は、それが起こるとは思わないということです。
全体的なrobots.txtの投票結果
まず、質問1に「はい」と答えたと仮定した、必須の質問である質問2の調査の欠陥を認めたいと思います。ありがたいことに、質問1で「いいえ」と答えたほとんどの人は、質問2で「その他」をクリックしてから、この機能が必要ない理由を入力しました。それらの回答の1つは、この欠陥を指摘し、「あなたの世論調査は誤解を招くものです」と述べました。そこに欠陥があることをお詫びします。
全体的な結果は次のとおりです。
合計87人の回答者の84％が「はい」と答え、この機能を望んでいます。この機能が必要な理由のいくつかは次のとおりです。
- クロールをブロックしたいが、ページにインデックスを付けたいという状況はありません。
- Googleはnoindexを表示するためにページをクロールする必要があるため、多数のページのnoindexingには多くの時間がかかります。 noindexディレクティブがあると、インデックスが過剰な問題を抱えているクライアントに対してより迅速な結果を得ることができました。
- 非常に大きな問題があります…非常に古いコンテンツ…何百もの古いディレクトリとサブディレクトリ。削除して404を削除すると、インデックスの解除に数年とは言わないまでも数か月かかります。 robots.txtファイルにNoIndexルールを追加するだけで、Googleは、古いURLをすべてクロールするよりもはるかに迅速にこの指示に従うと信じているようです。繰り返し、404を繰り返して最終的に削除する必要があります。 、ドメインのクリーンアップはそれが役立つ1つの方法です。
- 開発の労力を節約し、変更のために何かが壊れた場合に簡単に調整可能
- 常に「noindex」を使用できるとは限らず、インデックス付けされるべきではないインデックス付けされたページが多すぎます。スパイダーの標準的なブロックも、少なくともページを「インデックスなし」にする必要があります。検索エンジンがURL /フォルダーをクロールしないようにしたい場合、なぜこれらの「空の」ページにインデックスを付けたいのですか？
- .txtファイルに新しい命令を追加する方が、開発リソースを取得するよりもはるかに高速です。
- はい、エンタープライズCRMのヘッドでメタを変更するのは難しいため、robots.txtの個々のnoindex機能でその問題を解決できます。
- より速く、問題の少ないサイトインデックスのブロック:)
含まれていないと言う他の理由：
- Noindexタグで十分です
- robots.txtファイルの新しいディレクティブは必要ありません
- 私はそれを必要とせず、それが機能しているのを見ません
- 気にしないでください
- 変えないで
概要
そこにあります。この世論調査に回答したほとんどの人は、この機能を追加することに賛成です。ただし、SELの読者は、平均的なWebマスターよりもはるかに多くの理解と専門知識を備えた、非常に知識の豊富な対象者で構成されていることに注意してください。さらに、世論調査で受け取った「はい」の回答の中でも、質問4（「この機能はSEOとしてあなたに利益をもたらしますか？もしそうなら、どのように」）に対するいくつかの回答があり、現在のシステムの仕組みの誤解を示していました。
結局のところ、私は個人的にこの機能が欲しいのですが、それが起こる可能性は非常に低いです。
この記事で表明された意見はゲスト著者の意見であり、必ずしも検索エンジンランドではありません。スタッフの作者はここにリストされています。
著者について
エリックエンゲはパイロットホールディングの社長です。以前、エリックは、2018年7月にPerficientに買収された受賞歴のあるデジタルマーケティングエージェンシーであるStone Templeの創設者兼CEOでした。彼は、900ページ以上の本で知られるThe Art ofSEOの主な共著者です。 「SEOのバイブル」としての業界。 2016年、エンゲはサーチマーケターオブザイヤーのサーチエンジンランドのランディアワードと、米国サーチアワードのサーチパーソナリティオブザイヤーを受賞しました。彼は多作の作家、研究者、教師であり、主要な業界会議で人気の基調講演者およびパネリストです。