今朝Twitterで、クロールとインデックス作成の両方をブロックする機能をRobots.txtに含めるというアイデアについてのディスカッションを見ました。それはクリスチャンサーストン（@ct_oz）によるこのツイートから始まりました：
「こんにちはジョン[ミューラー]、Googleはrobots.txtファイルがクロールをブロックするだけでなく、インデックス作成もブロックするようにすることを検討しましたか？ @willcritchlowの引用：「クロールをブロックしたいが、インデックス作成をブロックしたくない状況は多くありません」。
「それは期待の大きな変化になるでしょう（そしてそうです、私たちはこれらのことについては関係なく考えています）。これにより検索が目に見える形で改善される例はありますか？」 ミューラーは答えた。 「ディレクティブを追加しないようにしたいと思います。この文書化された機能によって引き起こされる一般的な問題をまだ認識していません…SEOはインデックス作成について心配していますが、通常、これらのURLはサイトに対してのみランク付けされます。人工的な？"
SEOで20年以上の経験があり、「パブリッシャーがrobots.txtでクロールするためにブロックするページにインデックスを付けたいという状況に遭遇したことはありません。一度も見たことがない」 とツイートした。 「私にとっては、（1）クロールをブロックするか、（2）インデックス作成を防止するか、両方を選択できることを教育するのが一般的です。注：クロール予算が問題となる大規模なサイトでは、間違いなくより多くの問題が発生します。」
売上アップを目指すためにホームページ制作を佐賀でのご依頼は株式会社ハートウエブへSearch PilotのCritchlowは同意しますか、「100％同意します。長年の基準を変えないという保守主義は見られますが、見たことがなく、クロールをブロックしてインデックス作成を許可したいという状況は考えられません。」
しかし、あなたはどう思いますか？ Robots.txtに、インデックスを作成したくないページを指定できる機能があると便利ですか？以下の3つの質問の簡単な投票に答えて、ご意見をお聞かせください。
これを行うことに賛成票を投じた場合、ある時点で開発チームが不要な機能とNoIndexページを誤って適用する可能性があるすべてのリスクを受け入れる必要があることに注意してください。
読み込んでいます…
この記事で表明された意見はゲスト著者の意見であり、必ずしも検索エンジンランドではありません。スタッフの作者はここにリストされています。
著者について
エリックエンゲはパイロットホールディングの社長です。以前、エリックは、2018年7月にPerficientに買収された受賞歴のあるデジタルマーケティングエージェンシーであるStone Templeの創設者兼CEOでした。彼は、900ページ以上の本で知られるThe Art ofSEOの主な共著者です。 「SEOのバイブル」としての業界。 2016年、エンゲはサーチマーケターオブザイヤーのサーチエンジンランドのランディアワードと、米国サーチアワードのサーチパーソナリティオブザイヤーを受賞しました。彼は多作の作家、研究者、教師であり、主要な業界会議で人気の基調講演者およびパネリストです。