企業ネットワーク内のサイトを監査する方法

企業ネットワーク内のステージングエンタープライズサイトを監査する場合、一般的な問題があります。

社内で作業する場合は、最初にVPNクライアントを使用して企業ネットワークに接続します。次に、監査ツールを実行してページを確認する必要があります。

動作するツールは、コンピューターから直接実行できるツールだけです。たとえば、ダウンロード可能なプログラムであるScreamingFrogスパイダー。

ただし、多くのエンタープライズサイトには数百万のページがあり、時間の制約やマシンリソースのために、コンピューターからのクロールは実用的ではありません。

DeepCrawl、Ryte、Oncrawlなどのエンタープライズクラウドベースのクローラーは、このタイプの作業に適しています。ただし、プライベートネットワーク内のサイトを監査することはできません。

これに加えて、これにより、JavaScript駆動型コンテンツの監査に不可欠なGoogleBingのURL検査ツールなどの他の多くの貴重なツールが除外されます。

代理店側で作業する場合、セキュリティとプライバシーのコンプライアンスが企業と連携するための要件になっているという追加の複雑さがあります。ベンダーと見なされる前に、広範なセキュリティアンケートに回答する必要があるのが一般的です。

プライベートネットワーク内のステージングサイトのコンテンツは、一般に公開する準備ができていない可能性があります。

SEO用のネットワーク管理ツールの紹介

以前の記事で、開発業界とIT業界で使用されているツールと手法を認識することの重要性について説明しました。この記事では、私はその主張を続けていきます。

ネットワーク管理者やシステム管理者に馴染みのあるツール、 ngrokmitmproxyをいくつか紹介します。

ngrokを使用して、プライベート(VPNが必要)URLを一時的なURLとパブリックURLに変換できます。 mitmproxyを使用して、ページに変更を加えたり、コンテンツを非表示にしたり、難読化したりして、プライバシーを保護することができます。これには、単純なPythonスクリプトを作成する必要があります。

プロキシとHTTPトンネル

ツールに飛び込んで遊ぶ前に、ツールの基本的な概念について説明します。

https://developer.mozilla.org/en-US/docs/Web/HTTP/Proxy_servers_and_tunneling

「インターネットのさまざまなネットワークをナビゲートする場合、プロキシサーバーとHTTPトンネルは、ワールドワイドウェブ上のコンテンツへのアクセスを容易にします。プロキシは、ユーザーのローカルコンピューター上、またはユーザーのコンピューターとインターネット上の宛先サーバーの間の任意の場所に配置できます。このページでは、プロキシに関するいくつかの基本事項の概要を説明し、いくつかの構成オプションを紹介します。」

プロキシとHTTPトンネルは、リクエスト/ページを中継し、あるソースサイトから別のソースサイトにそれらを利用できるようにするための標準的なアプローチです。このトピックの詳細については、リンクされた記事を確認してください。

NgrokはHTTPトンネルを作成し、 mitmproxyはリバースプロキシです。

これらは、最初に述べた問題を解決するのに適した2つの異なるユースケースです。

Ngrokの使用

Ng r okHTTPトンネルを作成し、セットアップと使用が非常に簡単です。

売り上げアップするならホームページ制作で長崎市

ステージングサイトがhttps://staging.internal-network.net:8080であり、VPNクライアントを使用して接続した後にのみページを開くことができるとします。

このサイトを一時的に公開して、Google SearchConsoleとBingWebmaster Toolsを確認し、公開されたURLでURL検査ツール(またはエンタープライズクローラー)を実行することができます。

これを行う方法は次のとおりです。

  1. MacまたはWindowsPC用のngrokをダウンロードしてインストールします。
  2. ターミナルウィンドウを開き、ngrokを起動します。

Ngrokはコマンドラインツールであるため、シェルで実行し、パラメーターを渡して機能させる必要があります。

それでは、HTTPトンネルと一時URLを作成しましょう。

./ngrok http staging.internal-network.net :8080 > ngrok.log 2>&1 &

ここでは、ポート8080のコンピューターからのみアクセスできるWebサーバーを公開するようにngrokに依頼しています。エラーをngrok.logに記録するコマンドをいくつか追加し、最後にプロセスをバックグラウンドで実行して、さらにコマンドを入力できるようにします。 。

tail ngrok.log

ログに何も含まれていないことを確認しました。これは、ログが正常に機能していることを意味します。次に、パブリックURLを生成する必要があります。

サービスに対してAPI呼び出しを行う必要があります。これにより、解析する必要のあるJSON応答が返されます。別の便利なコマンドラインツールjqをダウンロードして、この部分を簡略化します。

カールもあると仮定すると、このコマンドで一時URLを取得できます。

curl -s http://localhost:4040/api/tunnels | jq ".tunnels[0].public_url"

次のようにWebブラウザで開くことができるURLを取得する必要があります。

https://f8139ca0f3b9.ngrok.io

開くと、内部サイトが表示されます。その上でリッチテストツール(この例ではなく、取得したURL)を使用してみてください。これで、機能するはずです。なんてクールなの?

ngrok.ioドメインを所有していないため、Google SearchConsoleとBingWebmasterToolsに登録するために追加の手順を実行する必要があります。

アカウント作成し、管理するカスタムドメインを登録する必要があります。

トンネルを作成する前に、認証する必要があります。

./ngrok authtoken <token>

次に、トンネルの作成中にカスタムドメインを指定する別のパラメーターを追加します。

./ngrok http -hostname=dev.yourdomain.com staging.internal-network.net :8080 > ngrok.log 2>&1 &

このサブドメインを登録して、URL検査ツール(またはお気に入りのエンタープライズクローラー)を実行できます。

Mitmproxyの使用

そこで、一時的なパブリックURLを使用して、企業ネットワーク内のステージングサイトを公開する方法を学びました。しかし、コンテンツを公開するリスクを冒して、上場企業に損害を与える可能性のある未発表のニュースを不注意に公開した場合はどうなるでしょうか。

1つのオプションは、リバースプロキシを階層化し、それを使用してHTMLや画像内の個人情報を非表示または難読化して会社のプライバシーを保護することです。

Mitmproxyは素晴らしいHTTPSプロキシであり、とりわけ、暗号化されているHTTPSでさえ、その場通過するHTTPトラフィックを変更できます

簡単なPythonスクリプトを作成することで、コマンドラインで簡単なテキストの置換や任意の変更を行うことができます。

Mitmproxyはいくつかのモードで動作できますが、リバースプロキシモードに関心があります。

これはPythonパッケージなので、を使用してインストールできます。

pip install mitmproxy

次に、を使用して呼び出します。

mitmproxy -P 8081 --mode reverse: https://staging.internal-network.net:8080

この強力なテクニックを1つの例で説明しましょう。

StackOverflowをリバースプロキシし、H1のテキストを「People」から「SEOs」に変更します

mitmproxy -P 8081 --mode reverse: https://stackoverflow.com/ --modify-body '/ people who code/ SEOs who code'

http:// localhost:8081でブラウザを開いて、動作するかどうかを確認してみましょう。

カブーム!今、これはエキサイティングなものではないことを教えてください:)

アイデアは、一般に公開されるべきではないテキストや画像を置き換えることです。

その後、ngrokを実行して、ソースサーバーに直接接続するのではなく、ポート8081でこのリバースプロキシに接続するように指示する必要があります。

./ngrok http -hostname=dev.yourdomain.com localhost:8081 > ngrok.log 2>&1 &

MITは(中間者攻撃)の略で、双方向の会話に傍受するデバイス/要素があることを意味する情報セキュリティの概念です。このデバイスは、送信された情報を盗聴または改ざんする可能性があります。

ご想像のとおり、これは悪意のある目的に使用される可能性があります。幸いなことに、私たちの場合、それを永久に使用したいと思います。機密情報をngrokで公開する前に、内部ページから非表示/難読化する必要があります。


この記事で表明された意見はゲスト著者の意見であり、必ずしも検索エンジンランドではありません。スタッフの作者はここにリストされています


著者について

Hamlet Batistaは、オンライン小売業者および製造業者向けのアジャイルSEOプラットフォームであるRankSenseのCEO兼創設者です。彼は革新的なSEO技術に関する米国特許を保持しており、2002年に成功したアフィリエイトマーケターとしてSEOを開始し、優れたSEO結果は6か月もかからないと考えています。