データセンタープロキシ
データセンタープロキシは、ホスティングやクラウドのネットワークのIPアドレスを持つサーバーを経由して、アプリのリクエストを送ります。ウェブサイトはプロキシのIPからの接続を受け取ります。ブラウザー、スクレイパーなどのアプリは、利用者自身のパソコンやサーバー上で動作したままです。
データセンターは、主なプロキシのネットワーク種別の一つで、IPがどこに由来するかを表します。作業先のウェブサイトがホスティングIPを受け入れるなら、多数のアドレスや大量のデータ転送が必要なときに、経済的な選択肢となることがよくあります。
データセンターIPの由来
データセンターには、サーバーやネットワーク機器とともに、電源、冷却設備、インターネット回線が用意されています。プロキシ事業者は機器を所有する場合も、ホスティング会社から借りる場合もあります。そのサーバーでプロキシソフトウェアを動かし、ホスティングやクラウドのネットワークのパブリックIPアドレスを使ってウェブサイトに接続します。
1台のサーバーで多数のプロキシIPを扱えます。各アドレスは異なっていても、同じプロセッサーやインターネット回線を共有している場合があります。これにより、ハードウェア費用を複数のIPに分散できます。一方、アドレスを追加購入しても、帯域幅が増えたり、同時接続数が多くなったりするとは限りません。
種類を決めるのは、サーバーが置かれている建物だけではなく、IPが属するネットワークです。同じデータセンター内のサーバーでも、インターネット接続事業者に関連付けられたIPを使えば、ISPプロキシとして動作できます。住宅用プロキシは家庭のインターネット回線を、モバイルプロキシは携帯回線を使います。データセンターIPが表すのは、ホスティングネットワークです。
接続の仕組み
アプリがプロキシ経由でページを読み込むときは、次の三つの処理が行われます。
- アプリが、サービスから提供されたアドレス、ポート、アクセス情報を使ってプロキシに接続します。
- プロキシがウェブサイトに接続し、リクエストを転送します。ウェブサイトには、この接続に使ったIPが見えます。これは一般に出口IPと呼ばれます。
- ウェブサイトが応答をプロキシに返し、プロキシがアプリに渡します。
どのページを要求し、どう処理するかを決めるのは、引き続きアプリです。プロキシはリクエストと応答を運びます。利用者に代わってスクレイピングを実行したり、テストの負荷を作ったりするものではありません。
サービスは、プロキシアドレスのリストを提供する場合も、プールからIPを選ぶゲートウェイを提供する場合もあります。ゲートウェイでは、設定に入力するアドレスと、ウェブサイトから見えるIPが異なることがあります。
データセンタープロキシの利点
多数のリクエストに対応できる容量
ホスティングサーバーとそのネットワーク回線は、多数の接続や大量の転送を扱えます。通信は、参加者の家庭回線やモバイル端末の無線区間を通る必要がありません。そのため、多数のページを取得したり、大きなデータセットをダウンロードしたりする作業に向いています。
帯域幅と応答時間は別のものです。大量のデータを転送できるサーバーでも、経路が長い、ウェブサイトの応答が遅いといった理由で、個々のリクエストに時間がかかる場合があります。作業では、サービスの帯域幅や接続上限とあわせて、完了までの時間が重要です。
大量のIPリストを低い費用で利用
複数のプロキシIPで同じサーバーを使えるため、事業者はアドレスごとに家庭回線やSIMカードを用意する必要がありません。このため、大量のデータセンターIPリストは、住宅用やモバイルのアクセスより安くなることがよくあります。ただし、IPアドレスの取得と維持には費用がかかります。ハードウェアの共有で削減できるのは、事業者の費用の一部だけです。
同じ作業を繰り返すたびに費用が積み重なる定期収集や、大量のダウンロードで役立ちます。比べるべきなのは、作業を正常に完了するための費用です。安いアドレスでも、必要なページを読み込めなければ、あまり役に立ちません。
予定に沿った作業に向いている
通常、プロキシサーバーは継続して運用されます。定期ジョブは、家庭の参加者が端末を接続したままにしてくれるかどうかに依存しません。固定IPのサービスなら、後日の実行でも同じIPに戻れます。
毎日の収集、監視、繰り返しの確認に役立ちます。ただし、可用性は事業者の機器とネットワークに左右されます。保守、故障、過負荷によって接続が中断する場合があります。
データセンタープロキシの制約
ホスティングIPは識別される場合がある
ウェブサイトは、IP分類データベースやネットワークの記録から、ホスティング事業者に関連付けられたアドレスを識別できます。そのために利用者自身のIPを特定する必要はありません。接続を受け入れる場合も、CAPTCHAを表示したり、リクエストを拒否したりする場合もあります。
制限の対象は、一つのIP、アドレス範囲、自律システム番号（ASN）で識別されるネットワーク全体などです。ネットワーク全体が対象なら、同じネットワーク内の別のIPに変えても、結果が変わらない場合があります。アドレスが多いリストでも、多数の異なるネットワークで構成されているとは限りません。
以前の利用や共有利用がIPに影響する
以前の活動によって、アドレスの評判が悪くなっている場合があります。新しい利用者に割り当てても履歴は消えません。また、共有サービスでは他の利用者も同じIPを使い続けている場合があります。これは、ウェブサイトがすべてのホスティングIPを拒否するルールとは別の問題です。悪用履歴が知られていないアドレスでも、そのルールの対象になります。
ウェブサイトは、Cookie、アカウント、ブラウザーの特徴、リクエストのパターンも評価できます。プロキシIPを変更しても、こうした情報の多くは変わりません。そのため、単にアドレスを切り替える頻度よりも、拒否された理由が重要です。
大きなプールでも、すべての場所が選べるわけではない
利用できる国や都市は、事業者のネットワークとIP帯によって決まります。少数の国に何千ものアドレスがあっても、別の場所が必要な作業には役立ちません。また、必要な国にあるホスティングIPでも、現地の家庭回線や携帯電話の加入者を表すものではありません。
場所を確認するときに重要なのは、ウェブサイトがそのIPをどう判定するかです。ウェブサイトの位置情報データベースの判定が、事業者の国表示やサーバーの物理的な場所と一致しない場合があります。
データセンタープロキシの用途
以下の例では、収集作業を分ける、一定のアドレスを保つ、複数の送信元からテストするなど、プロキシIPを使う理由がそれぞれ異なります。データセンターの設備により、繰り返しの作業や大量転送で、こうしたアドレスを実用的に使えます。
公開カタログやアーカイブの巡回
クローラーは、さまざまな情報源から企業情報、アーカイブページ、文書を収集できます。個々のワーカーに異なるプロキシIPを割り当てられます。情報源がIPごとにリクエスト数や接続数を数える場合に役立ちます。同じアドレスを使うワーカーは、その枠を共有することになるためです。
データセンタープロキシなら、大量のアドレスリストを比較的低い費用で用意でき、継続的な転送も行えます。ただし、キューの管理、内容の解析、ウェブサイトごとのリクエスト頻度の設定は、クローラーが行います。IPを追加しても、巡回先ウェブサイトの処理容量は増えません。
価格や在庫の定期確認
価格監視ツールは、決まった商品リストを1日の間に繰り返し確認します。店舗や商品群ごとに別のプロキシアドレスを割り当て、固定アドレスを確認のたびに再利用できます。これにより、監視プログラムを動かすパソコンの現在のインターネット接続に依存せず、一定のネットワークから収集できます。
同じページを繰り返し取得するため、運用費用の低さが重要です。大きなカタログを頻繁に更新する必要があれば、データセンタープロキシを試す価値があります。直接接続で動作する小規模な監視ツールなら、プロキシを追加しても、役立つ機能が増えない場合があります。
許可されたIPからAPIデータを取得
一部のデータAPIは、許可された送信元アドレスからのリクエストだけを受け入れます。IPを許可リストに登録した固定データセンタープロキシを、ワーカーの接続に使えます。ワーカーが別のサーバーやネットワークに移っても、APIは同じプロキシIPから接続を受け取れます。
定期的なJSONやXMLのエクスポート、大規模なデータフィードに役立ちます。プロキシはネットワークアドレスを提供し、転送を担います。APIキーの提示と応答の処理は、引き続きアプリが行います。プロキシIPを追加しても、そのキーやアカウントに設定された利用枠は変わりません。
外部アドレスから大規模サイトを監査
SEOクローラーは、自社や顧客のサイトについて、リンク切れ、リダイレクトの連鎖、タイトルの重複、誤ったcanonicalタグを調べます。サイトマップと巡回結果を比べれば、内部リンクのないページが見つかる場合もあります。固定プロキシを使うと、サイト所有者がアクセス制御で許可できる、既知の外部アドレスから監査できます。別のパソコンで監査を実行するときも、同じアドレスを再利用できます。
データセンターの容量は大規模な巡回に役立ちますが、リクエスト頻度はサイトが処理できる範囲に合わせる必要があります。エラーを見つけるのはクローラーで、プロキシは接続を提供します。サイト移行後も、同じ許可済みアドレスから巡回を繰り返せます。
自社サイトの負荷時の動作をテスト
合意のうえで行う負荷テストでは、複数のプロキシIPからリクエストを送り、同時アクセス、継続的なAPI通信、急なリクエスト増加への対応を確認できます。送信元アドレスを分けることで、自社サービスがIP単位の接続上限やリクエスト上限をどう適用するかもテストできます。
データセンタープロキシなら、複数の外部アドレスを無理のない費用で用意できます。負荷を作るのはテストプログラムです。プロキシの容量不足をサイトの遅さと取り違えないよう、プロキシサービスの帯域幅と接続上限も測定してください。複数のIPが、同じサーバーとネットワーク回線を共有している場合もあります。
アクセスの選択肢
別々に確認すべき点が二つあります。IPを維持するかどうかと、他の利用者もそのIPを使うかどうかです。固定IPでも共有される場合があり、専用のアドレス群でもローテーションに使う場合があります。
IPは変わるか
固定IP
サービスがIPの割り当てを維持するため、接続をまたいで同じIPを再利用できます。固定プロキシリストを提供する場合も、その固定アドレス群にゲートウェイ経由でアクセスする場合もあります。特定の作業にIPをひも付けたり、一連の操作で使い続けたりできます。
アプリが固定リストを順番に使う場合、いつプロキシを切り替えるかはアプリが決めます。リスト内の各アドレス自体は固定されたままです。
ローテーション
サービスは、新しい接続時や一定時間ごとなど、所定のルールに従ってプールからIPを選び、切り替えます。一連のリクエストで同じIPを維持するスティッキーセッションを提供するサービスもあります。
ローテーションが変えるのはアドレスであり、ネットワークの種類ではありません。データセンターのプールからは、引き続きデータセンターIPが供給されます。切り替わる正確なタイミングは、サービスのローテーション設定によって決まります。
IPを使うのは誰か
専用
サービスが、一人の利用者向けにIPを予約します。予約中は、そのサービスの他の利用者はそのIPを使いません。これにより、そのアドレスから送る通信を管理できます。
同じサーバーに、他のプロキシIPが置かれている場合はあります。IPを占有できても、ハードウェアや帯域幅も占有できるとは限りません。
共有
複数の利用者が同じプロキシIPを使います。それぞれの接続は別ですが、ウェブサイトがIP単位の上限を適用するときは、全員のリクエストを合算する場合があります。他の利用者の活動が、アドレスの評判に影響する場合もあります。
共有することで、IPの費用を利用者間で分担できます。