住宅用プロキシ
住宅用プロキシは、家庭のインターネット回線を経由してアプリの通信を送ります。接続先ウェブサイトには、選択した家庭回線に割り当てられたパブリックIPが見えます。そのため、自分が現地にいなくても、別の場所にある消費者向けネットワークからサイトにアクセスできます。
住宅用は、主なプロキシのネットワーク種別の一つで、出口に使うネットワークを表します。大きなプールを通じて出口を提供するサービスが多い一方、個別の家庭回線を使う住宅用プロキシもあります。IPの由来、そのIPを使う利用者の数、IPが切り替わるタイミングは、それぞれ別の性質です。
住宅用プロキシの仕組み
プール型のサービスでは、通常、プロキシ事業者が運営するゲートウェイに接続します。そのアドレスが、アプリからの入口になります。ゲートウェイが住宅用の出口を選び、その出口を通じて接続を送ります。
- アプリがゲートウェイに接続します。アクセス情報でアカウントを識別し、場所とセッションの設定で必要な接続を指定します。
- ゲートウェイが、利用できる出口を選びます。たとえば、国のフィルターは、その国にある条件に合った家庭回線に選択肢を絞ります。
- 選択された出口のソフトウェアが、家庭のインターネット回線から通信を転送します。接続先に見えるのは、その回線のパブリックIPです。アプリの元のIPや、ゲートウェイのアドレスではありません。
- 応答は、選択された出口とゲートウェイを通ってアプリに戻ります。ブラウザーやパーサーは、引き続き利用者自身の端末で動作します。
このように、ゲートウェイと出口IPは、役割の異なる別のアドレスです。同じゲートウェイ設定を使いながら、接続ごとに異なる家庭の出口を利用できます。家庭内ネットワークにある端末のプライベートアドレスは、ウェブサイトから見えるアドレスではありません。
家庭のWi-Fiに接続した携帯電話は、住宅用の出口として動作できます。外向きの接続に携帯通信事業者の回線を使うなら、モバイルの出口です。プロキシの種類は端末の形ではなく、外へ出るネットワークで決まります。
また、住宅用はプロキシプロトコルの名前ではありません。アプリには、HTTPやSOCKS5など、そのサービスが対応するプロトコルが必要です。家庭のIPを選んでも、ブラウザーのCookie、言語、端末設定は変わりません。
住宅用の接続はどこから来るか
参加端末のネットワーク
一般的な方式の一つは、所有者がインターネット回線の一部を共有する端末を集めるものです。独立したアプリや、別のアプリに組み込まれたSDKというソフトウェア部品によって、端末をプロキシの出口として利用できるようにします。参加に同意する方式のネットワークでは、参加者が報酬やアプリ内の特典と引き換えに、この利用に同意します。
供給元を選ぶ前に、共有される通信について端末所有者にどう説明し、どうすれば参加をやめられるのかを確認してください。
利用者は、こうしてできたプールへのアクセスを購入します。プロキシ事業者は、ゲートウェイの運営、出口の選択、利用できる回線の把握を行います。家庭側は、自分の機器とインターネット契約を保ちます。端末の接続や切断、パブリックIPの変更に応じて、プールも変わる場合があります。
個別の家庭回線
住宅用プロキシに、大規模な参加者プールは必須ではありません。たとえば、特定の場所でオンラインに保ったパソコンなど、1本の家庭向けブロードバンド回線につながる機器でも、プロキシを動かせます。自分の回線を使う場合も、顧客向けに回線を提供する場合もあります。これは一つの出口であり、世界中の場所から選べるアクセスではありません。
動作時間は、機器と回線の管理方法に左右されます。機器をオンラインに保てば長時間の利用を支えられますが、パブリックアドレスは、引き続きインターネット接続事業者の割り当てルールに従います。固定パブリックIPと、長時間稼働する端末は別のものです。
ここには、名称が重なりやすい理由もあります。「固定住宅用」と呼ばれる提供形態は、ISPプロキシを指すことがよくあります。IPはインターネット接続事業者のネットワークに属しますが、プロキシはサーバー設備上で動作します。これは、実際の家庭向けブロードバンド回線から通信を転送する方式とは異なります。
住宅用プロキシの利点
消費者向けネットワークからアクセス
ウェブサイトによっては、家庭向けインターネット接続事業者からの通信より、ホスティングネットワークからの通信を厳しく制限します。住宅用の出口を使うと、接続元ネットワークの種類が変わります。アプリが正しく設定されていてもデータセンターのアドレスが拒否される接続先で、役立つ場合があります。
利点は、適した送信元ネットワークを使えることにあります。ウェブサイトは、引き続きIPの評判、リクエストのパターン、ブラウザーの特徴を評価できます。家庭のアドレスだからといって、すべてのリクエストが自動的に受け入れられるわけではありません。
場所とインターネット接続事業者を選べる
分散型のプールなら、さまざまな国から、対応している場合は地域や都市からも、サイトを確認できます。ISPや、インターネット上のネットワーク運営者を識別する番号であるASNを選べるサービスもあります。同じウェブサイトでも、現地のネットワークによって動作が異なる場合に役立ちます。
地域やネットワークの指定は、サービスの位置・ネットワーク情報に合う、利用可能な接続を選ぶ仕組みです。アドレス自体を選んだ都市へ移動するわけではありません。IPの位置情報は家庭の正確な所在地ではなく、ウェブサイトが別の判定をする場合もあります。フィルターを増やすと選択肢は狭まり、すべてのサービスがすべての組み合わせに対応するわけでもありません。
異なるネットワークにまたがる多数の出口
利用者は、各地で別々に回線を手配する代わりに、一つのサービスから多数の家庭の出口にアクセスできます。異なるネットワークから繰り返し確認したり、独立した収集作業を複数のアドレスに分散したりする際に役立ちます。
宣伝されているプールの大きさと、現在利用できる出口は、別のものを数えています。月間の総数には、異なる時点でオンラインだったアドレスが含まれる場合があります。一つの都市やISPで選べる範囲は、通常、世界全体のプールよりはるかに小さくなります。
住宅用プロキシの制約
速度は選んだ回線に左右される
経路には、プロキシサービスと家庭のインターネット回線が含まれ、それぞれ容量や接続先までの距離が異なります。速いゲートウェイでも、遅い、または混雑した家庭回線を速くすることはできません。同じ都市の二つの出口でも、応答時間が大きく異なる場合があります。
並列処理も、選択した出口の資源を使います。一つの家庭に多くの接続を送っても、帯域幅は増えません。大きなプールは作業の分散に役立ちますが、各アドレスにデータセンターのサーバーと同じ容量を与えるわけではありません。
特定の出口が使えなくなる場合がある
参加者型のネットワークでは、端末の電源が切られたり、共有用アプリが一時停止されたり、回線が切り替わったりします。管理された個別回線なら、より長く利用できる場合もありますが、継続性は機器とインターネットサービスにも左右されます。
事業者が別の適した出口を用意できても、その代わりの出口は別のIPを持ちます。そのため、プールが利用できることは、特定のアドレスを作業中ずっと利用できるという意味ではありません。選択した出口をローテーションやスティッキーセッションがどう扱うかは、後述のアクセスの選択肢で説明します。
選んだ回線が使えなくなった際、事業者がエラーを返す場合も、別のIPに切り替える場合もあります。プログラムがどちらの動作に対応する必要があるかを確認してください。
通信量が費用を決める場合がある
住宅用プールへのアクセスは、転送したデータ量に応じて、通常はギガバイト単位で課金されることがよくあります。この方式では、画像、動画、バックグラウンドのリソースを読み込むブラウザーは、小さなデータ応答を取得するリクエストよりも、多くの有料通信量を消費する場合があります。サービスの課金ルールによっては、失敗した処理の再試行も合計量に加わります。
住宅用という名前だけで、課金方式が決まるわけではありません。個別回線や専用の提供形態では、異なる料金条件が使われる場合があります。通信量に基づくプランで役立つ費用の指標は、遭遇したIPの数だけではなく、作業の完了に必要なデータ量です。
住宅用プロキシの用途
住宅用プロキシは、家庭のネットワークからのアクセス、場所の選択、多数の異なる出口が必要な作業に役立ちます。以下の作業は、特に住宅用プールの利点を生かせます。一方、住宅用アクセスは、長く維持する回線や専用回線でも提供できます。ローテーションは、住宅用全体を定義する性質ではありません。
制限のあるマーケットプレイスからデータを収集
ホスティングネットワークからの通信を制限する大手マーケットプレイスで、商品詳細、販売者のオファー、レビュー、販売状況を収集します。調査では、複数のカテゴリや地域版にまたがる、多数の公開ページが必要になる場合があります。
住宅用プールは、異なる家庭のネットワークの出口を提供し、それらに収集を分散できます。アクセスの受け入れとアドレスの多様性が作業を制限している場合に役立ちます。ただし、サイトのセッション、ブラウザー確認、リクエスト上限への対応は、引き続きスクレイパーが行う必要があります。
偽造品を扱う店舗やブランドの模倣を見つける
疑わしい店舗ページや出品を調べ、ロゴのコピー、無断使用の商品写真、偽造品の販売を確認します。運営者によっては、買い物客と、監視用またはホスティングのネットワークだと分かる訪問者に、異なる内容を表示します。
住宅用の出口を使えば、ブランド監視チームは、対象市場の消費者向けネットワークから公開ページを調べられます。複数の出口を比べると、企業ネットワークから一度アクセスしただけでは表示されない、地域別の店舗ページや内容が見つかる場合があります。
異なる市場で広告配信を確認する
広告が意図した媒体のページに表示され、正しいランディングページに到達し、特定の市場の利用者に表示されるオファーと一致するかを確認します。複数の国や、利用できる地域から繰り返し観測します。
住宅用アドレスは、消費者向けネットワークからの異なる視点を提供し、広告の掲載やリダイレクトを比較できます。訪問者に届く内容の確認です。広告配信はCookie、言語、端末にも左右されるため、それらの設定もテストに含まれます。
地域ごとの検索結果を比較する
事業地域の都市や地域によって、検索結果、地元企業、競合ページにどのような違いがあるかを追跡します。複数の場所に支店を持つ企業には、国単位の結果を一つ確認するだけでは不十分です。
住宅用プールは、地域別の確認を繰り返す際に必要な、供給されている国や都市の出口を提供できます。検索エンジン自身の位置設定やIPの判定も重要です。都市単位のプロキシを選んでも、正確なGPS座標が設定されるわけではなく、特定の地区の結果が保証されるわけでもありません。
地域別の航空便・ホテルのオファーを比較する
さまざまな市場に表示される航空運賃、ホテルの空室、通貨、予約条件を収集します。旅行比較サービスでは、日付、利用人数、その他の検索条件をそろえて、同じ旅程や宿泊を比べる必要があります。
住宅用の出口を使えば、供給されている場所の消費者向けネットワークから、その検索を繰り返せます。表示されるオファーの地域差を観測するために役立ちますが、安い運賃を保証したり、需要、アカウントの状態、タイミングによる価格変動を取り除いたりするものではありません。
アクセスの選択肢
住宅用ネットワークでは、家庭のIPを共有するプールへのアクセスが一般的に提供されます。サービスがリクエストの設定に合う、利用可能な回線を選びます。共有プールは複数の利用者に提供され、プール自体が専用のアドレスを約束するわけではありません。セッション方式の主な選択肢は、出口を切り替える方式と、一時的に同じIPを保つ方式です。
リクエストへのIPの割り当て方
IPローテーション
サービスは、リクエストごと、新しい接続ごとなど、所定のローテーションルールでプールから出口を選びます。別々のリクエストが、異なる家庭回線を通る場合があります。
同じIPを必要としない、独立したリクエストに適した方式です。以前使ったアドレスが再び選ばれる場合もあります。
スティッキーセッション
同じセッション識別子を使うリクエストは、サービスのセッションルールの範囲内で、その回線を利用できる間、同じ出口IPを使います。これにより、操作の各段階で予定されたIP変更を行わずに、一連のページを扱えます。
家庭回線がオフラインになると、そのIPを維持できません。スティッキーセッションは、IPを永久に借りることではなく、そのアドレスを自分だけが使うという意味でもありません。
作業に合うセッション方式を選んでください。独立したリクエストにはIPローテーション、同じウェブサイト上の一連の操作にはスティッキーセッションが適しています。