Резидентские прокси (Residential Proxies)

Резидентские прокси передают трафик вашей программы через домашние интернет-подключения. Целевой сайт видит публичный IP, выделенный выбранному домашнему подключению. Это позволяет обращаться к сайту из домашней сети в другом месте, не находясь там лично.

Residential — один из основных типов прокси по происхождению IP. Название указывает, через какую сеть трафик выходит в интернет. Многие сервисы предоставляют такие выходы через большой пул, но резидентский прокси может работать и через отдельное домашнее подключение. Происхождение IP, число его пользователей и порядок смены адреса — разные характеристики.

Как работают резидентские прокси

В сервисе с пулом адресов программа обычно подключается к шлюзу прокси-провайдера. Его адрес служит точкой входа. Шлюз выбирает подходящий резидентский выход и направляет соединение через него.

1. Ваша программа подключается к шлюзу. Данные доступа определяют учётную запись, а параметры географии и сессии — нужное подключение.
2. Шлюз выбирает доступный выход. Например, фильтр страны ограничивает выбор подходящими домашними подключениями в этой стране.
3. Программа на выбранном выходе передаёт трафик через домашний интернет-канал. Целевой сайт видит публичный IP этого подключения, а не исходный IP вашей программы и не адрес шлюза.
4. Ответ возвращается через выбранный выход и шлюз в вашу программу. Браузер или парсер продолжает работать на вашем устройстве.

Таким образом, адрес шлюза и выходной IP выполняют разные роли. Можно сохранять одни настройки шлюза и обращаться через разные домашние выходы в разных соединениях. Локальный адрес устройства внутри домашней сети — не тот адрес, который видит сайт.

Телефон, подключённый к домашнему Wi-Fi, может служить резидентским выходом. Если же исходящее соединение проходит через сотового оператора, выход относится к мобильной сети. Тип прокси определяется сетью, а не видом устройства.

Residential также не обозначает протокол прокси. Программе по-прежнему нужен протокол, который поддерживает сервис, например HTTP или SOCKS5. Выбор домашнего IP не меняет cookie, язык и параметры устройства в вашем браузере.

Откуда берутся резидентские подключения

Сети из устройств участников

Одна из распространённых моделей объединяет устройства, владельцы которых предоставляют часть своего интернет-канала. Отдельное приложение или программный компонент внутри другого приложения — SDK — позволяет использовать устройство как прокси-выход. В сети с добровольным участием владелец соглашается на такое использование в обмен на оплату или возможности приложения.

Перед выбором поставщика проверьте, как владельцу устройства объясняют передачу чужого трафика и как он может прекратить участие.

Клиент покупает доступ к полученному пулу. Прокси-провайдер обслуживает шлюзы, выбирает выходы и отслеживает доступность подключений. Оборудование и договор на домашний интернет остаются у участников. Состав пула меняется, когда устройства подключаются, отключаются или получают другой публичный IP.

Отдельное домашнее подключение

Большой пул участников не является обязательным условием. Резидентский прокси можно организовать на оборудовании, подключённом к одной домашней линии, например на постоянно включённом компьютере в определённом месте. Это может быть собственное подключение или подключение, предоставленное клиенту. Здесь используется один выход, а не выбор адресов по всему миру.

Продолжительность работы зависит от обслуживания оборудования и самого подключения. Постоянно включённое устройство позволяет пользоваться им дольше, но публичный адрес всё равно выдаётся по правилам интернет-провайдера. Длительная работа устройства и закреплённый публичный IP — не одно и то же.

Отсюда возникает и пересечение названий. Под «статическими резидентскими» часто продают провайдерские прокси (ISP): их IP относятся к сетям интернет-провайдеров, но сам прокси работает на серверной инфраструктуре. Это отличается от передачи трафика через реальное домашнее интернет-подключение.

Преимущества резидентских прокси

Доступ из домашних сетей

Некоторые сайты строже относятся к трафику хостинговых сетей, чем к подключениям домашних интернет-провайдеров. Резидентский выход меняет сетевой источник соединения. Это может помочь на сайтах, которые отклоняют адреса дата-центров даже при корректной работе самой программы.

Преимущество связано с подходящей сетью выхода. Сайт также может учитывать репутацию IP, характер запросов и признаки браузера; домашний адрес сам по себе не делает любой запрос приемлемым.

Выбор географии и интернет-провайдеров

Распределённый пул позволяет получать результаты из разных стран, а при наличии соответствующих возможностей — из регионов или городов. Некоторые сервисы также дают выбрать интернет-провайдера или ASN — номер, обозначающий сеть оператора в интернете. Это полезно, когда один сайт по-разному работает в разных местных сетях.

Геотаргетинг выбирает доступное подключение по данным сервиса о его сети и местоположении. Он не переносит адрес в выбранный город. География IP не указывает точное местоположение дома, а сайт может определить её иначе. Дополнительные фильтры сужают выбор; не каждый сервис поддерживает все сочетания параметров.

Множество выходов из разных сетей

Вместо организации отдельных подключений в каждом месте клиент получает доступ ко множеству домашних выходов через один сервис. Это удобно для повторных наблюдений из разных сетей и распределения независимых задач сбора данных между адресами.

Заявленный размер пула и число доступных сейчас выходов — разные показатели. Месячная статистика может включать адреса, которые были онлайн в разное время. Выбор в одном городе или у одного интернет-провайдера обычно значительно меньше общего мирового пула.

Ограничения резидентских прокси

Скорость зависит от выбранного подключения

Маршрут проходит через инфраструктуру прокси-сервиса и домашний интернет-канал. У каждого участка есть своя пропускная способность и расстояние до целевого сайта. Быстрый шлюз не ускорит медленное или загруженное домашнее подключение. Даже два выхода в одном городе могут заметно различаться по времени ответа.

Параллельная работа тоже использует ресурсы выбранного выхода. Дополнительные соединения через один домашний канал не увеличивают его пропускную способность. Большой пул помогает распределить нагрузку, но не придаёт каждому адресу возможности сервера в дата-центре.

Конкретный выход может стать недоступен

В сети участников устройство могут выключить, приложение — приостановить, а подключение — сменить. Отдельная обслуживаемая линия может работать дольше, но её доступность также зависит от оборудования и интернет-канала.

У провайдера может найтись другой подходящий выход, однако у замены будет другой IP. Поэтому доступность пула не означает доступность конкретного адреса на протяжении всей задачи. В блоке «Варианты доступа» ниже объясняется, как с выбранным выходом работают ротация и sticky sessions.

При отключении выбранного подключения сервис может вернуть ошибку или подставить другой IP. Уточните, к какому из этих вариантов должна быть готова ваша программа.

Расходы могут зависеть от объёма трафика

Доступ к резидентским пулам часто оплачивается по объёму переданных данных, обычно в гигабайтах. При такой модели браузер с изображениями, видео и фоновыми загрузками может расходовать значительно больше оплачиваемого трафика, чем запрос небольшого ответа с данными. Повторные неудачные попытки тоже могут увеличивать расход согласно правилам учёта сервиса.

Само слово residential не определяет модель оплаты. У отдельного подключения или выделенного предложения условия расчёта могут быть другими. Для тарифа с оплатой трафика важен объём данных, необходимый для завершения задачи, а не только число использованных IP.

Для чего используют резидентские прокси

Резидентские прокси полезны, когда нужны выходы через домашние сети, выбор географии или множество разных адресов. Следующие задачи особенно хорошо объясняют применение резидентских пулов. При этом резидентский доступ бывает и длительным, и выделенным: ротация не определяет всю технологию.

Сбор данных с защищённых маркетплейсов

Собирать характеристики товаров, предложения продавцов, отзывы и наличие на крупных маркетплейсах, которые ограничивают хостинговый трафик. Исследование может охватывать множество открытых страниц разных категорий и региональных версий сайта.

Резидентский пул даёт выходы из разных домашних сетей и позволяет распределить сбор между ними. Это полезно, когда задачу ограничивают приём запросов сайтом и разнообразие адресов. Работа с сессиями, браузерными проверками и частотой запросов остаётся задачей парсера.

Поиск поддельных магазинов и копий бренда

Проверять подозрительные магазины и объявления: искать скопированные логотипы, чужие фотографии товаров и предложения подделок. Некоторые владельцы таких сайтов показывают разное содержимое обычным покупателям и посетителям из узнаваемых сетей мониторинга или хостинга.

Резидентские выходы позволяют посмотреть открытые страницы из домашних сетей нужных рынков. Сравнение нескольких адресов помогает обнаружить региональные витрины и содержимое, которое не показывается при единственном визите из корпоративной сети.

Проверка показа рекламы в разных регионах

Проверить, появляется ли объявление на нужной площадке, ведёт ли на правильную страницу и соответствует ли предложение тому, что должны видеть пользователи выбранного рынка. Повторить наблюдение из нескольких стран или доступных локальных зон.

Резидентские адреса дают разные точки наблюдения из домашних сетей для сравнения размещений и редиректов. Здесь проверяют то, что получает посетитель. На показ также могут влиять cookie, язык и устройство — эти параметры тоже учитывают в тесте.

Сравнение локальной поисковой выдачи

Сравнивать поисковые результаты, местные компании и страницы конкурентов в городах или регионах присутствия бизнеса. Одной общей выдачи по стране недостаточно для компании с филиалами в разных местах.

В резидентском пуле можно подобрать доступные выходы нужных стран или городов для регулярных наблюдений. Важны также настройки самого поиска и то, как он определяет географию IP: городской прокси не задаёт точные GPS-координаты и не гарантирует выдачу конкретного квартала.

Сравнение региональных предложений авиабилетов и отелей

Собирать цены авиабилетов, доступность отелей, валюты и условия бронирования, которые показываются на разных рынках. Для корректного сравнения сохраняют одинаковые даты, число гостей и остальные параметры поиска.

Резидентские выходы позволяют повторять поиск из домашних сетей доступных регионов. Так можно наблюдать географические различия предложений. Прокси не гарантирует более низкую цену и не отменяет изменения из-за спроса, статуса аккаунта или времени проверки.

Варианты доступа

В резидентских сетях распространён доступ к общему пулу домашних IP: сервис выбирает доступное подключение под параметры запроса. Общий пул — shared — может обслуживать нескольких клиентов и сам по себе не обещает эксклюзивного адреса. Для работы с таким пулом важен выбор между ротацией и временным удержанием одного IP.

Как сервис выбирает IP для запросов

Ротация IP

Сервис заново выбирает выход из пула по правилу ротации: например, для каждого запроса или нового соединения. Отдельные запросы могут проходить через разные домашние подключения.

Этот режим подходит для независимых обращений, которым не нужен один и тот же IP. Повторное попадание на ранее использованный адрес возможно.

Удержание IP — sticky sessions

Запросы с одним идентификатором сессии направляются через тот же выходной IP в пределах правил сервиса и пока подключение доступно. Это позволяет пройти последовательность страниц без плановой смены адреса на каждом шаге.

Если домашнее подключение отключится, удержать его IP не получится. Sticky session не равна аренде постоянного адреса и не означает, что IP используется только вами.

Выбор режима зависит от задачи: ротация удобна для независимых запросов, а sticky-сессия — для последовательных действий на одном сайте.