Общие прокси: как работают и как выбрать

Общие прокси: как работают и как выбрать

Общие прокси (shared proxies) предоставляют нескольким клиентам сервиса доступ к одним и тем же выходным IP или прокси-подключениям. Через один адрес на сайт могут одновременно приходить запросы от разных покупателей. Клиент оплачивает доступ к услуге, а сервис распределяет общий ресурс между пользователями.

Совместное использование обычно снижает стоимость доступа и позволяет получить больше адресов в пределах одного бюджета. При этом на работу могут влиять чужая нагрузка и действия других пользователей. В обзоре приватных и общих прокси разобраны различия двух моделей; здесь рассмотрим устройство shared-доступа, его преимущества и проверку перед покупкой.

Как устроен общий доступ

Прокси-сервис принимает соединения клиентов и направляет их запросы через доступные выходные адреса. У каждого покупателя могут быть собственные логин, пароль, разрешённые подключения и учёт трафика. Сервис различает клиентов, хотя сайт может видеть у них один публичный IP. Ответы возвращаются по соответствующим соединениям; использование общего адреса само по себе не объединяет браузерные сеансы, cookies и учётные записи на сайтах.

Клиенты получают список IP с портами или подключаются к шлюзу, который выбирает выходной IP из общего пула. Несколько портов шлюза могут использовать один выходной IP. Поэтому считайте разные адреса, которые видит сайт, а не только строки подключения, выданные провайдером.

Shared описывает совместный доступ. Сам адрес при этом может оставаться постоянным или меняться по правилам услуги. В обычном общем пуле удержание IP на время сеанса — sticky session — также не закрепляет его исключительно за одним клиентом. Платный shared-доступ может требовать аутентификации; открытый бесплатный прокси — отдельная модель предоставления услуги.

Вы и два других клиента выбираете 203.0.113.21:8080 в своих прокси-листах. Три независимых соединения приходят прямо к общему прокси. Сайт получает запросы разных клиентов с одним выходным IP 203.0.113.21.
Вы и два других клиента подключаетесь к общему шлюзу. Шлюз выбирает выходные IP из общего пула. В примере ваш первый запрос и запрос другого клиента выходят через 203.0.113.21, а ваш следующий запрос через 203.0.113.34. IP не закреплены исключительно за отдельными клиентами.

Общий доступ в разных типах прокси

Сервер DC: один IP доступен нескольким клиентам.

Серверные прокси: несколько клиентов используют одни IP

Общие серверные прокси работают на серверной инфраструктуре дата-центра. Сервис разрешает нескольким клиентам отправлять запросы через один и тот же адрес. Покупатели могут получить пересекающиеся списки IP либо подключаться к шлюзу, распределяющему запросы по общему пулу.

Один сервер обслуживает много адресов и соединений. Пропускная способность и вычислительные ресурсы распределяются между задачами на этой инфраструктуре. Сервис может ограничивать число клиентов на IP, скорость или параллельные соединения каждого покупателя. От такого распределения зависит, насколько заметна чужая нагрузка.

Для сайта запросы через один выходной IP относятся к одному адресу, даже если в прокси-сервисе у покупателей разные аккаунты. Если сайт ограничивает частоту обращений по IP, в его счётчик могут попадать запросы всех этих клиентов.

Та же серверная модель с обозначением ISP: один IP доступен нескольким клиентам.

Провайдерские прокси (ISP): та же модель с адресами интернет-провайдера

Shared ISP устроены так же: прокси работают на серверах, а доступ к одним выходным IP получают несколько клиентов. Отличается происхождение адресов — они получены у интернет-провайдера. Продукты такого типа также могут продаваться под названием Static Residential.

Клиенту выдают список прокси или параметры доступа через шлюз. При статическом назначении адрес может сохраняться весь оплаченный период, оставаясь общим. Это серверная услуга с провайдерскими IP; её работа не требует, чтобы домашний компьютер владельца адреса оставался включённым.

Происхождение IP может влиять на то, как сайт классифицирует сеть. Совместное использование при этом сохраняется: нагрузку и историю обращений через адрес создают несколько клиентов.

Домашнее подключение через SDK: выходной IP доступен нескольким клиентам общего пула.

Резидентские прокси: общий пул домашних подключений

Для обычных резидентских пулов shared — стандартная модель. Сервис собирает доступные домашние подключения, в том числе через приложения с SDK, и выбирает подходящее устройство для запроса клиента. Покупатель получает доступ к сети устройств вместо постоянного личного списка IP. Специализированные варианты выделения существуют, но для обычного общего пула они не характерны.

За адресом обычно не закрепляют небольшую постоянную группу покупателей. Одно подключение может обслуживать запросы разных клиентов, в том числе одновременно, в пределах правил распределения нагрузки сервиса. Заявление о числе доступных параллельных соединений в тарифе не сообщает, сколько чужих клиентов используют тот же выход.

Популярные страны и города могут получать больше запросов, но и доступных устройств там может быть больше. Фильтры по городу, провайдеру или сети сокращают подходящий набор. Результат зависит одновременно от спроса и доступных подключений: сама по себе менее популярная локация не гарантирует меньшей нагрузки или более стабильного доступа.

Скорость зависит и от домашнего интернет-канала, и от загрузки устройства, и от запросов других клиентов. Владелец подключения тоже пользуется своей сетью; устройство может отключиться. Поэтому один и тот же набор фильтров в разное время способен давать разную задержку, скорость и доступность. Пул может подобрать замену, но сохранение прежнего IP при этом не гарантируется.

Модем с SIM доступен нескольким клиентам.

Мобильные прокси: один модем на нескольких клиентов

В shared-сервисе несколько покупателей могут использовать один модем или телефон с SIM-картой. Например, доступ к одному модему продают троим клиентам. У каждого свои реквизиты подключения, но запросы проходят через общее сотовое соединение. Три клиента не означают три отдельных модема или три гарантированные равные доли скорости.

Пропускную способность определяют качество сигнала, загрузка сети оператора, возможности оборудования и текущий трафик всех пользователей модема. Если один клиент начинает большую загрузку, другим может остаться меньше доступной скорости. Ограничения на каждого пользователя помогают распределять ресурс, когда сервис их применяет.

Переподключение модема затрагивает общее соединение. Если сервис разрешает любому из трёх клиентов запускать такую смену IP, действие одного может оборвать запросы остальных. В других услугах сменой управляет сам сервис по общему расписанию. Поэтому у shared-модема важны права на переподключение и правила удержания адреса.

Отдельно существует CGNAT в сети оператора: один публичный IPv4 могут одновременно использовать разные мобильные абоненты. Это второй уровень совместного использования, который сохраняется и при выделенном модеме. В мобильных пулах через SDK клиенты также могут получать доступ к общей сети устройств; постоянной группы «трое на один модем» в такой модели может не быть.

Преимущества общих прокси

Более низкая стоимость доступа

Расходы на адреса и инфраструктуру распределяются между несколькими покупателями. При сопоставимых типе сети, географии и условиях это обычно позволяет снизить цену доступа. Экономия полезна для регулярных проверок открытых страниц, сбора общедоступных данных и тестовых задач, которым не требуется исключительное использование выходного IP.

Сравнивать стоит предложения, способные выполнить одну и ту же работу. Общий резидентский пул с оплатой трафика может стоить дороже серверного пакета: на цену влияют происхождение IP, объём данных и состав услуги. Выгода shared проявляется в стоимости подходящего рабочего варианта.

Больше IP в пределах одного бюджета

Невысокая цена доступа позволяет приобрести более широкий набор общих адресов. Это особенно заметно у серверных и провайдерских прокси, где сервис продаёт пакеты с определённым количеством IP. Клиент может распределить свои задания между большим числом выходов и не сосредоточивать собственные запросы на одном адресе.

Полезный объём пакета определяется числом разных IP, которые подходят для нужных сайтов и локаций. Дублирующиеся выходы и адреса с одинаковой сетевой блокировкой не дают ожидаемого расширения. Поэтому при выборе большого пакета количество проверяют вместе с его составом и работоспособностью.

Один общий пул может давать доступ к разным локациям

Общий пул с географическими фильтрами позволяет выбирать доступную локацию для очередной задачи без постоянного закрепления отдельного списка адресов за каждым направлением. Это удобно, когда сегодня нужны проверки в одной стране, а завтра — в нескольких других. Подбор доступного выхода выполняет сервис.

Такое преимущество относится к предложениям с общим пулом и нужными фильтрами. У фиксированного shared-списка география задаётся составом пакета. Если планируются короткие задачи в разных местах, стоит проверить, можно ли менять локацию в рамках одного доступа и как это влияет на оплату.

Что учесть при выборе общих прокси

Сколько клиентов могут использовать один IP?

Условный пример: одним IP пользуются три покупателя — вы и два других клиента. Показаны именно люди, а не соединения. Фактическое число других покупателей нужно уточнять у сервиса.

Единого числа нет. Один и тот же shared IP может быть доступен небольшой группе покупателей или клиентам общего пула; состав этой группы может меняться. Сколько других людей смогут использовать адрес одновременно с вами, зависит от конкретной услуги.

Перед покупкой спросите у провайдера: «Сколько других клиентов могут пользоваться каждым IP моего пакета? Есть ли верхний предел?» Если сервис не раскрывает число или не гарантирует ограничение, узнать его только по слову shared нельзя.

Почему сайт ограничивает запросы, хотя я отправляю их редко?

Пример сайта с лимитом пять запросов за одно окно, учитываемых по IP. Один ваш запрос и четыре чужих исчерпывают общий лимит. Следующий запрос получает 429. Это лишь один возможный источник ограничения.

Если сайт считает обращения по IP, в общий счётчик могут попадать запросы других клиентов прокси. Поэтому ограничение способно затронуть вас ещё до того, как собственная программа создаст заметную нагрузку. Лимит вашего тарифа и лимит сайта действуют независимо друг от друга.

Ответ 429 означает ограничение частоты запросов, но не доказывает, что его вызвал другой клиент. Сайт может считать запросы по аккаунту, cookies, IP или сочетанию признаков; ответ также может прийти от самого прокси-сервиса. Запишите источник ответа, время и выходной IP. Если есть заголовок Retry-After, выдержите указанную паузу. Повторяющиеся ограничения при небольшой собственной нагрузке — полезные данные для обсуждения с провайдером.

Может ли рабочий IP попасть под блокировку из-за другого клиента?

После активности другого клиента сайт A блокирует общий выходной IP. Ваши запросы через тот же адрес также получают отказ, хотя соединение с прокси работает.

Да. Чужие действия могут привести к проверкам или блокировке общего адреса уже во время вашей аренды. Ограничение может касаться отдельного сайта, поэтому успешная проверка доступности прокси не подтверждает доступ к нужным страницам. При этом сайт продолжает оценивать и ваши собственные запросы.

До покупки выясните, что сервис делает, если нужный сайт блокирует адрес: меняет адрес, предлагает другую часть пула или считает прокси исправным, если соединение с ним работает. Если ограничение охватывает подсеть или сеть оператора, соседний IP может дать тот же результат. Для задачи, требующей контроля над тем, кто ещё использует выход, shared-доступ этого контроля не предоставляет.

Сколько резидентских IP останется после применения фильтров?

Пример резидентского сервиса с фильтрами по местоположению. Из шести выходов только A и E находятся в Берлине и доступны онлайн. Это не описание настроек ProxyCompass.

В резидентском сервисе с фильтрами по стране, городу или провайдеру нужно оценивать IP, доступные с условиями вашей задачи. Рекламный размер пула может включать адреса, замеченные за месяц во всех странах. Он не показывает, сколько IP доступно прямо сейчас в одном городе или в сети одного провайдера.

Проверьте именно те фильтры, с которыми собираетесь работать. Запишите, как часто повторяются IP, сколько занимает их подбор и что происходит, когда подходящего устройства нет. Сервис может ждать, вернуть ошибку или выбрать замену по своим правилам. Если задаче нужна конкретная локация, проверьте, что замена ей соответствует.

Может ли другой клиент сменить IP общего мобильного модема?

Сценарий относится к общим мобильным прокси на одном модеме с SIM. Если другому клиенту разрешено переподключить этот модем, он может прервать ваш запрос. Это не описание управления серверными или ISP-прокси.

Речь здесь об общих мобильных прокси, у которых несколько клиентов пользуются одним модемом с SIM-картой. Если сервис даёт этим клиентам доступ к смене IP, любой из них может запустить переподключение модема и прервать запросы остальных.

Перед покупкой уточните, кто управляет сменой IP: только провайдер, общее расписание или каждый клиент по специальной ссылке. Если вам важно долго работать с одного адреса, выясните, может ли другой пользователь сменить его в любой момент.

Могут ли другие клиенты замедлить работу прокси?

Возможная ситуация: одна загрузка и одинаковое прошедшее время. При свободном общем канале файл загружен, при высокой нагрузке других клиентов — лишь частично. Прогресс условный.

Да, высокая общая нагрузка может снижать скорость: страницы открываются медленнее, а загрузка файлов занимает больше времени. Насколько это заметно, зависит от запаса пропускной способности и того, как сервис распределяет её между клиентами.

Перед покупкой проверьте скорость в своей программе и на нужных сайтах. Повторите проверку в разные часы с обычной для вас нагрузкой. Так будет видно, достаточно ли скорости для повседневной работы и насколько сильно она меняется.

Как понять, какой пакет выгоднее?

Условный пример: два пакета по десять IP на один срок. Пакет A стоит 20 единиц, для вашего сайта подходят пять IP: четыре единицы за подходящий адрес. Пакет B стоит 30 единиц, подходят все десять: три единицы за подходящий адрес. Это не реальные тарифы.

Для пакетов с фиксированным списком IP сравнивайте цену с количеством адресов, которые подходят для ваших сайтов. Недорогой пакет может оказаться менее выгодным, если значительная часть его IP блокируется нужным сайтом или не подходит для вашей программы.

Во время теста проверьте все IP небольшого пакета и посчитайте, сколько из них подходят для вашей работы. Разделите цену этого пакета на полученное количество и сравните пакеты одинакового срока. Заодно уточните условия замены неподходящих адресов.

Как проверить общий пакет перед расширением

1. Определите нужную конфигурацию и критерии результата

Определите тип сети, страны или города, число разных выходных IP, длительность сессий и количество одновременных задач. Задайте приемлемое время ответа, долю успешных операций и стоимость результата. Для общего модема также определите допустимые перерывы и правила смены IP, а для резидентского пула — точные фильтры.

2. Возьмите небольшой пакет с условиями будущего заказа

Тест должен использовать тот же способ совместного доступа и ограничения, что и основной тариф. Ускоренный демонстрационный доступ с меньшей нагрузкой не покажет работу обычного пакета. Проверьте фактические выходные IP, их происхождение и географию; у списка сравните число записей с количеством разных выходов.

3. Выполните всю рабочую последовательность в разные часы

Проверьте нужные страницы и действия в своей программе, затем повторите их с запланированной параллельностью в разные периоды дня. Записывайте выходной IP, время получения результата, ошибки, повторные попытки, проверки сайта и расход трафика. Отдельно отмечайте недоступность прокси, отказ сайта и потерю сеанса. Проверяйте содержимое ответа: вместо нужных данных может прийти страница проверки или пустой результат.

4. Увеличивайте объём по измеренным результатам

Расширяйте пакет, когда он выполняет задачу в нужных локациях, сохраняет приемлемые показатели в разные часы и укладывается в стоимость успешного результата. Оставляйте ту же модель доступа и проверенные ограничения. Если сбои съедают экономию, сначала определите причину: нехватка подходящих выходов, общий канал, правила сайта или перезапуски модема. Дополнительные IP помогут только тогда, когда устраняют обнаруженное ограничение.

Вернуться в базу знаний