Что такое прокси: как работают, какие бывают и для чего нужны

Что такое прокси

Прокси — это посредник, через который ваш софт, скрипт или бот обращается к сайтам. Софт связывается с прокси, прокси — с нужным сайтом, а затем передаёт ответ обратно.

За прокси стоит компьютер или другое устройство, подключённое к интернету, и софт, который передаёт данные. Такое устройство часто называют прокси-сервером. Для обращения к сайтам прокси использует IP-адрес, доступ к которому вы получаете при покупке.

Зачем вашему софту другой IP-адрес

У вашего подключения к интернету есть адрес — IP-адрес. Его видит сайт, когда ваш бот обращается к нему напрямую. Если бот работает через прокси, сайт получает подключение с IP-адреса прокси.

Сайт может учитывать IP, когда определяет страну посетителя или ограничивает количество обращений с одного адреса. Поэтому для работы софта может иметь значение, с какого IP он обращается к сайту.

Например, несколько ботов на одном компьютере обычно выходят в интернет с одного IP. Если каждому нужен отдельный адрес, это можно настроить через прокси. Для другой задачи может понадобиться адрес определённой страны или возможность менять IP во время работы. Под эти требования и выбирают прокси.

Что вы получаете после покупки прокси

Покупая прокси, вы получаете доступ к одному или нескольким IP-адресам для работы своего софта. Когда бот подключается через прокси, сайты видят эти адреса вместо IP вашего обычного подключения. Компания, которая предоставляет такой доступ и поддерживает работу сервиса, называется прокси-провайдером.

Для подключения провайдер выдаёт адрес прокси и порт. Например, запись 192.0.2.40:8080 содержит адрес 192.0.2.40 и порт 8080. Порт — это номер, который указывает, к какой службе на этом адресе подключаться. В нашем случае — к прокси.

Для доступа могут также понадобиться логин и пароль. Провайдер выдаёт их вместе с адресом и портом, а вы вносите эти данные в настройки софта. На рисунке ниже показано, какое значение в какое поле попадает.

После настройки бот сможет обращаться к сайтам через прокси. Остальные приложения на компьютере продолжат работать так, как настроены у них подключения. Например, бот может использовать прокси, а браузер — ваш обычный интернет. Покупка прокси сама по себе ничего не переключает: важно указать его в том софте, для которого он нужен.

Как работает подключение через прокси

Чтобы понять, что изменится после настройки, сравним обращение к сайту с прокси и без него. Это касается и браузера, и бота: оба отправляют сайту запросы и получают ответы. Браузер показывает страницу человеку, а бот обрабатывает полученные данные по заданным правилам. Сам путь подключения можно объяснить на любом из этих примеров — дальше возьмём браузер.

Открываем страницу без прокси

Вы вводите адрес сайта в браузере. Браузер связывается с сайтом и просит прислать страницу — это и есть запрос. Сайт отправляет ответ, а браузер показывает полученную страницу.

Сайт при этом видит IP вашего интернет-подключения. Если вместо браузера с того же компьютера к сайту обратится бот, без прокси он обычно будет использовать тот же IP.

Добавляем прокси

Теперь вы указываете прокси в настройках браузера и снова открываете сайт. Браузер связывается с прокси и сообщает, какой сайт ему нужен. Прокси обращается к этому сайту, получает ответ и передаёт его браузеру. Сайт видит IP прокси вместо IP вашего подключения.

С ботом происходит то же самое. Он продолжает выполнять свою работу: например, публиковать подготовленный пост или проверять наличие новых сообщений. Прокси передаёт его запросы и ответы сайта. Какие действия выполнять и что делать с полученными данными, по-прежнему определяет сам бот.

Почему в настройках один адрес, а IP доступно несколько

Провайдер предлагает много IP, а для настройки бота выдаёт всего один адрес. Это не значит, что вы сможете пользоваться только одним IP: адрес в настройках может вести к одной точке подключения к сервису.

Например, вам выдали proxy.example:8080. Здесь адрес подключения записан словами, хотя он может быть указан и цифрами — как IP-адрес. Вы вносите его в настройки бота вместе с портом. Такой вход в прокси-сервис называют шлюзом.

Бот подключается к шлюзу, а сервис обращается к сайтам с других IP, к которым вам предоставлен доступ. На схеме у одного шлюза показаны два возможных выхода — IP A и IP B.

Как сохраняется и меняется IP, разберём дальше.

Зачем нужны прокси

Прокси используют, чтобы скрыть от сайта свой настоящий IP-адрес, работать с IP нужной страны или закрепить за ботом один IP на всё время работы.

Эти возможности появляются благодаря тому, что к сайту обращается прокси. Сайт видит его IP вместо вашего и по этому адресу определяет страну подключения. А какой IP получит каждый бот и как долго будет его использовать, зависит от выбранных прокси и настроек. При правильном выборе все три задачи можно решать одновременно.

Собирать данные с сайтов

Допустим, ваш бот отслеживает цены в интернет-магазине и проверяет тысячи товаров. Обычный посетитель не открывает столько страниц за короткое время. Если все обращения идут с одного IP, сайт может распознать автоматический сбор и заблокировать этот адрес. Бот перестанет получать данные.

Прокси позволяют распределить обращения между разными IP: часть товаров бот проверяет через один адрес, часть — через другой, и так далее. На каждый IP приходится меньше запросов. Это помогает обходить ограничения сайта на количество обращений с одного адреса и продолжать сбор данных.

Открывать сайты как посетитель из другой страны

Один и тот же интернет-магазин может показывать разные товары, цены и условия доставки посетителям из разных стран. А некоторые сайты вообще закрывают доступ с IP вашей страны.

Через прокси нужной страны сайт видит местный IP вместо вашего. Это позволяет узнать, что магазин предлагает местным покупателям, или обойти ограничение доступа по стране.

Сохранять адрес для продолжительной работы

Некоторые сайты разрешают подключения только с заранее добавленных публичных IP. Продолжительной операции тоже может требоваться один адрес для множества запросов. Прокси с постоянным назначенным IP способен предоставить такой адрес даже при изменении собственного интернет-подключения клиента — если доступ к прокси у клиента сохраняется.

Здесь полезно постоянство адреса. Его замена после каждого запроса противоречила бы цели. Состояние входа на сайт и данные самой программы всё равно нужно сохранять отдельно: один и тот же IP не поддерживает сессию аккаунта автоматически.

Назначать отдельные адреса разным процессам

Если одновременно работают несколько ботов или отдельных задач, каждой можно назначить свой IP через прокси. Так проще разделить обращения к сайтам и понимать, какой адрес используется для какой задачи.

Для разных задач важны разные характеристики прокси. Региональное наблюдение зависит от местоположения, продолжительная работа — от стабильности адреса, независимые процессы — от назначения и совместного использования IP. Дальше разберём эти свойства, чтобы слова «резидентский», «выделенный» и «ротационный» обозначали для вас разные характеристики сервиса.

Откуда берутся IP-адреса прокси

При выборе прокси вы встретите четыре названия: серверные, провайдерские, резидентские и мобильные. Разница между ними — в происхождении IP и в том, через какое подключение ваш бот обращается к сайту.

Серверные прокси (Datacenter) работают на серверах в дата-центрах и используют IP хостинговых компаний. Для сайта это подключение из серверной сети.

Провайдерские прокси (ISP) тоже работают на серверах в дата-центрах, но используют IP провайдеров домашнего интернета. Оборудование серверное, а адрес относится к сети, которая обслуживает обычных интернет-пользователей.

Резидентские прокси (Residential) передают запросы через домашние подключения пользователей. Здесь бот обращается к сайту через устройство в домашней сети и использует IP этого подключения.

Мобильные прокси (Mobile) передают запросы через мобильный интернет — например, через смартфон или модем с SIM-картой. Сайт видит IP мобильного оператора.

Для выбора это важно потому, что сайты могут по-разному относиться к серверным, домашним и мобильным IP. Если сайт ограничивает подключения из дата-центров, для работы с ним могут пригодиться адреса домашних провайдеров или мобильных операторов.

Подробное сравнение этих четырёх типов, их стоимости и особенностей работы — в статье «Типы прокси-сетей».

Кто может пользоваться одним IP

Покупая прокси, важно понимать: этим IP будете пользоваться только вы или его одновременно получат другие клиенты. По этому признаку прокси делятся на общие и выделенные.

Общие прокси (Shared) — один IP используют несколько клиентов провайдера. Ваши боты и чужой софт обращаются к сайтам с одного адреса. Если кто-то отправит слишком много запросов и сайт заблокирует общий IP, ваш бот тоже не сможет обращаться к этому сайту через этот адрес.

Выделенные прокси (Private, или Dedicated) — IP предоставляют только вам на оплаченный срок. Другие клиенты провайдера им не пользуются, поэтому их действия не расходуют лимиты сайта для вашего адреса.

Общие прокси обычно обходятся дешевле. Выделенные выбирают, когда важно пользоваться IP самостоятельно и не зависеть от активности других клиентов на этом адресе. Подробнее о выборе — в статье «Общие и выделенные прокси».

Как сохраняется и меняется IP-адрес

Для одних задач нужен один и тот же IP на недели или месяцы. Для других — частая смена адресов. Поэтому прокси делят на статические и ротационные.

Статический прокси (Static) позволяет пользоваться одним IP неделями, месяцами и дольше. Такой вариант подходит, когда за ботом или аккаунтом нужно надолго закрепить постоянный адрес.

Ротационный прокси (Rotating) меняет IP во время работы. Например, каждый новый запрос может идти с другого адреса. Другой вариант — менять IP через заданные промежутки времени: каждые 10, 20 или 30 минут. Бот продолжает работу, а сайт получает его обращения с разных IP.

Для смены адресов сервис использует пул IP-адресов — набор доступных ему адресов. Когда наступает время замены, сервис выбирает IP из этого набора.

Как временно закрепить IP у ротационного прокси

Иногда боту нужно выполнить несколько действий подряд с одного IP: например, войти в аккаунт, открыть нужный раздел и отправить форму.

Для этого используют sticky-сессию — временное закрепление одного IP. В зависимости от сервиса адрес можно закрепить, например, на 10, 20 или 30 минут. Доступные сроки и условия сохранения IP определяет провайдер.

Так ротационный прокси позволяет менять адреса между задачами и сохранять один IP на время выполнения каждой из них. Подробнее о настройке — в статье «Статические прокси, ротация и sticky-сессии».

Как определяется местоположение прокси

Сайты часто определяют примерное местоположение по базам, которые связывают диапазоны IP со странами, регионами, городами и сетями. Это геолокация по IP. Она представляет собой интерпретацию адреса, а не прямое измерение физического положения посетителя. Разные базы могут давать разные результаты для одного IP, а их записи — меняться со временем.

В подключении через прокси участвуют несколько мест: где находится ваше устройство, где размещён шлюз, откуда трафик приходит к ресурсу и куда база этого ресурса относит полученный IP. Эти места могут не совпадать. Близкий к вам шлюз способен предоставлять адреса, относящиеся к другой стране. Его близость может влиять на первый участок подключения, не определяя местоположение, которое увидит сайт.

Провайдер может позволять выбирать страну, город или конкретную сеть. Городские метки тоже остаются оценками, поэтому название города в панели сервиса не гарантирует, что каждый сайт определит IP именно так.

Какие страны, города и сети можно выбрать, зависит от услуги. Пул с адресами нескольких стран не обязательно позволяет клиенту выбрать одну страну. Наличие выбора страны, в свою очередь, не означает доступности любого её города или оператора. Для региональной задачи важно, какое местоположение ресурс сопоставляет с адресом, который действительно используется.

На содержимое страницы всё ещё могут влиять язык, сохранённые предпочтения, настройки аккаунта и разрешение на определение местоположения устройства. Геолокация IP участвует в этом решении как один из признаков. Статья «Геолокация прокси: выбор страны, города и сети» объясняет связь между этими признаками и возможностями выбора адреса.

Как программа общается с прокси

Протокол — это набор правил, по которым стороны общаются друг с другом. Программа должна уметь попросить прокси обратиться к сайту, а прокси — понять эту просьбу. Адрес и порт указывают, куда подключаться; протокол определяет, что программа передаёт после установления связи.

При работе с HTTP-прокси программа использует правила HTTP для обращения к посреднику. В случае обычного незашифрованного HTTP прокси может принять запрос с указанием ресурса и передать его дальше. Для HTTPS-сайта часто используется HTTP-запрос CONNECT: программа просит прокси открыть туннель к ресурсу, а затем проводит через него зашифрованный обмен между браузером и сайтом.

Название HTTPS-прокси требует уточнения. Оно может означать, что само подключение от программы к прокси защищено TLS — протоколом шифрования, который используется в HTTPS. В некоторых предложениях так обозначают поддержку HTTPS-сайтов через CONNECT. Это разные возможности. Шифрование между браузером и сайтом и шифрование между программой и прокси защищают разные части маршрута.

SOCKS5 предоставляет более общий способ попросить посредника связаться с ресурсом. Он позволяет указать ресурс по IP или доменному имени. Стандарт предусматривает TCP-подключения и механизм передачи UDP, но конкретный провайдер или программа может поддерживать только часть этих возможностей. Сам SOCKS5 не шифрует передаваемое содержимое; приложение может использовать собственное шифрование поверх такого подключения.

Протокол ресурса и протокол прокси не обязаны называться одинаково. Браузер может обращаться к HTTPS-сайту через HTTP-туннель или подходящий SOCKS5-сервис. Важно, чтобы программа и прокси поддерживали нужную схему работы.

Протокол не определяет тип сети и то, меняется ли IP. Например, провайдерский прокси может поддерживать SOCKS5 и сохранять постоянный адрес, а резидентский — поддерживать HTTP и менять адреса. Возможны и обратные сочетания: провайдерские прокси с HTTP и ротацией, резидентские — с SOCKS5 и постоянным IP. Тип сети, протокол и способ смены IP могут сочетаться по-разному.

В статье о протоколах HTTP, HTTPS и SOCKS подробнее разобраны правила общения и их значение для разных приложений.

Как прокси разрешает доступ клиенту

Платному сервису нужен способ отличать клиентов, которым разрешён доступ, от остальных пользователей интернета. Аутентификация помогает прокси-сервису проверить, разрешён ли доступ по переданным данным или IP-адресу подключения.

При использовании логина и пароля программа передаёт данные доступа во время подключения. По ним провайдер может определять клиента, применять ограничения тарифа, а иногда выбирать местоположение или сессию. Пароль прокси относится к прокси-сервису. Он существует отдельно от пароля для входа на сайт, к которому вы обращаетесь через этот сервис.

При доступе по разрешённому IP, или whitelist, провайдер принимает подключения с заранее одобренных публичных адресов. Он проверяет адрес, с которого ваше подключение приходит к прокси. Обычно это не частный адрес внутри домашней или офисной сети. Если публичный адрес изменится, правило для прежнего IP может перестать подходить. Если одним разрешённым публичным адресом пользуются несколько устройств, проверка только по адресу не различает их по отдельности.

Одни сервисы используют аутентификацию по логину и паролю — такой вход часто называют авторизацией. Другие разрешают подключаться по IP, заранее добавленному в список. Некоторые требуют и то и другое: в программе нужно указать логин и пароль, а в панели провайдера — добавить свой внешний IP в список разрешённых.

Эта проверка защищает доступ к прокси. Она не делает общий IP выделенным, не скрывает от сайта ваш вход в аккаунт и сама по себе не шифрует данные. Подробнее о настройке обоих способов — в статье о способах аутентификации на прокси.

Чем отличаются IPv4- и IPv6-прокси

IPv4-прокси обращается к сайту с IPv4-адреса — например, 192.0.2.40. Сайт видит этот адрес. Он записывается как четыре числа, разделённые точками.

IPv6-прокси обращается к сайту с IPv6-адреса — например, 2001:db8::40. Здесь сайт видит адрес другого формата: в нём используются цифры и буквы от a до f, а группы символов разделяются двоеточиями.

При выборе важна совместимость с нужным сайтом. Одни сайты принимают подключения только по IPv4, другие — по IPv4 и IPv6. Чтобы обращаться к сайту с IPv6-адреса, сайт должен поддерживать IPv6.

IPv6-прокси поэтому не являются автоматической заменой IPv4-прокси для любого сайта. Подробнее о выборе и настройке — в статье о прокси IPv4 и IPv6.

Почему Elite-прокси не гарантируют доступ к сайту

В описании услуги или результате проверки вы можете увидеть Elite / High Anonymity. Это означает, что прокси не добавляет в запрос служебные поля, раскрывающие ваш исходный IP или использование прокси. Такая метка описывает одно свойство прокси, а не его общее качество.

Сайт всё равно видит IP прокси. Если адрес есть в базе известных прокси или имеет плохую репутацию, сайт может отклонить обращения с него. Параметры браузера и поведение программы тоже могут влиять на решение сайта. Поэтому Elite не означает, что прокси нельзя распознать, и не гарантирует доступ.

Что означают Elite и другие обозначения старой классификации и что на самом деле проверяют сервисы определения анонимности — разбираем в статье «Уровни анонимности прокси».

Хватит ли ресурсов тарифа для вашей задачи

Клиенту выгодно выполнить больше работы за меньшую сумму. Провайдер оплачивает серверы, IP-адреса, каналы связи и обслуживание; ему нужно покрывать расходы и зарабатывать. Поэтому в каждом тарифе он определяет, сколько ресурсов готов предоставить за указанную цену.

При выборе прокси важно сопоставить эти условия с нагрузкой вашей программы. Даже большой пакет IP может оказаться неподходящим: адресов достаточно, но программа получает ошибки, работает слишком медленно или расходует оплаченный трафик раньше, чем заканчивает задачу.

Обязательно выясните, к чему относится каждый лимит: к одному IP, всему пакету или аккаунту. Если ограничение общее для аккаунта, покупка дополнительных IP сама по себе его не увеличит. А «безлимитный трафик» не означает неограниченную скорость или любое количество одновременных подключений.

Кроме лимитов, важно время отклика — сколько программа ждёт начала ответа на запрос. При долгом ожидании даже небольшие действия выполняются медленно. Если ответ не приходит вовремя, программа может завершить запрос ошибкой тайм-аута — превышения времени ожидания. Пинг до самого прокси не показывает, сколько займёт получение ответа от нужного сайта.

Провайдеры могут ограничивать порты назначения, сайты, приложения или виды деятельности. Запрет порта способен помешать обращению к определённой службе, даже если прокси доступен и проверка клиента прошла успешно. Это ограничения прокси-сервиса. Сам ресурс тоже может отклонять или ограничивать входящие запросы по собственным правилам.

В статье об ограничениях использования прокси объясняется, как эти разные условия влияют на доступный объём работы.

За что платит пользователь

Стоимость прокси может зависеть от количества IP-адресов, объёма переданных данных или числа запросов. Поэтому одинаковая работа программы в разных тарифах оплачивается по-разному.

При оплате за IP вы покупаете доступ к определённому количеству IP-адресов на указанный срок — например, 100 IP на месяц. Такая модель распространена для списков прокси (прокси-листов), закреплённых за клиентом. В течение оплаченного срока каждый новый запрос не увеличивает плату за сами адреса. Входит ли трафик в стоимость и есть ли ограничения по его объёму, указано в тарифе.

При оплате за ГБ вы платите за объём данных, прошедших через прокси. Короткий текстовый ответ расходует мало трафика, а изображения, видео и большие файлы — значительно больше. Чем больше данных передаёт программа, тем быстрее расходуется оплаченный объём.

При оплате за запрос расходы зависят от количества запросов, которые сервис учитывает для оплаты. Здесь важно посмотреть, что именно он считает одним запросом и оплачиваются ли ошибки и повторные попытки. Например, открытие одной страницы может включать отдельные запросы за изображениями и другими её частями.

Отдельно выбирается порядок оплаты. Подписка даёт пакет на определённый срок с регулярным продлением — например, 100 IP или 50 ГБ каждый месяц. Pay-as-you-go означает оплату по мере использования: например, деньги списываются с баланса за израсходованный трафик. Условия срока действия и переноса неиспользованного остатка нужно смотреть в выбранном тарифе.

Чтобы сравнить предложения, оцените свою задачу: сколько адресов потребуется, какой объём данных будет передаваться и сколько запросов выполнит программа. Подробнее — в статье «Модели оплаты прокси».

Что уточнить перед покупкой прокси

Перед оплатой выясните, что будет, если прокси не подойдут для вашей задачи, понадобится заменить адреса или закончится оплаченный срок.

Можно ли сначала протестировать прокси? Есть ли бесплатный или платный тест, сколько он длится и какие прокси вы получите. Тест поможет проверить работу с вашим софтом и нужным сайтом до покупки основного пакета.

Можно ли вернуть деньги? В каких случаях провайдер возвращает оплату и сколько времени даёт на обращение. Особенно важно выяснить, предусмотрен ли возврат, если прокси работают, но не подходят для вашего сайта или приложения.

Можно ли заменить IP-адреса? Когда разрешена замена, сколько она стоит и как часто доступна. Например, можно ли заменить адрес, который работает, но заблокирован на нужном вам сайте.

Что произойдёт при продлении? Сохранятся ли те же IP или вы получите другие. Если вам нужны постоянные адреса, это важно выяснить заранее. Также проверьте, продлевается ли услуга автоматически и что происходит, если не оплатить её вовремя.

Как помогает поддержка? Куда обращаться, если прокси не подключаются или нужный сайт через них не открывается. Уточните, что предлагает провайдер, если проблему не удаётся решить.

Конкретные условия смотрите на странице выбранного тарифа и в правилах сервиса. Подробнее о том, на что обращать внимание, — в статье «Условия прокси-провайдеров».

Как понять, подходят ли вам прокси

Какие прокси подойдут, зависит от вашей задачи. Для одной работы важно неделями сохранять IP-адрес, для другой — регулярно его менять. Одной программе достаточно нескольких подключений, другая создаёт тысячи. Поэтому сервис, подходящий для одной задачи, может оказаться неподходящим для другой.

Разобравшись в характеристиках прокси, вы сможете понять, что предлагает провайдер, какие ограничения имеют значение для вас и что стоит уточнить заранее. А проверка с вашим софтом и нужными сайтами покажет, насколько услуга подходит для реальной работы.