Серверные прокси (Datacenter Proxies)
Серверные прокси передают запросы вашей программы через серверы с IP-адресами хостинговых или облачных сетей. Сайт получает подключение с IP прокси. Браузер, парсер или другая программа продолжает работать на вашем компьютере или сервере.
Datacenter — один из основных типов прокси по происхождению IP. Название указывает на сеть, к которой относится адрес. Такие прокси часто позволяют сэкономить, когда нужно много IP или приходится передавать большой объём данных, если нужные сайты принимают хостинговые адреса.
Откуда берутся серверные IP
Дата-центр — здание с серверами и сетевым оборудованием, для которых обеспечены питание, охлаждение и подключение к интернету. Прокси-провайдер может владеть оборудованием или арендовать его у хостинговой компании. Он запускает на серверах прокси-программы и использует публичные IP хостинговых или облачных сетей для подключения к сайтам.
Один сервер может обслуживать много IP прокси. Адреса разные, но они могут использовать общий процессор и один канал связи. Это позволяет распределить расходы на оборудование между несколькими IP. Поэтому покупка дополнительных адресов не обязательно увеличивает доступную скорость передачи данных или число разрешённых одновременных подключений.
Тип прокси определяется сетью IP, а не только зданием, где стоит сервер. ISP-прокси может работать в том же дата-центре, но использовать IP интернет-провайдера. Резидентские прокси передают запросы через домашний интернет, мобильные — через сотовую сеть. Серверный IP относится к хостинговой сети.
Как происходит подключение
Когда программа загружает страницу через прокси, происходят три действия:
- Программа подключается к прокси, используя адрес, порт и данные доступа, полученные от сервиса.
- Прокси подключается к сайту и передаёт запрос. Сайт видит IP этого подключения — его называют выходным IP.
- Сайт отправляет ответ прокси, а тот возвращает данные программе.
Программа по-прежнему выбирает страницы и обрабатывает их содержимое. Прокси передаёт запросы и ответы. Он сам не собирает данные и не создаёт нагрузку для тестирования сайта.
Сервис может предоставить список прокси или шлюз, который выбирает IP из пула. Во втором случае адрес в настройках программы может отличаться от IP, который видит сайт.
Преимущества серверных прокси
Ресурсы для большого числа запросов
Серверы хостинга и их каналы связи могут обслуживать много подключений и передавать большие объёмы данных. Трафик не проходит через домашнее подключение участника сети или радиоканал мобильного устройства. Поэтому серверные прокси подходят для загрузки множества страниц и крупных наборов данных.
Пропускная способность и время ответа — разные характеристики. Сервер может передавать много данных, но каждый запрос будет занимать больше времени из-за длинного маршрута или медленного ответа сайта. Для вашей задачи важно, сколько времени занимает вся работа и какие у услуги ограничения скорости и подключений.
Большой список IP обходится дешевле
Несколько IP прокси могут работать на одном сервере. Для каждого адреса провайдеру не требуется отдельное домашнее подключение или SIM-карта. Поэтому большие списки серверных прокси часто обходятся дешевле резидентского или мобильного доступа. Сами IP тоже нужно получать и обслуживать: общее оборудование сокращает лишь часть расходов провайдера.
Экономия особенно заметна при регулярном сборе данных и больших загрузках, когда за одну и ту же работу приходится платить многократно. Сравнивать стоит стоимость успешно выполненных задач: дешёвый адрес мало полезен, если через него не удаётся загрузить нужные страницы.
Удобны для работы по расписанию
Прокси-серверы обычно работают круглосуточно. Запланированное задание не зависит от того, оставил ли участник резидентской сети своё устройство подключённым. При статическом доступе программа также может возвращаться к тем же IP при следующих запусках.
Это удобно для ежедневного сбора данных, мониторинга и повторных проверок. Доступность всё равно зависит от оборудования и сети провайдера: обслуживание, неисправность или перегрузка могут прервать соединение.
Ограничения серверных прокси
Сайты могут распознавать хостинговые IP
Сайты используют базы классификации IP и сведения о сетях, чтобы определять адреса хостинговых провайдеров. Для этого им не нужно узнавать ваш собственный IP. Сайт может принять подключение, показать CAPTCHA или отказать в доступе.
Ограничение может действовать на один IP, диапазон адресов или целую сеть, определяемую номером автономной системы (ASN). В последнем случае другой IP из той же сети может получить такой же отказ. Большой список адресов не обязательно содержит много разных сетей.
На IP влияет прежнее и совместное использование
У адреса может быть плохая репутация из-за прежней активности. Передача новому клиенту не стирает эту историю, а при общем доступе тем же IP могут пользоваться другие клиенты и сейчас. Это отдельная причина отказа: правило против всех хостинговых сетей может затронуть даже адрес без известной истории нарушений.
Сайты также могут учитывать cookies, аккаунты, признаки браузера и характер запросов. Смена IP прокси не меняет многие из этих сведений. Поэтому важна причина отказа, а не только частота смены адресов.
Большой пул не означает наличие любой страны
Выбор стран и городов зависит от доступных провайдеру сетей и диапазонов IP. Тысячи адресов в нескольких странах не помогут, если задаче нужна другая локация. При этом хостинговый IP в нужной стране не представляет местного абонента домашнего интернета или мобильной связи.
Для проверки местоположения важно, как сам сайт определяет IP. Его база геолокации может расходиться и с указанием страны у провайдера, и с физическим расположением сервера.
Для чего используют серверные прокси
В следующих примерах прокси решают разные задачи: разделяют сбор данных между адресами, сохраняют постоянный IP или позволяют провести проверку с нескольких IP. Серверная инфраструктура делает такой доступ удобным для регулярной работы и передачи больших объёмов данных.
Обход открытых каталогов и архивов
Парсер может собирать карточки компаний, страницы архивов или документацию из многих источников. Разным процессам можно назначить разные IP прокси. Это полезно, когда источник считает запросы или подключения по IP: при работе с одного адреса все процессы делили бы его лимит.
Серверные прокси позволяют сравнительно недорого получить большой список IP и долго передавать данные. Очерёдью заданий, разбором страниц и частотой запросов к каждому сайту управляет парсер. Добавление IP не увеличивает ресурсы самого сайта.
Повторная проверка цен и наличия товаров
Монитор цен возвращается к известному списку товаров в течение дня. За магазинами или группами товаров можно закрепить отдельные прокси, а статический адрес использовать в следующих проверках. Так сбор данных получает постоянный внешний IP и не зависит от текущего интернет-подключения компьютера, на котором запущен монитор.
Низкая стоимость важна, потому что одни и те же страницы загружаются многократно. Серверные прокси стоит проверить, если нужно часто обновлять данные большого каталога. Небольшому монитору, который нормально работает напрямую, прокси может не дать полезного преимущества.
Получение данных API с разрешённого IP
Некоторые API принимают запросы только с заранее разрешённых адресов. Программа может обращаться через статический серверный прокси, IP которого добавлен в этот список. При переносе программы на другой сервер или в другую сеть API продолжит получать подключения с того же IP прокси.
Это удобно для регулярных выгрузок JSON или XML и больших потоков данных. Прокси предоставляет внешний адрес и передаёт данные; ключ API и обработку ответов обеспечивает программа. Квота, привязанная к ключу или аккаунту, не увеличивается при добавлении IP прокси.
Проверка большого сайта с внешнего адреса
SEO-парсер обходит ваш сайт или сайт клиента: ищет битые ссылки, цепочки редиректов, одинаковые title и ошибки canonical. Сравнив результат обхода с картой сайта, можно также найти страницы, на которые нет внутренних ссылок. Статический прокси даёт проверке известный внешний адрес, который владелец сайта может разрешить в настройках доступа. Этот же IP можно использовать при запуске проверки с другого компьютера.
Ресурсы серверного прокси полезны для большого обхода, но частоту запросов всё равно нужно соотносить с возможностями сайта. Ошибки находит парсер, а прокси обеспечивает подключение. После переезда сайта обход можно повторить с того же разрешённого адреса.
Проверка своего сайта под нагрузкой
Во время согласованного нагрузочного теста можно отправлять запросы через несколько IP прокси: проверять одновременные посещения, длительную нагрузку на API или резкий рост числа запросов. Разные исходящие адреса также позволяют проверить, как ваш сервис применяет ограничения запросов и подключений к каждому IP.
Серверные прокси дают несколько внешних адресов за умеренную плату. Нагрузку создаёт тестовая программа. Важно измерять и ресурсы прокси — пропускную способность и лимиты подключений, чтобы не принять перегрузку посредника за проблему сайта. Несколько IP могут работать на одном сервере и использовать общий канал связи.
Варианты доступа
Нужно различать два признака: сохраняется ли IP и пользуются ли им другие клиенты. Статический адрес может быть общим, а выделенный набор адресов — использоваться с ротацией.
Меняется ли IP?
Статические
Сервис сохраняет назначенный IP, чтобы вы могли использовать его в следующих подключениях. Доступ бывает через фиксированный список прокси или через шлюз, связанный с постоянными адресами. IP можно закрепить за отдельной задачей или сохранять для последовательности действий.
Если программа сама перебирает статический список, момент переключения между прокси выбирает она. Каждый адрес в списке остаётся постоянным.
С ротацией
Сервис выбирает IP из пула и меняет их по своим правилам: например, для нового соединения или через заданное время. Некоторые сервисы предлагают sticky sessions — закрепление одного IP для серии запросов.
Ротация меняет адрес, а не тип сети: серверный пул по-прежнему предоставляет серверные IP. Точный момент смены зависит от настроек ротации услуги.
Кто пользуется IP?
Выделенные — dedicated
Сервис закрепляет IP за одним клиентом. Пока действует это закрепление, другие клиенты сервиса не используют адрес. Вы контролируете активность, которая идёт через него.
На самом сервере при этом могут работать другие IP прокси. Выделенный адрес не обязательно означает отдельное оборудование или канал связи.
Общие — shared
Несколько клиентов используют один IP прокси. Их подключения разделены, но сайт может считать запросы всех клиентов вместе, когда применяет ограничение к адресу. Чужая активность также может влиять на репутацию IP.
Общий доступ позволяет распределить стоимость адреса между клиентами.