Ограничения использования прокси

Что может ограничивать провайдер

Одни ограничения относятся к ресурсу, который расходуется за определённый период. Другие определяют допустимую нагрузку в конкретный момент или решают, разрешено ли само подключение. Эти различия полезно понимать, даже если в описании тарифа выделены только один-два параметра.

С помощью этих правил провайдер распределяет пропускную способность сети и вычислительные ресурсы, контролирует расходы и ограничивает нежелательную деятельность. Результат у правил разный: увеличение лимита соединений позволяет держать больше подключений одновременно, а разрешение доступа к закрытому ресурсу делает возможной конкретную задачу. Изменение одного условия не меняет автоматически остальные.

Одновременные соединения

Лимит одновременных соединений определяет, сколько подключений можно держать открытыми в один момент. Браузер или другое приложение может создавать несколько соединений для одной задачи. Поэтому число вкладок, профилей или потоков программы не показывает точно, какая часть лимита уже занята.

Соединения могут оставаться открытыми между запросами, а HTTP/2 позволяет передавать несколько запросов через одно соединение. Снижение числа запросов в минуту не обязательно освобождает уже занятые подключения. В статье об одновременных соединениях разобрано, что занимает места в этом лимите и почему его нельзя приравнивать к количеству запросов.

Ограничения могут влиять друг на друга. Если большой ответ передаётся дольше, его соединение может дольше оставаться занятым. Программа, продолжающая запускать новую работу, способна достичь лимита соединений даже при прежней частоте запросов. Дополнительный параллельный запуск в такой ситуации может увеличить ожидание и число отказов без роста объёма выполненной работы.

Заблокированные сайты и приложения

Провайдер может закрывать доступ к отдельным сайтам, адресам или действиям. Ресурс может находиться в его чёрном списке, даже при безлимитном трафике и свободных соединениях. У разных продуктов одного провайдера условия доступа тоже могут отличаться. В статье о заблокированных сайтах и приложениях объясняется, откуда берутся такие списки и от чего зависит доступ к конкретному ресурсу.

Приложение может обращаться к нескольким ресурсам: главная страница открывается, а отдельная функция не работает. Кроме того, сам целевой сайт может вводить свои ограничения, даже когда провайдер прокси разрешает доступ. Чтобы разобраться в отказе, сначала нужно определить, какой ресурс недоступен и какая сторона отклонила запрос.

Заблокированные порты

Доступ к сайту не означает, что доступны все сетевые службы на том же сервере. Провайдер может пропускать веб-трафик и блокировать порт отправки почты. Здесь важен порт назначения, который запрашивает приложение. В статье о заблокированных портах объясняется его отличие от порта подключения к самому прокси.

Поддержка транспорта — ещё одна часть условий доступа. TCP и UDP передают данные разными способами, и доступ к TCP-порту не подтверждает доступ к UDP-порту с тем же номером. Нужный транспорт должен поддерживаться продуктом и быть разрешён. Новые IP или увеличение числа соединений не заменяют отсутствующее разрешение.

Объём данных, скорость и количество запросов

Объём трафика

Трафик может быть безлимитным или предоставляться в пределах квоты — это зависит от провайдера и продукта. Некоторые провайдеры продают определённый объём данных, например месячный пакет в гигабайтах. Для такого пакета важны срок действия, момент обновления квоты и возможность переноса неиспользованного остатка. Эти правила учёта относятся к продуктам с квотой трафика и не являются общим условием работы любых прокси.

Размер сохранённого результата плохо подходит для оценки трафика. Чтобы получить короткую строку с ценой или названием товара, программе может понадобиться загрузить страницу целиком. Браузер дополнительно запрашивает изображения, скрипты и другие файлы. Повторные попытки могут снова передавать данные. Измерение обмена реального приложения помогает оценить нагрузку на сеть. Если продукт оплачивается по трафику, дополнительно проверьте, какие переданные данные провайдер включает в расчёт.

Скорость передачи

Ограничение скорости определяет, сколько данных может пройти за единицу времени. Скорость указывают в битах в секунду, например Мбит/с, или в байтах в секунду, например МБ/с. В одном байте восемь бит: 80 Мбит/с соответствуют 10 МБ/с без учёта служебных данных протоколов. Это единицы скорости; месячный пакет в гигабайтах описывает другой параметр.

Нужно понимать, к чему относится указанная скорость. Пропускная способность порта сервера сама по себе не означает, что такую скорость получает каждый клиент или каждое соединение. Несколько загрузок могут делить общий лимит. На фактическую скорость также влияют маршрут, целевой сервер и подключение самого клиента, поэтому установленный провайдером максимум не гарантирует такой результат для каждой загрузки.

Вместе со скоростью передачи важно время ответа. Сервер может заставить приложение ждать небольшой ответ, хотя пропускной способности для передачи этих данных достаточно. Для крупных загрузок особенно важна устойчивая скорость. При множестве коротких запросов сильнее могут влиять ожидание ответа и допустимая частота обращений.

Пакет запросов и частота обращений

Пакет запросов определяет, сколько учитываемых операций включено в услугу. Лимит частоты определяет, насколько часто их разрешено отправлять. Большой оставшийся пакет сам по себе не означает, что его можно целиком израсходовать за один короткий всплеск активности. Эти два ограничения могут существовать независимо, в том числе у продукта без оплаты за гигабайты.

Нужна и точная единица учёта. Клик, посещение страницы, HTTP-запрос и завершённая задача сбора данных — разные события. Одно посещение страницы может вызвать множество HTTP-запросов, а одна задача управляемого API — несколько попыток, которые выполнит провайдер. Списание этих попыток из пакета клиента зависит от правил учёта конкретного продукта.

У ограничения частоты есть интервал измерения и правила для кратких всплесков. Деление минутного лимита на шестьдесят даёт среднее значение, но не объясняет, как сервис обработает пачку запросов, отправленных одновременно. Распределение допустимой работы во времени помогает уложиться в частоту без изменения общего объёма. Уже израсходованный пакет запросов от этого не восстанавливается.

На кого распространяется лимит

Число становится полезным, когда понятно, кто делит указанный лимит. Провайдер может установить его для аккаунта, заказа, отдельного IP прокси, разрешённого IP клиента или другой определённой группы. Например, общую скорость аккаунта делят программы, которые через него работают. Выдача этим программам разных IP, видимых сайту, не создаёт отдельный лимит скорости для каждой.

Одновременно могут действовать несколько уровней. Сервис может ограничивать каждый IP прокси и дополнительно весь пакет. Распределение работы между адресами помогает использовать возможности отдельных IP, но общий предел пакета сохраняется. Лимит, привязанный к публичному IP клиента, также могут делить несколько устройств, выходящих в интернет через этот адрес.

Имеют значение и правила продукта. Обычное подключение через прокси, управляемый API сбора данных и другая сеть того же провайдера могут иметь разные квоты и разрешения. Единицей учёта у API может быть задача или результат, а не сетевое соединение. Поэтому нужны ограничения именно выбранного продукта, включая настройки, применённые к вашему аккаунту.

Что происходит при достижении ограничения

Реакция сервиса зависит от правила. При достижении ограничения скорости данные могут продолжать передаваться с установленной скоростью. При превышении частоты запросов лишние обращения могут ожидать обработки или отклоняться. При исчерпании числа соединений сервис может отказывать в новых подключениях, сохраняя действующие. В продуктах с ограниченным пакетом трафика или запросов его исчерпание может потребовать продления либо дополнительной покупки; доступные варианты определяются условиями провайдера.

У слова «безлимитный» должен быть понятный предмет: трафик, запросы или соединения. Каждый вариант описывает свой параметр. При безлимитном трафике могут сохраняться ограниченная скорость передачи и лимит соединений. Если провайдер предусматривает изменение доступного лимита по условиям добросовестного использования после длительной высокой нагрузки, это тоже часть условий продукта. Само слово «безлимитный» не описывает весь набор правил.

Явное сообщение провайдера полезнее общего сообщения об ошибке. HTTP 429 означает, что ответивший сервис считает количество запросов слишком большим по своим правилам. Сначала выясните, пришёл ли ответ от прокси-сервиса или от целевого сайта. Тайм-аут может возникнуть по другой причине, в том числе из-за медленного целевого сервера или сетевой неполадки. Статистика использования, подробности ошибки и время попытки помогают отличить исчерпанный лимит от сбоя на другом участке.

Многократная повторная отправка отклонённых запросов способна усилить проблему с частотой и дополнительно расходовать пакет. Полезное изменение направлено на установленную причину: снизить темп отправки, закрыть ненужные соединения, пополнить исчерпанную квоту или уточнить разрешение на нужный ресурс. Увеличение пакета помогает тогда, когда меняет именно это условие.

Как сопоставить ограничения со своей задачей

Начните с нужного результата и срока выполнения. Для условного расчёта возьмём задачу из 6000 HTTP-запросов за 30 минут со средним ответом 0,5 МБ. Это в среднем 200 запросов в минуту и около 3 ГБ данных в ответах при десятичных единицах измерения. В оценку пока не входят исходящие данные, дополнительные ресурсы браузера и повторные попытки. Их нужно учитывать, если они возникают в реальной задаче и включаются в расчёт сервиса.

Из этих итоговых чисел ещё нельзя определить нужный лимит соединений. Проверьте фактическую параллельную работу приложения и время, в течение которого соединения остаются занятыми. Учтите другие программы с общим лимитом и краткие всплески при одновременном запуске задач. Объём данных, частоту запросов и одновременные соединения измеряйте отдельно: один счётчик не заменяет остальные.

Проводите тест на выбранном продукте и нужных ресурсах, проверяя функции приложения, необходимые для завершения задачи. Короткая успешная проверка подтверждает выполнение одной операции. Проверка задачи в рабочем режиме дополнительно показывает длительную нагрузку, всплески и потребности приложения целиком. Оставляйте запас с учётом колебаний, обнаруженных при тестировании: среднее значение не описывает максимальную нагрузку.

Если условие остаётся неясным, передайте поддержке конкретное описание: продукт, целевые серверы, порты назначения и транспорт, ожидаемый объём данных, частоту запросов, пиковое число соединений и точную ошибку, если она возникает. Так провайдер сможет проверить нужный лимит или разрешение. Задача выбора — сопоставить заявленные возможности сервиса с работой, которую вы планируете выполнять.