Блокировка сайтов и приложений
Прокси-провайдер может вести чёрный список ресурсов, доступ к которым через его сеть закрыт. Одни адреса попадают туда после жалоб или требований поставщиков инфраструктуры. Другие провайдер добавляет заранее, поскольку считает риск инцидентов слишком высоким.
Это одно из ограничений использования прокси, определяющее, к каким ресурсам сервис пропускает ваш трафик. Сам прокси при этом может быть доступен и правильно настроен, но соединения с адресами из списка он отклоняет.
Как жалоба превращается в запрет доступа
Когда клиент работает через прокси, ресурс получает трафик с выходного IP прокси. Если этот трафик создаёт проблему, владелец ресурса может направить жалобу организации, отвечающей за соответствующую сеть. Прокси-провайдер получит её напрямую либо через хостинг, дата-центр или оператора, у которого использует инфраструктуру.
Такие обращения часто называют abuse-жалобами: это сообщения о предполагаемом злоупотреблении услугой. Поводом могут стать повторяющиеся попытки несанкционированного входа, сканирование или поток запросов, перегружающий систему. Поставщик инфраструктуры может потребовать от своего клиента — прокси-провайдера — прекратить эту активность. В зависимости от правил поставщика и самого инцидента нерешённая проблема может привести к блокировке сервера или сетевого доступа.
Если записи провайдера позволяют установить причастный аккаунт, он может разобраться с этим клиентом и ограничить его доступ. Он также может закрыть доступ к пострадавшему ресурсу для части сервиса или для всех клиентов. Эти меры решают разные задачи: ограничение аккаунта касается отдельного пользователя, а блокировка ресурса предотвращает обращения к тому же ресурсу со стороны других клиентов, на которых действует правило.
Представим государственный портал, на который через прокси-сервис неоднократно поступает нежелательный трафик. После жалобы и требования прекратить такую активность провайдер вносит портал в чёрный список. Позже другой клиент пытается скачать оттуда общедоступный документ и получает ошибку. Этот клиент ничего не нарушал, но общее правило действует и на его подключение.
Почему ресурсы закрывают ещё до инцидента
Провайдеру не обязательно ждать отдельной жалобы по каждому сайту. Столкнувшись с инцидентами на определённых ресурсах, он может заранее ограничить доступ к похожим. Так чёрный список становится не только результатом прошлых проблем, но и средством предотвращения новых.
Возможные потери не ограничиваются разбором одной жалобы. Повторные инциденты отнимают время сотрудников, ухудшают отношения с поставщиками инфраструктуры и могут поставить под угрозу доступность сервиса для других клиентов. Провайдер может решить, что работа с определённой категорией ресурсов не оправдывает эти риски, хотя у части пользователей есть вполне допустимые задачи.
Поэтому общее ограничение может сохраняться и после отключения клиента, из-за которого возникла проблема. Провайдер стремится не допустить повторения. Он может закрыть целую категорию, не выясняя заранее, собирается ли каждый новый посетитель прочитать страницу, войти в свой аккаунт или совершить нежелательное действие.
Какие ресурсы могут попасть в чёрный список
Государственные и финансовые ресурсы — примеры категорий, которые провайдер может закрыть в качестве меры предосторожности. Среди них есть системы, где несанкционированный доступ или нарушение работы затрагивают персональные данные, государственные услуги, аккаунты и деньги. Провайдер может выбрать общее ограничение, поскольку оценивать намерения каждого клиента сложнее, чем запретить подключение к ресурсу.
| Ресурсы | Почему провайдер может ограничить доступ |
|---|---|
| Государственные порталы и системы ведомств | Чтобы снизить риск попыток несанкционированного доступа, сканирования и нарушения работы государственных сервисов. |
| Банки, платёжные сервисы и другие финансовые платформы | Чтобы ограничить возможности атак на аккаунты и финансового мошенничества через прокси-сеть. |
| Другие ресурсы, по которым повторяются жалобы | Конкретный сайт или сервис может попасть в список после инцидентов независимо от своей категории. |
Единого чёрного списка для всех прокси-провайдеров нет. Один сервис ограничивает отдельные домены, другой закрывает категорию целиком. Даже внутри одной компании правила могут различаться между продуктами и сетями. Наличие государственного сайта в списке одного провайдера не означает, что его блокируют все.
Категорию нужно ещё превратить в технические правила. Государственные ресурсы используют разные доменные имена, поэтому запрет адресов с окончанием .gov не равен блокировке всех государственных сайтов. Для определения ресурсов провайдер может вести собственный список или использовать сервис классификации.
Как прокси применяет чёрный список
Чтобы подключить вас к ресурсу, прокси должен знать адрес назначения. При работе через HTTP-прокси программа может запросить туннель к HTTPS-сайту командой CONNECT portal.example:443. Из неё прокси получает имя сервера и порт. В SOCKS5 адрес назначения тоже передаётся при запросе подключения — в виде доменного имени или IP-адреса.
Сервис сопоставляет адрес назначения с правилами доступа. Если подходящее правило запрещает подключение, сервис может отказать ещё до передачи клиентского запроса сайту. Доменное правило проверяет имя, адресное — IP назначения или диапазон. Ограничение по категории может опираться на список доменов или адресов, отнесённых к этой категории.
Для этого прокси не обязан читать зашифрованную страницу. В обычном HTTPS-туннеле адрес назначения известен ещё до начала защищённого обмена с сайтом. Поэтому запрет может сработать без просмотра содержимого страницы, полного пути в URL или пароля, который посетитель собирался ввести.
Важны границы правила. Блокировка одного имени не обязательно закрывает все поддомены той же организации. И наоборот: широкое доменное правило или запрет IP общего сервера может затронуть больше ресурсов, чем тот, по которому пришла жалоба. Адреса сайтов меняются, поэтому чёрный список требует обновления.
Почему доступ зависит от выбранного продукта
У одного провайдера могут действовать разные правила доступа для разных продуктов. Сайт может быть закрыт для дата-центровских или ISP-прокси, доступен через резидентскую сеть либо только через сервис сбора данных.
У некоторых провайдеров доступ к отдельным ресурсам открывается только после KYC (Know Your Customer) — проверки клиента с подтверждением его личности. Также может понадобиться согласование конкретной задачи. Полученное разрешение может действовать только для определённого продукта или ресурса: прохождение проверки не снимает все ограничения аккаунта.
Имеет значение и то, как сервис обрабатывает запросы. При работе через обычный прокси браузер или программа клиента определяет, какие запросы отправлять. В случае scraping API клиент передаёт задание: например, загрузить страницу или собрать данные о товарах. Его выполняет система провайдера, а клиент получает HTML страницы либо извлечённые данные в определённом формате.
В таком сервисе провайдер может выбирать прокси-сеть, задавать заголовки запросов и cookies, повторять неудачные запросы и обрабатывать ответ. Распределение управления зависит от продукта: часть настроек сервис выбирает автоматически, другие клиент может передавать в разрешённых пределах. Провайдер управляет обменом с целевым сайтом в рамках этого задания и может ограничивать допустимые параметры запросов.
Такая организация работы позволяет провайдеру разрешить конкретную операцию, сохранив ограничения на более широкий доступ. Например, сервис может разрешать получение общедоступных цен товаров через API, но закрывать обычное прокси-подключение к тому же домену. Это разрешение не означает, что доступны вход в аккаунт, отправка форм или управление учётной записью. Продукт может поддерживать чтение определённых страниц без поддержки всех действий на сайте.
Поэтому доступ нужно проверять для сочетания продукта, ресурса и предполагаемого действия. Если сайт доступен через API провайдера, из этого нельзя сделать вывод, что он откроется через прокси-пакет той же компании. У самого API тоже есть ограничения. До покупки стоит уточнить, какой продукт допускает вашу задачу и нужна ли проверка клиента или отдельное согласование.
Как это выглядит для клиента
Самый понятный результат — прямое сообщение о том, что доступ к ресурсу запрещён. В других случаях программа показывает лишь ошибку соединения или тайм-аут. Подробность сообщения зависит и от ответа сервиса, и от того, какие сведения приложение выводит пользователю.
Заблокированный ресурс может оставаться недоступным через множество исправных IP прокси. Если одно правило действует на весь пакет, замена адресов не изменит результат. Покупка дополнительного трафика или увеличение лимита одновременных подключений также не меняют правило доступа к ресурсу.
Приложение может перестать работать лишь частично. Например, основная страница использует один домен, а служба входа — другой. Если второй адрес заблокирован, страница откроется, но войти не получится. Так же могут перестать работать скачивание файлов и другие функции, использующие отдельные серверы. Чёрный список применяется к сетевым адресам, к которым обращается приложение, а не просто к его названию.
Чем это отличается от блокировки прокси самим сайтом
Чёрный список провайдера останавливает трафик на пути к целевому ресурсу. Сам сайт может отдельно отклонить трафик, дошедший до его серверов или системы защиты: например, из-за выходного IP или подозрительной активности. В этом случае отказ происходит на стороне ресурса.
Один только HTTP-код 403 или факт неудачного соединения не определяет, кто закрыл доступ. Сообщение провайдера с указанием запрещённого ресурса полезнее, чем сам номер ошибки. Когда причина неясна, для проверки правила поддержке нужны точный адрес, используемая услуга, время попытки и полный текст ошибки.
Есть и другой вид ограничений — блокировка портов назначения. Доменный запрет закрывает доступ к ресурсу, а ограничение порта может мешать определённому виду подключений к множеству разных серверов. Поэтому недоступность сайта или приложения — это результат, у которого может быть несколько причин; чёрный список является одной из них.
Можно ли открыть доступ к ресурсу из списка
Это зависит от причины запрета и от того, кто управляет правилом. Если провайдер закрыл ресурс в качестве меры предосторожности, он может рассмотреть конкретную задачу. Если доступ исключён поставщиком инфраструктуры или постоянным правилом продукта, обычного обращения в поддержку может оказаться недостаточно для изменения запрета.
Если исключения предусмотрены, в обращении стоит указать точный ресурс и объяснить задачу: какие данные или функции нужны, предполагается ли вход в аккаунт и какой будет нагрузка. Тогда провайдер сможет оценить определённый сценарий, а не неопределённую просьбу открыть всю категорию.
Проверка клиента или согласование задачи не обязательно снимают все ограничения аккаунта. Исключение может относиться только к определённому ресурсу или продукту. Даже если прокси-провайдер разрешил подключение, собственные ограничения сайта продолжают действовать.
Чёрный список может меняться по мере поступления жалоб или пересмотра рисков. Ресурс, который раньше открывался, может стать недоступным после добавления нового правила. Если задача зависит от конкретного сайта, до выбора услуги важно выяснить, доступен ли этот ресурс и поддерживается ли нужная операция: количество IP в пакете на этот вопрос не отвечает.