Правила допустимого использования прокси

Скрейпинг: что меняется, если страница требует входа?

Допустим, компания собирает цены с сайта поставщика. Часть цен открыта всем, а оптовые цены появляются после входа в её клиентский аккаунт. Для компании это одна задача — мониторинг цен. Но если AUP разрешает собирать только общедоступные данные, две части задачи оказываются по разные стороны запрета. Наличие собственного рабочего аккаунта не отменяет ограничения прокси-провайдера.

Правило, допускающее разрешённый доступ к непубличным данным, позволяет оценивать такую задачу иначе. Тогда важно, есть ли у клиента разрешение именно на сбор. Право просматривать страницу аккаунта, выгружать её содержимое и распространять полученные сведения — отдельные вопросы. Подписка, по которой сотрудник читает материалы, не обязательно разрешает программе копировать их и перепродавать.

Другие пункты относятся к способу сбора. В опубликованных AUP встречаются прямые требования соблюдать указания robots.txt, ограничения API и частоты запросов на целевом сайте. При таком условии распределение запросов по множеству IP само по себе не делает запрещённый сбор допустимым. Клиент принял это условие договора с прокси-сервисом; из него не следует, что каждое указание robots.txt является законом.

Важен и состав сведений. Открытые цены на товары и опубликованные личные контакты людей — разные данные. AUP может требовать законного основания для сбора персональных данных и более строгих условий для медицинских сведений, данных детей или наблюдения за конкретными людьми. Ограничения могут распространяться и на последующую публикацию либо обучение ИИ. Успешное скачивание страницы не решает вопрос о таком дальнейшем использовании.

В автоматизации оценивают конкретные действия

Названия «скрейпер», «бот» и «инструмент для соцсетей» описывают программу, но мало говорят о её действиях. Одна и та же автоматизация браузера способна проверить объявление или создать фиктивный оплачиваемый клик. В опубликованных AUP эти действия различаются: поддержка задачи из левого столбца не означает разрешения на действия из правого.

Это же объясняет, почему запрет спама действует даже при закрытых почтовых портах. Сообщения можно отправлять через формы сайта, комментарии или личные сообщения. Закрытый SMTP-порт перекрывает один способ отправки почты, но не все способы нежелательной рассылки.

К прямым злоупотреблениям относятся brute force — перебор возможных паролей — и credential stuffing: проверка украденных пар логин–пароль. Правила также запрещают фишинг, проверку украденных платёжных карт, распространение вредоносного ПО, DDoS-атаки и незаконный контент, включая эксплуатацию детей и нарушение авторских прав. Здесь запрещено само действие: даже небольшое число попыток может нарушать AUP, почти не расходуя трафик.

Ограничения, которые не сводятся к атакам и мошенничеству

В AUP есть и коммерческие ограничения. В реальных опубликованных перечнях встречаются оплачиваемые опросы, торговля игровыми предметами, сайты стриминга, торговля криптовалютой, азартные игры и контент для взрослых. Это примеры правил разных сервисов, а не единый отраслевой запрет. Провайдер может отказаться обслуживать определённую деятельность, не утверждая, что любое её проявление является преступлением.

Ещё одно конкретное ограничение — перепродажа. Для продажи клиентам доступа к арендованным прокси может требоваться отдельное соглашение, а стандартный договор может вообще её запрещать. Функция субпользователей в панели этого вопроса не решает: отдельные реквизиты могут быть предназначены для собственной команды клиента. Агентство, использующее прокси для подготовки отчётов, и компания, продающая сам доступ к прокси, оказывают разные услуги.

Некоторые условия защищают сам прокси-пул. Они запрещают передавать полученные сведения о его адресах и узлах в базы обнаружения прокси, оценки репутации IP или блокировки трафика. Например, аренда доступа для составления списка адресов, с которых прокси обращаются к сайтам, и пополнения базы детектирования прокси может нарушать такой пункт, хотя клиент никого не атаковал. Ограничение защищает коммерческую ценность сети.

Поэтому AUP нельзя свести к перечню преступлений. Такие пункты могут определять совместимость законной бизнес-модели с конкретной услугой. Переход от внутреннего исследования к перепродаже или от сбора открытых цен к созданию базы сведений о людях способен изменить оценку по договору, даже если программа и настройки прокси остались прежними.

Даже тест своего сайта может требовать согласования

Компания наняла подрядчика проверить свой сайт на уязвимости. Она вправе разрешить такую проверку, но не распоряжается прокси-сетью подрядчика. В опубликованных правилах прокси-сервисов встречается прямое требование получить письменное согласие провайдера перед поиском уязвимостей и стрессовыми или нагрузочными тестами. Поэтому разрешения владельца сайта бывает недостаточно для выполнения задачи.

Сеть, через которую идёт проверка, тоже получает нагрузку и возможные жалобы. Сканирование может затронуть системы за пределами согласованной цели, а нагрузочный тест — общий хостинг или защитные сервисы. Если провайдер допускает такие проверки, согласование целей, методов и сроков определяет, какой трафик он согласился передавать. Общее описание «исследование безопасности» этого объёма работ не устанавливает.

Как действия через прокси превращаются в жалобу

Целевой ресурс видит IP, с которого подключился прокси. Если оператор замечает перебор паролей или сканирование сети, его записи первоначально указывают на этот адрес. Жалоба может попасть прокси-провайдеру либо хостингу, который предоставляет адрес и сервер. Во втором случае продавец прокси получает претензию уже от собственного поставщика.

В опубликованной документации хостингов показано, какие сведения могут прилагаться. Запись о сетевом сканировании содержит время, IP источника, IP назначения и порт назначения. Например, серия подключений с одного адреса к порту 22 на разных серверах может быть отмечена как сканирование SSH-сервисов. Для потока трафика, перегружающего ресурс, могут приводиться число пакетов в секунду и сводка по адресам назначения. Эти записи описывают разные инциденты и требуют разных объяснений.

Затем провайдеру нужно сопоставить внешнее событие с действиями клиента. Для выделенного адреса в этом может помочь его назначение, а для общего пула или ротации одного IP бывает недостаточно. Клиенты могут использовать один адрес в разное время или одновременно. Различать подключения помогают точное время с часовым поясом и, когда это уместно и сведения доступны, порты источника. Возможность сопоставления зависит от записей, которыми действительно располагает сеть.

Время поступления жалобы отличается от времени действий, о которых в ней говорится. Когда поддержка пишет клиенту, задача уже может не работать, хотя указанный трафик она отправляла раньше. Поэтому проверка только текущих процессов или работоспособности прокси в данный момент не отвечает на содержание жалобы.

Для такого разбора прокси-провайдеру не обязательно читать каждую HTTPS-страницу. При обычном TLS-соединении клиента с сайтом через прокси-туннель пути страниц, передаваемые пароли и содержимое ответов зашифрованы. Целевой ресурс может предоставить записи со своей стороны, а провайдер или хостинг — доступные ему сетевые сведения. У управляемого браузера или API скрейпинга, который сам обрабатывает страницы, другая роль и другой доступ к содержимому.

Почему один сайт может перестать открываться, а остальные работают

Применение правил не всегда означает отключение аккаунта. В опубликованном порядке рассмотрения жалоб предусмотрено временное ограничение только того сайта или хоста, который указан в жалобе. Остальной трафик может продолжать проходить. В такой ситуации чекер показывает рабочее подключение, хотя основная задача клиента не может обратиться к нужному ресурсу.

Есть и предварительные меры. Некоторые сервисы контролируют частоту запросов к чувствительным направлениям, например страницам входа в банки, и вводят дополнительные ограничения при чрезмерной активности. Поэтому категория сайтов может быть доступна при обычном использовании, но не для неограниченного потока автоматических запросов. Это контроль обращений к конкретным ресурсам, а не обязательно месячный лимит трафика.

В этой точке AUP и правила справедливого использования могут пересекаться, но причина вмешательства остаётся важной. Сборщик цен способен перегрузить общий ресурс, выполняя разрешённую задачу. А перебор паролей нарушает AUP и при гораздо меньшем объёме. Покупка дополнительного трафика помогает в первом случае лишь тогда, когда увеличивает ресурсы, которых не хватает для работы; второе действие она не разрешает.

Поставщик инфраструктуры может ввести более широкое ограничение. В правилах хостингов описана блокировка отдельного IP, нескольких адресов или целого сервера после атак и сканирования. Продавцу прокси на такой инфраструктуре может потребоваться урегулировать инцидент с хостингом до восстановления работы. Смена IP прокси при продолжении тех же действий сохраняет причину проблемы.

Единого порядка предупреждений тоже нет. Одни правила предусматривают попытку решить проблему с клиентом и одновременно сохраняют право приостановить услугу после первого нарушения. В опубликованных системах учёта отдельно различаются внешняя жалоба, выявленное нарушение AUP и проблема с мошеннической оплатой. Клиенту нужны причина и объём ограничения: одного статуса «приостановлено» для этого недостаточно.

Если трафик отправил подрядчик или другой пользователь

Реквизиты прокси могут быть установлены в нескольких программах или переданы агентству. Условия провайдера могут возлагать на владельца аккаунта ответственность за действия через этот доступ. Провайдер работает с клиентом, купившим услугу, поэтому само объяснение, что программу запускал подрядчик, не решает вопрос по инциденту.

Практическая задача — установить, какая программа или человек использовали реквизиты в указанное время, и остановить соответствующие действия. При утечке скомпрометированный доступ нужно отозвать или заменить. Отдельные реквизиты и записи по задачам, если сервис их поддерживает, упрощают эту работу. Исключения из AUP они не создают.

Отдельные запреты относятся к обходу правил самого провайдера: новым аккаунтам взамен заблокированных, получению повторных пробных периодов вопреки условиям и обходу проверки личности. Новый аккаунт или заново назначенный IP не превращают ту же запрещённую операцию в разрешённую.

Что происходит с оплаченным пакетом и остатком

Денежные последствия бывают разными. Первое — сбор за работу по рассмотрению жалобы. Второе — потеря неиспользованного объёма услуги при прекращении договора за нарушение. Третье — обязанность возместить суммы по определённым требованиям третьих лиц или расходы, вызванные действиями клиента. Сумма покупки прокси-пакета не обязательно ограничивает все эти обязательства.

Это реальные различия договорных условий. В опубликованных документах встречаются потеря неиспользованных кредитов при прекращении за нарушение и другой порядок расчёта, когда провайдер сам прекращает услугу без нарушения со стороны клиента. Некоторые условия также прямо указывают, что приостановка для проверки не продлевает автоматически подписку или срок действия кредитов. Поэтому неработающий аккаунт не обязательно означает остановку оплаченного срока.

Единого отраслевого размера сбора за рассмотрение жалобы нет. Его оплата погашает предусмотренное договором начисление, но не покупает разрешение продолжать запрещённые действия и не гарантирует восстановление. При этом само поступление жалобы не определяет все денежные последствия. Для расчёта важны основание ограничения или прекращения услуги и соответствующие условия об оплате, с учётом прав, которые нельзя исключить по закону.

Что отправить в ответ на обращение поддержки

Поддержке нужен ответ о действиях, описанных в жалобе. Сообщения «прокси работает», «пакет оплачен» и «мы занимаемся только скрейпингом» не объясняют, откуда появились указанные подключения. Полезный ответ связывает событие с конкретной задачей клиента и сообщает, что сделано.

1. Приостановите затронутую задачу и сохраните её настройки и доступные журналы. Используйте время самих действий с часовым поясом, а не время получения сообщения.
2. Установите программу, задание по расписанию, сотрудника или подрядчика, использовавших доступ. Сопоставьте адрес назначения и IP прокси со своими записями. Недостающие сведения запросите через поддержку провайдера.
3. Опишите причину и внесённое исправление: например, задача остановлена, непредусмотренное направление удалено или скомпрометированный доступ отозван. Для ранее согласованного теста приложите письменное разрешение с объёмом работ.
4. Уточните, какое ограничение сохраняется и что провайдер требует для возобновления разрешённой работы. Не запускайте ту же операцию с другого IP, пока причина не устранена.

Провайдер может принимать ответ через тикет, форму в панели или отдельную процедуру рассмотрения. У некоторых сервисов текст жалобы и связанный с ней статус доступны через API. Это способы работы с инцидентом; единого срока восстановления они не устанавливают. Срок рассмотрения ответа клиента тоже отличается от обещания вернуть услугу в работу.