Логи прокси и конфиденциальность
Сайт может видеть IP прокси вместо вашего адреса, а прокси-провайдер — знать, какой клиентский аккаунт открыл соединение. Это два разных взгляда на один запрос. Замена адреса, который видит сайт, не делает вашу работу невидимой для компании, через которую проходит трафик.
Логирование прокси — это сохранение записей об использовании услуги: соединениях, адресах назначения, объёме трафика, ошибках, а в некоторых продуктах — самих запросах и ответах. Эта статья объясняет практику отрасли. Как и другие правила прокси-провайдеров, условия зависят от конкретного сервиса. Обработка данных в ProxyCompass описана в заключительном разделе.
Что прокси видит при подключении к HTTPS-сайту
Рассмотрим учебный пример: приложение отправляет ставку €180 на аукционе по адресу https://bid.example/lot/218/bids. При обычном прокси-туннеле HTTPS защищает обмен между приложением и сайтом с помощью протокола TLS. Провайдеру доступны IP подключившегося клиента, адрес назначения bid.example:443 и время соединения; он также может учитывать объём переданных данных. Полный URL, выбранный лот, действие клиента, сумма ставки, cookies и ответ аукциона остаются внутри HTTPS. При правильной проверке сертификата и отсутствии перехвата провайдер не может их прочитать.
Домен может стать известен ещё до начала зашифрованного обмена. В запросе HTTP CONNECT обычно указываются имя узла и порт назначения. SOCKS5 принимает как доменное имя, так и IP-адрес: если приложение просит подключиться по имени, прокси получает это имя. Один IP назначения не обязательно указывает на конкретный сайт, поскольку несколько сайтов могут использовать общий адрес.
С обычным HTTP ситуация другая: прокси, передающий запрос, получает доступ к его заголовкам, пути страницы и содержимому. SOCKS5 сам по себе не шифрует данные приложения. HTTPS через SOCKS5 сохраняет защиту HTTPS, а HTTP через SOCKS5 остаётся читаемым.
Сам сайт получает уже расшифрованный запрос. Он видит отправленные ему логин, cookies и поля формы и может узнать прежний аккаунт после смены IP прокси. HTTPS защищает данные при передаче, но не скрывает их от того, кому они предназначены.
Зачем некоторые прокси-провайдеры требуют установить сертификат
Некоторые провайдеры требуют доверять их собственному корневому сертификату для работы отдельных сервисов с проверкой HTTPS-трафика. Это требование провайдера, а не посещаемого сайта, и оно не относится ко всем прокси. ProxyCompass не требует от клиентов установки своего корневого сертификата.
При обычном HTTPS-туннеле содержимое запросов и ответов скрыто от прокси. Если сервису нужно проверять отправляемые данные, применять к ним правила или анализировать ответы сайтов, ему нужен доступ к содержимому. Для этого используется HTTPS-инспекция: сервис расшифровывает проходящий через него трафик.
Корневой сертификат — цифровой документ, который приложение использует как основание для доверия другим сертификатам. Добавляя сертификат провайдера в доверенные, вы позволяете приложению принимать выпущенные им сертификаты посещаемых сайтов. В режиме инспекции прокси предъявляет такой сертификат вместо настоящего сертификата сайта. Без соответствующего доверия обычная проверка сертификата завершится ошибкой.
Прокси устанавливает два отдельных зашифрованных соединения: с вашим приложением и с сайтом. Между ними он читает запросы и ответы. В учебном примере с аукционом ему становится доступен полный адрес https://bid.example/lot/218/bids, номер лота, отправленная ставка €180, cookies и ответ о принятии ставки. Провайдер может видеть, что именно клиент делает на сайте.
Такое требование зависит от конкретного продукта, режима и способа подключения. Оно может встречаться у сервисов автоматического доступа к сайтам или при включении анализа трафика в менеджере прокси. По одной надписи «резидентские» или «дата-центровские» определить это нельзя. Иногда сертификат достаточно передать отдельному скрипту; устанавливать его для всей системы не требуется.
Сам по себе установленный сертификат не направляет весь трафик через провайдера. Описанный доступ возникает при прохождении запросов через сервис с включённой инспекцией. Сертификат, используемый только для проверки собственного HTTPS-адреса прокси, тоже не означает, что содержимое соединения с целевым сайтом расшифровывается.
Возможность читать данные и их сохранение в логах — разные вещи. Сертификат помогает понять, кому доступно содержимое соединения, но не отвечает на вопросы о сроках хранения и доступе сотрудников. Отключение проверки сертификатов также не скрывает данные от сервиса, который их расшифровывает.
Scraping API и удалённый браузер получают содержимое
При работе через Scraping API вы передаёте сервису задание: открыть URL и вернуть страницу или извлечённые данные. Сервис сам подключается к сайту и получает ответ в читаемом виде. Для этого ему не обязательно просить вас установить сертификат: он сам выступает клиентом, который загружает страницу.
Браузер, размещённый у провайдера, работает на его оборудовании. Страницы, cookies и браузерные сессии обрабатываются там, даже если ваше соединение для управления браузером зашифровано. В зависимости от продукта задание может включать полные URL, дополнительные заголовки, cookies, данные форм и инструкции по работе со страницей.
Этот доступ нужен для выполнения задачи. Из него не следует, что каждая страница попадает в архив или сотрудники регулярно читают результаты клиентов. Но важны правила обработки заданий и результатов именно этого продукта: обещание для обычных прокси-туннелей может не распространяться на API или браузер у провайдера.
Для бизнеса чувствительными сведениями могут быть список отслеживаемых товаров, последовательность поисковых запросов или набор объектов исследования. Даже если исходные страницы общедоступны, их подборка и способ использования могут раскрыть коммерческий проект.
Какие сведения могут попадать в логи
Провайдер может вести несколько видов записей. Они не обязаны храниться вместе: соединение может быть связано с номером аккаунта, а электронная почта, заказ и платёж — находиться в других системах.
| Вид записей | Что может сохраняться |
|---|---|
| Соединения | Время начала и длительность, IP подключившегося клиента, IP прокси для обращения к сайту, адрес или домен назначения, порты и ошибки соединения. |
| Использование услуги | Переданные байты, число соединений и итоговые показатели по аккаунту или расчётному периоду. |
| Аккаунт и доступ | Данные регистрации, входы в аккаунт, разрешённые IP клиентов, изменения учётных данных, заказы и сведения о платежах. |
| Поддержка и инциденты | Тикеты, вложения, жалобы сайтов и результаты расследования. |
| Запросы и результаты | Полные URL, заголовки, тела запросов или загруженные страницы, если продукт может их читать и настройки предусматривают запись. |
Это возможные категории, а не обязательный набор для каждого провайдера. Сервис может обработать значение, чтобы установить соединение, и не сохранить его. Он также может считать общий расход трафика без постоянной истории всех адресов назначения.
Под IP клиента в журнале понимается адрес устройства или посредника, который непосредственно подключился к прокси. При прямом подключении это обычно публичный IP клиента; при наличии другого посредника перед прокси — адрес этого посредника.
Что именно обещает формулировка no-logs
Обещание «мы не храним содержимое трафика» совместимо с записями о доменах назначения, времени соединений и расходе услуги. «Мы сохраняем только итоговые показатели использования» — уже другая модель. Короткая надпись no-logs не объясняет, какое из этих обещаний даёт провайдер.
Сопоставляйте формулировку с перечнем данных и названием продукта. Исключены из хранения страницы, отдельные соединения, история адресов назначения или всё перечисленное? Речь только об обычной работе или также о диагностике? Какие записи остаются в системах аккаунтов, платежей, поддержки и расследования злоупотреблений?
Заявление о хранении только в оперативной памяти описывает способ хранения. Оно не отвечает на вопрос, передаются ли сведения в другую систему до очистки памяти. Шифрование сохранённых данных тоже защищает от определённых видов постороннего доступа, но не означает, что сам провайдер не может их прочитать.
Обозначения private, dedicated или elite не отвечают на эти вопросы: они описывают другие свойства прокси. Сайт для проверки IP может изучить поступивший к нему запрос, но не может проверить внутренние журналы провайдера.
Как логи помогают разбирать ошибки, расход и жалобы
По записям о соединениях можно отличить ошибку аутентификации от отсутствия ответа со стороны сайта. Счётчики помогают объяснить расход пакета трафика. Резкое изменение характера подключений также может обнаружить сбой скрипта или неожиданное использование аккаунта.
Полезно различать успешное подключение через прокси и успешный запрос к сайту. Успешный ответ на CONNECT подтверждает открытие туннеля. Внутри него сайт всё равно может вернуть CAPTCHA или HTTP 403. Обычный туннель не читает этот зашифрованный ответ, поэтому результат соединения у прокси и результат обращения к сайту в приложении могут различаться.
У целевого сайта другая картина. Если на нём подбирают пароли, он может сообщить о запросах, указать IP прокси, время и другие сведения о соединении. Если у провайдера сохранилось достаточно соответствующих записей, он может связать жалобу с клиентским аккаунтом, через который шли эти подключения. Если путь запроса стал известен из жалобы сайта, это не означает, что провайдер расшифровал исходный HTTPS-трафик.
Общий IP прокси не мешает такому сопоставлению. Подробные записи могут связывать авторизованное подключение клиента с соединением, которое прокси установил с сайтом. Точное время, включая миллисекунды при их записи, порты и адрес назначения помогают различать одновременные подключения. Меняющиеся при ротации IP тоже могут оставаться связанными с одним аккаунтом. Смена адреса или совместное использование IP не стирают записи провайдера.
Как долго сохраняются записи
У журналов соединений, счетов, тикетов поддержки и результатов сбора данных могут быть разные сроки хранения. Полезная политика объясняет сроки по категориям или указывает условия, по которым компания определяет, сколько каждая категория ей нужна.
История в личном кабинете не обязательно показывает полный срок хранения. Если интерфейс отображает только недавнюю активность, это говорит о доступных вам записях. Из этого нельзя определить, когда удаляются внутренние журналы, материалы инцидентов и резервные копии.
Закрытие аккаунта не обязательно удаляет все связанные с ним сведения. Платёжные записи или материалы инцидентов могут оставаться при наличии законного основания для хранения. Удаление из рабочих систем и истечение срока резервных копий также могут происходить по разному расписанию.
Замена имени клиента номером аккаунта не делает записи анонимными, если компания сохраняет связь между номером и клиентом. Важно, можно ли по оставшимся сведениям по-прежнему установить аккаунт или человека.
Кому доступны сведения
Наличие журналов и право их читать — разные вопросы. Поддержке могут понадобиться ошибки подключения, финансовому отделу — платёжные записи, специалистам по безопасности — сведения об инциденте. Политика конфиденциальности должна объяснять доступ и передачу данных, а технические меры — ограничивать доступ теми, кому он нужен для работы.
Реселлер и компания, которая обслуживает прокси-сеть, могут хранить разные части информации. Платёжные системы, хостинг и платформы поддержки также могут обрабатывать отдельные данные. Имеет значение, какие компании участвуют в этом процессе и что именно они получают.
Страна IP прокси сама по себе не определяет место хранения клиентских записей или правовые требования к провайдеру. Важны также компания, с которой заключён договор, организация обработки данных и применимое право. Провайдер может быть обязан передать сохранённые сведения государственным органам по обязательному для исполнения требованию. Применимые условия следует смотреть в его политике: единого мирового правила для всех прокси-сервисов нет.
Как соотнести конфиденциальность со своей задачей
Если для проекта важно оставить содержимое страниц в своём приложении, различие между обычным HTTPS-туннелем и сервисом загрузки страниц имеет практическое значение. Туннель может скрывать содержимое от посредника, сохраняя доступность сведений о соединении. Готовый API может сократить вашу разработку, но получает задание и результат.
Сведения об адресах назначения тоже могут быть чувствительными. Набор доменов, время посещений и объём обращений способны показать, какие компании или рынки изучает команда. Прежде чем считать шифрование содержимого достаточной защитой проекта, определите ценность этой информации.
Учитывайте и то, что сами отправляете в поддержку. Файл конфигурации или запись сетевого обмена могут содержать пароли прокси, токены доступа, cookies и тела запросов, которых не было в журналах трафика провайдера. Перед отправкой диагностических материалов убирайте секреты, не относящиеся к вопросу.
До начала работы стоит выяснить, что выбранный продукт может читать, что сохраняет, когда удаляет записи и кому может их передавать. Именно эти сведения позволяют оценить политику конфиденциальности применительно к реальной задаче.