Оплата прокси за гигабайты

За что вы платите

Гигабайт — единица расхода внутри конкретного прокси-продукта. Продукт предоставляет путь в интернет через свои IP, а тариф определяет, как оплачивается использование этого пути. Можно заранее купить запас трафика, получать регулярно обновляемый пакет или оплачивать измеренный расход по условиям аккаунта. Во всех этих случаях возможна цена за ГБ, хотя сроки оплаты и обязательства различаются.

Доступ часто устроен через шлюз: приложение подключается к адресу, который выдал провайдер, а сервис выбирает IP из доступного пула. После смены IP может продолжить расходоваться тот же общий пакет. Поэтому большой размер пула означает возможности доступа, а не список адресов, закреплённых за покупателем. В других продуктах оплата трафика сочетается с предоставлением конкретных IP.

Единица оплаты не определяет происхождение адресов и поведение сессий. По трафику могут продаваться серверные, ISP-, резидентские и мобильные прокси. Ротация, удержание IP на время сессии и исключительное использование адреса — отдельные свойства продукта. Покупка дополнительных гигабайтов не продлевает сессию с собственным ограничением по времени и не возвращает отключившийся адрес.

До сравнения ставок определите, какой доступ нужен работе. Например, для региональной проверки оформления заказа требуется подходящий сайту IP в нужной стране и сохранение сессии до завершения проверки. Более дешёвый пакет, который этого не обеспечивает, задачу не решает. При этом покупка более дорогой сети сама по себе ничего не улучшает, если более простая уже надёжно выполняет работу.

Размер пакета также ничего не говорит о скорости. Объём определяет, сколько данных можно передать; пропускная способность — насколько быстро; число одновременных соединений — сколько работы можно вести параллельно. Большой остаток не поможет, если соединение слишком медленное для выполнения задачи в срок.

Как выполненная работа превращается в оплаченный трафик

Рассмотрите задачу целиком. Программа может сначала получить список документов, перейти по ссылкам на загрузку, скачать файлы, а затем повторить несколько скачиваний. Каждый этап способен использовать оплачиваемое соединение, хотя в конечном архиве останется только одна копия каждого документа.

Возьмём условную задачу, которая успешно сохраняет 300 документов. В таблице заданы объёмы для отдельных, не пересекающихся частей запуска. Это учебный разбор расхода, а не результаты измерения конкретного сайта или провайдера.

В десятичных единицах такой запуск расходует 0,308 ГБ. При условной ставке $4,50/ГБ плата за трафик составит $1,386, то есть примерно $1,39 без других начислений. Здесь полезно различать 240 МБ, связанные с сохранёнными документами, и 308 МБ, потраченные всем процессом. Устранение повторных скачиваний сэкономило бы 48 МБ без уменьшения архива. Удаление этапа поиска документов могло бы остановить работу.

Важно, что именно измеряет провайдер. В опубликованных правилах прокси-сервисов часто учитывается передача как к сайту, так и от него, включая заголовки и тела HTTP-сообщений. Поэтому отправка больших файлов расходует пакет даже при коротком ответе сайта. Правила учёта установления соединений, шифрования и ошибок самого сервиса различаются. По одному размеру скачанного содержимого нельзя восстановить любой счёт.

В HTTPS-туннеле прокси может измерять объём зашифрованных данных, не читая защищённое содержимое. Для расчёта используйте заявленный метод сервиса и измеренный запуск: универсального процента служебных расходов для всех запросов нет. Если прибавить такой процент к счётчику, уже включающему эти байты, получится двойной учёт.

Почему GB и GiB показывают разные числа

Гигабайт (GB) содержит 1 000 000 000 байт. Гибибайт (GiB) содержит 2³⁰ байт: 1 073 741 824 байта, или 1 024 MiB. GB основан на десятичных степенях, GiB — на двоичных. Это единицы одной величины, но разного размера.

Например, 32 GiB — это 34,359738368 GB, приблизительно 34,36 GB. Число в GB примерно на 7,37% больше, поскольку каждый GiB содержит 1,073741824 GB. Дополнительный трафик при этом не появился: оба показания описывают одно и то же количество байт. В свою очередь, пакет 32 GB — это приблизительно 29,80 GiB, поэтому одинаковое число на двух пакетах ещё не означает одинаковый объём.

Перед сверкой счётчика приложения с оплачиваемым расходом приведите оба значения к одной единице. Проверьте определение провайдера, а не только сокращённую подпись, затем сопоставьте границы учёта. Округление — отдельный вопрос: сокращённое число на экране не показывает точность, с которой начисляется плата.

Почему способ выполнения важен не меньше самой страницы

Первый и повторный визит расходуют разный объём

При первом посещении браузер может загрузить ресурсы, необходимые для отображения и работы сайта. При следующем посещении тот же браузер способен использовать часть локально сохранённых ресурсов. Новый профиль может скачать их заново. Поэтому запуск и повторное использование браузерных сессий влияют на расход.

Кеш работает по-разному. Актуальную локальную копию можно использовать без повторного скачивания ресурса. Устаревшую копию может потребоваться проверить условным запросом: ответ 304 Not Modified разрешает использовать сохранённое содержимое, но сама проверка всё равно создаёт сетевой обмен. Изменившийся или непригодный для повторного использования ресурс приходится передавать заново. Сохранение профиля не гарантирует кеширование всех ресурсов.

Для мониторинга кешированные файлы могут быть полезны. Для проверки того, что видит новый посетитель, они могут исказить результат. Измеряйте расход в условиях, действительно необходимых задаче. Дешёвое повторное посещение не подходит для оценки тысяч независимых первых визитов.

Формат результата тоже способен ввести в заблуждение. Локальный снимок экрана создаётся из уже загруженного содержимого; само его создание не отправляет картинку обратно через прокси. Загрузка этой картинки через прокси была бы отдельной передачей. У удалённого браузера или API для снимков может быть другая модель оплаты, поэтому размер их результата нельзя считать расходом обычного локального браузера.

Файлы и видео требуют разных расчётов

При скачивании файлов расход часто определяется размерами документов, обнаружением дубликатов и возможностью продолжить прерванную загрузку. Для проверки видео полезнее учитывать длительность и битрейт, чем количество страниц. Начальная страница может быть небольшой, а проигрыватель будет получать медиаданные всё время выполнения теста.

Допустим, тест получает в среднем 6 мегабит медиаданных в секунду в течение 18 минут. Деление на восемь переводит биты в байты: 6 × 1 080 ÷ 8 = 810 мегабайт, или 0,81 ГБ. Повторение полного теста из 12 местоположений потребует 9,72 ГБ только на медиаданные. Это условная нагрузка; интерфейс проигрывателя, остальные запросы и учитываемый служебный обмен добавятся отдельно. Адаптивное качество и буферизация могут изменить фактический объём.

Снижение качества воспроизведения экономит деньги только тогда, когда тест продолжает отвечать на нужный вопрос. Для проверки самого запуска видео может хватить короткого наблюдения. Для оценки длительного воспроизведения в высоком качестве нужно получить достаточную часть соответствующего потока. От необходимых доказательств зависит, какие данные можно не загружать.

Эти различия объясняют применимость оплаты по трафику. Короткие региональные проверки и эпизодический доступ к подходящему пулу могут требовать мало данных. Непрерывные медиатесты и повторяющиеся большие скачивания способны быстро израсходовать тот же пакет. При подходящем продукте технически возможны оба варианта; их стоимость зависит от объёма работы, расписания и доступных альтернатив.

Рассчитайте бюджет с учётом состава работы

До измерения определите, что считается завершением. Для документа это может быть читаемый файл с ожидаемым идентификатором; для регионального теста — выполненное действие и записанный результат. Успешное соединение или код HTTP сами по себе не подтверждают выполнение задачи.

Проведите пробный запуск с нужными местоположениями, настройками сессий, программой и уровнем параллельной нагрузки. Отделите его учётные данные или статистику от посторонних задач. Запишите изменение расхода за сопоставимый период, учитывая задержку статистики провайдера, и посчитайте завершённые задачи вместе с попытками. Если фоновая активность входит в обычную работу, включите её в измерение или учтите отдельно, а не исключайте молча.

Учтите долю каждого вида операций

Полезный прогноз сохраняет ожидаемое соотношение задач. Допустим, пробный запуск дал следующие условные средние значения. В них уже входят обычные запросы и повторы, необходимые для одной завершённой операции. Каждая планируемая операция относится только к одной категории.

При той же условной ставке $4,50/ГБ прогноз платы за трафик составит $67,986, или примерно $67,99. На медиапроверки приходится меньше одной тринадцатой всех операций, но почти 60% трафика. Поэтому оптимизация гораздо более многочисленных повторных проверок может дать меньший эффект, чем обоснованное изменение медиатеста.

Общий расчёт — сумма произведений количества задач каждого вида на их измеренный средний расход. Отдельно измеренные подготовительные или общие действия добавляйте только тогда, когда они не вошли в эти средние значения. Аналогично, повторы, уже присутствовавшие в пробном запуске, нельзя повторно добавлять коэффициентом неудач.

Проверьте, что может изменить прогноз

Среднее полезно, пока условия работы сопоставимы. Переход на новые профили способен убрать экономию от кеша. Из другого местоположения сайт может отдавать другую страницу или медиапоток. Более длительное наблюдение может собрать больше фоновых данных. После таких изменений заново измерьте затронутую категорию, вместо того чтобы применять прежнее среднее ко всему проекту.

Кроме обычного запуска проверьте менее благоприятный, но правдоподобный вариант: более крупные документы, новые сессии или период с большим числом обрывов. Сохраните его допущения. Запас, рассчитанный из этих условий, содержательнее необъяснённого процента, который прибавляют к любому бюджету.

При выборе между подходящими сервисами переводите каждый тест в расходы на одинаковую завершённую работу. Учитывайте действительно потраченный трафик и обязательный объём покупки. Низкая цена за ГБ может быть полезна, но она не решает сравнение, если одному сервису требуется другое число попыток или он не позволяет завершить нужные сессии.

Согласуйте покупку с расписанием работы

Предыдущий расчёт прогнозирует расход. Необходимая сумма оплаты может отличаться, потому что продукт продаёт трафик пакетами, требует подписки или добавляет отдельную плату за доступ. Рассматривайте предложение как целую покупку: что станет доступно, в какие даты и какая оплата разрешает дальнейшее использование.

Условный пример показывает значение дат. Проекту нужно 8 ГБ до обновления расчётного периода и 28 ГБ после него. При месячном пакете 30 ГБ за $90 без переноса остатка и других платежей понадобятся две месячные оплаты: $180. При бессрочном запасе, продаваемом порциями по 20 ГБ за $80, понадобятся две порции: $160, причём 4 ГБ останутся доступными. В обоих вариантах предполагается равноценный доступ. Объявленная ставка месячного пакета $3 ниже ставки $4 при покупке порциями, но для заданного расписания месячный вариант требует больше денег.

Если целиком перенести тот же проект в один расчётный период, сравнение изменится: к пакету 30 ГБ потребуется ещё 6 ГБ, и решающей станет цена докупки. Поэтому недостаточно умножить суммарную потребность на самую низкую показанную ставку. Сопоставьте работу с датами продления, размером доступных порций и сроком действия дополнительного трафика.

Остаток полезен для будущей работы, только пока его можно использовать по условиям аккаунта. Различайте срок действия трафика, продление подписки и требование поддерживать аккаунт активным. Если основной и дополнительный трафик действуют разное время, выясните порядок их расходования: от него может зависеть, какой остаток истечёт неиспользованным.

Выбранная конфигурация тоже входит в цену. Определённая сеть, более точное местоположение, закреплённые адреса и другие возможности могут менять плату. Если тариф использует коэффициент расхода, различайте физические байты и оплачиваемые единицы. Применяйте коэффициент только тогда, когда показанный расход ещё его не учитывает. Столь же внимательно нужно учитывать обязательный минимум оплаты, ставку дополнительного трафика и включение налогов в цену.

Для регулярной тяжёлой нагрузки сравните весь план работы с подходящим вариантом фиксированной оплаты. Альтернатива должна обеспечивать те же необходимые сайты, местоположения, сессии, допустимый трафик и скорость. Фиксированная плата может упростить бюджет больших передач, а оплата по трафику — избавить от постоянной покупки ресурсов для редкой задачи. Ни одна единица оплаты сама по себе не определяет, какая сеть будет работать лучше.

Продолжайте работу после ошибок без повторной оплаты уже сделанного

Восстановление стоит начинать с наименьшей незавершённой части. Если запуск уже сохранил большинство документов, повтор всего списка может привести к оплате множества одинаковых скачиваний. Записывайте идентификаторы завершённых задач, проверяйте сохранённые файлы и продолжайте оставшуюся очередь. Это уменьшает потери без смены сети и тарифа.

Для прерванных больших файлов нужен более точный механизм. Если сервер и клиент поддерживают запросы диапазонов, можно запросить недостающую часть. Клиент должен проверить, что продолжает получать ту же версию файла. Ответ 206 Partial Content передаёт диапазон; полный ответ 200 OK нельзя без проверки дописывать к уже сохранённому фрагменту. Возобновление загрузки способно экономить трафик, но требует правильной реализации.

Разные ошибки должны приводить к разным решениям. Временный сбой соединения может оправдывать ограниченное число повторов. Постоянный отказ, истёкшая авторизация, исчерпанный пакет или неверный запрос требуют другой реакции. Быстрое повторение неизменной проблемы может увеличивать расход без продвижения. Если действие меняет данные в удалённом аккаунте, до повторной отправки выясните, не выполнилась ли первая попытка.

Неудача задачи не отменяет уже переданные байты. Прерванное скачивание или страница отказа способны расходовать оплачиваемый трафик; некоторые сервисы исключают собственные ошибки соединения. Применяйте условия конкретного прокси-продукта, а не обещание оплаты только успешных запросов из описания API для сбора данных.

На восстановление влияет и непрерывность сессии. Замена IP может нарушить привязанный к ней процесс и потребовать повторения предыдущих шагов. Удержание IP иногда помогает продолжить работу, но не делает следующие передачи бесплатными и не гарантирует сохранение сессии на сайте. По возможности сохраняйте выполненную часть и выбирайте действие, устраняющее причину ошибки.

Удерживайте работающую задачу в пределах бюджета

Следите за продвижением вместе с расходом. Полезны три показателя: остаток пакета, недавний расход в минуту и число завершённых задач за тот же промежуток. Если трафик растёт, а работа перестала продвигаться, вмешаться нужно до исчерпания баланса. Если оба показателя растут пропорционально, приложение может просто выполнять больше работы.

Например, при остатке 14 ГБ и устойчивом расходе 0,35 ГБ в минуту трафика хватит примерно на 40 минут такого режима. Это оценка для планирования, а не гарантия момента отключения: расход способен измениться, показания — запаздывать, а начатые передачи — ещё продолжаться. Сопоставьте это время с оставшейся очередью и заблаговременно остановите или сократите новую работу, чтобы завершить её без обрыва.

Используйте ограничения и на уровне покупки, и в приложении. В аккаунте осознанно выберите, остановит ли исчерпание пакета доступ или разрешит новую покупку либо платное превышение. В приложении ограничьте очередь, попытки, одновременные передачи и длительность открытых сессий. Автопополнение обеспечивает дальнейшую оплату соединения; оно не определяет, стоит ли работа этих денег.

Для длительных скачиваний и медиасессий нужно явное условие остановки. Если просто начать меньше новых запросов, уже открытые передачи могут продолжить расходовать трафик. Приложение должно уметь отменять текущую работу и закрывать ненужные сессии. Оставляйте запас на задержку статистики и применения ограничений, а не считайте порог в панели мгновенным выключателем.

Если числа вызывают сомнение, сопоставьте данные одного ограниченного запуска. Должны совпадать аккаунт или пользователь, период, единицы и журнал задач. Сетевые инструменты браузера помогают найти тяжёлые передачи и различить переданный и распакованный объём ресурсов, но не обязательно охватывают все процессы, использующие аккаунт. Учитывайте потребление трафика отдельно от покупок, перемещения баланса и истечения срока: изменение остатка не всегда означает сетевую передачу.

После этого внесите одно адресное изменение и повторите ту же задачу. Сохраняйте нужное тесту состояние браузера, устраняйте повторные скачивания, оставляйте поддерживаемое сжатие и предотвращайте загрузку ненужных ресурсов там, где это не ломает работу. Результат должен подтверждать одновременно снижение расходов и успешное выполнение. Уменьшение передачи, убравшее данные, ради которых проводился тест, означает незавершённую задачу.