Существует много типов прокси-серверов. Эти типы можно сгруппировать по протоколу, количеству активных пользователей (общие прокси, частные прокси, и девственные прокси), тип назначенного IP-адреса (публичные или бесплатные прокси, резидентные прокси, мобильные прокси, и прокси для дата-центров) и IP-версия (Прокси IPv4 и IPv6). Однако в этой статье основное внимание будет уделено прокси-серверам HTTP и HTTPS, которые подпадают под категорию прокси-серверов по протоколам.
Но сначала давайте обсудим протоколы, на которых основаны HTTP-прокси и HTTPS-прокси.
Понимание HTTP и HTTPS
Что такое HTTP?
Протокол передачи гипертекста или HTTP — это протокол уровня приложения без сохранения состояния, который облегчает связь между клиентскими приложениями (такими как веб-браузеры и веб-приложения) и веб-серверами (или серверами веб-интерфейса пользователя).
Это протокол уровня 7 (или протокол прикладного уровня), что означает, что он предназначен для передачи данных между сервером и клиентом и наоборот. HTTP обычно поддерживает передачу различных типов данных. К ним относятся текстовые, видео- и аудиоданные, известные под общим названием гипермедиа.
Когда клиент хочет получить доступ к этим данным, которые хранятся на сервере, он отправляет HTTP-запрос. Обычно HTTP-запрос содержит следующее:
- Строка запроса, в которой указывается метод HTTP (GET, POST, PUT, DELETE и т. д.), версия HTTP (ниже) и дополнительная информация о цели запроса (имя хоста и порт).
- Заголовки, в которых хранится дополнительная информация, например файлы cookie.
- Тело сообщения запроса
После получения запроса и интерпретации сообщения сервер отправляет HTTP-ответ, содержащий запрошенные данные.
Как работает HTTP?
Стоит отметить, что HTTP не выполняет свои функции изолированно. Фактически, он работает поверх протоколы транспортного уровня (слой 4), например Протокол управления передачей (TCP) и Протокол пользовательских датаграмм (УДП). Более того, он также был построен на основе существовавшего в то время протокола IP.
Со своей стороны, эти протоколы уровня 4 устанавливают, управляют и закрывают связь между сервером и клиентом (сетевыми устройствами). Проще говоря, TCP и UDP позволяют сетевым приложениям, расположенным выше четвертого уровня (включая приложения, использующие HTTP), создавать клиент-серверную или двухточечную связь друг с другом.
Как только связь установлена, HTTP начинает действовать для передачи данных. TCP или UDP управляют связью, обеспечивая ее бесперебойную работу, и как только передача данных прекращается, эти протоколы уровня 4 закрывают связь. Примечательно, что TCP и UDP используют номера портов для идентификации веб-приложений, которые «общаются» друг с другом. Еще один момент, который следует отметить: реализация HTTP/3, последней версии, использует QUIC вместо TCP для аспекта связи транспортного уровня. (QUIC — это мультиплексный транспортный протокол, реализованный на основе UDP.)
История HTTP
HTTP был впервые выпущен в 1991 году после двух лет разработки Тимом Бернерсом-Ли и его командой. С тех пор протокол подвергся эволюция который претерпел множество изменений и улучшений, что привело к появлению нескольких версий HTTP. Эти версии включают в себя:
- HTTP/0.9 (введен в 1991 г.)
- HTTP/1.0 (стандартизирован в 1996 г.)
- HTTP/1.1 (введен и стандартизирован в 1997 г.)
- HTTP/2 (стандартизирован в 2015 г.)
- HTTP/3 (введен в 2022 г.)
Что такое HTTPS?
Хотя HTTP — популярный протокол, широко используемый в Интернете, у него есть несколько недостатков, главным из которых является безопасность. По протоколу HTTP вся информация передается в виде открытого текста. Таким образом, злоумышленники могут легко просмотреть его. На самом деле это может вызывать беспокойство, если данные содержат конфиденциальные данные, такие как информация о кредитной карте, пароли, имена пользователей, номера телефонов, номера социального страхования, данные адреса и многое другое. Чтобы решить проблему безопасности, был введен HTTPS.
Протокол передачи гипертекста Secure (HTTPS) — это безопасный протокол HTTP, который шифрует все данные, передаваемые по HTTP. HTTPS использует протокол Secure Sockets Layer (SSL) или Transport Layer Security (TLS) для проверки подлинности веб-сервера и защиты данных. SSL использует ключи (открытый и закрытый ключи) и цифровые сертификаты для защиты данных, тогда как TLS использует криптографию для шифрования данных. TLS также проверяет подлинность как клиента, так и сервера.
История HTTPS
HTTPS был создан в 1994 году. В то время в основном использовался SSL. Однако позже, в 2000 году, HTTPS, использующий TLS, был стандартизирован. По мнению наблюдателей, потребовались годы, чтобы TLS стал широко использоваться за пределами платежей по кредитным картам. Это особенно связано с тем, что сертификаты TLS требуют дополнительных технических знаний для установки и стоят денег. В результате они были неосуществимы, особенно для небольших объектов. Но ситуация изменилась: службы веб-хостинга и облачные компании запускают бесплатные программы сертификатов шифрования и бесплатно предлагают HTTPS. К 2017 году половина сети была зашифрована.
Покончив с основами, давайте теперь сосредоточимся на том, что такое HTTP-прокси и HTTPS-прокси, их сходствах и различиях, а также их использовании.
Что такое HTTP-прокси?
Прежде чем объяснять, что такое HTTP-прокси, давайте сначала разберемся. Что такое прокси сервер. Прокси-сервер или прокси — это посредник, который находится между веб-клиентом и веб-сервером. Он работает путем маршрутизации интернет-трафика через себя и при этом выступает в качестве инициатора запросов и терминатора ответов. Обычно существует несколько прокси-серверов, каждый из которых предназначен для выполнения определенной функции.
Фактически, существуют прокси, настроенные действовать от имени клиента, так что они воспринимаются как инициаторы запросов и терминаторы ответов. Такие прокси известны как прямые прокси. С другой стороны, некоторые прокси можно настроить для работы от имени сервера. Выполняя эту роль, они кажутся точкой, в которой запросы завершаются и возникают ответы. Такие прокси известны как обратные прокси. Кстати, HTTP-прокси могут действовать как прямые, так и обратные прокси, в зависимости от места, в котором происходит настройка.
Итак, что такое HTTP-прокси-сервер? Это прокси-сервер, который маршрутизирует HTTP-трафик только через себя. HTTP-прокси — это тип прокси-сервера на основе протокола, наряду с SOCKS5 прокси. Однако, в отличие от прокси-сервера SOCKS5, который по существу предназначен для облегчения связи через брандмауэр, прокси-сервер HTTP предназначен для работы в качестве высокопроизводительного фильтра контента.
HTTP-прокси обычно прослушивает HTTP-трафик через порты 80, 8080, 8008 и 3128. Он также может прослушивать HTTPS-трафик через порты 80, 8080, 8008 и 3128. порт 3129. Хотя он в основном используется изолированно, вы можете подключить его к существующему прокси-серверу, особенно если приложение, которое вы настраиваете, уже использует прокси-сервер. Такое расположение создает цепочку прокси.
Типы HTTP-прокси
Существует два типа HTTP-прокси, а именно:
1. HTTP-клиент-прокси
Обычно прокси-сервер HTTP-клиента перенаправляет запросы самому себе (в качестве посредника) перед пересылкой их на сервер или в целевой пункт назначения. Таким образом, он выступает в качестве инициатора запросов.
Прокси-сервер HTTP-клиента маршрутизирует все исходящие HTTP-запросы и входящие HTTP-ответы через себя. При этом он интерпретирует все содержимое HTTP-запроса и ответа. Он также может изменить определенное содержимое HTTP-запроса, если оно соответствует Рекомендации по использованию прокси-серверов преобразования веб-контента. Как правило, прокси-серверы HTTP-клиента изменяют определенные заголовки HTTP, включая user-agent, Accept, Accept-charset, Accept-encoding, Accept-Language, x-forwarded-for и via. Он также может преобразовать метод запроса из HEAD в GET и наоборот.
Настройка вашей системы и, как следствие, веб-браузера на использование прокси-сервера HTTP-клиента (подробнее об этом ниже) позволяет выполнить несколько задач. Во-первых, он меняет конечную точку TCP (порт и имя хоста) в URL-адресах HTTP на ту, которая принадлежит провайдеру прокси-сервера HTTP. В результате TCP-соединение сначала устанавливается с другим портом и хостом (портом и хостом прокси-сервера), отличными от тех, которые указаны в URL-адресах HTTP, а затем отправляется на исходный/реальный хост и порт. Это связано с тем, что прокси-сервер не изменяет содержимое сообщения, которое содержит реальный хост и порт. В результате HTTP-прокси может получать запросы на один порт, а затем пересылать запросы и содержащиеся в них сообщения на разные серверы и веб-сайты на основе данных назначения, содержащихся в сообщениях HTTP.
2. HTTP-прокси-сервер
В некоторых случаях некоторые приложения, например те, которые находятся на веб-сервере, не могут быть настроены в качестве отправителей, и вместо этого их необходимо настроить в качестве конечных точек. В результате они кажутся веб-клиентам местом назначения запросов. Когда эти приложения настроены как конечные точки, они называются прокси-серверами HTTP.
Типы HTTP-прокси, ранжированные по анонимности
HTTP-прокси различаются по степени анонимности. Можно выделить следующие типы HTTP-прокси:
- Прозрачные прокси: При использовании прозрачных прокси пользователь обычно не замечает, что использует прокси-соединение. Прокси-соединение видно только оператору веб-сайта или поставщику услуг. Основное преимущество прозрачных прокси заключается в том, что они увеличивают скорость соединения за счет кэширования данных.
- Анонимные прокси: При использовании анонимных прокси ваш IP-адрес скрыт. В этом случае целевой веб-сайт увидит, что вы используете прокси, но не ваш фактический IP-адрес.
- Искажение прокси: Прокси-сервер этого типа может быть идентифицирован целевым веб-сайтом как прокси-сервер, но сообщит неправильный IP-адрес.
- Элитные прокси: это анонимные прокси, которые удаляют пользовательские данные до того, как прокси попытается подключиться к целевому веб-сайту. При использовании прокси-серверов такого типа целевой веб-сайт не может обнаружить использование прокси-сервера и не может идентифицировать IP-адрес пользователя.
Все авторитетные прокси-провайдеры которые имеют HTTP-прокси, предлагают только элитные прокси.
Как настроить HTTP-прокси
В этом разделе основное внимание будет уделено тому, как создать прокси-сервер HTTP-клиента. Он создается путем настройки веб-клиента (браузера) для маршрутизации HTTP-трафика через посредника. Однако стоит отметить, что Хром, Сафари, Мозилла Фаерфокси другие популярные браузеры не имеют встроенных настроек прокси-сервера в приложении.
Вместо этого, когда вы нажимаете на настройки программы и выбираете опцию прокси, она перенаправляет вас в окно настройки прокси-сервера Windows, macOS или Linux. В связи с этим, чтобы создать HTTP-прокси, просто настройте свою операционную систему. При этом будет создан общесистемный HTTP-прокси, который будет работать со всеми другими веб-приложениями, а не только с вашим любимым браузером.
Чтобы настроить HTTP-прокси в Windows, выполните следующую процедуру:
- Открыть Windows' Настройки > Выбрать Сеть и Интернет > Выберите Прокси вкладка. Кроме того, вы можете использовать браузер, чтобы открыть вкладку «Прокси».
- Отправляйтесь в Ручная настройка прокси раздел
- В поле адреса введите IP или адрес прокси-хоста. Кроме того, введите порт прокси. Ваш прокси-провайдер должен предоставить вам подробную информацию.
- В поле «Использовать прокси-сервер, кроме адресов, которые начинаются со следующих записей» введите URL-адрес вашего поставщика прокси-услуг.
- Далее проверьте Не используйте прокси-сервер для локальных (интранет) адресов.
- Нажмите Сохранять
Чтобы настроить HTTP-прокси в macOS, выполните следующие действия:
- Нажмите Системные настройки > Выбрать Сеть > Нажмите Передовой > Выберите Прокси вкладка. Альтернативно вы можете использовать веб-клиент, который автоматически откроет Прокси вкладка
- Далее переключите Веб-прокси (HTTP) вариант
- Введите IP и порт Прокси-сервер веб-сервера (HTTP-прокси). Обычно вам следует ввести IP-адрес вашего прокси-провайдера и указать в поле порты 80, 8080 или 8008.
- Введите имя пользователя и пароль HTTP-прокси. Имя пользователя и пароль должны совпадать с учетными данными, которые вы используете для доступа к учетной записи, имеющейся у вашего поставщика услуг.
- Нажмите ХОРОШО.
Если безопасность является основным фактором при просмотре веб-страниц, то HTTP-прокси не идеален. В идеале вам нужен HTTPS-прокси.
Что такое HTTPS-прокси?
Прокси-сервер HTTPS, также известный как прокси-сервер SSL, является посредником, который прослушивает только трафик HTTPS через порт 443. В результате он маршрутизирует трафик HTTPS только через себя. Как говорилось выше, HTTPS шифрует данные, передаваемые по протоколу. Фактически это означает, что все элементы HTTP-запросов и ответов, включая заголовки и сообщения, скрыты за криптографическим ключом. Следовательно, их можно просмотреть или интерпретировать только в конечной точке или точке завершения. Чтобы посредник, например прокси-сервер HTTPS, мог интерпретировать данные, он должен быть настроен как конечная точка.
В этом отношении прокси-сервер HTTPS настроен в качестве конечной точки соединения TLS или SSL. Таким образом, он расшифровывает запросы, интерпретирует содержимое, изменяет определенные аспекты запросов, шифрует их и, наконец, пересылает их реальному пункту назначения, содержащемуся в HTTP-сообщении. Как говорилось ранее, протокол HTTPS использует сертификаты. Соответственно, прокси-сервер HTTPS должен шифровать трафик с помощью правильного сертификата (сертификата клиента или сервера) перед отправкой его в назначенное место назначения. Примечательно, что если прокси-сервер HTTPS не настроен в качестве конечной точки, он не должен изменять содержимое заголовка или запроса HTTP, как это предусмотрено Руководством для прокси-серверов преобразования веб-контента.
Прокси-серверы HTTPS обычно используются для защиты веб-серверов или веб-клиентов путем шифрования.
Типы HTTPS-прокси
Существует два типа HTTPS-прокси:
1. HTTPS-клиент-прокси
Клиентский прокси-сервер HTTPS облегчает подключения веб-клиента или внутренней сети к Интернету. Чтобы настроить прокси-сервер клиента HTTPS, необходимо импортировать сертификат клиента для использования устройством, на котором установлен прокси-сервер. Это позволяет посреднику как расшифровывать, так и шифровать данные, как если бы он был инициатором запросов или терминатором ответов.
2. HTTPS-прокси-сервер
Прокси-сервер HTTPS позволяет подключаться внешним веб-клиентам к внутренним веб-серверам через Интернет. Прокси-сервер HTTPS отличается от прокси-сервера HTTP, поскольку первый использует сертификаты, а второй — нет. Чтобы настроить прокси-сервер HTTPS, важно экспортировать в прокси-сервер сертификат по умолчанию, используемый вашим веб-сервером. Сертификат позволяет прокси-серверу HTTPS шифровать и расшифровывать данные.
Как настроить HTTPS-прокси
Настройка прокси-сервера HTTPS выполняется в соответствии с процедурами, описанными выше, с небольшими различиями в используемых портах. Всегда проверяйте, что вы ввели 443 в поле порта каждый раз, когда создаете HTTPS-прокси. Если вы используете устройство MacOS, обратите внимание, что вам необходимо выбрать Безопасный веб-прокси (HTTPS) вариант вместо Веб-прокси (HTTP). В остальном процедура во многом такая же.
Насколько безопасно соединение через HTTPS-прокси?
Когда пользователь, использующий HTTPS-прокси, открывает веб-страницу со «значком замка» слева от адресной строки, все соединение между браузером пользователя и сервером целевого сайта шифруется (шифрование SSL):
Это означает, что все данные, вводимые пользователем на клавиатуре (логины и пароли, номера кредитных карт и т. д.), изображения и видео, загружаемые, загружаемые или транслируемые, остаются абсолютно конфиденциальными.
Браузер <-> HTTPS-прокси <-> Целевая страница
Это означает, что они известны только пользователю и владельцу целевого веб-сайта.
Может ли прокси-сервис «прослушивать» трафик?
Нет, это технически невозможно. Прокси-провайдер может только догадываться, что пользователь пытается взломать пароли к аккаунтам на каком-либо сайте. Это видно по частоте доступа к странице входа на целевой сайт. Это произойдет, если пользователь будет делать это с частотой один миллион раз в минуту, используя программу перебора.
HTTP-прокси против HTTPS-прокси: сходства и различия
Сходства между HTTP и HTTPS-прокси
- Их можно настроить как на стороне клиента, так и на стороне сервера.
- Прокси HTTP и HTTPS интерпретируют передаваемые через них данные.
- Прокси прослушивают трафик через порты
- Клиентские прокси перенаправляют все запросы в целевой пункт назначения.
- Клиентские прокси можно использовать для облегчения парсинга веб-страниц.
Различия между HTTP и HTTPS-прокси
| HTTP-прокси | HTTPS-прокси | |
| Порты | Они используют порты 80, 8080, 8008, 3128 или 3129. | Они используют порт 443 |
| Безопасность | HTTP-прокси перенаправляют незашифрованные данные | HTTPS-прокси маршрутизируют зашифрованные данные |
| Протокол | В основном они используют протокол HTTP | В основном они используют протокол HTTPS |
| Трафик | Они могут прослушивать как HTTP-трафик (через порты 80, 8080, 8008, 3128), так и HTTPS-трафик (через порт 3129). | Они могут прослушивать HTTPS-трафик только через порт 443. |
Использование HTTP и HTTPS-прокси
Использование клиентских прокси-серверов HTTP и клиентских прокси-серверов HTTPS
1. Веб-скрапинг
Парсинг веб-страниц относится к автоматизированному процессу извлечения данных с веб-сайтов с помощью ботов, известных как веб-скраперы. Обычно эти боты предназначены для извлечения больших объемов данных, что может привести к перегрузке веб-серверов из-за ненужного узурпирования ресурсов. По этой причине большинство крупных веб-сайтов в настоящее время реализуют меры по борьбе с парсингом, направленные на прекращение любых попыток извлечения данных. К счастью, эту проблему можно обойти, используя HTTP-прокси.
Когда дело доходит до извлечения данных, HTTP-прокси обычно игнорируют. Это связано с тем, что предпочтительными являются домашние прокси, мобильные прокси или прокси-серверы центров обработки данных, поскольку они маскируют IP-адрес компьютера, на котором работает парсер. Он одновременно назначает другой IP-адрес, эффективно обеспечивая анонимность в Интернете. Кроме того, он защищает реальный IP-адрес от блокировки или запрета. Если IP-адрес периодически меняется, вероятность блокировки еще больше снижается. Но эта статья не о домашних прокси-серверах или прокси-серверах для центров обработки данных. Итак, как же HTTP-прокси и HTTPS-прокси используются при парсинге веб-страниц?
Как уже говорилось, прокси-сервер HTTP или HTTPS может изменять некоторые заголовки HTTP-запросов. К ним относятся пользовательский агент, язык принятия, кодирование принятия и принятие, и это лишь некоторые из них. Пользовательский агент хранит информацию о вашей операционной системе (тип и версия), используемом клиентском приложении (веб-браузере) и механизме браузера. Эта информация позволяет веб-серверу идентифицировать тип устройства и программного обеспечения, используемого для доступа к нему. Затем он использует эту информацию для создания онлайн-идентификатора, связанного с пользователем. Изменяя пользовательский агент, HTTP-прокси и HTTPS-прокси могут создать впечатление, будто запросы исходят с разных устройств. Это ускоряет парсинг веб-страниц, поскольку запросы на извлечение данных, похоже, были отправлены с нескольких устройств.
2. Фильтрация контента
Прокси-сервер HTTP-клиента или прокси-сервер HTTPS-клиента можно настроить для пересылки только определенных запросов — такие запросы должны соответствовать определенным правилам. Например, они должны быть отправлены через указанные порты. Доступ запрещен, если HTTP-клиент использует порт, отличный от 80, 8080, 8008, 3128 или 3129.
Кроме того, вам необходимо указать типы контента, которые должен просматривать HTTPS или HTTP-прокси при проверке входящего и исходящего трафика клиента. Трафик блокируется, если контент не соответствует критериям, указанным в настройках. И наоборот, если контент совпадает, то ему разрешается пройти через посредника.
3. Защита связи
HTTP-прокси можно настроить для преобразования входящих данных из обычного текста в безопасные, зашифрованные исходящие данные, которые могут быть приняты HTTPS-серверами. Однако эта конфигурация необычна, поскольку она предполагает использование порта 3130, который обрабатывает простой текст для связи SSL.
С другой стороны, HTTPS-прокси защищают связь, шифруя ее. Таким образом, прокси-серверы HTTPS способствуют кибербезопасности, поскольку снижают вероятность кибератак.
4. Управление социальными сетями
К настоящему времени общеизвестно, что HTTP-прокси изменяют некоторые аспекты HTTP-заголовка. Таким образом, меняя пользовательский агент, эти посредники могут создать иллюзию, что запросы исходят с разных устройств. Это может позволить пользователям создавать и управлять несколькими учетными записями в социальных сетях.
Использование прокси-серверов HTTP-сервера и прокси-серверов HTTPS
1. Ограничение трафика на веб-сервер
Серверные прокси можно настроить на прием трафика, удовлетворяющего определенным правилам. Таким образом, они блокируют трафик, не соответствующий требованиям. Таким образом, они защищают сервер, гарантируя, что он не обрабатывает ненужные запросы.
2. Защита веб-сервера
Серверные прокси могут расшифровывать данные веб-клиентов и впоследствии интерпретировать их. Это действие позволяет им фильтровать запросы, сканируя их на наличие вредоносных программ или других вредоносных файлов. В результате они защищают веб-сервер от кибератак.
3. Кэширование часто используемых файлов
Прокси-серверы HTTP и прокси-серверы HTTPS могут хранить часто используемые файлы, такие как изображения и страницы. Это освобождает веб-сервер и позволяет ему выделять ресурсы для других, менее распространенных операций. Это также увеличивает скорость загрузки веб-страниц.
Заключение
HTTP-прокси и HTTPS-прокси являются полезными посредниками, особенно с точки зрения безопасности и фильтрации контента. Фактически, их называют высокопроизводительными фильтрами контента. Это связано с тем, что их можно настроить так, чтобы пропускать только определенный интернет-трафик. Эти прокси также выполняют множество других функций, включая защиту веб-серверов, хранение часто используемых файлов, управление социальными сетями, очистку веб-страниц и многое другое.
