HTTP-прокси
Прокси, который передаёт HTTP- и HTTPS-запросы между клиентом и веб-сервером.
HTTP-прокси стоит между вашим приложением и веб-сервером. Приложение отправляет HTTP-запрос на прокси, а не напрямую цели. Прокси передаёт запрос, получает ответ и возвращает его вашему приложению.
Для HTTPS-трафика HTTP-прокси используют метод CONNECT-туннелирования. Клиент отправляет прокси запрос CONNECT с именем хоста и портом цели. Прокси устанавливает TCP-туннель, и весь последующий зашифрованный трафик проходит через него, но прокси не может его прочитать.
HTTP-прокси - самый широко поддерживаемый тип прокси в языках программирования, браузерах и инструментах автоматизации. Библиотека requests в Python, fetch в Node.js, curl, Playwright, Puppeteer и Selenium - все поддерживают HTTP-прокси нативно.
Стандартный формат URL для настройки HTTP-прокси: http://username:password@host:port. Для HTTPS-целей большинство клиентов автоматически используют CONNECT-туннелирование через тот же HTTP-прокси-эндпоинт.
HTTP-прокси могут по желанию инспектировать и изменять запросы (forward-прокси) или кэшировать ответы (кэширующие прокси). Прокси-провайдеры для анонимности и скрапинга обычно работают как прозрачные forward-прокси - передают запросы без изменений.
Прокси, который читает то, что пересылает
HTTP-прокси находится внутри протокола, который несёт. Для обычного HTTP клиент отправляет в строке запроса весь URL, а не только путь, и прокси по нему решает, куда переслать. Прокси может прочитать запрос, добавить или срезать заголовки, закешировать ответ и записать адрес назначения.
Для HTTPS схема меняется. Клиент выдаёт запрос CONNECT с именем хоста и портом, прокси открывает TCP-туннель, и всё дальнейшее шифруется от конца до конца. Прокси видит имя хоста в строке CONNECT и поток байтов, больше ничего. Поэтому HTTP-прокси не ослабляет TLS.
Авторизация идёт через заголовок. Когда учётных данных нет или они неверны, прокси отвечает 407 Proxy Authentication Required, и это не то же самое, что 401: ответ приходит от прокси, а не от цели. Понимание, какой из двух вы получили, сразу говорит, где сбой.
Поскольку прокси понимает HTTP, он умеет и избирательность, недоступную SOCKS: маршрутизацию по имени хоста, переписывание заголовков, правила на URL. Достоинство это или вторжение, зависит от того, кто им управляет.
HTTP на наших точках входа
Обе продуктовые линейки принимают HTTP, а схема в вашем клиенте определяет, как устанавливается соединение:
HTTP на резидентке и на статике
# Residential, targeting in the login
curl -x http://login_c_US:password@proxy.sotaproxy.com:10000 https://example.com
# Static address
curl -x http://login:password@your-ip:50100 https://example.com
# 407 means we rejected the credentials.
# 401 means the destination did.- HTTPS через HTTP-прокси идёт по CONNECT и остаётся зашифрованным от конца до конца. Посередине его не читает никто, включая нас.
- Разрешение имён происходит на нашей стороне, поэтому HTTP-прокси не отдаёт ваш список целей вашему же резолверу, как это делает неверно настроенный SOCKS-клиент.
- Большинство библиотек по умолчанию проксируют по HTTP, а для SOCKS требуют дополнительных пакетов. Если вам не нужен UDP или не-HTTP протокол, HTTP это более простой выбор.
- Оставляйте схему прокси http, даже когда цель https. Схема описывает, как вы разговариваете с нами, а не как мы разговариваем с целью.
Заблуждения об HTTP-прокси
Он не расшифровывает ваш HTTPS
CONNECT строит туннель. Перехват требует сертификата, которому доверяет ваш клиент, а это корпоративная схема, а не то, как работает публичный прокси.
https:// в URL прокси не нужен
Написать http:// как схему прокси, забирая при этом страницу по https://, правильно, и это один раз путает почти каждого.
407 это не сайт вас отклонил
Это мы, и означает, что строка логина не разобралась. Цель запроса вообще не видела.
Он не менее анонимен, чем SOCKS
Наши HTTP-прокси не отправляют заголовков пересылки. Сайт в любом случае судит по адресу выхода.
Связанные термины
Смотри на практике
Готов использовать http-прокси?
SotaProxy даёт доступ к ротирующим резидентским, мобильным, дата-центр и ISP прокси. Без минимальных платежей.
Начать