Как использовать резидентные прокси: от первого запроса до сессий, геолокации и контроля расходов

Резидентный прокси - это не адрес, который вам выдают. Это шлюз: один хост и порт, за которым стоит пул реальных домашних подключений. Вы отправляете запрос на шлюз с логином, и он выходит в интернет с адреса чьего-то домохозяйства в той стране, которую вы указали. Этот факт объясняет почти всё, что касается использования резидентных прокси и тарификации, поэтому мы начнём с него и дальше разберём: первый запрос, сессии, географию, инструменты, стоимость и ошибки, из-за которых улетают деньги.

Что получает покупатель

У нас, как и у большинства провайдеров, покупка резидентного трафика даёт три вещи:

• Адрес шлюза. У нас это proxy.sotaproxy.com на порту 10000, работает по HTTP и SOCKS5.
• Логин и пароль. В логине указываются параметры: страна, город и нужно ли закрепить адрес.
• Баланс трафика в гигабайтах, считается в обе стороны, включая заголовки. Неизрасходованный трафик остаётся на пакете, пока тот активен. Подписки нет.

Списка адресов не выдаётся. Их предоставляет пул, какой именно достанется - решается при каждом подключении.

Первый запрос

До всяких инструментов проверьте работу прокси одной командой из терминала:

curl -x http://login:password@proxy.sotaproxy.com:10000 https://api.ipify.org

Команда выведет адрес, который увидел сайт. Это не должен быть ваш адрес. Если получаете 407, значит, неверный логин, пароль или строка подключения собрана с ошибкой - см. разбор 407. Запускайте эту команду каждый раз, когда что-то ломается дальше по цепочке: за пять секунд станет ясно, что именно не работает - прокси или конфигурация инструмента.

Выбор расположения адреса

Страна и город указываются внутри логина в виде суффиксов:

login                              любая страна, ротация
login_c_US                         США
login_c_DE                         Германия
login_c_US_city_New-York           Нью-Йорк, если в этот момент там онлайн устройство

Коды стран - две заглавные буквы. В названиях городов пробелы заменяются дефисами. Город - это предпочтение: если в нём сейчас нет онлайн-устройств, вы получите адрес из страны. Полная грамматика описана в справочнике по строкам подключения, а по каким странам что доступно - на страницах локаций, например Китай.

Ротация и закрепление: настройка, от которой зависит выживание аккаунтов

По умолчанию шлюз ротирует: каждое новое соединение получает другое выходное устройство. Это подходит для задач, где запросы независимы друг от друга - парсинг каталогов, проверка цен.

Для любой работы с состоянием нужен один и тот же адрес в течение какого-то времени. Для этого есть суффиксы сессий:

login_c_US_s_42_ttl_30s     один адрес на 30 секунд: вход и редирект
login_c_US_s_42_ttl_15m     15 минут: оформление заказа, многошаговая форма
login_c_US_s_42_ttl_1h      один час: прогрев аккаунта, долгий браузинг

Число после _s_ выбираете вы. У каждого воркера, профиля браузера или аккаунта должен быть свой номер, потому что две сущности с одним номером сессии получат один выходной адрес, и для сайта они будут одним посетителем. Указанное время жизни - это потолок, а не гарантия: домашнее устройство может уйти в офлайн, поэтому код должен уметь переподключаться. Правила описаны в статье про ротацию и закрепление.

Один эффект удивляет многих. Ротация происходит на уровне соединения, а не запроса. Клиент, который держит соединения открытыми, а так делают все браузеры и все HTTP-библиотеки, держит один адрес, пока соединение не закроется. Если ваш скрейпер будто завис на одном адресе - причина в этом, и решение - управление через номера сессий, а не надежда на автоматику.

Для аккаунта, которому нужен один адрес неделями, резидентные прокси не подходят. Для этого существуют статические ISP-адреса, сравнение есть в статье ISP против резидентных против дата-центровых против мобильных.

Использование в браузере

Укажите шлюз как HTTP-прокси с логином и паролем, суффиксы поместите в поле имени пользователя. У каждого десктопного браузера своё место для этого: в Firefox свой диалог, Chrome использует системные настройки ОС, оба варианта подробно разобраны в инструкции для Firefox и инструкции для Chrome. На телефоне настройка лежит внутри параметров Wi-Fi-сети, см. инструкцию для iPhone.

Браузер держит соединения открытыми, поэтому резидентный прокси в браузере ведёт себя как sticky-сессия до перезапуска браузера. Задайте суффикс с нужным временем жизни, вместо того чтобы полагаться на это поведение.

Использование в коде

Тот же адрес работает в любой HTTP-библиотеке. На Python:

PROXY = "http://login_c_US_s_7_ttl_15m:password@proxy.sotaproxy.com:10000"

# requests
session = requests.Session()
session.proxies = {"http": PROXY, "https": PROXY}

# httpx
client = httpx.Client(proxy=PROXY)# Playwright
browser = p.chromium.launch(proxy={
    "server": "http://proxy.sotaproxy.com:10000",
    "username": "login_c_US_s_7_ttl_15m",
    "password": "password",
})

Два момента про код. Если используете SOCKS5, пишите socks5h://, чтобы имя хоста разрешалось на прокси, а не на вашей машине. Мы измеряли, какие клиенты делают это неправильно, в статье что такое DNS-прокси. И если в пароле есть символы @, # или :, закодируйте их процентами внутри адреса или передавайте пароль отдельным полем. Рабочий краулер со всеми этими настройками разобран в материале веб-краулинг на Python.

Использование в инструментах

Антидетект-браузеры, скрейперы и SEO-инструменты запрашивают одни и те же четыре поля: хост, порт, логин, пароль. Заполните их из таблицы ниже и укажите тип HTTP, если только инструмент не требует SOCKS5 (тот же порт поддерживает оба протокола).

Один профиль - один номер сессии. Это всё правило для инструментов, работающих с несколькими идентичностями. Инструменты, которые вообще не умеют передавать логин прокси (обычно это Selenium), можно подключить через авторизацию по адресу: аутентификация и белый список IP.

Что покрывает гигабайт

Резидентный трафик тарифицируется по объёму, поэтому вопрос «сколько мне нужно» на самом деле звучит «насколько тяжёлые страницы». Наши собственные замеры из предыдущих руководств:

• Краулинг сайта на обычном HTML с включённым сжатием обходился в 3,8 КБ на страницу по проводу, то есть на гигабайт приходилось около 275 000 страниц. Сжатый трафик оказался в шесть раз легче самого HTML.
• Отрендеренная страница в браузере - совсем другой порядок величин. Страницы, которые мы измеряли, весили от 424 КБ до 2 МБ в отрендеренном виде, значит, гигабайт - это от 500 до 2500 таких страниц.

Отсюда практические правила: скачивайте HTML вместо рендеринга, когда данные лежат в HTML, держите сжатие включённым, а в браузере блокируйте картинки, медиа и шрифты, которые вам не нужны. Арифметика на миллион страниц приведена в статье лучшие прокси для веб-скрейпинга.

Проверка правильности работы

Три проверки по порядку.

Адрес. Команда curl выше или наш проверщик IP в браузере. Адрес и страна должны совпадать с тем, что вы запросили.

Стабильность сессии. Выполните один и тот же запрос три раза с суффиксом сессии. Три одинаковых адреса означают, что сессия держится:

for i in 1 2 3; do
  curl -s -x http://login_c_US_s_9_ttl_15m:password@proxy.sotaproxy.com:10000 https://api.ipify.org
  echo
done

Никаких утечек. В браузере WebRTC может раскрыть ваш настоящий адрес в обход любого прокси, а локальный DNS-запрос может выдать, какие сайты вы посещаете. Оба момента разобраны в браузерных руководствах, на которые мы ссылались выше.

Ошибки, которые сжигают трафик

• Ротация посреди логина или оформления заказа. Сайт видит смену адреса, разлогинивает вас или ставит флаг. Используйте один суффикс сессии на весь флоу.
• Один номер сессии на несколько воркеров. У них общий выходной адрес, и сайт видит одного посетителя, выполняющего работу за десятерых.
• Пробел в названии города. New York - неправильный логин, вернётся 407. Пишите New-York.
• Рендеринг страниц, которые можно было просто скачать. Браузер съедает в сто раз больше трафика, чем обычный запрос за теми же данными.
• Повторы на полной скорости. Неудачный запрос тарифицируется. Делайте повтор с растущей паузой, на другой сессии и считайте попытки.
• Покупка объёма до тестирования. Один гигабайт стоит $2,00 и отвечает на вопрос, принимает ли ваша цель резидентный трафик вообще. Покупайте большой пакет после этого, а не до.

Когда резидентный прокси - неправильный инструмент

• Сайт не проверяет класс адреса. Датацентровые адреса справятся с той же задачей за долю цены, и трафик не тарифицируется. Тест на 200 запросов покажет, с каким типом сайта вы имеете дело.
• Аккаунт живёт на одном адресе. ISP-прокси: один статический адрес, $3,00 в месяц, трафик не тарифицируется.
• Контент только для мобильных. Мобильные прокси на настоящем адресе оператора.

Цены на все четыре типа указаны на странице тарифов, а сравнение того, для чего предназначен каждый тип, разобрано в материале лучшие резидентные прокси.

FAQ

Как подключиться к резидентному прокси?

Отправляйте запросы на адрес шлюза с вашим логином и паролем. У нас это proxy.sotaproxy.com:10000, HTTP или SOCKS5, а страна, город и сессия указываются в логине как суффиксы.

Я получу список IP-адресов?

Нет. Резидентный прокси - это шлюз перед пулом. Вы получаете один адрес на соединение, выбранный по стране и сессии, которые вы запросили, и никогда не управляете адресами напрямую.

Как сохранить один и тот же IP-адрес?

Добавьте к логину суффикс сессии, _s_ и число на ваш выбор, а также время жизни: _ttl_30s, _ttl_15m или _ttl_1h. Если адрес не должен меняться неделями, используйте вместо этого ISP-прокси.

Сколько резидентного трафика мне нужно?

Разделите количество страниц на число страниц в гигабайте для вашего типа контента: около 275 000 для сжатого HTML в нашем краулинге, от 500 до 2500 для отрендеренных страниц. Начните с одного гигабайта и измерьте вашу собственную цель.

Могу ли я использовать один резидентный прокси для нескольких аккаунтов?

Шлюз - да. Сессию - нет. Дайте каждому аккаунту свой номер сессии, чтобы у каждого был свой выходной адрес, и помните, что прокси меняет только адрес, а не устройство или браузер, общие для аккаунтов.