Як використовувати резидентські проксі: від першого запиту до сесій, геолокації та витрат

Резидентний проксі – це не адреса, яку вам видали. Це шлюз: одне доменне ім'я і порт, за якими стоїть пул справжніх домашніх підключень. Ви надсилаєте запит на шлюз з логіном, і він виходить в інтернет з чиєїсь домашньої адреси в потрібній країні. Цей один факт пояснює майже все про те, як використовують резидентні проксі і як їх тарифікують, тому цей гайд починається саме звідси: спочатку запит, потім сесії, геолокація, інструменти, вартість і помилки, що з'їдають гроші.

Що ви отримуєте після покупки

У нас, як і в більшості провайдерів, купуючи резидентний трафік, ви отримуєте три речі:

• Адресу шлюзу. У нас це proxy.sotaproxy.com на порту 10000, який приймає запити по HTTP і SOCKS5.
• Логін і пароль. Логін – це ще й спосіб вказати параметри: країну, місто і чи треба зберігати адресу.
• Баланс трафіку в гігабайтах, який рахується в обидва боки, разом із заголовками. Невикористаний трафік залишається на пакеті, поки той активний. Підписки немає.

Список адрес ви не отримуєте. Їх видає пул, і яка саме дістанеться вам, вирішується окремо для кожного з'єднання.

Перший запит

Перш ніж запускати будь-який інструмент, перевірте, що проксі працює, однією командою з терміналу:

curl -x http://login:password@proxy.sotaproxy.com:10000 https://api.ipify.org

Команда виводить адресу, яку побачив сайт. Це не має бути ваша адреса. Якщо замість цього ви бачите 407, логін або пароль неправильні, або рядок логіна зіпсований. Перелік перевірок є в гайді по 407. Запускайте цю команду щоразу, коли щось нижче за ланцюжком працює не так, бо це за п'ять секунд відокремлює «проксі зламався» від «я неправильно налаштував інструмент».

Вибір місця розташування адреси

Країна і місто вказуються всередині логіна у вигляді суфіксів:

login                              будь-яка країна, ротація
login_c_US                         США
login_c_DE                         Німеччина
login_c_US_city_New-York           Нью-Йорк, якщо там зараз є доступний пристрій

Коди країн складаються з двох великих літер. У назвах міст пробіли замінюються дефісами. Місто – це лише побажання: якщо в цьому місті зараз немає доступного пристрою, ви отримаєте адресу з країни. Повний синтаксис описаний у довіднику з рядків підключення, а які країни підтримуються – на сторінках локацій, наприклад Китай.

Ротація і прив'язка: налаштування, від якого залежить, чи виживуть акаунти

За замовчуванням шлюз ротує: кожне нове з'єднання отримує інший вихідний пристрій. Це підходить для роботи, де кожен запит незалежний, наприклад для парсингу списків товарів або перевірки цін.

Для всього, де є стан, потрібна одна адреса на якийсь час. Це робиться через суфікс сесії:

login_c_US_s_42_ttl_30s     одна адреса на 30 секунд: логін і його редирект
login_c_US_s_42_ttl_15m     15 хвилин: оформлення замовлення або багатокрокова форма
login_c_US_s_42_ttl_1h      одна година: прогрів акаунту, тривалий браузинг

Число після _s_ вибираєте ви. Кожен воркер, профіль браузера або акаунт повинен мати своє, бо дві речі з одним номером сесії ділять одну вихідну адресу, і для сайту вони виглядають як один відвідувач. Вказаний час життя – це верхня межа, а не гарантія: домашній пристрій може вийти офлайн, тому код має вміти обробляти переконнект. Правила описані в розділі про ротацію і прив'язку сесій.

Один наслідок здивовує багатьох. Ротація відбувається на рівні з'єднання, а не запиту. Клієнт, який тримає з'єднання відкритим, а так робить будь-який браузер і будь-яка HTTP-бібліотека, зберігає адресу до закриття цього з'єднання. Якщо ваш скрейпер ніби завис на одній адресі, причина в цьому, і виправити це можна, керуючи сесіями через номери замість того, щоб сподіватись на щось.

Якщо акаунту потрібно тримати одну адресу тижнями, резидентні проксі – неправильний продукт. Для цього є статичні ISP-адреси, і порівняння наведено в статті ISP vs резидентні vs дата-центри vs мобільні.

Використання в браузері

Введіть шлюз як HTTP-проксі з логіном і паролем, а суфікси додайте в поле імені користувача. В десктопних браузерах для цього різні місця: у Firefox є власний діалог, Chrome використовує системні налаштування, обидва варіанти покроково описані в гайдах по Firefox і Chrome. На телефоні налаштування знаходиться всередині параметрів Wi-Fi мережі, дивіться гайд по iPhone.

Браузер тримає з'єднання відкритими, тому резидентний проксі в браузері поводиться як сесія з прив'язкою до перезапуску браузера. Встановлюйте суфікс сесії з потрібним часом життя замість того, щоб покладатися на це.

Використання в коді

Та сама адреса працює в будь-якій HTTP-бібліотеці. На Python:

PROXY = "http://login_c_US_s_7_ttl_15m:password@proxy.sotaproxy.com:10000"

# requests
session = requests.Session()
session.proxies = {"http": PROXY, "https": PROXY}

# httpx
client = httpx.Client(proxy=PROXY)# Playwright
browser = p.chromium.launch(proxy={
    "server": "http://proxy.sotaproxy.com:10000",
    "username": "login_c_US_s_7_ttl_15m",
    "password": "password",
})

Дві технічні деталі для коду. Якщо використовуєте SOCKS5, пишіть socks5h://, щоб доменне ім'я розв'язувалося на проксі, а не на вашій машині. Ми перевіряли, які клієнти роблять це неправильно, результати в статті що таке DNS-проксі. Якщо у паролі є символи @, # або :, кодуйте їх всередині адреси або передавайте в окремих полях. Повний робочий краулер з усіма цими налаштуваннями наведено в матеріалі веб-краулінг на Python.

Використання в інструментах

Антидетект-браузери, скрейпери та SEO-інструменти запитують одні й ті самі чотири поля: хост, порт, логін, пароль. Заповніть їх із таблиці нижче і виберіть тип HTTP, якщо тільки інструменту не потрібен SOCKS5, той самий порт підтримує обидва протоколи.

Один профіль, один номер сесії. Це єдине правило для інструментів, які керують кількома ідентичностями. Інструменти, які взагалі не можуть надіслати логін проксі (зазвичай це Selenium), можна налаштувати через доступ за адресою: автентифікація та білий список IP.

Що купує гігабайт

Резидентний трафік тарифікується за обсягом, тому питання "скільки мені потрібно" насправді означає "наскільки важкі сторінки". Наші власні виміри з попередніх посібників:

• Краулінг звичайного HTML-сайту зі стисненням коштував 3,8 КБ на сторінку по дроту, тож гігабайт давав близько 275 000 сторінок. Стиснутий трафік виявився в шість разів меншим за сам HTML.
• Рендер сторінки в браузері, це вже інший порядок величин. Сторінки, які ми вимірювали, важили від 424 КБ до 2 МБ у відрендереному вигляді, тобто гігабайт дає від 500 до 2500 сторінок.

Практичні висновки такі: якщо дані є в HTML, завантажуйте HTML без рендеру, тримайте стиснення увімкненим, а в браузері блокуйте зображення, медіа та шрифти, які не потрібні. Арифметика на мільйон сторінок наведена в статті найкращі проксі для веб-скрейпінгу.

Перевірка коректності роботи

Три перевірки, по порядку.

Адреса. Команда curl вище або наш перевірювач IP у браузері. Адреса й країна мають відповідати тому, що ви запитували.

Липкість. Запустіть той самий запит тричі із суфіксом сесії. Три однакові адреси означають, що сесія тримається:

for i in 1 2 3; do
  curl -s -x http://login_c_US_s_9_ttl_15m:password@proxy.sotaproxy.com:10000 https://api.ipify.org
  echo
done

Нічого збоку. У браузері WebRTC може видати вашу справжню адресу в обхід будь-якого проксі, а локальний DNS-запит може видати, які сайти ви відвідуєте. Обидва моменти розглянуто в посібниках про браузери, посилання вище.

Помилки, які марнують трафік

• Ротація посеред логіну або оформлення замовлення. Сайт бачить зміну адреси і виходить з акаунта або ставить прапорець. Використовуйте суфікс сесії для всього сценарію.
• Спільний номер сесії між воркерами. Вони використовують один і той самий вихід, і сайт бачить одного відвідувача, який виконує роботу десятьох.
• Пробіл у назві міста. New York - це неправильний логін, і ви отримаєте 407. Пишіть New-York.
• Рендер сторінок, які можна було завантажити. Браузер коштує в сто разів більше трафіку, ніж звичайний запит за тими самими даними.
• Повторні спроби на повній швидкості. Невдалий запит теж тарифікується. Повторюйте зі зростаючою паузою, на іншій сесії і лічіть спроби.
• Купівля обсягу до тестування. Один гігабайт коштує $2,00 і відповідає на питання, чи взагалі ваша ціль приймає резидентний трафік. Купуйте великий пакет після цього, а не до.

Коли резидентні проксі не підходять

• Сайт не перевіряє клас адреси. Датацентрові адреси роблять ту саму роботу за частку ціни, і трафік не лічиться. Тест на 200 запитів покаже, який у вас випадок.
• Акаунт, який живе на одній адресі. ISP-проксі: одна статична адреса, $3,00 на місяць, трафік не обмежений.
• Контент тільки для мобільних. Мобільні проксі на справжній адресі оператора.

Ціни на всі чотири типи на сторінці тарифів, а порівняння, для чого кожен тип призначений, у статті найкращі резидентні проксі.

FAQ

Як підключитися до резидентного проксі?

Надсилайте запити на адресу шлюзу з вашим логіном і паролем. У нас це proxy.sotaproxy.com:10000, HTTP або SOCKS5, а країна, місто та сесія передаються в логіні як суфікси.

Чи отримаю я список IP-адрес?

Ні. Резидентний проксі - це шлюз перед пулом. Ви отримуєте адресу на кожне з'єднання, обрану за країною та сесією, які ви запитали, і ніколи не керуєте адресами самостійно.

Як зберегти одну й ту саму IP-адресу?

Додайте суфікс сесії до логіну, _s_ з номером на ваш вибір і час життя: _ttl_30s, _ttl_15m або _ttl_1h. Для адреси, яка не повинна змінюватися тижнями, використовуйте ISP-проксі.

Скільки резидентного трафіку мені потрібно?

Поділіть кількість сторінок на сторінки в гігабайті для вашого типу: близько 275 000 для стиснутого HTML у нашому краулі, від 500 до 2500 для відрендерених сторінок. Почніть з одного гігабайта і заміряйте свою власну ціль.

Чи можу я використовувати один резидентний проксі для кількох акаунтів?

Шлюз, так. Сесію, ні. Дайте кожному акаунту власний номер сесії, щоб кожен мав свою вихідну адресу, і пам'ятайте, що проксі змінює тільки адресу, а не пристрій чи браузер, які акаунти використовують спільно.