Скрапьте любой сайт. Без блокировок и CAPTCHA.

Сколько на самом деле стоит миллион страниц

Выбор прокси это сначала арифметика и только потом техника. Вот одна и та же задача, посчитанная двумя способами по нашим ценам, где страница весит 80 КБ сжатого HTML:

Датацентр выигрывает по цене везде, где цель его пропускает, и разрыв растёт с объёмом. Резидентка отрабатывает свою цену на сайтах, которые режут хостинговые диапазоны, и там выбор идёт не между $27 и $76, а между $76 и отсутствием данных.

Конфигурация, которая переживает встречу с живым сайтом

Начинайте на датацентре, измеряйте долю блокировок и переносите только те цели, что упали. Резидентке с ротацией номер сессии не нужен вовсе, отсюда и дешевизна:

Python: пул датацентра с откатом на резидентку

import requests
from itertools import cycle

# Датацентровый пул: ротируем сами
pool = cycle([
    "http://login:password@198.51.100.20:50100",
    "http://login:password@198.51.100.21:50100",
])

# Резидентка про запас: без номера сессии новый IP на запрос
RESI = "http://login_c_US:password@proxy.sotaproxy.com:10000"

headers = {"Accept-Encoding": "gzip"}

def fetch(url, use_resi=False):
    proxy = RESI if use_resi else next(pool)
    r = requests.get(url, proxies={"http": proxy, "https": proxy},
                     headers=headers, timeout=30)
    if r.status_code == 403 and not use_resi:
        return fetch(url, use_resi=True)
    return r

• Просите gzip. Он режет HTML в три-четыре раза, и на резидентке это разница между $76 и $250 за один и тот же прогон.
• Блокируйте картинки, шрифты и видео в headless-браузере. Они дают основной вес и ноль нужных данных.
• Таймаут тридцать секунд. Резидентный маршрут строится дольше датацентрового, и пять секунд выбрасывают запросы, которые бы прошли.
• Размазывайте нагрузку по адресам, а не ускоряйте один. Один IP, ведущий себя как пятьдесят пользователей, это и есть шаблон, который ловят лимитеры.

Четыре способа сжечь здесь деньги