Найкращі проксі для веб-скрапінгу: вибір типу під ціль

Найкращий проксі для веб-скрапінгу - це найдешевший тип, який ще приймає ваша ціль. Ця фраза дає більше користі, ніж будь-який топ-десять, тому що різниця в ціні між типами величезна: мільйон сторінок на місяць коштує близько $14 на датацентрових адресах і до $2,000 на резидентному трафіку, якщо рендерити кожну сторінку в браузері.

Тому питання не в тому, який провайдер. Питання в тому, який тип, і це можна з'ясувати за двісті запитів, перш ніж витрачати серйозні гроші. Цей посібник дає вам тест, вартість кожного типу на мільйон сторінок та налаштування, які мають значення після вибору. Ціни наші, взяті з актуального прайс-листа станом на 30 вересня 2026 року.

Коротка відповідь за типом цілі

Що ви скрапите	Тип проксі	Як тарифікується
Сайти без захисту від ботів: документація, невеликі магазини, портали відкритих даних	Datacenter	За адресу на місяць, трафік не лічиться
Великі сайти, які відповідають через IPv6 і не мають жорсткого захисту	IPv6	За адресу на місяць, найдешевший тип у нас
Захищені сайти: маркетплейси, результати пошуку, подорожі, квитки	Rotating residential	За гігабайт
Сторінки за вашим власним логіном	ISP, одна статична адреса на аккаунт	За адресу на місяць
Мобільні додатки та контент тільки для операторів	Mobile	За модем на день

Більшість завдань зі скрапінгу потрапляють у перший або третій рядок, а дорога помилка - платити за третій, коли перший спрацював би.

Дізнайтеся, що потрібно вашій цілі за 200 запитів

Візьміть одну датацентрову адресу і запитайте однаковий тип сторінки двісті разів. Не дивіться тільки на статус-коди: перевірте, що відповідь містить щось, що є лише на справжній сторінці, наприклад елемент із назвою товару.

import collections
import requests

TARGET = "https://example.com/some/listing"
MUST_CONTAIN = "product-title"      # рядок, який є тільки на справжній сторінці
PROXY = "http://login:password@198.51.100.20:50100"

results = collections.Counter()
for _ in range(200):
    try:
        r = requests.get(TARGET, proxies={"http": PROXY, "https": PROXY}, timeout=20)
    except requests.RequestException:
        results["network error"] += 1
        continue
    if r.status_code == 429:
        results["429 rate limit"] += 1
    elif r.status_code in (403, 503):
        results[f"{r.status_code} block"] += 1
    elif r.status_code == 200 and MUST_CONTAIN not in r.text:
        results["200 without content"] += 1
    elif r.status_code == 200:
        results["ok"] += 1
    else:
        results[str(r.status_code)] += 1

print(results)

Потім читайте результат:

Усі двісті в порядку. Datacenter достатньо. Зупиніться тут і не купуйте резидентний трафік.
Спочатку нормально, потім 429. Це ліміт швидкості на адресу, а не оцінка її типу. Сповільніться або додайте більше датацентрових адрес. Перехід на резидентні коштуватиме набагато дорожче і нічого не вирішить.
403 або сторінка виклику з першого запиту. Ціль відхиляє клас адреси. Саме для цього випадку існує резидентний трафік.
200 без контенту щоразу. М'яке блокування: сайт відповідає ввічливо зі стіною від ботів. У наших власних тестах сторінка товару на Amazon повернулася як HTTP 200 і 3,8 КБ тексту "continue shopping". Вважайте це блокуванням і повторіть спробу на іншому типі адреси.

Одна контрольна перевірка робить тест достовірним. Запустіть той самий скрипт без проксі, зі свого власного з'єднання. Якщо вас заблокували і там, проблема у вашому клієнті, його заголовках або його TLS-відбитку, і жоден проксі будь-якого типу це не виправить.

Скільки коштує мільйон сторінок на кожному типі

Для типів із тарифікацією за гігабайтами вартість визначається вагою сторінки, тому ми використовуємо ваги, які виміряли самі: 46 КБ і 106 КБ для чистого HTML статті з Вікіпедії та сторінки міста на Booking.com, 424 КБ і 2,011 КБ для тих самих сторінок, відрендерених у браузері. Виміри наведені в як заробляти на веб-скрапінгу.

Налаштування	Трафік на 1,000,000 сторінок	Вартість у нас
Datacenter, десять адрес	Не лічиться	$13,50 на місяць
IPv6, сто адрес	Не лічиться	$20 на місяць
Residential, тільки HTML, сторінки по 50 КБ	близько 48 ГБ	$80 за пакет 50 ГБ
Residential, тільки HTML, сторінки по 106 КБ	близько 101 ГБ	близько $150
Residential, рендер, сторінки по 424 КБ	близько 405 ГБ	$650 за пакет 500 ГБ
Residential, рендер, сторінки по 2 МБ	близько 1,920 ГБ	$2,000 за пакет 2,000 ГБ

Ці цифри без повторних спроб, а невдалий запит тарифікується так само, як успішний.

З таблиці випливають дві речі. По-перше, рядки з datacenter не ростуть разом із об'ємом. Мільйон сторінок на місяць - це один запит кожні 2,6 секунди по всій роботі або один кожні 26 секунд на адресу з десятьма адресами, що майже будь-який сайт витримує. По-друге, на резидентних найбільший важіль вартості - це не провайдер і не ставка за гігабайт. Це чи рендерите ви. Той самий мільйон сторінок коштує $150 як HTML і $2,000 через браузер.

Налаштування, які мають значення після вибору

Ротація відбувається на з'єднання, а не на запит. На нашому резидентному гейтвеї нове з'єднання отримує новий вихід. Клієнт, який тримає з'єднання живими (що роблять об'єкти сесій у HTTP-бібліотеках), зберігає адресу, з якої почав. Якщо ваш скрапер показує одну адресу хвилинами, причина саме в цьому.

Чисте рішення - контролювати це самостійно через ідентифікатори сесій у логіні:

import itertools
import requests

GATEWAY = "proxy.sotaproxy.com:10000"
counter = itertools.count(1)

def proxy_for_new_exit(country="US"):
    n = next(counter)
    url = f"http://login_c_{country}_s_{n}_ttl_30s:password@{GATEWAY}"
    return {"http": url, "https": url}

session = requests.Session()
r = session.get("https://example.com/page/1", proxies=proxy_for_new_exit(), timeout=30)

Кожен новий ідентифікатор запитує новий вихід, а повторне використання ідентифікатора зберігає той самий настільки довго, наскільки дозволяє його час життя.

Зберігайте одну адресу для всього зі станом. Пагінація, яка залежить від кукі, кошик, сесія пошуку: дайте такому завданню один ідентифікатор із часом життя п'ятнадцять хвилин або одну годину. Три варіанти часу життя та як вибирати між ними описані в довіднику rotating and sticky sessions.

Давайте кожному воркеру свій власний ідентифікатор. Два воркери, що ділять один, діляться виходом, і ціль бачить одного відвідувача, який робить удвічі більше запитів.

Вибирайте країну виходу відповідно до сайту. Британський ритейлер показує британські ціни та наявність для британських адрес. Наші датацентрові адреси продаються по країнах у 41 країні, серед них Великобританія, США та Німеччина, а резидентний трафік приймає країну як суфікс у логіні.

Скорочуйте вагу сторінки перш ніж скорочувати швидкість. У headless-браузері блокуйте те, що не парсите:

BLOCKED = {"image", "media", "font"}

def drop_heavy(route):
    if route.request.resource_type in BLOCKED:
        route.abort()
    else:
        route.continue_()

page.route("**/*", drop_heavy)

Це API Playwright для Python. Відрендерена сторінка від цього дешевою не стане, бо основну вагу складають скрипти та стилі, але ви прибираєте те, що вам ніколи не було потрібне.

IPv6-проксі для скрейпінгу: коли вони працюють

IPv6-адреси у нас коштують $0,20 за штуку на місяць, це найнижча ціна в каталозі. Вони працюють тільки якщо цільовий сайт публікує AAAA-запис, тобто взагалі доступний через IPv6.

Ми перевірили це для великих сайтів 8 вересня 2026 року. Google, YouTube, Facebook, Instagram, LinkedIn, Reddit, Wikipedia та Amazon відповідають через IPv6. X, TikTok, eBay, AliExpress і Walmart – ні. Повний список по країнах разом зі скриптом для самостійної перевірки будь-якого домену знаходиться на нашій сторінці підтримки IPv6.

Дві застереження, перш ніж купувати тисячу адрес:

Доступність не означає лояльність. Сайт може відповідати через IPv6 і водночас блокувати діапазони дата-центрів. Спочатку проведіть тест на 200 запитів з IPv6-адреси.
Сайти рахують IPv6 блоками, а не окремими адресами. Оскільки один абонент зазвичай отримує цілий /64, обмеження швидкості часто застосовуються до /64 або ширше. Багато адрес з одного блоку можуть поводитися як одна.

Ми продаємо IPv6 у 17 країнах. Деталі на сторінці IPv6-проксі.

Коли проксі – не вихід

Проксі змінюють адресу, з якої приходить запит. Вони не змінюють те, як виглядає клієнт.

Сторінка – порожня оболонка, поки не виконаються скрипти. Наш звичайний запит до списку Reddit повернув 8 КБ з назвою "Reddit". Тут потрібен браузер, незалежно від проксі.
Вас блокують і без проксі теж. Це фінгерпринтинг клієнта, і виправляти треба клієнт.
Ви не хочете це все підтримувати. Тоді купуйте готовий результат замість трафіку. Bright Data, Oxylabs і Zyte продають анблокери та API для скрейпінгу, які обробляють рендеринг, повторні спроби та челенджі як керований сервіс. Ми такого не продаємо. Порівняння двох найбільших є в статті Bright Data vs Oxylabs.

Де купити

Для резидентного трафіку ціни п'яти постачальників на 10, 100 і 1000 ГБ наведені в кращих резидентних проксі. На момент написання ми найдешевші з п'яти за гігабайт, і у нас немає опублікованих незалежних бенчмарків, тому протестуйте перед покупкою великих обсягів.

Для дата-центрових, ISP та IPv6-адрес наші ціни становлять $1,80, $3,00 і $0,20 за одну адресу на місяць, знижуючись до $1,35 і $2,10 при десяти адресах для перших двох типів. Підписки немає, оплата лише криптовалютою. Повні таблиці цін на сторінці тарифів.

Якщо ви хочете провести тест на 200 запитів перед оплатою, Webshare дає десять спільних дата-центрових проксі безкоштовно. Спільні адреси відмовляють частіше за виділені, тому успіх там – хороша новина, а провал – не остаточний вердикт.

Поширені запитання

Який проксі найкращий для веб-скрейпінгу?

Найдешевший тип, який приймає цільовий сайт. Дата-центровий для сайтів без захисту від ботів, резидентний для сайтів, що відхиляють діапазони дата-центрів, статична ISP-адреса для всього, що за логіном. Дізнайтеся, що підходить, за допомогою тесту на 200 запитів з однієї дата-центрової адреси.

Чи потрібні мені резидентні проксі для скрейпінгу?

Тільки якщо ціль блокує дата-центрові адреси по класу, що проявляється як 403 або стіна від ботів вже з першого запиту. Код 429 після серії успішних запитів – це обмеження швидкості, і більше дата-центрових адрес вирішать це за частку вартості.

Скільки проксі мені потрібно?

Поділіть кількість сторінок на день на те, скільки може отримати одна адреса в межах ліміту цілі. Якщо сайт терпить один запит кожні дві секунди з адреси, одна адреса витягує близько 43 000 сторінок на день. Для мільйона сторінок на місяць це одна адреса на папері і десять на практиці для запасу. На ротованих резидентних це питання не стоїть: ви купуєте гігабайти, а пул надає адреси.

Чи достатньо безкоштовних проксі або парсерів проксі?

Парсер проксі збирає публічні списки проксі, і ці адреси діляться з усіма, хто зібрав той самий список. Чекайте, що більшість з них мертві або вже заблоковані на будь-якому сайті, що варто скрейпити. Вони підходять для навчання, як працюють проксі, але не для роботи, на яку ви розраховуєте.

HTTP чи SOCKS5 для скрейпінгу?

HTTP, якщо тільки вашому інструменту не потрібне щось, що HTTP не може передати. Кожен продукт, який ми продаємо, підтримує обидва. Якщо ви використовуєте SOCKS5, пишіть socks5h://, щоб імена хостів розв'язувалися на стороні проксі, а не на вашій машині. Деталі в розділі протоколи та порти.

Чи легальний веб-скрейпінг?

Залежить від країни, від типу даних і від того, як ви їх використовуєте. Публічні неперсональні дані розглядаються зовсім інакше, ніж персональні дані або контент за логіном, і умови сайту теж можуть мати значення. Це не юридична консультація. Якщо дані персональні або проєкт комерційний, звертайтеся до юриста перед масштабуванням.