Чому проксі вирішують цю задачу
Моніторинг цін вимагає багаторазово бити по одних і тих самих URL товарів - саме той патерн, що викликає бани за IP. Ротаційні резидентні проксі роблять так, що кожна перевірка має вигляд іншого користувача, який звично серфить.
Проблеми без проксі
Блокування IP від частих перевірок
Перевірка сторінки товару кожні 15 хвилин з одного IP швидко призводить до його блокування. Ротуйте по великому пулу - і кожен запит має вигляд нового органічного візиту.
Гео-специфічні ціни
Багато ритейлерів показують різні ціни за країною, штатом чи містом. Використовуйте проксі з таргетингом за локацією, щоб витягнути точну ціну, яку бачить покупець на цьому ринку.
Сторінки з динамічними цінами
Сайти на кшталт Amazon змінюють ціни кілька разів на годину. Зв’язка headless-браузер + ротаційний проксі захоплює фінальні ціни, відрендерені через JavaScript.
Rate limiting за user-agent
Сайти фінгерпринтять браузери не лише за IP. Ротуйте user-agent разом з IP, щоб знизити виявлення.
Як це вирішує SotaProxy
Резидентні проксі з автоматичною ротацією й гео-таргетингом до міста. Тягніть точні локальні ціни з 220+ країн. Поєднуйте зі sticky-сесіями, коли потрібно пройти повний флоу сторінки товару (вибір регіону → товар → фінальна ціна).
Налаштування за 4 кроки
Складіть карту цілей
Перелічіть усі домени й URL товарів, які потрібно моніторити. Згрупуйте за агресивністю антибота - одним сайтам потрібні резидентні, інші приймають дата-центрові.
Задайте частоту перевірок
Вирішіть, як часто кожній ціні потрібне оновлення. Рівномірно розподіліть перевірки по пулу проксі, щоб уникнути rate-limit.
Використовуйте гео-таргетинг
Додайте країну або місто в параметр імені користувача проксі, щоб витягнути ціни конкретного регіону.
Зберігайте й порівнюйте результати
Зберігайте кожну перевірку ціни в базу. Сповіщайте про зміни вище вашого порога.
The arithmetic on a 50,000 SKU catalogue
Price monitoring is a daily job on a fixed list, so volume is predictable. A product page is around 50 KB gzipped once you block assets:
Retail sites split cleanly into two groups. Small shops and price aggregators serve datacenter addresses without complaint, so run those on a datacenter pool. Large marketplaces fingerprint hosting ranges and quietly serve stale or default prices, which is worse than being blocked because the data looks fine. Those go on residential.
Sticky per store, rotating per catalogue
Marketplaces tie currency, delivery estimates and sometimes price to the session. Hold one address for the duration of a store pass instead of rotating mid-catalogue:
Python: one sticky address per store pass
def store_proxy(store_index, country="US", city=None):
login = f"login_c_{country}"
if city:
login += f"_city_{city}"
login += f"_s_{store_index}_ttl_1h"
return f"http://{login}:password@proxy.sotaproxy.com:10000"
# One address per store for the whole pass
for idx, store in enumerate(stores, start=1):
proxy = store_proxy(idx, country=store.country, city=store.city)
for sku in store.skus:
fetch(sku, proxy)- Prices differ by city on marketplaces with local warehouses. If you compare a New York price against a Warsaw address, the difference you are measuring is shipping, not competition.
- An hour of sticky covers a full pass over a mid-size catalogue. Rotating inside it resets the currency and the delivery estimate.
- Store the address you used next to every price you collect. Without it you cannot explain outliers later.
- Spread the run across the day. Fifty thousand requests in ten minutes looks like an attack, the same run over six hours looks like traffic.
How price data goes wrong without anyone noticing
Collecting default prices instead of local ones
A marketplace that does not trust your address falls back to a default region. The scraper reports a number, the number is wrong, and nothing errors.
Rotating in the middle of a catalogue pass
Currency and delivery terms reset with the address, so half your prices are in another market's terms.
Comparing across cities by accident
Two addresses in the same country can sit in different warehouse zones. Pin the city when the category is logistics-sensitive.
Running everything at midnight
Sites rate-limit bursts. Spreading the same volume across hours costs nothing and gets you a fuller dataset.
Поширені запитання
Чи можна моніторити ціни Amazon без блокувань?
Так, з резидентними проксі. Amazon агресивний - використовуйте ротаційні резидентні IP і ротуйте user-agent. Дата-центрові IP на Amazon блокуються швидко.
Як часто можна перевіряти ціни?
З ротаційним пулом - фактично без обмежень. Кожен запит використовує інший IP, тож ліміти частоти на IP не застосовуються.
Чи можна тягнути ціни для конкретної країни чи міста?
Так. Таргетинг до міста в імені користувача проксі тягне точну ціну, яку бачить ця локація, включно з місцевими податками й валютою.
У якому форматі приходять цінові дані?
Проксі повертає сирий HTML - ваш скрапер парсить із нього ціну. Більшість команд використовують CSS-селектори або XPath для вилучення полів ціни.
Схожі сценарії
Готові почати?
Створіть акаунт, поповніть баланс та отримайте доступ до проксі за кілька хвилин. Без дзвінків. Без мінімального платежу.
Створити акаунт