Отслеживайте каждое изменение цены конкурента. В реальном времени.

Арифметика на каталоге в 50 тысяч позиций

Мониторинг цен это ежедневная работа по фиксированному списку, поэтому объём предсказуем. Карточка товара с отключёнными ресурсами весит около 50 КБ в сжатом виде:

Розничные сайты делятся на две группы. Небольшие магазины и агрегаторы отдают данные датацентровым адресам без возражений, и их надо гонять через датацентровый пул. Крупные маркетплейсы распознают хостинговые диапазоны и тихо отдают устаревшую или дефолтную цену, а это хуже блокировки, потому что данные выглядят нормальными. Такие цели идут на резидентку.

Липкий адрес на магазин, ротация на каталог

Маркетплейсы привязывают к сессии валюту, сроки доставки, а иногда и цену. Держите один адрес на весь проход по магазину вместо ротации посреди каталога:

Python: липкий адрес на один проход

def store_proxy(store_index, country="US", city=None):
    login = f"login_c_{country}"
    if city:
        login += f"_city_{city}"
    login += f"_s_{store_index}_ttl_1h"
    return f"http://{login}:password@proxy.sotaproxy.com:10000"

# по одному адресу на магазин на весь проход
for idx, store in enumerate(stores, start=1):
    proxy = store_proxy(idx, country=store.country, city=store.city)
    for sku in store.skus:
        fetch(sku, proxy)

• На маркетплейсах с локальными складами цены различаются по городам. Если сравнивать нью-йоркскую цену с варшавского адреса, вы измеряете доставку, а не конкуренцию.
• Часа липкой сессии хватает на полный проход по среднему каталогу. Ротация внутри него сбрасывает валюту и сроки доставки.
• Сохраняйте использованный адрес рядом с каждой ценой. Без этого выбросы потом не объяснить.
• Растягивайте прогон на день. Пятьдесят тысяч запросов за десять минут выглядят как атака, те же запросы за шесть часов выглядят как трафик.

Как данные о ценах портятся незаметно