Тяните реальные тарифы. Не завышенные.

Ежечасный сбор тарифов по рынкам

Тарифы меняются в течение дня и различаются по точке продажи, поэтому задача определяется частотой, а не числом страниц:

Сделать это правильно стоит копейки. Сделать из одной географии стоит таблицы тарифов, которая не совпадает с тем, что видят клиенты, а это единственный режим отказа, который в этом бизнесе имеет значение.

Одна сессия на точку продажи

Сессии авиакомпаний и агрегаторов привязывают валюту, резидентство, а иногда и тарифную корзину. Держите по адресу на рынок весь проход:

Python: сессия на точку продажи

def pos_proxy(pos_index, country):
    login = f"login_c_{country}_s_{pos_index}_ttl_15m"
    return f"http://{login}:password@proxy.sotaproxy.com:10000"

for i, pos in enumerate(points_of_sale, start=1):
    proxy = pos_proxy(i, pos.country)
    for route in routes:
        fare = search(route, proxy=proxy, currency=pos.currency)
        store(fare, market=pos.country, address_session=i)

• Задавайте валюту явно и сохраняйте её с каждым тарифом. Число без валюты это не данные.
• Пятнадцати минут липкой сессии хватает на поиск и последующие вызовы, которые считают стоимость маршрута. Ротация между ними обнуляет поиск.
• Авиакомпании жёстко режут частоту. Размазывайте ежечасный проход по всему часу, а не бейте все маршруты в начале.
• Храните номер сессии рядом с тарифом, чтобы можно было воспроизвести цену, когда её оспорят.

Где данные о тарифах ломаются