Прокси-менеджер
ПО, централизующее и автоматизирующее использование прокси - ротацию, правила маршрутизации, ретраи и настройку под каждую цель - по всему пулу.
Прокси-менеджер - это ПО, стоящее между вашими скраперами и прокси и автоматизирующее то, как прокси используются. Вместо того чтобы зашивать логику прокси в каждый скрипт, вы направляете инструменты на менеджер, который в одном месте занимается ротацией IP, правилами маршрутизации по доменам, ретраями при сбоях, управлением сессиями и логированием.
Он решает проблему хаоса управления прокси в масштабе. Без менеджера каждый скрапер заново реализует ротацию, обнаружение банов и логику ретраев. Прокси-менеджер централизует эти заботы: задайте правила один раз - ротировать каждые N запросов, использовать резидентные IP для этого домена и дата-центровые для того, повторять сбои со свежим IP - и все инструменты выигрывают.
Функции разнятся, но обычно включают автоматическую ротацию, управление sticky-сессиями, выбор прокси под цель, ретраи и фолбэки запросов, аналитику трафика и успешности и health-check, отбрасывающий мёртвые IP. Одни - опенсорсные инструменты, которые вы хостите сами; другие встроены в коммерческие панели прокси.
Прокси-менеджер нужен, когда операция перерастает простую настройку по скриптам - несколько скраперов, несколько целей и правила, различающиеся по сайтам. Для одного небольшого скрапера, бьющего по одной цели, обычно достаточно шлюза провайдера со встроенной ротацией.
Слой, решающий, какой адрес выполнит следующий запрос
Менеджер прокси стоит между вашим кодом и вашими прокси и раз за разом отвечает на один вопрос: каким адресом пойти этому запросу. Вокруг этого он обычно добавляет проверку живости, обработку повторов, политику ротации и статистику по каждому адресу.
Строить или покупать его становится осмысленно тогда, когда у вас больше одного типа прокси и больше одного вида целей. Направление публичных страниц на дешёвые датацентровые адреса, а защищённых на резидентку это решение, которое должно где-то жить, и зашивать его в каждый скрапер не масштабируется.
Вторая его работа это память. Запись о том, какой адрес отдал какой ответ и что при этом произошло, превращает смутное ощущение, что нас стали блокировать, в конкретный список адресов, которым надо отлежаться, и целей, которые надо перенаправить.
Что куда направлять на наших продуктах
Менеджер хорош ровно настолько, насколько хороша его таблица маршрутизации. Вот разумная стартовая:
Политика маршрутизации
Public pages, no filtering -> datacenter pool, cheapest per byte
403 on first request -> residential, retry once
429 -> same type, different address, back off
Login flows -> ISP or mobile, one address per account
Geo-specific checks -> residential with _c_ and _city_- Логируйте адрес с каждым ответом. Без этого вы не отличите плохой адрес от плохой цели.
- Делайте отступ по каждому адресу отдельно, а не глобально. Один упёршийся в лимит адрес не должен останавливать весь прогон.
- Проверяйте живость статических адресов по расписанию, потому что истёкший или заменённый адрес отказывает молча.
- Наш API отдаёт то, что нужно менеджеру: GET /proxies для парка и резидентские точки для учётных данных шлюза.
Ошибки в устройстве менеджера
Повтор с того же адреса
Самый частый баг. Повтор после блокировки должен менять адрес, а часто и тип.
Глобальный отступ
Остановка всего из-за одного адреса, упёршегося в лимит, растрачивает остальной парк.
Нет происхождения
Без логов адреса на каждый запрос любая диагностика превращается в гадание.
Ротация на каждый запрос по умолчанию
Сайты, ожидающие вернувшегося посетителя, считают это аномалией. Лучше маршрутизируйте по цели.
Смотри на практике
Готов использовать прокси-менеджер?
SotaProxy даёт доступ к ротирующим резидентским, мобильным, дата-центр и ISP прокси. Без минимальных платежей.
Начать