Одновременные сессии (потоки)
Число одновременных соединений или запросов, которые вы можете вести через прокси-сервис в один момент.
Одновременные сессии - часто называемые потоками - это число одновременно открытых соединений через прокси-сервис. Если ваш тариф допускает 100 одновременных сессий, вы можете вести 100 запросов параллельно; 101-й ждёт, пока один завершится. Параллельность - главный рычаг того, как быстро вы скрапите.
Она напрямую определяет пропускную способность. Общая скорость примерно равна параллельности, умноженной на скорость одного запроса. Удвоение одновременных сессий примерно удваивает число страниц, которые вы можете получить в минуту, - до точки, где узким местом становятся лимиты самой цели или ваш парсинг-конвейер. Высокообъёмному скрапингу нужна высокая параллельность.
Провайдеры по-разному тарифицируют и упаковывают параллельность. Одни тарифы на основе трафика допускают фактически неограниченное число одновременных сессий и берут плату только за переданные данные; другие ограничивают параллельность уровнем тарифа. Знание того, ограничены ли вы параллельностью, трафиком или обоими, критично для расчёта размера скрапинг-операции.
Больше параллельности не всегда лучше. Слишком много параллельных запросов к одной цели - даже через ротируемые IP - может включить защиту уровня всего сайта или перегрузить цель. Балансируйте параллельность с лимитами на IP и вежливым темпом, чтобы масштабировать пропускную способность, не привлекая внимания.
Считаем то, что работает одновременно
Параллельность это сколько запросов находятся в полёте одновременно, и именно это число определяет пропускную способность. Задача на миллион страниц по одному запросу за раз занимает недели. Та же задача по двести за раз занимает часы. Больше в ней не изменилось ничего.
Применяются два разных ограничения, и путать их значит терять деньги. Ограничение поставщика это сколько соединений прокси-сервис от вас примет. Ограничение цели это сколько она терпит с одного адреса, прежде чем начнёт отказывать, обычно через 429 или тихое замедление.
Ограничение цели считается на адрес, и это здесь главное. Удвоение параллельности через один адрес удваивает вашу частоту к этому адресу и вдвое быстрее приводит к лимиту. Удвоение числа адресов при той же параллельности на адрес удваивает пропускную способность, ничего не меняя в том, как выглядит каждый отдельный адрес.
Есть и стоимостное измерение на тарифицируемых продуктах. Параллельность не меняет числа переданных байтов, поэтому на резидентке она не стоит ничего дополнительно. Она меняет только то, как быстро вы потратите ту же сумму.
Наши ограничения и те, что вас реально остановят
Мы не ограничиваем ни одновременные соединения, ни число сессий на резидентке. Потолок, в который вы упрётесь на практике, принадлежит цели:
Масштабироваться адресами, а не потоками
# Wrong: 200 threads through one session
login_c_US_s_1_ttl_15m x200 threads -> 429 from the target
# Right: 200 threads across 50 sessions
login_c_US_s_1_ttl_15m x4 threads
login_c_US_s_2_ttl_15m x4 threads
...
login_c_US_s_50_ttl_15m x4 threads
# Or drop sessions entirely for a new exit per request:
login_c_US- Резидентка с ротацией без номера сессии сама размазывает запросы по выходам, и это самый простой способ безопасно поднять параллельность.
- На статических адресах вы настраиваете параллельность на адрес. Двадцать датацентровых адресов по десять потоков ведут себя совсем не так, как один адрес на двести.
- Переиспользуйте соединения. Клиент с пулом держит туннель к нам открытым и убирает рукопожатие из каждого запроса, а это часто важнее наращивания числа потоков.
- Следите за 429, а не гадайте. Это цель прямо говорит вам, какой именно лимит вы перешли.
Где планирование параллельности идёт не туда
Считать ограничением поставщика
Мы параллельность не ограничиваем. Если вас придушивают, это делает цель, и рост числа потоков сделает только хуже.
Путать сессии с соединениями
Одна липкая сессия может нести много параллельных соединений через один выход. Под нагрузкой это обычно не то, чего вы хотите.
Поднимать потоки, чтобы вылечить медленность
Если ответы медленные из-за того, что цель вас придушивает, лишняя параллельность растит очередь, а не пропускную способность.
Считать, что на резидентке параллельность дороже
Тарификация идёт по байтам, а не по соединениям. Параллельность меняет скорость траты, а не её объём.
Смотри на практике
Готов использовать одновременные сессии (потоки)?
SotaProxy даёт доступ к ротирующим резидентским, мобильным, дата-центр и ISP прокси. Без минимальных платежей.
Начать