Бан по IP
Блокировка конкретного IP-адреса, не дающая ему доступ к сайту или сервису.
Бан по IP - это когда сайт блокирует все запросы с конкретного IP-адреса. С забаненного IP сайт возвращает ошибку (403, 429 или кастомную страницу блокировки) вместо запрошенного контента.
Сайты банят IP по нескольким причинам: слишком много запросов за короткий интервал (rate limiting), паттерны запросов, похожие на автоматизацию (одинаковый тайминг, идентичные заголовки), доступ к закрытым эндпоинтам или совпадение с известным диапазоном дата-центровых или вредоносных IP.
Как распознать бан: если запросы внезапно начали возвращать ошибки 403, CAPTCHA или пустые ответы после нормальной работы, IP может быть забанен. Проверьте тот же запрос с другого IP, чтобы подтвердить.
Временные баны истекают после периода охлаждения - от минут до часов. Постоянные баны блокируют IP на неопределённый срок, пока его не пересмотрят вручную или провайдер не переиспользует адрес.
Ротационные прокси предотвращают баны по IP, распределяя запросы по множеству IP. Ни один IP не накапливает достаточно запросов, чтобы упереться в порог бана. При использовании резидентных пулов с миллионами IP шанс наткнуться на ранее забаненный IP очень мал.
Прокси не предотвращают все баны - сайты также банят по user-agent, паттернам куки и браузерному отпечатку. Ротация IP - один слой; сочетайте её с реалистичными паттернами запросов и разнообразными user-agent для лучшего результата.
К чему на самом деле цепляется бан
IP-бан отклоняет трафик с адреса. Различается, и определяет вашу реакцию, охват: один адрес, подсеть, целая автономная система или правило, срабатывающее на сочетании адреса и чего-то ещё в вашем запросе.
Длительность различается не меньше. Одни баны истекают за минуты, другие держатся неделями, а третьи вовсе не баны, а лимиты частоты, снаружи неотличимые. 403 на каждый запрос с одного адреса несколько дней подряд это бан. 429, который отпускает через десять минут, это лимит.
Ещё сайты банят мягко. Вместо отказа они отдают урезанное содержимое: цены по умолчанию, пустой каталог, устаревшие остатки. Это хуже блокировки, потому что скрапер рапортует об успехе, а данные тихо оказываются неверными.
Прочитать ответ до того, как реагировать
Код ответа говорит, какая у вас проблема, и у каждой своё решение:
Диагностика
403 on the first request -> address class rejected, change proxy type
403 after many requests -> address burnt, rotate or rest it
429 -> rate limit, spread across more addresses
200 with suspiciously thin data -> soft ban, compare against a clean fetch- Сравните подозрительный ответ с тем, что пришёл через другой тип адреса. Мягкие баны видны только в сравнении.
- Если свежий статический адрес приходит уже заблокированным, это унаследованная история, и мы его заменим.
- Дать адресу отлежаться часто работает лучше быстрой ротации. Многие лимиты спадают со временем, а не от объёма трафика.
- Никогда не повторяйте жёсткий 403 в цикле. На тарифицируемых продуктах это стоит трафика и подтверждает тот самый шаблон, из-за которого вас заблокировали.
Заблуждения о банах
Новый адрес не снимает пометку с аккаунта
Если помечен аккаунт, адрес был лишь частью улик. Перенос на чистый IP запись не отменяет.
Быстрее ротировать не лечит лимит частоты
Счётчик ведётся на адрес. Лечение это размазать нагрузку по большему их числу, а не крутить один быстрее.
Не всякая блокировка про вас
Общие и ранее использованные адреса несут чужую историю, и ровно для этого существуют выделенные.
Бан не всегда виден
Мягкие баны возвращают 200. Считайте неожиданно чистые или скудные данные симптомом.
Смотри на практике
Готов использовать бан по ip?
SotaProxy даёт доступ к ротирующим резидентским, мобильным, дата-центр и ISP прокси. Без минимальных платежей.
Начать