Антибот-система
ПО безопасности, которое обнаруживает и блокирует автоматизированный трафик, оценивая запросы по IP, заголовкам, отпечатку и поведению.
Антибот-система - это ПО безопасности, созданное отличать автоматизированный трафик от реальных пользователей и блокировать или челленджить ботов. Сервисы вроде Cloudflare, Akamai Bot Manager, DataDome и PerimeterX стоят перед сайтами (как обратные прокси) и в реальном времени оценивают каждый входящий запрос, решая, пропустить его, выдать CAPTCHA или заблокировать.
Они сочетают множество сигналов. Сетевые: относится ли IP к ASN дата-центра, в блоклистах ли он, сколько запросов сделал. Сигналы запроса: совпадают ли заголовки, user-agent и TLS-отпечаток с реальным браузером и между собой. Поведенческие: движения мыши, тайминг и навигация, которые выглядят человеческими или роботизированными. Ни один сигнал не решает в одиночку - балл накопительный.
Именно поэтому обойти один слой недостаточно. Чистый резидентный IP всё равно провалится, если TLS-отпечаток кричит «Python». Идеальный отпечаток всё равно провалится с помеченного дата-центрового IP. Антибот-системы созданы ловить трафик, подозрительный по любой оси, поэтому проскрапить сквозь них - значит выглядеть человеком сразу по всем.
Практические контрмеры работают в связке: резидентные или мобильные прокси для доверенных IP, браузер-точные TLS-отпечатки и заголовки, реалистичный темп и поведение и полный рендеринг браузером там, где нужно. Единого трюка нет - устойчивость рождается из соответствия реальному пользователю по каждому сигналу, который проверяет система.
Что эти системы на самом деле измеряют
Антибот-система оценивает каждый запрос по нескольким независимым сигналам и блокирует, когда сумма переходит порог. Понимание того, какие сигналы существуют, объясняет, почему одни меры помогают, а другие не дают ничего.
Первый сигнал это адрес: какой автономной системе принадлежит, хостинг ли это, встречается ли в фидах злоупотреблений, сколько трафика слал недавно. Проверяется первым, потому что стоит один запрос в базу и не требует анализа.
Второй это само соединение. TLS-рукопожатие даёт отпечаток, который обычно сводят к хешу JA3 и который различается между браузерами и между браузером и библиотекой. У TCP-стека есть привкус операционной системы. Порядок и регистр заголовков различаются у настоящих браузеров и у инструментов автоматизации.
Третий это поведение во времени: частота запросов, порядок переходов, грузите ли вы то, что грузил бы браузер, движения мыши и тайминги, и выглядят ли ваши куки и история как у вернувшегося посетителя или как у вечно нового.
Прокси закрывает первую группу и больше ничего. Поэтому резидентский адрес сам по себе где-то протаскивает скрапер, а где-то не меняет ничего.
Какой слой закрывают наши продукты
Тип адреса решает вопрос репутации, остальное решается отдельно:
Сигнал и чем лечится
Репутация адреса -> резидентка, ISP или мобильные
Отпечаток TLS -> настоящий браузер или curl-impersonate
Порядок заголовков -> настоящий браузер, а не голый http-клиент
Сетевой стек -> отпечаток ОС на наших мобильных модемах
Поведение и темп -> медленнее, больше адресов, разумная навигация
Куки и история -> постоянные профили в антидетекте- Диагностируйте до того, как тратить. Блок на первом же запросе с датацентрового адреса это репутация. Блок после сорока запросов это темп.
- Ответ 403 на первом обращении ретраями не лечится. Меняйте тип адреса.
- Ответ 429 говорит, что проблема в темпе. Лечится числом адресов, а не более дорогим адресом.
- Для всего, где есть логин, работайте в антидетект-браузере, а не в http-клиенте: там согласованность отпечатка и кук важнее адреса.
Неверные выводы, которые делают чаще всего
Винят прокси в блокировке по отпечатку
Если резидентский адрес блокируют мгновенно, а браузер с того же адреса работает, дело было не в адресе.
Покупают дороже, чтобы обойти лимит частоты
Ответ 429 считает запросы на адрес. Мобильные за $5.76 в сутки этот счётчик не поднимают, поднимает число адресов.
Считают капчу блокировкой
Капча означает пограничную оценку. Замедление или согласованный отпечаток часто возвращают под порог.
Обобщают одно решение на всех
Сайты используют разных вендоров с разными весами. Схема, проходящая одну цель, может не пройти следующую.
Что проверяет каждый слой и на что влияет прокси
Антибот складывается из нескольких независимых проверок. Прокси меняет одну из них. Понимание, какую именно, и отличает починку блокировки от покупки трафика, который до проблемы не дотягивается.
| Слой | На что смотрит | Помогает ли смена адреса? |
|---|---|---|
| Репутация адреса | на кого адрес записан и что он делал недавно | да. Ровно ради этого слоя прокси и существует |
| Темп и объём | как быстро приходят запросы от того, что считается | только если счёт по адресу. По аккаунту или ключу нет |
| Отпечаток TLS | форма рукопожатия клиента ещё до запроса | нет. Его порождает ваш клиент, прокси лишь несёт байты |
| Отпечаток браузера | canvas, шрифты, экран, часовой пояс, WebGL, список плагинов | нет. Работает внутри страницы, видит браузер, а не маршрут |
| Поведение | мышь, тайминги, прокрутка, порядок переходов, форма сессии | нет. Зависит только от того, как ведёт себя ваша автоматизация |
| История аккаунта | возраст, прошлые действия, связанные идентификаторы | нет. Едет вместе с логином, откуда бы он ни подключался |
Четыре строки из шести лежат вне всего, что мы продаём. Если блокировка переживает чистый резидентский адрес из нужной страны, причина почти наверняка в одной из этих четырёх, и покупка трафика её не сдвинет.
Что спрашивают на самом деле
Что такое антибот?
Программа перед сайтом, которая оценивает каждого посетителя на вероятность автоматизации и затем пропускает, проверяет, замедляет или отказывает. Это не одна проверка, а стопка независимых, поэтому одинаковая с виду блокировка бывает по совершенно разным причинам.
Как антибот распознаёт автоматизацию?
Складывая признаки, ни один из которых сам по себе не решает: откуда адрес и что он делал, как быстро идут запросы, какой формы рукопожатие TLS, что браузер сообщает о себе и как ведёт себя сессия. Посетитель, обычный по пяти признакам и странный по одному, всё равно получает отметку «странный».
Помогут ли резидентские прокси пройти антибот?
Они чинят слой адреса и больше ничего. Этого часто хватает, когда блокировали именно за датацентровый адрес, и не хватает совсем, когда дело в клиенте или в темпе. Честная проверка такая: возьмите один хороший адрес нужной страны, и если блокировка осталась, причина в другом месте, а новые адреса её не найдут.
Капча это блокировка?
Нет, и считать её блокировкой частая и дорогая ошибка. Капча означает, что оценка вышла неоднозначной, а не плохой, поэтому система спросила, а не отказала. Меняя в этот момент всё подряд, вы выбрасываете сессию, которой оставался один шаг.
Почему один и тот же скрипт работает с одной машины и не работает с другой?
Потому что слои у них разные, даже когда код одинаковый. Другой стек TLS, headless-браузер вместо настоящего, часовой пояс, не совпадающий с адресом, свежий профиль без истории. Сравнивайте две среды признак за признаком, а не считайте переменной прокси.
Может ли антибот понять, что я через прокси?
Часто да, и само по себе это обычно не проблема. Через корпоративные прокси и VPN идёт масса законного трафика. Оценку портит сочетание: класс адреса, не вяжущийся с заявленным пользователем, темп, который человек не держит, и клиент, не похожий на браузер, которым назвался.
Связанные термины
Смотри на практике
Готов использовать антибот-система?
SotaProxy даёт доступ к ротирующим резидентским, мобильным, дата-центр и ISP прокси. Без минимальных платежей.
Начать