Обратный прокси (reverse proxy)
Сервер, стоящий перед одним или несколькими веб-серверами и передающий им входящие клиентские запросы, скрывая бэкенд от клиента.
Обратный прокси - это сервер, который принимает запросы от клиентов от имени одного или нескольких бэкенд-серверов, затем передаёт каждый запрос нужному бэкенду и возвращает ответ. С точки зрения клиента обратный прокси и есть сайт - реальные серверы за ним скрыты.
Это зеркальное отражение прямого прокси. Прямой прокси работает от имени клиентов, чтобы достучаться до внешнего интернета (скрывая клиента). Обратный прокси работает от имени серверов, чтобы принимать трафик из интернета (скрывая серверы). Тот же принцип посредника, но в обратном направлении.
Обратные прокси - базовая веб-инфраструктура. Они занимаются балансировкой нагрузки (распределение трафика по нескольким бэкендам), терминацией SSL/TLS (расшифровка HTTPS, чтобы бэкендам не пришлось), кэшированием (отдача повторяющихся ответов без обращения к бэкенду) и фильтрацией безопасности (блокировка вредоносных запросов до попадания в приложение). Nginx, HAProxy и Cloudflare - типичные обратные прокси.
Для тех, кто занимается скрапингом, обратные прокси важны потому, что именно там часто живут антибот-системы. Cloudflare, Akamai и подобные сервисы работают как обратные прокси перед целевыми сайтами, инспектируя входящие запросы и челленджа или блокируя те, что выглядят автоматизированными. Понимание этого объясняет, почему запросы блокируются ещё до того, как достигнут реального сервера.
Прокси, который принадлежит сайту
Прямой прокси действует за клиента. Обратный действует за сервер: он стоит перед источником, принимает соединения из внешнего мира и решает, что с ними делать, до того как что-либо дойдёт до приложения за ним.
Обратные прокси занимаются терминацией TLS, кешированием, балансировкой нагрузки и, что здесь важнее всего, фильтрацией. Cloudflare, Fastly и подобные сервисы это обратные прокси, продаваемые как продукт, и поэтому так много блокировок, с которыми вы сталкиваетесь, приходят от инфраструктуры, а не от самого сайта.
Отсюда и то, что два разных сайта блокируют вас совершенно одинаково, с одной и той же страницей проверки и одними и теми же признаками. Вы столкнулись не с их правилами, а с правилами их подрядчика.
Что это значит для вашей схемы
Когда блокировка приходит от обратного прокси, лечение касается признаков, а не сайта:
Как распознать уровень
Challenge page from a known vendor -> you are being scored, not banned
Same block pattern across sites -> shared vendor, shared ruleset
Server header naming a CDN -> a reverse proxy is in front
curl -I https://example.com | grep -i 'server\|cf-ray'- Система оценки подрядчика взвешивает класс адреса, отпечаток TLS и поведение. Улучшение любого из них двигает оценку, а адрес это то, что продаём мы.
- Поскольку правила общие для всех их клиентов, схема, проходящая на одном сайте, часто проходит и на других с тем же подрядчиком.
- Лимиты частоты тоже нередко применяются на этом уровне, и поэтому они ощущаются одинаково на никак не связанных сайтах.
- Ничто из этого не побеждается одной лишь ротацией адресов, если ваш клиент объявляет себя ещё в рукопожатии.
Прямой и обратный путают
Обратный прокси не то, что покупают у нас
Мы продаём прямые прокси. Обратный защищает сайт, который вам не принадлежит.
Это не решение самого сайта
Правила подрядчика по умолчанию блокируют многое из того, о чём владелец сайта даже не задумывался.
Обход это не свойство продукта
Кто продаёт гарантированный обход, продаёт то, что перестанет работать на неделе, когда подрядчик обновится.
Зато он объясняет одинаковые блокировки
Одна и та же проверка на несвязанных сайтах означает одного подрядчика, а не согласованный бан.
Связанные термины
Смотри на практике
Готов использовать обратный прокси (reverse proxy)?
SotaProxy даёт доступ к ротирующим резидентским, мобильным, дата-центр и ISP прокси. Без минимальных платежей.
Начать