Все термины, которые вы встретите при работе с прокси - ротация, резидентские, sticky-сессии, SOCKS5, CGNAT и многое другое. Понятные определения без лишнего.
4
А
Анонимный прокси
Прокси, который скрывает ваш реальный IP, но всё же сигнализирует цели, что используется прокси.
Антибот-система
ПО безопасности, которое обнаруживает и блокирует автоматизированный трафик, оценивая запросы по IP, заголовкам, отпечатку и поведению.
Аутентификация прокси
Метод проверки того, что пользователь авторизован использовать прокси-эндпоинт - либо логин/пароль, либо whitelist IP-адреса.
Б
База геолокации IP
Соответствие адресов местам, составленное поставщиком базы. Это оценка, которую разные поставщики делают по-разному, а сайты выбирают, кому верить.
Бан по IP
Блокировка конкретного IP-адреса, не дающая ему доступ к сайту или сервису.
Браузерный отпечаток (fingerprinting)
Техника, идентифицирующая и отслеживающая пользователей по сочетанию множества атрибутов браузера и устройства в уникальную сигнатуру.
В
Г
З
Заголовки запроса
Метаданные в формате «ключ-значение», отправляемые с каждым HTTP-запросом и описывающие клиента, принимаемый контент и контекст запроса.
Законен ли веб-скрапинг?
Скрапинг общедоступных данных в целом законен во многих юрисдикциях, но законность зависит от типа данных, условий сайта и местного права.
М
Мобильный прокси
Прокси, который направляет трафик через реальные 4G/LTE-подключения мобильных операторов, выдавая настоящий IP оператора.
Модели тарификации прокси
Единица, в которой поставщик берёт деньги: гигабайт, адрес в месяц, порт или сутки. Два поставщика с одинаковыми на вид ценами расходятся в разы на одной и той же задаче.
О
Обратный прокси (reverse proxy)
Сервер, стоящий перед одним или несколькими веб-серверами и передающий им входящие клиентские запросы, скрывая бэкенд от клиента.
Общий или приватный прокси
Общий прокси назначает один и тот же IP нескольким пользователям одновременно, а приватный (выделенный) даёт одному пользователю эксклюзивное владение IP.
Ограничение частоты запросов
Механизм, ограничивающий число запросов от одного клиента или IP за интервал времени; при превышении возвращает ошибки.
Одновременные сессии (потоки)
Число одновременных соединений или запросов, которые вы можете вести через прокси-сервис в один момент.
Отпечаток HTTP/2
Подпись, складывающаяся из того, как клиент открывает соединение HTTP/2: его настройки, размеры окон, приоритеты и порядок заголовков.
П
Порт прокси
Номер сетевого порта на прокси-сервере, к которому подключается ваш клиент, определяющий протокол и шлюз.
Прозрачный прокси
Прокси, который перехватывает трафик без настройки со стороны клиента и без сокрытия реального IP.
Прокси против VPN
Прокси перенаправляет трафик отдельного приложения или запроса без шифрования, а VPN шифрует и перенаправляет весь трафик устройства.
Прокси-менеджер
ПО, централизующее и автоматизирующее использование прокси - ротацию, правила маршрутизации, ретраи и настройку под каждую цель - по всему пулу.
Прокси-сервер
Сервер-посредник между вашим устройством и интернетом, который передаёт запросы и возвращает ответы под собственным IP-адресом.
Прямой прокси (forward proxy)
Прокси, работающий от имени клиентов: передаёт их исходящие запросы в интернет и скрывает реальный IP клиента.
Публичный прокси
Бесплатный, открыто доступный прокси, к которому может подключиться любой без аутентификации - обычно медленный, ненадёжный и небезопасный.
Пул прокси
Набор прокси-IP-адресов, управляемый провайдером, из которого IP назначаются пользователям на каждый запрос или сессию.
Р
Разбор структурированных данных
Чтение машиночитаемых блоков, которые страница уже публикует, вместо разбора видимого текста селекторами.
Резидентные против дата-центровых прокси
Резидентные прокси используют реальные IP провайдеров с высоким доверием. Дата-центровые используют серверные IP - быстрее и дешевле, но легче обнаруживаются.
Резидентный прокси
Прокси, который направляет трафик через IP-адреса, выданные провайдерами домашним интернет-подключениям.
Рендеринг JavaScript
Выполнение скриптов страницы, чтобы построенное ими содержимое появилось. Без этого многие сайты отдают корректную, успешную и совершенно пустую страницу.
Репутация IP
Суждение, которое сайт или сервис выносит об адресе до того, как посмотрит на ваш запрос. В основном это суждение о диапазоне, а не о вас.
Ротационный прокси
Прокси, который выдаёт новый IP-адрес на каждый запрос или через фиксированный интервал.
С
Сохранение сессии
Удержание последовательности запросов узнаваемой как один посетитель. Требует, чтобы состояние клиента и адрес выхода держались вместе.
Список прокси
Набор прокси-IP-адресов и портов, обычно с учётными данными, оформленный для импорта в скрапинг- или автоматизационные инструменты.
Статический или динамический IP
Статический IP остаётся неизменным во времени, а динамический IP периодически переназначается сетью.
У
Утечка DNS (DNS leak)
Дефект приватности, при котором DNS-запросы идут в обход прокси, раскрывая вашему провайдеру или третьей стороне, какие сайты вы посещаете.
Утечка WebRTC
Браузерный интерфейс, способный напрямую раскрыть локальные и публичный адреса в обход того пути, которым управляет ваш прокси.
C
H
Headless-браузер
Полноценный веб-браузер, работающий без графического интерфейса, управляемый кодом для загрузки, рендеринга и взаимодействия со страницами.
Honeypot-ловушка
Скрытая ссылка, поле или страница, с которой никогда не взаимодействуют реальные пользователи, используемая, чтобы ловить и помечать ботов, которые это делают.
HTTP CONNECT
Запрос, которым клиент открывает сырой туннель через прокси. Всё после него зашифровано между концами, поэтому прокси пересылает байты, которых прочитать не может.
HTTP-прокси
Прокси, который передаёт HTTP- и HTTPS-запросы между клиентом и веб-сервером.
HTTPS-прокси
HTTP-прокси с поддержкой метода CONNECT для туннелирования зашифрованного HTTPS-трафика между клиентом и целью.
I
IP-адрес
Числовой идентификатор, назначаемый каждому устройству в сети и используемый для маршрутизации трафика к нему и от него по интернету.
IPv4 против IPv6 прокси
IPv4-прокси используют 32-битные адреса (текущий стандарт). IPv6-прокси используют 128-битные адреса - их больше и они часто дешевле, но поддержка сайтами ограничена.
IPv6-прокси
Прокси, направляющий трафик через IPv6-адреса, предлагающий огромные дешёвые пулы, но ограниченный IPv6-совместимыми целями.
ISP-прокси
Статический IP, выданный реальным провайдером, но размещённый в инфраструктуре дата-центра - сочетает уровень доверия резидентных IP с производительностью дата-центра.
S
SOCKS4 против SOCKS5
SOCKS4 и SOCKS5 - прокси-протоколы; SOCKS5 добавляет аутентификацию, поддержку UDP, IPv6 и удалённое разрешение DNS поверх устаревшего SOCKS4.
SOCKS5-прокси
Прокси-протокол, направляющий любой TCP- или UDP-трафик - не только HTTP - через прокси-сервер, с поддержкой аутентификации.
SSL-прокси
Прокси, обрабатывающий SSL/TLS-зашифрованные соединения - либо туннелируя их без изменений, либо расшифровывая и заново шифруя для инспекции.
Sticky-сессия
Прокси-сессия, которая удерживает один и тот же IP-адрес заданный промежуток времени вместо ротации на каждый запрос.