Всі терміни, які ви зустрінете при роботі з проксі - ротація, резидентські, sticky-сесії, SOCKS5, CGNAT та інше. Зрозумілі визначення без зайвого.
4
403 Forbidden
The server understood the request and refused it. In scraping it usually means the address class was rejected before anything else was considered.
429 Too Many Requests
The server accepted you and is asking you to slow down. What matters is what it counts against: an address, an account or a fingerprint.
А
Автентифікація проксі
Метод перевірки того, що користувач авторизований використовувати проксі-ендпоінт - або логін/пароль, або whitelist IP-адреси.
Анонімний проксі
Проксі, який приховує ваш реальний IP, але все ж сигналізує цілі, що використовується проксі.
Антибот-система
ПЗ безпеки, що виявляє й блокує автоматизований трафік, оцінюючи запити за IP, заголовками, відбитком і поведінкою.
Б
В
Вебскрапінг
Автоматизоване вилучення даних із сайтів через надсилання запитів і розбір отриманого HTML або відповідей API.
Виділений проксі
Проксі-IP, призначений виключно одному користувачу - не розділюваний з іншими клієнтами.
Витік DNS (DNS leak)
Дефект приватності, за якого DNS-запити йдуть в обхід проксі, розкриваючи вашому провайдеру чи третій стороні, які сайти ви відвідуєте.
Г
З
Заголовки запиту
Метадані у форматі «ключ-значення», що надсилаються з кожним HTTP-запитом і описують клієнта, прийманий контент і контекст запиту.
Зворотний проксі (reverse proxy)
Сервер, що стоїть перед одним або кількома вебсерверами й передає їм вхідні клієнтські запити, приховуючи бекенд від клієнта.
О
П
Порт проксі
Номер мережевого порту на проксі-сервері, до якого під’єднується ваш клієнт, що визначає протокол і шлюз.
Прозорий проксі
Проксі, який перехоплює трафік без налаштування з боку клієнта й без приховування реального IP.
Проксі проти VPN
Проксі перенаправляє трафік окремого застосунку чи запиту без шифрування, а VPN шифрує й перенаправляє весь трафік пристрою.
Проксі-менеджер
ПЗ, що централізує й автоматизує використання проксі - ротацію, правила маршрутизації, ретраї та налаштування під кожну ціль - по всьому пулу.
Проксі-сервер
Сервер-посередник між вашим пристроєм та інтернетом, який передає запити й повертає відповіді під власною IP-адресою.
Прямий проксі (forward proxy)
Проксі, що працює від імені клієнтів: передає їхні вихідні запити в інтернет і приховує реальний IP клієнта.
Публічний проксі
Безкоштовний, відкрито доступний проксі, до якого може під’єднатися будь-хто без автентифікації - зазвичай повільний, ненадійний і небезпечний.
Пул проксі
Набір проксі-IP-адрес, керований провайдером, з якого IP призначаються користувачам на кожен запит або сесію.
Р
Резидентний проксі
Проксі, який спрямовує трафік через IP-адреси, видані провайдерами домашнім інтернет-підключенням.
Резидентні проти дата-центрових проксі
Резидентні проксі використовують реальні IP провайдерів із високою довірою. Дата-центрові використовують серверні IP - швидше й дешевше, але легше виявляються.
Ротаційний проксі
Проксі, який видає нову IP-адресу на кожен запит або через фіксований інтервал.
С
Список проксі
Набір проксі-IP-адрес і портів, зазвичай з обліковими даними, оформлений для імпорту в скрапінг- або автоматизаційні інструменти.
Спільний чи приватний проксі
Спільний проксі призначає один і той самий IP кільком користувачам одночасно, а приватний (виділений) дає одному користувачу ексклюзивне володіння IP.
Статичний чи динамічний IP
Статичний IP залишається незмінним у часі, а динамічний IP періодично перепризначається мережею.
C
H
Headless-браузер
Повноцінний веббраузер, що працює без графічного інтерфейсу, керований кодом для завантаження, рендерингу й взаємодії зі сторінками.
Honeypot-пастка
Прихована ссилка, поле чи сторінка, з якою ніколи не взаємодіють реальні користувачі, використовувана, щоб ловити й позначати ботів, які це роблять.
HTTP CONNECT
The request a client sends to open a raw tunnel through a proxy. Everything after it is encrypted end to end, so the proxy forwards bytes it cannot read.
HTTP-проксі
Проксі, який передає HTTP- та HTTPS-запити між клієнтом і вебсервером.
HTTP/2 Fingerprint
A signature built from how a client opens an HTTP/2 connection: its settings, window sizes, priorities and header order.
HTTPS-проксі
HTTP-проксі з підтримкою методу CONNECT для тунелювання зашифрованого HTTPS-трафіку між клієнтом і ціллю.
I
IP Geolocation Database
A vendor’s mapping from addresses to places. It is an estimate that different vendors make differently, and sites choose which one to believe.
IP Reputation
A judgement a site or a vendor makes about an address before it looks at your request. Mostly it is a judgement about the range, not about you.
IP-адреса
Числовий ідентифікатор, що призначається кожному пристрою в мережі й використовується для маршрутизації трафіку до нього й від нього інтернетом.
IPv4 проти IPv6 проксі
IPv4-проксі використовують 32-бітні адреси (поточний стандарт). IPv6-проксі використовують 128-бітні адреси - їх більше й вони часто дешевші, але підтримка сайтами обмежена.
IPv6-проксі
Проксі, що спрямовує трафік через IPv6-адреси, пропонуючи величезні дешеві пули, але обмежений IPv6-сумісними цілями.
ISP-проксі
Статичний IP, виданий реальним провайдером, але розміщений в інфраструктурі дата-центру - поєднує рівень довіри резидентних IP із продуктивністю дата-центру.
S
Session Persistence
Keeping a sequence of requests recognisable as one visitor. It requires the client state and the exit address to stay together.
SOCKS4 проти SOCKS5
SOCKS4 і SOCKS5 - проксі-протоколи; SOCKS5 додає автентифікацію, підтримку UDP, IPv6 і віддалене розв’язання DNS поверх застарілого SOCKS4.
SOCKS5-проксі
Проксі-протокол, що спрямовує будь-який TCP- або UDP-трафік - не лише HTTP - через проксі-сервер, з підтримкою автентифікації.
SSL-проксі
Проксі, що обробляє SSL/TLS-зашифровані з’єднання - або тунелюючи їх без змін, або розшифровуючи й наново шифруючи для інспекції.
Sticky-сесія
Проксі-сесія, що утримує один і той самий IP-адресу заданий проміжок часу замість ротації на кожен запит.
Structured Data Extraction
Reading the machine-readable blocks a page already publishes, instead of parsing the visible text with selectors.