Як протестувати проксі перед покупкою: 10-хвилинний чек-лист

У вас є тестові облікові дані від провайдера і, можливо, година часу, перш ніж ви вирішите, куди направити свій бюджет. Цей посібник - це точна послідовність дій, яку ми виконуємо для будь-якого пулу, перш ніж він потрапить хоча б близько до клієнтського облікового запису: десять перевірок, по одній на хвилину, від "чи підключається" до "чи витримає сайт, який вас насправді цікавить". Кожна команда нижче готова до копіювання та вставки. Наприкінці є оціночна таблиця, яку ви можете заповнити для кожного провайдера, якого порівнюєте, щоб рішення ґрунтувалося на ваших цифрах, а не на формулюваннях зі сторінки з цінами.

Для цього не потрібен антидетект-браузер або платний ключ API. Достатньо терміналу та браузера.

Чому сторінка продукту не може відповісти на це

Кожен сайт проксі стверджує про 99,9% успішності, мільйони IP-адрес та повне покриття країн. Жодна з цих цифр не піддається аудиту, і жодна з них не описує те, що визначає ваш результат: що конкретний цільовий сайт думає про конкретну IP-адресу, яку ви отримали о 15:00 у вівторок.

За гарним маркетинговим текстом ховаються три режими відмови, і всі три переживають поверхневе тестування:

• Дата-центрові IP, що продаються як резидентні. Пул відповідає, геолокація виглядає правильною, а ASN належить хостинговій компанії. Сайти, які блокують дата-центрові діапазони, заблокують вас на першому ж запиті.
• Перероблені адреси. IP справді резидентний і справді випалений: хтось останній місяць скрапив з нього, і бази даних репутації пам'ятають.
• Ротація, що не відповідає позначці. Ви платите за липкі сесії, а IP змінюється посередині оформлення замовлення, або ви платите за ротацію й отримуєте ті самі дванадцять адрес по колу.

Контрольний список нижче створений для того, щоб виявити саме ці три проблеми, і швидко.

Перед початком

Вам потрібно:

• Тестові облікові дані в звичайному форматі, login:password@host:port.
• curl (вже є на macOS та Linux; на Windows використовуйте WSL або Git Bash).
• python3 для гарного форматування JSON, необов'язково, але зручно.
• Браузер для чотирьох візуальних перевірок.

У цьому посібнику рядок підключення-заповнювач:

login:password@proxy.sotaproxy.com:10000

Підставте те, що надав вам провайдер. Якщо їхній формат містить таргетинг у логіні (країна, місто, ідентифікатор сесії), залишайте ці суфікси на місці під час тестування, інакше ви тестуватимете інший продукт, ніж той, який маєте намір купити.

Хвилина 1: чи підключається, і наскільки це повільно

Почніть з найдешевшого можливого запиту й подивіться на час виконання, а не на тіло відповіді.

curl -s -o /dev/null -x login:password@proxy.sotaproxy.com:10000 \
  -w "connect=%{time_connect}s ttfb=%{time_starttransfer}s total=%{time_total}s http=%{http_code}\n" \
  https://api.ipify.org

Ви отримаєте один рядок назад:

connect=0.312s ttfb=0.674s total=0.679s http=200

Читайте це так. connect - це скільки часу зайняло TCP та TLS рукостискання з проксі, і це здебільшого відстань плюс накладні витрати провайдера. ttfb включає власний час відповіді цілі, тому порівнюйте провайдерів за різницею між цими двома значеннями, а не за абсолютним числом. http=200 означає лише те, що проксі пропустив запит; 407 означає, що ваші облікові дані або білий список IP неправильні, 502 або 503 зазвичай означає, що вихідний вузол помер, а порожня відповідь означає, що порт правильний, але протокол ні (ви надіслали HTTP на порт, призначений тільки для SOCKS5).

Запустіть це п'ять разів поспіль. Резидентний пул, що відповідає за 0,4 с один раз і за 2,8 с наступні чотири рази, - це не швидкий пул з викидом, а повільний пул з вдалим першим запитом.

Хвилина 2: де він насправді виходить

Тепер найважливіша частина: не прапорець країни на панелі керування, а запис, який буде шукати цільовий сайт.

curl -s -x login:password@proxy.sotaproxy.com:10000 \
  "http://ip-api.com/json/?fields=status,country,countryCode,regionName,city,zip,timezone,isp,org,as,asname,mobile,proxy,hosting,query" \
  | python3 -m json.tool

Здоровий резидентний вихід виглядає так:

{
  "status": "success",
  "country": "Germany",
  "countryCode": "DE",
  "regionName": "North Rhine-Westphalia",
  "city": "Essen",
  "zip": "45127",
  "timezone": "Europe/Berlin",
  "isp": "Vodafone GmbH",
  "org": "ARCOR-IP",
  "as": "AS3209 Vodafone GmbH",
  "asname": "VODANET",
  "mobile": false,
  "proxy": false,
  "hosting": false,
  "query": "203.0.113.44"
}

Чотири поля вирішують усе:

• isp та as. Споживчий інтернет-провайдер (Vodafone, Comcast, Orange, Telefonica) - це те, що вам потрібно для резидентного. Назва хмарного або хостингового провайдера тут (DigitalOcean, Hetzner, OVH, Amazon, Alibaba, Choopa, M247) означає, що ви тримаєте дата-центровий IP, незалежно від того, що написано в рахунку.
• hosting. Якщо це true для пакета, що продається як резидентний, пробний період уже закінчено. Це єдине булеве значення виявляє більшість неправильно позначених пулів.
• proxy. Грубий прапорець, і true тут не є автоматично фатальним для резидентного IP, але це говорить вам, що адреса вже є принаймні в одному публічному списку виявлення.
• city та timezone. Запишіть обидва. Вони вам знадобляться знову на хвилині 7.

Робіть це принаймні на десяти різних виходах, а не на одному. Один чистий IP нічого не доводить про пул; десять чистих IP з десяти - це сигнал.

Хвилина 3: чи це справді резидентний

Якщо хвилина 2 залишила вас у сумніві, підтвердьте з іншого кута. Зворотний DNS - це найшвидша ознака, тому що споживчі провайдери іменують свої адреси, а хостингові компанії зазвичай ні:

IP=$(curl -s -x login:password@proxy.sotaproxy.com:10000 https://api.ipify.org)
dig +short -x "$IP"

Справжнє домашнє підключення відповідає чимось на зразок p5dcc1a2b.dip0.t-ipconnect.de або cpe-172-16-0-1.nyc.res.rr.com. Слова dip, dyn, dsl, cable, cpe, pool та res - це все добрі новини. Порожня відповідь або назва, що містить static, vps, server, cloud або власний домен хостингової компанії, - це ні.

ISP-проксі є чесним винятком. Це розміщені в дата-центрах адреси, що належать ASN споживчого провайдера, тому hosting може бути true, поки ASN все ще вказує AT&T або Deutsche Telekom. Така комбінація прийнятна, коли ви навмисно купили ISP-проксі, і це тривожний сигнал, коли ви думали, що купили ротаційні резидентні.

Хвилина 4: що бази даних репутації вже знають

IP приходить з історією, яку ви не створювали. Перевірте її, перш ніж успадкувати.

Візьміть вихідний IP з попереднього кроку й відкрийте scamalytics.com/ip/<ip> у браузері. Рейтинг шахрайства вгорі (від 0 до 100) - це найменш цікава частина цієї сторінки. Прокрутіть вниз до таблиць, які перевіряються на відповідність публічним наборам даних і відповідають простим так чи ні:

• Datacenter. "Чи розташований під'єднаний пристрій у дата-центрі?" Відповідь Yes тут для резидентного пакета - це той самий вирок, що й прапорець hosting з хвилини 2, але з другого джерела.
• Residential Proxy. "Чи є ця IP-адреса частиною мережі резидентних проксі?" Це той рядок, який має найбільше значення, і той, на який жоден провайдер не хоче, щоб ви дивилися. Yes означає, що адреса вже занесена до каталогу як інфраструктура виходу проксі, і кожна платформа, що купує ті самі комерційні набори даних, теж це бачить.
• External Blacklists. Firehol, IP2ProxyLite, IPsum, Spamhaus та X4Bnet Spambot, кожен зі своїм так чи ні. Spamhaus має значення, якщо акаунт коли-небудь відправлятиме пошту; решта - це загальна історія зловживань.
• Proxies. Окремі рядки для Anonymizing VPN, Tor Exit Node, Server, Public Proxy, Web Proxy та Search Engine Robot.

Для калібрування: 8.8.8.8 отримує 0 із 100, показуючи при цьому Datacenter: Yes та Server: Yes, що й є корисним уроком: низький показник шахрайства не означає, що адреса виглядає як домашнє підключення. Читайте рядки, а не значок.

Перевірте десять виходів. Один Residential Proxy: Yes - це природа бізнесу, бо ці набори даних дійсно вловлюють реальні пули. Вісім із десяти означає, що пул ретельно картографовано, і ви купуєте адреси, які самі себе оголошують.

Тоді запустіть перевірку, яка насправді корелює з вашим результатом: запитайте сайт, який агресивно ставиться до репутації IP, що він думає.

curl -s -o /dev/null -x login:password@proxy.sotaproxy.com:10000 \
  -w "%{http_code}\n" https://www.google.com/search?q=test

200 - це успіх. 429 або 503 від Google означає, що адреса вже обмежена за частотою одним із найсуворіших оцінювачів в інтернеті. Повторіть проти одного сайту з вашого власного стеку: 403 від анти-бот системи або миттєва сторінка виклику розкаже вам більше, ніж будь-який бал із 100.

Хвилина 5: чи відповідає ротація заявленому

Пул, що ротує, двадцять запитів, порахуйте, що повертається:

for i in $(seq 1 20); do
  curl -s -x login:password@proxy.sotaproxy.com:10000 https://api.ipify.org
  echo
done | sort | uniq -c | sort -rn

Двадцять унікальних адрес - це те, що означає "новий IP на кожен запит". Якщо ви бачите лічильники 3 і 4 біля тієї самої адреси, пул менший за рекламований, або ваші запити прив'язані до вузла.

Липкі сесії - це дзеркальне відображення. Утримуйте сесію й дивіться, чи вона утримує вас:

for i in $(seq 1 10); do
  curl -s -x login_s_777_ttl_15m:password@proxy.sotaproxy.com:10000 https://api.ipify.org
  echo
  sleep 30
done | uniq -c

Десять ідентичних рядків протягом п'яти хвилин - це робоча липка сесія. Зміна IP посередині цього вікна - це найдорожчий дефект у всьому цьому посібнику: саме це виводить акаунт із системи посеред сесії, скидає оформлення замовлення та тренує анти-шахрайську модель платформи асоціювати дві адреси з одним профілем.

Якщо провайдер виражає липкість по-іншому (ідентифікатор сесії в логіні, окремий порт, перемикач у панелі), тестуйте їхній синтаксис, а не цей. Наш розміщує ідентифікатор сесії та її тривалість усередині логіна, а повна форма є на сторінці резидентних проксі.

Хвилина 6: наскільки широкий пул насправді

Двісті адрес усередині одного /24 - це не двісті адрес, це один район, який блокується однією дією. Виміряйте розподіл:

for i in $(seq 1 50); do
  curl -s -x login:password@proxy.sotaproxy.com:10000 https://api.ipify.org
  echo
done > ips.txt

echo "unique IPs:   $(sort -u ips.txt | wc -l)"
echo "unique /24s:  $(cut -d. -f1-3 ips.txt | sort -u | wc -l)"
echo "unique /16s:  $(cut -d. -f1-2 ips.txt | sort -u | wc -l)"

П'ятдесят запитів, що дають п'ятдесят IP у понад сорока різних /24 - це справді широкий пул. П'ятдесят IP у шести /24 - це малий пул, прикрашений ротацією, і він поводитиметься як шість IP у момент, коли ціль почне блокувати за підмережею.

Додайте розподіл ASN, якщо хочете повну картину: прогоніть кожен IP через виклик ip-api з хвилини 2 і порахуйте унікальні значення as. Справжній резидентний трафік приходить від багатьох провайдерів; пул, що на 90% складається з одного ASN - це одне бізнес-рішення від зникнення.

Хвилина 7: геоконсистентність, те, що призводить до прапорців на акаунтах

Німецький IP - це не німецький користувач. Платформи порівнюють адресу з часовим поясом браузера, мовою, DNS-резолвером та WebRTC-кандидатами, і невідповідності їм легко виявити.

Налаштуйте свій браузер або антидетект-профіль на проксі, потім перевірте три сторінки:

1. browserleaks.com/ip для секції DNS. Резолвер, який відповідає, має знаходитися в тій самій країні, що й IP виходу. Німецький вихід, що резолвиться через американський резолвер - це класична ознака, і вона походить від проксі-клієнта, а не від сайту.
2. browserleaks.com/webrtc для локальних і публічних кандидатів. Ваша справжня адреса не повинна з'являтися тут. Якщо з'являється - або вимкніть WebRTC, або використовуйте профіль браузера, що маршрутизує його через проксі; саме проксі цього не виправить.
3. whoer.net для порівняння часового поясу та мови в одному вигляді.

Запишіть невідповідності. Деякі - це провина проксі (DNS), деякі - ваша (часовий пояс у профілі браузера), і знання того, що є що, убезпечить вас від звинувачень провайдера в чомусь, що знаходиться у вашому власному налаштуванні.

Хвилина 8: що кажуть перевірники відбитків

Відкрийте pixelscan.net та iphey.com через те саме з'єднання.

Читайте їх зі здоровою порцією скептицизму. Ці інструменти оцінюють консистентність між вашим відбитком браузера та вашим IP, що справді корисно, і їхній зелений значок - це не обіцянка, що Facebook вас впустить. Сприймайте червоний результат як жорстку зупинку, а зелений як "жодного очевидного протиріччя не знайдено", не більше.

Збій, на який варто полювати тут - це ознака автоматизації. Якщо ви плануєте керувати проксі зі скрипта, а не з браузера, подивіться на свій TLS-відбиток:

curl -s -x login:password@proxy.sotaproxy.com:10000 https://tls.browserleaks.com/json

Відповідь включає JA4-хеш TLS-рукостискання вашого клієнта. Наш із простого curl починається з t13d4907h2_, що ідентифікує клієнт як curl для будь-кого, хто зіставляє хеші, незалежно від того, що каже IP. Резидентний IP не маскує запит, який оголошує себе як інструмент командного рядка, і жодне проксі цього за вас не виправить. Це робота для конфігурації вашого HTTP-клієнта.

Хвилина 9: пропускна здатність та стабільність при повторенні

Один успішний запит - це не показник успіху. Запустіть сотню:

for i in $(seq 1 100); do
  curl -s -o /dev/null -x login:password@proxy.sotaproxy.com:10000 \
    -w "%{http_code} %{time_total}\n" https://api.ipify.org
done > run.txt
echo "success: $(awk '$1==200' run.txt | wc -l) / 100"
echo "p50:     $(awk '{print $2}' run.txt | sort -n | awk 'NR==50')s"
echo "p95:     $(awk '{print $2}' run.txt | sort -n | awk 'NR==95')s"
sort run.txt | awk '{print $1}' | uniq -c | sort -rn
p95 важливіший за середнє значення. Пул із медіаною 0,6 с та p95 у 9 с буде сприйматися як зламаний у реальній роботі, тому що один запит із двадцяти затримується достатньо довго, щоб призвести до таймауту вашого скрейпера або вкладки браузера.
Для тестування пропускної здатності завантажте файл фіксованого розміру й перевірте швидкість:
curl -s -o /dev/null -x login:password@proxy.sotaproxy.com:10000 \
  -w "%{speed_download} bytes/s\n" https://speed.cloudflare.com/__down?bytes=10000000
На тарифному плані з обмеженням трафіку пам'ятайте, що цей тест коштує вам 10 МБ. Виконуйте його один раз на провайдера, а не один раз на IP.
Хвилина 10: єдиний тест, що має значення
Усе вищезазначене - це замінник справжнього питання, а саме: чи приймає ваш цільовий сайт цю адресу для вашої задачі. Тому запитайте його.
Відкрийте фактичну платформу через проксі й зробіть на крок далі за домашню сторінку: завантажте екран входу, або сторінку продукту, або кінцеву точку, до якої звертається ваш скрипт. Стежте за трьома відповідями, що мають значення.
Пряме проходження. Добре.
Виклик або капча при першому завантаженні. Репутація IP передує йому. Один випадок - це шум, чотири з десяти IP, що це роблять, - це пул.
Інша країнова версія сайту. Сайт зчитує сигнал, який ваш проксі не змінив, зазвичай DNS або історію облікового запису.
Якщо ви купуєте для мультиакаунтингу, робіть це зі свіжим профілем браузера. Тестування через профіль, який ви вже використовуєте, прив'язує ваші існуючі кукі до нової IP-адреси, що є саме тим поєднанням, яке ви платите, щоб уникнути.
Оціночна таблиця
Заповніть один рядок на провайдера. Це займає десять хвилин і пережиє розмову з продажами.
Перевірка
Умова успіху
Провайдер A
Провайдер B
Час підключення
менше 0,5 с, стабільно впродовж 5 запусків
ASN та ISP
споживчий провайдер, не хостинг
Прапорець hosting
false для резидентних
Зворотний DNS
ім'я хоста в споживчому стилі
Показник шахрайства
менше 20 на 8 з 10 IP
Google-проба
200, не 429
Ротація
20 унікальних IP у 20 запитах
Липка сесія
немає зміни IP усередині заявленого TTL
Розподіл підмереж
40+ різних /24 на 50 IP
Країна DNS
збігається з країною виходу
WebRTC
справжня адреса не розкрита
Показник успіху
98+ із 100
p95 латентність
менше ніж 3x медіани
Цільовий сайт
завантажується без виклику

Червоні прапорці, що достроково завершують випробування
Провайдер взагалі не надає тестові облікові дані, тільки демо-дзвінок.
Панель керування показує вибір країни, але виходи його ігнорують.
hosting: true для пакета, проданого як резидентний.
Липкі сесії, що обриваються до рекламованого TTL.
Трафік рахується більш ніж удвічі від того, що повідомляє ваш власний клієнт.
Підтримка не може сказати вам, які upstream ASN використовує пул.
Чого жодна з цих перевірок не може вам сказати
Чесність коштує більше, ніж довший контрольний список, тому:
Чи чистий IP на вашій конкретній платформі. Бази даних репутації та перевірники відбитків є загальними. Абсолютно чиста адреса все одно може бути тією, яка минулого тижня призвела до блокування дванадцяти облікових записів Facebook, і жоден публічний інструмент цього не розкриває.
Як виглядатиме пул завтра. Ви відбираєте зразки з рухомого інвентаря. Повторно запускайте відбір зразків раз на місяць на плані, який ви фактично купили.
Як поводиться провайдер, коли щось ламається. Єдине, що ви не можете виміряти за десять хвилин, - це що відбувається о 2 ночі, коли пул погіршується. Відкрийте тікет підтримки під час випробування зі справжнім питанням і засічіть час відповіді.
Якщо ви хочете формати підключення та гео-суфікси для нашого власного пулу під час виконання цього, вони є на сторінці резидентних проксі, а статичні адреси - на сторінці ISP.
FAQ
Скільки IP мені потрібно відібрати, щоб результат мав сенс?
Десять для перевірок гео та репутації, п'ятдесят для розподілу підмереж, сто для показника успіху. Нижче цього ви вимірюєте удачу.
Чи можу я виконати це на безкоштовному списку проксі?
Можете, і це корисна вправа, тому що безкоштовні списки майже завжди провалюють хвилини 2, 4 та 5. Просто ніколи не спрямовуйте на них справжній обліковий запис.
Чи завжди високий показник шахрайства означає, що IP непридатний?
Ні. Це означає, що адреса має видиму історію. Для резидентної IP, що використовується для звичайного перегляду, показник у двадцять є поширеним. Для адреси, за якою ви маєте намір розмістити виплатний рахунок, розглядайте все, що вище 20, як причину для ротації.
Моя вихідна IP у правильній країні, але сайт показує інший регіон.
Спочатку перевірте DNS (хвилина 7). Резолвер у неправильній країні перевизначає IP для багатьох гео-логік, і це найпоширеніша причина саме цього симптому.
Липкі сесії продовжують змінювати IP до закінчення TTL. Чия це вина?
Тестуйте з curl, а не браузером, щоб виключити повторне підключення з боку вашого власного клієнта. Якщо curl із фіксованим ідентифікатором сесії все ще змінює адресу, це пул.
Чи завжди IP дата-центру є поганим вибором?
Ні. Це поганий вибір, коли його вам продали як резидентний. Для цілей скрейпінгу, які не блокують діапазони хостингу, проксі дата-центру швидші та значно дешевші, що є цілком причиною знати, який саме ви фактично отримали.
Як часто мені слід повторювати це?
Один раз перед покупкою, раз на місяць на активному плані та негайно після будь-якої раптової зміни вашого показника банів. Пул, який ви тестували в січні, - це не пул, який ви використовуєте в червні.