Как протестировать прокси перед покупкой: чек-лист на 10 минут

У вас есть тестовые учетные данные от провайдера и, возможно, час на то, чтобы решить, куда направить свой бюджет. Это руководство - точная последовательность проверок, которую мы проводим для любого пула, прежде чем он попадет в клиентский аккаунт: десять проверок, по одной минуте каждая, от "подключается ли он" до "выдержит ли он сайт, который вам действительно важен". Все команды ниже готовы к копированию и вставке. В конце есть оценочная таблица, которую вы можете заполнить для каждого сравниваемого провайдера, чтобы решение основывалось на ваших цифрах, а не на формулировках на странице с ценами.

Для этого не нужны антидетект-браузеры или платные API-ключи. Достаточно терминала и браузера.

Почему страница продукта не может ответить на этот вопрос

Каждый прокси-сайт заявляет о 99,9% успешных запросов, миллионах IP-адресов и полном покрытии стран. Ни одна из этих цифр не поддается проверке, и ни одна из них не описывает то, что определяет ваш результат: что думает конкретный целевой сайт о конкретном IP-адресе, который вы получаете в 3 часа дня во вторник.

За хорошими маркетинговыми текстами скрываются три режима отказа, и все три выдерживают поверхностную проверку:

• Датацентровые IP, продаваемые как резидентные. Пул отвечает, геолокация выглядит правильно, а ASN принадлежит хостинговой компании. Сайты, блокирующие датацентровые диапазоны, блокируют вас при первом же запросе.
• Переработанные адреса. IP действительно резидентный и действительно скомпрометированный: кто-то провел последний месяц, скрапя с его помощью, и базы данных репутации это помнят.
• Ротация, не соответствующая заявленной. Вы платите за фиксированные сессии, а IP меняется в середине оформления заказа, или вы платите за ротацию и получаете одни и те же двенадцать адресов в цикле.

Приведенный ниже контрольный список создан для быстрого выявления именно этих трех проблем.

Перед началом

Вам понадобятся:

• Тестовые учетные данные в обычном формате: login:password@host:port.
• curl (уже установлен на macOS и Linux; в Windows используйте WSL или Git Bash).
• python3 для красивого вывода JSON - опционально, но удобно.
• Браузер для четырех визуальных проверок.

В этом руководстве используется следующая строка подключения-заполнитель:

login:password@proxy.sotaproxy.com:10000

Подставьте то, что дал вам провайдер. Если их формат включает таргетинг в логине (страна, город, ID сессии), сохраните эти суффиксы во время тестирования, иначе вы будете тестировать не тот продукт, который собираетесь купить.

Минута 1: подключается ли он, и насколько он медленный

Начните с самого дешевого возможного запроса и посмотрите на тайминги, а не на тело ответа.

curl -s -o /dev/null -x login:password@proxy.sotaproxy.com:10000 \
  -w "connect=%{time_connect}s ttfb=%{time_starttransfer}s total=%{time_total}s http=%{http_code}\n" \
  https://api.ipify.org

Вы получите одну строку:

connect=0.312s ttfb=0.674s total=0.679s http=200

Читайте её так. connect - это время, затраченное на TCP и TLS рукопожатие с прокси, и это в основном расстояние плюс накладные расходы провайдера. ttfb включает собственное время ответа цели, поэтому сравнивайте провайдеров по разнице между этими двумя показателями, а не по абсолютному значению. http=200 означает только то, что прокси пропустил запрос; 407 означает, что ваши учетные данные или IP-белый список неверны, 502 или 503 обычно означает, что вышестоящий узел умер, а пустой ответ означает, что порт правильный, но протокол - нет (вы отправили HTTP на порт, предназначенный только для SOCKS5).

Запустите это пять раз подряд. Резидентный пул, который отвечает за 0,4 с один раз и за 2,8 с следующие четыре раза, - это не быстрый пул с выбросом, а медленный пул с удачным первым запросом.

Минута 2: откуда он на самом деле выходит

Теперь важная часть: не флаг страны в панели управления, а запись, которую будет проверять целевой сайт.

curl -s -x login:password@proxy.sotaproxy.com:10000 \
  "http://ip-api.com/json/?fields=status,country,countryCode,regionName,city,zip,timezone,isp,org,as,asname,mobile,proxy,hosting,query" \
  | python3 -m json.tool

Здоровый резидентный выход выглядит так:

{
  "status": "success",
  "country": "Germany",
  "countryCode": "DE",
  "regionName": "North Rhine-Westphalia",
  "city": "Essen",
  "zip": "45127",
  "timezone": "Europe/Berlin",
  "isp": "Vodafone GmbH",
  "org": "ARCOR-IP",
  "as": "AS3209 Vodafone GmbH",
  "asname": "VODANET",
  "mobile": false,
  "proxy": false,
  "hosting": false,
  "query": "203.0.113.44"
}

Четыре поля решают всё:

• isp и as. Потребительский интернет-провайдер (Vodafone, Comcast, Orange, Telefonica) - это то, что вам нужно для резидентных прокси. Название облачного или хостингового провайдера здесь (DigitalOcean, Hetzner, OVH, Amazon, Alibaba, Choopa, M247) означает, что у вас датацентровый IP, независимо от того, что написано в счете.
• hosting. Если это true в пакете, продаваемом как резидентный, тестирование уже окончено. Этот единственный булев флаг ловит большинство неправильно обозначенных пулов.
• proxy. Грубый флаг, и true здесь не является автоматически фатальным для резидентного IP, но он говорит вам, что адрес уже находится как минимум в одном публичном списке обнаружения.
• city и timezone. Запишите оба. Они понадобятся вам снова в минуте 7.

Сделайте это как минимум для десяти разных выходов, а не для одного. Один чистый IP ничего не доказывает о пуле; десять чистых IP из десяти - это сигнал.

Минута 3: действительно ли это резидентный прокси

Если минута 2 оставила вас в сомнениях, подтвердите с другого угла. Обратный DNS - самый быстрый показатель, потому что потребительские провайдеры именуют свои адреса, а хостинговые компании обычно - нет:

IP=$(curl -s -x login:password@proxy.sotaproxy.com:10000 https://api.ipify.org)
dig +short -x "$IP"

Реальное домашнее подключение отвечает чем-то вроде p5dcc1a2b.dip0.t-ipconnect.de или cpe-172-16-0-1.nyc.res.rr.com. Слова dip, dyn, dsl, cable, cpe, pool и res - всё это хорошие новости. Пустой ответ или имя, содержащее static, vps, server, cloud или собственный домен хостинговой компании - плохой знак.

ISP-прокси - честное исключение. Это размещенные в датацентрах адреса, принадлежащие ASN потребительского провайдера, поэтому hosting может показывать true, а ASN при этом всё еще указывает на AT&T или Deutsche Telekom. Такая комбинация приемлема, когда вы специально покупали ISP-прокси, и это красный флаг, когда вы думали, что покупаете ротируемые резидентные прокси.

Минута 4: что уже известно базам данных репутации

IP приходит с историей, которую вы не создавали. Проверьте её, прежде чем унаследуете.

Возьмите IP выхода из предыдущего шага и откройте scamalytics.com/ip/<ip> в браузере. Оценка мошенничества вверху (от 0 до 100) - наименее интересная часть этой страницы. Прокрутите вниз до таблиц, которые проверяются по публичным наборам данных и отвечают простым да или нет:

• Datacenter. "Находится ли подключающееся устройство в дата-центре?" Ответ Yes здесь на резидентном пакете - это тот же вердикт, что и флаг hosting на минуте 2, только от второго источника.
• Residential Proxy. "Является ли этот IP-адрес частью резидентной прокси-сети?" Это та строка, которая важнее всего и на которую ни один провайдер не хочет, чтобы вы смотрели. Ответ Yes означает, что адрес уже каталогизирован как выходная инфраструктура прокси, и все платформы, покупающие те же коммерческие датасеты, тоже это видят.
• External Blacklists. Firehol, IP2ProxyLite, IPsum, Spamhaus и X4Bnet Spambot, каждый со своим yes или no. Spamhaus важен, если с аккаунта когда-либо будет отправляться почта; остальные - это общая история злоупотреблений.
• Proxies. Отдельные строки для Anonymizing VPN, Tor Exit Node, Server, Public Proxy, Web Proxy и Search Engine Robot.

Для калибровки: 8.8.8.8 получает оценку 0 из 100, при этом показывая Datacenter: Yes и Server: Yes, что и есть полезный урок: низкий fraud score не означает, что адрес выглядит как домашнее подключение. Читайте строки, а не значок.

Проверьте десять выходов. Один Residential Proxy: Yes - это природа бизнеса, потому что эти датасеты действительно ловят реальные пулы. Восемь из десяти означает, что пул полностью картирован, и вы покупаете адреса, которые сами себя объявляют.

Затем проведите проверку, которая действительно коррелирует с вашим результатом: спросите сайт, который агрессивно относится к репутации IP, что он думает.

curl -s -o /dev/null -x login:password@proxy.sotaproxy.com:10000 \
  -w "%{http_code}\n" https://www.google.com/search?q=test

200 - это успех. 429 или 503 от Google означает, что адрес уже ограничен по частоте запросов одним из самых строгих оценщиков в интернете. Повторите проверку на одном сайте из вашего собственного стека: 403 от анти-бот системы или мгновенная страница с проверкой скажут вам больше, чем любая оценка из 100.

Минута 5: соответствует ли ротация заявленной

Ротируемый пул, двадцать запросов, посчитайте, что возвращается:

for i in $(seq 1 20); do
  curl -s -x login:password@proxy.sotaproxy.com:10000 https://api.ipify.org
  echo
done | sort | uniq -c | sort -rn

Двадцать уникальных адресов - это то, что означает "новый IP на каждый запрос". Если вы видите счётчики 3 и 4 рядом с одним и тем же адресом, пул меньше, чем заявлено, или ваши запросы привязываются к одному узлу.

Sticky-сессии - это зеркальное отражение. Удерживайте сессию и наблюдайте, удерживает ли она вас:

for i in $(seq 1 10); do
  curl -s -x login_s_777_ttl_15m:password@proxy.sotaproxy.com:10000 https://api.ipify.org
  echo
  sleep 30
done | uniq -c

Десять идентичных строк на протяжении пяти минут - это работающая sticky-сессия. Смена IP посреди этого окна - самый дорогостоящий дефект во всём этом руководстве: именно это выбрасывает аккаунт из сессии посреди работы, обрывает оформление заказа и обучает модель антифрода платформы ассоциировать два адреса с одним профилем.

Если провайдер выражает stickiness по-другому (session id в логине, отдельный порт, переключатель в панели управления), тестируйте их синтаксис, а не этот. У нас session id и время его жизни находятся внутри логина, а полная форма есть на странице резидентных прокси.

Минута 6: насколько широк пул на самом деле

Двести адресов внутри одной /24 - это не двести адресов, это один район, который блокируется одним действием. Измерьте разброс:

for i in $(seq 1 50); do
  curl -s -x login:password@proxy.sotaproxy.com:10000 https://api.ipify.org
  echo
done > ips.txt

echo "unique IPs:   $(sort -u ips.txt | wc -l)"
echo "unique /24s:  $(cut -d. -f1-3 ips.txt | sort -u | wc -l)"
echo "unique /16s:  $(cut -d. -f1-2 ips.txt | sort -u | wc -l)"

Пятьдесят запросов, дающих пятьдесят IP из более чем сорока различных /24, - это действительно широкий пул. Пятьдесят IP из шести /24 - это маленький пул, приукрашенный ротацией, и он будет вести себя как шесть IP в тот момент, когда цель начнёт блокировать по подсетям.

Добавьте разброс по ASN, если хотите полную картину: прогоните каждый IP через вызов ip-api из минуты 2 и посчитайте различные значения as. Реальный резидентный трафик идёт от многих провайдеров; пул, который на 90% состоит из одного ASN, находится в одном бизнес-решении от исчезновения.

Минута 7: геоконсистентность - то, из-за чего аккаунты помечают

Немецкий IP - это не немецкий пользователь. Платформы сравнивают адрес с временной зоной браузера, языком, DNS-резолвером и WebRTC-кандидатами, и несоответствия для них дёшево обнаружить.

Настройте свой браузер или антидетект-профиль на прокси, затем проверьте три страницы:

1. browserleaks.com/ip для секции DNS. Резолвер, который отвечает, должен находиться в той же стране, что и выходной IP. Немецкий выход, резолвящийся через американский резолвер, - классическая примета, и она идёт от прокси-клиента, а не от сайта.
2. browserleaks.com/webrtc для локальных и публичных кандидатов. Ваш реальный адрес не должен здесь появляться. Если он появился, либо отключите WebRTC, либо используйте профиль браузера, который направляет его через прокси; сам по себе прокси это не исправит.
3. whoer.net для сравнения временной зоны и языка в одном окне.

Запишите несоответствия. Некоторые - вина прокси (DNS), некоторые - ваша (временная зона в профиле браузера), и знание, что есть что, не даст вам обвинять провайдера в том, что находится в вашей собственной настройке.

Минута 8: что говорят чекеры отпечатков

Откройте pixelscan.net и iphey.com через то же подключение.

Читайте их с изрядной долей скептицизма. Эти инструменты оценивают консистентность между отпечатком вашего браузера и вашим IP, что действительно полезно, и их зелёный значок - это не обещание, что Facebook вас впустит. Воспринимайте красный результат как жёсткую остановку, а зелёный - как "никаких очевидных противоречий не найдено", не больше.

Проблема, которую стоит здесь выловить, - это признак автоматизации. Если вы планируете управлять прокси из скрипта, а не из браузера, посмотрите на свой TLS-отпечаток:

curl -s -x login:password@proxy.sotaproxy.com:10000 https://tls.browserleaks.com/json

Ответ включает JA4-хеш TLS-рукопожатия вашего клиента. Наш от обычного curl начинается с t13d4907h2_, что идентифицирует клиент как curl для любого, кто сравнивает хеши, что бы ни говорил IP. Резидентный IP не маскирует запрос, который сам себя объявляет инструментом командной строки, и никакой прокси это за вас не исправит. Это работа для конфигурации вашего HTTP-клиента.

Минута 9: пропускная способность и стабильность при повторении

Один успешный запрос - это не показатель успешности. Выполните сто:

for i in $(seq 1 100); do
  curl -s -o /dev/null -x login:password@proxy.sotaproxy.com:10000 \
    -w "%{http_code} %{time_total}\n" https://api.ipify.org
done > run.txt
echo "success: $(awk '$1==200' run.txt | wc -l) / 100"
echo "p50:     $(awk '{print $2}' run.txt | sort -n | awk 'NR==50')s"
echo "p95:     $(awk '{print $2}' run.txt | sort -n | awk 'NR==95')s"
sort run.txt | awk '{print $1}' | uniq -c | sort -rn
p95 важнее среднего значения. Пул с медианой 0,6 секунды и p95 в 9 секунд будет восприниматься как сломанный в реальной работе, потому что один запрос из двадцати зависает достаточно долго, чтобы вызвать таймаут вашего скрапера или вкладки браузера.
Для проверки пропускной способности загрузите файл фиксированного размера и проверьте скорость:
curl -s -o /dev/null -x login:password@proxy.sotaproxy.com:10000 \
  -w "%{speed_download} bytes/s\n" https://speed.cloudflare.com/__down?bytes=10000000
На тарифе с ограниченным трафиком помните, что этот тест обойдётся вам в 10 МБ. Проводите его один раз на провайдера, а не на каждый IP.
Минута 10: единственный тест, который имеет значение
Всё вышеперечисленное - лишь косвенная проверка настоящего вопроса: примет ли ваш целевой сайт этот адрес для вашей задачи. Поэтому спросите его напрямую.
Откройте целевую платформу через прокси и пройдите на один шаг дальше главной страницы: загрузите экран входа, страницу товара или конечную точку, к которой обращается ваш скрипт. Следите за тремя вариантами ответа, которые имеют значение.
Проход без препятствий. Хорошо.
Проверка или капча при первой загрузке. Репутация IP говорит сама за себя. Один случай - шум, четыре из десяти IP - проблема пула.
Версия сайта для другой страны. Сайт считывает сигнал, который ваш прокси не изменил, обычно это DNS или история аккаунта.
Если вы покупаете прокси для мультиаккаунтинга, делайте это в новом профиле браузера. Тестирование через профиль, который вы уже используете, привязывает ваши существующие cookie к новому IP, а это именно то сочетание, которого вы платите, чтобы избежать.
Таблица оценки
Заполняйте по одной строке на провайдера. Это занимает десять минут и переживёт разговор с менеджером.
Проверка
Условие успеха
Провайдер A
Провайдер B
Время подключения
до 0,5с, стабильно на 5 запусках
ASN и провайдер
потребительский провайдер, не хостинг
Флаг hosting
false для residential
Обратный DNS
имя хоста в потребительском стиле
Оценка мошенничества
ниже 20 на 8 из 10 IP
Проверка Google
200, не 429
Ротация
20 уникальных IP за 20 запросов
Липкая сессия
IP не меняется в пределах заявленного TTL
Разброс подсетей
40+ различных /24 на 50 IP
Страна DNS
совпадает со страной выхода
WebRTC
реальный адрес не раскрыт
Процент успеха
98+ из 100
Задержка p95
менее чем в 3 раза выше медианы
Целевой сайт
загружается без проверок

Красные флаги, которые досрочно завершают пробный период
Провайдер вообще не предоставляет тестовые учётные данные, только демонстрационный звонок.
В панели управления есть выбор страны, но выходные IP игнорируют его.
hosting: true на пакете, проданном как residential.
Липкие сессии прерываются до заявленного TTL.
Трафик учитывается более чем в два раза выше, чем сообщает ваш собственный клиент.
Поддержка не может сказать, какие восходящие ASN использует пул.
О чём не могут рассказать эти проверки
Честность стоит больше, чем более длинный чек-лист, поэтому:
Чист ли IP именно на вашей платформе. Базы данных репутации и проверки отпечатков общие. Идеально чистый адрес всё ещё может быть тем, с которого на прошлой неделе забанили двенадцать аккаунтов Facebook, и ни один публичный инструмент этого не покажет.
Как выглядит пул завтра. Вы берёте образец из меняющегося инвентаря. Повторяйте выборку раз в месяц на том тарифе, который вы фактически купили.
Как ведёт себя провайдер, когда что-то ломается. Единственное, что нельзя измерить за десять минут - это что происходит в 2 часа ночи, когда пул деградирует. Откройте тикет в поддержку во время пробного периода с реальным вопросом и засеките время ответа.
Если вам нужны форматы подключения и географические суффиксы для нашего собственного пула, пока вы проводите эту проверку, они находятся на странице резидентных прокси, а статические адреса - на странице ISP.
FAQ
Сколько IP нужно проверить, чтобы результат что-то значил?
Десять для проверки геолокации и репутации, пятьдесят для разброса подсетей, сто для процента успеха. Меньше этого - вы измеряете удачу.
Можно ли провести эту проверку на бесплатном списке прокси?
Можно, и это полезное упражнение, потому что бесплатные списки почти всегда проваливают минуты 2, 4 и 5. Только никогда не направляйте реальный аккаунт через них.
Высокая оценка мошенничества всегда означает, что IP непригоден?
Нет. Это означает, что у адреса есть видимая история. Для резидентного IP, используемого для обычного просмотра, оценка в районе двадцати - обычное дело. Для адреса, за которым вы намерены разместить платёжный аккаунт, рассматривайте всё выше 20 как повод для ротации.
Мой выходной IP в правильной стране, но сайт показывает другой регион.
Сначала проверьте DNS (минута 7). Резолвер в неправильной стране перевешивает IP для большей части геологики, и это самая распространённая причина именно этого симптома.
Липкие сессии продолжают менять IP до истечения TTL. Чья это вина?
Протестируйте с curl вместо браузера, чтобы исключить переподключение вашего собственного клиента. Если curl с фиксированным идентификатором сессии всё ещё меняет адрес - проблема в пуле.
Датацентровый IP всегда плохой выбор?
Нет. Это плохой выбор, когда его продали вам как residential. Для целей скрапинга, которые не блокируют хостинговые диапазоны, датацентровые прокси быстрее и намного дешевле, что и является причиной знать, какой именно вы получили.
Как часто следует повторять эту проверку?
Один раз перед покупкой, раз в месяц на действующем тарифе и немедленно после любого внезапного изменения частоты банов. Пул, который вы тестировали в январе, не тот пул, который вы используете в июне.