Список прокси
Набор прокси-IP-адресов и портов, обычно с учётными данными, оформленный для импорта в скрапинг- или автоматизационные инструменты.
Список прокси - это просто набор прокси, записанных построчно для использования в инструментах. Каждая строка задаёт один прокси в стандартном формате - обычно host:port, host:port:username:password или username:password@host:port. Вы вставляете или импортируете список в скрапер, бот или прокси-менеджер, который затем ротирует по записям.
Форматы не полностью стандартизированы, что создаёт трение. Два самых частых порядка - ip:port:user:pass и user:pass@ip:port, и инструменты различаются в том, какой они ожидают. Ошибка в порядке - частая причина сбоев аутентификации, поэтому стоит уточнить формат, который хочет ваш инструмент.
Статические списки прокси имели смысл, когда провайдеры продавали отдельные IP. Вы получали файл, скажем, из 100 IP и загружали их в инструмент. Минус - обслуживание: мёртвые или забаненные записи приходится вычищать вручную, и список свеж лишь настолько, насколько давно вы его обновляли.
Современные ротационные провайдеры в основном заменяют статические списки единым эндпоинтом-шлюзом, фронтящим весь пул - вы настраиваете один адрес, а провайдер ротирует за ним, так что списка не нужно поддерживать. Списки прокси остаются частыми для выделенных/ISP-прокси и для инструментов, ожидающих явные построчные записи. Чтобы проверить список, прогоните каждую запись через прокси-чекер и отбросьте мёртвые.
Что на самом деле лежит в списке прокси
Список прокси это набор адресов с реквизитами для подключения: хост, порт, а где авторизация по учётным данным, ещё логин и пароль. Соглашение, которое принимает большинство инструментов, это ip:port:username:password по записи на строку, а вторая распространённая форма это полный URL вида http://user:pass@ip:port.
Списки бывают двух видов, ведущих себя совершенно по-разному. Список статических адресов даёт вам одни и те же выходы каждый раз, и это подходит работе с аккаунтами, где каждой личности нужен устойчивый адрес. Запись шлюза это одна строка, за которой прячется пул, и каждое соединение может выйти в другом месте.
Бесплатные публичные списки это отдельная категория. Адреса там обычно принадлежат неверно настроенным серверам или взломанным машинам, живут они считанные часы, а заметная их доля логирует трафик или подмешивает содержимое. Для всего, где есть учётные данные, это не дешёвый вариант, а инцидент безопасности, ждущий своего часа.
На практике формат значит больше, чем следовало бы, потому что антидетект-браузеры и инструменты скрапинга ждут каждый своей раскладки одних и тех же четырёх полей. Большинство сбоев импорта это несовпадение записи через двоеточия и записи в виде URL, а вовсе не проблема с прокси.
Как забрать свой список из кабинета
Статические адреса выгружаются списком. Резидентка это шлюз, поэтому она выгружается одной строкой, которую вы варьируете суффиксами:
Две формы одного и того же
# Static addresses, one line per proxy
198.51.100.20:50100:login:password
198.51.100.21:50100:login:password
198.51.100.22:50100:login:password
# Residential gateway, one line, targeting in the login
proxy.sotaproxy.com:10000:login_c_US_s_1_ttl_15m:password
proxy.sotaproxy.com:10000:login_c_US_s_2_ttl_15m:password
proxy.sotaproxy.com:10000:login_c_GB_s_3_ttl_15m:password- Для парка антидетекта сгенерируйте по одной резидентской строке на профиль с разным номером сессии. Хост и порт повторяются, логин нет.
- API отдаёт те же данные в JSON по GET /proxies, и скармливать это скрипту удобнее, чем скопированный текстовый файл.
- Держите списки подальше от общих дисков и переписки. В каждой строке лежат рабочие учётные данные, а ротация после утечки означает перевыпуск всего парка.
- Импортируя в инструмент, проверьте первый прокси руками, прежде чем загружать четыреста. Несовпадение формата в нескольких популярных браузерах проходит молча.
Где со списками ошибаются
Принимать строку шлюза за много прокси
Одна резидентская строка это дверь в пул, а не один выход. Десять одинаковых строк в инструменте не дадут вам десяти адресов, если номера сессий не различаются.
Считать список выделенным
Дёшево купленный список может быть продан нескольким клиентам сразу. Выделенный означает, что адрес ваш и только ваш, а разница вылезает банами, которых вы не заслужили.
Копировать список между инструментами без переформатирования
ip:port:user:pass и http://user:pass@ip:port несут одну и ту же информацию и в большинстве диалогов импорта не взаимозаменяемы.
Брать бесплатные списки туда, где есть вход в аккаунт
Между вами и сайтом садится неизвестный оператор, способный прочитать всё, что не защищено TLS, и подсунуть вам изменённую страницу даже когда защищено.
Смотри на практике
Готов использовать список прокси?
SotaProxy даёт доступ к ротирующим резидентским, мобильным, дата-центр и ISP прокси. Без минимальных платежей.
Начать