Прокси решают конкретный класс задач: доступ к данным или сервисам, которые блокируют, ограничивают частоту или накладывают гео-ограничения на автоматические запросы.
Данные по недвижимости
Аренда, доступность и история цен это городские объекты. Среднее по стране это единственное число на этом рынке, которое не описывает ничего из того, что покупают или снимают.
Арбитраж трафика
Закупка это цепочка обещаний: сетка говорит, что размещение крутилось, трекер что клик дошёл, оффер что воронка работает. Каждое звено проверяется только изнутри той страны, за которую вы платили.
Данные рынка труда
Площадки решают, что показать, исходя из того, откуда вы пришли: поиск из одной страны вернёт её вакансии, её зарплатные вилки и её валюту, и ничто не подскажет, что есть остальное.
Контроль минимальных цен
Продавец, пробивающий вашу минимальную цену, редко показывает это в карточке. Это всплывает в корзине, в одной стране, покупателю, который выглядит местным.
Мониторинг магазинов приложений
Каталоги, чарты, цены и скриншоты в магазинах приложений собираются по странам. В отличие от веб-магазина, здесь нет строки запроса, которая покажет Бразилию из Берлина: магазин выбирают за вас.
Мониторинг отзывов
У одного товара в разных странах разные отзывы, и большинство площадок показывает посетителю те, что написаны рядом с ним. Собирая из одного места, вы отчитываетесь об одном рынке.
Партнёрский маркетинг
Воронка, которая конвертит в одной стране, в другой может быть сломана: не тот лендинг, валюта, которой там не платят, редирект, который не срабатывает. Со своего рабочего места всё всегда выглядит нормально.
Мультиаккаунтинг
Агентства, продавцы на маркетплейсах и тестировщики ведут десятки профилей. Связывает их обычно не пароль, а адрес выхода, часовой пояс и профиль, разъехавшиеся между собой.
Веб-скрапинг
Сайты банят скраперы по IP. Ротируйте через миллионы резидентных IP - и они никогда не увидят один и тот же адрес дважды.
Мониторинг цен
E-commerce сайты блокируют скраперы, которые проверяют цены слишком часто с одного IP. Ротируйте через резидентные IP и тяните ценовые данные с любой частотой.
Верификация рекламы
Рекламные сети показывают разные креативы в зависимости от локации, устройства и времени суток. Проверяйте из любого рынка, не летая туда.
Отслеживание позиций в SEO
Google персонализирует выдачу по локации, истории поиска и устройству. Получайте чистые данные SERP из любого рынка с резидентными прокси.
Автоматизация соцсетей
Соцплатформы связывают аккаунты по IP. Назначьте каждому аккаунту выделенный прокси - и они никогда не будут выглядеть связанными.
Маркетинговые исследования
Рыночные данные гео-заблокированы, локализованы и лимитированы по частоте. Тяните их из источника с прокси, которые выглядят как локальные пользователи.
Sneaker-боты и ритейл-автоматизация
Nike, Adidas и Supreme используют Akamai и Cloudflare, чтобы останавливать ботов. У ISP- и резидентных прокси есть уровень доверия, чтобы пройти.
Агрегация тарифов на путешествия
Авиакомпании и OTA показывают разные цены в зависимости от локации IP и истории просмотров. Резидентные прокси из рынка-источника возвращают фактический локальный тариф.
Защита бренда
Контрафактные листинги и неавторизованные реселлеры появляются на рынках, где у вашей команды нет присутствия. Резидентные прокси дают вам глаза на каждом рынке.
Тестирование ПО и QA
Ваше приложение работает в офисной сети. А работает ли оно в Бразилии на 4G? Прокси позволяют тестировать из любых сетевых условий.
Каталог ниже разложен по задачам, но у всех задач один общий вопрос, и решать его лучше до того, как открывать карточку. Тип адреса выбирается целью, а не бюджетом. Платить за резидентку там, где проходит датацентр, это самый частый способ переплатить, а брать датацентр там, где нужен домашний адрес, самый частый способ не собрать ничего.
Лестница выбора, одинаковая для всех задач
Порядок один и тот же независимо от того, мониторите вы цены или проверяете рекламу. Меняется только то, на каком шаге вы остановитесь.
- Начните с датацентрового адреса, $1.15 за адрес в месяц. Издания, справочники, государственные ресурсы и открытые данные отдают его спокойно, и платить за резидентку там незачем.
- 403 на первом же запросе означает, что цель фильтрует хостинговые диапазоны. Это не бан и не повод менять инструмент, это повод перейти на резидентку.
- Резидентка уровня страны закрывает розницу, маркетплейсы, объявления и выдачу. Платите за снятые гигабайты, поэтому счёт зависит от веса страниц, а не от числа запросов.
- Если работа должна пройти на одном адресе, добавьте липкую сессию с временем жизни. Если адрес не должен меняться неделями, считайте ISP: больше двух гигабайт в месяц на сессию, и он уже дешевле.
- Мобильный адрес нужен там, где цель ждёт оператора: приложения и выросшие из них площадки. Он тарифицируется посуточно, поэтому его берут точечно, а не под объём.
Счёт считают по весу страниц, а не по числу запросов
Самая частая ошибка в смете, и она не про тариф.
Резидентка тарифицируется гигабайтами. Значит, стоимость задачи это вес страницы, умноженный на их количество, а вес отличается в разы между аккуратным и небрежным сборщиком. Двадцать тысяч карточек в сутки с отключёнными картинками это около 60 ГБ в месяц. Те же двадцать тысяч без блокировки медиа могут дать 900 ГБ при абсолютно тех же данных на выходе.
Поэтому блокировка изображений, шрифтов, видео и рекламных скриптов это не оптимизация на потом, а часть первоначальной настройки. Если работаете через безголовый браузер, отключайте загрузку медиа на уровне перехвата запросов.
И замеряйте до масштабирования: снимите двадцать страниц, посмотрите фактический объём и умножьте. Смета по числу страниц ошибается сильнее всего именно там, где страницы тяжёлые.
Три ошибки, общие для всех задач
Они встречаются независимо от того, что именно вы собираете, и все три портят выводы, а не сбор.
- Измерять расписание собственного скрапера вместо рынка. Если вчерашний срез снят утром, а сегодняшний вечером, разница в данных ваша, а не рыночная. Храните время наблюдения, а не только дату.
- Усреднять то, что нельзя усреднять. Цена за месяц в стране с быстрым движением цен маскирует движение. Валюта, регион и язык это отдельные колонки, а не подпись к выгрузке.
- Считать таймаут признаком блокировки. Отказ с кодом ответа и обрыв без него это разные события с разными причинами, и если не разделять их в логах, статистика по блокировкам будет завышена.
Что спрашивают про выбор под задачу
С какого типа начинать, если задача новая?
С датацентрового адреса за $1.15 в месяц. Если цель отдала 403 на первом запросе, переходите на резидентку. Обратный порядок стоит дороже и ничего не проверяет.
Когда резидентка дороже ISP?
Когда работа держится на одном адресе. Больше двух гигабайт в месяц на одну сессию, и статический адрес за $1.90 обходится дешевле, а трафик по нему не тарифицируется.
Почему счёт больше расчётного?
Почти всегда из-за веса страниц. Считать надо гигабайты, а не запросы, и мерить фактический объём на двадцати страницах до того, как масштабировать.
Нужен ли таргетинг по городу?
Обычно нет: он режет пул и добавляет отказов. Он оправдан там, где от региона зависят цены или выдача, например в Бельгии, Мексике и России, и об этом сказано на страницах этих стран.
Можно ли одной задачей закрыть несколько стран?
Только если цель не подставляет содержимое по стране посетителя. Международные площадки почти всегда подставляют, поэтому это отдельный проход на страну и страна отдельной колонкой в данных.