Почему прокси решают эту задачу
Площадки и агрегаторы по умолчанию ограничивают выдачу географией. Запрос из одного места возвращает местный индекс, отсортированный по местной релевантности, с зарплатами в местной валюте. Сравнение рынков или отслеживание найма конкурента по странам требует прохода из каждой, а лимиты по частоте таковы, что число адресов значит не меньше их типа.
Проблемы без прокси
Один запрос возвращает разные индексы
Поиск на площадке из двух стран даёт два разных набора, а не один в другом порядке. Свести их потом можно только гаданием, если страна не записана в момент сбора.
Зарплата это валюта и соглашение
В одном рынке вилку называют за год, в другом за месяц, где-то до налогов, где-то после. Одним числом это поле хуже, чем пустое.
Персональные данные приходят сами
В вакансиях лежат имена рекрутеров, прямые адреса и телефоны. Это превращает задачу сбора в вопрос о защите данных, и ответ зависит от страны, из которой вы собирали.
Как это решает SotaProxy
Резидентские адреса в 220+ странах с городским таргетингом там, где найм действительно столичный, липкие сессии на пагинацию и достаточное число адресов, чтобы пережить лимиты, которые площадки ставят на адрес.
Настройка за 4 шага
Зафиксируйте географию до запроса
Сначала страна, город только там, где рынок правда столичный. Проход по стране плюс два города даёт больше, чем пятнадцать городов, возвращающих один и тот же национальный индекс.
Держите сессию на всю пагинацию
Наборы результатов пересчитываются на каждый запрос. Липкая сессия удерживает страницы с первой по десятую внутри одного поиска, а не сшивает несколько.
Зарплату храните несколькими полями
Сумма, валюта, период и до или после налогов. Одно число в одной колонке это способ сделать зарплатный датасет бесполезным за месяц.
Решите про персональные данные до первого прогона
Имена и контакты собираются легче всего и оправдываются тяжелее всего. Вычищайте их при приёме, если нет причины, которую признает юрист.
Двенадцать рынков, ежедневное обновление
Страницы вакансий лёгкие, форму задаче задают пагинация и лимиты:
Трафик здесь не ограничение и им не станет. Ограничение это сколько запросов может сделать один адрес, прежде чем площадка его придержит, поэтому задача считается в адресах, а не в гигабайтах.
Один поиск, одна страна, одна сессия
Липко внутри пагинации, ротация между поисками, география в каждой строке:
Пагинация результатов одной страны
# одна сессия на один поиск в одной стране
S="login_c_PL_s_77_ttl_50m:password@proxy.sotaproxy.com:10000"
for page in 1 2 3 4 5; do
curl -s -x $S -H "Accept-Language: pl-PL" \
"https://jobs.example/search?q=developer&page=$page" -o pl-$page.html
sleep 4
done
# в какой стране вас считает площадка
curl -s -x $S https://ipinfo.io/json | grep -iE "country|city"- Держите темп осознанно. Четыре секунды паузы не стоят ничего и сохраняют адрес рабочим на весь прогон.
- Запросы записывайте рядом с результатами: одна вакансия всплывает по разным запросам, и для дедупликации нужны оба поля.
- Контакты рекрутеров вычищайте при приёме, а не фильтруйте на этапе отчёта.
Три способа испортить датасет по найму
Одна колонка под зарплату
В одной строке год до налогов, в другой месяц после. Среднее по такой колонке это число без смысла, и замечают это уже в презентации.
Ротация внутри пагинации
Третья страница пришла из индекса другой страны. В датасет попадают вакансии, которых не было в том поиске, который вы считаете выполненным.
Хранить имена, потому что их легко взять
Имена рекрутеров и прямые контакты это персональные данные в большинстве стран, из которых вы собираете. Хранение их без причины и есть та часть задачи, где появляется реальный юридический риск.
Часто задаваемые вопросы
Почему не использовать фильтр страны на самой площадке?
Потому что он фильтрует индекс, который вам уже выбрали. Фильтр сужает то, что показали, а адрес решает, что показали вообще.
Сколько нужно адресов?
Больше, чем кажется. Площадки ограничивают адрес, а не аккаунт, поэтому пропускная способность здесь зависит от числа адресов и темпа, а не от типа прокси.
Законно ли собирать вакансии?
Сбор публичных объявлений и сбор названных в них людей это разные вопросы. Второй и есть территория закона о персональных данных, и он следует за страной этих людей, а не за вашей. Спрашивайте юриста.
Датацентр или резидентка?
Начните с датацентра за $1.15 в месяц: крупные агрегаторы его обычно не пускают, небольшие площадки обычно пускают. Переходите на резидентку там, где получили 403 на первом запросе.
Готовы начать?
Создайте аккаунт, пополните баланс и получите доступ к прокси за несколько минут. Без звонков. Без минимального платежа.
Создать аккаунт