Почему прокси решают эту задачу
Порталы отдают результаты, валюту и часто весь интерфейс поиска исходя из местоположения посетителя, а важные объявления живут считанные дни. Сбор из одного места даёт взгляд одного города на рынок, который оценивается по улицам, а лимиты по частоте там таковы, что темп важнее размера пула.
Проблемы без прокси
Набор объявлений ограничен до того, как вы фильтруете
Портал выбирает регион по посетителю и фильтрует внутри него. Ваш фильтр по городу сужает уже выбранное, поэтому два сборщика из двух стран получают разные наборы по одному запросу.
Объявления обновляются быстрее недельного обхода
Аренда на тесном рынке живёт несколько дней. Недельный проход измеряет то, что за неделю не сдалось, а это другая совокупность, чем то, что предлагалось.
Один объект встречается многократно
Агентства перепощивают между порталами и внутри одного портала. Без устойчивого ключа датасет считает одну квартиру пятью и показывает рынок глубже, чем он есть.
Как это решает SotaProxy
Резидентские адреса в 220+ странах с городским таргетингом там, где порталы столичные, липкие сессии на пагинацию и осознанный темп вместо большого пула.
Настройка за 4 шага
Сначала города, потом районы
Сбор уровня страны на портале недвижимости даёт среднее, по которому никто не заключает сделок. Это один из немногих случаев, где городской суффикс окупается.
Согласуйте ритм сбора с рынком
Ежедневно там, где аренда движется днями, еженедельно там, где продажа движется месяцами. Ритм это и есть проектное решение, остальное следует из него.
Держите сессию на всю пагинацию
Страницы результатов пересчитываются на каждый запрос и переупорядочиваются по свежести. Липкая сессия сохраняет один поиск целым, а не сшивает несколько.
Сначала ключ, потом таблица
Идентификатор объявления на портале плюс координаты, где они публикуются. Строки адресов каждое агентство пишет по-своему, и дедупликацию они не выдерживают.
Шесть городов, аренда ежедневно
Объявления лёгкие, фотографии нет, и весь вопрос бюджета именно в этом:
Шесть городов ежедневно за стоимость ужина или та же задача за стоимость небольшого сервера, в зависимости от одной настройки. Решать до первого полного прогона.
Один город, один поиск, одна сессия
Липко на всю пагинацию, с осознанным темпом и записанной географией:
Пагинация одного города
# одна сессия на один городской поиск
S="login_c_ES_city_Barcelona_s_23_ttl_50m:password@proxy.sotaproxy.com:10000"
for page in $(seq 1 20); do
curl -s -x $S -H "Accept-Language: es-ES" \
"https://portal.example/rent/barcelona?page=$page" -o bcn-$page.html
sleep 4
done
# проверить, что запрос города действительно туда попал
curl -s -x $S https://ipinfo.io/json | grep -iE "city|region"- Если запрос города откатился на уровень страны, залогируйте это. Молчаливый откат превращает барселонский датасет в испанский.
- Храните время первого и последнего появления объявления: на этом рынке сигналом является исчезновение.
- Ключом держите идентификатор портала, а строку адреса считайте подписью для человека.
Три способа получить вводящие в заблуждение данные
Среднее по стране
По среднему по стране никто не снимает жильё. Число легко посчитать, легко показать и невозможно использовать.
Считать перепосты предложением
Одна квартира у трёх агентств выглядит как три квартиры. Любой рынок кажется глубже, чем он есть, пока дедупликация не построена на устойчивом ключе.
Обход раз в неделю на суточном рынке
Вы измеряете набор объявлений, которые не сдались за неделю. Это выборка выживших, и она читается как медленный рынок, когда рынок быстрый.
Часто задаваемые вопросы
Почему не фильтровать по городу на самом портале?
Фильтровать нужно, и этого всё равно мало. Фильтр сужает набор, который портал уже выбрал по вашему местоположению. Адрес решает, какой набор вообще существует для фильтрации.
С какой скоростью собирать?
Медленнее, чем кажется. Порталы ограничивают адрес, и четыре секунды между запросами сохраняют адрес рабочим на весь город, а не на одну страницу.
Датацентр или резидентка?
Попробуйте датацентр за $1.15 в месяц. Крупные порталы его обычно не пускают, небольшие региональные часто пускают. Резидентка это ответ там, где первый запрос вернул 403.
Стоит ли собирать фотографии?
Редко, и именно они наполняют счёт. Отключайте медиа по умолчанию и тяните картинки только для тех объявлений, которые анализ действительно открывает.
Готовы начать?
Создайте аккаунт, пополните баланс и получите доступ к прокси за несколько минут. Без звонков. Без минимального платежа.
Создать аккаунт