Прокси Латвии
Латвия ставит перед сборщиком данных два вопроса сразу. Первый: рынок здесь двуязычный, и одна и та же площадка показывает разное в зависимости от того, на каком языке её попросили. Второй: страна маленькая, пул адресов соответствующий, и планировать параллельность как в Германии не получится.
Что у нас есть в Латвии
Цены такие же, как в любой другой стране покрытия.
Зачем здесь берут латвийские адреса
Мониторинг цен в рознице
1a.lv, Rimi, Maxima, Elkor, RD Electronics: латвийские витрины отдельные от литовских и эстонских, хотя сети часто общие.
Объявления и вторичный рынок
ss.com закрывает здесь и вещи, и машины, и недвижимость: площадка старая, но по-прежнему главная.
Выдача на двух языках
google.lv отдаёт разные результаты на латышский и на русский запрос, и оба набора нужны для полной картины.
Проверка рекламы
Delfi, TVNET, LSM: кампании часто разводят по языку аудитории, а не только по стране.
Что снаружи Латвии выглядит иначе
Эти сервисы показывают латвийскому посетителю не то же, что иностранному, из-за прав на вещание и локальных каталогов. Мы продаём адреса, а не обход защит.
Какой тип брать под латвийскую задачу
Адреса домашних подключений, оплата по гигабайтам, ротация по умолчанию.
Розница, выдача, объявления, проверка рекламы
Потребительская регистрация на датацентровом железе. Статический, выделенный на срок.
Аккаунты, длинные сессии, всё где адрес не должен меняться
Адреса в латвийских датацентрах, трафик не тарифицируется.
Объёмный сбор там, где цель не смотрит на класс адреса
Города, которые здесь запрашивают
Города задаются суффиксом _city_, но в стране на два миллиона человек Рига перевешивает всё остальное настолько, что городской таргетинг здесь редко имеет смысл.
Связки, которые здесь берут чаще всего
- 01Резидентка, уровень страныОсновной вариант: городской таргетинг в пуле такого размера чаще мешает, чем помогает.
- 02ISP-адрес на срокКогда нужен один и тот же адрес неделями и трафик не хочется считать.
- 03Датацентр, РигаОбъёмный сбор там, где цель нейтральна.
- 04Два прохода по языкамЛатышский и русский снимаются раздельно, потому что это разные результаты.
Строки подключения для Латвии
Код страны LV, заглавными. Город добавляется через _city_, пробелы заменяются дефисами, порядок: страна, город, сессия, время жизни.
Латвийские статические адреса, и ISP, и датацентровые, суффиксов не принимают: хостом выступает IP из панели, порт 50100, SOCKS5 на 50101.
Латвийские выходы, четыре способа
curl -x login_c_LV:password@proxy.sotaproxy.com:10000 https://api.ipify.org
# held for fifteen minutes on session 42
curl -x login_c_LV_s_42_ttl_15m:password@proxy.sotaproxy.com:10000 https://api.ipify.org
# Riga explicitly, though country level lands there anyway
curl -x login_c_LV_city_Riga_s_43_ttl_15m:password@proxy.sotaproxy.com:10000 https://api.ipify.org
# a Latvian static address, ISP or datacenter: no suffixes
curl -x login:password@YOUR-LV-IP:50100 https://api.ipify.orgОдна страна, два языка запроса
Главная особенность латвийского сбора, и она удваивает работу.
Заметная часть населения ищет и покупает по-русски, остальные по-латышски. Крупные площадки держат обе версии, а издания часто держат две редакции с разным содержанием. Одна и та же кампания может идти только на русскоязычную аудиторию или только на латышскую, и в отчёте по стране это выглядит одной строкой.
Для выдачи это значит, что список ключевых слов нужен двойной. Проверять латышские запросы и считать, что вы измерили рынок, здесь нельзя: половина спроса набирается другими словами и приводит на другие страницы.
Техническая ловушка отдельная. Многие латвийские сайты переключают язык не по заголовку Accept-Language, а по кнопке и cookie. Скрапер, который аккуратно шлёт lv-LV, получает версию, выбранную при первом заходе, и дальше стабильно снимает не то. Проверяйте, какую версию вам отдали, по содержимому страницы, а не по отправленному заголовку.
Практический вывод: два прохода, две выгрузки, и язык как отдельная колонка в данных, а не как настройка сборщика.
Маленький пул, и что это меняет
Латвия честно маленькая: два миллиона человек, и пул адресов такой же. Об этом лучше знать до того, как вы запланируете сто параллельных потоков.
При высокой параллельности вы начнёте получать один и тот же адрес в разных потоках. Формально всё работает, фактически цель видит серию запросов с одного адреса и включает лимиты раньше, чем вы ожидали по своим расчётам.
Отсюда простое правило: здесь снижают параллельность и растягивают сбор во времени, а не наращивают потоки. Двадцать потоков по стране размером с Латвию собирают больше, чем сто, потому что сто дают отказы.
Городской таргетинг ухудшает картину ещё сильнее. Запрос Даугавпилса режет и без того небольшой пул до десятков адресов, и повторы начинаются сразу. Уровень страны здесь почти всегда правильный выбор.
Если работа требует стабильности, а не разброса, ISP решает вопрос иначе: один статический адрес на срок, без конкуренции за пул и без сюрпризов с повторами.
Что вас здесь на самом деле блокирует
Деление привычное, с местной поправкой.
Розничные сети фильтруют хостинговые диапазоны: с датацентра ждите 403, дальше выбирайте между резиденткой и ISP.
ss.com сложных проверок не ставит, но частоту режет жёстко: здесь вопрос не в классе адреса, а в темпе. Замедляйтесь, а не меняйте тип.
Издания и государственные ресурсы обслуживают датацентровые адреса как обычно.
Выдача доступна, но ограничивает частоту на адрес: нужно больше адресов, а не другой тип, и с местным пулом это как раз ограничение.
Какие выходы здесь достаются и насколько они устойчивы
Латвийский пул на практике.
Пул небольшой и сильно рижский. Для мониторинга цен, проверки рекламы и съёма позиций этого достаточно, для задач с сотнями одновременных адресов нет.
Качество линий хорошее: домашний интернет в Латвии быстрый, время ответа из Европы предсказуемое.
За пределами Риги адресов заметно меньше, и запросы отдельных городов срабатывают не всегда. Держите откат на уровень страны и логируйте его срабатывания.
Липкие сессии ведут себя обычно. ISP-адреса не ротируются вовсе, что и есть причина их брать в стране такого размера.
Как выбрать тип под латвийскую цель
Порядок обычный, но развилка наступает раньше, чем в больших странах.
- Начните с латвийского датацентрового адреса: $1.15 за адрес в месяц.
- 403 на первом запросе означает фильтрацию хостинговых диапазонов.
- Дальше решает не только длина сессии, но и параллельность. Если потоков много, а пул маленький, ISP снимает конкуренцию за адреса: $1.90 в месяц за штуку.
- Разовые обходы с широким охватом остаются на резидентке, но с меньшим числом потоков, чем вы взяли бы в Германии.
- 429 после множества запросов это лимит на адрес: нужно больше адресов или меньше темп.
Что латвийские сайты проверяют помимо адреса
Про язык сказано выше, здесь остальное.
Часовой пояс EET, UTC+2 зимой и UTC+3 летом. Это на час впереди большинства соседей по Евросоюзу, и профиль под центральноевропейское время здесь расходится.
Валюта евро, формат чисел свой: 1 299,90 €, где разряды отделены пробелом, а дробная часть запятой. Разделитель разрядов при этом часто неразрывный, и парсер по обычному пробелу цену не найдёт.
Латышский текст содержит диакритику: ā, č, ē, ģ, ī, ķ, ļ, ņ, š, ū, ž. Сопоставление названий без нормализации даёт ложные несовпадения.
Баннеры согласия обязательны и закрывают содержимое: скрапер без их обработки снимает пустую страницу при успешном коде ответа.
Сколько стоит месяц работы по Латвии
Три сценария по нашим ценам, чтобы было с чем сверить смету.
- Мониторинг цен по латвийской рознице, 12 000 карточек в сутки с отключёнными картинками, около 100 КБ на страницу. Это примерно 1,2 ГБ в сутки и около 36 ГБ в месяц: $36 на резидентке.
- Два прохода по языкам удваивают объём: около $72 в месяц. Это цена того, чтобы не выдавать половину рынка за целый.
- Пять ISP-адресов под длинные сессии стоят $9,50 в месяц, и трафик по ним не тарифицируется. В стране с маленьким пулом это ещё и способ не конкурировать с собственными потоками.
Юридическая часть, прямым текстом
Латвия в Евросоюзе, поэтому здесь работает GDPR со всеми последствиями для сбора персональных данных. Латвийский адрес не выводит вас из-под него и не вводит: значение имеет то, чьи данные вы собираете, а не откуда идёт трафик.
Это общая информация, а не юридическая консультация. Наши условия требуют законного использования, и на жалобы мы реагируем. Там, где от ответа зависит коммерческий риск, спрашивайте юриста.
Как проверить латвийский выход
Меньше минуты. Третья команда здесь важнее прочих: она показывает, что при большой параллельности вы получаете разные адреса, а не один и тот же.
Три проверки
# 1. is the exit Latvian, and where
curl -s -x login_c_LV:password@proxy.sotaproxy.com:10000 https://ipinfo.io/json
# 2. does the sticky session hold
for i in 1 2 3; do
curl -s -x login_c_LV_s_42_ttl_15m:password@proxy.sotaproxy.com:10000 https://api.ipify.org; echo
done
# 3. how many distinct addresses do twenty rotating requests give
for i in $(seq 1 20); do
curl -s -x login_c_LV:password@proxy.sotaproxy.com:10000 https://api.ipify.org; echo
done | sort -u | wc -lЧто спрашивают перед покупкой латвийских адресов
Зачем снимать два языка?
Потому что заметная часть рынка ищет и покупает по-русски, а остальные по-латышски. Это разные запросы, разные страницы и часто разные рекламные кампании.
Почему сайт отдаёт не тот язык?
Многие латвийские площадки переключаются по cookie, а не по заголовку Accept-Language. Проверяйте версию по содержимому страницы, а не по тому, что вы отправили.
Сколько потоков здесь можно держать?
Меньше, чем в большой стране. Пул небольшой, и при высокой параллельности вы начнёте получать один и тот же адрес в разных потоках, а цель включит лимиты раньше расчётного.
Нужен ли таргетинг по городу?
Обычно нет. Рига перевешивает всё, а запрос небольшого города режет пул до десятков адресов и приводит к повторам.
Когда брать ISP?
Когда нужна стабильность, а не разброс: один статический адрес на срок за $1.90 в месяц снимает и конкуренцию за пул, и счёт за трафик.
Латвийские адреса дороже?
Нет. Цены одинаковые везде: резидентка от $1.00 за ГБ, ISP от $1.90 за адрес в месяц, датацентр от $1.15.