Прокси Швеции
Северный рынок устроен так, что одна и та же платформа обслуживает Швецию, Норвегию, Данию и Финляндию, а страну и валюту выбирает адрес посетителя. Плюс здесь сильна прослойка сравнения цен: витрина магазина показывает цену, но двигает её не магазин, а то, что происходит на агрегаторе.
Что у нас есть в Швеции
Цены такие же, как в любой другой стране покрытия.
Зачем здесь берут шведские адреса
Мониторинг цен в рознице
Elgiganten, NetOnNet, Webhallen, Ellos, Åhléns: витрины отдельные от норвежских и датских, хотя платформа часто одна.
Сравнение цен
Prisjakt и PriceRunner задают ориентир, по которому магазины переставляют цены, и их списки расходятся с витринами.
Объявления и вторичный рынок
Blocket закрывает здесь и вещи, и машины, и часть недвижимости.
Локальная выдача и SEO
google.se: шведская выдача отдельная, и рекламные блоки в ней свои.
Что снаружи Швеции выглядит иначе
Эти сервисы показывают шведскому посетителю не то же, что иностранному, из-за прав на вещание и локальных каталогов. Мы продаём адреса, а не обход защит.
Какой тип брать под шведскую задачу
Адреса домашних подключений, оплата по гигабайтам, ротация по умолчанию. Липкая сессия держит один адрес до пятидесяти минут.
Розница, объявления, выдача, проверка рекламы
Адреса в шведских датацентрах, трафик не тарифицируется.
Объёмный сбор там, где цель не смотрит на класс адреса
Города, которые здесь запрашивают
Города задаются суффиксом _city_. Три крупнейших дают почти весь пул, север страны запрашивают редко.
Связки, которые здесь берут чаще всего
- 01Резидентка, уровень страныОсновной вариант: розница и объявления ждут домашний адрес.
- 02Липкая сессия на пятьдесят минутКогда работа должна пройти на одном адресе от начала до конца.
- 03Датацентр, СтокгольмОбъёмный сбор там, где цель нейтральна.
- 04Швеция отдельно от соседейОтдельный проход по каждой северной стране, потому что платформа общая, а данные разные.
Строки подключения для Швеции
Код страны SE, заглавными. Город добавляется через _city_, пробелы заменяются дефисами, порядок: страна, город, сессия, время жизни.
Шведские статические адреса суффиксов не принимают: хостом выступает IP из панели, порт 50100, SOCKS5 на 50101.
Шведские выходы, четыре способа
curl -x login_c_SE:password@proxy.sotaproxy.com:10000 https://api.ipify.org
# held for fifty minutes, for a job that must not change address
curl -x login_c_SE_s_42_ttl_50m:password@proxy.sotaproxy.com:10000 https://api.ipify.org
# Gothenburg explicitly, when you are comparing regions
curl -x login_c_SE_city_Gothenburg_s_43_ttl_15m:password@proxy.sotaproxy.com:10000 https://api.ipify.org
# a Swedish static address: no suffixes
curl -x login:password@YOUR-SE-IP:50100 https://api.ipify.orgОдна платформа, четыре северные страны
Главная особенность региона, и она стоит дороже всего тем, кто её не заметил.
Скандинавские сети обычно держат один магазин на четыре рынка. Домен может быть общий или разный, но содержимое подставляется по стране: своя валюта, свой ассортимент, свои сроки доставки, свои акции. Швеция считает в кронах, Финляндия в евро, Норвегия и Дания в своих кронах.
Отсюда ошибка, которая выглядит безобидной: снять один магазин и подписать выгрузку «Скандинавия». В ней окажется одна страна из четырёх, а числа в разных валютах перепутаются между собой при первой же попытке сравнить.
Правильная форма работы: отдельный проход по каждой стране со своего адреса, валюта колонкой в данных, и никакого пересчёта на лету. Пересчитывать можно на витрине отчёта, но хранить нужно то, что показали.
Проверяется это одной парой запросов: та же карточка товара со шведского и с финского выхода. Если валюта или цена разошлись, у вас четыре рынка, а не один.
Где на самом деле ставится цена
Вторая особенность, и она про то, что мониторить.
В Швеции прослойка сравнения цен, Prisjakt и PriceRunner, работает не как справочник, а как рынок: магазины следят за позицией в списке и переставляют цену, чтобы в нём стоять выше. Цена на витрине это результат, а причина находится этажом выше.
Практическое следствие: сбор только по витринам магазинов показывает вам последствия, но не даёт предсказать движение. Тот, кто снимает и агрегатор тоже, видит перестановку раньше, чем она доедет до всех витрин.
Второе следствие техническое: списки агрегатора и страницы магазинов расходятся во времени. Обнаружив разницу, не спешите записывать её в ошибку сбора: чаще это лаг обновления, и его величина сама по себе полезная метрика.
Сводить их между собой лучше по идентификатору товара у продавца, а не по названию: агрегаторы нормализуют названия по-своему, и совпадение строк здесь ненадёжно.
Что вас здесь на самом деле блокирует
Швеция строже среднего по Европе в том, что касается класса адреса.
Розничные сети, Blocket и агрегаторы цен ждут домашний адрес: с датацентра 403 приходит чаще и раньше, чем в соседних странах.
Издания и государственные ресурсы обслуживают датацентровые адреса как обычно.
Выдача доступна, но ограничивает частоту на адрес: нужно больше адресов, а не другой тип.
Отдельно про темп: шведские площадки заметно чувствительнее к ровному машинному ритму запросов, чем к их количеству. Разброс интервалов здесь помогает больше, чем лишние адреса.
Какие выходы здесь достаются и насколько они устойчивы
Шведский пул на практике.
Пул средний по размеру и хороший по качеству: страна с высоким проникновением оптики, домашние линии быстрые, время ответа из Европы одно из лучших в нашем покрытии.
Распределение стокгольмское, но Гётеборг и Мальмё срабатывают стабильно. Север страны запрашивают редко, и пул там тонкий.
Липкие сессии держат адрес до пятидесяти минут: если работа должна пройти на одном адресе целиком, это здесь основной инструмент.
Ротация по умолчанию меняет адрес на каждый запрос, что для сбора карточек как раз и нужно.
Как выбрать тип под шведскую цель
Порядок короткий, потому что типов два.
- Начните с шведского датацентрового адреса: $1.15 за адрес в месяц. На новостях и справочных ресурсах этого достаточно.
- 403 на первом запросе означает фильтрацию хостинговых диапазонов. На рознице и объявлениях это происходит чаще, чем в среднем по региону.
- Дальше резидентка уровня страны. Если работа должна пройти на одном адресе, добавляйте липкую сессию с временем жизни.
- 429 после множества запросов это лимит на адрес: нужно больше адресов, а не другой тип.
- Город просите только тогда, когда сравниваете регионы. В остальных случаях уровень страны надёжнее.
Что шведские сайты проверяют помимо адреса
Шведский адрес открывает первые ворота, дальше решают язык и разбор чисел.
Отправляйте sv-SE. Английские версии здесь встречаются часто и отдаются охотно, поэтому без явного заголовка вы легко соберёте не ту версию каталога.
Валюта крона, формат записи 1 299,00 kr: разряды отделены пробелом, дробная часть запятой, обозначение валюты после числа и строчными. Разделитель разрядов при этом обычно неразрывный.
Часовой пояс CET, летом переводится. Профиль настраивайте под него, а не под UTC.
Баннеры согласия обязательны и закрывают содержимое: скрапер без их обработки снимает пустую страницу при успешном коде ответа.
Сколько стоит месяц работы по Швеции
Три сценария по нашим ценам, чтобы было с чем сверить смету.
- Мониторинг цен по шведской рознице, 30 000 карточек в сутки с отключёнными картинками, около 120 КБ на страницу. Это примерно 3,6 ГБ в сутки и около 108 ГБ в месяц: $108 на резидентке.
- Добавить к этому агрегатор цен стоит немного: его списки компактнее товарных страниц, и в смете это единицы гигабайтов.
- Четыре северные страны отдельными проходами это четыре таких бюджета. Цена за гигабайт везде одинаковая, поэтому считать нужно объём, а не тариф.
Юридическая часть, прямым текстом
Швеция в Евросоюзе, поэтому здесь работает GDPR со всеми последствиями для сбора персональных данных. Шведский адрес не выводит вас из-под него и не вводит: значение имеет то, чьи данные вы собираете, а не откуда идёт трафик.
Это общая информация, а не юридическая консультация. Наши условия требуют законного использования, и на жалобы мы реагируем. Там, где от ответа зависит коммерческий риск, спрашивайте юриста.
Как проверить шведский выход
Меньше минуты. Вторая команда здесь важнее первой: она показывает, что общая платформа отдаёт вам именно шведский рынок.
Три проверки
# 1. is the exit Swedish, and where
curl -s -x login_c_SE:password@proxy.sotaproxy.com:10000 https://ipinfo.io/json
# 2. the same page, two Nordic markets
curl -s -H "Accept-Language: sv-SE" -x login_c_SE:password@proxy.sotaproxy.com:10000 https://your-target.com/product | grep -oE "[0-9 ]+,[0-9]{2} kr" | head -3
curl -s -H "Accept-Language: fi-FI" -x login_c_FI:password@proxy.sotaproxy.com:10000 https://your-target.com/product | grep -oE "[0-9 ]+,[0-9]{2} ?€" | head -3
# 3. does the fifty minute session hold
for i in 1 2 3; do
curl -s -x login_c_SE_s_42_ttl_50m:password@proxy.sotaproxy.com:10000 https://api.ipify.org; echo
doneЧто спрашивают перед покупкой шведских адресов
Можно ли снять Скандинавию одним проходом?
Нет. Платформа общая, но страна, валюта и ассортимент подставляются по адресу посетителя, поэтому это четыре отдельных прохода и четыре набора данных.
Зачем снимать агрегаторы цен?
Потому что магазины переставляют цены, ориентируясь на позицию в них. По витринам вы видите результат, по агрегатору видите движение раньше.
Что делать, если работа должна идти с одного адреса?
Брать липкую сессию с временем жизни: она держит один резидентский адрес до пятидесяти минут.
Почему датацентр здесь отваливается чаще?
Шведская розница и Blocket строже среднего по региону относятся к хостинговым диапазонам. На новостях и справочниках датацентр работает нормально.
Почему приходит английская версия?
Английские версии здесь отдаются охотно. Отправляйте sv-SE явно, иначе соберёте не тот каталог.
Шведские адреса дороже?
Нет. Цены одинаковые везде: резидентка от $1.00 за ГБ, датацентр от $1.15 за адрес в месяц.