Прокси Эстонии
Эстония выделяется двумя вещами сразу. Государство выкладывает много данных официально, и часть работы, под которую обычно закупают адреса, здесь делается без них. А то, что остаётся, упирается в особенность местного адресного пространства: страна маленькая, но хостинга в ней непропорционально много, и это меняет реакцию сайтов на датацентровый адрес.
Что у нас есть в Эстонии
Цены такие же, как в любой другой стране покрытия.
Зачем здесь берут эстонские адреса
Мониторинг цен в рознице
Kaup24, Euronics, Hansapost, Selver, Rimi: эстонские витрины отдельные от латвийских и литовских, хотя сети часто общие.
Объявления и вторичный рынок
Okidoki и Soov для вещей, Auto24 для машин: рынок небольшой, но обновляется быстро.
Недвижимость
kv.ee и City24: аренда в Таллине и Тарту двигается заметно, и снимать её нужно часто.
Локальная выдача и проверка рекламы
google.ee, Delfi, Postimees, ERR: кампании часто разводят по языку аудитории, а не только по стране.
Что снаружи Эстонии выглядит иначе
Эти сервисы показывают эстонскому посетителю не то же, что иностранному, из-за прав на вещание и локальных каталогов. Мы продаём адреса, а не обход защит.
Какой тип брать под эстонскую задачу
Адреса домашних подключений, оплата по гигабайтам, ротация по умолчанию. Липкая сессия держит один адрес до пятидесяти минут.
Розница, объявления, выдача, проверка рекламы
Адреса в эстонских датацентрах, трафик не тарифицируется.
Объёмный сбор там, где цель не смотрит на класс адреса
Города, которые здесь запрашивают
Города задаются суффиксом _city_, но в стране на миллион с небольшим Таллин перевешивает всё, и городской запрос режет пул до десятков адресов.
Связки, которые здесь берут чаще всего
- 01Резидентка, уровень страныОсновной вариант: пул небольшой, и городской таргетинг обычно только мешает.
- 02Липкая сессия на пятьдесят минутКогда работа должна пройти на одном адресе от начала до конца.
- 03Датацентр под нейтральные целиИздания, справочники и открытые данные обслуживаются нормально.
- 04Два языковых проходаЭстонская и русская версии сайтов снимаются раздельно.
Строки подключения для Эстонии
Код страны EE, заглавными. Город добавляется через _city_, пробелы заменяются дефисами, порядок: страна, город, сессия, время жизни.
Эстонские статические адреса суффиксов не принимают: хостом выступает IP из панели, порт 50100, SOCKS5 на 50101.
Эстонские выходы, четыре способа
curl -x login_c_EE:password@proxy.sotaproxy.com:10000 https://api.ipify.org
# held for fifty minutes, for a job that must not change address
curl -x login_c_EE_s_42_ttl_50m:password@proxy.sotaproxy.com:10000 https://api.ipify.org
# Tartu explicitly, though the pool there is thin
curl -x login_c_EE_city_Tartu_s_43_ttl_15m:password@proxy.sotaproxy.com:10000 https://api.ipify.org
# an Estonian static address: no suffixes
curl -x login:password@YOUR-EE-IP:50100 https://api.ipify.orgЧасть задач здесь решается без прокси
С этого честнее начать, потому что иначе вы купите адреса под работу, для которой они не нужны.
Эстония держит много государственных данных открытыми и машиночитаемыми. Сведения о компаниях, реестровые выписки, статистика, часть геоданных доступны через официальные интерфейсы, без обхода сайтов и без адресов в стране. Если ваша задача формулируется как «собрать данные о компаниях» или «выгрузить статистику», начинайте оттуда: это быстрее, стабильнее и не ломается при редизайне.
Прокси нужны там, где официальных интерфейсов нет по определению. Цены в магазинах, объявления, позиции в выдаче, рекламные показы, доступность контента у вещателей: всё это существует только на страницах, и страницы эти показывают разное в зависимости от того, откуда вы пришли.
Граница проходит примерно так: факты о юридических лицах государство отдаёт само, поведение рынка не отдаёт никто.
Мы теряем на этой честности часть продаж, зато вы не платите за адреса, которыми не будете пользоваться.
Маленькая страна с большим количеством хостинга
Вторая особенность, и она объясняет, почему датацентровый адрес здесь ведёт себя не так, как в стране сопоставимого размера.
Эстония много лет привлекает технологические компании, и доля хостинга в её адресном пространстве непропорциональна населению. Сайты по всему миру видят из эстонских серверных сетей заметный поток автоматического трафика и относятся к таким диапазонам соответственно.
Практическое следствие первое: там, где в другой маленькой стране датацентровый адрес прошёл бы, здесь он получает отказ чаще. Планируйте переход на резидентку раньше и не удивляйтесь 403 на первом же запросе к рознице.
Практическое следствие второе: собственно резидентский пул тут скромный, потому что людей мало. Много потоков ему не по силам, и это надо закладывать в расписание, а не узнавать по ошибкам.
Разумная конфигурация выглядит так: датацентр на изданиях, открытых данных и справочниках, резидентка на всём коммерческом, невысокая параллельность и растянутый по времени обход.
Что вас здесь на самом деле блокирует
Деление привычное, с поправкой из предыдущего раздела.
Розничные сети и площадки объявлений ждут домашний адрес: с датацентра ждите 403, причём раньше, чем в среднем по региону.
ERR, издания и государственные ресурсы обслуживают датацентровые адреса как обычно.
Выдача доступна, но ограничивает частоту на адрес: нужно больше адресов, а с местным пулом это как раз ограничение.
Как и у соседей, ровный машинный ритм запросов заметнее объёма: разброс интервалов помогает больше лишних адресов.
Какие выходы здесь достаются и насколько они устойчивы
Эстонский пул на практике.
Пул маленький: страна на миллион с небольшим человек, и почти всё в Таллине. Тарту даёт заметную добавку, дальше единицы.
Качество линий отличное: оптика распространена широко, время ответа из Европы одно из лучших в нашем покрытии.
Городской запрос режет пул до десятков адресов и приводит к повторам. Уровень страны здесь почти всегда правильный выбор, а откат стоит логировать.
Липкие сессии держат адрес до пятидесяти минут: когда работа должна пройти на одном адресе целиком, это здесь основной инструмент.
Как выбрать тип под эстонскую цель
Порядок короткий, потому что типов два.
- Сначала проверьте, нет ли у задачи официального источника. Если данные отдаёт государство, адреса не нужны вовсе.
- Для изданий, справочников и открытых данных берите датацентровый адрес: $1.15 за адрес в месяц.
- Для розницы, объявлений и выдачи сразу закладывайте резидентку уровня страны: датацентр здесь отказывает чаще обычного.
- Если работа должна пройти на одном адресе, добавляйте липкую сессию с временем жизни.
- 429 после множества запросов это лимит на адрес: снижайте темп, потому что нарастить число адресов в пуле такого размера не выйдет.
Что эстонские сайты проверяют помимо адреса
Эстонский адрес открывает первые ворота, дальше решают язык, время и разбор чисел.
Отправляйте et-EE. У крупных площадок есть русские и английские версии, и без явного заголовка вы легко соберёте не тот каталог. Русская версия здесь не перевод, а отдельная аудитория, особенно на востоке страны.
Часовой пояс EET, UTC+2 зимой и UTC+3 летом, как в Латвии и Финляндии и на час впереди Швеции.
Валюта евро, формат чисел северный: 1 299,00 €, разряды отделены пробелом, дробная часть запятой, и разделитель обычно неразрывный.
В эстонском есть õ, ä, ö и ü, и это отдельные буквы. Сворачивание их при нормализации портит сопоставление названий.
Сколько стоит месяц работы по Эстонии
Три сценария по нашим ценам, чтобы было с чем сверить смету.
- Мониторинг цен по эстонской рознице, 10 000 карточек в сутки с отключёнными картинками, около 100 КБ на страницу. Это примерно 1 ГБ в сутки и около 30 ГБ в месяц: $30 на резидентке.
- Второй языковой проход добавляет столько же по тем разделам, где версии действительно различаются, а не по всему объёму.
- Открытые государственные данные не стоят ничего сверх вашего трафика: их можно брать и без адресов в стране.
Юридическая часть, прямым текстом
Эстония в Евросоюзе, поэтому здесь работает GDPR со всеми последствиями для сбора персональных данных. Эстонский адрес не выводит вас из-под него и не вводит: значение имеет то, чьи данные вы собираете, а не откуда идёт трафик.
Отдельно про открытые реестры: доступность данных не означает, что с ними можно делать что угодно. У выгрузок бывают собственные условия использования, и их стоит прочитать до того, как вы построите на них продукт.
Это общая информация, а не юридическая консультация. Наши условия требуют законного использования, и на жалобы мы реагируем. Там, где от ответа зависит коммерческий риск, спрашивайте юриста.
Как проверить эстонский выход
Меньше минуты. Третья команда здесь полезнее прочих: она показывает, сколько уникальных адресов реально даёт пул при ротации.
Три проверки
# 1. is the exit Estonian, and where
curl -s -x login_c_EE:password@proxy.sotaproxy.com:10000 https://ipinfo.io/json
# 2. does the fifty minute session hold
for i in 1 2 3; do
curl -s -x login_c_EE_s_42_ttl_50m:password@proxy.sotaproxy.com:10000 https://api.ipify.org; echo
done
# 3. how many distinct addresses do twenty rotating requests give
for i in $(seq 1 20); do
curl -s -x login_c_EE:password@proxy.sotaproxy.com:10000 https://api.ipify.org; echo
done | sort -u | wc -lЧто спрашивают перед покупкой эстонских адресов
Правда ли, что часть данных можно взять без прокси?
Да. Сведения о компаниях, реестровые выписки и статистику государство отдаёт машиночитаемо. Прокси нужны для цен, объявлений, выдачи, рекламы и вещателей, потому что там официальных интерфейсов нет.
Почему датацентр отваливается чаще, чем в соседних странах?
В эстонском адресном пространстве непропорционально много хостинга, и сайты относятся к таким диапазонам строже. На коммерческих целях сразу закладывайте резидентку.
Сколько потоков здесь можно держать?
Немного. Страна на миллион с небольшим человек, пул соответствующий, и при высокой параллельности вы начнёте получать повторяющиеся адреса.
Нужен ли таргетинг по городу?
Обычно нет. Таллин перевешивает всё, а запрос города режет пул до десятков адресов.
Зачем снимать русские версии сайтов?
Потому что это отдельная аудитория, а не перевод, особенно на востоке страны. Реклама и подача там могут отличаться.
Эстонские адреса дороже?
Нет. Цены одинаковые везде: резидентка от $1.00 за ГБ, датацентр от $1.15 за адрес в месяц.