Приведи друга: тебе 15% с каждого заказа, ему скидка 10%

Прокси России

Две особенности этой страны меняют не настройку прокси, а устройство самой задачи. Поиск здесь региональный по замыслу, поэтому московский выход измеряет Москву, а не страну. И часовых поясов одиннадцать, из-за чего слово «сутки» в расписании требует уточнения, какие именно.

Что у нас есть в России

Цены такие же, как в любой другой стране покрытия.

Зачем здесь берут российские адреса

Мониторинг цен на маркетплейсах

Wildberries, Ozon, Яндекс Маркет: цены и наличие зависят от региона покупателя, поэтому точка съёма имеет значение.

Объявления и вторичный рынок

Авито и Дром: рынок объявлений привязан к городу сильнее, чем в большинстве стран.

Выдача в двух поисковиках

Яндекс и google.ru дают разные результаты, а у первого регион задаётся отдельно и влияет на выдачу напрямую.

Розница и электроника

DNS, М.Видео, Ситилинк, Lamoda: ассортимент и цены различаются по регионам.

Что снаружи России выглядит иначе

Эти сервисы показывают местному посетителю не то же, что иностранному, из-за прав на вещание и локальных каталогов. Мы продаём адреса, а не обход защит.

КинопоискстримингИвистримингOkkoстримингМатч ТВспортWildberriesмаркетплейсOzonмаркетплейсАвитообъявленияЦИАНнедвижимостьДромавтомобилиРБКновостиЯндексвыдачаПочта Россиилогистика

Какой тип брать под российскую задачу

Города, которые здесь запрашивают

Города задаются суффиксом _city_, и здесь это не формальность: и цены, и выдача зависят от региона.

MoscowКрупнейший пул, отдельный рынок по ценам и срокам
Saint PetersburgВторой по величине пул
NovosibirskСибирь, другой часовой пояс и другие сроки доставки
YekaterinburgУрал, крупный региональный рынок
KazanПоволжье, компактный пул
KrasnodarЮг, отдельная логистика

Связки, которые здесь берут чаще всего

  1. 01Резидентка с городомОсновной вариант: без региона данные о ценах неполные.
  2. 02Две точки, столица и регионМосква и любой город восточнее, чтобы увидеть разброс.
  3. 03Датацентр под нейтральные целиИздания и справочники обслуживаются нормально.
  4. 04Расписание с указанием поясаСуточные срезы помечаются часовым поясом, а не словом «сутки».

Строки подключения для России

Код страны RU, заглавными. Город добавляется через _city_, пробелы заменяются дефисами, порядок: страна, город, сессия, время жизни.

Российские статические адреса суффиксов не принимают: хостом выступает IP из панели, порт 50100, SOCKS5 на 50101.

Российские выходы, четыре способа

curl -x login_c_RU:password@proxy.sotaproxy.com:10000 https://api.ipify.org

# the capital and a region, which are different markets
curl -x login_c_RU_city_Moscow_s_42_ttl_15m:password@proxy.sotaproxy.com:10000 https://api.ipify.org
curl -x login_c_RU_city_Novosibirsk_s_43_ttl_15m:password@proxy.sotaproxy.com:10000 https://api.ipify.org

# held for fifty minutes, for a job that must not change address
curl -x login_c_RU_s_44_ttl_50m:password@proxy.sotaproxy.com:10000 https://api.ipify.org

# a Russian static address: no suffixes
curl -x login:password@YOUR-RU-IP:50100 https://api.ipify.org

Выдача здесь региональная по устройству

Главное отличие от большинства стран раздела, и оно меняет постановку задачи, а не настройку.

Поиск тут не сводится к одному движку: у Яндекса своя выдача, своя рекламная сеть и свои карты, поэтому позиции снимаются двумя проходами, а усреднять их между собой бессмысленно.

Дальше важнее. Регион в Яндексе не косметическая настройка, а часть модели: результаты для Москвы, Екатеринбурга и Новосибирска различаются по составу, а не только порядком. Определяется регион в том числе по адресу посетителя, поэтому московский выход измеряет Москву.

Отсюда следствие для отчётов. Строчка «позиции по России» без указания региона не имеет смысла: это позиции по тому городу, из которого вы снимали. Если вам нужна страна, снимайте несколько регионов и держите регион колонкой в данных.

То же касается цен. Маркетплейсы и розничные сети показывают наличие, сроки и часть цен в зависимости от региона покупателя, поэтому съём из одной точки описывает одну точку. Это тот случай, когда городской таргетинг не роскошь, а условие корректности.

Одиннадцать часовых поясов ломают слово «сутки»

Вторая особенность, и она про расписание и агрегацию.

Страна растянута на одиннадцать часовых поясов. Когда в западной части день только начинается, на востоке он заканчивается. Для сбора это значит, что суточный срез без указания пояса описывает не сутки, а окно, которое в разных регионах приходится на разное время.

Практических последствий три. Первое: акции и обновления цен часто привязаны к местному времени региона, поэтому обход, запущенный по одному поясу, застаёт разные регионы в разных фазах дня. Второе: сравнение «вчера и сегодня» по регионам без нормализации времени показывает разницу, которой нет. Третье: профиль антидетекта должен соответствовать городу выхода, а не столице, иначе часовой пояс браузера расходится с адресом на несколько часов.

Решается это скучно: храните время наблюдения в UTC плюс отдельным полем местный пояс региона, а суточные агрегаты собирайте по местным суткам, если сравниваете регионы между собой.

И оговорка по расписанию: если вы снимаете всю страну одним проходом, разнесите его так, чтобы каждый регион попадал примерно в одно и то же местное время. Иначе вы будете сравнивать утро в одном месте с вечером в другом.

Что вас здесь на самом деле блокирует

Деление привычное.

Маркетплейсы и крупные сети фильтруют хостинговые диапазоны: с датацентра ждите 403 и закладывайте резидентку.

Издания и справочные ресурсы обслуживают датацентровые адреса как обычно.

Авито и другие площадки объявлений заметно режут частоту: там вопрос в темпе, а не в классе адреса.

Выдача доступна, но ограничивает частоту на адрес: нужно больше адресов, а не другой тип.

Какие выходы здесь достаются и насколько они устойчивы

Российский пул на практике.

Пул крупный, но распределён неравномерно: Москва и Петербург дают основную часть, миллионники восточнее работают стабильно, дальше становится тоньше.

Качество линий в крупных городах хорошее, в удалённых регионах разнороднее, а расстояния добавляют задержку. Тридцатисекундный таймаут не сокращайте.

Городской таргетинг здесь окупается чаще, чем где-либо ещё в разделе, потому что от региона зависят и цены, и выдача.

Липкие сессии держат адрес до пятидесяти минут, ротация по умолчанию меняет его на каждый запрос.

Как выбрать тип под российскую цель

Порядок обычный, но с региональной развилкой в начале.

  • Сначала решите, какие регионы вам нужны: без этого данные о ценах и позициях будут описывать одну точку.
  • Для изданий и справочных ресурсов берите датацентровый адрес: $1.15 за адрес в месяц.
  • Для маркетплейсов, объявлений и выдачи нужна резидентка с указанием города.
  • На площадках объявлений снижайте темп до того, как упрётесь: там режет частота.
  • Если работа должна пройти на одном адресе, добавляйте липкую сессию с временем жизни.

Что российские сайты проверяют помимо адреса

Российский адрес открывает первые ворота, дальше решают регион, время и разбор чисел.

Отправляйте ru-RU. Английские версии встречаются редко и обычно урезаны, так что собирать их смысла нет.

Многие площадки запоминают выбранный регион в cookie при первом заходе. Если вы не проверяете регион в теле страницы, дальше вы стабильно снимаете чужой город при правильном адресе.

Формат чисел континентальный: 1 299,90 ₽, разряды через пробел, дробная часть через запятую, разделитель часто неразрывный.

Часовой пояс задавайте по городу выхода, а не по столице: разница внутри страны доходит до нескольких часов.

Сколько стоит месяц работы по России

Три сценария по нашим ценам, чтобы было с чем сверить смету.

  • Мониторинг цен по маркетплейсам, 40 000 карточек в сутки с отключёнными картинками, около 110 КБ на страницу. Это примерно 4,4 ГБ в сутки и около 132 ГБ в месяц: $132 на резидентке.
  • Каждый дополнительный регион умножает объём: три региона это три бюджета. Цена за гигабайт везде одинаковая, считать нужно охват.
  • Если цели нейтральны, тот же сбор на десяти датацентровых адресах стоит $13,50 в месяц.

Юридическая часть, прямым текстом

Россия не входит в Евросоюз, и GDPR здесь напрямую не действует. Действует собственное законодательство о персональных данных, и у него есть особенности, включая требования к месту хранения данных граждан. Это касается вашего конвейера, а не выбора адреса.

Это общая информация, а не юридическая консультация. Наши условия требуют законного использования, и на жалобы мы реагируем. Там, где от ответа зависит коммерческий риск, спрашивайте юриста, знакомого с местным правом.

Как проверить российский выход

Меньше минуты. Вторая команда здесь основная: она показывает, что запрос города действительно привёл вас в нужный регион, а не в столицу.

Три проверки

# 1. is the exit Russian, and where
curl -s -x login_c_RU:password@proxy.sotaproxy.com:10000 https://ipinfo.io/json

# 2. did the city request land in the right region
curl -s -x login_c_RU_city_Moscow:password@proxy.sotaproxy.com:10000 https://ipinfo.io/json | grep -iE "city|region"
curl -s -x login_c_RU_city_Novosibirsk:password@proxy.sotaproxy.com:10000 https://ipinfo.io/json | grep -iE "city|region"

# 3. does the fifty minute session hold
for i in 1 2 3; do
  curl -s -x login_c_RU_s_42_ttl_50m:password@proxy.sotaproxy.com:10000 https://api.ipify.org; echo
done

Что спрашивают перед покупкой российских адресов

Почему позиции по стране не сходятся?

Потому что выдача здесь региональная: результаты для разных городов различаются по составу. «Позиции по России» без указания региона это позиции по городу съёма.

Нужен ли таргетинг по городу?

Да, чаще, чем в других странах раздела. От региона зависят и цены с наличием, и результаты поиска.

Почему сайт показывает не тот город?

Регион часто запоминается в cookie при первом заходе. Проверяйте регион по содержимому страницы, а не по адресу выхода.

Как считать суточные срезы?

В UTC плюс отдельным полем местный пояс региона. Иначе вы сравниваете утро в одном регионе с вечером в другом.

Почему отказ на площадке объявлений?

Там режет частота, а не класс адреса. Снижайте темп прежде, чем менять тип.

Российские адреса дороже?

Нет. Цены одинаковые везде: резидентка от $1.00 за ГБ, датацентр от $1.15 за адрес в месяц.

Термины, которые стоит понимать до покупки

Локации прокси

Смежное