Прокси России
Две особенности этой страны меняют не настройку прокси, а устройство самой задачи. Поиск здесь региональный по замыслу, поэтому московский выход измеряет Москву, а не страну. И часовых поясов одиннадцать, из-за чего слово «сутки» в расписании требует уточнения, какие именно.
Что у нас есть в России
Цены такие же, как в любой другой стране покрытия.
Зачем здесь берут российские адреса
Мониторинг цен на маркетплейсах
Wildberries, Ozon, Яндекс Маркет: цены и наличие зависят от региона покупателя, поэтому точка съёма имеет значение.
Объявления и вторичный рынок
Авито и Дром: рынок объявлений привязан к городу сильнее, чем в большинстве стран.
Выдача в двух поисковиках
Яндекс и google.ru дают разные результаты, а у первого регион задаётся отдельно и влияет на выдачу напрямую.
Розница и электроника
DNS, М.Видео, Ситилинк, Lamoda: ассортимент и цены различаются по регионам.
Что снаружи России выглядит иначе
Эти сервисы показывают местному посетителю не то же, что иностранному, из-за прав на вещание и локальных каталогов. Мы продаём адреса, а не обход защит.
Какой тип брать под российскую задачу
Адреса домашних подключений, оплата по гигабайтам, ротация по умолчанию. Липкая сессия держит один адрес до пятидесяти минут.
Маркетплейсы, объявления, выдача, проверка рекламы
Адреса в российских датацентрах, трафик не тарифицируется.
Объёмный сбор там, где цель не смотрит на класс адреса
Города, которые здесь запрашивают
Города задаются суффиксом _city_, и здесь это не формальность: и цены, и выдача зависят от региона.
Связки, которые здесь берут чаще всего
- 01Резидентка с городомОсновной вариант: без региона данные о ценах неполные.
- 02Две точки, столица и регионМосква и любой город восточнее, чтобы увидеть разброс.
- 03Датацентр под нейтральные целиИздания и справочники обслуживаются нормально.
- 04Расписание с указанием поясаСуточные срезы помечаются часовым поясом, а не словом «сутки».
Строки подключения для России
Код страны RU, заглавными. Город добавляется через _city_, пробелы заменяются дефисами, порядок: страна, город, сессия, время жизни.
Российские статические адреса суффиксов не принимают: хостом выступает IP из панели, порт 50100, SOCKS5 на 50101.
Российские выходы, четыре способа
curl -x login_c_RU:password@proxy.sotaproxy.com:10000 https://api.ipify.org
# the capital and a region, which are different markets
curl -x login_c_RU_city_Moscow_s_42_ttl_15m:password@proxy.sotaproxy.com:10000 https://api.ipify.org
curl -x login_c_RU_city_Novosibirsk_s_43_ttl_15m:password@proxy.sotaproxy.com:10000 https://api.ipify.org
# held for fifty minutes, for a job that must not change address
curl -x login_c_RU_s_44_ttl_50m:password@proxy.sotaproxy.com:10000 https://api.ipify.org
# a Russian static address: no suffixes
curl -x login:password@YOUR-RU-IP:50100 https://api.ipify.orgВыдача здесь региональная по устройству
Главное отличие от большинства стран раздела, и оно меняет постановку задачи, а не настройку.
Поиск тут не сводится к одному движку: у Яндекса своя выдача, своя рекламная сеть и свои карты, поэтому позиции снимаются двумя проходами, а усреднять их между собой бессмысленно.
Дальше важнее. Регион в Яндексе не косметическая настройка, а часть модели: результаты для Москвы, Екатеринбурга и Новосибирска различаются по составу, а не только порядком. Определяется регион в том числе по адресу посетителя, поэтому московский выход измеряет Москву.
Отсюда следствие для отчётов. Строчка «позиции по России» без указания региона не имеет смысла: это позиции по тому городу, из которого вы снимали. Если вам нужна страна, снимайте несколько регионов и держите регион колонкой в данных.
То же касается цен. Маркетплейсы и розничные сети показывают наличие, сроки и часть цен в зависимости от региона покупателя, поэтому съём из одной точки описывает одну точку. Это тот случай, когда городской таргетинг не роскошь, а условие корректности.
Одиннадцать часовых поясов ломают слово «сутки»
Вторая особенность, и она про расписание и агрегацию.
Страна растянута на одиннадцать часовых поясов. Когда в западной части день только начинается, на востоке он заканчивается. Для сбора это значит, что суточный срез без указания пояса описывает не сутки, а окно, которое в разных регионах приходится на разное время.
Практических последствий три. Первое: акции и обновления цен часто привязаны к местному времени региона, поэтому обход, запущенный по одному поясу, застаёт разные регионы в разных фазах дня. Второе: сравнение «вчера и сегодня» по регионам без нормализации времени показывает разницу, которой нет. Третье: профиль антидетекта должен соответствовать городу выхода, а не столице, иначе часовой пояс браузера расходится с адресом на несколько часов.
Решается это скучно: храните время наблюдения в UTC плюс отдельным полем местный пояс региона, а суточные агрегаты собирайте по местным суткам, если сравниваете регионы между собой.
И оговорка по расписанию: если вы снимаете всю страну одним проходом, разнесите его так, чтобы каждый регион попадал примерно в одно и то же местное время. Иначе вы будете сравнивать утро в одном месте с вечером в другом.
Что вас здесь на самом деле блокирует
Деление привычное.
Маркетплейсы и крупные сети фильтруют хостинговые диапазоны: с датацентра ждите 403 и закладывайте резидентку.
Издания и справочные ресурсы обслуживают датацентровые адреса как обычно.
Авито и другие площадки объявлений заметно режут частоту: там вопрос в темпе, а не в классе адреса.
Выдача доступна, но ограничивает частоту на адрес: нужно больше адресов, а не другой тип.
Какие выходы здесь достаются и насколько они устойчивы
Российский пул на практике.
Пул крупный, но распределён неравномерно: Москва и Петербург дают основную часть, миллионники восточнее работают стабильно, дальше становится тоньше.
Качество линий в крупных городах хорошее, в удалённых регионах разнороднее, а расстояния добавляют задержку. Тридцатисекундный таймаут не сокращайте.
Городской таргетинг здесь окупается чаще, чем где-либо ещё в разделе, потому что от региона зависят и цены, и выдача.
Липкие сессии держат адрес до пятидесяти минут, ротация по умолчанию меняет его на каждый запрос.
Как выбрать тип под российскую цель
Порядок обычный, но с региональной развилкой в начале.
- Сначала решите, какие регионы вам нужны: без этого данные о ценах и позициях будут описывать одну точку.
- Для изданий и справочных ресурсов берите датацентровый адрес: $1.15 за адрес в месяц.
- Для маркетплейсов, объявлений и выдачи нужна резидентка с указанием города.
- На площадках объявлений снижайте темп до того, как упрётесь: там режет частота.
- Если работа должна пройти на одном адресе, добавляйте липкую сессию с временем жизни.
Что российские сайты проверяют помимо адреса
Российский адрес открывает первые ворота, дальше решают регион, время и разбор чисел.
Отправляйте ru-RU. Английские версии встречаются редко и обычно урезаны, так что собирать их смысла нет.
Многие площадки запоминают выбранный регион в cookie при первом заходе. Если вы не проверяете регион в теле страницы, дальше вы стабильно снимаете чужой город при правильном адресе.
Формат чисел континентальный: 1 299,90 ₽, разряды через пробел, дробная часть через запятую, разделитель часто неразрывный.
Часовой пояс задавайте по городу выхода, а не по столице: разница внутри страны доходит до нескольких часов.
Сколько стоит месяц работы по России
Три сценария по нашим ценам, чтобы было с чем сверить смету.
- Мониторинг цен по маркетплейсам, 40 000 карточек в сутки с отключёнными картинками, около 110 КБ на страницу. Это примерно 4,4 ГБ в сутки и около 132 ГБ в месяц: $132 на резидентке.
- Каждый дополнительный регион умножает объём: три региона это три бюджета. Цена за гигабайт везде одинаковая, считать нужно охват.
- Если цели нейтральны, тот же сбор на десяти датацентровых адресах стоит $13,50 в месяц.
Юридическая часть, прямым текстом
Россия не входит в Евросоюз, и GDPR здесь напрямую не действует. Действует собственное законодательство о персональных данных, и у него есть особенности, включая требования к месту хранения данных граждан. Это касается вашего конвейера, а не выбора адреса.
Это общая информация, а не юридическая консультация. Наши условия требуют законного использования, и на жалобы мы реагируем. Там, где от ответа зависит коммерческий риск, спрашивайте юриста, знакомого с местным правом.
Как проверить российский выход
Меньше минуты. Вторая команда здесь основная: она показывает, что запрос города действительно привёл вас в нужный регион, а не в столицу.
Три проверки
# 1. is the exit Russian, and where
curl -s -x login_c_RU:password@proxy.sotaproxy.com:10000 https://ipinfo.io/json
# 2. did the city request land in the right region
curl -s -x login_c_RU_city_Moscow:password@proxy.sotaproxy.com:10000 https://ipinfo.io/json | grep -iE "city|region"
curl -s -x login_c_RU_city_Novosibirsk:password@proxy.sotaproxy.com:10000 https://ipinfo.io/json | grep -iE "city|region"
# 3. does the fifty minute session hold
for i in 1 2 3; do
curl -s -x login_c_RU_s_42_ttl_50m:password@proxy.sotaproxy.com:10000 https://api.ipify.org; echo
doneЧто спрашивают перед покупкой российских адресов
Почему позиции по стране не сходятся?
Потому что выдача здесь региональная: результаты для разных городов различаются по составу. «Позиции по России» без указания региона это позиции по городу съёма.
Нужен ли таргетинг по городу?
Да, чаще, чем в других странах раздела. От региона зависят и цены с наличием, и результаты поиска.
Почему сайт показывает не тот город?
Регион часто запоминается в cookie при первом заходе. Проверяйте регион по содержимому страницы, а не по адресу выхода.
Как считать суточные срезы?
В UTC плюс отдельным полем местный пояс региона. Иначе вы сравниваете утро в одном регионе с вечером в другом.
Почему отказ на площадке объявлений?
Там режет частота, а не класс адреса. Снижайте темп прежде, чем менять тип.
Российские адреса дороже?
Нет. Цены одинаковые везде: резидентка от $1.00 за ГБ, датацентр от $1.15 за адрес в месяц.