Прокси Колумбии
В Колумбии стоит понимать две вещи. Мобильный адрес здесь делят с заметно большим числом реальных абонентов, чем в Европе, и это меняет расчёт запросов на адрес. А почтовые адреса устроены не как свободный текст, а как сетка с номерами улиц, и разбирать их надо соответственно.
Что у нас есть в Колумбии
Цены такие же, как в любой другой стране покрытия.
Зачем здесь берут колумбийские адреса
Мониторинг цен на маркетплейсах
Mercado Libre CO, Falabella, Éxito, Alkosto, Ktronix: колумбийские витрины и цены отдельные от мексиканских и аргентинских.
Недвижимость
Fincaraiz и Metrocuadrado: основные площадки, и адреса объявлений здесь читаются по местной схеме.
Автомобили и объявления
TuCarro, Carroya, OLX Colombia: местные цены и местная география.
Локальная выдача и проверка рекламы
google.com.co, El Tiempo, El Espectador, Semana: кампании закупаются на местную аудиторию.
Что снаружи Колумбии выглядит иначе
Эти сервисы показывают колумбийскому посетителю не то же, что иностранному, из-за прав на вещание и локальных каталогов. Мы продаём адреса, а не обход защит.
Какой тип брать под колумбийскую задачу
Города, которые здесь запрашивают
Города задаются суффиксом _city_. Страна горная, и логистика между городами дорогая, поэтому разница между ними в наличии и сроках действительно есть.
Связки, которые здесь берут чаще всего
- 01Резидентка, уровень страныОсновной вариант под маркетплейсы и выдачу.
- 02Два города для сравненияБогота и побережье, когда меряете наличие и сроки доставки.
- 03Мобильный адрес с меньшим темпомПриложения и площадки, ожидающие оператора, но с осторожным расчётом запросов.
- 04Липкая сессия на пятьдесят минутКогда работа должна пройти на одном адресе от начала до конца.
Строки подключения для Колумбии
Код страны CO, заглавными. Город добавляется через _city_, пробелы заменяются дефисами, порядок: страна, город, сессия, время жизни.
Колумбийские адреса выдаются через ротацию и липкие сессии: время жизни задаётся суффиксом ttl.
Колумбийские выходы, четыре способа
curl -x login_c_CO:password@proxy.sotaproxy.com:10000 https://api.ipify.org
# held for fifty minutes, for a job that must not change address
curl -x login_c_CO_s_42_ttl_50m:password@proxy.sotaproxy.com:10000 https://api.ipify.org
# the capital and the coast, which differ on availability
curl -x login_c_CO_city_Bogota_s_43_ttl_15m:password@proxy.sotaproxy.com:10000 https://api.ipify.org
curl -x login_c_CO_city_Barranquilla_s_44_ttl_15m:password@proxy.sotaproxy.com:10000 https://api.ipify.org
# with the language header that matches the market
curl -H "Accept-Language: es-CO" -x login_c_CO:password@proxy.sotaproxy.com:10000 https://api.ipify.orgМобильный адрес здесь делят с бо́льшим числом людей
Первая вещь, и она чисто техническая.
Мобильный интернет здесь распространён шире домашнего, и операторы прячут очень много абонентов за одним внешним адресом. Плотность соседей за таким адресом заметно выше, чем в европейских странах нашего покрытия.
Хорошая сторона очевидна: адрес выглядит предельно обычным, потому что за ним действительно сидят живые люди с их обычным поведением.
Плохая сторона считается арифметикой. Если цель ограничивает частоту на адрес, ваш бюджет запросов делится с настоящими абонентами. Формула «столько-то запросов на адрес в минуту», перенесённая из европейского проекта, здесь завышена, и вы упрётесь в лимит раньше расчётного, ничего не нарушая.
Отсюда практика: на мобильных адресах в Колумбии держите темп ниже привычного, а внезапный отказ на адресе, который только что работал, считайте следствием чужой активности, а не своей. Ретрай после ротации здесь помогает чаще, чем смена типа адреса.
Резидентка ведёт себя обычным образом, поэтому объёмный сбор идёт на ней, а мобильные оставляют для целей, которые действительно ждут оператора.
Адреса здесь это сетка, а не свободный текст
Вторая вещь, и она про разбор данных, а не про доступ.
Колумбийские почтовые адреса записываются по регулярной схеме: тип улицы, её номер, затем номер поперечной и расстояние до подъезда. Строка вида Calle 100 #7-23 это не название, а координаты в городской сетке.
Что это меняет. Скрапер, который хранит адрес объявления одной строкой, теряет структуру, которая в ней уже есть. А сопоставление объявлений по совпадению строки промахивается, потому что один и тот же адрес пишут с разными сокращениями, пробелами и знаками.
Правильно разбирать адрес на составляющие при приёме и хранить их полями: тип улицы, номер, номер поперечной, номер дома. После этого совпадения находятся надёжно, а дубликаты объявлений видно сразу.
И следствие для геокодирования: по разобранным полям место определяется точнее, чем по строке целиком, потому что схема регулярная. Это тот редкий случай, когда местная особенность облегчает работу, если о ней знать.
Что вас здесь на самом деле блокирует
Деление привычное.
Маркетплейсы и крупные сети фильтруют серверные диапазоны и ждут домашний адрес: это резидентка.
Издания и государственные ресурсы обслуживают запросы спокойно.
Приложения и выросшие из них площадки ждут операторский адрес чаще, чем в Европе: рынок здесь мобильный.
Выдача доступна, но ограничивает частоту на адрес, и на мобильных этот лимит вы делите с посторонними, как описано выше.
Какие выходы здесь достаются и насколько они устойчивы
Колумбийский пул на практике.
Пул приличный: страна на пятьдесят с лишним миллионов человек, и адресов хватает для регулярной работы.
Распределение реально региональное. Богота перевешивает, но Медельин, Кали и Барранкилья срабатывают стабильно, поэтому сравнение городов здесь возможно и осмысленно: страна горная, логистика между регионами дорогая, и наличие со сроками действительно расходятся.
Качество линий разнородное: в крупных городах хорошее, в удалённых департаментах хуже. Тридцатисекундный таймаут не сокращайте.
Липкие сессии держат адрес до пятидесяти минут, мобильные ротируются физическим переподключением: секунды, а не миллисекунды.
Как выбрать тип под колумбийскую цель
Порядок здесь короткий.
- Начните с резидентки уровня страны: она проходит на маркетплейсах, в рознице и на выдаче.
- Если меряете наличие и сроки доставки, добавьте второй город: разница между регионами здесь настоящая.
- Мобильный берите под приложения и площадки, которые ждут оператора, и сразу снижайте темп.
- Если работа должна пройти на одном адресе, добавляйте липкую сессию с временем жизни.
- Отказ на мобильном адресе после успешных запросов чаще означает чужую активность за тем же адресом: ротируйте и повторяйте, а не меняйте тип.
Что колумбийские сайты проверяют помимо адреса
Колумбийский адрес открывает первые ворота, дальше решают язык и разбор чисел.
Отправляйте es-CO. Колумбийский испанский отличается и от мексиканского, и от аргентинского, поэтому списки запросов с этих рынков сюда переносятся плохо и собираются заново.
Формат чисел здесь встречается в обоих видах, и точка, и запятая в роли разделителя разрядов попадаются на разных площадках. Фиксируйте формат по домену и проверяйте результат на диапазон: суммы в песо крупные, и ошибка на три порядка выглядит правдоподобно.
Часовой пояс UTC-5 без перевода на летнее время, один на всю страну.
Баннеры согласия встречаются реже, чем в Евросоюзе, но выбор города при первом заходе попадается часто и обрывает сбор на первом шаге.
Сколько стоит месяц работы по Колумбии
Три сценария по нашим ценам, чтобы было с чем сверить смету.
- Мониторинг цен по колумбийским маркетплейсам, 25 000 карточек в сутки с отключёнными картинками, около 110 КБ на страницу. Это примерно 2,75 ГБ в сутки и около 82 ГБ в месяц: $82 на резидентке.
- Второй город для сравнения наличия добавляет объём только по тем категориям, где сроки и остатки действительно расходятся.
- Мобильные считаются посуточно, а не по трафику: $5.76 в сутки за адрес, и с учётом сниженного темпа их берут точечно, а не под объём.
Юридическая часть, прямым текстом
Колумбия не входит в Евросоюз, и GDPR здесь напрямую не действует. Действует собственное законодательство о защите персональных данных со своим регулятором, и сбор сведений, позволяющих опознать людей в Колумбии, регулируется им независимо от того, где находится ваша компания.
Это общая информация, а не юридическая консультация. Наши условия требуют законного использования, и на жалобы мы реагируем. Там, где от ответа зависит коммерческий риск, спрашивайте юриста.
Как проверить колумбийский выход
Меньше минуты. Третья команда здесь полезнее прочих: она показывает, сколько разных адресов даёт ротация, прежде чем вы начнёте планировать темп.
Три проверки
# 1. is the exit Colombian, and where
curl -s -x login_c_CO:password@proxy.sotaproxy.com:10000 https://ipinfo.io/json
# 2. does the fifty minute session hold
for i in 1 2 3; do
curl -s -x login_c_CO_s_42_ttl_50m:password@proxy.sotaproxy.com:10000 https://api.ipify.org; echo
done
# 3. how many distinct addresses do twenty rotating requests give
for i in $(seq 1 20); do
curl -s -x login_c_CO:password@proxy.sotaproxy.com:10000 https://api.ipify.org; echo
done | sort -u | wc -lЧто спрашивают перед покупкой колумбийских адресов
Почему мобильный адрес упирается в лимит раньше расчётного?
Потому что за ним сидит много реальных абонентов, и бюджет запросов на адрес вы делите с ними. Держите темп ниже привычного по европейским проектам.
Отказ на мобильном это блокировка?
Чаще это следствие чужой активности за тем же адресом. Ротируйте и повторяйте, а не меняйте тип адреса.
Как хранить адреса из объявлений?
Разбирать на составляющие: тип улицы, её номер, номер поперечной и номер дома. Схема здесь регулярная, и по полям сопоставление работает надёжно, а по строке нет.
Нужен ли таргетинг по городу?
Если меряете наличие и сроки, да. Страна горная, логистика между регионами дорогая, и различия настоящие.
Подойдут ли мексиканские ключевые слова?
Плохо. Колумбийский испанский отличается и от мексиканского, и от аргентинского, список собирается заново.
Колумбийские адреса дороже?
Нет. Цены одинаковые везде: резидентка от $1.00 за ГБ, мобильные от $5.76 в сутки.