Прокси Бангладеш

Код страны BD, заглавными. Город добавляется через _city_, пробелы заменяются дефисами, порядок: страна, город, сессия, время жизни.

Бангладешские статические адреса суффиксов не принимают: хостом выступает IP из панели, порт 50100, SOCKS5 на 50101.

Первая особенность, и она про то, что ваш парсер видит не то, что видит человек в браузере.

Бенгальская письменность использует собственные цифры. Цена, дата, номер телефона на странице могут быть записаны ими, и регулярное выражение по арабским цифрам не найдёт ничего, хотя на экране число есть. Хуже того, на одной странице обычно встречаются оба набора: заголовок бенгальскими, техническое поле арабскими.

Лечится это нормализацией при приёме. Приводите цифры к одному виду до разбора, а не после, и используйте классы символов, понимающие Unicode, вместо явного перечисления от нуля до девяти.

Вторая часть проблемы старше и злее. Часть сайтов и особенно документов до сих пор используют дословные шрифтовые кодировки, придуманные до распространения Unicode: байты в них латинские, а выглядит текст бенгальским благодаря шрифту. Ваш скрапер снимет набор латинских символов, который в браузере читался как нормальный бенгальский текст. Внешне это похоже на порчу кодировки, но причина другая, и обычная перекодировка не помогает.

Практический вывод: проверяйте снятое, а не отрендеренное. Если в теле страницы встречаются осмысленные бенгальские слова, вы работаете с Unicode. Если там латинская каша при бенгальском виде в браузере, отметьте такой источник отдельно и решайте по нему отдельно, а не пытайтесь чинить его общим правилом.

Отдельно про даты: рядом с григорианским календарём на части ресурсов стоит бенгальский год. Берите дату из машиночитаемого атрибута, а видимую сверяйте на диапазон.

Вторая особенность, и она прямо про деньги.

Резидентка тарифицируется гигабайтами, а не запросами. В странах с лёгкими страницами разница между аккуратным и небрежным сборщиком составляет проценты. Здесь страницы часто тяжёлые: крупные несжатые изображения, встроенные шрифты для бенгальского текста, много сторонних скриптов. Разница выходит в разы.

Считается это просто. Страница с картинками на полтора мегабайта против той же страницы без медиа на сто килобайт: пятнадцатикратная разница в счёте при одинаковом наборе данных. На двадцати тысячах карточек в сутки это тридцать гигабайтов против двух.

Поэтому здесь блокировка изображений, шрифтов, видео и рекламных скриптов не оптимизация на потом, а часть первоначальной настройки. Если вы работаете через безголовый браузер, отключайте загрузку медиа на уровне перехвата запросов, а не надеждой на кеш.

И проверка перед масштабированием: снимите двадцать страниц, посмотрите фактический объём и умножьте. Смета, посчитанная по числу страниц без замера веса, в этой стране ошибается сильнее всего.

Если цель не смотрит на класс адреса, датацентровый вариант снимает вопрос целиком: там трафик не тарифицируется, и вес страниц перестаёт влиять на счёт.

Деление привычное для Южной Азии.

Маркетплейсы и Bikroy фильтруют хостинговые диапазоны: с датацентра ждите 403 и закладывайте резидентку.

Издания и государственные ресурсы обслуживают датацентровые адреса как обычно.

Выдача доступна, но ограничивает частоту на адрес: нужно больше адресов, а не другой тип.

Часть площадок отдаёт карточки только после выполнения скриптов, и это ещё один повод следить за объёмом: рендеринг тянет за собой всё, что вы не заблокировали.

Бангладешский пул на практике.

Пул приличный по размеру за счёт населения, но географически узкий: подавляющая часть в Дакке и Читтагонге.

Качество линий разнородное, и время ответа скачет заметнее, чем в соседних странах. Тридцатисекундный таймаут здесь минимум, а ретраи стоит закладывать в архитектуру.

Время ответа из Европы длинное: страна далеко, и трафик идёт транзитом.

Липкие сессии держат адрес до пятидесяти минут, ротация по умолчанию меняет его на каждый запрос.

Порядок обычный, но с денежной развилкой.

Бангладешский адрес открывает первые ворота, дальше решают язык, цифры и время.

Отправляйте bn-BD. Английские версии здесь распространены, особенно в деловых разделах, поэтому без явного заголовка вы соберёте не тот вариант.

Валюта така, обозначается ৳, и сумма рядом с ней может быть записана бенгальскими цифрами.

Часовой пояс UTC+6 без перевода на летнее время, один на всю страну.

Выходные здесь пятница и суббота, а воскресенье рабочий день: расписание обхода и недельные срезы считайте по местной неделе, иначе выводы о деловой активности сдвинутся.

Три сценария по нашим ценам, и здесь они особенно наглядны.

Бангладеш не входит в Евросоюз, и GDPR здесь напрямую не действует. Сбор сведений, позволяющих опознать людей в стране, регулируется местным правом независимо от того, где находится ваша компания.

Это общая информация, а не юридическая консультация. Наши условия требуют законного использования, и на жалобы мы реагируем. Там, где от ответа зависит коммерческий риск, спрашивайте юриста.

Меньше минуты. Вторая команда здесь важнее прочих: она показывает фактический вес страницы, от которого зависит ваш счёт.