Трафик прокси (bandwidth)
Суммарный объём данных (отдача + приём), переданных через прокси-соединение, обычно измеряемый в ГБ.
Трафик (bandwidth) прокси - это объём данных, переданных через прокси-соединения: размер всех отправленных запросов и полученных ответов. Провайдеры измеряют трафик в ГБ и берут плату за гигабайт на тарифах с оплатой по трафику.
Что учитывается в трафике: заголовки и тело запроса (исходящие), заголовки и тело ответа (входящие). Для скрапинга HTML-ответ обычно самая крупная составляющая. Картинки, JavaScript и CSS при загрузке страниц добавляют существенный объём, если ваш скрапер грузит страницы целиком.
Чтобы снизить расход трафика: скрапьте только нужный HTML (не грузите картинки и тяжёлые ресурсы), используйте Accept-Encoding: gzip для сжатия ответов и обращайтесь к конкретным API-эндпоинтам, где это возможно, вместо загрузки страниц целиком.
Тарификация по трафику (за ГБ) и по IP (за IP в месяц) подходят разным сценариям. Оплата за ГБ эффективна для скрапинга лёгких страниц в большом объёме. Помесячная оплата за IP подходит долгим сессиям, которые передают меньше данных, но требуют стабильного доступа.
Оценка потребности в трафике: умножьте средний размер страницы на число запросов в день. Типичная страница товара e-commerce занимает 50–200 КБ HTML. 100 000 страниц в день при среднем 100 КБ = 10 ГБ в день.
Что считается и когда
Трафик в тарификации прокси это объём данных, прошедший через прокси и посчитанный в обе стороны. Считаются заголовки вашего запроса, считаются заголовки ответа, и считается тело, разбираете вы его или выбрасываете.
Из-за этого единица стоимости отличается от единицы работы. Два скрапера, забирающие одну и ту же тысячу страниц, могут различаться по стоимости в пять раз в зависимости от того, просят ли они сжатие и скачивают ли картинки.
Тарифицируемые и нетарифицируемые продукты существуют бок о бок, потому что различается сама поставка. Резидентские мощности покупаются у владельцев устройств по объёму. Датацентровый адрес это сервер с аплинком, и брать за трафик там было бы произвольным решением.
Где мы считаем трафик, а где нет
Тарифицируется один продукт, остальные нет:
Тарификация по продуктам
Residential $1.00 per GB, both directions, headers included
ISP per address per month, traffic unmetered
Datacenter/IPv6 per address per month, traffic unmetered
Mobile per day, traffic unmetered on our side- Просите gzip. Заголовок Accept-Encoding: gzip уменьшает типичный HTML в три-четыре раза, и это самая крупная доступная экономия.
- Отсекайте картинки, шрифты и видео в headless-браузерах. На карточке товара они несут основной вес и ноль данных.
- Забирайте API вместо страниц там, где API есть. Ответ в JSON часто в десять раз меньше отрисованной страницы, из которой он берётся.
- Неизрасходованный трафик не сгорает, пока пакет активен, поэтому покупка впрок не стоит ничего.
Неожиданности в тарификации трафика
Заголовки считаются
На небольших ответах API заголовки могут составлять заметную долю байтов.
Неудачные запросы считаются
403 всё равно передал и запрос, и ответ. Повторять жёсткую блокировку в цикле дорого.
Отрисовка стоит дороже загрузки
Headless-браузер тянет всё то же, что и обычный браузер, пока вы не запретите.
Параллельность не меняет общий объём
Она меняет то, как быстро вы потратите ту же сумму.
Связанные термины
Смотри на практике
Готов использовать трафик прокси (bandwidth)?
SotaProxy даёт доступ к ротирующим резидентским, мобильным, дата-центр и ISP прокси. Без минимальных платежей.
Начать