SotaProxy

Трафік (bandwidth) проксі - це обсяг даних, переданих через проксі-з’єднання: розмір усіх надісланих запитів і отриманих відповідей. Провайдери вимірюють трафік у ГБ і беруть плату за гігабайт на тарифах з оплатою за трафік.

Що враховується в трафіку: заголовки й тіло запиту (вихідні), заголовки й тіло відповіді (вхідні). Для скрапінгу HTML-відповідь зазвичай найбільша складова. Картинки, JavaScript і CSS при завантаженні сторінок додають суттєвий обсяг, якщо ваш скрапер вантажить сторінки цілком.

Щоб знизити витрату трафіку: скрапте лише потрібний HTML (не вантажте картинки й важкі ресурси), використовуйте Accept-Encoding: gzip для стиснення відповідей і звертайтеся до конкретних API-ендпоінтів, де це можливо, замість завантаження сторінок цілком.

Тарифікація за трафіком (за ГБ) і за IP (за IP на місяць) підходять різним сценаріям. Оплата за ГБ ефективна для скрапінгу легких сторінок у великому обсязі. Помісячна оплата за IP підходить довгим сесіям, які передають менше даних, але потребують стабільного доступу.

Оцінка потреби в трафіку: помножте середній розмір сторінки на кількість запитів на день. Типова сторінка товару e-commerce займає 50–200 КБ HTML. 100 000 сторінок на день за середнього 100 КБ = 10 ГБ на день.

What gets counted and when

Bandwidth in proxy billing means the volume of data moved through the proxy, counted in both directions. Your request headers count, the response headers count, and the body counts whether you parse it or throw it away.

That makes the unit of cost different from the unit of work. Two scrapers fetching the same thousand pages can differ fivefold in cost depending on whether they request compression and whether they download images.

Metered and unmetered products exist side by side because the underlying supply differs. Residential capacity is bought from device owners by volume. A datacenter address is a server with an uplink, so charging by traffic would be arbitrary.

Where we meter and where we do not

One product is metered, the rest are not:

Billing by product

Residential $1.00 per GB, both directions, headers included ISP per address per month, traffic unmetered Datacenter/IPv6 per address per month, traffic unmetered Mobile per day, traffic unmetered on our side

Ask for gzip. Set Accept-Encoding: gzip and typical HTML arrives three to four times smaller, which is the single largest saving available.

Block images, fonts and video in headless browsers. On a product page they carry most of the weight and none of the data.

Fetch APIs instead of pages where one exists. A JSON response is often a tenth of the rendered page it comes from.

Unused traffic does not expire while the package is active, so buying ahead costs nothing.

Bandwidth billing surprises

Headers count

On small API responses the headers can be a meaningful share of the bytes.

Failed requests count

A 403 still transferred a request and a response. Retrying a hard block in a loop is expensive.

Rendering costs more than fetching

A headless browser loads everything a browser loads unless you tell it not to.

Concurrency does not change the total

It changes how fast you spend the same amount.

Трафік проксі (bandwidth)