Прокси для Amazon
Amazon это самая острая версия проблемы, которая встречается по всему сайту. Его robots-файл оставляет страницы товаров и поиск открытыми для краулеров. Его условия использования называют сбор листингов, описаний и цен тем, что лицензия не покрывает. Ни один из документов не спрятан, и смотрят они в разные стороны.
Что Amazon говорит и что считает
- Его robots.txt уже, чем принято думать. В секции для всех 135 правил, закрывающих корзину, входные формы и горстку подпутей товара, тогда как страницы товаров под /dp/, поиск и списки бестселлеров туда не попадают. Во всём файле 218 запрещающих правил на 100 именованных агентов.
- Его условия использования, наоборот, широкие. Выданная вам лицензия это личное и некоммерческое использование сервиса, и она прямо не распространяется ни на какой сбор и использование листингов товаров, описаний или цен, ни на какое применение интеллектуального анализа данных, роботов и подобных средств сбора и извлечения.
- Его Selling Partner API считается по паре «партнёр-продавец и приложение», а не по адресу. Превышение плана возвращает 429, который можно повторить. Ни об одном IP в той документации речи нет.
- Его Product Advertising API уже сменился. PA-API 5 объявлен устаревшим в пользу Creators API, а приложениям, которые всё ещё в него ходят, отвечают HTTP 403 с ошибкой отказа в доступе и указанием мигрировать. Если ваш план опирался на PA-API как на официальный путь, он уже сломан.
Какой наш продукт под какую задачу в Amazon
Две задачи обычные и бесспорные. Третья это то, за чем сюда приходит большинство, и к ней идёт оговорка, которую мы прятать не станем.
| Что вы делаете | Что взяли бы мы | Почему именно это |
|---|---|---|
| Ведёте аккаунт Seller Central | ISP, один постоянный адрес | на аккаунте продавца товарные остатки, выплаты и история показателей. Ему нужен адрес, который не двигается, ровно по той же причине, что и рекламному |
| Интеграция с SP-API под свои данные | серверный IPv4 или ничего | ваш сервер обращается к Amazon, а план привязан к вашей паре «партнёр и приложение». Берите дешёвый постоянный адрес, только если он нужен чему-то на вашей стороне |
| Смотрите, как выглядит листинг в другой стране | резидентские в этой стране | цены, наличие и buy box отличаются по площадкам и по тому, откуда смотрит покупатель. Эпизодические проверки по гигабайтам стоят копейки |
| Мониторинг цен и конкурентов в объёме | резидентские с ротацией, после того как прочитаете лицензию | это самый крупный заказ на странице и тот случай, где условия использования наиболее конкретны. Прочитайте пункт ниже, при значимых ставках возьмите консультацию и решайте осознанно |
Мы не станем говорить, что robots.txt закрывает этот вопрос. Файл обхода и договор это разные инструменты, и на Amazon они говорят про одни и те же страницы разное. Тот, кто тратит на сбор настоящие деньги, должен прочитать оба до первого счёта, а не после.
Как настроить
Настройки прокси у Amazon нет. Прокси прописывается в профиле браузера, где живёт аккаунт продавца, или в клиенте, который собирает данные.
# Профиль браузера под аккаунт Seller Central, на постоянном адресе:
Тип SOCKS5
Хост 198.51.100.20
Порт 50100
# Посмотреть листинг так, как его видит покупатель в Германии:
curl -x socks5://login_c_DE:password@proxy.sotaproxy.com:10000 \
https://www.amazon.de/dp/EXAMPLE
# Клиент SP-API через один предсказуемый исходящий адрес:
export HTTPS_PROXY="http://login:password@198.51.100.20:50100"- Держите аккаунт продавца на одном адресе и в одной стране. Переезд это та же ошибка, что и на любой площадке, где лежат деньги.
- Для гео-проверок сводите площадку со страной. Смотреть amazon.de с выхода в США менее полезно, чем кажется.
- Ротация размазывает нагрузку, но не меняет того, что написано в лицензии. Это два разных вопроса, и технический из них только один.
- Если вы строите на SP-API, прокси ваш план использования не сдвинет. План идёт за парой «партнёр-продавец и приложение».
Что брать под Amazon
Цены стартовые, с объёмом снижаются. Прочитайте примечание под таблицей, прежде чем брать самое крупное.
Резидентские прокси
от $2.00 за ГБ, 220+ стран
Чтобы увидеть площадку так, как её видит тамошний покупатель, и под сбор, если вы решили его вести.
- домашние адреса в большем числе стран, чем у любого другого нашего продукта, а площадки здесь национальные
- новый выход на соединение размазывает нагрузку запросов
- оплата по трафику, поэтому эпизодическая гео-проверка стоит копейки
- сессия заканчивается с уходом домашнего устройства, максимум час
- ничего не меняет в условиях использования, а именно они здесь и ограничивают сбор
ISP-прокси
от $2.30 за IP в месяц, 24 страны
Под аккаунт Seller Central, который должен заходить каждый день из одного места.
- закреплён на весь срок и зарегистрирован на домашнего провайдера
- трафик не считается, что удобно открытой консоли
- в месяц выходит дёшево настолько, что стабильность почти ничего не стоит
- 24 страны
- для сбора не делает ничего, как и для проблем с показателями продавца
Серверные IPv4
от $1.50 за IP в месяц, 41 страна
Под клиент SP-API, которому нужен один предсказуемый исходящий адрес.
- самый дешёвый стабильный адрес, который мы продаём
- трафик не считается
- 41 страна
- опознаётся как серверный, поэтому под логином продавца это неверный выбор
- ни одного плана использования не двигает, планы идут за партнёром и приложением
Самая частая причина покупки прокси под Amazon это мониторинг цен, и это ровно та деятельность, которую называет лицензия. Мы вынесли этот пункт на страницу, а не в мелкий шрифт, потому что решение стоит принимать, имея его перед глазами.
Где ошибаются
Считают robots.txt разрешением
Файл обхода оставляет страницы товаров открытыми, а условия использования выводят сбор листингов и цен за рамки вашей лицензии. Прочитать только первое это способ построить проект на недоразумении.
Планируют вокруг PA-API
PA-API 5 объявлен устаревшим, и приложения, которые в него ходят, теперь получают 403 с указанием мигрировать на Creators API. Любой план, считающий его безопасным официальным путём, надо пересмотреть.
Покупают прокси, чтобы поднять план SP-API
Планы использования привязаны к паре «партнёр-продавец и приложение» и при превышении отвечают 429. Адреса в этом не участвуют.
Сажают аккаунт продавца на серверный адрес
Самый дешёвый вариант и неверный сигнал на том единственном аккаунте, проверку которого вы позволить себе не можете.
Чего прокси здесь не сделает
Он не изменит лицензию, которую вы приняли, не вернёт заблокированный аккаунт продавца, не поднимет план использования SP-API и не вернёт PA-API. Что он делает: даёт аккаунту продавца стабильное место, откуда тот заходит, позволяет увидеть национальную площадку изнутри этой страны и размазывает нагрузку того сбора, который вы решили вести. На этой площадке, сильнее чем на большинстве, ограничитель это договор, а не сеть, и мы предпочли бы, чтобы вы узнали это до покупки, а не после.
Что спрашивают на самом деле
Разрешено ли парсить Amazon?
Их условия использования выдают лицензию на личное и некоммерческое использование и говорят, что она не включает никакой сбор и использование листингов товаров, описаний или цен, ни применение интеллектуального анализа данных, роботов и подобных средств. Отдельно их robots.txt не запрещает страницы товаров и поиск. Эти два факта стоят рядом, делать вид, что это не так, мы не будем, и решение здесь ваше, а не наше.
Блокирует ли Amazon прокси?
Он скорее классифицирует трафик, чем охотится за прокси, и серверные диапазоны собирают больше трения, чем домашние. Но упираются в стену на объёме обычно из-за характера запросов, а не из-за типа адреса, и ни то ни другое здесь не главный ограничитель.
Какие прокси лучше под мониторинг цен Amazon?
Резидентские с ротацией в тех странах, чьи площадки вам важны, потому что цены и наличие национальные. Прежде чем определять объём заказа, прочитайте процитированный выше пункт лицензии.
Помогают ли прокси с лимитами SP-API?
Нет. Планы использования привязаны к паре «партнёр-продавец и приложение», а превышение возвращает повторяемый 429. Адреса в той документации не фигурируют вовсе.
Можно ли ещё пользоваться Product Advertising API?
PA-API 5 объявлен устаревшим в пользу Creators API, и приложениям, которые в него ходят, отвечают 403 с ошибкой отказа в доступе и указанием на миграцию. Проверьте свою интеграцию, прежде чем считать, что она работает.
Какой прокси под аккаунт Seller Central?
ISP, один постоянный адрес, в стране, из которой работает аккаунт. На аккаунте товарные остатки и выплаты, поэтому адрес должен быть максимально скучным и неизменным.
Откуда взяты утверждения выше
Четыре первоисточника. Первые два противоречат друг другу про одни и те же страницы, и ровно поэтому здесь оба.
- Условия использования AmazonРаздел про лицензию и доступ. Он выдаёт ограниченную лицензию на личное и некоммерческое использование и указывает, что она не включает никакой сбор и использование листингов товаров, описаний или цен, ни применение интеллектуального анализа данных, роботов и подобных средств сбора и извлечения. Именно этот пункт определяет экономику сбора здесь.
- robots.txt Amazon218 запрещающих правил на 100 именованных агентов, из них 135 в общей секции. Страницы товаров под /dp/, поиск и списки бестселлеров в них не входят. Прочитайте рядом с условиями использования, и расхождение станет очевидным.
- Amazon, планы использования и лимиты Selling Partner APIЛимиты применяются к паре «партнёр-продавец и приложение», а превышение плана возвращает повторяемый 429. Об адресах нигде ни слова, и это стоит знать до того, как вам продадут пропускную способность под интеграцию с SP-API.
- Amazon, уведомление об устаревании PA-API 5PA-API 5 объявлен устаревшим в пользу Creators API, а приложения, которые в него ходят, получают HTTP 403 с ошибкой отказа в доступе и указанием мигрировать. Актуально для всех, чей план до сих пор считает PA-API официальным входом.