Проксі для Amazon
Amazon це найгостріша версія проблеми, яка трапляється по всьому сайту. Його robots-файл лишає сторінки товарів і пошук відкритими для краулерів. Його умови використання називають збір лістингів, описів і цін тим, чого ліцензія не покриває. Жоден із документів не схований, і дивляться вони в різні боки.
Що Amazon каже і що рахує
- Його robots.txt вужчий, ніж заведено думати. У секції для всіх 135 правил, що закривають кошик, форми входу і жменю підшляхів товару, тоді як сторінки товарів під /dp/, пошук і списки бестселерів туди не потрапляють. У всьому файлі 218 заборонних правил на 100 іменованих агентів.
- Його умови використання, навпаки, широкі. Видана вам ліцензія це особисте і некомерційне використання сервісу, і вона прямо не поширюється на жодний збір і використання лістингів товарів, описів чи цін, ані на жодне застосування інтелектуального аналізу даних, роботів і подібних засобів збору та видобування.
- Його Selling Partner API рахується за парою «партнер-продавець і застосунок», а не за адресою. Перевищення плану повертає 429, який можна повторити. Про жодний IP у тій документації не йдеться.
- Його Product Advertising API уже змінився. PA-API 5 оголошено застарілим на користь Creators API, а застосункам, які туди все ще ходять, відповідають HTTP 403 із помилкою відмови в доступі і вказівкою мігрувати. Якщо ваш план спирався на PA-API як на офіційний шлях, він уже зламаний.
Який наш продукт під яке завдання в Amazon
Два завдання звичайні й безсуперечні. Третє це те, по що сюди приходить більшість, і до нього йде застереження, яке ми ховати не станемо.
| Що ви робите | Що взяли б ми | Чому саме це |
|---|---|---|
| Ведете акаунт Seller Central | ISP, одна постійна адреса | на акаунті продавця товарні залишки, виплати й історія показників. Йому потрібна адреса, яка не рухається, рівно з тієї ж причини, що й рекламному |
| Інтеграція з SP-API під свої дані | серверний IPv4 або нічого | ваш сервер звертається до Amazon, а план прив’язаний до вашої пари «партнер і застосунок». Беріть дешеву постійну адресу, лише якщо вона потрібна чомусь на вашому боці |
| Дивитеся, як виглядає лістинг в іншій країні | резидентські в цій країні | ціни, наявність і buy box відрізняються за майданчиками і за тим, звідки дивиться покупець. Епізодичні перевірки по гігабайтах коштують копійки |
| Моніторинг цін і конкурентів в обсязі | резидентські з ротацією, після того як прочитаєте ліцензію | це найбільше замовлення на сторінці і той випадок, де умови використання найконкретніші. Прочитайте пункт нижче, за значних ставок візьміть консультацію і вирішуйте свідомо |
Ми не казатимемо, що robots.txt закриває це питання. Файл обходу і договір це різні інструменти, і на Amazon вони кажуть про ті самі сторінки різне. Той, хто витрачає на збір справжні гроші, має прочитати обидва до першого рахунку, а не після.
Як налаштувати
Налаштування проксі у Amazon немає. Проксі прописується у профілі браузера, де живе акаунт продавця, або в клієнті, який збирає дані.
# Профіль браузера під акаунт Seller Central, на постійній адресі:
Тип SOCKS5
Хост 198.51.100.20
Порт 50100
# Подивитися лістинг так, як його бачить покупець у Німеччині:
curl -x socks5://login_c_DE:password@proxy.sotaproxy.com:10000 \
https://www.amazon.de/dp/EXAMPLE
# Клієнт SP-API через одну передбачувану вихідну адресу:
export HTTPS_PROXY="http://login:password@198.51.100.20:50100"- Тримайте акаунт продавця на одній адресі і в одній країні. Переїзд це та сама помилка, що й на будь-якому майданчику, де лежать гроші.
- Для гео-перевірок зводьте майданчик із країною. Дивитися amazon.de з виходу в США менш корисно, ніж здається.
- Ротація розмазує навантаження, але не змінює того, що написано в ліцензії. Це два різні питання, і технічне з них лише одне.
- Якщо ви будуєте на SP-API, проксі ваш план використання не зрушить. План іде за парою «партнер-продавець і застосунок».
Що брати під Amazon
Ціни стартові, з обсягом знижуються. Прочитайте примітку під таблицею, перш ніж брати найбільше.
Резидентські проксі
від $2.00 за ГБ, 220+ країн
Щоб побачити майданчик так, як його бачить тамтешній покупець, і під збір, якщо ви вирішили його вести.
- домашні адреси в більшій кількості країн, ніж у будь-якого іншого нашого продукту, а майданчики тут національні
- новий вихід на з’єднання розмазує навантаження запитів
- оплата за трафіком, тому епізодична гео-перевірка коштує копійки
- сесія закінчується з відходом домашнього пристрою, щонайбільше година
- нічого не змінює в умовах використання, а саме вони тут і обмежують збір
ISP-проксі
від $2.30 за IP на місяць, 24 країни
Під акаунт Seller Central, який має заходити щодня з одного місця.
- закріплена на весь строк і зареєстрована на домашнього провайдера
- трафік не рахується, що зручно відкритій консолі
- на місяць виходить дешево настільки, що стабільність майже нічого не коштує
- 24 країни
- для збору не робить нічого, як і для проблем із показниками продавця
Серверні IPv4
від $1.50 за IP на місяць, 41 країна
Під клієнт SP-API, якому потрібна одна передбачувана вихідна адреса.
- найдешевша стабільна адреса, яку ми продаємо
- трафік не рахується
- 41 країна
- розпізнається як серверна, тому під логіном продавця це хибний вибір
- жодного плану використання не рухає, плани йдуть за партнером і застосунком
Найчастіша причина купівлі проксі під Amazon це моніторинг цін, і це рівно та діяльність, яку називає ліцензія. Ми винесли цей пункт на сторінку, а не в дрібний шрифт, бо рішення варто ухвалювати, маючи його перед очима.
Де помиляються
Вважають robots.txt дозволом
Файл обходу лишає сторінки товарів відкритими, а умови використання виводять збір лістингів і цін за межі вашої ліцензії. Прочитати лише перше це спосіб побудувати проєкт на непорозумінні.
Планують навколо PA-API
PA-API 5 оголошено застарілим, і застосунки, що туди ходять, тепер отримують 403 із вказівкою мігрувати на Creators API. Будь-який план, що вважає його безпечним офіційним шляхом, треба переглянути.
Купують проксі, щоб підняти план SP-API
Плани використання прив’язані до пари «партнер-продавець і застосунок» і за перевищення відповідають 429. Адреси в цьому не беруть участі.
Садять акаунт продавця на серверну адресу
Найдешевший варіант і хибний сигнал на тому єдиному акаунті, перевірку якого ви дозволити собі не можете.
Чого проксі тут не зробить
Він не змінить ліцензію, яку ви прийняли, не поверне заблокований акаунт продавця, не підніме план використання SP-API і не поверне PA-API. Що він робить: дає акаунту продавця стабільне місце, звідки той заходить, дозволяє побачити національний майданчик зсередини цієї країни і розмазує навантаження того збору, який ви вирішили вести. На цьому майданчику, сильніше ніж на більшості, обмежувач це договір, а не мережа, і ми воліли б, щоб ви дізналися це до покупки, а не після.
Що питають насправді
Чи дозволено парсити Amazon?
Їхні умови використання видають ліцензію на особисте і некомерційне використання і кажуть, що вона не включає жодний збір і використання лістингів товарів, описів чи цін, ані застосування інтелектуального аналізу даних, роботів і подібних засобів. Окремо їхній robots.txt не забороняє сторінки товарів і пошук. Ці два факти стоять поруч, вдавати інше ми не будемо, і рішення тут ваше, а не наше.
Чи блокує Amazon проксі?
Він радше класифікує трафік, ніж полює на проксі, і серверні діапазони збирають більше тертя, ніж домашні. Але впираються в стіну на обсязі зазвичай через характер запитів, а не через тип адреси, і ні те, ні інше тут не головний обмежувач.
Які проксі кращі під моніторинг цін Amazon?
Резидентські з ротацією в тих країнах, чиї майданчики вам важливі, бо ціни і наявність національні. Перш ніж визначати обсяг замовлення, прочитайте процитований вище пункт ліцензії.
Чи допомагають проксі з лімітами SP-API?
Ні. Плани використання прив’язані до пари «партнер-продавець і застосунок», а перевищення повертає повторюваний 429. Адреси в тій документації не фігурують узагалі.
Чи можна ще користуватися Product Advertising API?
PA-API 5 оголошено застарілим на користь Creators API, і застосункам, що туди ходять, відповідають 403 із помилкою відмови в доступі і вказівкою на міграцію. Перевірте свою інтеграцію, перш ніж вважати, що вона працює.
Який проксі під акаунт Seller Central?
ISP, одна постійна адреса, у країні, з якої працює акаунт. На акаунті товарні залишки і виплати, тому адреса має бути максимально нудною і незмінною.
Звідки взято твердження вище
Чотири першоджерела. Перші два суперечать одне одному щодо тих самих сторінок, і саме тому тут обидва.
- Умови використання AmazonРозділ про ліцензію і доступ. Він видає обмежену ліцензію на особисте і некомерційне використання і зазначає, що вона не включає жодний збір і використання лістингів товарів, описів чи цін, ані застосування інтелектуального аналізу даних, роботів і подібних засобів збору та видобування. Саме цей пункт визначає економіку збору тут.
- robots.txt Amazon218 заборонних правил на 100 іменованих агентів, з них 135 у загальній секції. Сторінки товарів під /dp/, пошук і списки бестселерів до них не входять. Прочитайте поруч із умовами використання, і розходження стане очевидним.
- Amazon, плани використання і ліміти Selling Partner APIЛіміти застосовуються до пари «партнер-продавець і застосунок», а перевищення плану повертає повторюваний 429. Про адреси ніде ні слова, і це варто знати до того, як вам продадуть пропускну здатність під інтеграцію з SP-API.
- Amazon, повідомлення про застарілість PA-API 5PA-API 5 оголошено застарілим на користь Creators API, а застосунки, що туди ходять, отримують HTTP 403 із помилкою відмови в доступі і вказівкою мігрувати. Актуально для всіх, чий план досі вважає PA-API офіційним входом.