Що Google каже і що рахує
- Він забороняє пошук у robots.txt, і всім. Під підстановочним user-agent у файлі стоїть Disallow: /search із вузькими винятками, які дозволяють лише /search/about, /search/howsearchworks і результати карт. Що б вам не продавали під збір видачі, цей рядок звернений напряму до вашого краулера, і жодна адреса його не змінює.
- Він рахує Ads API за вашим токеном розробника, а не за з’єднанням. Google публікує добові ліміти операцій за рівнями доступу: 2 880 операцій на добу до бойових акаунтів на рівні Explorer і 15 000 на добу на Basic. У документації використання прив’язане до вашого проєкту Cloud.
- Він згортає документовану альтернативу. Custom Search JSON API закритий для нових клієнтів, а наявним Google дає строк до 1 січня 2027 року, щоб перейти на щось інше. Офіційний шлях до пошукових даних звужується, а не розширюється.
- На роботі з акаунтами він зважує адресу, як і всі. Рекламний акаунт, що входить із нової країни, отримує перевірку, а не знизування плечима, і ось тут проксі справді змінює результат.
Який наш продукт під яке завдання в Google
Перші два рядки це ті, за які ми ручаємося без застережень.
| Що ви робите | Що взяли б ми | Чому саме це |
|---|---|---|
| Ведете акаунти Google Ads | ISP, по адресі на акаунт, постійна | на акаунтах відкрути і платіжні методи. Постійна адреса з виглядом домашньої робить акаунт нудним, а нудним він і має бути |
| Агентство з безліччю клієнтських акаунтів | ISP, по одній на акаунт або на клієнта | зв’язок між акаунтами, якими ви керуєте, це і є те, що варто розірвати. Найясніший привід купити щось за цією сторінкою |
| Інтеграція з Ads API або Search Console | серверний IPv4 або нічого | квоти рахуються за токеном розробника і проєктом Cloud. Беріть дешеву стабільну адресу, лише якщо щось на вашому боці вимагає фіксованої |
| Збираєте пошукову видачу | спершу прочитайте рядок у robots.txt, потім вирішуйте | Disallow: /search це заявлена Google позиція для автоматичних клієнтів. Ми краще на неї вкажемо, ніж продаватимемо в обхід |
Знімання позицій потрапляє в останній рядок, і ми розуміємо, що саме по нього сюди приходить чимало людей. Наша позиція така: значущий факт це рядок у robots-файлі, і кожен, хто рахує бюджет на збір видачі, має зважити його разом із Custom Search API, що закривається, перш ніж вирішувати.
Як налаштувати
Налаштування проксі у Google немає. Проксі прописується у профілі браузера, де живе акаунт, або в клієнті, який робить виклики.
# Профіль антидетект-браузера під рекламний акаунт, по номеру сесії на кожен:
Тип SOCKS5
Хост proxy.sotaproxy.com
Порт 10000
Логін login_c_US_s_17_ttl_1h
Пароль ваш пароль
# На ISP спрямуйте профіль на свою адресу:
Хост 198.51.100.20
Порт 50100
# Клієнт API через фіксовану вихідну адресу:
export HTTPS_PROXY="http://login:password@198.51.100.20:50100"
# Їхня позиція щодо автоматичних клієнтів, у два рядки:
curl https://www.google.com/robots.txt | head -20- По адресі на рекламний акаунт, і тримайте її в країні, з якої акаунт оплачується. Акаунт, що змінив країну, це акаунт на перевірці.
- Ніколи не діліть адресу між клієнтським акаунтом і своїм власним. З’єднання це найлегший зв’язок, який проведе будь-який аудит.
- Для роботи з API ставте проксі лише там, де потрібна передбачувана вихідна адреса. Квоту він не змінює, бо квоти йдуть за токеном розробника.
- Якщо плануєте будь-який збір, прочитайте їхній robots.txt самі, а не наш переказ. Він короткий.
Що брати під Google
Випадок, який ми захищаємо без застережень, це рекламні акаунти. Ціни стартові, з обсягом знижуються.
ISP-проксі
від $2.30 за IP на місяць, 24 країни
Під акаунти Google Ads і під агентства, що розводять клієнтські акаунти.
- зареєстрована на домашнього провайдера, тому вхід читається як людина, а не сервер
- закріплена на весь строк, а акаунту з відкрутами потрібно саме це
- на місяць виходить дешево настільки, що можна дати кожному клієнтському акаунту свою
- 24 країни, тому конкретної країни оплати може не бути
- адреса лише ваша, тому все з неї вказує на вас
Резидентські проксі
від $2.00 за ГБ, 220+ країн
Щоб подивитися, як виглядають видача і оголошення з потрібної країни, і під країни акаунтів, яких немає в ISP.
- домашні адреси в більшій кількості країн, ніж у будь-якого іншого нашого продукту
- вибір країни аж до ринку, під який ви закуповуєтеся
- оплата за трафіком, тому епізодичні перевірки коштують копійки
- сесія закінчується з відходом домашнього пристрою, щонайбільше година
- не змінює того, що robots-файл каже про автоматичних клієнтів
Серверні IPv4
від $1.50 за IP на місяць, 41 країна
Під клієнти API, яким потрібна одна передбачувана вихідна адреса для білого списку.
- найдешевша стабільна адреса, яку ми продаємо
- трафік не рахується
- 41 країна
- розпізнається як серверна, а для рекламного акаунта це хибний сигнал
- жодної квоти не рухає, Ads API рахує їх за вашим токеном розробника
Великого ротованого пулу на початку цієї сторінки ми не поставили, і це навмисно. Якщо ваш план це збір видачі, хай на бюджет спершу вплинуть два документи з джерел нижче, а не ми.
Де помиляються
Рахують бюджет на збір видачі, не прочитавши robots-файл
Disallow: /search лежить там увесь цей час і звернений саме до того софту, який людина збирається написати. Прочитайте спершу і вирішуйте, а не виявляйте це потім.
Вважають офіційний API запасним варіантом
Custom Search JSON API закритий для нових клієнтів, а наявним дано строк до 1 січня 2027 року. Планувати його як безпечну альтернативу більше не вийде.
Купують проксі, щоб підняти квоти Ads API
Ліміти це 2 880 операцій на добу на рівні Explorer і 15 000 на Basic, і рахуються вони за токеном розробника і проєктом Cloud. Адрес у цьому розрахунку немає.
Ведуть агентство з однієї адреси
Клієнтські акаунти на спільному з’єднанні це найпростіший можливий зв’язок між бізнесами, що мають бути не пов’язані.
Чого проксі тут не зробить
Він не змінить того, що Google написав у своєму robots-файлі, не відкриє заново API, що закривається, не підніме квоту, пораховану за токеном розробника, і не поверне заблокований рекламний акаунт. Що він робить: тримає рекламні акаунти роздільними і стійкими і дозволяє побачити ринок так, як його бачить людина з цього ринку. Застосування вузькі і справжні. Щодо збору видачі ми воліємо видати вам два документи, а не рахунок.
Що питають насправді
Чи можна парсити видачу Google через проксі?
Технічна відповідь не має значення, поки ви не прочитали потрібний рядок. У власному robots.txt Google для підстановочного user-agent стоїть Disallow: /search із вузькими винятками для кількох інформаційних сторінок і результатів карт. Це Google повідомляє автоматичним клієнтам свою позицію, і ротація адрес із нею не стикається.
Який офіційний спосіб отримати пошукові дані Google?
Ним був Custom Search JSON API: 100 запитів на добу безкоштовно і $5 за тисячу понад те, до 10 000 на добу. Зверніть увагу на поточний статус: він закритий для нових клієнтів, а наявним дано строк до 1 січня 2027 року на перехід до альтернативи.
Чи допомагають проксі з лімітами Google Ads API?
Ні. Google публікує добові ліміти операцій за рівнями доступу, 2 880 на добу до бойових акаунтів на Explorer і 15 000 на Basic, і прив’язує використання до вашого проєкту Cloud і токена розробника. Більше адрес під одним токеном не змінюють нічого.
Які проксі кращі під акаунти Google Ads?
ISP, по одній на акаунт, у країні, з якої акаунт оплачується. Адреса закріплена на строк і читається як домашнє підключення, а це й робить акаунт нецікавим для перевірки.
Чи можна через проксі подивитися видачу з іншої країни?
Так, і це чиста версія питання про гео. Резидентська адреса на ринку, під який ви закуповуєтеся, показує те, що бачить тамтешня людина. Таку перевірку запускають епізодично, тому по гігабайтах вона майже нічого не коштує.
Чи врятує проксі акаунт Google Ads від блокування?
Ні. Блокування йдуть за акаунтом, платіжними даними і оголошеннями. Проксі заважає пов’язати ваші акаунти між собою через з’єднання, і це інше завдання, теж справжнє.
Звідки взято твердження вище
Чотири першоджерела. Перше читається за хвилину і воно найважливіше на цій сторінці.
- robots.txt GoogleПід підстановочним user-agent: Disallow: /search, із вузькими дозволами для /search/about, /search/howsearchworks і результатів карт. Усього близько 260 рядків. Це Google звертається напряму до автоматичних клієнтів, і це перше, що варто прочитати кожному, хто планує збір видачі.
- Google, огляд Custom Search JSON APIДокументований шлях до пошукових даних: 100 запитів на добу безкоштовно і $5 за тисячу понад те, до 10 000. Там само повідомлення, що API закритий для нових клієнтів, а наявним дано строк до 1 січня 2027 року. Варто прочитати, перш ніж вважати його запасним варіантом.
- Google Ads API, квотиДобові ліміти операцій за рівнями доступу, 2 880 до бойових акаунтів на Explorer і 15 000 на Basic, із прив’язкою використання до вашого проєкту Google Cloud. Підтверджує, що жодна купівля з цієї сторінки ліміт Ads API не рухає.
- Угода користувача GoogleЗагальні умови, що стоять над усім переліченим. Актуально для тих, хто вирішує, що їм дозволено автоматизувати, а не що вони технічно здатні зробити.