Прокси для Reddit

Что Reddit делает сейчас

• Он просто отказывает JSON-пути без авторизации. Мы проверяли с серверного адреса: обычная страница сабреддита отвечала 200, а тот же путь с .json на конце отвечал 403, три раза подряд, и с браузерным user-agent, и с описательным. С адресом всё было в порядке. Закрыт эндпоинт. Это повторяется двумя командами curl.
• Он запрещает всех краулеров в robots.txt. Сейчас в файле правило с подстановочным user-agent и запретом на весь сайт, а дальше отсылка к публичной контентной политике. Это заявленная позиция, а не техническое препятствие, и ротация адресов с ней вообще никак не соприкасается.
• Он считает использование API по вашему зарегистрированному OAuth-клиенту, а правила оставляют за ним право устанавливать и применять эти лимиты. Коммерческое использование и исследования сверх лимитов прописаны как то, что требует отдельного соглашения с Reddit.
• Он требует не скрывать, кто вы. В правилах Data API сказано, что вы обязаны пользоваться выданными вам доступами и не должны искажать или маскировать ни user-agent, ни OAuth-личность. Эту фразу стоит перечитать дважды, прежде чем что-то покупать по этой странице.

Как настроить

Своей настройки прокси у Reddit нет. Прокси прописывается в клиенте API или в профиле браузера, где живёт аккаунт.

# Зарегистрированный клиент API, PRAW, через статический адрес:
# PRAW работает поверх requests, поэтому годятся обычные переменные окружения
export HTTPS_PROXY="http://login:password@198.51.100.20:50100"

# Reddit просит описательный user-agent, а правила запрещают его подделывать:
# platform:app-id:version (by /u/your-username)

# Проверка из раздела выше, повторите сами:
curl -o /dev/null -w "%{http_code}\n" https://www.reddit.com/r/programming/
curl -o /dev/null -w "%{http_code}\n" https://www.reddit.com/r/programming/hot.json

# Профиль антидетект-браузера под аккаунт, по номеру сессии на каждый:
socks5://login_c_US_s_9_ttl_1h:password@proxy.sotaproxy.com:10000

• По адресу на аккаунт, если аккаунты должны быть не связаны. Это та часть схемы в Reddit, которую прокси действительно чинит.
• Ставьте честный описательный user-agent в любом клиенте API. Reddit его просит, а правила запрещают его маскировать, так что хитрить здесь не в чем.
• Держите аккаунт в стране, где он создан, и сведите с ней профиль браузера.
• Не закладывайте бюджет сбора под JSON-эндпоинт. Сначала проверьте текущее поведение сами двумя командами выше.

Чего прокси здесь не сделает

Он не откроет заново JSON-эндпоинт без авторизации, не поднимет лимит, который считается по вашему OAuth-клиенту, не изменит того, что написано в robots.txt, и не сделает маскировку вашей личности допустимой, когда принятые вами правила её запрещают. Что он делает: держит разные аккаунты разными и приводит вас в Reddit из сетей, где он закрыт. Вот и все честные границы. Это не юридическая консультация, а источники ниже приведены, чтобы вы проверили позицию, а не приняли нашу.

Что спрашивают на самом деле

Откуда взяты утверждения выше

Одно из утверждений на этой странице это наше собственное измерение, а не документ, и в тексте это помечено. Всё остальное это Reddit, описывающий свою позицию.

• robots.txt RedditДостаточно короткий, чтобы прочитать целиком. Правило с подстановочным user-agent и запретом на весь сайт плюс отсылка к публичной контентной политике. Стоит открыть до планирования любого сбора, потому что это сайт говорит автоматическим клиентам, чего он хочет.
• Правила Reddit Data APIПункт 2.8 требует пользоваться выданными доступами и не искажать и не маскировать user-agent и OAuth-личность. Пункт 3.2 запрещает обходить и превышать документированные лимиты. Пункт 3.1 выносит коммерческое использование и исследования сверх лимитов за отдельное соглашение с Reddit.
• Справочник API RedditСама документация по эндпоинтам. Пригодится, чтобы понять, что даёт официальный путь, а это и есть то сравнение, которое стоит сделать до решения его обходить.