Законен ли веб-скрапинг?
Скрапинг общедоступных данных в целом законен во многих юрисдикциях, но законность зависит от типа данных, условий сайта и местного права.
Законен ли веб-скрапинг, зависит от того, что вы скрапите, где работаете и как это делаете - единого глобального ответа нет. Как общий принцип, сбор общедоступных данных, которые не являются персональными и не защищены авторским правом, широко разрешён во многих юрисдикциях, и суды неоднократно отказывались считать сам по себе доступ к публичным страницам незаконным.
Границы проходят по нескольким факторам. Персональные данные подтягивают законы о приватности вроде GDPR и CCPA, которые ограничивают сбор и обработку информации об идентифицируемых людях. Контент под авторским правом (статьи, изображения, базы данных) защищён независимо от доступности. Обход технических средств контроля доступа или логин-стен вызывает вопросы о неправомерном использовании компьютера в некоторых юрисдикциях.
Условия использования (ToS) сайта и robots.txt тоже важны, хотя по-разному. Нарушение ToS в большинстве мест - вопрос договора, а не уголовный, но всё равно может обернуться гражданским иском или блокировкой аккаунта. robots.txt выражает предпочтения сайта по обходу и является нормой, которую стоит уважать, даже там, где он юридически не обязателен.
Практический совет: предпочитайте публичные, неперсональные, незащищённые авторским правом данные; уважайте лимиты частоты и robots.txt; избегайте обхода аутентификации; и консультируйтесь с юристом для высокорисковых проектов или проектов с персональными данными. Этот обзор - общая информация, а не юридическая консультация: законы различаются по странам и меняются со временем.
Вопрос, ответы на который зависят от юрисдикции
Это общая информация, а не юридическая консультация, и честный итог такой: законность зависит от того, что вы собираете, где находитесь вы и сайт и что вы делаете с результатом.
Одновременно могут применяться несколько разных отраслей права. Законы о доступе к компьютерным системам касаются несанкционированного доступа, и поэтому обход входа в аккаунт оценивается совсем иначе, чем чтение публичной страницы. Договорное право работает через пользовательское соглашение, особенно там, где вы приняли его, заведя аккаунт. Авторское право покрывает само содержимое, а права на базы данных существуют в одних юрисдикциях и отсутствуют в других. Право о защите данных применяется всякий раз, когда данные позволяют опознать людей, и это втягивает в разговор GDPR и его аналоги.
Суды в разных местах пришли к разным выводам о публично доступных данных, и практика продолжает двигаться. Устоявшееся куда уже: сбор персональных данных порождает обязанности независимо от того, насколько публичными они выглядели, а обход средств контроля доступа почти везде воспринимают серьёзно.
Практическая гигиена
Ничто из этого не заменяет консультацию по вашей конкретной ситуации, но эти привычки сокращают поверхность:
Как уменьшить риски
Read robots.txt and the terms before, not after
Avoid personal data unless you have a lawful basis
Rate-limit yourself a scraper that harms a site invites attention
Identify yourself where appropriate a contactable user agent helps
Prefer official APIs when one exists and covers your need- Наши условия требуют законного использования, и на жалобы о злоупотреблениях мы реагируем. Прокси это инструмент для законного сбора, а не щит.
- Скрапинг из-под входа в аккаунт это другой юридический вопрос, чем скрапинг публичной страницы, и заметно более рискованный.
- Самый острый край это персональные данные. Если ваш набор данных позволяет опознать людей, относитесь к нему как к проекту по соответствию требованиям, а не как к инженерному.
- Если от ответа зависят деньги, спросите юриста в своей юрисдикции. Эта страница им быть не может.
Частые неверные прочтения
Публичное не значит без ограничений
Публично доступные страницы всё равно могут быть покрыты условиями, авторским правом и защитой данных.
Прокси не меняет законность
Он меняет то, какой адрес окажется в логах. Обязанности следуют за вами, а не за IP.
Судебная практика одной страны не всемирна
Решения, разрешающие сбор в одной юрисдикции, автоматически не переносятся.
Пользовательское соглашение не всегда обязывает, и не всегда не обязывает
Связывает ли оно вас, зависит от того, как вы его приняли и где находитесь.
Связанные термины
Смотри на практике
Готов использовать законен ли веб-скрапинг??
SotaProxy даёт доступ к ротирующим резидентским, мобильным, дата-центр и ISP прокси. Без минимальных платежей.
Начать