Решение reCAPTCHA V2: подробное руководство для веб-скрейперов

Эта статья содержит подробную информацию о решении reCAPTCHA, в частности reCAPTCHA v2. reCAPTCHA — это CAPTCHA (полностью автоматизированный публичный тест Тьюринга для различения компьютеров и людей), предназначенная для того, чтобы к веб-сайтам могли получать доступ только люди, а не боты или автоматизированное программное обеспечение. Она в основном используется для защиты форм, страниц входа и других сервисов на сайте. В этом руководстве описаны различные стратегии, включая методы решения reCAPTCHA и использование решателей reCAPTCHA v2.

reCAPTCHA — это инструмент, разработанный компанией Google для определения того, является ли пользователь сайта человеком или ботом. Это средство безопасности (антибот-система) для веб-сайтов, которое помогает бороться со спамом, DDoS-атаками и другими угрозами, связанными с ботами. Сервисы решения CAPTCHA используются для автоматизации этого процесса в рамках законных сценариев.

reCAPTCHA работает, предлагая пользователям выполнять определённые задания; например, распознавать объекты на изображениях или решать простые задачи, чтобы подтвердить, что они являются людьми. Эти проверки специально сделаны так, чтобы человеку их было легко пройти, а для ботов — крайне сложно.

reCAPTCHA v2 Checkbox

Это наиболее распространённый и базовый тип CAPTCHA, используемый в интернете. Пользователю предлагается установить флажок, чтобы подтвердить, что он не является ботом. После этого Google анализирует действия пользователя и определяет, является ли активность реальной или автоматизированной.

reCAPTCHA v2 Invisible

Как следует из названия, этот тип CAPTCHA является невидимым для пользователя. Google автоматически анализирует поведение посетителя с помощью различных алгоритмов и принимает решение о том, является ли он человеком или ботом. Решатели reCAPTCHA v2 Invisible позволяют автоматизировать этот процесс.

reCAPTCHA v3

Эта версия также является невидимой и обеспечивает менее навязчивый пользовательский опыт. Система анализирует поведение пользователя на сайте и присваивает оценку, определяющую вероятность того, что действия выполняет бот. Владельцы сайтов могут самостоятельно настраивать порог подозрительной активности.

reCAPTCHA Enterprise

Это расширенная версия reCAPTCHA, предназначенная для корпоративных клиентов. Она предоставляет дополнительные инструменты для анализа, мониторинга и управления бот-активностью на веб-сайтах.

Если вы разрабатываете веб-скрейпер, вы можете столкнуться с reCAPTCHA, если сайт использует её для защиты от автоматизированного трафика. reCAPTCHA представляет проблему для скрейперов, поскольку она специально разработана для обнаружения и блокировки ботов. В результате при использовании скрейпера вы можете регулярно сталкиваться с reCAPTCHA, что может замедлить или полностью остановить процесс сбора данных. Для решения этой проблемы можно использовать сервисы решения reCAPTCHA.

Решатель reCAPTCHA — это инструмент или сервис, предназначенный для прохождения проверок reCAPTCHA. В отличие от полностью автоматизированных методов, некоторые решения могут использовать участие реальных людей для прохождения CAPTCHA. Такие услуги могут предоставляться как фрилансерами на платформах вроде Fiverr или Freelancer, так и специализированными компаниями, предлагающими сервисы решения CAPTCHA.

Основная задача reCAPTCHA — защита веб-сайтов от злоупотреблений. Однако пользователи могут считать её неудобной или слишком затратной по времени. Ниже приведены некоторые законные способы решения reCAPTCHA:

• Использование API-сервисов для решения CAPTCHA: Сторонние сервисы предоставляют API, позволяющие разработчикам взаимодействовать с reCAPTCHA. Такие сервисы используют современные алгоритмы для решения CAPTCHA и обычно требуют подписку или API-ключ для авторизации.

• Использование браузерных расширений: Некоторые расширения автоматизируют решение reCAPTCHA с помощью технологий оптического распознавания символов (OCR) и методов машинного обучения.

• Использование автоматизированных скриптов: Разработчики могут создавать собственные скрипты или программное обеспечение для автоматизации процесса решения CAPTCHA. Однако для этого требуется хорошее понимание программирования и веб-автоматизации. Следует учитывать, что использование автоматизированных скриптов без разрешения может нарушать условия использования сайта.

• Отключение JavaScript: Поскольку reCAPTCHA активно использует JavaScript, его отключение иногда может предотвратить загрузку CAPTCHA. Однако этот метод также способен нарушить работу самого сайта и его функциональность.

При выборе сервиса для решения reCAPTCHA важно учитывать несколько ключевых факторов, чтобы получить надёжное и эффективное решение.

• Географическая близость: Выбор сервиса, расположенного ближе к региону целевого сайта, может быть полезен. Поскольку reCAPTCHA учитывает регион запроса, локальный решатель может обеспечивать более точное и стабильное прохождение CAPTCHA, особенно для сайтов вашей страны.

• Стоимость: Цена использования сервиса может значительно различаться — от нескольких центов за одну reCAPTCHA до более дорогих решений. Важно подобрать сервис, который соответствует бюджету проекта и при этом обеспечивает качественные и своевременные результаты.

• Качество: Не все сервисы одинаково эффективны. Некоторые провайдеры обеспечивают более высокий процент успешных решений благодаря качеству технологий или инфраструктуры. Более качественные решения могут стоить дороже.

• Доступность: Также важно учитывать стабильность и доступность сервиса, особенно если вы планируете регулярно запускать автоматизацию или веб-скрейпинг. Некоторые сервисы могут иметь ограничения по нагрузке или работать только в определённые часы.

CapMonster Cloud позволяет проходить проверку по большинству существующих технологий, и reCAPTCHA v2 не является исключением.

Чтобы обойти защиту, достаточно встроить в программный код простой JSON-запрос и отправить его методом POST на API endpoint: https://api.capmonster.cloud/createTask. В общем случае запрос может выглядеть следующим образом:

{
  "clientKey": "API_KEY",
  "task": {
    "type": "RecaptchaV2Task",
    "websiteURL": "https://your_site_with_recaptcha",
    "websiteKey": "your_website_key"
  }
}

Запрос должен содержать следующие параметры: 

Пример ответа: 

{
  "errorId": 0,
  "taskId": 7654321
}

Или, в случае ошибки: 

{
  "errorId": 1,
  "errorCode": "ERROR_KEY_DOES_NOT_EXIST",
  "errorDescription": "Account authorization key not found in the system or has incorrect format",
  "taskId": 0
}

Подробное описание: 

{
  "clientKey":"API_KEY",
  "taskId": 407533072
}

{
  "errorId": 0,
  "status": "ready",
  "solution": {
    "gRecaptchaResponse": "3AHJ_VuvYIBNBW5yyv0zRYJ75VkOKvhKj9_xGBJKnQimF72rfoq3Iy-DyGHMwLAo6a3"
  }
}

Ознакомьтесь с нашими инструментами и решениями для удобного решения reCAPTCHA и других типов CAPTCHA: 

• CapMonster Cloud API 

• CapMonster Cloud browser extension Chrome / Firefox 

  ---

NB: Пожалуйста, обратите внимание, что продукт предназначен для автоматизации тестирования исключительно ваших собственных веб-сайтов и ресурсов, к которым у вас есть законное право доступа.