Автоматическое решение различных типов капч с использованием CapMonster Cloud и ZennoPoster
Подробная инструкция по использованию интеграции двух мощных и эффективных инструментов для автоматизации любых ваших задач
И обычные пользователи, и разработчики регулярно сталкиваются с необходимостью выполнять в интернете однообразные и рутинные действия. Для быстрой и эффективной работы можно автоматизировать эти процессы, включая и решение различных капч.
Однако при автоматизации этой задачи возникает множество препятствий, главное из которых — защита от ботов. При этом она постоянно развивается и становится всё более сложной. Используя два удобных инструмента, можно забыть про эти сложности. Вам не понадобятся серьёзные знания языков программирования и много времени на написание кода – ZennoPoster имеет графический интерфейс для создания действий. Всё, что нужно сделать, – правильно настроить шаблон под ваши задачи, и проект будет готов к запуску!
В данной статье мы разберём, что такое ZennoPoster и CapMonster Cloud, как их интегрировать, расскажем о настройках и написании шаблона для авторазгадывания разных типов капчи, покажем реальные примеры их решения, а также предоставим советы и рекомендации по обеспечению надежности интеграции и оптимизации самого процесса.
Обзор ZennoPoster и CapMonster Cloud
ZennoPoster – это целый программный комплекс для разработки, давно зарекомендовавший себя как одно из лучших средств для автоматизации самых разных действий в интернете, будь то создание аккаунтов, парсинг, заполнение форм или же просто просмотр страниц. Он эмулирует работу человека и даже целой команды. Всё, что вы делаете самостоятельно каждый день, он может делать за вас.
CapMonster Cloud – сервис для автоматического распознавания и решения практически всех видов капч. В отличие от сервисов ручного распознавания, CapMonster Cloud разгадывает капчи методом машинного обучения, то есть с помощью нейросети, которая постоянно обучается и обновляется. Это помогает сэкономить время и средства, ведь таким методом капчи решаются быстрее и дешевле, чем с помощью ручного труда.
Интеграция этих двух мощных помощников повышает скорость и успешность рабочего процесса, при этом сохраняет ваше время для других дел. Вам не нужно заниматься долгой предварительной подготовкой и настройкой, не нужно писать много кода, программа устроена так, чтобы с ней мог справиться обычный пользователь. Ваши боты смогут решать капчи как живой человек, включая ReCaptcha v. 2, ReCaptcha v. 3, в том числе “непростую” Turnstile.
Итак, приступим к настройке ZennoPoster/Project Maker и CapMonster Cloud и их связке друг с другом.
Настройка CapMonster Cloud и ZennoPoster
Для начала вам нужно скачать ZennoPoster на компьютер (поддерживается только операционная система Windows, всю информацию можете узнать на официальном сайте https://zennolab.com/ru/products/zennoposter/). Выберите нужную лицензию (бесплатную Lite или версии Pro), а затем создайте аккаунт на CapMonster Cloud:
Зайдите на сайт https://capmonster.cloud/ru/, нажмите кнопку Зарегистрироваться. Регистрацию можно осуществить с помощью имеющегося аккаунта Google или через email-пароль;
Вам откроется панель управления с вашим личным кабинетом для управления аккаунтом, API, балансом и тд.;
3. Пополните баланс. Всю информацию о ценах и скорости решения вы без труда найдёте в личном кабинете;
4. Скопируйте API-ключ.
Теперь нужно зайти в ProjectMaker, открыть Настройки на начальной странице и выбрать вкладку Каптчи. Выберите модуль распознавания капч - CapMonster Cloud, и в поле Секретный ключ введите ваш скопированный API-ключ. Перезагрузите программу. Теперь в настройках по умолчанию у вас выбран модуль CapMonster Cloud, там отображается информация о вашем аккаунте CapMonster Cloud и его актуальном балансе:
На этом подключение CapMonster Cloud к ZennoPoster завершено. Теперь вы можете сразу выбирать и использовать этот модуль с уже прописанным вашим API в своих экшенах/действиях.
Решение капч с примерами
ReCaptcha v.2
Давайте создадим небольшой шаблон для автоматического разгадывания капчи. Начнем с ReCaptcha v.2. В ProjectMaker имеется уже готовый “кубик” для решения данного типа капчи, этим мы сейчас и воспользуемся. В решении разнообразных капч вы также можете использовать HTTP-запросы, этот метод мы разберем позже.
1. Откройте ProjectMaker, создайте Новый проект;
2. Отключите запись действий, добавьте экшен Очистить куки;
3. В качестве теста мы будем использовать демонстрационный вариант ReCaptcha2 на с тестовой странице – добавьте экшен Переход на страницу, в нем пропишите URL: https://lessons.zennolab.com/captchas/recaptcha/v2_simple.php?level=high;
4. Запустите проект, встроенный браузер откроет нашу тестовую страницу:
5. Нажмите правой кнопкой мыши на пустое окошко возле надписи I’m not a robot, выберите действие В конструктор действий, нажмите rise, событие click и добавьте в проект;
6. Далее добавьте экшен Распознать ReCaptcha:
7. В Свойствах действия выберите модуль распознавания CapMonsterCloud.dll и задайте такие настройки (если переменной не существует, ProjectMaker предложит вам создать её автоматически);
8. Добавьте действие для кнопки Отправить – так же, как мы делали для пустого окошка: В конструктор действий → rise → click → Добавить в проект;
9. Запустите проект и посмотрите, что получится: появляются песочные часы, это означает, что запущен процесс разгадывания капчи:
10. Немного подождав, вы увидите зеленую галочку вместо песочных часов – капча решена:
ReCaptcha v.3
Аналогичным образом вы можете добавлять действия для ReCaptcha3. Это такая капча, которая анализирует и определяет по профилю посетителя, человек он или бот, и не требует от пользователя выполнения заданий. Нужно только добавить action и min score (рейтинг профиля посетителя, например, 0.1 – низкий, а 0.9 или 1 – высокий). Если показатель высокий, значит, ваш профиль хорошо “прогрет”, с него велась активность, вызывающая доверие у ReCaptcha3. На странице https://lessons.zennolab.com/captchas/ вы можете протестировать разные типы капч. Давайте выберем для этой цели ReCaptcha v.3.
1. В ProjectMaker создайте новые действия Очистить куки и Перейти на страницу (вставьте URL: https://lessons.zennolab.com/captchas/recaptcha/v3.php?level=beta;
2. Следующее действие у нас будет Распознать ReCaptcha, задайте примерно такие настройки:
3. Запустите проект. Появятся песочные часы, затем зеленая галочка – капча решена;
4. Теперь нужно добавить действие для кнопки Отправить (В конструктор действий → rise → click → Добавить в проект) и запустить шаблон нажатием кнопки F10:
Также можно разгадывать капчи не через вкладку, а через SiteKey. Это ключ самой капчи, вы можете найти его на целевом сайте в браузере или в ProjectMaker во вкладке Инструменты web-разработчика. В содержимом страницы найдите строку с sitekey (можно найти по ключевому слову "render") и сохраните идентификатор:
Дальнейшие действия:
1. В созданном ранее экшене Распознать ReCaptcha в свойствах действия смените метод на Через SiteKey, введите sitekey и URL-адреc, где находится капча:
2. Запустите проект, и капча будет решена так же эффективно, как методом Во вкладке.
Turnstile
Решение этого типа капчи будет немного сложнее, так как готового экшена в ZennoPoster пока нет. Данный вид капчи не требует выполнения каких-либо сложных заданий от пользователя, максимум, что нужно сделать – это кликнуть по чекбоксу.
Давайте перейдем к созданию шаблона для разгадывания Cloudflare Turnstile:
1. Начните проект с экшена Обработка переменных (Добавить действие → Данные → Обработка переменных или воспользуйтесь поиском), в свойствах выберите Установить значение и пропишите в значении ваш API-ключ от CapMonster Cloud:
2. Очистите куки и перейдите на тестовую страницу https://clifford.io/demo/cloudflare-turnstile. На данном сайте используется Cloudflare Turnstile типа Managed;
3. Установите значения для поля Field 1 в конструкторе действий: кликните правой кнопкой мыши по элементу и выберите В конструктор действий, установите в поле Значение – test и добавьте в проект:
4. Далее вам нужно сформировать POST-запрос на https://api.capmonster.cloud/createTask (Добавить действие → HTTP → POST-запрос) и прописать в нём задачу для запроса. Пример для оформления запроса нужно брать из документации https://docs.capmonster.cloud/ru/docs/captchas/turnstile-task/, предварительно вам необходимо узнать sitekey капчи на сайте, на котором должно будет выполняться решение капчи. Вот так на основе структуры task из документации и данных целевого сайта должны выглядеть поля в свойствах действия (во вкладке Дополнительно ничего менять не нужно):
В этом примере мы не используем прокси. Если необходимо, вы можете добавить параметры конкретных прокси (см. подробнее в документации CapMonster Cloud).
5. Добавьте действие Обработка JSON/XML (Добавить действие → Данные → Обработка JSON/XML), в свойствах выберите Парсинг, тип Json и для текста для разбора правой кнопки мыши выберите Установить значение из переменной, в нашем случае эта переменная называется res:
6. Добавьте экшен Обработка переменных, в нём установите значение {-Json.taskId-} и создайте новую переменную tskId, сюда будет записываться ID задания:
7. Поставьте паузу 5 секунд;
8. Сформируйте новый POST-запрос для получения результата:
9. Далее получите результат:
10. Теперь сделайте проверку завершения процесса решения капчи. Добавьте ещё два действия в отдельном блоке с логическим если (Добавить действие → Логика → If) и Обработка переменных. Поставьте значение '{-Json.errorId-}'=='0' для условия и {-Json.solution.token-} в свойствах действия в Обработке переменных, в нем же создайте переменную token для хранения полученного токена решения:
11. Поставьте три оповещения (Добавить действие → Логика → Оповещение) в случае разных исходов и соедините их стрелками с условиями (если ответ ещё не готов, необходимо будет поставить ещё одну паузу 5 секунд в основном блоке), вот так это должно выглядеть:
12. Продолжайте работу в основном блоке. Теперь нужно установить значение токена (Добавить действие → Табы → Установка значения). Чтобы узнать нужное значение, предварительно в браузере в Инструментах разработчика проанализируйте, куда должен установиться токен. В наше случае это невидимое поле с именем "cf-turnstile-response":
Вернёмся в ProjectMaker: в поле Что значение переменной token, добавьте тэг input:hidden, во вкладке Дополнительно выберите Эмуляция – Своя, введите остальные параметры:
13. Установите клик на кнопку Submit через Конструктор действий:
14. И поставьте оповещение об успешном выполнении:
15. Вот так в итоге должен выглядеть весь шаблон:
Запустите проект. Если всё сделано правильно, капча будет решена и откроется страница с успешным результатом:
Готовый шаблон можно скачать здесь.
Полезные советы
Вы можете использовать любой другой сайт с похожей формой регистрации и капчи (либо вовсе без формы). Экспериментируйте и пробуйте разные подходы для ваших задач. Если вы всё сделали правильно, но появляются ошибки на каком-либо этапе выполнения проекта, проблема может быть в профиле или IP-адресе. Используйте качественные прокси, можно приобретать их в разных местах, а не одним пакетом сразу, прогревайте свои профили и аккаунты (можно использовать специальные программы или шаблоны-прогреваторы), тогда вы с меньшей вероятностью будете встречать сложные капчи, с решением которых ваш скрипт и модуль не всегда смогут справиться.
Также ещё хотелось бы добавить про sitekey. Помимо поиска в браузере и в Инструментах разработчика, можно обратиться к настройкам сайта или в ProjectMaker открыть окно “Трафик” и попробовать найти ключ в запросах.
Также полезными будут некоторые советы:
Для снижения нагрузки на сервис и повышения производительности и скорости выполнения задач можно использовать кэширование токенов и решений там, где это возможно, например, при повторяющихся капчах на одном сайте;
Убедитесь, что ваши запросы из ZennoPoster к API CapMonster Cloud правильно настроены и соответствуют требованиям документации CapMonster Cloud;
Не забывайте отслеживать баланс CapMonster Cloud;
Просматривайте логи, чтобы исключить возможные ошибки в работе скрипта и разгадывании капч, не лишним будет иметь резервный план работы в случае возникновения каких-либо проблем;
Используйте шифрование данных и не выкладывайте ваш API-ключ в открытый доступ;
Обязательно читайте документацию, следите за её обновлениями и в целом за обновлениями ZennoPoster и CapMonster Cloud, читайте темы на форуме и новости в официальном Telegram-канале.
Итак, в данной статье мы рассмотрели возможности совместной работы ZennoPoster и CapMonster Cloud, настройку программы и ее интеграцию с сервисом, на примерах разобрали решение разных типов капч, создали целый шаблон для разгадывания Turnstile, вникли в процесс и сам принцип работы. Теперь вам стало более понятно и наглядно, что совместное использование этих инструментов при правильной настройке очень эффективно: помогает вам сократить временные затраты, открывает широкие возможности для автоматизации самых разных процессов, делает работу в интернете более стабильной, легкой и приятной. Надеемся, что эта инструкция с примерами помогла вам в решении ваших собственных задач и в реализации личных проектов!
NB: Пожалуйста, обратите внимание, что продукт предназначен для автоматизации тестирования исключительно ваших собственных веб-сайтов и ресурсов, к которым у вас есть законное право доступа.
