Как Cloudflare определяет автоматический трафик: защита сайта от ботов
Cloudflare использует комплексный подход к выявлению автоматизированного трафика, применяя как пассивные (на стороне сервера), так и активные (на стороне клиента) методы. Эта защита сайта от ботов позволяет минимизировать роботный трафик и рост прямых заходов.
Обнаружение ботнетов
Cloudflare ведёт базу данных устройств, IP-адресов и моделей поведения , связанных с ботнетами. Если запрос поступает с подозрительного устройства, система либо блокирует его автоматически, либо предъявляет дополнительные проверки.
Репутация IP-адреса
Репутация IP-адреса пользователя формируется на основе геолокации, провайдера и истории запросов. Адреса, принадлежащие дата-центрам или VPN-сервисам, имеют более низкий рейтинг, чем домашние IP. В некоторых случаях доступ может быть ограничен для определённых регионов, откуда не ожидается реальный пользовательский запрос.
Заголовки HTTP-запроса
Cloudflare анализирует заголовки HTTP. Если User-Agent указывает на браузер, но заголовки не соответствуют его типичному поведению, система может распознать бота. Аналогично, запросы без заголовков или с несоответствиями также подвергаются проверке.
TLS fingerprint
При установлении соединения Cloudflare анализирует параметры TLS, включая наборы шифров, расширения и эллиптические кривые, создавая уникальный хеш-отпечаток. Если fingerprint не соответствует заявленному User-Agent, запрос блокируется.
Fingerprint HTTP/2
Каждый запрос HTTP/2 также получает уникальный отпечаток. Cloudflare проверяет, совпадает ли он с данными белого списка. Этот метод сложно обойти$, но он является одним из ключевых в защите сайта от ботов.
Canvas fingerprint
Canvas API в HTML5 используется для рендеринга изображений в браузере. Cloudflare создаёт их отпечаток, сравнивая с базой данных легитимных сочетаний Canvas и User-Agent. Если обнаружено несоответствие, запросу может быть отказано в доступе.
Отслеживание пользовательской активности
Через JavaScript Cloudflare отслеживает движения мыши, клики и нажатия клавиш. Отсутствие активности указывает на возможное использование бота.
Запрос API среды
Cloudflare проверяет наличие свойств браузера, специфичных для разных сред. Например, если User-Agent указывает на Chrome, но при этом отсутствует свойство window.chrome, система распознаёт подделку..
API временных меток
Cloudflare анализирует временные метки, такие как Date.now() и window.performance.timing.navigationStart, чтобы выявить несоответствия в поведении.
Автоматическое обнаружение браузеров
Сервис проверяет, присутствуют ли в коде страницы специальные свойства, указывающие на автоматизированные среды, например window.document.__selenium_unwrapped или window.callPhantom.
SandBox detection
Система выявляет запуск браузера в эмулированной среде (например, NodeJS + JSDOM), проверяя, существует ли process object, специфичный для NodeJS.
Cloudflare Turnstile — это интеллектуальная защита сайта от ботов, работающая без явных CAPTCHA. Она удобна, проста в интеграции и эффективно борется со спамом и киберугрозами. Такая защита от ботов особенно полезна для корректного ранжирования и предотвращения накрутки в Яндекс Метрике.
Хотя система Cloudflare кажется непреодолимой, существуют способы обхода её защиты.
- Запрос к исходному серверу
Cloudflare фильтрует запросы только через свою сеть, поэтому можно попробовать связаться напрямую с сервером:- Найти исходный IP-адрес (например, через незащищённые поддомены).
- Отправить запрос с подменённым хостом через curl или изменить файл /etc/hosts.
- Однако в большинстве случаев Cloudflare применяет защиту с помощью механизма waiting room.
- Обход Cloudflare waiting room
Браузер решает задачи перед доступом к сайту. Разработчики ищут способы автоматизированного прохождения этих проверок, анализируя алгоритмы JavaScript и подбирая корректные параметры User-Agent. - Использование специализированных сервисов
Решение Cloudflare Turnstile можно автоматизировать через такие сервисы, как CapMonster Cloud, который предлагает доступное API для обхода защитных механизмов.
С развитием технологий защита сайта от ботов продолжает усложняться, но сервисы, такие как CapMonster Cloud, также совершенствуются, создавая новые методы обхода. Учитывая правила фильтрации в поисковых системах, стоит регулярно обновлять настройки защиты, чтобы минимизировать роботный трафик и рост трафика в Яндекс Метрике.
NB: Напоминаем, что продукт используется для автоматизации тестирования на ваших собственных сайтах и на сайтах, к которым у вас есть доступ на законных основаниях.