Прокси с ротацией и автоматизация капчи: практическое руководство по скрапингу в масштабе без блокировок

Любая команда, которая занимается веб-скрапингом, мониторингом цен, проверкой рекламы или автоматизацией аккаунтов, рано или поздно упирается в одни и те же две стены: капчи и блокировки по IP. Вы отправляете пачку запросов, сайт помечает трафик как подозрительный, и каждая страница превращается либо в проверку, либо в жёсткую блокировку. Одним приёмом это почти никогда не решается. Устойчивая автоматизация держится на двух слоях, которые работают вместе: прокси с ротацией, управляющие вашей сетевой идентичностью, и автоматизация капчи, которая проходит те проверки, с которыми вы всё-таки столкнулись. В этом руководстве — как соединить оба слоя: подобрать тип прокси и схему ротации под задачу, а капчи отдать сервису автоматического распознавания, — чтобы ваши пайплайны продолжали работать по мере масштабирования.

Начните с недорогого теста

Прежде чем встраивать что-либо в продакшен, проверьте оба слоя на небольшом бюджете:

• CapMonster Cloud по запросу в поддержку выдаёт тестовый баланс на $0,1, а пользователи ZennoPoster получают 5000 капч на тесты.

• Astro выдаёт тестовые $3, которые запрашиваются у команды поддержки Astro и подходят для любой конфигурации прокси.

На стороне прокси эффективная цена падает по мере роста объёма: скидка за объём до 20% применяется автоматически при оформлении заказа, а накопительная скидка за пополнения до 25% считается по вашим пополнениям за 30 дней. Так можно обкатать схему до того, как масштабировать её.

Почему автоматизация вызывает капчи и блокировки

Целевые сайты считывают вашу автоматизацию на двух уровнях. Первый — сетевая идентичность: IP-адрес и то, как он себя ведёт, то есть какого типа это соединение, где оно расположено и как часто меняется. Второй — поведение: частота запросов, их тайминг и отпечаток клиента. Когда сетевая идентичность не вяжется с тем посетителем, за которого себя выдаёт, или когда с одного адреса идёт множество запросов, антибот-системы повышают ставки: сначала капча, потом ограничение частоты, потом блокировка.

Ни один отдельный инструмент не убирает обе проблемы сразу — поэтому надёжная схема строится из двух слоёв:

• Прокси с ротацией снижают частоту проверок: каждый запрос или каждая сессия получает чистый и подходящий по типу IP.

• Автоматизация капчи проходит те проверки, которые всё-таки появляются, — и распознанная капча не останавливает прогон.

Двухслойная модель: Astro отвечает за сетевую идентичность, CapMonster Cloud — за капчи.

Слой 1 — прокси с ротацией на инфраструктуре Astro

Astro — это прокси-инфраструктура, которая выдаёт сетевую идентичность для каждого запроса и каждого воркера. Здесь есть три типа прокси, три режима ротации и таргетинг до города и провайдера по большому пулу IP, собранных этичным путём.

Подбирайте тип прокси под целевой сайт

• Резидентные прокси — это адреса реальных домашних подключений. У них высокий уровень доверия, и это вариант по умолчанию для залогиненных аккаунтов и сайтов, где много капч.

• Мобильные прокси (4G/5G) дают самый высокий базовый уровень доверия, потому что за адресами оператора стоит множество реальных абонентов. Берите их для самых строгих mobile-first платформ и для чувствительных шагов.

• Серверные прокси (datacenter) — самый экономичный вариант для сбора больших объёмов публичных данных, где требования к доверию ниже.

Выберите режим ротации

Внешний IP прокси меняется в зависимости от выбранного режима:

1. По таймеру.

2. Новый IP-адрес на каждое новое соединение.

3. Ручная ротация IP — по ссылке или кнопкой в панели.

На практике интервал таймера начинается от 1 минуты, поэтому для ровной сессии его можно выставить чуть длиннее обычного визита и продержаться на одном IP до конца. Ротация на каждом новом соединении подходит для stateless-сбора больших объёмов, а ручное управление — для логинов и других чувствительных шагов. Каждый порт держит до 250 одновременных TCP-соединений, и один порт обслуживает только одного пользователя — за счёт этого сессии остаются изолированными.

Три режима ротации — под разные способы сбора данных и работы с аккаунтами.

Подбирайте локацию под целевой сайт

Astro поддерживает таргетинг по стране, городу и провайдеру, поэтому запрос выходит там, где его ждёт аккаунт или рынок. Таргетинг по провайдеру — это как раз тот случай, когда ISP имеет значение: он позволяет региональным аккаунтам и локальным проверкам выглядеть для сайта своими.

Слой 2 — автоматизация капчи через CapMonster Cloud

Даже с чистыми IP часть сайтов всё равно выдаёт капчу — и здесь пайплайн продолжает двигаться за счёт автоматического распознавания. CapMonster Cloud — сервис распознавания капчи на базе ИИ, рассчитанный на масштаб: простой JSON API и официальные SDK для C#, Python, JavaScript, Go и PHP. Он распознаёт широкий набор типов капчи — включая reCAPTCHA v2 и v3 (в том числе Enterprise), Cloudflare Turnstile и Challenge, GeeTest, Amazon AWS WAF, Tencent, Yidun, а также текстовые и графические капчи — с точностью до 99%.

Схему легко встроить в уже готовый скрапер:

1. Ваш скрапер отправляет объект задачи (URL целевой страницы, sitekey и опции) в API CapMonster Cloud.

2. Сервис распознаёт капчу и возвращает токен или текстовый ответ.

3. Вы отправляете этот ответ на целевой сайт и продолжаете сессию.

Платить нужно только за успешно распознанные капчи, а для более простых сценариев расширения для Chrome и Firefox проходят проверки в фоне. Полный список типов задач и примеры кода — в документации CapMonster Cloud.

CapMonster Cloud в цифрах: точность распознавания, поддерживаемые типы, SDK и оплата за результат.

Устойчивый рабочий процесс по шагам

Соберите оба слоя в один цикл:

1. Выберите тип прокси под целевой сайт: резидентные или мобильные — для залогиненных аккаунтов и строгих платформ, серверные — для больших объёмов публичных данных.

2. Настройте режим ротации под задачу: таймер — для ровных сессий, новый IP на каждое соединение — для stateless-сбора, ручная ротация — для логинов.

3. Пустите каждый воркер через Astro по HTTP(S) или SOCKS5 — один порт на сессию, с таргетингом по городу или провайдеру под конкретный аккаунт.

4. При появлении капчи отправьте задачу в CapMonster Cloud, получите токен, отправьте его и продолжите сессию.

5. Держите клиент согласованным — часовой пояс, язык и WebRTC должны совпадать с IP прокси, — чтобы распознанная капча не обнулилась из-за расхождения.

Такая схема распределяет объём запросов, снимает проверки и сохраняет целостность сессий — именно это и позволяет большим прогонам доживать до конца.

Типичные ошибки, из-за которых всё равно блокируют

• Один IP на множество залогиненных аккаунтов — самый верный способ связать между собой сразу весь кластер.

• Новый IP посреди сессии в залогиненном аккаунте: это ломает сессию и выглядит неестественно.

• Серверные IP на строгих платформах с авторизацией или mobile-first.

• Часовой пояс или язык, которые не совпадают с IP.

• Утечки WebRTC: убедитесь, что браузер использует IP прокси, и не отключайте WebRTC полностью: отсутствующее значение WebRTC само по себе является сигналом, который читают антифрод-системы.

Инфраструктура Astro коротко

• Пул: 50 млн IP в 150 странах — резидентные, мобильные (4G/5G) и серверные.

• Источники: собраны с согласия пользователей и проверены по процедурам KYC и AML.

• Протоколы: HTTP(S) и SOCKS5.

• Пропускная способность: до 250 одновременных TCP-соединений на порт при аптайме 99,9%.

• Таргетинг: до уровня города и провайдера.

• Ротация: по таймеру, новый IP-адрес на каждое новое соединение или ручная ротация по ссылке либо кнопкой в панели.

Собираем всё вместе

Прокси с ротацией держат вас вне поля зрения защиты, а автоматизация капчи снимает то, что всё же осталось. Соберите оба слоя в один цикл — инфраструктура Astro для сетевого уровня, CapMonster Cloud для капч — и ваша автоматизация продолжит работать по мере роста объёма запросов.