Como configurar os proxies da IPFoxy para web scraping automatizado

Scrapers raramente falham na primeira requisição. Falham na quatrocentésima. Nos testes tudo roda bem, você aumenta a concorrência e, de repente, em vez de dados, os logs se enchem de 403, 429 e páginas de CAPTCHA. É o site de destino percebendo que muito tráfego vem de um único endereço e decidindo te desacelerar.

A solução de sempre é uma camada de proxy bem feita: distribuir as requisições por muitos IPs, para que nenhum endereço pareça suspeito, e manter a concorrência no nível que você precisa.

Este guia mostra como configurar os proxies da IPFoxy em um pipeline de scraping automatizado — os exemplos usam o Crawl4AI, mas a mesma abordagem funciona com Playwright ou Selenium.

Sobre a IPFoxy

A IPFoxy é um provedor de proxies com IPs residenciais, de datacenter e móveis. Foi construída para times que fazem web scraping, gestão de redes sociais e trabalho com múltiplas contas: a cobertura geográfica ampla e os pools de alta anonimidade ajudam os pipelines de dados a passar por sistemas antibot, limites de requisição e restrições regionais.

Etapa 1: obtenha as credenciais do proxy

1. Entre no painel da IPFoxy.
2. Vá em Get Rotating Residential Proxy.
3. Escolha o país/região, o protocolo (HTTP ou SOCKS5) e o modo de rotação (rotativo ou sticky).
4. Copie os dados do endpoint:
   • Host: proxy.ipfoxy.com (ou o IP do servidor atribuído a você)
   • Porta: 8888 (ou a sua porta personalizada)
   • Usuário: your_proxy_username
   • Senha: your_proxy_password

Não deixe isso no código-fonte. O exemplo abaixo lê esses valores de variáveis de ambiente — uma preocupação a menos quando você faz push para um repositório.

Etapa 2: adicione o proxy ao seu código

Abaixo, uma configuração funcional em Python usando Crawl4AI com a IPFoxy:

import asyncio
import os

from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig

# Carrega as credenciais de variáveis de ambiente, por segurança
IPFOXY_HOST = os.getenv("IPFOXY_HOST", "proxy.ipfoxy.com")
IPFOXY_PORT = os.getenv("IPFOXY_PORT", "8888")
IPFOXY_USER = os.getenv("IPFOXY_USER", "your_username")
IPFOXY_PASS = os.getenv("IPFOXY_PASS", "your_password")


async def main():
    # 1. Monta a URL do proxy com autenticação
    proxy_url = f"http://{IPFOXY_USER}:{IPFOXY_PASS}@{IPFOXY_HOST}:{IPFOXY_PORT}"

    # 2. Aponta o navegador para o proxy
    browser_config = BrowserConfig(
        browser_type="chromium",
        headless=True,
        proxy=proxy_url
    )

    # 3. Configurações de execução do crawler
    run_config = CrawlerRunConfig(
        word_count_threshold=10
    )

    # 4. Executa a tarefa
    async with AsyncWebCrawler(config=browser_config) as crawler:
        result = await crawler.arun(
            url="https://httpbin.org/ip",  # endpoint de teste para verificar o IP de saída
            config=run_config
        )

        if result.success:
            print("--- IPFoxy proxy connected successfully ---")
            print(result.markdown)
        else:
            print(f"Scraping failed: {result.error_message}")


if __name__ == "__main__":
    asyncio.run(main())

Etapa 3: confirme que está realmente funcionando

Ainda não aponte isso para os seus alvos de verdade. Primeiro envie uma requisição para https://httpbin.org/ip e veja o que volta.

O IP na resposta deve corresponder à região que você selecionou no painel. Se aparecer o endereço da sua própria rede, o proxy não está sendo aplicado — em geral é um erro de digitação nas credenciais ou um objeto de configuração que nunca chegou ao navegador.

Quando o IP retornado estiver certo, aponte o script para as suas URLs de destino.

Boas práticas

Escale aos poucos. Comece com um lote de uma a cinco requisições e confirme o result.success antes de chegar perto de centenas de threads paralelas. É muito mais fácil enxergar uma configuração errada em cinco requisições do que em quinhentas.

Ajuste a rotação ao que você está coletando. Troque de IP a cada requisição quando estiver puxando índices paginados ou páginas de catálogo stateless — não há sessão a proteger. Use sessões sticky quando estiver atrás de um login ou percorrendo um formulário de várias etapas, porque um IP novo no meio do fluxo geralmente significa começar de novo.

Combine proxies com configurações de stealth. Em sites com gerenciamento de bots sério, como o Cloudflare, só IPs limpos não bastam. Ative a ofuscação de impressão digital (modo stealth) junto com os IPs residenciais da IPFoxy, para que o perfil do navegador e o IP de saída contem a mesma história.

Conte com CAPTCHAs de qualquer forma. Bons proxies reduzem a frequência dos desafios, mas não acabam com eles. Se um desafio aparecer em uma etapa protegida, um serviço de API como o CapMonster Cloud devolve um token para que a mesma sessão continue, em vez de morrer no meio do trabalho.

Solução de problemas

Timeouts de conexão. Tire o seu código da equação e teste o endpoint direto:

curl -x http://USERNAME:PASSWORD@HOST:PORT https://httpbin.org/ip

Se o curl também falhar, o problema está nas credenciais ou na rede — alguns firewalls corporativos e provedores de internet bloqueiam de saída as portas de proxy não padronizadas.

403 mesmo com o proxy funcionando. Um proxy funcionando muda apenas o seu IP de saída. O site ainda pode estar lendo os cabeçalhos da requisição — um User-Agent ausente ou obviamente estático é o que mais entrega o jogo — ou esperando conteúdo que só aparece depois que a página termina de renderizar. Adicione cabeçalhos realistas e use o wait_for para não capturar um DOM vazio.

Pronto para escalar a sua coleta? Acesse a IPFoxy e comece com proxies residenciais de alta performance.