Proxy para web scraping: como escolher, rotacionar e coletar dados com responsabilidade

Como escolher o tipo certo de proxy para um projeto de scraping, integrá-lo ao seu scraper, respeitar robots.txt e limites de taxa e manter o custo por GB sob controle.

Por Sofia HartmannAtualizado: 6 min de leitura
Proxy para web scraping: requisições passando por IPs de proxy rotativo até sites públicos

Um proxy para web scraping distribui suas requisições entre muitos endereços IP, para que nenhum IP isolado estoure os limites de taxa do site enquanto você coleta dados públicos. Use proxies residenciais rotativos em sites bem protegidos, proxies de datacenter ou IPv6 em alvos permissivos e proxies ISP estáticos quando a sessão precisa ficar em um único IP.

Escolher o proxy é só metade do trabalho. Os scrapers que rodam por meses sem dor de cabeça combinam o tipo certo de IP com padrões de requisição educados: concorrência sensata, respeito ao robots.txt e recuo quando o site pede para ir mais devagar. Este guia cobre as duas metades e também como manter o custo de tráfego previsível.

Por que scrapers precisam de proxy

Quase todo site limita quantas requisições um mesmo IP pode fazer em determinado período. Um job de monitoramento de preços que confere alguns milhares de páginas de produto por dia a partir do IP do seu escritório bate nesse teto rapidinho, e o resultado é uma enxurrada de respostas 429 Too Many Requests, CAPTCHAs ou bloqueios 403.

Os proxies resolvem três problemas práticos:

  • Distribuição de carga — as requisições se espalham por muitos IPs, e cada um fica bem abaixo dos limites por IP.
  • Localização — preços, disponibilidade, resultados de busca e até idiomas mudam por país. Um proxy no país-alvo devolve os dados que um visitante local veria.
  • Isolamento — o IP da sua empresa nunca é o que sofre limitação, e os colegas continuam usando o site normalmente.
5tipos de proxy
190+países
99.9%uptime da rede
24/7suporte

Scraping responsável: o que é permitido

Proxies tornam o scraping possível em escala; não tornam aceitável qualquer tipo de scraping. Antes de escrever a primeira linha de código, verifique três coisas.

  • Somente dados públicos. Listagens de produtos, preços públicos, resultados de busca, avaliações públicas e artigos publicados são os alvos típicos. Dados atrás do login de outra pessoa, ou dados pessoais sem base legal para tratamento (pense na LGPD), não são.
  • robots.txt. O Robots Exclusion Protocol, padronizado na RFC 9309, é como os donos de sites indicam quais caminhos os crawlers devem evitar. Leia o arquivo e respeite as regras Disallow para o seu user agent.
  • Termos e carga. Leia os termos do site, prefira uma API oficial ou feed de dados quando existir e nunca envie tráfego que possa degradar o site para os usuários reais.
Importante: a mistPROXY é apenas para uso legal. Ataques, fraude e spam levam à suspensão sem reembolso, e você é responsável pelo tráfego que envia. Scraping responsável também é simplesmente mais confiável: scrapers educados são bloqueados com muito menos frequência.

Qual o melhor proxy para web scraping?

Não existe um único melhor proxy para scraping; a escolha certa depende de quão rigorosamente o alvo filtra o tráfego e de quantos dados você movimenta. A mistPROXY oferece cinco tipos, e cada um tem um papel natural no scraping.

Tipo de proxyCobrançaPonto forteUso típico em scraping
Residencial (rotativo)Por GBIPs de usuários reais, os mais difíceis de detectar, segmentação por cidade/ASNE-commerce, turismo e marketplaces protegidos; resultados locais
ISP / EstáticoPor IPIPs residenciais estáticos, rápidos e estáveisSessões em várias etapas, painéis próprios com login, monitoramento contínuo
Datacenter IPv4Por IPBaratos e rápidos para alto volumeSites permissivos, APIs públicas, sitemaps, downloads em massa
IPv6Por IPSub-redes IPv6 baratíssimasAlvos que aceitam IPv6, crawls muito grandes com orçamento curto
Mobile 4G/5GPor IPIPs de operadora, melhor nível de confiançaVersões mobile dos sites, os alvos mais rigorosos

Uma abordagem pragmática é começar barato e subir de nível só quando necessário: teste o alvo primeiro com proxies de datacenter ou IPv6 e passe para o residencial apenas se a taxa de bloqueio for alta demais. Nossa comparação proxy residencial vs datacenter aprofunda esse dilema, e o guia de proxies IPv6 explica quando o IPv6 é um atalho viável.

A localização merece uma decisão à parte. A maioria dos produtos permite escolher o país antes da compra, e os proxies residenciais podem ser refinados até a cidade ou o ASN. Isso pesa em tarefas como comparar o frete entre cidades, checar estoque regional ou coletar resultados de busca locais, em que um proxy no país vizinho entregaria silenciosamente os dados errados.

IP rotativo ou estático para scraping?

Proxies residenciais rotativos trocam o IP a cada requisição, que é o ideal para rastrear milhares de páginas independentes, como detalhes de produto ou resultados de busca. Cada requisição parece um visitante diferente, então os limites por IP quase nunca entram em jogo.

Proxies ISP estáticos mantêm o mesmo IP, o que importa quando o fluxo depende de continuidade: uma busca com resultados paginados presos a cookies de sessão, uma checagem de preço no checkout que exige carrinho ou um painel seu do qual você exporta dados. Trocar de IP no meio da sessão nesses fluxos costuma resetar a sessão ou disparar verificações extras. Leia proxy rotativo vs sticky para a análise completa.

Como usar proxies no seu scraper

  1. Pegue as credenciais — após a compra, seus proxies aparecem no painel como host:port:user:pass.
  2. Escolha o protocolo — HTTP(S) funciona com quase todas as bibliotecas; SOCKS5 também está disponível, com autenticação username:password.
  3. Configure o cliente — passe a URL do proxy para sua biblioteca HTTP, navegador headless ou framework de scraping.
  4. Teste em uma URL — confirme que a resposta vem do país esperado antes de escalar.
  5. Adicione limite de taxa e retentativas — depois aumente a concorrência aos poucos, de olho na taxa de erros.

Um exemplo mínimo em Python com a biblioteca requests fica assim:

import time
import requests

PROXY = "http://USER:PASS@HOST:PORT"
proxies = {"http": PROXY, "https": PROXY}

for url in urls:
    r = requests.get(url, proxies=proxies, timeout=30)
    if r.status_code == 429:
        time.sleep(60)  # back off; honour Retry-After if present
        continue
    r.raise_for_status()
    save(r.text)
    time.sleep(1.5)  # polite delay between requests

Para SOCKS5, instale o extra SOCKS do requests e use socks5h://USER:PASS@HOST:PORT; o h indica que o DNS é resolvido pelo proxy, então as consultas também acontecem na localização do proxy.

Como evitar bloqueios do jeito educado

A maioria dos bloqueios é autoinfligida. Estes hábitos mantêm a taxa de sucesso alta sem nenhum truque:

  • Limite a concorrência por domínio. Algumas requisições paralelas para um site costumam bastar; escale entre domínios, não contra um só.
  • Recue em 429 e 503. Respeite o cabeçalho Retry-After e use backoff exponencial em vez de martelar a mesma URL.
  • Use cache e remova duplicatas. Nunca baixe a mesma página duas vezes na mesma execução e use requisições condicionais (ETag, If-Modified-Since) quando o site suportar.
  • Aproveite sitemaps e feeds. Eles listam exatamente o que mudou, então você rastreia menos.
  • Envie cabeçalhos coerentes. Um user agent consistente e um Accept-Language compatível com o país do proxy geram páginas localizadas corretas e menos erros.
  • Observe os sinais. Aumento de 403 ou de páginas de CAPTCHA indica que você está rápido demais ou usando o tipo errado de proxy; diminua o ritmo antes de rotacionar mais.
Dica de custo: o tráfego residencial é cobrado por GB e é consumível, ou seja, o tráfego usado não é reembolsado. Em navegadores headless, bloqueie imagens, fontes e vídeos, peça respostas comprimidas e colete endpoints JSON em vez de páginas inteiras quando o site os expõe. Baixar menos é a otimização mais barata que existe.

Meça e monitore seu scraper

Depois que a configuração de proxy funciona, o verdadeiro trabalho é saber se ela continua funcionando. Registre quatro números a cada execução: taxa de sucesso, quantidade de respostas 403 e 429, páginas de CAPTCHA e tráfego usado por mil páginas. Comparados semana a semana, eles mostram de relance se um site endureceu as defesas ou se o seu próprio código regrediu.

Confira também a qualidade dos dados. Campos de preço vazios, uma moeda inesperada ou páginas no idioma errado geralmente significam que a localização do proxy não bate com o alvo, ou que o seu cabeçalho Accept-Language a contradiz.

Como começar com a mistPROXY para scraping

A configuração leva poucos minutos. Crie uma conta grátis na página de cadastro usando só um e-mail, adicione saldo com USDT, BTC, ETH ou outras moedas via mistKET e escolha o tipo de proxy, o país e a quantidade. As credenciais aparecem na hora no painel, prontas para colar no scraper, e você gerencia tráfego e renovações no mesmo lugar. Faça antes um piloto pequeno, meça a taxa de bloqueio e os GB por mil páginas e só então dimensione o pedido.

Os preços são transparentes e por unidade: por GB no residencial, por IP nos tipos estáticos. Veja os preços iniciais atuais na seção de preços e compare os cinco tipos na página de tipos de proxy. Se um proxy novo chegar sem funcionar, o suporte o substitui; fale com a equipe por tickets no painel ou pelo Telegram.

Perguntas frequentes

Qual o melhor tipo de proxy para web scraping?
Depende do alvo. Proxies residenciais rotativos funcionam melhor em sites bem protegidos, porque usam IPs de usuários reais. Proxies de datacenter IPv4 e IPv6 são mais baratos e rápidos para sites permissivos e jobs em massa. Proxies ISP estáticos servem para fluxos que precisam de um único IP durante toda a sessão.
Fazer web scraping com proxy é legal?
Coletar dados publicamente disponíveis é uma prática comum e geralmente lícita, mas depende da sua jurisdição, dos termos do site e dos dados envolvidos. Fique nos dados públicos, respeite o robots.txt, evite dados pessoais sem base legal e nunca sobrecarregue um site. O proxy não muda essas obrigações.
Quantos proxies eu preciso para web scraping?
Depende do volume de requisições e do rigor do alvo. Com proxies residenciais rotativos, um único endpoint acessa muitos IPs e você paga por GB. Com proxies estáticos de datacenter ou ISP, estime quantas requisições por IP o site tolera, divida seu volume por hora por esse número e adicione uma margem.
Por que continuo sendo bloqueado mesmo usando proxy?
Geralmente por causa do padrão de requisições, e não do IP: requisições paralelas demais para um domínio, falta de backoff em erros 429 ou cabeçalhos que não batem com a localização do proxy. IPs de datacenter também podem ser filtrados em sites rigorosos, onde proxies residenciais ou mobile se saem melhor.
Devo usar proxy rotativo ou estático para scraping?
Use proxies rotativos para rastrear muitas páginas independentes, já que cada requisição recebe um IP novo. Use proxies ISP estáticos quando o job depende de uma sessão, como resultados paginados presos a cookies ou exportação de dados da sua própria conta.

Artigos relacionados

Artigos recentes

Todos os artigos