Proxy para web scraping: como escolher, rotacionar e coletar dados com responsabilidade
Como escolher o tipo certo de proxy para um projeto de scraping, integrá-lo ao seu scraper, respeitar robots.txt e limites de taxa e manter o custo por GB sob controle.

Um proxy para web scraping distribui suas requisições entre muitos endereços IP, para que nenhum IP isolado estoure os limites de taxa do site enquanto você coleta dados públicos. Use proxies residenciais rotativos em sites bem protegidos, proxies de datacenter ou IPv6 em alvos permissivos e proxies ISP estáticos quando a sessão precisa ficar em um único IP.
Escolher o proxy é só metade do trabalho. Os scrapers que rodam por meses sem dor de cabeça combinam o tipo certo de IP com padrões de requisição educados: concorrência sensata, respeito ao robots.txt e recuo quando o site pede para ir mais devagar. Este guia cobre as duas metades e também como manter o custo de tráfego previsível.
Por que scrapers precisam de proxy
Quase todo site limita quantas requisições um mesmo IP pode fazer em determinado período. Um job de monitoramento de preços que confere alguns milhares de páginas de produto por dia a partir do IP do seu escritório bate nesse teto rapidinho, e o resultado é uma enxurrada de respostas 429 Too Many Requests, CAPTCHAs ou bloqueios 403.
Os proxies resolvem três problemas práticos:
- Distribuição de carga — as requisições se espalham por muitos IPs, e cada um fica bem abaixo dos limites por IP.
- Localização — preços, disponibilidade, resultados de busca e até idiomas mudam por país. Um proxy no país-alvo devolve os dados que um visitante local veria.
- Isolamento — o IP da sua empresa nunca é o que sofre limitação, e os colegas continuam usando o site normalmente.
Scraping responsável: o que é permitido
Proxies tornam o scraping possível em escala; não tornam aceitável qualquer tipo de scraping. Antes de escrever a primeira linha de código, verifique três coisas.
- Somente dados públicos. Listagens de produtos, preços públicos, resultados de busca, avaliações públicas e artigos publicados são os alvos típicos. Dados atrás do login de outra pessoa, ou dados pessoais sem base legal para tratamento (pense na LGPD), não são.
- robots.txt. O Robots Exclusion Protocol, padronizado na RFC 9309, é como os donos de sites indicam quais caminhos os crawlers devem evitar. Leia o arquivo e respeite as regras Disallow para o seu user agent.
- Termos e carga. Leia os termos do site, prefira uma API oficial ou feed de dados quando existir e nunca envie tráfego que possa degradar o site para os usuários reais.
Qual o melhor proxy para web scraping?
Não existe um único melhor proxy para scraping; a escolha certa depende de quão rigorosamente o alvo filtra o tráfego e de quantos dados você movimenta. A mistPROXY oferece cinco tipos, e cada um tem um papel natural no scraping.
| Tipo de proxy | Cobrança | Ponto forte | Uso típico em scraping |
|---|---|---|---|
| Residencial (rotativo) | Por GB | IPs de usuários reais, os mais difíceis de detectar, segmentação por cidade/ASN | E-commerce, turismo e marketplaces protegidos; resultados locais |
| ISP / Estático | Por IP | IPs residenciais estáticos, rápidos e estáveis | Sessões em várias etapas, painéis próprios com login, monitoramento contínuo |
| Datacenter IPv4 | Por IP | Baratos e rápidos para alto volume | Sites permissivos, APIs públicas, sitemaps, downloads em massa |
| IPv6 | Por IP | Sub-redes IPv6 baratíssimas | Alvos que aceitam IPv6, crawls muito grandes com orçamento curto |
| Mobile 4G/5G | Por IP | IPs de operadora, melhor nível de confiança | Versões mobile dos sites, os alvos mais rigorosos |
Uma abordagem pragmática é começar barato e subir de nível só quando necessário: teste o alvo primeiro com proxies de datacenter ou IPv6 e passe para o residencial apenas se a taxa de bloqueio for alta demais. Nossa comparação proxy residencial vs datacenter aprofunda esse dilema, e o guia de proxies IPv6 explica quando o IPv6 é um atalho viável.
A localização merece uma decisão à parte. A maioria dos produtos permite escolher o país antes da compra, e os proxies residenciais podem ser refinados até a cidade ou o ASN. Isso pesa em tarefas como comparar o frete entre cidades, checar estoque regional ou coletar resultados de busca locais, em que um proxy no país vizinho entregaria silenciosamente os dados errados.
IP rotativo ou estático para scraping?
Proxies residenciais rotativos trocam o IP a cada requisição, que é o ideal para rastrear milhares de páginas independentes, como detalhes de produto ou resultados de busca. Cada requisição parece um visitante diferente, então os limites por IP quase nunca entram em jogo.
Proxies ISP estáticos mantêm o mesmo IP, o que importa quando o fluxo depende de continuidade: uma busca com resultados paginados presos a cookies de sessão, uma checagem de preço no checkout que exige carrinho ou um painel seu do qual você exporta dados. Trocar de IP no meio da sessão nesses fluxos costuma resetar a sessão ou disparar verificações extras. Leia proxy rotativo vs sticky para a análise completa.
Como usar proxies no seu scraper
- Pegue as credenciais — após a compra, seus proxies aparecem no painel como host:port:user:pass.
- Escolha o protocolo — HTTP(S) funciona com quase todas as bibliotecas; SOCKS5 também está disponível, com autenticação username:password.
- Configure o cliente — passe a URL do proxy para sua biblioteca HTTP, navegador headless ou framework de scraping.
- Teste em uma URL — confirme que a resposta vem do país esperado antes de escalar.
- Adicione limite de taxa e retentativas — depois aumente a concorrência aos poucos, de olho na taxa de erros.
Um exemplo mínimo em Python com a biblioteca requests fica assim:
import time
import requests
PROXY = "http://USER:PASS@HOST:PORT"
proxies = {"http": PROXY, "https": PROXY}
for url in urls:
r = requests.get(url, proxies=proxies, timeout=30)
if r.status_code == 429:
time.sleep(60) # back off; honour Retry-After if present
continue
r.raise_for_status()
save(r.text)
time.sleep(1.5) # polite delay between requestsPara SOCKS5, instale o extra SOCKS do requests e use socks5h://USER:PASS@HOST:PORT; o h indica que o DNS é resolvido pelo proxy, então as consultas também acontecem na localização do proxy.
Como evitar bloqueios do jeito educado
A maioria dos bloqueios é autoinfligida. Estes hábitos mantêm a taxa de sucesso alta sem nenhum truque:
- Limite a concorrência por domínio. Algumas requisições paralelas para um site costumam bastar; escale entre domínios, não contra um só.
- Recue em 429 e 503. Respeite o cabeçalho Retry-After e use backoff exponencial em vez de martelar a mesma URL.
- Use cache e remova duplicatas. Nunca baixe a mesma página duas vezes na mesma execução e use requisições condicionais (ETag, If-Modified-Since) quando o site suportar.
- Aproveite sitemaps e feeds. Eles listam exatamente o que mudou, então você rastreia menos.
- Envie cabeçalhos coerentes. Um user agent consistente e um Accept-Language compatível com o país do proxy geram páginas localizadas corretas e menos erros.
- Observe os sinais. Aumento de 403 ou de páginas de CAPTCHA indica que você está rápido demais ou usando o tipo errado de proxy; diminua o ritmo antes de rotacionar mais.
Meça e monitore seu scraper
Depois que a configuração de proxy funciona, o verdadeiro trabalho é saber se ela continua funcionando. Registre quatro números a cada execução: taxa de sucesso, quantidade de respostas 403 e 429, páginas de CAPTCHA e tráfego usado por mil páginas. Comparados semana a semana, eles mostram de relance se um site endureceu as defesas ou se o seu próprio código regrediu.
Confira também a qualidade dos dados. Campos de preço vazios, uma moeda inesperada ou páginas no idioma errado geralmente significam que a localização do proxy não bate com o alvo, ou que o seu cabeçalho Accept-Language a contradiz.
Como começar com a mistPROXY para scraping
A configuração leva poucos minutos. Crie uma conta grátis na página de cadastro usando só um e-mail, adicione saldo com USDT, BTC, ETH ou outras moedas via mistKET e escolha o tipo de proxy, o país e a quantidade. As credenciais aparecem na hora no painel, prontas para colar no scraper, e você gerencia tráfego e renovações no mesmo lugar. Faça antes um piloto pequeno, meça a taxa de bloqueio e os GB por mil páginas e só então dimensione o pedido.
Os preços são transparentes e por unidade: por GB no residencial, por IP nos tipos estáticos. Veja os preços iniciais atuais na seção de preços e compare os cinco tipos na página de tipos de proxy. Se um proxy novo chegar sem funcionar, o suporte o substitui; fale com a equipe por tickets no painel ou pelo Telegram.


