Proxy pour le web scraping : choisir, faire tourner les IP et scraper proprement
Comment choisir le bon type de proxy pour un projet de scraping, l'intégrer à votre scraper, respecter robots.txt et les limites de débit, et garder le coût au Go sous contrôle.

Un proxy pour le web scraping répartit vos requêtes sur de nombreuses adresses IP, afin qu'aucune IP ne déclenche les limites de débit d'un site pendant que vous collectez des données publiques. Utilisez des proxys résidentiels rotatifs pour les sites bien protégés, des proxys datacenter ou IPv6 pour les cibles permissives, et des proxys ISP statiques quand une session doit rester sur une seule IP.
Choisir un proxy n'est que la moitié du travail. Les scrapers qui tournent des mois sans incident associent le bon type d'IP à des requêtes courtoises : concurrence raisonnable, respect de robots.txt, ralentissement dès que le site le demande. Ce guide couvre les deux moitiés, ainsi que la façon de garder des coûts de trafic prévisibles.
Pourquoi un scraper a besoin de proxys
Presque tous les sites limitent le nombre de requêtes qu'une adresse IP peut envoyer sur une période donnée. Un suivi de prix qui contrôle quelques milliers de fiches produit par jour depuis l'IP de votre bureau atteindra vite ce plafond, avec à la clé une avalanche de réponses 429 Too Many Requests, de CAPTCHA ou de blocages 403.
Les proxys règlent trois problèmes concrets :
- Répartition de la charge — les requêtes sont réparties sur de nombreuses IP, chacune restant bien en dessous des seuils par IP.
- Localisation — prix, disponibilité, résultats de recherche et même langue changent selon le pays. Un proxy dans le pays cible renvoie les données qu'un visiteur local verrait.
- Isolation — l'IP de votre entreprise n'est jamais celle qui se fait limiter, et vos collègues peuvent continuer à utiliser le site normalement.
Scraper de façon responsable : ce qui est permis
Les proxys rendent le scraping possible à grande échelle ; ils ne rendent pas tous les scrapings acceptables. Avant d'écrire la moindre ligne de code, vérifiez trois choses.
- Uniquement des données publiques. Fiches produit, prix publics, résultats de recherche, avis publics et articles publiés sont les cibles typiques. Les données derrière la connexion d'un tiers, ou les données personnelles que vous n'avez aucune base légale de traiter (pensez au RGPD), ne le sont pas.
- robots.txt. Le protocole d'exclusion des robots, normalisé dans la RFC 9309, permet aux éditeurs d'indiquer les chemins que les robots doivent éviter. Analysez-le et respectez les règles Disallow pour votre user agent.
- Conditions et charge. Lisez les conditions du site, préférez une API officielle ou un flux de données quand il en existe un, et n'envoyez jamais un trafic qui pourrait dégrader le site pour les vrais utilisateurs.
Quel est le meilleur proxy pour le web scraping ?
Il n'existe pas un meilleur proxy unique pour le web scraping ; le bon choix dépend de la sévérité du filtrage de la cible et du volume de données transféré. mistPROXY propose cinq types, chacun avec un rôle naturel en scraping.
| Type de proxy | Facturation | Point fort | Usage typique en scraping |
|---|---|---|---|
| Résidentiel (rotatif) | Au Go | IP de vrais utilisateurs, les plus difficiles à détecter, ciblage ville/ASN | Sites e-commerce, voyage et marketplaces protégés ; résultats locaux |
| ISP / statique | À l'IP | IP résidentielles statiques, rapides et stables | Sessions en plusieurs étapes, vos propres tableaux de bord connectés, suivi régulier |
| Datacenter IPv4 | À l'IP | Économique et rapide pour les gros volumes | Sites permissifs, API publiques, sitemaps, téléchargements en masse |
| IPv6 | À l'IP | Sous-réseaux IPv6 ultra économiques | Cibles qui acceptent l'IPv6, très grands crawls à petit budget |
| Mobile 4G/5G | À l'IP | IP d'opérateur, meilleur score de confiance | Versions mobiles des sites, cibles les plus strictes |
Une approche pragmatique consiste à commencer bon marché et à monter en gamme seulement si nécessaire : testez d'abord une cible avec des proxys datacenter ou IPv6, et passez au résidentiel uniquement si le taux de blocage est trop élevé. Notre comparatif proxy résidentiel ou datacenter approfondit ce compromis, et le guide des proxys IPv6 explique quand l'IPv6 est un raccourci viable.
La localisation mérite sa propre décision. La plupart des offres permettent de choisir le pays avant l'achat, et les proxys résidentiels peuvent être affinés à la ville ou à l'ASN. C'est important pour comparer des frais de livraison entre villes, vérifier des stocks régionaux ou collecter des résultats de recherche locaux : un proxy dans le pays voisin vous donnerait discrètement de mauvaises données.
IP rotatives ou statiques pour le scraping ?
Les proxys résidentiels rotatifs changent d'IP à chaque requête, ce qu'il faut pour crawler des milliers de pages indépendantes comme des fiches produit ou des résultats de recherche. Chaque requête ressemble à un visiteur différent, si bien que les limites par IP entrent rarement en jeu.
Les proxys ISP statiques conservent la même IP, ce qui compte quand un flux repose sur la continuité : une recherche paginée liée à des cookies de session, un contrôle de prix au panier, ou votre propre tableau de bord dont vous exportez des données. Changer d'IP en pleine session dans ces flux réinitialise souvent la session ou déclenche une vérification supplémentaire. Lisez proxy rotatif ou sticky pour une analyse complète.
Comment utiliser des proxys dans votre scraper
- Récupérer les identifiants — après l'achat, vos proxys apparaissent dans le tableau de bord au format host:port:user:pass.
- Choisir le protocole — HTTP(S) fonctionne avec presque toutes les bibliothèques ; SOCKS5 est aussi disponible, avec authentification username:password.
- Configurer le client — passez l'URL du proxy à votre bibliothèque HTTP, à votre navigateur headless ou à votre framework de scraping.
- Tester sur une URL — vérifiez que la réponse vient du pays attendu avant de monter en charge.
- Ajouter limitation de débit et relances — puis augmentez progressivement la concurrence en surveillant le taux d'erreurs.
Voici un exemple Python minimal avec la bibliothèque requests :
import time
import requests
PROXY = "http://USER:PASS@HOST:PORT"
proxies = {"http": PROXY, "https": PROXY}
for url in urls:
r = requests.get(url, proxies=proxies, timeout=30)
if r.status_code == 429:
time.sleep(60) # back off; honour Retry-After if present
continue
r.raise_for_status()
save(r.text)
time.sleep(1.5) # polite delay between requestsPour SOCKS5, installez l'extension SOCKS de requests et utilisez socks5h://USER:PASS@HOST:PORT ; le h signifie que la résolution DNS passe par le proxy, de sorte que les requêtes DNS se font elles aussi depuis la localisation du proxy.
Comment éviter les blocages, sans tricher
La plupart des blocages sont auto-infligés. Ces habitudes maintiennent un taux de réussite élevé sans aucune ruse :
- Limitez la concurrence par domaine. Quelques requêtes parallèles vers un site suffisent généralement ; montez en charge sur plusieurs domaines, pas contre un seul.
- Ralentissez sur les 429 et 503. Respectez l'en-tête Retry-After et utilisez un backoff exponentiel au lieu de marteler la même URL.
- Mettez en cache et dédupliquez. Ne récupérez jamais deux fois la même page dans un run, et utilisez les requêtes conditionnelles (ETag, If-Modified-Since) quand le site les prend en charge.
- Utilisez sitemaps et flux. Ils listent exactement ce qui a changé, vous crawlez donc moins.
- Envoyez des en-têtes cohérents. Un user agent cohérent et un Accept-Language correspondant au pays du proxy produisent les bonnes pages localisées et moins d'erreurs.
- Surveillez les signaux. Une hausse des 403 ou des pages CAPTCHA signifie que vous allez trop vite ou utilisez le mauvais type de proxy ; ralentissez avant de faire tourner davantage les IP.
Mesurer et surveiller votre scraper
Une fois le proxy opérationnel, le vrai travail consiste à savoir s'il continue de fonctionner. Journalisez quatre chiffres à chaque run : taux de réussite, nombre de réponses 403 et 429, pages CAPTCHA et trafic consommé pour mille pages. Comparés d'une semaine à l'autre, ils montrent d'un coup d'œil si un site a renforcé ses défenses ou si votre propre code a régressé.
Contrôlez aussi la qualité des données. Des champs de prix vides, une devise inattendue ou des pages dans la mauvaise langue signifient généralement que la localisation du proxy ne correspond pas à la cible, ou que votre en-tête Accept-Language la contredit.
Démarrer le scraping avec mistPROXY
La mise en place prend quelques minutes. Créez un compte gratuit sur la page d'inscription avec une simple adresse e-mail, rechargez votre solde en USDT, BTC, ETH ou d'autres cryptos via mistKET, puis choisissez le type de proxy, le pays et la quantité. Les identifiants s'affichent immédiatement dans le tableau de bord, prêts à coller dans votre scraper, et vous gérez trafic et renouvellements depuis le même panneau. Lancez d'abord un petit pilote, mesurez votre taux de blocage et le nombre de Go pour mille pages, et seulement ensuite dimensionnez votre commande.
La tarification est transparente et à l'unité : au Go pour le résidentiel, à l'IP pour les types statiques. Les prix de départ actuels figurent dans la section tarifs, et la page des types de proxys compare les cinq offres. Si un proxy neuf ne fonctionne pas dès la livraison, le support le remplace ; contactez l'équipe via les tickets du panneau ou sur Telegram.


