Proxy pour le web scraping : choisir, faire tourner les IP et scraper proprement

Comment choisir le bon type de proxy pour un projet de scraping, l'intégrer à votre scraper, respecter robots.txt et les limites de débit, et garder le coût au Go sous contrôle.

Par Sofia HartmannMis à jour: 7 min de lecture
Proxy pour le web scraping : requêtes acheminées via des IP de proxy rotatives vers des sites publics

Un proxy pour le web scraping répartit vos requêtes sur de nombreuses adresses IP, afin qu'aucune IP ne déclenche les limites de débit d'un site pendant que vous collectez des données publiques. Utilisez des proxys résidentiels rotatifs pour les sites bien protégés, des proxys datacenter ou IPv6 pour les cibles permissives, et des proxys ISP statiques quand une session doit rester sur une seule IP.

Choisir un proxy n'est que la moitié du travail. Les scrapers qui tournent des mois sans incident associent le bon type d'IP à des requêtes courtoises : concurrence raisonnable, respect de robots.txt, ralentissement dès que le site le demande. Ce guide couvre les deux moitiés, ainsi que la façon de garder des coûts de trafic prévisibles.

Pourquoi un scraper a besoin de proxys

Presque tous les sites limitent le nombre de requêtes qu'une adresse IP peut envoyer sur une période donnée. Un suivi de prix qui contrôle quelques milliers de fiches produit par jour depuis l'IP de votre bureau atteindra vite ce plafond, avec à la clé une avalanche de réponses 429 Too Many Requests, de CAPTCHA ou de blocages 403.

Les proxys règlent trois problèmes concrets :

  • Répartition de la charge — les requêtes sont réparties sur de nombreuses IP, chacune restant bien en dessous des seuils par IP.
  • Localisation — prix, disponibilité, résultats de recherche et même langue changent selon le pays. Un proxy dans le pays cible renvoie les données qu'un visiteur local verrait.
  • Isolation — l'IP de votre entreprise n'est jamais celle qui se fait limiter, et vos collègues peuvent continuer à utiliser le site normalement.
5types de proxys
190+pays
99,9 %de disponibilité réseau
24/7support

Scraper de façon responsable : ce qui est permis

Les proxys rendent le scraping possible à grande échelle ; ils ne rendent pas tous les scrapings acceptables. Avant d'écrire la moindre ligne de code, vérifiez trois choses.

  • Uniquement des données publiques. Fiches produit, prix publics, résultats de recherche, avis publics et articles publiés sont les cibles typiques. Les données derrière la connexion d'un tiers, ou les données personnelles que vous n'avez aucune base légale de traiter (pensez au RGPD), ne le sont pas.
  • robots.txt. Le protocole d'exclusion des robots, normalisé dans la RFC 9309, permet aux éditeurs d'indiquer les chemins que les robots doivent éviter. Analysez-le et respectez les règles Disallow pour votre user agent.
  • Conditions et charge. Lisez les conditions du site, préférez une API officielle ou un flux de données quand il en existe un, et n'envoyez jamais un trafic qui pourrait dégrader le site pour les vrais utilisateurs.
Important : mistPROXY est réservé à un usage légal. Attaques, fraude et spam entraînent une suspension sans remboursement, et vous êtes responsable du trafic que vous envoyez. Scraper de façon responsable est aussi tout simplement plus fiable : les scrapers courtois sont bien moins souvent bloqués.

Quel est le meilleur proxy pour le web scraping ?

Il n'existe pas un meilleur proxy unique pour le web scraping ; le bon choix dépend de la sévérité du filtrage de la cible et du volume de données transféré. mistPROXY propose cinq types, chacun avec un rôle naturel en scraping.

Type de proxyFacturationPoint fortUsage typique en scraping
Résidentiel (rotatif)Au GoIP de vrais utilisateurs, les plus difficiles à détecter, ciblage ville/ASNSites e-commerce, voyage et marketplaces protégés ; résultats locaux
ISP / statiqueÀ l'IPIP résidentielles statiques, rapides et stablesSessions en plusieurs étapes, vos propres tableaux de bord connectés, suivi régulier
Datacenter IPv4À l'IPÉconomique et rapide pour les gros volumesSites permissifs, API publiques, sitemaps, téléchargements en masse
IPv6À l'IPSous-réseaux IPv6 ultra économiquesCibles qui acceptent l'IPv6, très grands crawls à petit budget
Mobile 4G/5GÀ l'IPIP d'opérateur, meilleur score de confianceVersions mobiles des sites, cibles les plus strictes

Une approche pragmatique consiste à commencer bon marché et à monter en gamme seulement si nécessaire : testez d'abord une cible avec des proxys datacenter ou IPv6, et passez au résidentiel uniquement si le taux de blocage est trop élevé. Notre comparatif proxy résidentiel ou datacenter approfondit ce compromis, et le guide des proxys IPv6 explique quand l'IPv6 est un raccourci viable.

La localisation mérite sa propre décision. La plupart des offres permettent de choisir le pays avant l'achat, et les proxys résidentiels peuvent être affinés à la ville ou à l'ASN. C'est important pour comparer des frais de livraison entre villes, vérifier des stocks régionaux ou collecter des résultats de recherche locaux : un proxy dans le pays voisin vous donnerait discrètement de mauvaises données.

IP rotatives ou statiques pour le scraping ?

Les proxys résidentiels rotatifs changent d'IP à chaque requête, ce qu'il faut pour crawler des milliers de pages indépendantes comme des fiches produit ou des résultats de recherche. Chaque requête ressemble à un visiteur différent, si bien que les limites par IP entrent rarement en jeu.

Les proxys ISP statiques conservent la même IP, ce qui compte quand un flux repose sur la continuité : une recherche paginée liée à des cookies de session, un contrôle de prix au panier, ou votre propre tableau de bord dont vous exportez des données. Changer d'IP en pleine session dans ces flux réinitialise souvent la session ou déclenche une vérification supplémentaire. Lisez proxy rotatif ou sticky pour une analyse complète.

Comment utiliser des proxys dans votre scraper

  1. Récupérer les identifiants — après l'achat, vos proxys apparaissent dans le tableau de bord au format host:port:user:pass.
  2. Choisir le protocole — HTTP(S) fonctionne avec presque toutes les bibliothèques ; SOCKS5 est aussi disponible, avec authentification username:password.
  3. Configurer le client — passez l'URL du proxy à votre bibliothèque HTTP, à votre navigateur headless ou à votre framework de scraping.
  4. Tester sur une URL — vérifiez que la réponse vient du pays attendu avant de monter en charge.
  5. Ajouter limitation de débit et relances — puis augmentez progressivement la concurrence en surveillant le taux d'erreurs.

Voici un exemple Python minimal avec la bibliothèque requests :

import time
import requests

PROXY = "http://USER:PASS@HOST:PORT"
proxies = {"http": PROXY, "https": PROXY}

for url in urls:
    r = requests.get(url, proxies=proxies, timeout=30)
    if r.status_code == 429:
        time.sleep(60)  # back off; honour Retry-After if present
        continue
    r.raise_for_status()
    save(r.text)
    time.sleep(1.5)  # polite delay between requests

Pour SOCKS5, installez l'extension SOCKS de requests et utilisez socks5h://USER:PASS@HOST:PORT ; le h signifie que la résolution DNS passe par le proxy, de sorte que les requêtes DNS se font elles aussi depuis la localisation du proxy.

Comment éviter les blocages, sans tricher

La plupart des blocages sont auto-infligés. Ces habitudes maintiennent un taux de réussite élevé sans aucune ruse :

  • Limitez la concurrence par domaine. Quelques requêtes parallèles vers un site suffisent généralement ; montez en charge sur plusieurs domaines, pas contre un seul.
  • Ralentissez sur les 429 et 503. Respectez l'en-tête Retry-After et utilisez un backoff exponentiel au lieu de marteler la même URL.
  • Mettez en cache et dédupliquez. Ne récupérez jamais deux fois la même page dans un run, et utilisez les requêtes conditionnelles (ETag, If-Modified-Since) quand le site les prend en charge.
  • Utilisez sitemaps et flux. Ils listent exactement ce qui a changé, vous crawlez donc moins.
  • Envoyez des en-têtes cohérents. Un user agent cohérent et un Accept-Language correspondant au pays du proxy produisent les bonnes pages localisées et moins d'erreurs.
  • Surveillez les signaux. Une hausse des 403 ou des pages CAPTCHA signifie que vous allez trop vite ou utilisez le mauvais type de proxy ; ralentissez avant de faire tourner davantage les IP.
Astuce coûts : le trafic résidentiel est facturé au Go et consommable, le trafic utilisé n'est donc pas remboursé. Dans les navigateurs headless, bloquez images, polices et vidéos, demandez des réponses compressées et scrapez les endpoints JSON plutôt que les pages complètes quand le site les expose. Récupérer moins reste l'optimisation la moins chère.

Mesurer et surveiller votre scraper

Une fois le proxy opérationnel, le vrai travail consiste à savoir s'il continue de fonctionner. Journalisez quatre chiffres à chaque run : taux de réussite, nombre de réponses 403 et 429, pages CAPTCHA et trafic consommé pour mille pages. Comparés d'une semaine à l'autre, ils montrent d'un coup d'œil si un site a renforcé ses défenses ou si votre propre code a régressé.

Contrôlez aussi la qualité des données. Des champs de prix vides, une devise inattendue ou des pages dans la mauvaise langue signifient généralement que la localisation du proxy ne correspond pas à la cible, ou que votre en-tête Accept-Language la contredit.

Démarrer le scraping avec mistPROXY

La mise en place prend quelques minutes. Créez un compte gratuit sur la page d'inscription avec une simple adresse e-mail, rechargez votre solde en USDT, BTC, ETH ou d'autres cryptos via mistKET, puis choisissez le type de proxy, le pays et la quantité. Les identifiants s'affichent immédiatement dans le tableau de bord, prêts à coller dans votre scraper, et vous gérez trafic et renouvellements depuis le même panneau. Lancez d'abord un petit pilote, mesurez votre taux de blocage et le nombre de Go pour mille pages, et seulement ensuite dimensionnez votre commande.

La tarification est transparente et à l'unité : au Go pour le résidentiel, à l'IP pour les types statiques. Les prix de départ actuels figurent dans la section tarifs, et la page des types de proxys compare les cinq offres. Si un proxy neuf ne fonctionne pas dès la livraison, le support le remplace ; contactez l'équipe via les tickets du panneau ou sur Telegram.

Questions fréquentes

Quel type de proxy est le meilleur pour le web scraping ?
Tout dépend de la cible. Les proxys résidentiels rotatifs sont les plus efficaces sur les sites bien protégés, car ils utilisent des IP de vrais utilisateurs. Les proxys datacenter IPv4 et IPv6 sont moins chers et plus rapides pour les sites permissifs et les gros volumes. Les proxys ISP statiques conviennent aux flux qui exigent une seule IP pendant toute la session.
Le web scraping avec des proxys est-il légal ?
Collecter des données publiquement accessibles est une pratique répandue et généralement licite, mais cela dépend de votre juridiction, des conditions du site et des données concernées. Limitez-vous aux données publiques, respectez robots.txt, évitez les données personnelles sans base légale et ne surchargez jamais un site. Les proxys ne changent rien à ces obligations.
Combien de proxys faut-il pour le web scraping ?
Cela dépend du volume de requêtes et de la sévérité de la cible. Avec des proxys résidentiels rotatifs, un seul point d'accès s'appuie sur de nombreuses IP et vous payez au Go. Avec des proxys datacenter ou ISP statiques, estimez le nombre de requêtes par IP que le site tolère, divisez votre volume horaire par ce chiffre et ajoutez une marge.
Pourquoi suis-je encore bloqué avec des proxys ?
Généralement à cause du schéma des requêtes plutôt que de l'IP : trop de requêtes parallèles vers un même domaine, aucun ralentissement sur les erreurs 429, ou des en-têtes qui ne correspondent pas à la localisation du proxy. Les IP datacenter peuvent aussi être filtrées sur les sites stricts, où les proxys résidentiels ou mobiles s'en sortent mieux.
Proxys rotatifs ou statiques pour le scraping ?
Utilisez des proxys rotatifs pour crawler de nombreuses pages indépendantes, chaque requête obtenant une nouvelle IP. Utilisez des proxys ISP statiques quand le travail dépend d'une session, comme des résultats paginés liés à des cookies ou l'export de données depuis votre propre compte.

Articles liés

Derniers articles

Tous les articles