Proxies für Web Scraping: Auswahl, Rotation und verantwortungsvolles Scraping

Wie Sie den richtigen Proxy-Typ für einen Scraping-Job wählen, ihn in Ihren Scraper einbinden, robots.txt und Rate Limits einhalten und die Kosten pro GB im Griff behalten.

Von Sofia HartmannAktualisiert: 6 Min. Lesezeit
Proxies für Web Scraping: Anfragen laufen über rotierende Proxy-IPs zu öffentlichen Websites

Proxies für Web Scraping verteilen Ihre Anfragen auf viele IP-Adressen, sodass keine einzelne IP die Rate Limits einer Website auslöst, während Sie öffentliche Daten sammeln. Nutzen Sie rotierende Residential-Proxies für gut geschützte Websites, Datacenter- oder IPv6-Proxies für tolerante Ziele und statische ISP Proxies, wenn eine Session auf einer IP bleiben muss.

Die Wahl des Proxys ist nur die halbe Arbeit. Scraper, die monatelang problemlos laufen, kombinieren den richtigen IP-Typ mit höflichen Anfragemustern: vernünftige Parallelität, Respekt vor robots.txt, Zurückhaltung, wenn eine Website zum Bremsen auffordert. Dieser Ratgeber behandelt beide Hälften – und zeigt, wie Sie die Traffic-Kosten planbar halten.

Warum Web Scraper Proxies brauchen

Fast jede Website begrenzt, wie viele Anfragen eine IP-Adresse in einem bestimmten Zeitraum stellen darf. Ein Preismonitoring, das täglich einige tausend Produktseiten von Ihrer Büro-IP aus prüft, stößt schnell an diese Grenze. Das Ergebnis ist eine Wand aus 429-Too-Many-Requests-Antworten, CAPTCHAs oder direkten 403-Sperren.

Proxies lösen drei praktische Probleme:

  • Lastverteilung – Anfragen werden auf viele IPs verteilt, sodass jede einzelne weit unter den Schwellen pro IP bleibt.
  • Standort – Preise, Verfügbarkeit, Suchergebnisse und sogar Sprachen ändern sich je nach Land. Ein Proxy im Zielland liefert die Daten, die ein lokaler Besucher sehen würde.
  • Isolation – Ihre eigene Firmen-IP wird nie gedrosselt, sodass Kollegen die Website weiterhin normal nutzen können.
5Proxy-Typen
190+Länder
99.9%Netzwerk-Uptime
24/7Support

Verantwortungsvoll scrapen: was erlaubt ist

Proxies machen Scraping in großem Umfang möglich; sie machen aber nicht jede Art von Scraping akzeptabel. Bevor Sie eine Zeile Code schreiben, prüfen Sie drei Dinge.

  • Nur öffentliche Daten. Produktlisten, öffentliche Preise, Suchergebnisse, öffentliche Bewertungen und veröffentlichte Artikel sind typische Ziele. Daten hinter dem Login anderer oder personenbezogene Daten, für deren Verarbeitung Sie keine Rechtsgrundlage haben, gehören nicht dazu.
  • robots.txt. Das Robots Exclusion Protocol, standardisiert als RFC 9309, ist der Weg, über den Website-Betreiber mitteilen, welche Pfade Crawler meiden sollen. Parsen Sie die Datei und halten Sie die Disallow-Regeln für Ihren User-Agent ein.
  • Bedingungen und Last. Lesen Sie die Nutzungsbedingungen, bevorzugen Sie eine offizielle API oder einen Datenfeed, wenn es sie gibt, und senden Sie nie Traffic, der die Website für echte Nutzer beeinträchtigen könnte.
Wichtig: mistPROXY ist nur für legale Nutzung gedacht. Angriffe, Betrug und Spam führen zur Sperrung ohne Rückerstattung, und Sie sind für den gesendeten Traffic verantwortlich. Verantwortungsvolles Scraping ist zudem schlicht zuverlässiger: Höfliche Scraper werden weit seltener blockiert.

Welcher Proxy-Typ ist am besten für Web Scraping?

Es gibt nicht den einen besten Proxy für Web Scraping; die richtige Wahl hängt davon ab, wie streng das Ziel Traffic filtert und wie viele Daten Sie übertragen. mistPROXY bietet fünf Typen, und jeder hat eine natürliche Rolle beim Scraping.

Proxy-TypAbrechnungStärkeTypischer Scraping-Einsatz
Residential (rotierend)Pro GBIPs echter Nutzer, am schwersten zu erkennen, Targeting nach Stadt/ASNGeschützte E-Commerce-, Reise- und Marktplatz-Websites; lokale Ergebnisse
ISP / statischPro IPStatische Residential-IPs, schnell und stabilMehrstufige Sessions, eigene Dashboards mit Login, gleichmäßiges Monitoring
Datacenter IPv4Pro IPGünstig und schnell bei hohem VolumenTolerante Websites, öffentliche APIs, Sitemaps, Massen-Downloads
IPv6Pro IPExtrem günstige IPv6-SubnetzeZiele mit IPv6-Unterstützung, sehr große Crawls mit kleinem Budget
Mobile 4G/5GPro IPCarrier-IPs, höchster VertrauenswertMobile Versionen von Websites, die strengsten Ziele

Ein pragmatischer Ansatz: günstig starten und nur bei Bedarf eskalieren. Testen Sie ein Ziel zuerst mit Datacenter- oder IPv6-Proxies und wechseln Sie nur zu Residential, wenn die Blockrate zu hoch ist. Unser Vergleich Residential vs. Datacenter Proxies vertieft diesen Kompromiss, und der Ratgeber zu IPv6 Proxies erklärt, wann IPv6 eine gangbare Abkürzung ist.

Der Standort verdient eine eigene Entscheidung. Bei den meisten Produkten wählen Sie das Land vor dem Kauf, und Residential-Proxies lassen sich zusätzlich auf eine Stadt oder ASN eingrenzen. Das ist wichtig für Aufgaben wie den Vergleich von Liefergebühren zwischen Städten, die Prüfung regionaler Lagerbestände oder das Sammeln lokaler Suchergebnisse – hier würde Ihnen ein Proxy aus dem Nachbarland unbemerkt falsche Daten liefern.

Rotierende oder statische IPs fürs Scraping?

Rotierende Residential-Proxies wechseln die IP bei jeder Anfrage – genau das, was Sie zum Crawlen tausender unabhängiger Seiten wie Produktdetails oder Suchergebnisse brauchen. Jede Anfrage wirkt wie ein anderer Besucher, sodass Limits pro IP kaum greifen.

Statische ISP Proxies behalten dieselbe IP. Das zählt, wenn ein Workflow auf Kontinuität angewiesen ist: eine Suche mit paginierten Ergebnissen, die an Session-Cookies gebunden sind, ein Preischeck im Warenkorb oder ein eigenes Dashboard, aus dem Sie Daten exportieren. Ein IP-Wechsel mitten in der Session setzt diese oft zurück oder löst zusätzliche Verifizierungen aus. Eine vollständige Gegenüberstellung finden Sie unter rotierende vs. Sticky Proxies.

So nutzen Sie Proxies in Ihrem Scraper

  1. Zugangsdaten holen – nach dem Kauf erscheinen Ihre Proxies im Dashboard als host:port:user:pass.
  2. Protokoll wählen – HTTP(S) funktioniert mit nahezu jeder Bibliothek; SOCKS5 steht ebenfalls zur Verfügung, mit Authentifizierung per Benutzername und Passwort.
  3. Client konfigurieren – übergeben Sie die Proxy-URL an Ihre HTTP-Bibliothek, den Headless-Browser oder das Scraping-Framework.
  4. Mit einer URL testen – prüfen Sie, ob die Antwort aus dem erwarteten Land kommt, bevor Sie hochskalieren.
  5. Rate Limiting und Retries ergänzen – erhöhen Sie danach die Parallelität schrittweise und behalten Sie die Fehlerquote im Blick.

Ein minimales Python-Beispiel mit der Bibliothek requests sieht so aus:

import time
import requests

PROXY = "http://USER:PASS@HOST:PORT"
proxies = {"http": PROXY, "https": PROXY}

for url in urls:
    r = requests.get(url, proxies=proxies, timeout=30)
    if r.status_code == 429:
        time.sleep(60)  # zurückhalten; Retry-After beachten, falls vorhanden
        continue
    r.raise_for_status()
    save(r.text)
    time.sleep(1.5)  # höfliche Pause zwischen Anfragen

Für SOCKS5 installieren Sie das SOCKS-Extra für requests und nutzen socks5h://USER:PASS@HOST:PORT; das h bedeutet, dass DNS über den Proxy aufgelöst wird, sodass auch die Namensauflösung am Standort des Proxys stattfindet.

Blockierungen vermeiden – auf die höfliche Art

Die meisten Sperren sind hausgemacht. Diese Gewohnheiten halten die Erfolgsquote hoch, ganz ohne Tricks:

  • Parallelität pro Domain begrenzen. Eine Handvoll paralleler Anfragen an eine Website reicht meist; skalieren Sie über Domains hinweg, nicht gegen eine einzelne.
  • Bei 429 und 503 zurückfahren. Respektieren Sie den Retry-After-Header und nutzen Sie exponentielles Backoff, statt dieselbe URL immer wieder abzufragen.
  • Cachen und deduplizieren. Laden Sie dieselbe Seite nie zweimal pro Durchlauf und nutzen Sie bedingte Anfragen (ETag, If-Modified-Since), wo die Website sie unterstützt.
  • Sitemaps und Feeds nutzen. Sie listen genau auf, was sich geändert hat, sodass Sie weniger crawlen müssen.
  • Konsistente Header senden. Ein stimmiger User-Agent und eine Accept-Language passend zum Land des Proxys liefern korrekt lokalisierte Seiten und weniger Fehler.
  • Auf Signale achten. Steigende 403-Antworten oder CAPTCHA-Seiten bedeuten, dass Sie zu schnell sind oder den falschen Proxy-Typ nutzen; bremsen Sie ab, bevor Sie stärker rotieren.
Kostentipp: Residential-Traffic wird pro GB abgerechnet und verbraucht, genutzter Traffic wird nicht erstattet. Blockieren Sie in Headless-Browsern Bilder, Schriften und Videos, fordern Sie komprimierte Antworten an und scrapen Sie JSON-Endpunkte statt ganzer Seiten, wenn die Website sie bereitstellt. Weniger laden ist die günstigste Optimierung überhaupt.

Scraper messen und überwachen

Sobald das Proxy-Setup läuft, besteht die eigentliche Aufgabe darin zu wissen, ob es weiter funktioniert. Protokollieren Sie bei jedem Lauf vier Kennzahlen: Erfolgsquote, Anzahl der 403- und 429-Antworten, CAPTCHA-Seiten und verbrauchten Traffic pro tausend Seiten. Im Wochenvergleich sehen Sie auf einen Blick, ob eine Website ihre Abwehr verschärft hat oder Ihr eigener Code schlechter geworden ist.

Prüfen Sie auch die Datenqualität. Leere Preisfelder, eine unerwartete Währung oder Seiten in der falschen Sprache bedeuten meist, dass der Proxy-Standort nicht zum Ziel passt oder Ihr Accept-Language-Header ihm widerspricht.

Mit mistPROXY ins Scraping einsteigen

Die Einrichtung dauert wenige Minuten. Erstellen Sie auf der Registrierungsseite nur mit einer E-Mail-Adresse ein kostenloses Konto, laden Sie Ihr Guthaben mit USDT, BTC, ETH oder anderen Coins über mistKET auf und wählen Sie dann Proxy-Typ, Land und Menge. Die Zugangsdaten erscheinen sofort im Dashboard, bereit zum Einfügen in Ihren Scraper, und Traffic sowie Verlängerungen verwalten Sie im selben Panel. Starten Sie mit einem kleinen Pilotprojekt, messen Sie Blockrate und GB pro tausend Seiten und dimensionieren Sie erst dann Ihre Bestellung.

Die Preise sind transparent und pro Einheit: pro GB für Residential, pro IP für statische Typen. Aktuelle Einstiegspreise finden Sie im Preisbereich, und auf der Seite zu den Proxy-Typen vergleichen Sie alle fünf. Funktioniert ein neuer Proxy bei Auslieferung nicht, ersetzt ihn der Support; das Team erreichen Sie über Tickets im Panel oder per Telegram.

Häufige Fragen

Welcher Proxy-Typ ist am besten für Web Scraping?
Das hängt vom Ziel ab. Rotierende Residential-Proxies funktionieren am besten auf gut geschützten Websites, weil sie IPs echter Nutzer verwenden. Datacenter-IPv4- und IPv6-Proxies sind günstiger und schneller für tolerante Websites und Massenjobs. Statische ISP Proxies passen zu Workflows, die eine IP für die gesamte Session brauchen.
Ist Web Scraping mit Proxies legal?
Das Scraping öffentlich zugänglicher Daten ist weit verbreitet und im Allgemeinen rechtmäßig, hängt aber von Ihrer Rechtsordnung, den Bedingungen der Website und den betroffenen Daten ab. Bleiben Sie bei öffentlichen Daten, respektieren Sie robots.txt, verarbeiten Sie keine personenbezogenen Daten ohne Rechtsgrundlage und überlasten Sie keine Website. Proxies ändern an diesen Pflichten nichts.
Wie viele Proxies brauche ich für Web Scraping?
Das hängt vom Anfragevolumen und der Strenge des Ziels ab. Bei rotierenden Residential-Proxies greift ein Endpunkt auf viele IPs zu, und Sie zahlen pro GB. Bei statischen Datacenter- oder ISP Proxies schätzen Sie, wie viele Anfragen pro IP die Website toleriert, teilen Ihr stündliches Volumen dadurch und planen einen Puffer ein.
Warum werde ich trotz Proxies blockiert?
Meist liegt es an den Anfragemustern statt an der IP: zu viele parallele Anfragen an eine Domain, kein Backoff bei 429-Fehlern oder Header, die nicht zum Standort des Proxys passen. Strenge Websites können zudem Datacenter-IPs filtern – dort schneiden Residential- oder Mobile-Proxies besser ab.
Sollte ich rotierende oder statische Proxies fürs Scraping nutzen?
Rotierende Proxies für das Crawlen vieler unabhängiger Seiten, da jede Anfrage eine frische IP erhält. Statische ISP Proxies, wenn der Job von einer Session abhängt, etwa bei paginierten Ergebnissen mit Cookies oder beim Export von Daten aus Ihrem eigenen Konto.

Ähnliche Artikel

Neueste Artikel

Alle Artikel