Web Scraping İçin Proxy: Doğru Türü Seçme ve Sorumlu Veri Toplama
Veri toplama işine uygun proxy türünü seçmeyi, scraper'ına bağlamayı, robots.txt ve hız limitlerine uymayı ve GB başına maliyeti kontrol altında tutmayı anlatıyoruz.

Web scraping için proxy, isteklerini çok sayıda IP adresine dağıtarak herkese açık veri toplarken tek bir IP'nin sitenin hız limitine takılmasını önler. İyi korunan siteler için rotating residential, toleranslı hedefler için datacenter veya IPv6, oturumun tek IP'de kalması gereken işler için statik ISP proxy kullanılır.
Ancak doğru proxy'yi seçmek işin sadece yarısı. Aylarca sorunsuz çalışan scraper'lar doğru IP türünü nazik istek alışkanlıklarıyla birleştirir: makul eşzamanlılık, robots.txt'ye saygı, site yavaşla dediğinde geri çekilmek. Bu rehberde iki tarafı da ele alıyor, trafik maliyetini nasıl öngörülebilir tutacağını da gösteriyoruz.
Scraper'lar neden proxy'ye ihtiyaç duyar?
Neredeyse her site, tek bir IP adresinin belirli bir sürede yapabileceği istek sayısını sınırlar. Diyelim ki rakiplerinin fiyatlarını izlemek için her gün birkaç bin ürün sayfasını ofisindeki sabit IP'den kontrol ediyorsun. Bu sınıra çok çabuk ulaşırsın; sonuç da 429 Too Many Requests yanıtları, CAPTCHA sayfaları ya da doğrudan 403 engelleri olur.
Proxy burada üç somut sorunu çözer:
- Yük dağıtımı — istekler çok sayıda IP'ye yayılır, böylece her IP sitenin eşiğinin rahatça altında kalır.
- Konum — fiyat, stok durumu, arama sonuçları ve hatta dil ülkeye göre değişir. Hedef ülkedeki bir proxy, o ülkedeki gerçek bir ziyaretçinin gördüğü veriyi getirir.
- İzolasyon — hız limitine takılan hiçbir zaman şirketinin kendi IP'si olmaz; ekip arkadaşların siteyi normal şekilde kullanmaya devam eder.
Sorumlu scraping: neyi toplayabilirsin?
Proxy, büyük ölçekte veri toplamayı mümkün kılar ama her türlü veri toplamayı meşru hale getirmez. Tek satır kod yazmadan önce şu üç konuyu netleştir:
- Sadece herkese açık veri. Ürün listeleri, açık fiyatlar, arama sonuçları, herkese açık yorumlar ve yayımlanmış içerikler tipik hedeflerdir. Başkasının hesabı arkasındaki veriler ya da işlemek için hukuki dayanağın olmayan kişisel veriler (KVKK ve GDPR kapsamında) hedef değildir.
- robots.txt. RFC 9309 ile standart hale gelen Robots Exclusion Protocol, site sahiplerinin botların hangi yollara girmemesi gerektiğini belirttiği yöntemdir. Dosyayı oku ve kendi user agent'ına yönelik Disallow kurallarına uy.
- Kullanım koşulları ve yük. Sitenin koşullarını oku, varsa resmi API ya da veri akışını tercih et ve gerçek kullanıcıların deneyimini bozacak hacimde trafik gönderme.
Web scraping için en iyi proxy türü hangisi?
Tek bir doğru cevap yok; seçim, hedef sitenin trafiği ne kadar sıkı filtrelediğine ve ne kadar veri taşıyacağına bağlı. mistPROXY'deki beş proxy türünün her birinin scraping'de doğal bir rolü var:
| Proxy türü | Ücretlendirme | Güçlü yanı | Tipik scraping kullanımı |
|---|---|---|---|
| Residential (rotating) | GB başına | Gerçek kullanıcı IP'leri, tespiti en zor tür, şehir/ASN hedefleme | Korumalı e-ticaret, seyahat ve pazar yeri siteleri; yerel sonuçlar |
| ISP / Statik | IP başına | Statik residential IP'ler, hızlı ve stabil | Çok adımlı oturumlar, kendi panellerinden veri dışa aktarma, düzenli izleme |
| Datacenter IPv4 | IP başına | Ucuz ve hızlı, yüksek hacim için | Toleranslı siteler, açık API'ler, sitemap'ler, toplu indirmeler |
| IPv6 | IP başına | Çok ucuz IPv6 subnet'leri | IPv6 kabul eden hedefler, düşük bütçeli büyük taramalar |
| Mobil 4G/5G | IP başına | Operatör IP'leri, en yüksek güven puanı | Sitelerin mobil sürümleri, en sıkı hedefler |
Pratik yaklaşım ucuzdan başlayıp gerektiğinde bir üst seviyeye çıkmaktır: hedefi önce datacenter ya da IPv6 proxy ile dene, engel oranı kabul edilemez seviyedeyse residential'a geç. Bu dengeyi residential proxy nedir yazımızda, IPv6'nın ne zaman işe yaradığını ise IPv6 proxy satın al rehberinde ayrıntılı anlattık.
Konum da ayrı bir karar. Çoğu üründe ülkeyi satın almadan önce seçersin; residential proxy'lerde ise bunu şehir ya da ASN düzeyine kadar daraltabilirsin. İstanbul ile İzmir arasındaki kargo ücretlerini karşılaştırmak, bölgesel stok durumunu izlemek ya da yerel arama sonuçlarını toplamak gibi işlerde yanlış konumdaki bir proxy sessizce hatalı veri getirir.
Rotating mi statik IP mi?
Rotating residential proxy her istekte IP değiştirir. Ürün detayları ya da arama sonuçları gibi birbirinden bağımsız binlerce sayfayı tararken tam olarak istediğin budur: her istek farklı bir ziyaretçi gibi görünür ve IP başına limitler neredeyse devreye girmez.
Statik ISP proxy ise aynı IP'yi korur. İş akışı süreklilik gerektiriyorsa bu kritik hale gelir: çerezlere bağlı sayfalı arama sonuçları, sepet gerektiren bir fiyat kontrolü ya da kendi hesabından veri dışa aktardığın bir panel. Böyle akışlarda oturumun ortasında IP değişirse oturum sıfırlanır ya da ek doğrulama istenir. Ayrıntılı karşılaştırma için rotating proxy nedir yazımıza göz at.
Proxy'yi scraper'ına nasıl bağlarsın?
- Bilgileri al — satın alma sonrası proxy'lerin panelde host:port:user:pass biçiminde görünür.
- Protokolü seç — HTTP(S) neredeyse her kütüphaneyle çalışır; kullanıcı adı ve şifre doğrulamalı SOCKS5 de mevcut.
- İstemciyi yapılandır — proxy adresini HTTP kütüphanene, headless tarayıcına ya da scraping framework'üne ver.
- Tek URL ile test et — ölçeklemeden önce yanıtın beklenen ülkeden geldiğini doğrula.
- Hız sınırı ve yeniden deneme ekle — sonra hata oranlarını izleyerek eşzamanlılığı kademeli artır.
Python'da requests kütüphanesiyle en sade örnek şöyle:
import time
import requests
PROXY = "http://USER:PASS@HOST:PORT"
proxies = {"http": PROXY, "https": PROXY}
for url in urls:
r = requests.get(url, proxies=proxies, timeout=30)
if r.status_code == 429:
time.sleep(60) # geri çekil; varsa Retry-After değerine uy
continue
r.raise_for_status()
kaydet(r.text)
time.sleep(1.5) # istekler arası nazik beklemeSOCKS5 için requests'in SOCKS eklentisini kur ve socks5h://USER:PASS@HOST:PORT biçimini kullan. Sondaki h harfi, DNS sorgularının da proxy üzerinden, yani proxy'nin bulunduğu konumda yapılmasını sağlar.
Engellenmeden veri çekmenin nazik yolu
Engellerin büyük kısmını aslında kendimiz yaratırız. Şu alışkanlıklar, hiçbir hileye başvurmadan başarı oranını yüksek tutar:
- Alan adı başına eşzamanlılığı sınırla. Tek bir siteye birkaç paralel istek çoğu zaman yeterlidir; ölçeği tek siteye yüklenerek değil, farklı siteler arasında büyüt.
- 429 ve 503'te geri çekil. Retry-After başlığına uy ve aynı URL'ye üst üste yüklenmek yerine üstel bekleme (exponential backoff) kullan.
- Önbellek kullan, tekrarları ayıkla. Aynı sayfayı bir çalıştırmada iki kez çekme; site destekliyorsa ETag ve If-Modified-Since gibi koşullu istekleri kullan.
- Sitemap ve akışlardan yararlan. Neyin değiştiğini doğrudan listeledikleri için daha az tarama yaparsın.
- Tutarlı başlıklar gönder. Proxy'nin ülkesiyle uyumlu bir user agent ve Accept-Language, doğru yerelleştirilmiş sayfaları ve daha az hata getirir.
- Sinyalleri izle. Artan 403'ler ya da CAPTCHA sayfaları çok hızlı gittiğini veya yanlış proxy türü kullandığını gösterir; IP'yi daha sık döndürmeden önce yavaşla.
Scraping projeni ölç ve izle
Proxy altyapısı kurulduktan sonra asıl iş, neyin işe yaradığını ölçmektir. Her çalıştırmada en azından şu dört metriği kaydet: başarılı yanıt oranı, 403 ve 429 sayısı, CAPTCHA sayfası sayısı ve bin sayfa başına tüketilen trafik. Bu rakamlar haftadan haftaya kıyaslandığında bir sitenin korumasını sıkılaştırdığını ya da senin kodunda bir şeylerin ters gittiğini hemen fark edersin.
Bir de veri kalitesini kontrol et. Boş dönen fiyat alanları, beklenmedik para birimi ya da yanlış dilde sayfalar genellikle proxy konumunun hedefle uyuşmadığını gösterir. Örneğin Türkiye fiyatlarını izlerken yanıtlar euro ile geliyorsa, ya proxy ülkesi yanlış seçilmiştir ya da Accept-Language başlığın tutarsızdır.
mistPROXY ile scraping'e başlamak
Kurulum birkaç dakika sürer. Kayıt sayfasından sadece e-posta ile ücretsiz hesap aç, mistKET üzerinden USDT, BTC, ETH ya da diğer coin'lerle bakiye yükle, ardından proxy türünü, ülkeyi ve adedi seç. Bilgiler panelde anında görünür ve scraper'ına yapıştırmaya hazırdır; trafik ve yenilemeleri de aynı panelden yönetirsin. Önce küçük bir pilot çalıştır, engel oranını ve bin sayfa başına harcanan GB'ı ölç, siparişini ondan sonra boyutlandır.
Fiyatlandırma şeffaf ve birim bazlıdır: residential için GB başına, statik türler için IP başına. Güncel başlangıç fiyatlarını fiyatlar bölümünde, beş türün karşılaştırmasını proxy türleri sayfasında bulabilirsin. Yeni aldığın bir proxy teslimatta çalışmıyorsa destek ekibi değiştirir; ekibe panel içi destek talebiyle ya da Telegram üzerinden ulaşabilirsin.


