Proxy untuk Web Scraping: Memilih, Rotasi dan Scraping yang Bertanggung Jawab
Cara memilih jenis proxy yang tepat untuk pekerjaan scraping, memasangnya di scraper, mematuhi robots.txt dan rate limit, serta menjaga biaya per GB tetap terkendali.

Proxy untuk web scraping menyebarkan request Anda ke banyak alamat IP, sehingga tidak ada satu IP pun yang memicu rate limit situs saat Anda mengumpulkan data publik. Gunakan proxy residential rotating untuk situs yang terlindungi ketat, proxy datacenter atau IPv6 untuk target yang longgar, dan proxy ISP statis ketika sebuah sesi harus tetap di satu IP.
Memilih proxy hanyalah separuh pekerjaan. Scraper yang berjalan berbulan-bulan tanpa masalah menggabungkan jenis IP yang tepat dengan pola request yang sopan: konkurensi yang wajar, menghormati robots.txt, dan mengerem saat situs meminta pelan-pelan. Panduan ini membahas kedua separuh tersebut, plus cara menjaga biaya trafik tetap bisa diprediksi.
Mengapa web scraper butuh proxy
Hampir setiap situs membatasi jumlah request yang bisa dibuat satu alamat IP dalam periode tertentu. Pekerjaan pemantauan harga yang mengecek beberapa ribu halaman produk per hari dari IP kantor Anda akan cepat menabrak batas itu, dan hasilnya adalah tumpukan respons 429 Too Many Requests, CAPTCHA, atau blokir 403.
Proxy menyelesaikan tiga masalah praktis:
- Distribusi beban — request disebar ke banyak IP, sehingga setiap IP tetap jauh di bawah ambang batas per IP.
- Lokasi — harga, ketersediaan, hasil pencarian, bahkan bahasa berubah menurut negara. Proxy di negara target mengembalikan data yang akan dilihat pengunjung lokal.
- Isolasi — IP kantor Anda sendiri tidak pernah terkena rate limit, sehingga rekan kerja tetap bisa memakai situs seperti biasa.
Scraping yang bertanggung jawab: apa yang boleh
Proxy memungkinkan scraping dalam skala besar, tetapi tidak membuat semua jenis scraping bisa diterima. Sebelum menulis satu baris kode pun, periksa tiga hal.
- Hanya data publik. Daftar produk, harga publik, hasil pencarian, ulasan publik dan artikel yang dipublikasikan adalah target umum. Data di balik login orang lain, atau data pribadi yang tidak punya dasar hukum untuk Anda olah, bukan target.
- robots.txt. Robots Exclusion Protocol, yang distandarkan sebagai RFC 9309, adalah cara pemilik situs menyatakan path mana yang harus dihindari crawler. Baca file tersebut dan patuhi aturan Disallow untuk user agent Anda.
- Ketentuan dan beban. Baca ketentuan layanan situs, utamakan API resmi atau feed data jika tersedia, dan jangan pernah mengirim trafik yang bisa menurunkan kinerja situs bagi pengguna nyata.
Jenis proxy apa yang terbaik untuk web scraping?
Tidak ada satu proxy terbaik untuk web scraping; pilihan yang tepat bergantung pada seberapa ketat target memfilter trafik dan seberapa banyak data yang Anda pindahkan. mistPROXY menawarkan lima jenis, dan masing-masing punya peran alami dalam scraping.
| Jenis proxy | Penagihan | Keunggulan | Penggunaan scraping umum |
|---|---|---|---|
| Residential (rotating) | Per GB | IP pengguna asli, paling sulit dideteksi, penargetan kota/ASN | Situs e-commerce, travel dan marketplace yang terlindungi; hasil lokal |
| ISP / Static | Per IP | IP residential statis, cepat dan stabil | Sesi multi-langkah, dashboard login milik Anda, pemantauan rutin |
| Datacenter IPv4 | Per IP | Murah dan cepat untuk volume tinggi | Situs longgar, API publik, sitemap, unduhan massal |
| IPv6 | Per IP | Subnet IPv6 super murah | Target yang menerima IPv6, crawl sangat besar dengan anggaran terbatas |
| Mobile 4G/5G | Per IP | IP operator, skor kepercayaan terbaik | Versi mobile situs, target paling ketat |
Pendekatan pragmatisnya adalah mulai dari yang murah dan naik kelas hanya bila perlu: uji target dengan proxy datacenter atau IPv6 terlebih dahulu, dan pindah ke residential hanya jika tingkat blokirnya terlalu tinggi. Perbandingan proxy residential vs datacenter kami membahas kompromi itu lebih dalam, dan panduan proxy IPv6 menjelaskan kapan IPv6 menjadi jalan pintas yang layak.
Lokasi juga perlu diputuskan tersendiri. Sebagian besar produk memungkinkan Anda memilih negara sebelum membeli, dan proxy residential bisa dipersempit lagi ke kota atau ASN. Ini penting untuk pekerjaan seperti membandingkan ongkos kirim antar kota, mengecek stok regional, atau mengumpulkan hasil pencarian lokal, di mana proxy dari negara sebelah diam-diam akan memberi Anda data yang salah.
IP rotating atau statis untuk scraping?
Proxy residential rotating mengganti IP di setiap request, dan itulah yang Anda butuhkan untuk meng-crawl ribuan halaman independen seperti detail produk atau hasil pencarian. Setiap request terlihat seperti pengunjung berbeda, sehingga batas per IP jarang berpengaruh.
Proxy ISP statis mempertahankan IP yang sama, yang penting ketika alur kerja bergantung pada kontinuitas: pencarian dengan hasil berhalaman yang terikat ke cookie sesi, cek harga di keranjang belanja, atau dashboard milik Anda sendiri tempat Anda mengekspor data. Berganti IP di tengah sesi pada alur seperti itu sering mereset sesi atau memicu verifikasi tambahan. Baca proxy rotating vs sticky untuk penjelasan lengkap.
Cara memakai proxy di scraper Anda
- Dapatkan kredensial — setelah pembelian, proxy Anda muncul di dashboard sebagai host:port:user:pass.
- Pilih protokol — HTTP(S) bekerja dengan hampir semua library; SOCKS5 juga tersedia, dengan autentikasi username:password.
- Konfigurasikan klien — masukkan URL proxy ke library HTTP, headless browser atau framework scraping Anda.
- Uji pada satu URL — pastikan respons datang dari negara yang diharapkan sebelum menambah skala.
- Tambahkan rate limiting dan retry — lalu naikkan konkurensi secara bertahap sambil memantau tingkat error.
Contoh minimal dengan Python dan library requests terlihat seperti ini:
import time
import requests
PROXY = "http://USER:PASS@HOST:PORT"
proxies = {"http": PROXY, "https": PROXY}
for url in urls:
r = requests.get(url, proxies=proxies, timeout=30)
if r.status_code == 429:
time.sleep(60) # jeda; patuhi Retry-After jika ada
continue
r.raise_for_status()
save(r.text)
time.sleep(1.5) # jeda sopan antar requestUntuk SOCKS5, instal ekstra SOCKS untuk requests dan gunakan socks5h://USER:PASS@HOST:PORT; huruf h berarti DNS diterjemahkan melalui proxy, sehingga lookup juga terjadi di lokasi proxy.
Cara agar tidak diblokir, dengan cara yang sopan
Sebagian besar blokir disebabkan oleh diri sendiri. Kebiasaan berikut menjaga tingkat keberhasilan tetap tinggi tanpa trik apa pun:
- Batasi konkurensi per domain. Beberapa request paralel ke satu situs biasanya sudah cukup; tambah skala di banyak domain, bukan menekan satu domain.
- Mundur saat 429 dan 503. Patuhi header Retry-After dan gunakan exponential backoff alih-alih terus membombardir URL yang sama.
- Cache dan hapus duplikat. Jangan pernah mengambil halaman yang sama dua kali dalam satu run, dan gunakan conditional request (ETag, If-Modified-Since) jika situs mendukungnya.
- Gunakan sitemap dan feed. Keduanya mencantumkan persis apa yang berubah, sehingga Anda meng-crawl lebih sedikit.
- Kirim header yang konsisten. User agent yang masuk akal dan Accept-Language yang sesuai dengan negara proxy menghasilkan halaman lokal yang benar dan lebih sedikit error.
- Perhatikan sinyalnya. Naiknya respons 403 atau halaman CAPTCHA berarti Anda terlalu cepat atau memakai jenis proxy yang salah; perlambat dulu sebelum memperketat rotasi.
Ukur dan pantau scraper Anda
Begitu setup proxy berjalan, pekerjaan sebenarnya adalah mengetahui apakah ia terus berfungsi. Catat empat angka di setiap run: tingkat keberhasilan, jumlah respons 403 dan 429, halaman CAPTCHA, dan trafik yang terpakai per seribu halaman. Jika dibandingkan dari minggu ke minggu, angka-angka ini langsung menunjukkan apakah sebuah situs memperketat pertahanannya atau kode Anda sendiri yang menurun kualitasnya.
Periksa juga kualitas datanya. Kolom harga kosong, mata uang yang tidak terduga atau halaman dalam bahasa yang salah biasanya berarti lokasi proxy tidak sesuai dengan target, atau header Accept-Language Anda bertentangan dengannya.
Mulai scraping dengan mistPROXY
Penyiapannya hanya butuh beberapa menit. Buat akun gratis di halaman registrasi hanya dengan email, top up saldo dengan USDT, BTC, ETH atau koin lain via mistKET, lalu pilih jenis proxy, negara dan jumlahnya. Kredensial langsung muncul di dashboard, siap ditempel ke scraper Anda, dan Anda mengelola trafik serta perpanjangan dari panel yang sama. Jalankan uji coba kecil terlebih dahulu, ukur tingkat blokir dan GB per seribu halaman, baru kemudian tentukan besar pesanan Anda.
Harga transparan dan per unit: per GB untuk residential, per IP untuk jenis statis. Anda bisa melihat harga awal terbaru di bagian harga dan membandingkan kelima jenis di halaman jenis proxy. Jika proxy baru mati sejak diterima, tim support akan menggantinya; hubungi tim lewat tiket di panel atau Telegram.


