Proxy untuk Web Scraping: Memilih, Rotasi dan Scraping yang Bertanggung Jawab

Cara memilih jenis proxy yang tepat untuk pekerjaan scraping, memasangnya di scraper, mematuhi robots.txt dan rate limit, serta menjaga biaya per GB tetap terkendali.

Oleh Sofia HartmannDiperbarui: 6 menit baca
Proxy untuk web scraping: request dialirkan lewat IP proxy rotating ke situs web publik

Proxy untuk web scraping menyebarkan request Anda ke banyak alamat IP, sehingga tidak ada satu IP pun yang memicu rate limit situs saat Anda mengumpulkan data publik. Gunakan proxy residential rotating untuk situs yang terlindungi ketat, proxy datacenter atau IPv6 untuk target yang longgar, dan proxy ISP statis ketika sebuah sesi harus tetap di satu IP.

Memilih proxy hanyalah separuh pekerjaan. Scraper yang berjalan berbulan-bulan tanpa masalah menggabungkan jenis IP yang tepat dengan pola request yang sopan: konkurensi yang wajar, menghormati robots.txt, dan mengerem saat situs meminta pelan-pelan. Panduan ini membahas kedua separuh tersebut, plus cara menjaga biaya trafik tetap bisa diprediksi.

Mengapa web scraper butuh proxy

Hampir setiap situs membatasi jumlah request yang bisa dibuat satu alamat IP dalam periode tertentu. Pekerjaan pemantauan harga yang mengecek beberapa ribu halaman produk per hari dari IP kantor Anda akan cepat menabrak batas itu, dan hasilnya adalah tumpukan respons 429 Too Many Requests, CAPTCHA, atau blokir 403.

Proxy menyelesaikan tiga masalah praktis:

  • Distribusi beban — request disebar ke banyak IP, sehingga setiap IP tetap jauh di bawah ambang batas per IP.
  • Lokasi — harga, ketersediaan, hasil pencarian, bahkan bahasa berubah menurut negara. Proxy di negara target mengembalikan data yang akan dilihat pengunjung lokal.
  • Isolasi — IP kantor Anda sendiri tidak pernah terkena rate limit, sehingga rekan kerja tetap bisa memakai situs seperti biasa.
5jenis proxy
190+negara
99.9%uptime jaringan
24/7dukungan

Scraping yang bertanggung jawab: apa yang boleh

Proxy memungkinkan scraping dalam skala besar, tetapi tidak membuat semua jenis scraping bisa diterima. Sebelum menulis satu baris kode pun, periksa tiga hal.

  • Hanya data publik. Daftar produk, harga publik, hasil pencarian, ulasan publik dan artikel yang dipublikasikan adalah target umum. Data di balik login orang lain, atau data pribadi yang tidak punya dasar hukum untuk Anda olah, bukan target.
  • robots.txt. Robots Exclusion Protocol, yang distandarkan sebagai RFC 9309, adalah cara pemilik situs menyatakan path mana yang harus dihindari crawler. Baca file tersebut dan patuhi aturan Disallow untuk user agent Anda.
  • Ketentuan dan beban. Baca ketentuan layanan situs, utamakan API resmi atau feed data jika tersedia, dan jangan pernah mengirim trafik yang bisa menurunkan kinerja situs bagi pengguna nyata.
Penting: mistPROXY hanya untuk penggunaan yang sah. Serangan, penipuan dan spam berujung pada penangguhan tanpa refund, dan Anda bertanggung jawab atas trafik yang Anda kirim. Scraping yang bertanggung jawab juga lebih andal: scraper yang sopan jauh lebih jarang diblokir.

Jenis proxy apa yang terbaik untuk web scraping?

Tidak ada satu proxy terbaik untuk web scraping; pilihan yang tepat bergantung pada seberapa ketat target memfilter trafik dan seberapa banyak data yang Anda pindahkan. mistPROXY menawarkan lima jenis, dan masing-masing punya peran alami dalam scraping.

Jenis proxyPenagihanKeunggulanPenggunaan scraping umum
Residential (rotating)Per GBIP pengguna asli, paling sulit dideteksi, penargetan kota/ASNSitus e-commerce, travel dan marketplace yang terlindungi; hasil lokal
ISP / StaticPer IPIP residential statis, cepat dan stabilSesi multi-langkah, dashboard login milik Anda, pemantauan rutin
Datacenter IPv4Per IPMurah dan cepat untuk volume tinggiSitus longgar, API publik, sitemap, unduhan massal
IPv6Per IPSubnet IPv6 super murahTarget yang menerima IPv6, crawl sangat besar dengan anggaran terbatas
Mobile 4G/5GPer IPIP operator, skor kepercayaan terbaikVersi mobile situs, target paling ketat

Pendekatan pragmatisnya adalah mulai dari yang murah dan naik kelas hanya bila perlu: uji target dengan proxy datacenter atau IPv6 terlebih dahulu, dan pindah ke residential hanya jika tingkat blokirnya terlalu tinggi. Perbandingan proxy residential vs datacenter kami membahas kompromi itu lebih dalam, dan panduan proxy IPv6 menjelaskan kapan IPv6 menjadi jalan pintas yang layak.

Lokasi juga perlu diputuskan tersendiri. Sebagian besar produk memungkinkan Anda memilih negara sebelum membeli, dan proxy residential bisa dipersempit lagi ke kota atau ASN. Ini penting untuk pekerjaan seperti membandingkan ongkos kirim antar kota, mengecek stok regional, atau mengumpulkan hasil pencarian lokal, di mana proxy dari negara sebelah diam-diam akan memberi Anda data yang salah.

IP rotating atau statis untuk scraping?

Proxy residential rotating mengganti IP di setiap request, dan itulah yang Anda butuhkan untuk meng-crawl ribuan halaman independen seperti detail produk atau hasil pencarian. Setiap request terlihat seperti pengunjung berbeda, sehingga batas per IP jarang berpengaruh.

Proxy ISP statis mempertahankan IP yang sama, yang penting ketika alur kerja bergantung pada kontinuitas: pencarian dengan hasil berhalaman yang terikat ke cookie sesi, cek harga di keranjang belanja, atau dashboard milik Anda sendiri tempat Anda mengekspor data. Berganti IP di tengah sesi pada alur seperti itu sering mereset sesi atau memicu verifikasi tambahan. Baca proxy rotating vs sticky untuk penjelasan lengkap.

Cara memakai proxy di scraper Anda

  1. Dapatkan kredensial — setelah pembelian, proxy Anda muncul di dashboard sebagai host:port:user:pass.
  2. Pilih protokol — HTTP(S) bekerja dengan hampir semua library; SOCKS5 juga tersedia, dengan autentikasi username:password.
  3. Konfigurasikan klien — masukkan URL proxy ke library HTTP, headless browser atau framework scraping Anda.
  4. Uji pada satu URL — pastikan respons datang dari negara yang diharapkan sebelum menambah skala.
  5. Tambahkan rate limiting dan retry — lalu naikkan konkurensi secara bertahap sambil memantau tingkat error.

Contoh minimal dengan Python dan library requests terlihat seperti ini:

import time
import requests

PROXY = "http://USER:PASS@HOST:PORT"
proxies = {"http": PROXY, "https": PROXY}

for url in urls:
    r = requests.get(url, proxies=proxies, timeout=30)
    if r.status_code == 429:
        time.sleep(60)  # jeda; patuhi Retry-After jika ada
        continue
    r.raise_for_status()
    save(r.text)
    time.sleep(1.5)  # jeda sopan antar request

Untuk SOCKS5, instal ekstra SOCKS untuk requests dan gunakan socks5h://USER:PASS@HOST:PORT; huruf h berarti DNS diterjemahkan melalui proxy, sehingga lookup juga terjadi di lokasi proxy.

Cara agar tidak diblokir, dengan cara yang sopan

Sebagian besar blokir disebabkan oleh diri sendiri. Kebiasaan berikut menjaga tingkat keberhasilan tetap tinggi tanpa trik apa pun:

  • Batasi konkurensi per domain. Beberapa request paralel ke satu situs biasanya sudah cukup; tambah skala di banyak domain, bukan menekan satu domain.
  • Mundur saat 429 dan 503. Patuhi header Retry-After dan gunakan exponential backoff alih-alih terus membombardir URL yang sama.
  • Cache dan hapus duplikat. Jangan pernah mengambil halaman yang sama dua kali dalam satu run, dan gunakan conditional request (ETag, If-Modified-Since) jika situs mendukungnya.
  • Gunakan sitemap dan feed. Keduanya mencantumkan persis apa yang berubah, sehingga Anda meng-crawl lebih sedikit.
  • Kirim header yang konsisten. User agent yang masuk akal dan Accept-Language yang sesuai dengan negara proxy menghasilkan halaman lokal yang benar dan lebih sedikit error.
  • Perhatikan sinyalnya. Naiknya respons 403 atau halaman CAPTCHA berarti Anda terlalu cepat atau memakai jenis proxy yang salah; perlambat dulu sebelum memperketat rotasi.
Tips biaya: trafik residential dihitung per GB dan bersifat habis pakai, jadi trafik yang sudah terpakai tidak dikembalikan. Di headless browser, blokir gambar, font dan video, minta respons terkompresi, dan scrape endpoint JSON alih-alih halaman penuh jika situs menyediakannya. Mengambil lebih sedikit adalah optimasi termurah yang ada.

Ukur dan pantau scraper Anda

Begitu setup proxy berjalan, pekerjaan sebenarnya adalah mengetahui apakah ia terus berfungsi. Catat empat angka di setiap run: tingkat keberhasilan, jumlah respons 403 dan 429, halaman CAPTCHA, dan trafik yang terpakai per seribu halaman. Jika dibandingkan dari minggu ke minggu, angka-angka ini langsung menunjukkan apakah sebuah situs memperketat pertahanannya atau kode Anda sendiri yang menurun kualitasnya.

Periksa juga kualitas datanya. Kolom harga kosong, mata uang yang tidak terduga atau halaman dalam bahasa yang salah biasanya berarti lokasi proxy tidak sesuai dengan target, atau header Accept-Language Anda bertentangan dengannya.

Mulai scraping dengan mistPROXY

Penyiapannya hanya butuh beberapa menit. Buat akun gratis di halaman registrasi hanya dengan email, top up saldo dengan USDT, BTC, ETH atau koin lain via mistKET, lalu pilih jenis proxy, negara dan jumlahnya. Kredensial langsung muncul di dashboard, siap ditempel ke scraper Anda, dan Anda mengelola trafik serta perpanjangan dari panel yang sama. Jalankan uji coba kecil terlebih dahulu, ukur tingkat blokir dan GB per seribu halaman, baru kemudian tentukan besar pesanan Anda.

Harga transparan dan per unit: per GB untuk residential, per IP untuk jenis statis. Anda bisa melihat harga awal terbaru di bagian harga dan membandingkan kelima jenis di halaman jenis proxy. Jika proxy baru mati sejak diterima, tim support akan menggantinya; hubungi tim lewat tiket di panel atau Telegram.

Pertanyaan umum

Jenis proxy apa yang terbaik untuk web scraping?
Tergantung targetnya. Proxy residential rotating paling baik untuk situs yang terlindungi ketat karena memakai IP pengguna asli. Proxy datacenter IPv4 dan IPv6 lebih murah dan cepat untuk situs yang longgar dan pekerjaan massal. Proxy ISP statis cocok untuk alur kerja yang butuh satu IP selama satu sesi penuh.
Apakah web scraping dengan proxy legal?
Scraping data yang tersedia untuk publik umum dilakukan dan pada dasarnya sah, tetapi tergantung yurisdiksi Anda, ketentuan situs dan jenis datanya. Batasi pada data publik, patuhi robots.txt, hindari data pribadi tanpa dasar hukum, dan jangan pernah membebani situs secara berlebihan. Proxy tidak mengubah kewajiban ini.
Berapa banyak proxy yang dibutuhkan untuk web scraping?
Tergantung volume request dan seberapa ketat targetnya. Dengan proxy residential rotating, satu endpoint bisa memakai banyak IP dan Anda membayar per GB. Dengan proxy datacenter atau ISP statis, perkirakan berapa request per IP yang ditoleransi situs, bagi volume per jam Anda dengan angka itu, lalu tambahkan cadangan.
Mengapa saya tetap diblokir meski memakai proxy?
Biasanya karena pola request, bukan IP-nya: terlalu banyak request paralel ke satu domain, tidak ada backoff saat error 429, atau header yang tidak sesuai dengan lokasi proxy. IP datacenter juga bisa difilter oleh situs yang ketat, di mana proxy residential atau mobile bekerja lebih baik.
Sebaiknya pakai proxy rotating atau statis untuk scraping?
Gunakan proxy rotating untuk meng-crawl banyak halaman independen, karena setiap request mendapat IP baru. Gunakan proxy ISP statis ketika pekerjaan bergantung pada sesi, misalnya hasil berhalaman yang terikat cookie atau mengekspor data dari akun Anda sendiri.

Artikel terkait

Artikel terbaru

Semua artikel