वेब स्क्रैपिंग के लिए प्रॉक्सी: चुनना, रोटेट करना और ज़िम्मेदारी से स्क्रैप करना
स्क्रैपिंग के काम के लिए सही प्रॉक्सी कैसे चुनें, उसे अपने स्क्रैपर से कैसे जोड़ें, robots.txt और रेट लिमिट के भीतर कैसे रहें, और प्रति-GB लागत को काबू में कैसे रखें।

वेब स्क्रैपिंग के लिए प्रॉक्सी आपकी रिक्वेस्ट को बहुत सारे IP एड्रेस पर फैला देते हैं, ताकि पब्लिक डेटा इकट्ठा करते समय कोई एक IP साइट की रेट लिमिट न छू ले। अच्छी तरह सुरक्षित साइटों के लिए रोटेटिंग रेजिडेंशियल प्रॉक्सी, नरम टार्गेट के लिए डेटासेंटर या IPv6 प्रॉक्सी, और जब सेशन को एक ही IP पर रहना हो तब स्टैटिक ISP प्रॉक्सी इस्तेमाल करें।
प्रॉक्सी चुनना सिर्फ़ आधा काम है। जो स्क्रैपर महीनों तक बिना परेशानी चलते हैं, वे सही IP प्रकार को शालीन रिक्वेस्ट पैटर्न के साथ जोड़ते हैं: समझदारी भरी कॉन्करेंसी, robots.txt का सम्मान, और साइट के धीमा करने को कहने पर पीछे हटना। यह गाइड दोनों हिस्से कवर करती है, साथ में यह भी कि ट्रैफ़िक लागत का अनुमान कैसे लगाया जा सके।
वेब स्क्रैपर को प्रॉक्सी की ज़रूरत क्यों होती है
लगभग हर वेबसाइट सीमित करती है कि एक IP एड्रेस एक तय समय में कितनी रिक्वेस्ट भेज सकता है। आपके ऑफ़िस IP से रोज़ कुछ हज़ार प्रोडक्ट पेज चेक करने वाला प्राइस-मॉनिटरिंग जॉब जल्दी ही इस सीमा से टकराएगा, और नतीजा होगा 429 Too Many Requests रिस्पॉन्स, CAPTCHA या सीधे 403 ब्लॉक की दीवार।
प्रॉक्सी तीन व्यावहारिक समस्याएँ हल करते हैं:
- लोड का बँटवारा — रिक्वेस्ट कई IP पर फैल जाती हैं, इसलिए हर IP प्रति-IP सीमा से काफ़ी नीचे रहता है।
- लोकेशन — कीमतें, उपलब्धता, सर्च रिज़ल्ट और भाषाएँ तक देश के हिसाब से बदलती हैं। टार्गेट देश का प्रॉक्सी वही डेटा लौटाता है जो वहाँ का लोकल विज़िटर देखता।
- अलगाव — रेट-लिमिट होने वाला IP कभी आपकी कंपनी का अपना IP नहीं होता, इसलिए सहकर्मी साइट को सामान्य रूप से इस्तेमाल कर पाते हैं।
ज़िम्मेदारी से स्क्रैप करें: क्या जायज़ है
प्रॉक्सी बड़े पैमाने पर स्क्रैपिंग को संभव बनाते हैं; वे हर तरह की स्क्रैपिंग को जायज़ नहीं बनाते। कोड की पहली लाइन लिखने से पहले तीन चीज़ें जाँचें।
- सिर्फ़ पब्लिक डेटा। प्रोडक्ट लिस्टिंग, पब्लिक कीमतें, सर्च रिज़ल्ट, पब्लिक रिव्यू और प्रकाशित लेख आम टार्गेट हैं। किसी और के लॉग-इन के पीछे का डेटा, या ऐसा पर्सनल डेटा जिसे प्रोसेस करने का आपके पास कानूनी आधार नहीं है, इसमें नहीं आता।
- robots.txt। Robots Exclusion Protocol, जिसे RFC 9309 के रूप में मानकीकृत किया गया है, वह तरीका है जिससे साइट मालिक बताते हैं कि क्रॉलर को किन पाथ से दूर रहना चाहिए। इसे पार्स करें और अपने यूज़र एजेंट के लिए Disallow नियमों का पालन करें।
- शर्तें और लोड। साइट की शर्तें पढ़ें, जहाँ आधिकारिक API या डेटा फ़ीड मौजूद हो उसे प्राथमिकता दें, और कभी ऐसा ट्रैफ़िक न भेजें जिससे असली यूज़र्स के लिए साइट धीमी पड़ जाए।
वेब स्क्रैपिंग के लिए कौन-सा प्रॉक्सी सबसे अच्छा है?
वेब स्क्रैपिंग के लिए कोई एक सबसे अच्छा प्रॉक्सी नहीं है; सही विकल्प इस पर निर्भर करता है कि टार्गेट ट्रैफ़िक को कितनी सख़्ती से फ़िल्टर करता है और आप कितना डेटा ले जाते हैं। mistPROXY पाँच प्रकार देता है, और हर एक की स्क्रैपिंग में स्वाभाविक भूमिका है।
| प्रॉक्सी प्रकार | बिलिंग | खूबी | आम स्क्रैपिंग उपयोग |
|---|---|---|---|
| रेजिडेंशियल (रोटेटिंग) | प्रति GB | असली यूज़र IP, पकड़ना सबसे मुश्किल, शहर/ASN टार्गेटिंग | सुरक्षित ई-कॉमर्स, ट्रैवल और मार्केटप्लेस साइटें; लोकल रिज़ल्ट |
| ISP / स्टैटिक | प्रति IP | स्टैटिक रेजिडेंशियल IP, तेज़ और स्थिर | मल्टी-स्टेप सेशन, आपके अपने लॉग-इन डैशबोर्ड, स्थिर मॉनिटरिंग |
| डेटासेंटर IPv4 | प्रति IP | हाई वॉल्यूम के लिए सस्ता और तेज़ | नरम साइटें, पब्लिक API, साइटमैप, बल्क डाउनलोड |
| IPv6 | प्रति IP | बेहद सस्ते IPv6 सबनेट | IPv6 स्वीकार करने वाले टार्गेट, कम बजट में बहुत बड़े क्रॉल |
| मोबाइल 4G/5G | प्रति IP | कैरियर IP, सबसे अच्छा ट्रस्ट स्कोर | साइटों के मोबाइल वर्ज़न, सबसे सख़्त टार्गेट |
एक व्यावहारिक तरीका है सस्ते से शुरू करना और ज़रूरत पड़ने पर ही ऊपर जाना: टार्गेट को पहले डेटासेंटर या IPv6 प्रॉक्सी पर टेस्ट करें, और ब्लॉक रेट बहुत ज़्यादा हो तभी रेजिडेंशियल पर जाएँ। हमारी रेजिडेंशियल vs डेटासेंटर प्रॉक्सी तुलना इस समझौते में गहराई से जाती है, और IPv6 प्रॉक्सी गाइड बताती है कि IPv6 कब काम का शॉर्टकट है।
लोकेशन पर अलग से फ़ैसला करना चाहिए। ज़्यादातर प्रोडक्ट खरीदने से पहले देश चुनने देते हैं, और रेजिडेंशियल प्रॉक्सी को किसी शहर या ASN तक और सीमित किया जा सकता है। यह शहरों के बीच डिलीवरी फ़ीस की तुलना, क्षेत्रीय स्टॉक जाँचने या लोकल सर्च रिज़ल्ट इकट्ठा करने जैसे कामों में मायने रखता है, जहाँ पड़ोसी देश का प्रॉक्सी चुपचाप आपको गलत डेटा दे देगा।
स्क्रैपिंग के लिए रोटेटिंग या स्टैटिक IP?
रोटेटिंग रेजिडेंशियल प्रॉक्सी हर रिक्वेस्ट पर IP बदलते हैं, जो प्रोडक्ट डिटेल या सर्च रिज़ल्ट जैसे हज़ारों स्वतंत्र पेज क्रॉल करने के लिए ठीक वही है जो आप चाहते हैं। हर रिक्वेस्ट अलग विज़िटर जैसी दिखती है, इसलिए प्रति-IP सीमा शायद ही कभी लागू होती है।
स्टैटिक ISP प्रॉक्सी वही IP रखते हैं, जो तब मायने रखता है जब वर्कफ़्लो निरंतरता पर टिका हो: सेशन कुकीज़ से बँधे पेजिनेटेड सर्च रिज़ल्ट, ऐसा चेकआउट-प्राइस चेक जिसमें कार्ट चाहिए, या आपका अपना डैशबोर्ड जिससे आप डेटा एक्सपोर्ट करते हैं। इन फ़्लो में बीच सेशन IP बदलने से अक्सर सेशन रीसेट हो जाता है या अतिरिक्त वेरिफ़िकेशन शुरू हो जाता है। पूरी जानकारी के लिए रोटेटिंग vs स्टिकी प्रॉक्सी पढ़ें।
अपने स्क्रैपर में प्रॉक्सी कैसे इस्तेमाल करें
- क्रेडेंशियल पाएँ — खरीदारी के बाद आपके प्रॉक्सी डैशबोर्ड में host:port:user:pass के रूप में दिखते हैं।
- प्रोटोकॉल चुनें — HTTP(S) लगभग हर लाइब्रेरी के साथ काम करता है; username:password ऑथेंटिकेशन के साथ SOCKS5 भी उपलब्ध है।
- क्लाइंट कॉन्फ़िगर करें — प्रॉक्सी URL को अपनी HTTP लाइब्रेरी, हेडलेस ब्राउज़र या स्क्रैपिंग फ़्रेमवर्क में दें।
- एक URL पर टेस्ट करें — स्केल करने से पहले पक्का करें कि रिस्पॉन्स अपेक्षित देश से आ रहा है।
- रेट लिमिटिंग और रिट्राई जोड़ें — फिर एरर रेट पर नज़र रखते हुए कॉन्करेंसी धीरे-धीरे बढ़ाएँ।
requests लाइब्रेरी के साथ एक छोटा Python उदाहरण ऐसा दिखता है:
import time
import requests
PROXY = "http://USER:PASS@HOST:PORT"
proxies = {"http": PROXY, "https": PROXY}
for url in urls:
r = requests.get(url, proxies=proxies, timeout=30)
if r.status_code == 429:
time.sleep(60) # back off; honour Retry-After if present
continue
r.raise_for_status()
save(r.text)
time.sleep(1.5) # polite delay between requestsSOCKS5 के लिए requests का SOCKS एक्स्ट्रा इंस्टॉल करें और socks5h://USER:PASS@HOST:PORT इस्तेमाल करें; h का मतलब है कि DNS प्रॉक्सी के ज़रिए रिज़ॉल्व होता है, इसलिए लुकअप भी प्रॉक्सी की लोकेशन पर होते हैं।
बिना ब्लॉक हुए स्क्रैपिंग, शालीन तरीके से
ज़्यादातर ब्लॉक हमारी अपनी गलती से होते हैं। ये आदतें बिना किसी चालाकी के सफलता दर ऊँची रखती हैं:
- हर डोमेन पर कॉन्करेंसी सीमित करें। एक साइट पर कुछ ही पैरलल रिक्वेस्ट आमतौर पर काफ़ी होती हैं; स्केल डोमेन के पार करें, किसी एक के ख़िलाफ़ नहीं।
- 429 और 503 पर पीछे हटें। Retry-After हेडर का सम्मान करें और उसी URL पर बार-बार हथौड़ा चलाने के बजाय एक्सपोनेंशियल बैकऑफ़ इस्तेमाल करें।
- कैश और डुप्लिकेट हटाएँ। एक रन में एक ही पेज दो बार कभी न लाएँ, और जहाँ साइट सपोर्ट करे वहाँ कंडीशनल रिक्वेस्ट (ETag, If-Modified-Since) इस्तेमाल करें।
- साइटमैप और फ़ीड इस्तेमाल करें। ये ठीक-ठीक बताते हैं कि क्या बदला है, इसलिए आपको कम क्रॉल करना पड़ता है।
- एक जैसे हेडर भेजें। प्रॉक्सी के देश से मेल खाता सुसंगत यूज़र एजेंट और Accept-Language सही लोकलाइज़्ड पेज और कम एरर देते हैं।
- संकेतों पर नज़र रखें। बढ़ते 403 या CAPTCHA पेज का मतलब है कि आप बहुत तेज़ चल रहे हैं या गलत प्रॉक्सी प्रकार इस्तेमाल कर रहे हैं; ज़्यादा रोटेट करने से पहले धीमे हो जाएँ।
अपने स्क्रैपर को मापें और मॉनिटर करें
प्रॉक्सी सेटअप काम करने लगे, तो असली काम यह जानना है कि वह काम करता रहता है या नहीं। हर रन पर चार संख्याएँ लॉग करें: सफलता दर, 403 और 429 रिस्पॉन्स की गिनती, CAPTCHA पेज, और हर हज़ार पेज पर इस्तेमाल हुआ ट्रैफ़िक। हफ़्ते-दर-हफ़्ते तुलना करने पर एक नज़र में दिख जाता है कि साइट ने अपना बचाव कड़ा किया है या आपके अपने कोड में गड़बड़ी आई है।
डेटा की गुणवत्ता भी जाँचें। खाली प्राइस फ़ील्ड, अनपेक्षित करेंसी या गलत भाषा के पेज का आमतौर पर मतलब होता है कि प्रॉक्सी लोकेशन टार्गेट से मेल नहीं खाती, या आपका Accept-Language हेडर उसके उलट है।
स्क्रैपिंग के लिए mistPROXY के साथ शुरुआत
सेटअप में कुछ ही मिनट लगते हैं। रजिस्ट्रेशन पेज पर सिर्फ़ ईमेल से फ़्री अकाउंट बनाएँ, mistKET के ज़रिए USDT, BTC, ETH या दूसरे कॉइन से बैलेंस टॉप-अप करें, फिर प्रॉक्सी का प्रकार, देश और संख्या चुनें। क्रेडेंशियल तुरंत डैशबोर्ड में दिखते हैं, आपके स्क्रैपर में पेस्ट करने के लिए तैयार, और ट्रैफ़िक व रिन्यूअल आप उसी पैनल से मैनेज करते हैं। पहले एक छोटा पायलट चलाएँ, अपना ब्लॉक रेट और हर हज़ार पेज पर GB मापें, और उसके बाद ही ऑर्डर का आकार तय करें।
कीमतें पारदर्शी और प्रति यूनिट हैं: रेजिडेंशियल के लिए प्रति GB, स्टैटिक प्रकारों के लिए प्रति IP। मौजूदा शुरुआती कीमतें आप प्राइसिंग सेक्शन में देख सकते हैं और पाँचों प्रकारों की तुलना प्रॉक्सी प्रकारों के पेज पर कर सकते हैं। अगर नया प्रॉक्सी डिलीवरी पर ही बंद निकले, तो सपोर्ट उसे बदल देता है; टीम से पैनल टिकट या Telegram पर संपर्क करें।


