वेब स्क्रैपिंग के लिए प्रॉक्सी: चुनना, रोटेट करना और ज़िम्मेदारी से स्क्रैप करना

स्क्रैपिंग के काम के लिए सही प्रॉक्सी कैसे चुनें, उसे अपने स्क्रैपर से कैसे जोड़ें, robots.txt और रेट लिमिट के भीतर कैसे रहें, और प्रति-GB लागत को काबू में कैसे रखें।

लेखक: Sofia Hartmannअपडेट किया गया: 7 मिनट पढ़ें
वेब स्क्रैपिंग के लिए प्रॉक्सी: रोटेटिंग प्रॉक्सी IP से पब्लिक वेबसाइटों तक जाती रिक्वेस्ट

वेब स्क्रैपिंग के लिए प्रॉक्सी आपकी रिक्वेस्ट को बहुत सारे IP एड्रेस पर फैला देते हैं, ताकि पब्लिक डेटा इकट्ठा करते समय कोई एक IP साइट की रेट लिमिट न छू ले। अच्छी तरह सुरक्षित साइटों के लिए रोटेटिंग रेजिडेंशियल प्रॉक्सी, नरम टार्गेट के लिए डेटासेंटर या IPv6 प्रॉक्सी, और जब सेशन को एक ही IP पर रहना हो तब स्टैटिक ISP प्रॉक्सी इस्तेमाल करें।

प्रॉक्सी चुनना सिर्फ़ आधा काम है। जो स्क्रैपर महीनों तक बिना परेशानी चलते हैं, वे सही IP प्रकार को शालीन रिक्वेस्ट पैटर्न के साथ जोड़ते हैं: समझदारी भरी कॉन्करेंसी, robots.txt का सम्मान, और साइट के धीमा करने को कहने पर पीछे हटना। यह गाइड दोनों हिस्से कवर करती है, साथ में यह भी कि ट्रैफ़िक लागत का अनुमान कैसे लगाया जा सके।

वेब स्क्रैपर को प्रॉक्सी की ज़रूरत क्यों होती है

लगभग हर वेबसाइट सीमित करती है कि एक IP एड्रेस एक तय समय में कितनी रिक्वेस्ट भेज सकता है। आपके ऑफ़िस IP से रोज़ कुछ हज़ार प्रोडक्ट पेज चेक करने वाला प्राइस-मॉनिटरिंग जॉब जल्दी ही इस सीमा से टकराएगा, और नतीजा होगा 429 Too Many Requests रिस्पॉन्स, CAPTCHA या सीधे 403 ब्लॉक की दीवार।

प्रॉक्सी तीन व्यावहारिक समस्याएँ हल करते हैं:

  • लोड का बँटवारा — रिक्वेस्ट कई IP पर फैल जाती हैं, इसलिए हर IP प्रति-IP सीमा से काफ़ी नीचे रहता है।
  • लोकेशन — कीमतें, उपलब्धता, सर्च रिज़ल्ट और भाषाएँ तक देश के हिसाब से बदलती हैं। टार्गेट देश का प्रॉक्सी वही डेटा लौटाता है जो वहाँ का लोकल विज़िटर देखता।
  • अलगाव — रेट-लिमिट होने वाला IP कभी आपकी कंपनी का अपना IP नहीं होता, इसलिए सहकर्मी साइट को सामान्य रूप से इस्तेमाल कर पाते हैं।
5प्रॉक्सी प्रकार
190+देश
99.9%नेटवर्क अपटाइम
24/7सपोर्ट

ज़िम्मेदारी से स्क्रैप करें: क्या जायज़ है

प्रॉक्सी बड़े पैमाने पर स्क्रैपिंग को संभव बनाते हैं; वे हर तरह की स्क्रैपिंग को जायज़ नहीं बनाते। कोड की पहली लाइन लिखने से पहले तीन चीज़ें जाँचें।

  • सिर्फ़ पब्लिक डेटा। प्रोडक्ट लिस्टिंग, पब्लिक कीमतें, सर्च रिज़ल्ट, पब्लिक रिव्यू और प्रकाशित लेख आम टार्गेट हैं। किसी और के लॉग-इन के पीछे का डेटा, या ऐसा पर्सनल डेटा जिसे प्रोसेस करने का आपके पास कानूनी आधार नहीं है, इसमें नहीं आता।
  • robots.txt। Robots Exclusion Protocol, जिसे RFC 9309 के रूप में मानकीकृत किया गया है, वह तरीका है जिससे साइट मालिक बताते हैं कि क्रॉलर को किन पाथ से दूर रहना चाहिए। इसे पार्स करें और अपने यूज़र एजेंट के लिए Disallow नियमों का पालन करें।
  • शर्तें और लोड। साइट की शर्तें पढ़ें, जहाँ आधिकारिक API या डेटा फ़ीड मौजूद हो उसे प्राथमिकता दें, और कभी ऐसा ट्रैफ़िक न भेजें जिससे असली यूज़र्स के लिए साइट धीमी पड़ जाए।
ज़रूरी: mistPROXY सिर्फ़ कानूनी उपयोग के लिए है। अटैक, फ्रॉड और स्पैम से बिना रिफ़ंड के अकाउंट सस्पेंड होता है, और आपके भेजे ट्रैफ़िक की ज़िम्मेदारी आपकी है। ज़िम्मेदार स्क्रैपिंग बस ज़्यादा भरोसेमंद भी है: शालीन स्क्रैपर बहुत कम ब्लॉक होते हैं।

वेब स्क्रैपिंग के लिए कौन-सा प्रॉक्सी सबसे अच्छा है?

वेब स्क्रैपिंग के लिए कोई एक सबसे अच्छा प्रॉक्सी नहीं है; सही विकल्प इस पर निर्भर करता है कि टार्गेट ट्रैफ़िक को कितनी सख़्ती से फ़िल्टर करता है और आप कितना डेटा ले जाते हैं। mistPROXY पाँच प्रकार देता है, और हर एक की स्क्रैपिंग में स्वाभाविक भूमिका है।

प्रॉक्सी प्रकारबिलिंगखूबीआम स्क्रैपिंग उपयोग
रेजिडेंशियल (रोटेटिंग)प्रति GBअसली यूज़र IP, पकड़ना सबसे मुश्किल, शहर/ASN टार्गेटिंगसुरक्षित ई-कॉमर्स, ट्रैवल और मार्केटप्लेस साइटें; लोकल रिज़ल्ट
ISP / स्टैटिकप्रति IPस्टैटिक रेजिडेंशियल IP, तेज़ और स्थिरमल्टी-स्टेप सेशन, आपके अपने लॉग-इन डैशबोर्ड, स्थिर मॉनिटरिंग
डेटासेंटर IPv4प्रति IPहाई वॉल्यूम के लिए सस्ता और तेज़नरम साइटें, पब्लिक API, साइटमैप, बल्क डाउनलोड
IPv6प्रति IPबेहद सस्ते IPv6 सबनेटIPv6 स्वीकार करने वाले टार्गेट, कम बजट में बहुत बड़े क्रॉल
मोबाइल 4G/5Gप्रति IPकैरियर IP, सबसे अच्छा ट्रस्ट स्कोरसाइटों के मोबाइल वर्ज़न, सबसे सख़्त टार्गेट

एक व्यावहारिक तरीका है सस्ते से शुरू करना और ज़रूरत पड़ने पर ही ऊपर जाना: टार्गेट को पहले डेटासेंटर या IPv6 प्रॉक्सी पर टेस्ट करें, और ब्लॉक रेट बहुत ज़्यादा हो तभी रेजिडेंशियल पर जाएँ। हमारी रेजिडेंशियल vs डेटासेंटर प्रॉक्सी तुलना इस समझौते में गहराई से जाती है, और IPv6 प्रॉक्सी गाइड बताती है कि IPv6 कब काम का शॉर्टकट है।

लोकेशन पर अलग से फ़ैसला करना चाहिए। ज़्यादातर प्रोडक्ट खरीदने से पहले देश चुनने देते हैं, और रेजिडेंशियल प्रॉक्सी को किसी शहर या ASN तक और सीमित किया जा सकता है। यह शहरों के बीच डिलीवरी फ़ीस की तुलना, क्षेत्रीय स्टॉक जाँचने या लोकल सर्च रिज़ल्ट इकट्ठा करने जैसे कामों में मायने रखता है, जहाँ पड़ोसी देश का प्रॉक्सी चुपचाप आपको गलत डेटा दे देगा।

स्क्रैपिंग के लिए रोटेटिंग या स्टैटिक IP?

रोटेटिंग रेजिडेंशियल प्रॉक्सी हर रिक्वेस्ट पर IP बदलते हैं, जो प्रोडक्ट डिटेल या सर्च रिज़ल्ट जैसे हज़ारों स्वतंत्र पेज क्रॉल करने के लिए ठीक वही है जो आप चाहते हैं। हर रिक्वेस्ट अलग विज़िटर जैसी दिखती है, इसलिए प्रति-IP सीमा शायद ही कभी लागू होती है।

स्टैटिक ISP प्रॉक्सी वही IP रखते हैं, जो तब मायने रखता है जब वर्कफ़्लो निरंतरता पर टिका हो: सेशन कुकीज़ से बँधे पेजिनेटेड सर्च रिज़ल्ट, ऐसा चेकआउट-प्राइस चेक जिसमें कार्ट चाहिए, या आपका अपना डैशबोर्ड जिससे आप डेटा एक्सपोर्ट करते हैं। इन फ़्लो में बीच सेशन IP बदलने से अक्सर सेशन रीसेट हो जाता है या अतिरिक्त वेरिफ़िकेशन शुरू हो जाता है। पूरी जानकारी के लिए रोटेटिंग vs स्टिकी प्रॉक्सी पढ़ें।

अपने स्क्रैपर में प्रॉक्सी कैसे इस्तेमाल करें

  1. क्रेडेंशियल पाएँ — खरीदारी के बाद आपके प्रॉक्सी डैशबोर्ड में host:port:user:pass के रूप में दिखते हैं।
  2. प्रोटोकॉल चुनें — HTTP(S) लगभग हर लाइब्रेरी के साथ काम करता है; username:password ऑथेंटिकेशन के साथ SOCKS5 भी उपलब्ध है।
  3. क्लाइंट कॉन्फ़िगर करें — प्रॉक्सी URL को अपनी HTTP लाइब्रेरी, हेडलेस ब्राउज़र या स्क्रैपिंग फ़्रेमवर्क में दें।
  4. एक URL पर टेस्ट करें — स्केल करने से पहले पक्का करें कि रिस्पॉन्स अपेक्षित देश से आ रहा है।
  5. रेट लिमिटिंग और रिट्राई जोड़ें — फिर एरर रेट पर नज़र रखते हुए कॉन्करेंसी धीरे-धीरे बढ़ाएँ।

requests लाइब्रेरी के साथ एक छोटा Python उदाहरण ऐसा दिखता है:

import time
import requests

PROXY = "http://USER:PASS@HOST:PORT"
proxies = {"http": PROXY, "https": PROXY}

for url in urls:
    r = requests.get(url, proxies=proxies, timeout=30)
    if r.status_code == 429:
        time.sleep(60)  # back off; honour Retry-After if present
        continue
    r.raise_for_status()
    save(r.text)
    time.sleep(1.5)  # polite delay between requests

SOCKS5 के लिए requests का SOCKS एक्स्ट्रा इंस्टॉल करें और socks5h://USER:PASS@HOST:PORT इस्तेमाल करें; h का मतलब है कि DNS प्रॉक्सी के ज़रिए रिज़ॉल्व होता है, इसलिए लुकअप भी प्रॉक्सी की लोकेशन पर होते हैं।

बिना ब्लॉक हुए स्क्रैपिंग, शालीन तरीके से

ज़्यादातर ब्लॉक हमारी अपनी गलती से होते हैं। ये आदतें बिना किसी चालाकी के सफलता दर ऊँची रखती हैं:

  • हर डोमेन पर कॉन्करेंसी सीमित करें। एक साइट पर कुछ ही पैरलल रिक्वेस्ट आमतौर पर काफ़ी होती हैं; स्केल डोमेन के पार करें, किसी एक के ख़िलाफ़ नहीं।
  • 429 और 503 पर पीछे हटें। Retry-After हेडर का सम्मान करें और उसी URL पर बार-बार हथौड़ा चलाने के बजाय एक्सपोनेंशियल बैकऑफ़ इस्तेमाल करें।
  • कैश और डुप्लिकेट हटाएँ। एक रन में एक ही पेज दो बार कभी न लाएँ, और जहाँ साइट सपोर्ट करे वहाँ कंडीशनल रिक्वेस्ट (ETag, If-Modified-Since) इस्तेमाल करें।
  • साइटमैप और फ़ीड इस्तेमाल करें। ये ठीक-ठीक बताते हैं कि क्या बदला है, इसलिए आपको कम क्रॉल करना पड़ता है।
  • एक जैसे हेडर भेजें। प्रॉक्सी के देश से मेल खाता सुसंगत यूज़र एजेंट और Accept-Language सही लोकलाइज़्ड पेज और कम एरर देते हैं।
  • संकेतों पर नज़र रखें। बढ़ते 403 या CAPTCHA पेज का मतलब है कि आप बहुत तेज़ चल रहे हैं या गलत प्रॉक्सी प्रकार इस्तेमाल कर रहे हैं; ज़्यादा रोटेट करने से पहले धीमे हो जाएँ।
लागत टिप: रेजिडेंशियल ट्रैफ़िक प्रति GB बिल होता है और खर्च होने वाला है, इसलिए इस्तेमाल हुआ ट्रैफ़िक रिफ़ंड नहीं होता। हेडलेस ब्राउज़र में इमेज, फ़ॉन्ट और वीडियो ब्लॉक करें, कंप्रेस्ड रिस्पॉन्स माँगें, और जहाँ साइट JSON एंडपॉइंट देती हो वहाँ पूरे पेज के बजाय उन्हें स्क्रैप करें। कम लाना ही सबसे सस्ता ऑप्टिमाइज़ेशन है।

अपने स्क्रैपर को मापें और मॉनिटर करें

प्रॉक्सी सेटअप काम करने लगे, तो असली काम यह जानना है कि वह काम करता रहता है या नहीं। हर रन पर चार संख्याएँ लॉग करें: सफलता दर, 403 और 429 रिस्पॉन्स की गिनती, CAPTCHA पेज, और हर हज़ार पेज पर इस्तेमाल हुआ ट्रैफ़िक। हफ़्ते-दर-हफ़्ते तुलना करने पर एक नज़र में दिख जाता है कि साइट ने अपना बचाव कड़ा किया है या आपके अपने कोड में गड़बड़ी आई है।

डेटा की गुणवत्ता भी जाँचें। खाली प्राइस फ़ील्ड, अनपेक्षित करेंसी या गलत भाषा के पेज का आमतौर पर मतलब होता है कि प्रॉक्सी लोकेशन टार्गेट से मेल नहीं खाती, या आपका Accept-Language हेडर उसके उलट है।

स्क्रैपिंग के लिए mistPROXY के साथ शुरुआत

सेटअप में कुछ ही मिनट लगते हैं। रजिस्ट्रेशन पेज पर सिर्फ़ ईमेल से फ़्री अकाउंट बनाएँ, mistKET के ज़रिए USDT, BTC, ETH या दूसरे कॉइन से बैलेंस टॉप-अप करें, फिर प्रॉक्सी का प्रकार, देश और संख्या चुनें। क्रेडेंशियल तुरंत डैशबोर्ड में दिखते हैं, आपके स्क्रैपर में पेस्ट करने के लिए तैयार, और ट्रैफ़िक व रिन्यूअल आप उसी पैनल से मैनेज करते हैं। पहले एक छोटा पायलट चलाएँ, अपना ब्लॉक रेट और हर हज़ार पेज पर GB मापें, और उसके बाद ही ऑर्डर का आकार तय करें।

कीमतें पारदर्शी और प्रति यूनिट हैं: रेजिडेंशियल के लिए प्रति GB, स्टैटिक प्रकारों के लिए प्रति IP। मौजूदा शुरुआती कीमतें आप प्राइसिंग सेक्शन में देख सकते हैं और पाँचों प्रकारों की तुलना प्रॉक्सी प्रकारों के पेज पर कर सकते हैं। अगर नया प्रॉक्सी डिलीवरी पर ही बंद निकले, तो सपोर्ट उसे बदल देता है; टीम से पैनल टिकट या Telegram पर संपर्क करें।

अक्सर पूछे जाने वाले प्रश्न

वेब स्क्रैपिंग के लिए कौन-सा प्रॉक्सी सबसे अच्छा है?
यह टार्गेट पर निर्भर करता है। रोटेटिंग रेजिडेंशियल प्रॉक्सी अच्छी तरह सुरक्षित साइटों पर सबसे अच्छा काम करते हैं क्योंकि वे असली यूज़र IP इस्तेमाल करते हैं। डेटासेंटर IPv4 और IPv6 प्रॉक्सी नरम साइटों और बल्क कामों के लिए सस्ते और तेज़ हैं। स्टैटिक ISP प्रॉक्सी उन वर्कफ़्लो के लिए सही हैं जिन्हें पूरे सेशन के लिए एक IP चाहिए।
क्या प्रॉक्सी के साथ वेब स्क्रैपिंग कानूनी है?
पब्लिक रूप से उपलब्ध डेटा की स्क्रैपिंग आम है और आमतौर पर कानूनी है, लेकिन यह आपके क्षेत्राधिकार, साइट की शर्तों और संबंधित डेटा पर निर्भर करता है। सिर्फ़ पब्लिक डेटा तक सीमित रहें, robots.txt का सम्मान करें, कानूनी आधार के बिना पर्सनल डेटा से बचें और किसी साइट पर कभी ज़्यादा लोड न डालें। प्रॉक्सी इन ज़िम्मेदारियों को नहीं बदलते।
वेब स्क्रैपिंग के लिए मुझे कितने प्रॉक्सी चाहिए?
यह रिक्वेस्ट की मात्रा और टार्गेट की सख़्ती पर निर्भर है। रोटेटिंग रेजिडेंशियल प्रॉक्सी में एक एंडपॉइंट कई IP इस्तेमाल कर सकता है और आप प्रति GB भुगतान करते हैं। स्टैटिक डेटासेंटर या ISP प्रॉक्सी में अनुमान लगाएँ कि साइट प्रति IP कितनी रिक्वेस्ट सहती है, अपने प्रति घंटे के वॉल्यूम को उससे भाग दें, और थोड़ा बफ़र जोड़ें।
प्रॉक्सी इस्तेमाल करने के बावजूद मैं ब्लॉक क्यों होता हूँ?
आमतौर पर IP की वजह से नहीं बल्कि रिक्वेस्ट पैटर्न की वजह से: एक डोमेन पर बहुत ज़्यादा पैरलल रिक्वेस्ट, 429 एरर पर बैकऑफ़ न होना, या ऐसे हेडर जो प्रॉक्सी की लोकेशन से मेल नहीं खाते। सख़्त साइटों पर डेटासेंटर IP फ़िल्टर भी हो सकते हैं, जहाँ रेजिडेंशियल या मोबाइल प्रॉक्सी बेहतर काम करते हैं।
स्क्रैपिंग के लिए रोटेटिंग प्रॉक्सी इस्तेमाल करूँ या स्टैटिक?
बहुत सारे स्वतंत्र पेज क्रॉल करने के लिए रोटेटिंग प्रॉक्सी इस्तेमाल करें, क्योंकि हर रिक्वेस्ट को नया IP मिलता है। जब काम सेशन पर टिका हो, जैसे कुकीज़ से बँधे पेजिनेटेड रिज़ल्ट या अपने अकाउंट से डेटा एक्सपोर्ट करना, तब स्टैटिक ISP प्रॉक्सी इस्तेमाल करें।

संबंधित लेख

नवीनतम लेख

सभी लेख