Прокси для парсинга: выбор, ротация и ответственный сбор данных

Как выбрать правильный тип прокси для задачи парсинга, подключить его к парсеру, соблюдать robots.txt и лимиты запросов и держать расходы на гигабайты под контролем.

Автор: Sofia HartmannОбновлено: 5 мин чтения
Прокси для парсинга: запросы к публичным сайтам идут через ротируемые IP прокси

Прокси для парсинга распределяют ваши запросы по множеству IP-адресов, чтобы ни один IP не упирался в лимиты сайта, пока вы собираете публичные данные. Используйте ротируемые резидентные прокси для хорошо защищённых сайтов, серверные или IPv6 — для лояльных целей, а статические ISP прокси — когда сессия должна оставаться на одном IP.

Выбор прокси — лишь половина дела. Парсеры, которые месяцами работают без проблем, сочетают правильный тип IP с вежливым поведением: разумной параллельностью, соблюдением robots.txt, паузами, когда сайт просит притормозить. Это руководство охватывает обе половины, а также то, как сделать расходы на трафик предсказуемыми.

Зачем парсерам нужны прокси

Почти каждый сайт ограничивает число запросов с одного IP-адреса за определённый период. Задача мониторинга цен, которая проверяет несколько тысяч карточек товаров в день с офисного IP, быстро упрётся в этот потолок, и в результате вы получите стену ответов 429 Too Many Requests, капчи или прямые блокировки 403.

Прокси решают три практические проблемы:

  • Распределение нагрузки — запросы распределяются по множеству IP, и каждый остаётся далеко ниже порогов на один IP.
  • Локация — цены, наличие, поисковая выдача и даже язык меняются в зависимости от страны. Прокси в целевой стране возвращает данные, которые увидел бы местный посетитель.
  • Изоляция — ваш корпоративный IP никогда не попадает под ограничения, и коллеги могут пользоваться сайтом как обычно.
5типов прокси
190+стран
99.9%аптайм сети
24/7поддержка

Ответственный парсинг: что допустимо

Прокси делают парсинг возможным в больших масштабах, но не делают допустимым любой парсинг. Прежде чем написать хоть строчку кода, проверьте три вещи.

  • Только публичные данные. Каталоги товаров, публичные цены, поисковая выдача, открытые отзывы и опубликованные статьи — типичные цели. Данные за чужим логином или персональные данные, для обработки которых у вас нет законного основания, — нет.
  • robots.txt. Протокол исключений для роботов, стандартизированный как RFC 9309, — это способ, которым владельцы сайтов сообщают, каких путей краулерам следует избегать. Разбирайте его и соблюдайте правила Disallow для своего user agent.
  • Условия и нагрузка. Читайте условия использования сайта, отдавайте предпочтение официальному API или фиду данных, если они есть, и никогда не отправляйте трафик, который может ухудшить работу сайта для реальных пользователей.
Важно: mistPROXY предназначен только для законного использования. Атаки, мошенничество и спам ведут к блокировке без возврата средств, и вы отвечаете за отправляемый трафик. К тому же ответственный парсинг просто надёжнее: вежливые парсеры блокируют гораздо реже.

Какой тип прокси лучше всего подходит для парсинга?

Единственно лучшего прокси для парсинга не существует: правильный выбор зависит от того, насколько строго цель фильтрует трафик и какой объём данных вы передаёте. mistPROXY предлагает пять типов, и у каждого есть естественная роль в парсинге.

Тип проксиОплатаСильная сторонаТипичное применение в парсинге
Резидентные (ротация)За ГБIP реальных пользователей, сложнее всего распознать, таргетинг по городу/ASNЗащищённые интернет-магазины, сайты путешествий и маркетплейсы; локальные результаты
ISP / статическиеЗа IPСтатические резидентные IP, быстрые и стабильныеМногошаговые сессии, собственные панели с авторизацией, равномерный мониторинг
Серверные IPv4За IPДёшево и быстро для больших объёмовЛояльные сайты, публичные API, карты сайта, массовые загрузки
IPv6За IPСверхдешёвые IPv6-подсетиСайты с поддержкой IPv6, очень большие обходы при ограниченном бюджете
Мобильные 4G/5GЗа IPIP операторов, максимальный уровень доверияМобильные версии сайтов, самые строгие цели

Прагматичный подход — начинать с дешёвого и повышать уровень только при необходимости: сначала протестируйте цель на серверных или IPv6 прокси и переходите на резидентные, только если доля блокировок слишком высока. Подробнее этот компромисс разобран в нашем сравнении резидентных и серверных прокси, а руководство по IPv6 прокси объясняет, когда IPv6 — рабочий короткий путь.

Локация заслуживает отдельного решения. Для большинства продуктов страну можно выбрать до покупки, а резидентные прокси можно сузить ещё до города или ASN. Это важно для задач вроде сравнения стоимости доставки между городами, проверки региональных остатков или сбора локальной выдачи, где прокси из соседней страны незаметно дал бы вам неверные данные.

Ротационные или статические IP для парсинга?

Ротируемые резидентные прокси меняют IP при каждом запросе — именно это нужно для обхода тысяч независимых страниц, например карточек товаров или результатов поиска. Каждый запрос выглядит как новый посетитель, поэтому лимиты на один IP почти не срабатывают.

Статические ISP прокси сохраняют один IP, а это важно, когда процесс зависит от непрерывности: поиск с постраничными результатами, привязанными к cookie сессии, проверка цены в корзине или ваша собственная панель, из которой вы выгружаете данные. Смена IP посреди сессии в таких сценариях часто сбрасывает сессию или вызывает дополнительную проверку. Подробный разбор — в статье ротационные или sticky прокси.

Как подключить прокси к парсеру

  1. Получите данные доступа — после покупки прокси появляются в кабинете в формате host:port:user:pass.
  2. Выберите протокол — HTTP(S) работает почти с любой библиотекой; доступен и SOCKS5, с авторизацией по логину и паролю.
  3. Настройте клиент — передайте URL прокси в вашу HTTP-библиотеку, headless-браузер или фреймворк для парсинга.
  4. Проверьте на одном URL — убедитесь, что ответ приходит из ожидаемой страны, прежде чем масштабироваться.
  5. Добавьте лимиты и повторы — затем постепенно увеличивайте параллельность, следя за долей ошибок.

Минимальный пример на Python с библиотекой requests выглядит так:

import time
import requests

PROXY = "http://USER:PASS@HOST:PORT"
proxies = {"http": PROXY, "https": PROXY}

for url in urls:
    r = requests.get(url, proxies=proxies, timeout=30)
    if r.status_code == 429:
        time.sleep(60)  # пауза; учитывайте Retry-After, если он есть
        continue
    r.raise_for_status()
    save(r.text)
    time.sleep(1.5)  # вежливая задержка между запросами

Для SOCKS5 установите SOCKS-дополнение для requests и используйте socks5h://USER:PASS@HOST:PORT; буква h означает, что DNS разрешается через прокси, поэтому и DNS-запросы выполняются в локации прокси.

Как избежать блокировок вежливым способом

Большинство блокировок люди устраивают себе сами. Эти привычки держат долю успешных запросов высокой без всяких уловок:

  • Ограничивайте параллельность на домен. Нескольких параллельных запросов к одному сайту обычно достаточно; масштабируйтесь по доменам, а не давите на один.
  • Делайте паузы при 429 и 503. Соблюдайте заголовок Retry-After и используйте экспоненциальную задержку вместо того, чтобы долбить тот же URL.
  • Кешируйте и убирайте дубли. Никогда не загружайте одну и ту же страницу дважды за запуск и используйте условные запросы (ETag, If-Modified-Since), если сайт их поддерживает.
  • Используйте карты сайта и фиды. В них точно указано, что изменилось, поэтому обходить приходится меньше.
  • Отправляйте согласованные заголовки. Логичный user agent и Accept-Language, соответствующие стране прокси, дают правильные локализованные страницы и меньше ошибок.
  • Следите за сигналами. Рост числа 403 или страниц с капчей означает, что вы идёте слишком быстро или используете не тот тип прокси; сначала замедлитесь, а уже потом усиливайте ротацию.
Совет по расходам: резидентный трафик оплачивается за ГБ и расходуется, а использованный трафик не возвращается. В headless-браузерах блокируйте изображения, шрифты и видео, запрашивайте сжатые ответы и парсите JSON-эндпоинты вместо полных страниц, если сайт их отдаёт. Загружать меньше — самая дешёвая оптимизация из возможных.

Измеряйте и отслеживайте работу парсера

Когда схема с прокси заработала, главная задача — понимать, продолжает ли она работать. Записывайте при каждом запуске четыре показателя: долю успешных запросов, количество ответов 403 и 429, число страниц с капчей и объём трафика на тысячу страниц. Сравнение по неделям сразу показывает, ужесточил ли сайт защиту или регрессировал ваш собственный код.

Проверяйте и качество данных. Пустые поля цены, неожиданная валюта или страницы не на том языке обычно означают, что локация прокси не совпадает с целью или ваш заголовок Accept-Language ей противоречит.

Как начать парсинг с mistPROXY

Настройка занимает несколько минут. Создайте бесплатный аккаунт на странице регистрации, указав только email, пополните баланс в USDT, BTC, ETH или других монетах через mistKET, а затем выберите тип прокси, страну и количество. Данные доступа сразу появляются в кабинете, готовые к вставке в парсер, а трафиком и продлениями вы управляете из той же панели. Сначала запустите небольшой пилот, измерьте долю блокировок и расход ГБ на тысячу страниц и только потом рассчитывайте объём заказа.

Цены прозрачные и указаны за единицу: за ГБ для резидентных, за IP для статических типов. Актуальные стартовые цены — в разделе с тарифами, а сравнить все пять типов можно на странице с типами прокси. Если новый прокси не работает при выдаче, поддержка его заменит; связаться с командой можно через тикеты в панели или в Telegram.

Частые вопросы

Какой тип прокси лучше всего подходит для парсинга?
Зависит от цели. Ротируемые резидентные прокси лучше всего работают на хорошо защищённых сайтах, потому что используют IP реальных пользователей. Серверные IPv4 и IPv6 прокси дешевле и быстрее для лояльных сайтов и массовых задач. Статические ISP прокси подходят для процессов, которым нужен один IP на всю сессию.
Законен ли парсинг через прокси?
Сбор общедоступных данных широко распространён и в целом законен, но многое зависит от юрисдикции, условий сайта и характера данных. Ограничьтесь публичными данными, соблюдайте robots.txt, не обрабатывайте персональные данные без законного основания и никогда не перегружайте сайт. Прокси эти обязанности не отменяют.
Сколько прокси нужно для парсинга?
Зависит от объёма запросов и строгости цели. С ротируемыми резидентными прокси одна точка подключения использует множество IP, а оплата идёт за ГБ. Со статическими серверными или ISP прокси оцените, сколько запросов на один IP сайт терпит, разделите на это число свой часовой объём и добавьте запас.
Почему меня всё равно блокируют, хотя я использую прокси?
Обычно дело в характере запросов, а не в IP: слишком много параллельных запросов к одному домену, отсутствие пауз при ошибках 429 или заголовки, не соответствующие локации прокси. Кроме того, строгие сайты могут фильтровать серверные IP — там лучше работают резидентные или мобильные прокси.
Какие прокси использовать для парсинга: ротационные или статические?
Ротационные — для обхода множества независимых страниц, ведь каждый запрос получает свежий IP. Статические ISP — когда задача зависит от сессии, например постраничные результаты, привязанные к cookie, или выгрузка данных из собственного аккаунта.

Похожие статьи

Новые статьи

Все статьи