Прокси для парсинга: выбор, ротация и ответственный сбор данных
Как выбрать правильный тип прокси для задачи парсинга, подключить его к парсеру, соблюдать robots.txt и лимиты запросов и держать расходы на гигабайты под контролем.

Прокси для парсинга распределяют ваши запросы по множеству IP-адресов, чтобы ни один IP не упирался в лимиты сайта, пока вы собираете публичные данные. Используйте ротируемые резидентные прокси для хорошо защищённых сайтов, серверные или IPv6 — для лояльных целей, а статические ISP прокси — когда сессия должна оставаться на одном IP.
Выбор прокси — лишь половина дела. Парсеры, которые месяцами работают без проблем, сочетают правильный тип IP с вежливым поведением: разумной параллельностью, соблюдением robots.txt, паузами, когда сайт просит притормозить. Это руководство охватывает обе половины, а также то, как сделать расходы на трафик предсказуемыми.
Зачем парсерам нужны прокси
Почти каждый сайт ограничивает число запросов с одного IP-адреса за определённый период. Задача мониторинга цен, которая проверяет несколько тысяч карточек товаров в день с офисного IP, быстро упрётся в этот потолок, и в результате вы получите стену ответов 429 Too Many Requests, капчи или прямые блокировки 403.
Прокси решают три практические проблемы:
- Распределение нагрузки — запросы распределяются по множеству IP, и каждый остаётся далеко ниже порогов на один IP.
- Локация — цены, наличие, поисковая выдача и даже язык меняются в зависимости от страны. Прокси в целевой стране возвращает данные, которые увидел бы местный посетитель.
- Изоляция — ваш корпоративный IP никогда не попадает под ограничения, и коллеги могут пользоваться сайтом как обычно.
Ответственный парсинг: что допустимо
Прокси делают парсинг возможным в больших масштабах, но не делают допустимым любой парсинг. Прежде чем написать хоть строчку кода, проверьте три вещи.
- Только публичные данные. Каталоги товаров, публичные цены, поисковая выдача, открытые отзывы и опубликованные статьи — типичные цели. Данные за чужим логином или персональные данные, для обработки которых у вас нет законного основания, — нет.
- robots.txt. Протокол исключений для роботов, стандартизированный как RFC 9309, — это способ, которым владельцы сайтов сообщают, каких путей краулерам следует избегать. Разбирайте его и соблюдайте правила Disallow для своего user agent.
- Условия и нагрузка. Читайте условия использования сайта, отдавайте предпочтение официальному API или фиду данных, если они есть, и никогда не отправляйте трафик, который может ухудшить работу сайта для реальных пользователей.
Какой тип прокси лучше всего подходит для парсинга?
Единственно лучшего прокси для парсинга не существует: правильный выбор зависит от того, насколько строго цель фильтрует трафик и какой объём данных вы передаёте. mistPROXY предлагает пять типов, и у каждого есть естественная роль в парсинге.
| Тип прокси | Оплата | Сильная сторона | Типичное применение в парсинге |
|---|---|---|---|
| Резидентные (ротация) | За ГБ | IP реальных пользователей, сложнее всего распознать, таргетинг по городу/ASN | Защищённые интернет-магазины, сайты путешествий и маркетплейсы; локальные результаты |
| ISP / статические | За IP | Статические резидентные IP, быстрые и стабильные | Многошаговые сессии, собственные панели с авторизацией, равномерный мониторинг |
| Серверные IPv4 | За IP | Дёшево и быстро для больших объёмов | Лояльные сайты, публичные API, карты сайта, массовые загрузки |
| IPv6 | За IP | Сверхдешёвые IPv6-подсети | Сайты с поддержкой IPv6, очень большие обходы при ограниченном бюджете |
| Мобильные 4G/5G | За IP | IP операторов, максимальный уровень доверия | Мобильные версии сайтов, самые строгие цели |
Прагматичный подход — начинать с дешёвого и повышать уровень только при необходимости: сначала протестируйте цель на серверных или IPv6 прокси и переходите на резидентные, только если доля блокировок слишком высока. Подробнее этот компромисс разобран в нашем сравнении резидентных и серверных прокси, а руководство по IPv6 прокси объясняет, когда IPv6 — рабочий короткий путь.
Локация заслуживает отдельного решения. Для большинства продуктов страну можно выбрать до покупки, а резидентные прокси можно сузить ещё до города или ASN. Это важно для задач вроде сравнения стоимости доставки между городами, проверки региональных остатков или сбора локальной выдачи, где прокси из соседней страны незаметно дал бы вам неверные данные.
Ротационные или статические IP для парсинга?
Ротируемые резидентные прокси меняют IP при каждом запросе — именно это нужно для обхода тысяч независимых страниц, например карточек товаров или результатов поиска. Каждый запрос выглядит как новый посетитель, поэтому лимиты на один IP почти не срабатывают.
Статические ISP прокси сохраняют один IP, а это важно, когда процесс зависит от непрерывности: поиск с постраничными результатами, привязанными к cookie сессии, проверка цены в корзине или ваша собственная панель, из которой вы выгружаете данные. Смена IP посреди сессии в таких сценариях часто сбрасывает сессию или вызывает дополнительную проверку. Подробный разбор — в статье ротационные или sticky прокси.
Как подключить прокси к парсеру
- Получите данные доступа — после покупки прокси появляются в кабинете в формате host:port:user:pass.
- Выберите протокол — HTTP(S) работает почти с любой библиотекой; доступен и SOCKS5, с авторизацией по логину и паролю.
- Настройте клиент — передайте URL прокси в вашу HTTP-библиотеку, headless-браузер или фреймворк для парсинга.
- Проверьте на одном URL — убедитесь, что ответ приходит из ожидаемой страны, прежде чем масштабироваться.
- Добавьте лимиты и повторы — затем постепенно увеличивайте параллельность, следя за долей ошибок.
Минимальный пример на Python с библиотекой requests выглядит так:
import time
import requests
PROXY = "http://USER:PASS@HOST:PORT"
proxies = {"http": PROXY, "https": PROXY}
for url in urls:
r = requests.get(url, proxies=proxies, timeout=30)
if r.status_code == 429:
time.sleep(60) # пауза; учитывайте Retry-After, если он есть
continue
r.raise_for_status()
save(r.text)
time.sleep(1.5) # вежливая задержка между запросамиДля SOCKS5 установите SOCKS-дополнение для requests и используйте socks5h://USER:PASS@HOST:PORT; буква h означает, что DNS разрешается через прокси, поэтому и DNS-запросы выполняются в локации прокси.
Как избежать блокировок вежливым способом
Большинство блокировок люди устраивают себе сами. Эти привычки держат долю успешных запросов высокой без всяких уловок:
- Ограничивайте параллельность на домен. Нескольких параллельных запросов к одному сайту обычно достаточно; масштабируйтесь по доменам, а не давите на один.
- Делайте паузы при 429 и 503. Соблюдайте заголовок Retry-After и используйте экспоненциальную задержку вместо того, чтобы долбить тот же URL.
- Кешируйте и убирайте дубли. Никогда не загружайте одну и ту же страницу дважды за запуск и используйте условные запросы (ETag, If-Modified-Since), если сайт их поддерживает.
- Используйте карты сайта и фиды. В них точно указано, что изменилось, поэтому обходить приходится меньше.
- Отправляйте согласованные заголовки. Логичный user agent и Accept-Language, соответствующие стране прокси, дают правильные локализованные страницы и меньше ошибок.
- Следите за сигналами. Рост числа 403 или страниц с капчей означает, что вы идёте слишком быстро или используете не тот тип прокси; сначала замедлитесь, а уже потом усиливайте ротацию.
Измеряйте и отслеживайте работу парсера
Когда схема с прокси заработала, главная задача — понимать, продолжает ли она работать. Записывайте при каждом запуске четыре показателя: долю успешных запросов, количество ответов 403 и 429, число страниц с капчей и объём трафика на тысячу страниц. Сравнение по неделям сразу показывает, ужесточил ли сайт защиту или регрессировал ваш собственный код.
Проверяйте и качество данных. Пустые поля цены, неожиданная валюта или страницы не на том языке обычно означают, что локация прокси не совпадает с целью или ваш заголовок Accept-Language ей противоречит.
Как начать парсинг с mistPROXY
Настройка занимает несколько минут. Создайте бесплатный аккаунт на странице регистрации, указав только email, пополните баланс в USDT, BTC, ETH или других монетах через mistKET, а затем выберите тип прокси, страну и количество. Данные доступа сразу появляются в кабинете, готовые к вставке в парсер, а трафиком и продлениями вы управляете из той же панели. Сначала запустите небольшой пилот, измерьте долю блокировок и расход ГБ на тысячу страниц и только потом рассчитывайте объём заказа.
Цены прозрачные и указаны за единицу: за ГБ для резидентных, за IP для статических типов. Актуальные стартовые цены — в разделе с тарифами, а сравнить все пять типов можно на странице с типами прокси. Если новый прокси не работает при выдаче, поддержка его заменит; связаться с командой можно через тикеты в панели или в Telegram.


