爬虫代理IP指南:如何选择、轮换并负责任地采集数据
如何为采集任务选对代理类型、把它接入爬虫、遵守 robots.txt 和频率限制,并把按 GB 计费的成本控制住。

爬虫代理IP会把你的请求分散到大量 IP 地址上,这样在采集公开数据时,不会有单个 IP 触发网站的频率限制。防护严格的网站用轮换住宅代理,宽松的目标用数据中心或 IPv6 代理,而当会话必须固定在一个 IP 上时,用静态 ISP 代理。
选好代理只完成了一半。那些能连续运行数月不出问题的爬虫,都是把合适的 IP 类型和礼貌的请求方式结合起来:合理的并发、遵守 robots.txt、在网站要求放慢时主动退避。本指南两方面都会讲到,另外还会介绍如何让流量成本可预测。
为什么网页爬虫需要代理
几乎所有网站都会限制单个 IP 在一定时间内的请求数。一个每天从办公室 IP 检查几千个商品页的价格监控任务,很快就会撞上这个上限,结果就是满屏的 429 Too Many Requests、验证码,甚至直接 403 封禁。
代理解决了三个实际问题:
- 负载分散——请求分散到许多 IP 上,每个 IP 都远低于单 IP 阈值。
- 地理位置——价格、库存、搜索结果甚至语言都会因国家而异。目标国家的代理能返回当地访客看到的数据。
- 隔离——被限速的永远不是你公司的 IP,同事仍能正常使用该网站。
负责任地采集:哪些可以抓
代理让大规模采集成为可能,但并不让所有采集都变得正当。在写第一行代码之前,先检查三件事。
- 只采集公开数据。商品列表、公开价格、搜索结果、公开评论和已发布的文章是典型目标。别人登录后才能看到的数据,或你没有合法依据处理的个人数据,都不在此列。
- robots.txt。机器人排除协议已标准化为 RFC 9309,是站长告诉爬虫哪些路径应避开的方式。请解析它,并遵守针对你的 User-Agent 的 Disallow 规则。
- 条款与负载。阅读网站条款;如有官方 API 或数据源,优先使用;绝不要发送可能影响真实用户访问的流量。
网页抓取用哪种代理最好?
没有一种代理在所有爬虫场景中都是最好的;正确的选择取决于目标网站过滤流量的严格程度以及你传输的数据量。mistPROXY 提供五种类型,每种都有自然的采集定位。
| 代理类型 | 计费 | 优势 | 典型采集用途 |
|---|---|---|---|
| 住宅代理(轮换) | 按 GB | 真实用户 IP,最难被识别,支持城市/ASN 定位 | 有防护的电商、旅游和交易平台网站;本地结果 |
| ISP / 静态 | 按 IP | 静态住宅 IP,快速稳定 | 多步骤会话、你自己的已登录后台、稳定监控 |
| 数据中心 IPv4 | 按 IP | 便宜、快速,适合大流量 | 宽松的网站、公开 API、站点地图、批量下载 |
| IPv6 | 按 IP | 超低价 IPv6 子网 | 支持 IPv6 的目标、预算有限的超大规模抓取 |
| 4G/5G 移动代理 | 按 IP | 运营商 IP,信任度最高 | 网站的移动版、最严格的目标 |
务实的做法是先用便宜的,必要时再升级:先用数据中心或 IPv6 代理测试目标,只有在封禁率过高时才换成住宅代理。我们的住宅代理与数据中心代理对比深入分析了这一取舍,IPv6 代理指南则说明了 IPv6 何时是可行的捷径。
地理位置值得单独决策。大多数产品允许你在购买前选择国家,住宅代理还可以进一步缩小到城市或 ASN。这对于比较不同城市的配送费、查看地区库存或采集本地搜索结果等任务很重要——用邻国的代理,会在不知不觉中给你错误的数据。
爬虫该用动态轮换 IP 还是静态 IP?
轮换住宅代理每次请求都会更换 IP,适合抓取成千上万个相互独立的页面,例如商品详情或搜索结果。每个请求看起来都像不同的访客,所以单 IP 限制几乎不会生效。
静态 ISP 代理保持同一个 IP,当工作流依赖连续性时就很重要:与会话 Cookie 绑定的分页搜索结果、需要购物车的结算价格检查,或从你自己的后台导出数据。在这些流程中途更换 IP,常会导致会话重置或触发额外验证。完整分析请阅读动态轮换代理与粘性代理对比。
如何在爬虫中使用代理
- 获取凭据——购买后,代理会以 host:port:user:pass 格式显示在控制面板中。
- 选择协议——HTTP(S) 几乎适用于所有库;也可使用 SOCKS5,并采用用户名:密码认证。
- 配置客户端——把代理 URL 传给你的 HTTP 库、无头浏览器或爬虫框架。
- 先测一个 URL——扩大规模前,确认响应来自预期的国家。
- 加入限速和重试——然后一边观察错误率,一边逐步提高并发。
使用 requests 库的最简 Python 示例如下:
import time
import requests
PROXY = "http://USER:PASS@HOST:PORT"
proxies = {"http": PROXY, "https": PROXY}
for url in urls:
r = requests.get(url, proxies=proxies, timeout=30)
if r.status_code == 429:
time.sleep(60) # back off; honour Retry-After if present
continue
r.raise_for_status()
save(r.text)
time.sleep(1.5) # polite delay between requests使用 SOCKS5 时,请为 requests 安装 SOCKS 扩展并使用 socks5h://USER:PASS@HOST:PORT;其中的 h 表示 DNS 通过代理解析,这样域名查询也在代理所在地完成。
爬虫如何礼貌地避免被封
大多数封禁都是自找的。以下习惯无需任何花招就能保持高成功率:
- 限制每个域名的并发。对一个网站同时发几个请求通常就足够了;要扩展就跨域名扩展,而不是对着一个网站加压。
- 遇到 429 和 503 时退避。遵守 Retry-After 头,使用指数退避,而不是反复猛刷同一个 URL。
- 缓存与去重。一次运行中绝不重复抓取同一页面;在网站支持时使用条件请求(ETag、If-Modified-Since)。
- 利用站点地图和订阅源。它们准确列出了变化内容,让你少抓很多。
- 发送一致的请求头。与代理所在国家匹配的 User-Agent 和 Accept-Language,能返回正确的本地化页面并减少错误。
- 关注信号。403 或验证码页面增多,说明你太快了或用错了代理类型;先放慢速度,再考虑加大轮换。
衡量和监控你的爬虫
代理配置跑通之后,真正的工作是确认它能持续运行。每次运行都记录四个数字:成功率、403 和 429 响应数、验证码页面数,以及每千个页面消耗的流量。逐周对比,就能一眼看出是网站加强了防护,还是你自己的代码出了问题。
也要检查数据质量。价格字段为空、货币不对或页面语言错误,通常意味着代理位置与目标不匹配,或者你的 Accept-Language 头与之矛盾。
用 mistPROXY 开始数据采集
设置只需几分钟。在注册页面只需一个邮箱即可免费注册,通过 mistKET 使用 USDT、BTC、ETH 或其他币种为余额充值,然后选择代理类型、国家和数量。凭据会立即显示在控制面板中,可直接粘贴到爬虫里,流量和续费也在同一面板中管理。先做一个小规模试点,测出封禁率和每千页消耗的 GB 数,再确定订单规模。
价格透明、按单位计费:住宅代理按 GB,静态类型按 IP。当前起步价见价格区,五种类型的对比见代理类型页面。如果新代理到手即失效,客服会负责更换;可通过面板工单或 Telegram 联系团队。


