我需要多少个代理？三步计数法

为什么速率限制不决定我需要多少代理？

速率限制决定你的任务可以以多快速度进行，而不是决定它应该使用多少 IP。当网站在其 robots.txt、条款或 API 文档中表示“每 10 秒一次请求”时，无论你的爬虫来自哪些地址，这都意味着你的爬虫。

为了超过网站设定的限制而将请求分散到更多 IP 上，是在规避该限制。这违反了网站规则，可能损害小型服务器，并且违反我们的可接受使用政策。诚实收集更多数据的方式是延长计划时间、使用官方 API 或获得网站所有者的许可。

因此，规模估算始于位置、备用和您自己的连接，而网站的节奏成为任务的速度限制。

计数 1：我需要多少个位置？

对于每个其视图或延迟对任务重要的地方，你需要一个 IP。按国家显示价格的网站需要在您跟踪的每个国家有一个 IP。从五个区域对您自己的服务进行延迟检查需要五个数据中心城市。

首先列出国家，然后仅在城市改变结果或延迟的地方列出城市。RackProxies 通过一个页面覆盖 22 个国家和 34 个数据中心城市。可用性因情况而异，结账页面会显示当前在线的资源。城市指南 可帮助您选择。

计数 2：需要多少备用和独立 IP？

为每个位置添加一个备用 IP，以便当某个 IP 出现问题时任务仍能继续运行。如果某个 IP 无法使用或不适用于合法用途，请联系客服：我们将修复它，或在库存允许的情况下用同一国家的 IP 替换；备用覆盖中间的时间。

然后为分离添加 IP。生产和预发布环境通常需要自己的白名单地址，您服务的不同客户也是如此。将您的 IP 列入白名单的合作伙伴通常需要一个主 IP 和一个备用 IP。这些 IP 专属于您：独享：在您的租用期内，每个 IP 仅分配给您的账户，不与其他 RackProxies 客户共享。

计数 3：每个 IP 需要多少连接？

将您的峰值打开连接数除以您选择在每个 IP 上运行的连接数，然后向上取整。每个 IP 的数值由您决定：较低的数值保持每个地址的负载适中，并使问题更容易追踪。

示例：2,000 个站点，每个以礼貌的节奏获取，任何时候最多打开 200 个连接。如果您选择每个 IP 最多打开 20 个连接，则需要 200 ÷ 20 = 10 个 IP。我们不发布每个 IP 的连接限制；适用公平使用原则，损害网络的非常重度使用可能会受到限制。

礼貌的任务需要多长时间？

将您需要从一个站点获取的页面数乘以该站点要求的延迟。robots.txt 由 RFC 9309 定义；Crawl-delay 行不是该标准的一部分，但许多站点仍在使用它，Python 的 urllib.robotparser 会读取它。下面的脚本读取站点的规则并打印该节奏下任务所需的时间。添加 IP 不会改变答案。

"""Read a site's robots.txt and work out how long a polite job takes."""
import urllib.robotparser

SITE = 'https://example.com'
AGENT = 'price-monitor'   # the User-Agent your job sends
PAGES = 750               # pages you need from this site per day
DEFAULT_DELAY = 10        # your own pace in seconds when robots.txt sets none

robots = urllib.robotparser.RobotFileParser(SITE + '/robots.txt')
robots.read()

if not robots.can_fetch(AGENT, SITE + '/'):
    raise SystemExit('robots.txt disallows this path for ' + AGENT)

delay = robots.crawl_delay(AGENT) or DEFAULT_DELAY
rate = robots.request_rate(AGENT)
if rate:
    delay = max(delay, rate.seconds / rate.requests)

hours = PAGES * delay / 3600
print(f'One request every {delay:g} s for the whole job: {hours:.1f} h for {PAGES} pages')
print('More IPs do not shorten this: the pace applies to your crawler, not to each IP.')