プロキシはいくつ必要ですか？3つのカウントによる方法

レート制限は必要なプロキシ数を決めないのはなぜ？

レート制限が決めるのはジョブの速度であり、使うIPの数ではありません。サイトがrobots.txtや利用規約、APIドキュメントで「10秒に1リクエスト」と示している場合、それはどのアドレスから来てもクローラーに適用されます。

サイトが定めた制限を超えるためにリクエストをより多くのIPに分散させるのは、その制限を回避することになります。サイトのルールに反し、小さなサーバーに負荷をかけ、当社のacceptable use policyに違反します。より多くのデータを集める誠実な方法は、スケジュールを長くする、公式APIを使う、サイト所有者の許可を得ることです。

つまりサイジングはロケーション、予備、自社の接続数から始まり、サイトのペースがジョブの速度制限になります。

カウント1：必要なロケーション数は？

表示やレイテンシがジョブにとって重要な場所ごとに1つのIPが必要です。国別に価格を表示するサイトなら、追跡する各国に1つのIPが必要です。自社サービスのレイテンシを5地域から確認するなら、5つのデータセンター都市が必要です。

まず国をリストアップし、都市が結果やレイテンシを変える場合にのみ都市を追加します。RackProxiesはページを持つ22か国と34のデータセンター都市をカバーしています。在庫状況は変動するため、チェックアウトに在庫が表示されます。city guideが選択に役立ちます。

カウント2：予備と分離用のIPはいくつ？

ロケーションごとに予備IPを1つ追加すると、IPに問題が起きてもジョブが動き続けます。IPが動作しない、または合法的な用途に使用できない場合はサポートまでご連絡ください。在庫の範囲で修正または同じ国のIPに交換します、予備がその間をカバーします。

次に分離用のIPを追加します。本番とステージングは多くの場合それぞれ許可リスト登録されたアドレスが必要で、複数の顧客にサービスを提供する場合も同様です。あなたのIPを許可リストに登録するパートナーは通常、プライマリとスタンバイを求めます。これらのIPはあなた専用です：専用: レンタル期間中、各IPはお客様のアカウントにのみ割り当てられ、他のRackProxiesのお客様と共有されることはありません。

カウント3：IPあたりの接続数は？

ピーク時のオープン接続数を、IPあたりで実行する接続数で割り、切り上げます。IPあたりの数値はあなたの判断です。低くすれば各アドレスの負荷が抑えられ、問題の追跡が容易になります。

例：2,000サイト、それぞれ丁寧なペースで取得、同時オープン接続は最大200。IPあたり最大20接続を選ぶなら、200 ÷ 20 = 10 IPが必要です。当社はIPあたりの接続制限を公表していません。フェアユースが適用され、ネットワークに害を与える極端な使用は制限される場合があります。

丁寧なジョブはどれくらいかかる？

1サイトから必要なページ数に、そのサイトが求める遅延を掛けます。robots.txtはRFC 9309で定義されています。Crawl-delay行はこの標準の一部ではありませんが、多くのサイトが今も使用しており、Pythonのurllib.robotparserが読み取ります。以下のスクリプトはサイトのルールを読み取り、そのペースでジョブに必要な時間を出力します。IPを追加しても答えは変わりません。

"""Read a site's robots.txt and work out how long a polite job takes."""
import urllib.robotparser

SITE = 'https://example.com'
AGENT = 'price-monitor'   # the User-Agent your job sends
PAGES = 750               # pages you need from this site per day
DEFAULT_DELAY = 10        # your own pace in seconds when robots.txt sets none

robots = urllib.robotparser.RobotFileParser(SITE + '/robots.txt')
robots.read()

if not robots.can_fetch(AGENT, SITE + '/'):
    raise SystemExit('robots.txt disallows this path for ' + AGENT)

delay = robots.crawl_delay(AGENT) or DEFAULT_DELAY
rate = robots.request_rate(AGENT)
if rate:
    delay = max(delay, rate.seconds / rate.requests)

hours = PAGES * delay / 3600
print(f'One request every {delay:g} s for the whole job: {hours:.1f} h for {PAGES} pages')
print('More IPs do not shorten this: the pace applies to your crawler, not to each IP.')