ローテーティング vs 静的データセンタープロキシ: どちらが必要か？

プロバイダーのローテーションとは？

プロバイダーローテーションでは、すべてのリクエストを1つのゲートウェイに送り、ゲートウェイが各リクエスト、または各セッションをプール内の異なるIP経由で転送します。リストは見えず、出口アドレスが変わることだけが分かります。

これは、ジョブがリクエストごとに異なるIPを必要とし、どのIPかは問わない場合に便利です。ただしコストもかかります。パートナーに許可リストとして登録するIPを伝えることはできません。プロバイダーが「スティッキー」セッションを提供しない限り、セッションを1つのアドレスに固定できません。また、プールのIPはしばしば共有されるため、他のユーザーがそのIPで行ったことの影響を引き継ぎます。データセンタープールの場合、ローテーションによる変化は見た目より小さく、新しいIPは通常同じ少数のネットワーク（ASN）から割り当てられ、IPデータベースではすべて「ホスティング」と分類されます。

静的データセンタープロキシで何が得られますか？

静的データセンタープロキシでは、レンタル期間中ずっと自分のものになる固定IPリストが得られます。専用: レンタル期間中、各IPはお客様のアカウントにのみ割り当てられ、他のRackProxiesのお客様と共有されることはありません。各レンタルは引き渡しから30日間です。終了日前にアカウントから更新してください。レンタル終了後に同じIPを保持できることは保証されません。

固定リストは、既知のアドレスを必要とするジョブに適しています：

• 許可リスト。 パートナーAPI、ファイアウォール、ステージングサーバーは、登録したIPのみを受け付けます。許可リスト化されたAPIアクセスをご覧ください。
• セッション。 自社サービスへのログインセッションは1つのIPに固定されます。
• モニタリング。 同じIPと同じ都市からの結果は、日ごとに比較できます。
• 説明責任。 問題が発生したとき、どのIPが何をしたかを把握でき、サイト所有者に伝えることができます。

自分の静的プロキシリスト内でローテーションするには？

リストをコード内に保持し、リクエストごとに次のIPを選択します。ラウンドロビンサイクルでは、リクエスト1をIP 1経由、リクエスト2をIP 2経由で送信し、以下同様に続けてから最初に戻ります。スティッキーマッピングでは、各ウェブサイトを毎回同じIP経由で送信するため、セッションが安定します。

以下のPythonの例では、requestsライブラリを使って両方を実装しています。ドキュメント行をアカウントのIP:PORT:USERNAME:PASSWORD行に置き換えてください。接続フォーマットページで各フィールドを説明しています。

"""Spread jobs over your own static IPs: round-robin, or one fixed IP per site."""
import hashlib
import itertools
from urllib.parse import quote, urlsplit

import requests  # pip install requests

# One line per IP, copied from your account: IP:PORT:USERNAME:PASSWORD
LINES = [
    '203.0.113.24:8000:USERNAME:PASSWORD',
    '203.0.113.97:8000:USERNAME:PASSWORD',
    '198.51.100.7:8000:USERNAME:PASSWORD',
]


def to_proxy_url(line):
    ip, port, user, password = line.strip().split(':', 3)
    return f'http://{quote(user, safe="")}:{quote(password, safe="")}@{ip}:{port}'


PROXIES = [to_proxy_url(line) for line in LINES]
next_proxy = itertools.cycle(PROXIES)


def fetch_round_robin(url):
    proxy = next(next_proxy)  # 1st, 2nd, 3rd, then back to the 1st
    return requests.get(url, proxies={'http': proxy, 'https': proxy}, timeout=20)


def fetch_sticky(url):
    # The same website always leaves from the same IP: steady sessions and allowlists.
    host = urlsplit(url).hostname or ''
    index = int(hashlib.sha256(host.encode()).hexdigest(), 16) % len(PROXIES)
    proxy = PROXIES[index]
    return requests.get(url, proxies={'http': proxy, 'https': proxy}, timeout=20)


if __name__ == '__main__':
    for _ in range(3):
        print(fetch_round_robin('https://api.ipify.org').text)
    print(fetch_sticky('https://httpbin.org/ip').json())

ローテーションはウェブサイトの制限を回避する方法ですか？

いいえ。ウェブサイトが1つのクライアントのページリクエスト速度を制限している場合、その制限は使用するIP数に関係なくジョブに適用されます。制限を超えるためにIPをローテーションすることは制限の回避であり、利用規約に違反します。

リスト全体のローテーションは、多くの異なるサイトに負荷を分散する、1つのIPに問題が発生しても作業を続ける、複数の場所から結果を確認するなど、正当な理由で使用してください。1つのサイトで高速化するには、スケジュールを遅くする、サイトの公式APIを使用する、または所有者に問い合わせてください。サイジングガイドでは、ローテーションに頼らずにリストのサイズを決める方法を示しています。

ローリング製品の方が適しているのはどんな場合ですか？

短時間のタスクのために非常に多くの異なる出口が必要で、許可リストを一切使用せず、GB単位で課金される共有IPで問題ない場合は、ローリングゲートウェイの方が適しています。これはレジデンシャルまたはローリングプールのユースケースであり、RackProxiesでは販売していません。

固定されたアドレス群、IPあたりの固定価格、月を通して同じIPが必要な場合は、静的の方が適しています。プランは$1.29で1 IPから$59.25でIP 100個まで；料金をご覧ください。データセンターとレジデンシャルの比較では、より広い選択肢を扱っています。