Wie viele Proxys brauche ich? Eine Methode in drei Zählungen

Warum entscheidet ein Rate-Limit nicht darüber, wie viele Proxys ich brauche?

Ein Rate-Limit bestimmt, wie schnell dein Job laufen darf, nicht, wie viele IPs er nutzen sollte. Wenn eine Website in ihrer robots.txt, ihren AGB oder ihrer API-Dokumentation sagt „eine Anfrage alle 10 Sekunden“, gilt das für deinen Crawler, egal über welche Adressen er kommt.

Anfragen über mehr IPs zu verteilen, um ein von der Website gesetztes Limit zu überschreiten, ist die Umgehung dieses Limits. Das verstößt gegen die Regeln der Website, kann einem kleinen Server schaden und widerspricht unserer Richtlinie zur zulässigen Nutzung. Der ehrliche Weg, mehr Daten zu sammeln, ist ein längerer Zeitplan, eine offizielle API oder die Erlaubnis des Website-Betreibers.

Die Dimensionierung beginnt also bei Standorten, Reserven und deinen eigenen Verbindungen, und das Tempo der Website wird zur Geschwindigkeitsbegrenzung des Jobs.

Anzahl 1: Wie viele Standorte brauche ich?

Du brauchst eine IP pro Ort, dessen Sicht oder Latenz für den Job relevant ist. Eine Website, die Preise nach Land anzeigt, braucht eine IP in jedem Land, das du verfolgst. Ein Latenzcheck deines eigenen Dienstes aus fünf Regionen braucht fünf Rechenzentrumsstädte.

Liste zuerst die Länder auf, dann die Städte nur dort, wo die Stadt das Ergebnis oder die Latenz verändert. RackProxies deckt 22 Länder und 34 Rechenzentrumsstädte mit einer Seite ab. Die Verfügbarkeit variiert; der Checkout zeigt, was online ist. Der Städteführer hilft dir bei der Auswahl.

Anzahl 2: Wie viele Reserve- und separate IPs?

Füge eine Reserve-IP pro Standort hinzu, damit ein Job weiterläuft, wenn eine IP ein Problem hat. Wenn eine IP nicht funktioniert oder für eine rechtmäßige Nutzung unbrauchbar ist, schreib dem Support: Wir reparieren sie oder ersetzen sie durch eine IP im selben Land, abhängig vom Bestand; die Reserve überbrückt die Zeit dazwischen.

Dann füge IPs für die Trennung hinzu. Produktion und Staging brauchen oft eigene, freigeschaltete Adressen, ebenso verschiedene Kunden, die du betreust. Ein Partner, der deine IPs freischaltet, möchte in der Regel eine primäre und eine Standby-Adresse. Diese IPs sind dir dediziert zugewiesen: Dediziert: Während deiner Mietzeit ist jede IP nur deinem Konto zugewiesen und wird nicht mit anderen RackProxies-Kunden geteilt.

Anzahl 3: Wie viele Verbindungen pro IP?

Teile deine Spitzenzahl offener Verbindungen durch die Zahl, die du pro IP laufen lassen willst, und runde auf. Die Zahl pro IP ist deine Entscheidung: Eine niedrigere hält die Last jeder Adresse moderat und macht Probleme leichter nachvollziehbar.

Beispiel: 2.000 Websites, jede mit höflichem Tempo abgerufen, mit höchstens 200 gleichzeitig offenen Verbindungen. Wenn du höchstens 20 offene Verbindungen pro IP wählst, brauchst du 200 ÷ 20 = 10 IPs. Wir veröffentlichen kein Verbindungslimit pro IP; es gilt Fair Use, und sehr intensive Nutzung, die dem Netzwerk schadet, kann begrenzt werden.

Wie lange dauert ein höflicher Job?

Multipliziere die Seiten, die du von einer Website brauchst, mit der Verzögerung, die diese Website verlangt. robots.txt ist durch RFC 9309 definiert; die Zeile Crawl-delay ist nicht Teil dieses Standards, aber viele Websites verwenden sie trotzdem, und Pythons urllib.robotparser liest sie. Das folgende Skript liest die Regeln einer Website und gibt die Zeit aus, die der Job in diesem Tempo braucht. Das Hinzufügen von IPs ändert die Antwort nicht.

"""Read a site's robots.txt and work out how long a polite job takes."""
import urllib.robotparser

SITE = 'https://example.com'
AGENT = 'price-monitor'   # the User-Agent your job sends
PAGES = 750               # pages you need from this site per day
DEFAULT_DELAY = 10        # your own pace in seconds when robots.txt sets none

robots = urllib.robotparser.RobotFileParser(SITE + '/robots.txt')
robots.read()

if not robots.can_fetch(AGENT, SITE + '/'):
    raise SystemExit('robots.txt disallows this path for ' + AGENT)

delay = robots.crawl_delay(AGENT) or DEFAULT_DELAY
rate = robots.request_rate(AGENT)
if rate:
    delay = max(delay, rate.seconds / rate.requests)

hours = PAGES * delay / 3600
print(f'One request every {delay:g} s for the whole job: {hours:.1f} h for {PAGES} pages')
print('More IPs do not shorten this: the pace applies to your crawler, not to each IP.')