Hoeveel proxy's heb ik nodig? Een methode in drie tellingen

Waarom bepaalt een rate limit niet hoeveel proxy's ik nodig heb?

Een rate limit bepaalt hoe snel je taak mag gaan, niet hoeveel IP's hij moet gebruiken. Als een site in zijn robots.txt, voorwaarden of API-documentatie zegt "één request per 10 seconden", dan geldt dat voor je crawler, ongeacht vanaf welke adressen die komt.

Requests spreiden over meer IP's om een door de site ingestelde limiet te overschrijden is die limiet ontwijken. Het overtreedt de regels van de site, kan een kleine server schaden en is in strijd met ons acceptable use policy. De eerlijke manier om meer data te verzamelen is een langer schema, een officiële API of toestemming van de site-eigenaar.

Dus de dimensionering begint bij locaties, reserves en je eigen verbindingen, en het tempo van de site wordt de snelheidslimiet van de taak.

Aantal 1: hoeveel locaties heb ik nodig?

Je hebt één IP per plek nodig waarvan de weergave of latency voor de taak uitmaakt. Een site die prijzen per land toont, vereist één IP in elk land dat je volgt. Een latencycheck van je eigen service vanuit vijf regio's vereist vijf datacenter-steden.

Noem eerst de landen, en daarna alleen de steden waar de stad het resultaat of de latency verandert. RackProxies dekt 22 landen en 34 datacenter-steden met een pagina. Beschikbaarheid varieert; bij het afrekenen zie je wat online is. De city guide helpt je kiezen.

Aantal 2: hoeveel reserve- en aparte IP's?

Voeg één reserve-IP per locatie toe, zodat een taak blijft draaien wanneer een IP een probleem heeft. Als een IP niet werkt of onbruikbaar is voor een rechtmatig gebruik, schrijf naar support: we lossen het op of vervangen het door een IP in hetzelfde land, afhankelijk van voorraad; de reserve overbrugt de tijd daartussen.

Voeg daarna IP's toe voor scheiding. Productie en staging hebben vaak hun eigen allowlisted adressen, en verschillende klanten die je bedient ook. Een partner die je IP's allowlist, wil meestal een primair en een standby-adres. Deze IP's zijn exclusief voor jou: Dedicated: tijdens je huurperiode is elk IP alleen aan jouw account toegewezen en wordt het niet gedeeld met andere RackProxies-klanten.

Aantal 3: hoeveel verbindingen per IP?

Deel je piekaantal open verbindingen door het aantal dat je per IP wilt draaien, en rond naar boven af. Het aantal per IP is jouw keuze: een lager aantal houdt de belasting per adres bescheiden en maakt problemen makkelijker te traceren.

Voorbeeld: 2.000 sites, elk op een beleefd tempo opgehaald, met maximaal 200 verbindingen tegelijk open. Als je maximaal 20 open verbindingen per IP kiest, heb je 200 ÷ 20 = 10 IP's nodig. We publiceren geen verbindingslimiet per IP; fair use geldt, en zeer zwaar gebruik dat het netwerk schaadt kan worden beperkt.

Hoe lang duurt een beleefde taak?

Vermenigvuldig het aantal pagina's dat je van één site nodig hebt met de vertraging die die site vraagt. robots.txt is gedefinieerd in RFC 9309; de Crawl-delay-regel maakt geen deel uit van die standaard, maar veel sites gebruiken hem toch, en Python's urllib.robotparser leest hem. Het onderstaande script leest de regels van een site en print de tijd die de taak op dat tempo nodig heeft. Meer IP's toevoegen verandert het antwoord niet.

"""Read a site's robots.txt and work out how long a polite job takes."""
import urllib.robotparser

SITE = 'https://example.com'
AGENT = 'price-monitor'   # the User-Agent your job sends
PAGES = 750               # pages you need from this site per day
DEFAULT_DELAY = 10        # your own pace in seconds when robots.txt sets none

robots = urllib.robotparser.RobotFileParser(SITE + '/robots.txt')
robots.read()

if not robots.can_fetch(AGENT, SITE + '/'):
    raise SystemExit('robots.txt disallows this path for ' + AGENT)

delay = robots.crawl_delay(AGENT) or DEFAULT_DELAY
rate = robots.request_rate(AGENT)
if rate:
    delay = max(delay, rate.seconds / rate.requests)

hours = PAGES * delay / 3600
print(f'One request every {delay:g} s for the whole job: {hours:.1f} h for {PAGES} pages')
print('More IPs do not shorten this: the pace applies to your crawler, not to each IP.')