Quanti proxy mi servono? Un metodo in tre conteggi

Perché un rate limit non decide quanti proxy mi servono?

Un rate limit decide quanto velocemente può procedere il tuo lavoro, non quante IP deve usare. Quando un sito dichiara "una richiesta ogni 10 secondi" nel suo robots.txt, nei suoi termini o nella documentazione della sua API, si riferisce al tuo crawler, da qualunque indirizzo provenga.

Distribuire le richieste su più IP per superare un limite fissato dal sito significa eludere quel limite. Viola le regole del sito, può danneggiare un piccolo server ed è contro la nostra politica di uso accettabile. Il modo onesto per raccogliere più dati è una pianificazione più lunga, un'API ufficiale o il permesso del proprietario del sito.

Quindi il dimensionamento parte dalle località, dalle riserve e dalle tue connessioni, e il ritmo del sito diventa il limite di velocità del lavoro.

Conteggio 1: quante località mi servono?

Serve un IP per ogni luogo la cui vista o latenza è importante per il lavoro. Un sito che mostra i prezzi per paese richiede un IP in ogni paese che monitori. Un controllo di latenza del tuo servizio da cinque regioni richiede cinque città datacenter.

Elenca prima i paesi, poi le città solo dove la città cambia il risultato o la latenza. RackProxies copre 22 paesi e 34 città datacenter con una pagina. La disponibilità varia; il checkout mostra cosa è online. La guida alle città ti aiuta a scegliere.

Conteggio 2: quanti IP di riserva e separati?

Aggiungi un IP di riserva per località, così un lavoro continua a funzionare quando un IP ha un problema. Se un IP non funziona o è inutilizzabile per un uso lecito, scrivi al supporto: lo sistemiamo o lo sostituiamo con un IP nello stesso paese, in base alla disponibilità; la riserva copre il tempo intermedio.

Poi aggiungi IP per la separazione. Produzione e staging spesso richiedono indirizzi propri in allowlist, e lo stesso vale per i diversi clienti che servi. Un partner che mette i tuoi IP in allowlist di solito vuole un primario e uno di standby. Questi IP sono dedicati a te: Dedicati: durante il tuo noleggio, ogni IP è assegnato solo al tuo account e non è condiviso con altri clienti RackProxies.

Conteggio 3: quante connessioni per IP?

Dividi il numero massimo di connessioni aperte per quello che scegli di eseguire per IP e arrotonda per eccesso. Il valore per IP è una tua decisione: uno più basso mantiene modesto il carico di ogni indirizzo e rende più facile individuare i problemi.

Esempio: 2.000 siti, ciascuno interrogato a un ritmo educato, con al massimo 200 connessioni aperte in qualsiasi momento. Se scegli al massimo 20 connessioni aperte per IP, ti servono 200 ÷ 20 = 10 IP. Non pubblichiamo un limite di connessioni per IP; vale il fair use, e un uso molto intenso che danneggia la rete può essere limitato.

Quanto tempo richiederà un lavoro educato?

Moltiplica le pagine che ti servono da un sito per il ritardo richiesto da quel sito. robots.txt è definito dalla RFC 9309; la riga Crawl-delay non fa parte di quello standard, ma molti siti la usano ancora, e il modulo urllib.robotparser di Python la legge. Lo script qui sotto legge le regole di un sito e stampa il tempo necessario al lavoro a quel ritmo. Aggiungere IP non cambia il risultato.

"""Read a site's robots.txt and work out how long a polite job takes."""
import urllib.robotparser

SITE = 'https://example.com'
AGENT = 'price-monitor'   # the User-Agent your job sends
PAGES = 750               # pages you need from this site per day
DEFAULT_DELAY = 10        # your own pace in seconds when robots.txt sets none

robots = urllib.robotparser.RobotFileParser(SITE + '/robots.txt')
robots.read()

if not robots.can_fetch(AGENT, SITE + '/'):
    raise SystemExit('robots.txt disallows this path for ' + AGENT)

delay = robots.crawl_delay(AGENT) or DEFAULT_DELAY
rate = robots.request_rate(AGENT)
if rate:
    delay = max(delay, rate.seconds / rate.requests)

hours = PAGES * delay / 3600
print(f'One request every {delay:g} s for the whole job: {hours:.1f} h for {PAGES} pages')
print('More IPs do not shorten this: the pace applies to your crawler, not to each IP.')