Quantos proxies eu preciso? Um método em três contagens

Por que um rate limit não decide quantos proxies eu preciso?

Um rate limit decide a velocidade máxima do seu job, não quantos IPs ele deve usar. Quando um site diz "uma requisição a cada 10 segundos" no robots.txt, nos termos ou na documentação da API, isso vale para o seu crawler, independentemente dos endereços de onde ele vem.

Distribuir requisições por mais IPs para ultrapassar um limite definido pelo site é evadir esse limite. Isso viola as regras do site, pode prejudicar um servidor pequeno e vai contra a nossa política de uso aceitável. O jeito honesto de coletar mais dados é um cronograma mais longo, uma API oficial ou permissão do dono do site.

Então o dimensionamento parte das localizações, das reservas e das suas próprias conexões, e o ritmo do site vira o limite de velocidade do job.

Contagem 1: de quantas localizações eu preciso?

Você precisa de um IP por local cuja visão ou latência importa para o job. Um site que mostra preços por país precisa de um IP em cada país que você acompanha. Um teste de latência do seu próprio serviço a partir de cinco regiões precisa de cinco cidades de datacenter.

Liste primeiro os países, depois as cidades só onde a cidade muda o resultado ou a latência. A RackProxies cobre 22 países e 34 cidades de datacenter com página. A disponibilidade varia; o checkout mostra o que está online. O guia de cidades ajuda você a escolher.

Contagem 2: quantos IPs reserva e separados?

Adicione um IP reserva por localização para o job continuar rodando quando um IP tiver problema. Se um IP não funcionar ou for inutilizável para uma finalidade lícita, escreva para o suporte: nós corrigimos ou substituímos por um IP no mesmo país, sujeito ao estoque; a reserva cobre o tempo no meio.

Depois adicione IPs para separação. Produção e staging muitas vezes precisam dos próprios endereços na allowlist, e o mesmo vale para os diferentes clientes que você atende. Um parceiro que coloca seus IPs na allowlist normalmente quer um principal e um standby. Esses IPs são dedicados a você: Dedicado: durante o seu aluguel, cada IP é atribuído apenas à sua conta e não é compartilhado com outros clientes RackProxies.

Contagem 3: quantas conexões por IP?

Divida seu número de pico de conexões abertas pelo número que você decide rodar por IP e arredonde para cima. O número por IP é decisão sua: um valor menor mantém a carga de cada endereço modesta e facilita rastrear problemas.

Exemplo: 2.000 sites, cada um acessado num ritmo educado, com no máximo 200 conexões abertas a qualquer momento. Se você escolher no máximo 20 conexões abertas por IP, precisa de 200 ÷ 20 = 10 IPs. Não publicamos um limite de conexões por IP; vale o uso justo, e uso muito pesado que prejudica a rede pode ser limitado.

Quanto tempo vai levar um job educado?

Multiplique as páginas que você precisa de um site pelo atraso que esse site pede. O robots.txt é definido pela RFC 9309; a linha Crawl-delay não faz parte desse padrão, mas muitos sites ainda a usam, e o urllib.robotparser do Python a lê. O script abaixo lê as regras de um site e imprime o tempo que o job precisa nesse ritmo. Adicionar IPs não muda a resposta.

"""Read a site's robots.txt and work out how long a polite job takes."""
import urllib.robotparser

SITE = 'https://example.com'
AGENT = 'price-monitor'   # the User-Agent your job sends
PAGES = 750               # pages you need from this site per day
DEFAULT_DELAY = 10        # your own pace in seconds when robots.txt sets none

robots = urllib.robotparser.RobotFileParser(SITE + '/robots.txt')
robots.read()

if not robots.can_fetch(AGENT, SITE + '/'):
    raise SystemExit('robots.txt disallows this path for ' + AGENT)

delay = robots.crawl_delay(AGENT) or DEFAULT_DELAY
rate = robots.request_rate(AGENT)
if rate:
    delay = max(delay, rate.seconds / rate.requests)

hours = PAGES * delay / 3600
print(f'One request every {delay:g} s for the whole job: {hours:.1f} h for {PAGES} pages')
print('More IPs do not shorten this: the pace applies to your crawler, not to each IP.')