De combien de proxies ai-je besoin ? Une méthode en trois comptages

Pourquoi une limite de débit ne décide-t-elle pas du nombre de proxies dont j'ai besoin ?

Une limite de débit décide de la vitesse à laquelle votre job peut tourner, pas du nombre d'IP qu'il doit utiliser. Quand un site indique « une requête toutes les 10 secondes » dans son robots.txt, ses conditions ou sa documentation API, cela concerne votre crawler, quelles que soient les adresses d'où il vient.

Répartir les requêtes sur plus d'IP pour dépasser une limite fixée par le site revient à contourner cette limite. Cela enfreint les règles du site, peut nuire à un petit serveur et va à l'encontre de notre politique d'utilisation acceptable. La façon honnête de collecter plus de données est un planning plus long, une API officielle ou l'autorisation du propriétaire du site.

Le dimensionnement part donc des locations, des IP de secours et de vos propres connexions, et le rythme du site devient la limite de vitesse du job.

Compte 1 : de combien de locations ai-je besoin ?

Il vous faut une IP par lieu dont la vue ou la latence compte pour le job. Un site qui affiche des prix par pays nécessite une IP dans chaque pays que vous suivez. Un test de latence de votre propre service depuis cinq régions nécessite cinq villes de datacenter.

Listez d'abord les pays, puis les villes seulement là où la ville change le résultat ou la latence. RackProxies couvre 22 pays et 34 villes de datacenter avec une page. La disponibilité varie ; le paiement affiche ce qui est en ligne. Le guide des villes vous aide à choisir.

Compte 2 : combien d'IP de secours et d'IP séparées ?

Ajoutez une IP de secours par location pour qu'un job continue de tourner quand une IP a un problème. Si une IP ne fonctionne pas ou est inutilisable pour un usage licite, écrivez au support : nous la réparons ou la remplaçons par une IP dans le même pays, sous réserve de stock ; le secours couvre le temps intermédiaire.

Ajoutez ensuite des IP pour la séparation. La production et la préproduction ont souvent besoin de leurs propres adresses en liste blanche, tout comme les différents clients que vous servez. Un partenaire qui met vos IP en liste blanche veut généralement une principale et une de secours. Ces IP vous sont dédiées : Dédié : pendant votre location, chaque IP est attribuée uniquement à votre compte et n'est pas partagée avec d'autres clients RackProxies.

Compte 3 : combien de connexions par IP ?

Divisez votre nombre maximal de connexions ouvertes par le nombre que vous choisissez par IP, et arrondissez au supérieur. Le chiffre par IP est votre décision : un chiffre plus bas garde la charge de chaque adresse modérée et facilite le diagnostic des problèmes.

Exemple : 2 000 sites, chacun récupéré à un rythme poli, avec au plus 200 connexions ouvertes à tout moment. Si vous choisissez au plus 20 connexions ouvertes par IP, il vous faut 200 ÷ 20 = 10 IP. Nous ne publions pas de limite de connexions par IP ; l'usage équitable s'applique, et un usage très intensif qui nuit au réseau peut être limité.

Combien de temps prendra un job poli ?

Multipliez les pages dont vous avez besoin sur un site par le délai que ce site demande. robots.txt est défini par la RFC 9309 ; la ligne Crawl-delay ne fait pas partie de cette norme, mais beaucoup de sites l'utilisent encore, et le module Python urllib.robotparser la lit. Le script ci-dessous lit les règles d'un site et affiche le temps nécessaire au job à ce rythme. Ajouter des IP ne change pas la réponse.

"""Read a site's robots.txt and work out how long a polite job takes."""
import urllib.robotparser

SITE = 'https://example.com'
AGENT = 'price-monitor'   # the User-Agent your job sends
PAGES = 750               # pages you need from this site per day
DEFAULT_DELAY = 10        # your own pace in seconds when robots.txt sets none

robots = urllib.robotparser.RobotFileParser(SITE + '/robots.txt')
robots.read()

if not robots.can_fetch(AGENT, SITE + '/'):
    raise SystemExit('robots.txt disallows this path for ' + AGENT)

delay = robots.crawl_delay(AGENT) or DEFAULT_DELAY
rate = robots.request_rate(AGENT)
if rate:
    delay = max(delay, rate.seconds / rate.requests)

hours = PAGES * delay / 3600
print(f'One request every {delay:g} s for the whole job: {hours:.1f} h for {PAGES} pages')
print('More IPs do not shorten this: the pace applies to your crawler, not to each IP.')