Roterende vs statische datacenter-proxy's: welke heb je nodig?

Wat doet providerrotatie?

Bij provider-rotatie stuur je elk verzoek naar één gateway, en de gateway stuurt elk verzoek, of elke sessie, door via een ander IP uit zijn pool. Je ziet de lijst nooit; je ziet alleen dat het exitadres verandert.

Dit is handig wanneer een taak voor elk verzoek een ander IP wil en het niet uitmaakt welk. Het heeft nadelen. Je kunt een partner niet vertellen welk IP op de allowlist moet. Je kunt een sessie niet op één adres houden, tenzij de provider "sticky" sessies biedt. En pool-IP's worden vaak gedeeld, dus je erft wat andere gebruikers ermee hebben gedaan. Bij datacenterpools verandert rotatie ook minder dan het lijkt: het nieuwe IP komt meestal uit dezelfde paar netwerken (ASN's), en IP-databases labelen ze allemaal als "hosting".

Wat leveren statische datacenter-proxy's je op?

Statische datacenter-proxy's geven je een vaste lijst met IP's die van jou blijven gedurende de huurperiode. Dedicated: tijdens je huurperiode is elk IP alleen aan jouw account toegewezen en wordt het niet gedeeld met andere RackProxies-klanten. Elke huur duurt 30 dagen vanaf levering. Verleng vanuit je account vóór de einddatum; dezelfde IP's behouden na afloop van een huur is niet gegarandeerd.

Een vaste lijst past bij taken die een bekend adres nodig hebben:

• Allowlists. Een partner-API, firewall of staging-server accepteert alleen de IP's die je registreert. Zie API-toegang via allowlist.
• Sessies. Een ingelogde sessie op je eigen dienst blijft op één IP.
• Monitoring. Resultaten van hetzelfde IP en dezelfde stad zijn dag na dag vergelijkbaar.
• Verantwoording. Als er iets misgaat, weet je welk IP wat heeft gedaan, en kun je het de site-eigenaar vertellen.

Hoe roteer ik over mijn eigen statische proxylijst?

Houd de lijst in je code en kies het volgende IP voor elk verzoek. Een round-robin-cyclus stuurt verzoek 1 via IP 1, verzoek 2 via IP 2, enzovoort, en begint dan opnieuw. Een sticky-mapping stuurt elke website elke keer via hetzelfde IP, wat sessies stabiel houdt.

Het Python-voorbeeld hieronder doet beide met de requests-bibliotheek. Vervang de documentatieregels door de IP:PORT:USERNAME:PASSWORD-regels uit je account; de pagina verbindingsformaat legt elk veld uit.

"""Spread jobs over your own static IPs: round-robin, or one fixed IP per site."""
import hashlib
import itertools
from urllib.parse import quote, urlsplit

import requests  # pip install requests

# One line per IP, copied from your account: IP:PORT:USERNAME:PASSWORD
LINES = [
    '203.0.113.24:8000:USERNAME:PASSWORD',
    '203.0.113.97:8000:USERNAME:PASSWORD',
    '198.51.100.7:8000:USERNAME:PASSWORD',
]


def to_proxy_url(line):
    ip, port, user, password = line.strip().split(':', 3)
    return f'http://{quote(user, safe="")}:{quote(password, safe="")}@{ip}:{port}'


PROXIES = [to_proxy_url(line) for line in LINES]
next_proxy = itertools.cycle(PROXIES)


def fetch_round_robin(url):
    proxy = next(next_proxy)  # 1st, 2nd, 3rd, then back to the 1st
    return requests.get(url, proxies={'http': proxy, 'https': proxy}, timeout=20)


def fetch_sticky(url):
    # The same website always leaves from the same IP: steady sessions and allowlists.
    host = urlsplit(url).hostname or ''
    index = int(hashlib.sha256(host.encode()).hexdigest(), 16) % len(PROXIES)
    proxy = PROXIES[index]
    return requests.get(url, proxies={'http': proxy, 'https': proxy}, timeout=20)


if __name__ == '__main__':
    for _ in range(3):
        print(fetch_round_robin('https://api.ipify.org').text)
    print(fetch_sticky('https://httpbin.org/ip').json())

Is rotatie een manier om de limieten van een website te omzeilen?

Nee. Als een website beperkt hoe snel één client pagina's mag opvragen, dan geldt die limiet voor jouw taak, ongeacht hoeveel IP's die gebruikt. IP's roteren om die limiet te overschrijden is de limiet ontwijken, en dat is in strijd met ons acceptabel gebruik-beleid.

Gebruik rotatie over je lijst om eerlijke redenen: om de belasting over veel verschillende sites te spreiden, om door te blijven werken wanneer één IP een probleem heeft, en om resultaten vanuit meerdere locaties te controleren. Om sneller te gaan op één site, vertraag je je schema, gebruik je de officiële API van de site, of vraag je het de eigenaar. De sizing-gids laat zien hoe je een lijst dimensioneert zonder op rotatie te vertrouwen.

Wanneer is een roterend product de betere keuze?

Een roterende gateway is de betere keuze wanneer je een zeer groot aantal verschillende exits nodig hebt voor korte taken, je nooit iets op een allowlist zet, en je het prima vindt om gedeelde IP's per GB te betalen. Dat is een residentieel of roterend-pool-gebruiksscenario, en RackProxies verkoopt dat niet.

Als je een vaste set adressen nodig hebt, één prijs per IP en dezelfde IP's de hele maand, dan past statisch beter. Abonnementen lopen van 1 IP bij US$ 1,29 tot 100 IP's bij US$ 59,25; zie prijzen. De vergelijking datacenter vs residentieel behandelt de bredere keuze.