Rotierende vs. statische Rechenzentrums-Proxys: Welche brauchst du?

Was bewirkt die Rotation beim Anbieter?

Bei der Anbieter-Rotation senden Sie jede Anfrage an ein Gateway, und das Gateway leitet jede Anfrage oder jede Sitzung über eine andere IP aus seinem Pool weiter. Sie sehen die Liste nie; Sie sehen nur, dass sich die Exit-Adresse ändert.

Das ist praktisch, wenn ein Job für jede Anfrage eine andere IP möchte und es egal ist, welche. Es hat Kosten. Sie können einem Partner nicht sagen, welche IP er auf die Allowlist setzen soll. Sie können eine Sitzung nicht auf einer Adresse halten, es sei denn, der Anbieter bietet "sticky" Sitzungen. Und Pool-IPs werden oft geteilt, sodass Sie erben, was andere Nutzer damit gemacht haben. Bei Datacenter-Pools ändert die Rotation auch weniger, als es scheint: Die neue IP kommt meist aus denselben wenigen Netzwerken (ASNs), und IP-Datenbanken labeln sie alle als "Hosting".

Was bringen Ihnen statische Datacenter-Proxys?

Statische Datacenter-Proxys geben Ihnen eine feste Liste von IPs, die für die Mietdauer Ihnen gehören. Dediziert: Während deiner Mietzeit ist jede IP nur deinem Konto zugewiesen und wird nicht mit anderen RackProxies-Kunden geteilt. Jede Miete dauert 30 Tage ab Bereitstellung. Verlängere in deinem Konto vor dem Enddatum; die Beibehaltung derselben IPs nach Ablauf einer Miete ist nicht garantiert.

Eine feste Liste passt zu Jobs, die eine bekannte Adresse brauchen:

• Allowlists. Eine Partner-API, Firewall oder ein Staging-Server akzeptiert nur die IPs, die Sie registrieren. Siehe API-Zugriff per Allowlist.
• Sitzungen. Eine eingeloggte Sitzung auf Ihrem eigenen Dienst bleibt auf einer IP.
• Monitoring. Ergebnisse von derselben IP und derselben Stadt sind Tag für Tag vergleichbar.
• Nachvollziehbarkeit. Wenn etwas schiefgeht, wissen Sie, welche IP was getan hat, und können es dem Website-Betreiber sagen.

Wie rotiere ich über meine eigene statische Proxy-Liste?

Halten Sie die Liste in Ihrem Code und wählen Sie für jede Anfrage die nächste IP. Ein Round-Robin-Zyklus sendet Anfrage 1 über IP 1, Anfrage 2 über IP 2 und so weiter, dann beginnt er von vorn. Ein sticky Mapping sendet jede Website jedes Mal über dieselbe IP, was Sitzungen stabil hält.

Das folgende Python-Beispiel macht beides mit der requests-Bibliothek. Ersetzen Sie die Dokumentationszeilen durch die IP:PORT:USERNAME:PASSWORD-Zeilen aus Ihrem Konto; die Verbindungsformat-Seite erklärt jedes Feld.

"""Spread jobs over your own static IPs: round-robin, or one fixed IP per site."""
import hashlib
import itertools
from urllib.parse import quote, urlsplit

import requests  # pip install requests

# One line per IP, copied from your account: IP:PORT:USERNAME:PASSWORD
LINES = [
    '203.0.113.24:8000:USERNAME:PASSWORD',
    '203.0.113.97:8000:USERNAME:PASSWORD',
    '198.51.100.7:8000:USERNAME:PASSWORD',
]


def to_proxy_url(line):
    ip, port, user, password = line.strip().split(':', 3)
    return f'http://{quote(user, safe="")}:{quote(password, safe="")}@{ip}:{port}'


PROXIES = [to_proxy_url(line) for line in LINES]
next_proxy = itertools.cycle(PROXIES)


def fetch_round_robin(url):
    proxy = next(next_proxy)  # 1st, 2nd, 3rd, then back to the 1st
    return requests.get(url, proxies={'http': proxy, 'https': proxy}, timeout=20)


def fetch_sticky(url):
    # The same website always leaves from the same IP: steady sessions and allowlists.
    host = urlsplit(url).hostname or ''
    index = int(hashlib.sha256(host.encode()).hexdigest(), 16) % len(PROXIES)
    proxy = PROXIES[index]
    return requests.get(url, proxies={'http': proxy, 'https': proxy}, timeout=20)


if __name__ == '__main__':
    for _ in range(3):
        print(fetch_round_robin('https://api.ipify.org').text)
    print(fetch_sticky('https://httpbin.org/ip').json())

Ist Rotation ein Weg um die Limits einer Website herum?

Nein. Wenn eine Website begrenzt, wie schnell ein Client Seiten anfordern darf, gilt dieses Limit für Ihren Job, egal wie viele IPs er nutzt. IPs zu rotieren, um es zu überschreiten, ist Umgehung des Limits und verstößt gegen unsere Richtlinie zur akzeptablen Nutzung.

Nutzen Sie Rotation über Ihre Liste aus ehrlichen Gründen: um Last über viele verschiedene Websites zu verteilen, um weiterzuarbeiten, wenn eine IP ein Problem hat, und um Ergebnisse aus mehreren Standorten zu prüfen. Um auf einer Website schneller zu sein, verlangsamen Sie Ihren Zeitplan, nutzen Sie die offizielle API der Website oder fragen Sie den Betreiber. Der Dimensionierungsleitfaden zeigt, wie Sie eine Liste dimensionieren, ohne sich auf Rotation zu verlassen.

Wann ist ein rotierendes Produkt die bessere Wahl?

Ein rotierendes Gateway ist die bessere Wahl, wenn Sie eine sehr große Zahl verschiedener Exits für kurze Aufgaben brauchen, nichts auf eine Allowlist setzen und mit geteilten IPs einverstanden sind, die pro GB abgerechnet werden. Das ist ein Residential- oder rotierender Pool-Anwendungsfall, und RackProxies verkauft ihn nicht.

Wenn Sie eine feste Gruppe von Adressen brauchen, einen Preis pro IP und den ganzen Monat dieselben IPs, passt statisch besser. Tarife reichen von 1 IP bei 1,29 $ bis 100 IPs bei 59,25 $; siehe Preise. Der Vergleich Datacenter vs. Residential deckt die breitere Wahl ab.