Ile proxy potrzebuję? Metoda w trzech krokach

Dlaczego limit zapytań nie decyduje o tym, ile proxy potrzebuję?

Limit zapytań decyduje o tym, jak szybko może działać Twoje zadanie, a nie o tym, ile adresów IP powinno używać. Kiedy strona mówi „jedno zapytanie co 10 sekund” w swoim robots.txt, regulaminie lub dokumentacji API, dotyczy to Twojego crawlera, niezależnie od tego, z jakich adresów pochodzi.

Rozkładanie zapytań na więcej adresów IP, aby przekroczyć limit ustawiony przez stronę, to obchodzenie tego limitu. Łamie to zasady strony, może zaszkodzić małemu serwerowi i jest niezgodne z naszą polityką dopuszczalnego użytkowania. Uczciwym sposobem na zbieranie większej ilości danych jest dłuższy harmonogram, oficjalne API lub zgoda właściciela strony.

Więc dobór liczby zaczyna się od lokalizacji, zapasów i Twoich własnych połączeń, a tempo strony staje się ograniczeniem szybkości zadania.

Liczba 1: ile lokalizacji potrzebuję?

Potrzebujesz jednego IP na każde miejsce, którego widok lub opóźnienie ma znaczenie dla zadania. Strona, która pokazuje ceny według kraju, wymaga jednego IP w każdym kraju, który śledzisz. Test opóźnienia własnej usługi z pięciu regionów wymaga pięciu miast centrów danych.

Najpierw wypisz kraje, a miasta tylko tam, gdzie miasto zmienia wynik lub opóźnienie. RackProxies obejmuje 22 krajów i 34 miast centrów danych na stronie. Dostępność jest zmienna; kasa pokazuje, co jest online. Przewodnik po miastach pomoże Ci wybrać.

Liczba 2: ile zapasowych i oddzielnych IP?

Dodaj jedno zapasowe IP na lokalizację, aby zadanie działało dalej, gdy jedno IP ma problem. Jeśli IP nie działa lub jest bezużyteczne do zgodnego z prawem celu, napisz do pomocy technicznej: naprawimy je lub wymienimy na IP w tym samym kraju, zależnie od dostępności; zapas pokrywa czas pomiędzy.

Następnie dodaj IP na potrzeby separacji. Produkcja i środowisko testowe często potrzebują własnych adresów na liście dozwolonych, podobnie jak różni klienci, którym świadczysz usługi. Partner, który dodaje Twoje IP do listy dozwolonych, zwykle chce adresu głównego i zapasowego. Te IP są dedykowane dla Ciebie: Dedykowane: podczas Twojego wynajmu każde IP jest przypisane wyłącznie do Twojego konta i nie jest współdzielone z innymi klientami RackProxies.

Liczba 3: ile połączeń na IP?

Podziel szczytową liczbę otwartych połączeń przez liczbę, którą zdecydujesz się uruchamiać na IP, i zaokrąglij w górę. Liczba na IP to Twoja decyzja: niższa utrzymuje obciążenie każdego adresu na umiarkowanym poziomie i ułatwia śledzenie problemów.

Przykład: 2000 stron, każda pobierana w uprzejmym tempie, z maksymalnie 200 otwartymi połączeniami w dowolnym momencie. Jeśli wybierzesz maksymalnie 20 otwartych połączeń na IP, potrzebujesz 200 ÷ 20 = 10 IP. Nie publikujemy limitu połączeń na IP; obowiązuje uczciwe użytkowanie, a bardzo intensywne użycie, które szkodzi sieci, może zostać ograniczone.

Ile czasu zajmie uprzejme zadanie?

Pomnóż liczbę stron, których potrzebujesz z jednej witryny, przez opóźnienie, o które prosi ta witryna. robots.txt jest zdefiniowany przez RFC 9309; linia Crawl-delay nie jest częścią tego standardu, ale wiele witryn nadal jej używa, a urllib.robotparser w Pythonie ją odczytuje. Poniższy skrypt odczytuje zasady witryny i wyświetla czas, jakiego potrzebuje zadanie w tym tempie. Dodawanie IP nie zmienia wyniku.

"""Read a site's robots.txt and work out how long a polite job takes."""
import urllib.robotparser

SITE = 'https://example.com'
AGENT = 'price-monitor'   # the User-Agent your job sends
PAGES = 750               # pages you need from this site per day
DEFAULT_DELAY = 10        # your own pace in seconds when robots.txt sets none

robots = urllib.robotparser.RobotFileParser(SITE + '/robots.txt')
robots.read()

if not robots.can_fetch(AGENT, SITE + '/'):
    raise SystemExit('robots.txt disallows this path for ' + AGENT)

delay = robots.crawl_delay(AGENT) or DEFAULT_DELAY
rate = robots.request_rate(AGENT)
if rate:
    delay = max(delay, rate.seconds / rate.requests)

hours = PAGES * delay / 3600
print(f'One request every {delay:g} s for the whole job: {hours:.1f} h for {PAGES} pages')
print('More IPs do not shorten this: the pace applies to your crawler, not to each IP.')