Kaç proxy'ye ihtiyacım var? Üç sayımlı bir yöntem

Hız sınırı kaç proxy'ye ihtiyacım olduğunu neden belirlemez?

Bir hız sınırı, işinizin ne kadar hızlı ilerleyebileceğini belirler, kaç IP kullanmanız gerektiğini değil. Bir site robots.txt dosyasında, şartlarında veya API belgelerinde "10 saniyede bir istek" diyorsa, bu, hangi adreslerden gelirse gelsin crawler'ınız için geçerlidir.

Sitenin belirlediği bir sınırı aşmak için istekleri daha fazla IP'ye yaymak, o sınırı atlatmak anlamına gelir. Sitenin kurallarını çiğner, küçük bir sunucuya zarar verebilir ve kabul edilebilir kullanım politikamıza aykırıdır. Daha fazla veri toplamanın dürüst yolu, daha uzun bir program, resmi bir API veya site sahibinden izin almaktır.

Yani boyutlandırma konumlardan, yedeklerden ve kendi bağlantılarınızdan başlar; sitenin temposu da işin hız sınırı hâline gelir.

Sayım 1: kaç konuma ihtiyacım var?

Görünümü veya gecikmesi iş için önemli olan her yer için bir IP'ye ihtiyacınız var. Ülkeye göre fiyat gösteren bir site, takip ettiğiniz her ülkede bir IP gerektirir. Kendi servisinizin beş bölgeden gecikme kontrolü, beş veri merkezi şehri gerektirir.

Önce ülkeleri listeleyin, ardından şehirleri yalnızca şehir sonucu veya gecikmeyi değiştiriyorsa ekleyin. RackProxies, sayfası olan 22 ülkeyi ve 34 veri merkezi şehrini kapsar. Stok durumu değişir; ödeme ekranı neyin çevrimiçi olduğunu gösterir. Şehir rehberi seçim yapmanıza yardımcı olur.

Sayım 2: kaç yedek ve ayrı IP?

Bir IP'de sorun olduğunda işin devam etmesi için her konuma bir yedek IP ekleyin. Bir IP çalışmıyorsa veya yasal bir kullanım için kullanılamıyorsa desteğe yazın: stoğa bağlı olarak onu düzeltiriz veya aynı ülkeden bir IP ile değiştiririz; yedek, aradaki süreyi kapatır.

Ardından ayırma için IP ekleyin. Production ve staging genellikle kendi allowlist'lenmiş adreslerine ihtiyaç duyar; hizmet verdiğiniz farklı müşteriler de öyle. IP'lerinizi allowlist'e ekleyen bir iş ortağı genellikle bir birincil ve bir yedek ister. Bu IP'ler size özeldir: Özel: kiralama süreniz boyunca her IP yalnızca hesabınıza atanır ve diğer RackProxies müşterileriyle paylaşılmaz.

Sayım 3: IP başına kaç bağlantı?

Açık bağlantılarınızın tepe sayısını, IP başına çalıştırmayı seçtiğiniz sayıya bölün ve yukarı yuvarlayın. IP başına rakam sizin kararınızdır: daha düşük bir değer her adresin yükünü ölçülü tutar ve sorunları izlemeyi kolaylaştırır.

Örnek: 2.000 site, her biri kibar bir tempoda çekiliyor ve aynı anda en fazla 200 bağlantı açık. IP başına en fazla 20 açık bağlantı seçerseniz 200 ÷ 20 = 10 IP'ye ihtiyacınız olur. IP başına bir bağlantı sınırı yayımlamıyoruz; adil kullanım geçerlidir ve ağa zarar veren çok ağır kullanım sınırlandırılabilir.

Kibar bir iş ne kadar sürer?

Bir siteden ihtiyaç duyduğunuz sayfa sayısını o sitenin istediği gecikmeyle çarpın. robots.txt, RFC 9309 ile tanımlanır; Crawl-delay satırı bu standardın parçası değildir, ancak birçok site hâlâ onu kullanır ve Python'un urllib.robotparser bunu okur. Aşağıdaki betik bir sitenin kurallarını okur ve işin bu tempoda ihtiyaç duyduğu süreyi yazdırır. IP eklemek cevabı değiştirmez.

"""Read a site's robots.txt and work out how long a polite job takes."""
import urllib.robotparser

SITE = 'https://example.com'
AGENT = 'price-monitor'   # the User-Agent your job sends
PAGES = 750               # pages you need from this site per day
DEFAULT_DELAY = 10        # your own pace in seconds when robots.txt sets none

robots = urllib.robotparser.RobotFileParser(SITE + '/robots.txt')
robots.read()

if not robots.can_fetch(AGENT, SITE + '/'):
    raise SystemExit('robots.txt disallows this path for ' + AGENT)

delay = robots.crawl_delay(AGENT) or DEFAULT_DELAY
rate = robots.request_rate(AGENT)
if rate:
    delay = max(delay, rate.seconds / rate.requests)

hours = PAGES * delay / 3600
print(f'One request every {delay:g} s for the whole job: {hours:.1f} h for {PAGES} pages')
print('More IPs do not shorten this: the pace applies to your crawler, not to each IP.')