Berapa banyak proxy yang saya butuhkan? Metode dalam tiga hitungan

Mengapa rate limit tidak menentukan berapa banyak proxy yang saya butuhkan?

Rate limit menentukan seberapa cepat pekerjaan Anda boleh berjalan, bukan berapa banyak IP yang harus dipakai. Ketika sebuah situs menyatakan "satu permintaan setiap 10 detik" di robots.txt, ketentuan, atau dokumentasi API-nya, itu berarti crawler Anda, dari alamat mana pun asalnya.

Menyebarkan permintaan ke lebih banyak IP untuk melampaui batas yang ditetapkan situs adalah mengelak dari batas tersebut. Itu melanggar aturan situs, dapat merugikan server kecil, dan bertentangan dengan kebijakan penggunaan yang dapat diterima kami. Cara jujur untuk mengumpulkan lebih banyak data adalah jadwal yang lebih panjang, API resmi, atau izin dari pemilik situs.

Jadi penentuan ukuran dimulai dari lokasi, cadangan, dan koneksi Anda sendiri, dan tempo situs menjadi batas kecepatan pekerjaan.

Hitungan 1: berapa banyak lokasi yang saya butuhkan?

Anda memerlukan satu IP per tempat yang tampilan atau latensinya penting bagi pekerjaan. Situs yang menampilkan harga per negara memerlukan satu IP di setiap negara yang Anda pantau. Pengecekan latensi layanan Anda sendiri dari lima wilayah memerlukan lima kota datacenter.

Daftarkan negaranya dulu, lalu kotanya hanya jika kota tersebut mengubah hasil atau latensi. RackProxies mencakup 22 negara dan 34 kota datacenter dengan halaman. Ketersediaan bervariasi; checkout menampilkan yang sedang online. Panduan kota membantu Anda memilih.

Hitungan 2: berapa banyak IP cadangan dan terpisah?

Tambahkan satu IP cadangan per lokasi agar pekerjaan tetap berjalan ketika sebuah IP bermasalah. Jika sebuah IP tidak berfungsi atau tidak dapat digunakan untuk penggunaan yang sah, tulis ke support: kami memperbaikinya atau menggantinya dengan IP di negara yang sama, sesuai stok; cadangan menutupi waktu di antaranya.

Lalu tambahkan IP untuk pemisahan. Produksi dan staging sering memerlukan alamat yang masuk allowlist sendiri, begitu pula klien berbeda yang Anda layani. Mitra yang memasukkan IP Anda ke allowlist biasanya menginginkan satu primer dan satu siaga. IP ini didedikasikan untuk Anda: Khusus: selama masa sewa, setiap IP hanya ditetapkan ke akun Anda dan tidak dibagikan dengan pelanggan RackProxies lainnya.

Hitungan 3: berapa banyak koneksi per IP?

Bagi jumlah puncak koneksi terbuka Anda dengan jumlah yang Anda pilih untuk dijalankan per IP, lalu bulatkan ke atas. Angka per IP adalah keputusan Anda: angka yang lebih rendah menjaga beban setiap alamat tetap moderat dan membuat masalah lebih mudah dilacak.

Contoh: 2.000 situs, masing-masing diambil dengan tempo yang sopan, dengan paling banyak 200 koneksi terbuka pada saat kapan pun. Jika Anda memilih paling banyak 20 koneksi terbuka per IP, Anda memerlukan 200 ÷ 20 = 10 IP. Kami tidak menerbitkan batas koneksi per IP; penggunaan wajar berlaku, dan penggunaan yang sangat berat yang merugikan jaringan dapat dibatasi.

Berapa lama pekerjaan yang sopan akan berlangsung?

Kalikan halaman yang Anda butuhkan dari satu situs dengan jeda yang diminta situs tersebut. robots.txt didefinisikan oleh RFC 9309; baris Crawl-delay bukan bagian dari standar itu, tetapi banyak situs masih menggunakannya, dan urllib.robotparser dari Python membacanya. Skrip di bawah membaca aturan situs dan mencetak waktu yang dibutuhkan pekerjaan pada tempo tersebut. Menambah IP tidak mengubah jawabannya.

"""Read a site's robots.txt and work out how long a polite job takes."""
import urllib.robotparser

SITE = 'https://example.com'
AGENT = 'price-monitor'   # the User-Agent your job sends
PAGES = 750               # pages you need from this site per day
DEFAULT_DELAY = 10        # your own pace in seconds when robots.txt sets none

robots = urllib.robotparser.RobotFileParser(SITE + '/robots.txt')
robots.read()

if not robots.can_fetch(AGENT, SITE + '/'):
    raise SystemExit('robots.txt disallows this path for ' + AGENT)

delay = robots.crawl_delay(AGENT) or DEFAULT_DELAY
rate = robots.request_rate(AGENT)
if rate:
    delay = max(delay, rate.seconds / rate.requests)

hours = PAGES * delay / 3600
print(f'One request every {delay:g} s for the whole job: {hours:.1f} h for {PAGES} pages')
print('More IPs do not shorten this: the pace applies to your crawler, not to each IP.')