Tôi cần bao nhiêu proxy? Phương pháp qua ba phép đếm

Vì sao giới hạn tốc độ không quyết định tôi cần bao nhiêu proxy?

Giới hạn tốc độ quyết định công việc của bạn được chạy nhanh đến đâu, chứ không quyết định nó nên dùng bao nhiêu IP. Khi một site ghi "một request mỗi 10 giây" trong robots.txt, điều khoản hoặc tài liệu API của họ, điều đó có nghĩa là crawler của bạn, bất kể nó đến từ địa chỉ nào.

Việc rải request qua nhiều IP hơn để vượt giới hạn mà site đã đặt ra chính là né tránh giới hạn đó. Điều này vi phạm quy tắc của site, có thể gây hại cho một server nhỏ, và trái với chính sách sử dụng hợp lý của chúng tôi. Cách trung thực để thu thập nhiều dữ liệu hơn là lên lịch dài hơn, dùng API chính thức hoặc xin phép chủ site.

Vậy nên việc tính toán bắt đầu từ số địa điểm, số IP dự phòng và số kết nối của chính bạn, còn tốc độ của site trở thành giới hạn tốc độ của công việc.

Số lượng 1: tôi cần bao nhiêu địa điểm?

Bạn cần một IP cho mỗi nơi mà góc nhìn hoặc độ trễ ở đó quan trọng với công việc. Một site hiển thị giá theo quốc gia cần một IP ở mỗi quốc gia bạn theo dõi. Một lần kiểm tra độ trễ dịch vụ của chính bạn từ năm khu vực cần năm thành phố datacenter.

Hãy liệt kê các quốc gia trước, rồi chỉ thêm thành phố ở nơi thành phố làm thay đổi kết quả hoặc độ trễ. RackProxies phủ 22 quốc gia và 34 thành phố datacenter có trang riêng. Tình trạng sẵn có thay đổi; trang thanh toán hiển thị những gì đang trực tuyến. Hướng dẫn thành phố giúp bạn chọn.

Số lượng 2: bao nhiêu IP dự phòng và IP tách riêng?

Thêm một IP dự phòng cho mỗi địa điểm để công việc tiếp tục chạy khi một IP gặp sự cố. Nếu một IP không hoạt động hoặc không dùng được cho mục đích hợp pháp, hãy viết cho bộ phận hỗ trợ: chúng tôi sửa hoặc thay thế bằng một IP ở cùng quốc gia, tùy theo hàng có sẵn; IP dự phòng bù đắp khoảng thời gian ở giữa.

Sau đó thêm IP để tách riêng. Môi trường production và staging thường cần địa chỉ được allowlist riêng, và các khách hàng khác nhau bạn phục vụ cũng vậy. Một đối tác allowlist IP của bạn thường muốn có một IP chính và một IP dự phòng. Những IP này dành riêng cho bạn: Riêng biệt: trong thời gian thuê, mỗi IP chỉ được gán cho tài khoản của bạn và không chia sẻ với khách hàng RackProxies khác.

Số lượng 3: bao nhiêu kết nối trên mỗi IP?

Chia số kết nối mở cao nhất của bạn cho số kết nối bạn chọn chạy trên mỗi IP, rồi làm tròn lên. Con số mỗi IP là do bạn quyết định: chọn thấp hơn giúp tải trên mỗi địa chỉ vừa phải và dễ truy vết sự cố hơn.

Ví dụ: 2.000 site, mỗi site được tải với tốc độ lịch sự, tối đa 200 kết nối mở tại bất kỳ thời điểm nào. Nếu bạn chọn tối đa 20 kết nối mở mỗi IP, bạn cần 200 ÷ 20 = 10 IP. Chúng tôi không công bố giới hạn kết nối trên mỗi IP; áp dụng chính sách sử dụng hợp lý, và việc dùng quá nặng gây hại cho mạng có thể bị giới hạn.

Một công việc lịch sự sẽ mất bao lâu?

Nhân số trang bạn cần từ một site với độ trễ mà site đó yêu cầu. robots.txt được định nghĩa bởi RFC 9309; dòng Crawl-delay không thuộc tiêu chuẩn đó, nhưng nhiều site vẫn dùng nó, và urllib.robotparser của Python đọc được nó. Đoạn script dưới đây đọc quy tắc của một site và in ra thời gian công việc cần ở tốc độ đó. Thêm IP không làm thay đổi kết quả.

"""Read a site's robots.txt and work out how long a polite job takes."""
import urllib.robotparser

SITE = 'https://example.com'
AGENT = 'price-monitor'   # the User-Agent your job sends
PAGES = 750               # pages you need from this site per day
DEFAULT_DELAY = 10        # your own pace in seconds when robots.txt sets none

robots = urllib.robotparser.RobotFileParser(SITE + '/robots.txt')
robots.read()

if not robots.can_fetch(AGENT, SITE + '/'):
    raise SystemExit('robots.txt disallows this path for ' + AGENT)

delay = robots.crawl_delay(AGENT) or DEFAULT_DELAY
rate = robots.request_rate(AGENT)
if rate:
    delay = max(delay, rate.seconds / rate.requests)

hours = PAGES * delay / 3600
print(f'One request every {delay:g} s for the whole job: {hours:.1f} h for {PAGES} pages')
print('More IPs do not shorten this: the pace applies to your crawler, not to each IP.')