프록시가 얼마나 필요할까요? 세 가지 계산법

속도 제한이 필요한 프록시 수를 결정하지 않는 이유는 무엇인가요?

속도 제한은 작업이 얼마나 빨리 진행될 수 있는지를 결정할 뿐, 얼마나 많은 IP를 사용해야 하는지를 결정하지 않습니다. 웹사이트가 robots.txt, 이용약관 또는 API 문서에서 "10초마다 요청 한 건"이라고 명시하면, 이는 어떤 주소에서 오든 크롤러에 적용되는 것입니다.

사이트가 설정한 한도를 초과하기 위해 더 많은 IP로 요청을 분산하는 것은 그 한도를 회피하는 행위입니다. 이는 사이트의 규칙을 위반하고, 소규모 서버에 피해를 줄 수 있으며, 당사의 허용 사용 정책]에도 위배됩니다. 더 많은 데이터를 수집하는 정직한 방법은 더 긴 일정, 공식 API, 또는 사이트 소유자의 허가입니다.

따라서 규모 산정은 위치, 예비 IP, 자체 연결 수에서 시작하며, 사이트의 속도는 작업의 속도 제한이 됩니다.

개수 1: 위치가 몇 개 필요한가요?

위치의 관점이나 지연 시간이 작업에 중요한 모든 장소마다 IP 하나가 필요합니다. 국가별로 가격을 표시하는 사이트라면 추적하는 각 국가에 IP가 하나씩 필요합니다. 다섯 개 지역에서 자체 서비스의 지연 시간을 확인하려면 다섯 개의 데이터센터 도시가 필요합니다.

먼저 국가를 나열한 다음, 도시가 결과나 지연 시간을 바꾸는 경우에만 도시를 추가하세요. RackProxies는 22개 국가와 34개 데이터센터 도시를 페이지와 함께 제공합니다. 가용성은 달라지며, 결제 화면에 현재 온라인 상태인 항목이 표시됩니다. 도시 가이드]가 선택에 도움이 됩니다.

개수 2: 예비 및 분리 IP는 몇 개 필요한가요?

IP에 문제가 생겼을 때 작업이 계속 실행되도록 위치마다 예비 IP를 하나 추가하세요. IP가 작동하지 않거나 합법적 사용에 사용할 수 없는 경우 지원팀에 문의하세요. 재고 상황에 따라 수정하거나 동일 국가의 IP로 교체해 드립니다; 예비 IP가 그 사이의 시간을 커버합니다.

그다음 분리를 위해 IP를 추가하세요. 프로덕션과 스테이징은 종종 자체 허용 목록 주소가 필요하며, 여러분이 서비스하는 다른 고객도 마찬가지입니다. 여러분의 IP를 허용 목록에 등록하는 파트너는 보통 기본 IP와 대기 IP를 원합니다. 이 IP들은 여러분 전용입니다: 전용: 대여 기간 동안 각 IP는 귀하의 계정에만 할당되며 다른 RackProxies 고객과 공유되지 않습니다.

개수 3: IP당 연결 수는 몇 개인가요?

최대 동시 연결 수를 IP당 실행하기로 선택한 수로 나누고 올림하세요. IP당 수치는 여러분이 결정합니다. 낮게 잡으면 각 주소의 부하가 적당하게 유지되고 문제 추적이 쉬워집니다.

예시: 2,000개 사이트, 각각 적절한 속도로 가져오며, 어느 순간에도 최대 200개 연결이 열려 있음. IP당 최대 20개 동시 연결을 선택하면 200 ÷ 20 = 10개의 IP가 필요합니다. 당사는 IP당 연결 제한을 공개하지 않습니다. 공정 사용이 적용되며, 네트워크에 피해를 주는 매우 과도한 사용은 제한될 수 있습니다.

적절한 작업은 얼마나 걸리나요?

한 사이트에서 필요한 페이지 수에 해당 사이트가 요구하는 지연 시간을 곱하세요. robots.txt는 RFC 9309로 정의됩니다. Crawl-delay 줄은 그 표준의 일부가 아니지만, 많은 사이트가 여전히 사용하며 Python의 urllib.robotparser가 이를 읽습니다. 아래 스크립트는 사이트의 규칙을 읽고 해당 속도로 작업에 필요한 시간을 출력합니다. IP를 추가해도 답은 바뀌지 않습니다.

"""Read a site's robots.txt and work out how long a polite job takes."""
import urllib.robotparser

SITE = 'https://example.com'
AGENT = 'price-monitor'   # the User-Agent your job sends
PAGES = 750               # pages you need from this site per day
DEFAULT_DELAY = 10        # your own pace in seconds when robots.txt sets none

robots = urllib.robotparser.RobotFileParser(SITE + '/robots.txt')
robots.read()

if not robots.can_fetch(AGENT, SITE + '/'):
    raise SystemExit('robots.txt disallows this path for ' + AGENT)

delay = robots.crawl_delay(AGENT) or DEFAULT_DELAY
rate = robots.request_rate(AGENT)
if rate:
    delay = max(delay, rate.seconds / rate.requests)

hours = PAGES * delay / 3600
print(f'One request every {delay:g} s for the whole job: {hours:.1f} h for {PAGES} pages')
print('More IPs do not shorten this: the pace applies to your crawler, not to each IP.')