/24 subnet diversity in proxy lists, explained

Wat is een /24-subnet?

Een /24 is een blok van 256 opeenvolgende IPv4-adressen die hun eerste 24 bits delen, wat betekent dat hun eerste drie nummers gelijk zijn. 203.0.113.24 en 203.0.113.97 zitten in hetzelfde /24, 203.0.113.0/24. 198.51.100.7 zit in een ander blok.

Het getal achter de slash is de prefixlengte uit CIDR-notatie (RFC 4632): het telt de vaste bits. Een /24 legt 24 van de 32 bits vast, waardoor 8 bits overblijven, dus 2^8 = 256 adressen. Een /23 bevat 512, een /22 bevat 1.024, enzovoort. In wereldwijde BGP-routing accepteren de meeste netwerken geen IPv4-aankondigingen kleiner dan een /24, dus een /24 is het kleinste blok dat zelfstandig over het internet gerouteerd kan worden.

Waarom rate-limiten sommige websites per subnet?

Sommige websites tellen requests per /24 omdat naburige adressen meestal bij dezelfde operator horen en vaak bij dezelfde klant. Als één adres in een blok zich misdraagt, kan een voorzichtige site het hele blok vertragen of uitdagen in plaats van elk adres afzonderlijk aan te pakken.

Voor jou heeft dit twee gevolgen:

• Gedeeld lot. Tien IP's in één /24 kunnen op zulke sites één reputatie of één limiet delen. Een probleem veroorzaakt door een eerdere gebruiker van een naburig adres kan jou ook raken.
• Geen extra capaciteit. Als een site zijn limiet per subnet toepast, voegen meer IP's in hetzelfde /24 niets toe voor die site. Dit is een reden om de limiet te respecteren, niet om hem te omzeilen: de sizing guide legt uit waarom het tempo van een site voor je hele klus geldt.

Veel websites kijken helemaal niet naar subnetten. Subnetdiversiteit is vooral belangrijk voor redundantie: IP's over meerdere blokken spreiden betekent dat één geblokkeerd blok niet al je taken stopt.

Bevatten RackProxies-bestellingen meerdere /24-subnetten?

Dat kan, maar we beloven geen aantal. Een bestelling van meerdere IP's kan adressen uit meer dan één /24-subnet bevatten, maar er wordt geen minimum aantal subnetten gegarandeerd. Je IP's komen van upstream hostingpartners, en de mix van blokken hangt af van wat online is in het land en de stad die je kiest.

Als je klus IP's in meer dan één /24 nodig heeft, zeg dat dan tegen support voor of na je aankoop; we vertellen je wat de huidige voorraad toelaat. Vervangingen volgen de gebruikelijke regel. Als een IP niet werkt of onbruikbaar is voor een rechtmatig gebruik, schrijf naar support: we lossen het op of vervangen het door een IP in hetzelfde land, afhankelijk van voorraad. Bestellingen in meerdere landen of steden zijn van nature over verschillende netwerken verspreid, omdat elke locatie zijn eigen blokken heeft.

Hoe controleer ik de subnetten in mijn proxylijst?

Groepeer de IP's op hun /24 en tel elke groep. Download je lijst als TXT vanuit je account (één IP:PORT:USERNAME:PASSWORD-regel per IP; zie het connection format) en voer het onderstaande script uit met Python 3. Het gebruikt alleen de standaardbibliotheek.

"""Group a proxy list by /24 subnet. Input: one IP:PORT:USERNAME:PASSWORD per line."""
import ipaddress
import sys
from collections import Counter

path = sys.argv[1] if len(sys.argv) > 1 else 'proxies.txt'
subnets = Counter()
with open(path, encoding='utf-8') as handle:
    for line in handle:
        line = line.strip()
        if not line:
            continue
        ip = line.split(':')[0]
        network = ipaddress.ip_network(ip + '/24', strict=False)
        subnets[str(network)] += 1

total = sum(subnets.values())
print(total, 'IPs in', len(subnets), 'distinct /24 subnets')
for network, count in subnets.most_common():
    print(f'{network:<18} {count:>4} IPs  ({count / total:.0%})')

6 IPs in 3 distinct /24 subnets
203.0.113.0/24        3 IPs  (50%)
198.51.100.0/24       2 IPs  (33%)
192.0.2.0/24          1 IPs  (17%)