S obzirom na iscrpljivanje IPv4 adresa, mnogi pružatelji usluga suočili su se s potrebom organiziranja pristupa svojim korisnicima u mrežu putem prevođenja adresa. U ovom članku ću objasniti kako se može postići Carrier Grade NAT performansa na commodity serverima.
Malo istorije
Tema iscrpljivanja adresnog prostora IPv4 nije nova. U nekome trenutku su se u RIPE-u pojavile liste čekanja, zatim su se pojavile burze na kojima se trgovalo blokovima adresa i sklapale su se transakcije o njihovom iznajmljivanju. Postepeno su operateri počeli pružati usluge pristupa internetu putem prevođenja adresa i portova. Neki nisu uspjeli dobiti dovoljno adresa da bi svakom korisniku izdali 'bijelu' adresu, dok su drugi počeli štedjeti sredstva odbijajući kupovinu adresa na sekundarnom tržištu. Proizvođači mrežne opreme podržali su ovu ideju, jer se ta funkcionalnost obično zahtijeva dodatne proširene module ili licence. Na primjer, kod Junipera u liniji usmjerivača MX (osim novijih MX104 i MX204), NAPT se može izvoditi na posebnoj uslužnoj kartici MS-MIC, dok za Cisco ASR1k je potrebna CGN licenca, a za Cisco ASR9k posebni modul A9K-ISM-100 i licenca A9K-CGN-LIC za njega. U svakom slučaju, užitak košta mnogo novca.
IPTables
Zadatak izvođenja NAT-a ne zahtijeva specijalizirane računalne resurse; za to se mogu koristiti procesori opće namjene, koji su instalirani, na primjer, u bilo kojem kućnom usmjerivaču. Na razini operatera, ovaj zadatak može se ostvariti korištenjem commodity servera koji koriste FreeBSD (ipfw/pf) ili GNU/Linux (iptables). Nećemo razmatrati FreeBSD jer sam prilično davno prestao koristiti ovaj OS, pa ćemo se fokusirati na GNU/Linux.
Uključiti prevođenje adresa nije nimalo teško. Prvo treba unijeti pravilo u iptables u nat tablicu:
iptables -t nat -A POSTROUTING -s 100.64.0.0/10 -j SNAT --to - --persistent
Operativni sistem će učitati modul nf_conntrack, koji će pratiti sve aktivne veze i izvršiti potrebne transformacije. Ovdje postoji nekoliko nijansi. Prvo, s obzirom na to da se radi o NAT-u na nivou telekomunikacijskog operatera, potrebno je prilagoditi timeout-e, jer će s podrazumevanjem, veličina tabele prevođenja ubrzo rasti do katastrofalnih vrednosti. Ispod je primer podešavanja koja sam koristio na svojim serverima:
net.ipv4.ip_forward = 1
net.ipv4.ip_local_port_range = 8192 65535
net.netfilter.nf_conntrack_generic_timeout = 300
net.netfilter.nf_conntrack_tcp_timeout_syn_sent = 60
net.netfilter.nf_conntrack_tcp_timeout_syn_recv = 60
net.netfilter.nf_conntrack_tcp_timeout_established = 600
net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 60
net.netfilter.nf_conntrack_tcp_timeout_close_wait = 45
net.netfilter.nf_conntrack_tcp_timeout_last_ack = 30
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 120
net.netfilter.nf_conntrack_tcp_timeout_close = 10
net.netfilter.nf_conntrack_tcp_timeout_max_retrans = 300
net.netfilter.nf_conntrack_tcp_timeout_unacknowledged = 300
net.netfilter.nf_conntrack_udp_timeout = 30
net.netfilter.nf_conntrack_udp_timeout_stream = 60
net.netfilter.nf_conntrack_icmpv6_timeout = 30
net.netfilter.nf_conntrack_icmp_timeout = 30
net.netfilter.nf_conntrack_events_retry_timeout = 15
net.netfilter.nf_conntrack_checksum=0
I drugo, s obzirom na to da podrazumevana veličina tabele prevođenja nije prilagođena radu u uslovima telekomunikacijskog operatera, potrebno je povećati je:
net.netfilter.nf_conntrack_max = 3145728
Takođe je potrebno povećati i broj buckets za hash tabelu koja sadrži sve prevođenja (ova opcija pripada modulu nf_conntrack):
options nf_conntrack hashsize=1572864
Nakon ovih jednostavnih manipulacija dobijamo sasvim funkcionalnu konstrukciju koja može prevesti veliku količinu korisničkih adresa u spoljašnji opseg. Međutim, performanse ovog rešenja ostavljaju mnogo da se želi. U svojim prvim pokušajima korišćenja GNU/Linux za NAT (oko 2013. godine) uspeo sam da postignem performanse od oko 7Gbit/s pri 0.8Mpps na jednom serveru (Xeon E5-1650v2). Od tada su u mrežnom steku jezgra GNU/Linux izvršene brojne optimizacije, performanse jednog servera na istom hardveru porasle su praktično do 18-19 Gbit/s pri 1.8-1.9 Mpps (to su bili ekstremni podaci), ali potreba za količinom saobraćaja koja se obrađuje na jednom serveru rasla je mnogo brže. Na kraju su razvijeni rasporedi opterećenja na različite servere, ali sve to povećava složenost podešavanja, održavanja i održavanja kvaliteta pruženih usluga.
NFTables
Trenutno je popularna praksa u programskom "prebacivanju paketa" korištenje DPDK i XDP. O ovoj temi napisano je puno članaka, održano je mnogo različitih izlaganja, a pojavljuju se i komercijalni proizvodi (na primer, SKAT od VasExperts). No, u uslovima ograničenih resursa programera koji rade za telekomunikacione operatere, pravljanje nekog "rešenja" na osnovu ovih okvira prilično je problematično. Eksploatacija takvog rešenja u budućnosti biće znatno složenija, posebice zbog potrebe za razvojem dijagnostičkih alata. Na primer, uobičajeni tcpdump ne može raditi s DPDK-om tako lako, a paketi poslati nazad putem XDP-a neće biti "vidljivi". Usred svih razgovora o novim tehnologijama usmjeravanja paketa u user-space, ostalo je nezapaženo i Pablo Neira Ayuso, održavač iptables, o razvoju flow offloading-a u nftables. Hajde da detaljnije razmotrimo ovaj mehanizam.
Osnovna ideja je da, ako ruter propušta pakete jedne sesije u oba pravca struje (TCP sesija je prešla u stanje ESTABLISHED), nije potrebno propuštati daljnje pakete te sesije kroz sva pravila vatrozida, jer svi ti pregledi završavaju prenosom paketa dalje u rutiranje. Takođe, izbor rute nije neophodan — već znamo u koji interfejs i kojem hostu treba slati pakete unutar te sesije. Samo trebamo sačuvati te informacije i koristiti ih za, u ranoj fazi obrade paketa, rutiranje. Kada se obavlja NAT, treba dodatno sačuvati informacije o promenama adresa i portova koje je transformisao modul nf_conntrack. Da, naravno, u tom slučaju prestaju raditi različiti policeri i druga informativno-statistička pravila u iptables, ali u kontekstu zadatka posebnog NAT-a ili, na primer, bordera — to nije toliko važno, jer su servisi raspoređeni po uređajima.
Konfiguracija
Da bismo iskoristili ovu funkciju, potrebno je:
- Koristiti svežu verziju jezgra. Iako je sama funkcionalnost predstavljena još u jezgru 4.16, dugo je bila vrlo "sirove" i redovno je izazivala kernel panic. Stabilizovala se otprilike u decembru 2019. godine, kada su objavljena LTS jezgra 4.19.90 i 5.4.5.
- Prepisati pravila iptables u nftables format, koristeći dovoljno svježu verziju nftables. Točno radi u verziji 0.9.0
Ako je prvi bod uglavnom jasan, najvažnije je ne zaboraviti uključiti modul u konfiguraciju prilikom kompilacije (CONFIG_NFT_FLOW_OFFLOAD=m), drugi bod zahtijeva objašnjenja. Pravila nftables opisuju se sasvim drugačije nego u iptables. pokreće gotovo sve aspekte, postoji i specijalizirani pravila iz iptables u nftables. Stoga ću navesti samo primjer postavke NAT-a i flow offload-a. Mala legenda za primjer: <i_if>, <o_if> — to su mrežni interfejsi kroz koje prolazi promet, stvarno ih može biti više od dva. <pool_addr_start>, <pool_addr_end> — početna i završna adresa raspona 'bijelih' adresa.
Konfiguracija NAT-a je vrlo jednostavna:
#! /usr/sbin/nft -f
table nat {
chain postrouting {
type nat hook postrouting priority 100;
oif <o_if> snat to <pool_addr_start>-<pool_addr_end> persistent
}
}
S flow offload-om je malo složenije, ali sasvim jasno:
#! /usr/sbin/nft -f
table inet filter {
flowtable fastnat {
hook ingress priority 0
devices = { <i_if>, <o_if> }
}
chain forward {
type filter hook forward priority 0; policy accept;
ip protocol { tcp , udp } flow offload @fastnat;
}
}
Eto, to je cijela postavka. Sada će sav TCP/UDP promet ulaziti u fastnat tabelu i obrađivati se mnogo brže.
Rezultati
Da bih pokazao koliko je to 'mnogo brže', priložit ću screenshot opterećenja na dva stvarna servera, s istom konfiguracijom (Xeon E5-1650v2), jednako podešenih, koristeći isti Linux kernel, ali izvodeći NAT u iptables (NAT4) i u nftables (NAT5).

Na screenshotu nema grafikona paketa u sekundi, ali u profilu opterećenja tih servera prosječna veličina paketa je oko 800 bajtova, tako da vrijednosti dostižu do 1.5Mpps. Kao što se može vidjeti, rezerva performansi na serveru s nftables je ogromna. Ovaj server trenutno obrađuje do 30Gbit/s pri 3Mpps i očito može doseći fizičko ograničenje mreže od 40Gbps, a pritom ima slobodne CPU resurse.
Nadam se da će ovaj materijal biti koristan mrežnim inženjerima koji pokušavaju poboljšati performanse svojih servera.
Izvor: habr.com
