S obzirom na iscrpljivanje IPv4 adresa, mnogi telekomunikacijski operateri suočili su se s potrebom organizacije pristupa svojim klijentima na mrežu putem prevođenja adresa. U ovom članku ću objasniti kako se može postići izvedba na razini Carrier Grade NAT na konvencionalnim poslužiteljima.
Malo povijesti
Tema iscrpljivanja adresnog prostora IPv4 više nije nova. U nekom trenutku u RIPE su se pojavile liste čekanja, zatim su se otvorile razmjene na kojima su se trgovali blokovi adresa i sklapali ugovori o njihovom najmu. Postupno su telekomunikacijski operateri počeli pružati pristup internetu koristeći prevođenje adresa i portova. Neki nisu uspjeli dobiti dovoljno adresa da dodijele „bijelu“ adresu svakom korisniku, a neki su počeli štedjeti sredstva odbijanjem kupnje adresa na sekundarnom tržištu. Proizvođači mrežne opreme podržali su ovu ideju, budući da ta funkcionalnost obično zahtijeva dodatne ekspanzijske module ili licence. Na primjer, kod Junipera u liniji MX usmjerivača (osim najnovijih MX104 i MX204) obavljanje NAPT može se izvršiti na zasebnoj servisnoj kartici MS-MIC, dok je na Cisco ASR1k potrebna SGN licenca, na Cisco ASR9k — zaseban modul A9K-ISM-100 i licenca A9K-CGN-LIC za njega. Ukratko, cijena nije mala.
IPTables
Izvršavanje NAT zadatka ne zahtijeva specijalizirane računarske resurse, to mogu rješavati procesori opće namjene, koji se nalaze, primjerice, u bilo kojem kućnom usmjerivaču. U okviru telekomunikacijskog operatera, taj zadatak može se riješiti korištenjem konvencionalnih poslužitelja pod upravljanjem FreeBSD (ipfw/pf) ili GNU/Linux (iptables). Nećemo razmatrati FreeBSD, jer sam se prije dosta vremena odriceo korištenja ovog OS-a, tako da ćemo se usredotočiti na GNU/Linux.
Uključivanje prevođenja adresa nije teško. Prvo, potrebno je napisati pravilo u iptables u nat tabelu:
iptables -t nat -A POSTROUTING -s 100.64.0.0/10 -j SNAT --to - --persistent
Operacijski sustav će učitati modul nf_conntrack, koji će pratiti sve aktivne veze i izvršavati potrebne promjene. Tu ima nekoliko finih točaka. Prvo, s obzirom na to da se radi o NAT-u na razini telekomunikacijskog operatera, potrebno je prilagoditi timeout-e, jer će s zadanim vrijednostima veličina tablice prevođenja brzo rasti do katastrofalnih razmjera. Ispod je primjer postavki koje sam koristio na svojim poslužiteljima:
net.ipv4.ip_forward = 1
net.ipv4.ip_local_port_range = 8192 65535
net.netfilter.nf_conntrack_generic_timeout = 300
net.netfilter.nf_conntrack_tcp_timeout_syn_sent = 60
net.netfilter.nf_conntrack_tcp_timeout_syn_recv = 60
net.netfilter.nf_conntrack_tcp_timeout_established = 600
net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 60
net.netfilter.nf_conntrack_tcp_timeout_close_wait = 45
net.netfilter.nf_conntrack_tcp_timeout_last_ack = 30
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 120
net.netfilter.nf_conntrack_tcp_timeout_close = 10
net.netfilter.nf_conntrack_tcp_timeout_max_retrans = 300
net.netfilter.nf_conntrack_tcp_timeout_unacknowledged = 300
net.netfilter.nf_conntrack_udp_timeout = 30
net.netfilter.nf_conntrack_udp_timeout_stream = 60
net.netfilter.nf_conntrack_icmpv6_timeout = 30
net.netfilter.nf_conntrack_icmp_timeout = 30
net.netfilter.nf_conntrack_events_retry_timeout = 15
net.netfilter.nf_conntrack_checksum=0
I drugo, s obzirom na to da veličina tablice prevođenja prema zadanim postavkama nije prilagođena radu na razini telekomunikacijskog operatera, potrebno ju je povećati:
net.netfilter.nf_conntrack_max = 3145728
Također je potrebno povećati i broj buckets za hash-tablicu koja pohranjuje sve prevođenje (ova opcija se odnosi na modul nf_conntrack):
options nf_conntrack hashsize=1572864
Nakon ovih jednostavnih manipulacija dobiva se sasvim funkcionalna struktura koja može prevesti veliki broj klijentskih adresa u skup vanjskih. Međutim, performanse ovog rješenja ostavljaju mnogo prostora za poboljšanje. U svojim prvim pokušajima korištenja GNU/Linux-a za NAT (otprilike 2013. godina) uspio sam postići performanse oko 7Gbit/s pri 0.8Mpps na jedan poslužitelj (Xeon E5-1650v2). Od tada je u mrežnoj hrpi kernela GNU/Linux-a napravljeno mnogo optimizacija, a performanse jednog poslužitelja na istom hardveru porasle su praktički na 18-19 Gbit/s pri 1.8-1.9 Mpps (to su bili ekstremni limiti), ali potreba za obradom prometa od strane jednog poslužitelja rasla je mnogo brže. Na kraju su razvijeni sustavi za raspodjelu opterećenja na različite poslužitelje, ali sve to povećava složenost konfiguracije, održavanja i kvalitete usluga koje se pružaju.
NFTables
Trenutno je popularno usmjerenje u softverskom "prebacivanju paketa" korištenje DPDK i XDP. O ovoj temi napisano je dosta članaka, održano mnogo različitih prezentacija, pojavljuju se komercijalni proizvodi (na primjer, SKAT od VasExperts). Međutim, u uvjetima ograničenih resursa programera kod telekomunikacijskih operatera, prilikom izrade nekog "proizvoda" na temelju ovih okvira, prilično je problematično. Daljnje korištenje takvog rješenja bit će znatno složenije, osobito će biti potrebno razvijati dijagnostičke alate. Na primjer, standardni tcpdump s DPDK-om ne može se lako koristiti, a ni paketi koji se šalju natrag putem XDP-a neće biti "vidljivi". Na pozadini svih razgovora o novim tehnologijama za usmjeravanje paketa u korisničkom prostoru, neprimijećeni su ostali i Pablo Neira Ayuso, održavač iptables, o razvoju flow offloadinga u nftables. Poglejmo ovaj mehanizam detaljnije.
Osnovna ideja je da, ako ruter propušta pakete jedne sesije u oba smjera toka (TCP sesija prelazi u stanje ESTABLISHED), nema potrebe propuštati kasnije pakete te sesije kroz sva pravila vatrozida jer će svi ti pregledi ionako završiti prijenosom paketa u usmjeravanje. Zapravo, odabir rute također nije potreban — već znamo u koji će se sučelje i kojem hostu paketi poslati unutar ove sesije. Ostaje samo zadržati te informacije i koristiti ih za usmjeravanje u ranoj fazi obrade paketa. Pri izvođenju NAT-a potrebno je dodatno pohraniti informacije o promjenama adresa i portova, koje je transformirao modul nf_conntrack. Da, naravno, u ovom slučaju prestaju raditi različiti policeri i druga informatičko-statistička pravila u iptables, ali u okviru zadatka posebnog pripadajućeg NAT-a ili, na primjer, bordera — to nije tako važno, jer su usluge raspoređene po uređajima.
Konfiguracija
Da bismo iskoristili ovu funkciju, trebamo:
- Koristiti svježu jezgru. Iako je sama funkcionalnost uvedena još u jezgri 4.16, dugo je vremena bila prilično "siromašna" i redovito je uzrokovala kernel panic. Stabilizirala se otprilike u prosincu 2019. godine, kada su objavljene LTS jezgre 4.19.90 i 5.4.5.
- Prepisivanje pravila iptables u nftables format koristeći dovoljno novu verziju nftables. Točno radi u verziji 0.9.0
Ako je prvi punkt u osnovi jasan, važno je ne zaboraviti uključiti modul u konfiguraciju pri kompilaciji (CONFIG_NFT_FLOW_OFFLOAD=m), drugi punkt zahtijeva objašnjenje. Pravila nftables opisuju se posve drugačije nego u iptables. otkriva praktički sve aspekte, također postoje posebni pravila iz iptables u nftables. Stoga ću navesti samo primjer postavke NAT-a i flow offloada. Mala legenda za primjer: <i_if>, <o_if> — to su mrežni interfejsi kroz koje prolazi promet, stvarno može biti više od dva. <pool_addr_start>, <pool_addr_end> — početna i završna adresa raspona "bijelih" adresa.
Konfiguracija NAT-a je vrlo jednostavna:
#! /usr/sbin/nft -f
table nat {
chain postrouting {
type nat hook postrouting priority 100;
oif <o_if> snat to <pool_addr_start>-<pool_addr_end> persistent
}
}
S flow offload-om je malo složenije, ali sasvim razumljivo:
#! /usr/sbin/nft -f
table inet filter {
flowtable fastnat {
hook ingress priority 0
devices = { <i_if>, <o_if> }
}
chain forward {
type filter hook forward priority 0; policy accept;
ip protocol { tcp , udp } flow offload @fastnat;
}
}
Eto, to je cijela konfiguracija. Sada će sav TCP/UDP promet ulaziti u tablicu fastnat i obrađivati se puno brže.
Rezultati
Da bi bilo jasnije koliko je to "puno brže", prilažem snimku opterećenja na dva stvarna servera, sa istim komponentama (Xeon E5-1650v2), identično podešenima, koristeći isto jezgro Linuxa, ali izvršavajući NAT u iptables (NAT4) i u nftables (NAT5).

Na snimci nema grafika paketa u sekundi, ali u profilu opterećenja ovih servera prosječna veličina paketa je oko 800 bajta, tako da vrijednosti dosegnu do 1.5Mpps. Kao što se može vidjeti, kapacitet performansi servera s nftables je ogroman. Trenutno ovaj server obrađuje do 30Gbit/s pri 3Mpps i očito može dosegnuti fizičko ograničenje mreže od 40Gbps, pri čemu ima slobodne resurse CPU-a.
Nadam se da će ovaj materijal biti koristan mrežnim inženjerima koji pokušavaju poboljšati performanse svojih servera.
Izvor: habr.com
