S narastajúcim nedostatkom adries IPv4 čelí mnoho poskytovateľov služieb nutnosti organizovať prístup svojich klientov do siete pomocou prekladania adries. V tomto článku vám ukážem, ako dosiahnuť úroveň výkonu Carrier Grade NAT na komoditných serveroch.
Trochu histórie
Téma vyčerpania adresného priestoru IPv4 už nie je novinkou. V určitom momente sa v RIPE objavili čakacie zoznamy, následne vznikli burzy, na ktorých sa obchodovalo s blokmi adries a uzatvárali sa dohody o ich prenájme. Postupne začali poskytovatelia služieb ponúkať prístup do internetu prostredníctvom prekladania adries a portov. Niektorí nestihli získať dostatok adries, aby mohli každému odberateľovi priradiť "bielu" adresu, a iní začali šetriť a odmietli nákup adries na sekundárnom trhu. Výrobcovia sieťových zariadení podporili túto myšlienku, pretože táto funkčnosť zvyčajne vyžaduje dodatočné rozšírenia alebo licencie. Napríklad, spoločnosť Juniper vo svojej línii smerovačov MX (okrem posledných modelov MX104 a MX204) umožňuje vykonávať NAPT na samostatnej servisnej karte MS-MIC, na Cisco ASR1k je potrebná licencia CGN license, na Cisco ASR9k - samostatný modul A9K-ISM-100 a licencia A9K-CGN-LIC k nemu. Celkovo, táto služba nie je lacná.
IPTables
Úloha vykonávať NAT nevyžaduje špecializované výpočtové zdroje, môže ju vyriešiť akýkoľvek procesor určený na všeobecné účely, ktorý je nainštalovaný napríklad v domácom routeri. Na úrovni poskytovateľa služieb možno túto úlohu vyriešiť pomocou komoditných serverov založených na FreeBSD (ipfw/pf) alebo GNU/Linux (iptables). FreeBSD nebudeme brať do úvahy, keďže som sa tejto operačnej sústavy už dávno vzdal, a tak sa zameriame na GNU/Linux.
Povoliť preklad adries nie je vôbec zložité. Najskôr je potrebné pridať pravidlo do iptables do tabuľky nat:
iptables -t nat -A POSTROUTING -s 100.64.0.0/10 -j SNAT --to - --persistent
Operačný systém načíta modul nf_conntrack, ktorý bude sledovať všetky aktívne spojenia a vykonávať potrebné transformácie. Existuje niekoľko nuáns. Po prvé, keďže ide o NAT na úrovni poskytovateľa služieb, je potrebné upraviť timeouty, pretože s hodnotami predvoleného nastavenia sa veľkosť prekladovej tabuľky rýchlo zvýši na katastrofálne hodnoty. Nižšie je príklad nastavení, ktoré som použil na svojich serveroch:
net.ipv4.ip_forward = 1
net.ipv4.ip_local_port_range = 8192 65535
net.netfilter.nf_conntrack_generic_timeout = 300
net.netfilter.nf_conntrack_tcp_timeout_syn_sent = 60
net.netfilter.nf_conntrack_tcp_timeout_syn_recv = 60
net.netfilter.nf_conntrack_tcp_timeout_established = 600
net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 60
net.netfilter.nf_conntrack_tcp_timeout_close_wait = 45
net.netfilter.nf_conntrack_tcp_timeout_last_ack = 30
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 120
net.netfilter.nf_conntrack_tcp_timeout_close = 10
net.netfilter.nf_conntrack_tcp_timeout_max_retrans = 300
net.netfilter.nf_conntrack_tcp_timeout_unacknowledged = 300
net.netfilter.nf_conntrack_udp_timeout = 30
net.netfilter.nf_conntrack_udp_timeout_stream = 60
net.netfilter.nf_conntrack_icmpv6_timeout = 30
net.netfilter.nf_conntrack_icmp_timeout = 30
net.netfilter.nf_conntrack_events_retry_timeout = 15
net.netfilter.nf_conntrack_checksum=0
A po druhé, keďže predvolená veľkosť prekladovej tabuľky nie je prispôsobená na prácu na úrovni poskytovateľa služieb, je potrebné ju zvýšiť:
net.netfilter.nf_conntrack_max = 3145728
Taktiež je potrebné zvýšiť počet buckets pre hashovaciu tabuľku, ktorá uchováva všetky preklady (táto voľba patrí k modulu nf_conntrack):
options nf_conntrack hashsize=1572864
Po týchto jednoduchých manipuláciách máme plne funkčnú konštrukciu, ktorá dokáže prekladať veľké množstvo klientskych adries do fondu vonkajších adries. Avšak výkon tohto riešenia zostáva želaný. V svojich prvých pokusoch o využívanie GNU/Linux pre NAT (približne v roku 2013) som dokázal dosiahnuť výkon približne 7 Gbit/s pri 0.8 Mpps na jeden server (Xeon E5-1650v2). Odvtedy bolo v sieťovom stacku jadra GNU/Linux vykonaných veľa rôznych optimalizácií, výkon jedného servera na tom istom hardvéri sa zvýšil takmer na 18-19 Gbit/s pri 1.8-1.9 Mpps (to boli maximálne hodnoty), ale potreba na objem prevádzky spracovávanej jedným serverom rástla omnoho rýchlejšie. Nakoniec boli vyvinuté schémy rozdeľovania záťaže medzi rôzne servery, ale všetko toto zvýšilo zložitosti nastavení, údržby a zachovania kvality poskytovaných služieb.
NFTables
V súčasnosti je módnym trendom v programovom "presúvaní paketov" používanie DPDK a XDP. Na túto tému bolo napísaných množstvo článkov, uskutočnilo sa veľa rôznych prezentácií a vznikajú komerčné produkty (napríklad SKAT od VasExperts). Ale v podmienkach obmedzených zdrojov programátorov u operátorov telekomunikačných služieb je dosť problematické vytvoriť si vlastné "dielo" na základe týchto rámcov. Prevádzkovanie takého riešenia bude nielen náročnejšie, ale bude potrebné aj vyvíjať diagnostické nástroje. Napríklad štandardný tcpdump s DPDK len tak nefunguje a ani pakety poslané späť do vodičov pomocou XDP nebudú "viditeľné". Na pozadí všetkých diskusií o nových technológiách posúvania paketov do user-space zostali bez povšimnutia a Pablo Neira Ayuso, údržbár iptables, o vývoji flow offloading v nftables. Pozrime sa na tento mechanizmus podrobnejšie.
Hlavná myšlienka spočíva v tom, že ak router prepustil pakety jednej relácie v oboch smeroch toku (TCP relácia prešla do stavu ESTABLISHED), nie je potrebné prepúšťať ďalšie pakety tejto relácie cez všetky pravidlá firewallu, pretože všetky tieto kontroly sa aj tak skončia odovzdaním paketu ďalej do routovania. A vlastne nie je potrebné vykonávať výber trasy — už vieme, do ktorého rozhrania a ktorému hostiteľovi je potrebné doručiť pakety v rámci tejto relácie. Stačí si túto informáciu uchovať a využiť ju na smerovanie v počiatočnej fáze spracovania paketu. Pri vykonávaní NAT je potrebné navyše uchovať informácie o zmenách adries a portov, ktoré boli transformované modulom nf_conntrack. V skutočnosti prestanú fungovať rôzne politiky a iné informačno-štatistické pravidlá v iptables, ale v rámci úlohy oddeleného stojaceho NAT alebo napríklad hraničného - to nie je tak dôležité, pretože služby sú rozdelené medzi zariadeniami.
Konfigurácia
Aby sme mohli využiť túto funkciu, musíme:
- Použiť najnovšie jadro. Napriek tomu, že funkcia sa objavila už v jadre 4.16, bola dlhý čas veľmi "nedokončená" a pravidelne spôsobovala kernel panic. Stabilizovalo sa to približne v decembri 2019, keď vyšli LTS jadrá 4.19.90 a 5.4.5.
- Prepisovanie pravidiel iptables do formátu nftables, s použitím dostatočne aktuálnej verzie nftables. Presne funguje vo verzii 0.9.0
Ak je prvý bod v zásade jasný, hlavným je nezabudnúť zapnúť modul v konfigurácii pri zostavovaní (CONFIG_NFT_FLOW_OFFLOAD=m), druhý bod si však vyžaduje vysvetlenie. Pravidlá nftables sa opisujú úplne inak ako v iptables. odkrýva prakticky všetky aspekty, sú tu aj špeciálne pravidiel z iptables do nftables. Preto uvediem len príklad nastavenia NAT a flow offload. Malá legenda pre príklad: , — to sú sieťové rozhrania, cez ktoré prechádza prevádzka, v skutočnosti ich môže byť viac ako dve. , — počiatočná a konečná adresa rozsahu „bielych“ adries.
Konfigurácia NAT je veľmi jednoduchá:
#! /usr/sbin/nft -f
table nat {
chain postrouting {
type nat hook postrouting priority 100;
oif <o_if> snat to <pool_addr_start>-<pool_addr_end> persistent
}
}
S flow offload je to o niečo zložitejšie, ale celkom jasné:
#! /usr/sbin/nft -f
table inet filter {
flowtable fastnat {
hook ingress priority 0
devices = { <i_if>, <o_if> }
}
chain forward {
type filter hook forward priority 0; policy accept;
ip protocol { tcp , udp } flow offload @fastnat;
}
}
A to je vlastne celé nastavenie. Teraz celý TCP/UDP prevádzka pôjde do tabuľky fastnat a bude spracovávaná oveľa rýchlejšie.
Výsledky
Aby bolo jasné, ako veľmi rýchlejšie, priložím snímku zaťaženia dvoch skutočných serverov, s rovnakým vybavením (Xeon E5-1650v2), rovnako nastavených, používajúcich to isté jadro Linuxu, ale vykonávajúcich NAT v iptables (NAT4) a v nftables (NAT5).

Na snímke nie je graf paketov za sekundu, ale v profile zaťaženia týchto serverov je priemerná veľkosť paketu okolo 800 bajtov, preto hodnoty dosahujú až 1.5Mpps. Ako je vidieť, rezerva výkonu na serveri s nftables je obrovská. V súčasnosti tento server spracováva až 30Gbit/s pri 3Mpps a je jasne schopný naraziť na fyzické obmedzenie siete 40Gbps, pričom má voľné CPU zdroje.
Dúfam, že tento materiál bude užitočný sieťovým inžinierom snažiacim sa zlepšiť výkon svojich serverov.
Zdroj: habr.com
