Pozdravljeni vsi, sem Saša, vodim testiranje backend-a v FunCorpu. Imamo, tako kot mnogi, implementirano storitveno usmerjeno arhitekturo. Po eni strani to poenostavi delo, saj je vsako storitev lažje testirati posebej, po drugi strani pa se pojavi potreba po testiranju interakcije med storitvami, ki se pogosto dogaja po omrežju.

V tem članku bom predstavil dve orodji, s katerima lahko preverite osnovne scenarije, ki opisujejo delovanje aplikacije v primeru težav z omrežjem.

Simuliramo težave z omrežjem

Običajno se programska oprema testira na testnih strežnikih z dobrim internetnim kanalom. V zahtevnih pogojih produkcije pa vse morda ne bo potekalo tako gladko, zato je včasih potrebno preveriti programe v pogojih slabega povezovanja. V Linuxu pri nalogi simulacije takšnih razmer pomaga orodje tc.

tc (kratica za Traffic Control) omogoča prilagajanje prenosa omrežnih paketov v sistemu. To orodje ima široke možnosti, o katerih lahko preberete več ovde. Tukaj bom obravnaval le nekaj od njih: zanimajo nas načrtovanje prometa, pri čemer uporabljamo qdisc, in ker moramo simulirati nestabilno omrežje, bomo uporabili classless qdisc netem.

Zaženimo echo strežnik na strežniku (za to sem uporabil nmap-ncat):

ncat -l 127.0.0.1 12345 -k -c 'xargs -n1 -i echo "Odgovor: {}"'

Da bi podrobno izpisali vse časovne oznake na vsakem koraku interakcije med klientom in strežnikom, sem napisal preprost skript v Pythonu, ki pošilja prošnjo Test na naš echo strežnik.

Izvorna koda klienta

#!/bin/python

import socket
import time

HOST = '127.0.0.1'
PORT = 12345
BUFFER_SIZE = 1024
MESSAGE = "Testn"

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
t1 = time.time()
print "[time before connection: %.5f]" % t1
s.connect((HOST, PORT))
print "[time after connection, before sending: %.5f]" % time.time()
s.send(MESSAGE)
print "[time after sending, before receiving: %.5f]" % time.time()
data = s.recv(BUFFER_SIZE)
print "[time after receiving, before closing: %.5f]" % time.time()
s.close()
t2 = time.time()
print "[time after closing: %.5f]" % t2
print "[total duration: %.5f]" % (t2 - t1)

print data

Zaženimo ga in si oglejmo promet na vmesniku lo in vratih 12345:

[user@host ~]# python client.py
[čas pred povezavo: 1578652979.44837]
[čas po povezavi, pred pošiljanjem: 1578652979.44889]
[čas po pošiljanju, pred prejemanjem: 1578652979.44894]
[čas po prejemanju, pred zapiranjem: 1578652979.45922]
[čas po zapiranju: 1578652979.45928]
[skupno trajanje: 0.01091]
Odgovor: Test

Dump prometa

[user@host ~]# tcpdump -i lo -nn port 12345
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
10:42:59.448601 IP 127.0.0.1.54054 > 127.0.0.1.12345: Flags [S], seq 3383332866, win 43690, options [mss 65495,sackOK,TS val 606325685 ecr 0,nop,wscale 7], length 0
10:42:59.448612 IP 127.0.0.1.12345 > 127.0.0.1.54054: Flags [S.], seq 2584700178, ack 3383332867, win 43690, options [mss 65495,sackOK,TS val 606325685 ecr 606325685,nop,wscale 7], length 0
10:42:59.448622 IP 127.0.0.1.54054 > 127.0.0.1.12345: Flags [.], ack 1, win 342, options [nop,nop,TS val 606325685 ecr 606325685], length 0
10:42:59.448923 IP 127.0.0.1.54054 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 606325685 ecr 606325685], length 5
10:42:59.448930 IP 127.0.0.1.12345 > 127.0.0.1.54054: Flags [.], ack 6, win 342, options [nop,nop,TS val 606325685 ecr 606325685], length 0
10:42:59.459118 IP 127.0.0.1.12345 > 127.0.0.1.54054: Flags [P.], seq 1:15, ack 6, win 342, options [nop,nop,TS val 606325696 ecr 606325685], length 14
10:42:59.459213 IP 127.0.0.1.54054 > 127.0.0.1.12345: Flags [.], ack 15, win 342, options [nop,nop,TS val 606325696 ecr 606325696], length 0
10:42:59.459268 IP 127.0.0.1.54054 > 127.0.0.1.12345: Flags [F.], seq 6, ack 15, win 342, options [nop,nop,TS val 606325696 ecr 606325696], length 0
10:42:59.460184 IP 127.0.0.1.12345 > 127.0.0.1.54054: Flags [F.], seq 15, ack 7, win 342, options [nop,nop,TS val 606325697 ecr 606325696], length 0
10:42:59.460196 IP 127.0.0.1.54054 > 127.0.0.1.12345: Flags [.], ack 16, win 342, options [nop,nop,TS val 606325697 ecr 606325697], length 0

Все стандартно: трехстороннее рукопожатие, PSH/ACK и ACK в ответ дважды — это обмен запросом и ответом между клиентом и сервером, и дважды FIN/ACK и ACK — завершение соединения.

Задержка пакетов

Теперь установим задержку 500 миллисекунд:

tc qdisc add dev lo root netem delay 500ms

Запускаем клиент и видим, что теперь скрипт выполняется 2 секунды:

[user@host ~]# ./client.py
[time before connection: 1578662612.71044]
[time after connection, before sending: 1578662613.71059]
[time after sending, before receiving: 1578662613.71065]
[time after receiving, before closing: 1578662614.72011]
[time after closing: 1578662614.72019]
[total duration: 2.00974]
Response: Test

Что же в трафике? Смотрим:

Dump prometa

13:23:33.210520 IP 127.0.0.1.58694 > 127.0.0.1.12345: Flags [S], seq 1720950927, win 43690, options [mss 65495,sackOK,TS val 615958947 ecr 0,nop,wscale 7], length 0
13:23:33.710554 IP 127.0.0.1.12345 > 127.0.0.1.58694: Flags [S.], seq 1801168125, ack 1720950928, win 43690, options [mss 65495,sackOK,TS val 615959447 ecr 615958947,nop,wscale 7], length 0
13:23:34.210590 IP 127.0.0.1.58694 > 127.0.0.1.12345: Flags [.], ack 1, win 342, options [nop,nop,TS val 615959947 ecr 615959447], length 0
13:23:34.210657 IP 127.0.0.1.58694 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 615959947 ecr 615959447], length 5
13:23:34.710680 IP 127.0.0.1.12345 > 127.0.0.1.58694: Flags [.], ack 6, win 342, options [nop,nop,TS val 615960447 ecr 615959947], length 0
13:23:34.719371 IP 127.0.0.1.12345 > 127.0.0.1.58694: Flags [P.], seq 1:15, ack 6, win 342, options [nop,nop,TS val 615960456 ecr 615959947], length 14
13:23:35.220106 IP 127.0.0.1.58694 > 127.0.0.1.12345: Flags [.], ack 15, win 342, options [nop,nop,TS val 615960957 ecr 615960456], length 0
13:23:35.220188 IP 127.0.0.1.58694 > 127.0.0.1.12345: Flags [F.], seq 6, ack 15, win 342, options [nop,nop,TS val 615960957 ecr 615960456], length 0
13:23:35.720994 IP 127.0.0.1.12345 > 127.0.0.1.58694: Flags [F.], seq 15, ack 7, win 342, options [nop,nop,TS val 615961457 ecr 615960957], length 0
13:23:36.221025 IP 127.0.0.1.58694 > 127.0.0.1.12345: Flags [.], ack 16, win 342, options [nop,nop,TS val 615961957 ecr 615961457], length 0

Možete primijetiti da se tijekom interakcije između klijenta i poslužitelja pojavila očekivana kašnjenja od pola sekunde. Puno zanimljivije je kako se sustav ponaša kada je kašnjenje veće: jezgra počinje ponovo slati neke TCP pakete. Promijenit ćemo kašnjenje na 1 sekundu i pogledati promet (niže neću prikazivati izlaz s klijenta; tu su očekivana 4 sekunde u ukupnom trajanju):

tc qdisc change dev lo root netem delay 1s

Dump prometa

13:29:07.709981 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [S], seq 283338334, win 43690, options [mss 65495,sackOK,TS val 616292946 ecr 0,nop,wscale 7], length 0
13:29:08.710018 IP 127.0.0.1.12345 > 127.0.0.1.39306: Flags [S.], seq 3514208179, ack 283338335, win 43690, options [mss 65495,sackOK,TS val 616293946 ecr 616292946,nop,wscale 7], length 0
13:29:08.711094 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [S], seq 283338334, win 43690, options [mss 65495,sackOK,TS val 616293948 ecr 0,nop,wscale 7], length 0
13:29:09.710048 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [.], ack 1, win 342, options [nop,nop,TS val 616294946 ecr 616293946], length 0
13:29:09.710152 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 616294947 ecr 616293946], length 5
13:29:09.711120 IP 127.0.0.1.12345 > 127.0.0.1.39306: Flags [S.], seq 3514208179, ack 283338335, win 43690, options [mss 65495,sackOK,TS val 616294948 ecr 616292946,nop,wscale 7], length 0
13:29:10.710173 IP 127.0.0.1.12345 > 127.0.0.1.39306: Flags [.], ack 6, win 342, options [nop,nop,TS val 616295947 ecr 616294947], length 0
13:29:10.711140 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [.], ack 1, win 342, options [nop,nop,TS val 616295948 ecr 616293946], length 0
13:29:10.714782 IP 127.0.0.1.12345 > 127.0.0.1.39306: Flags [P.], seq 1:15, ack 6, win 342, options [nop,nop,TS val 616295951 ecr 616294947], length 14
13:29:11.714819 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [.], ack 15, win 342, options [nop,nop,TS val 616296951 ecr 616295951], length 0
13:29:11.714893 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [F.], seq 6, ack 15, win 342, options [nop,nop,TS val 616296951 ecr 616295951], length 0
13:29:12.715562 IP 127.0.0.1.12345 > 127.0.0.1.39306: Flags [F.], seq 15, ack 7, win 342, options [nop,nop,TS val 616297952 ecr 616296951], length 0
13:29:13.715596 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [.], ack 16, win 342, options [nop,nop,TS val 616298952 ecr 616297952], length 0

Определяется, что клиент дважды отправил SYN-пакет, а сервер дважды отправил SYN/ACK.

Помимо фиксированного значения, задержку можно задать с отклонением, функцией распределения и корреляцией (с учетом предыдущего пакета). Это делается следующим образом:

tc qdisc change dev lo root netem delay 500ms 400ms 50 distribution normal

Здесь мы установили задержку в диапазоне от 100 до 900 миллисекунд, значения будут выбираться на основе нормального распределения с 50-процентной корреляцией к задержке предыдущего пакета.

Вы могли заметить, что в первой команде я использовал add, nato pa spremeni. Значение этих команд очевидно, поэтому добавлю лишь, что также существует del, с помощью которого можно убрать конфигурацию.

Потеря пакетов

Теперь попробуем имитировать потерю пакетов. Как видно из документации, это можно сделать тремя способами: терять пакеты случайным образом с определенной вероятностью, использовать для вычисления потери пакета цепь Маркова из 2, 3 или 4 состояний или применять модель Эллиота-Гилберта. В этой статье я рассмотрю первый (самый простой и очевидный) метод, а о других можно почитать. ovde.

Učinit ćemo gubitak od 50% paketa s korelacijom od 25%:

tc qdisc add dev lo root netem loss 50% 25%

Žal, tcpdump neće nam moći vizualno pokazati gubitak paketa, samo ćemo pretpostaviti da stvarno funkcionira. A u to ćemo se uvjeriti prema povećanom i nestabilnom vremenu rada skripte client.py (može se izvršiti trenutno, a može potrajati i 20 sekundi), kao i povećanom broju retransmitiranih paketa:

[user@host ~]# netstat -s | grep retransmited; sleep 10; netstat -s | grep retransmited
    17147 segments retransmited
    17185 segments retransmited

Dodavanje šuma u pakete

Osim gubitka paketa, možemo simulirati njihovo oštećenje: u slučajnoj poziciji paketa pojavit će se šum. Učinit ćemo oštećenje paketa s 50% vjerojatnosti i bez korelacije:

tc qdisc change dev lo root netem corrupt 50%

Pokrećemo klijentsku skriptu (tamo nema ništa zanimljivo, ali trajala je 2 sekunde), gledamo promet:

Dump prometa

[user@host ~]# tcpdump -i lo -nn port 12345
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
10:20:54.812434 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [S], seq 2023663770, win 43690, options [mss 65495,sackOK,TS val 1037001049 ecr 0,nop,wscale 7], length 0
10:20:54.812449 IP 127.0.0.1.12345 > 127.0.0.1.43666: Flags [S.], seq 2104268044, ack 2023663771, win 43690, options [mss 65495,sackOK,TS val 1037001049 ecr 1037001049,nop,wscale 7], length 0
10:20:54.812458 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [.], ack 1, win 342, options [nop,nop,TS val 1037001049 ecr 1037001049], length 0
10:20:54.812509 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 1037001049 ecr 1037001049], length 5
10:20:55.013093 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 1037001250 ecr 1037001049], length 5
10:20:55.013122 IP 127.0.0.1.12345 > 127.0.0.1.43666: Flags [.], ack 6, win 342, options [nop,nop,TS val 1037001250 ecr 1037001250], length 0
10:20:55.014681 IP 127.0.0.1.12345 > 127.0.0.1.43666: Flags [P.], seq 1:15, ack 6, win 342, options [nop,nop,TS val 1037001251 ecr 1037001250], length 14
10:20:55.014745 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [.], ack 15, win 340, options [nop,nop,TS val 1037001251 ecr 1037001251], length 0
10:20:55.014823 IP 127.0.0.1.43666 > 127.0.0.5.12345: Flags [F.], seq 2023663776, ack 2104268059, win 342, options [nop,nop,TS val 1037001251 ecr 1037001251], length 0
10:20:55.214088 IP 127.0.0.1.12345 > 127.0.0.1.43666: Flags [P.], seq 1:15, ack 6, win 342, options [nop,unknown-65 0x0a3dcf62eb3d,[bad opt]
10:20:55.416087 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [F.], seq 6, ack 15, win 342, options [nop,nop,TS val 1037001653 ecr 1037001251], length 0
10:20:55.416804 IP 127.0.0.1.12345 > 127.0.0.1.43666: Flags [F.], seq 15, ack 7, win 342, options [nop,nop,TS val 1037001653 ecr 1037001653], length 0
10:20:55.416818 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [.], ack 16, win 343, options [nop,nop,TS val 1037001653 ecr 1037001653], length 0
10:20:56.147086 IP 127.0.0.1.12345 > 127.0.0.1.43666: Flags [F.], seq 15, ack 7, win 342, options [nop,nop,TS val 1037002384 ecr 1037001653], length 0
10:20:56.147101 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [.], ack 16, win 342, options [nop,nop,TS val 1037002384 ecr 1037001653], length 0

Očitno je, da so bila nekatera pakiranja poslana ponovno in da je eno pakiranje z uničenimi metapodatki: options [nop,unknown-65 0x0a3dcf62eb3d,[bad opt]>. A ključno je, da je na koncu vse delovalo pravilno — TCP se je dobro odrezal.

Podvajanje paketov

Kaj še lahko storimo s pomočjo netem? Например, сымитировать ситуацию, обратную потере пакетов, — дубликацию пакетов. Эта команда также принимает 2 аргумента: вероятность и корреляцию.

tc qdisc change dev lo root netem duplicate 50% 25%

Sprememba zaporedja paketov

Pakete lahko premešamo na dva načina.

Prvič se del paketov pošlje takoj, preostali pa s prednastavljeno zakasnitvijo. Primer iz dokumentacije:

tc qdisc change dev lo root netem delay 10ms reorder 25% 50%

Z verjetnostjo 25% (in korelacijo 50%) bo paket poslan takoj, ostali pa s zakasnitvijo 10 milisekund.

Drugi način je, da se vsak N-ti paket pošlje takoj z določeno verjetnostjo (in korelacijo), preostali pa z določeno zakasnitvijo. Primer iz dokumentacije:

tc qdisc change dev lo root netem delay 10ms reorder 25% 50% gap 5

Vsak peti paket z verjetnostjo 25% bo poslan brez zakasnitve.

Sprememba propustnosti

Običajno se povsod pošilja k TBF, vendar lahko z uporabo netem prav tako spremenimo propustnost vmesnika:

tc qdisc change dev lo root netem rate 56kbit

Ta ukaz bo obnašanje localhost naredil enako mučno kot brskanje po spletu preko dial-up modema. Poleg nastavitve bitne hitrosti lahko tudi emuliramo model protokola na ravni povezave: določimo overhead za paket, velikost celice in overhead za celico. Na primer, tako lahko simuliramo ATM in bitno hitrost 56 kbit/s:

tc qdisc change dev lo root netem rate 56kbit 0 48 5

Simuliramo timeout povezave

Še ena pomembna točka v testnem načrtu pri sprejemanju programske opreme so timeoute. To je pomembno, ker morajo v distribuiranih sistemih, ko je eden od storitev izključen, druge pravočasno preklopiti na druge ali vrniti napako stranki, pri čemer ne smejo preprosto obtičati, medtem ko čakajo na odgovor ali vzpostavljanje povezave.

Obstaja več načinov, kako to storiti: na primer, uporabite mock, ki nič ne odgovarja, ali se povežite s procesom z debuggerjem, postavite breakpoint na pravo mesto in ustavite izvajanje procesa (to je verjetno najizvrstnejši način). A eden najbolj očitnih — je blokirati porte ali gostitelje. Pri tem nam bo pomagal iptables.

Za demonstracijo bomo faerwallali port 12345 in zagnali našega odjemalca. Faerwallati lahko odhodne pakete na ta port pri pošiljatelju ali vhodne na sprejemniku. V mojih primerih bodo faerwallali vhodne pakete (uporabljamo chain INPUT in opcijo —dport). Takšnim paketom lahko določimo DROP, REJECT ali REJECT s TCP zastavico RST, lahko tudi z ICMP host unreachable (v resnici je privzeto vedenje to, da je icmp-port-unreachable, poleg tega obstaja tudi možnost, da pošljemo odgovor icmp-net-unreachable, icmp-proto-unreachable, icmp-net-prohibited in icmp-host-prohibited).

DROP

Če je pravilo z DROP, paketi preprosto »izginejo«.

iptables -A INPUT -p tcp --dport 12345 -j DROP

Zagnamo odjemalca in vidimo, da se zruši pri povezovanju na strežnik. Poglejmo promet:
Dump prometa

[user@host ~]# tcpdump -i lo -nn port 12345
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
08:28:20.213506 IP 127.0.0.1.32856 > 127.0.0.1.12345: Flags [S], seq 3019694933, win 43690, options [mss 65495,sackOK,TS val 1203046450 ecr 0,nop,wscale 7], length 0
08:28:21.215086 IP 127.0.0.1.32856 > 127.0.0.1.12345: Flags [S], seq 3019694933, win 43690, options [mss 65495,sackOK,TS val 1203047452 ecr 0,nop,wscale 7], length 0
08:28:23.219092 IP 127.0.0.1.32856 > 127.0.0.1.12345: Flags [S], seq 3019694933, win 43690, options [mss 65495,sackOK,TS val 1203049456 ecr 0,nop,wscale 7], length 0
08:28:27.227087 IP 127.0.0.1.32856 > 127.0.0.1.12345: Flags [S], seq 3019694933, win 43690, options [mss 65495,sackOK,TS val 1203053464 ecr 0,nop,wscale 7], length 0
08:28:35.235102 IP 127.0.0.1.32856 > 127.0.0.1.12345: Flags [S], seq 3019694933, win 43690, options [mss 65495,sackOK,TS val 1203061472 ecr 0,nop,wscale 7], length 0

Vidimo, da odjemalec pošilja SYN pakete s povečevanjem eksponentnega časovnega prekinitve. Tako smo našli majhno napako v odjemalcu: potrebno je uporabiti metodo settimeout(), da omejimo čas, v katerem se odjemalec poskuša povezati na strežnik.

Takoj odstranimo pravilo:

iptables -D INPUT -p tcp --dport 12345 -j DROP

Lahko odstranimo vsa pravila:

iptables -F

Če uporabljate Docker in morate faerwallati ves promet, ki gre na kontejner, to lahko storite na naslednji način:

iptables -I DOCKER-USER -p tcp -d CONTAINER_IP -j DROP

REJECT

Zdaj dodajmo podobno pravilo, vendar z REJECT:

iptables -A INPUT -p tcp --dport 12345 -j REJECT

Odjemalec se zaključi po sekundi z napako [Errno 111] Connection refused. Poglejmo ICMP promet:

[user@host ~]# tcpdump -i lo -nn icmp
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
08:45:32.871414 IP 127.0.0.1 > 127.0.0.1: ICMP 127.0.0.1 tcp port 12345 unreachable, length 68
08:45:33.873097 IP 127.0.0.1 > 127.0.0.1: ICMP 127.0.0.1 tcp port 12345 unreachable, length 68

Vidimo, da je odjemalec dvakrat prejel port unreachable in se po tem zrušil z napako.

REJECT with tcp-reset

Poskusimo dodati opcijo —reject-with tcp-reset:

iptables -A INPUT -p tcp --dport 12345 -j REJECT --reject-with tcp-reset

V tem slučaju klient srazu vykhodit s oshibkoy, potomu chto na pervyy zapros poluchil RST paket:

[user@host ~]# tcpdump -i lo -nn port 12345
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
09:02:52.766175 IP 127.0.0.1.60658 > 127.0.0.1.12345: Flags [S], seq 1889460883, win 43690, options [mss 65495,sackOK,TS val 1205119003 ecr 0,nop,wscale 7], length 0
09:02:52.766184 IP 127.0.0.1.12345 > 127.0.0.1.60658: Flags [R.], seq 0, ack 1889460884, win 0, length 0

REJECT s icmp-host-unreachable

Poprobuyem yeshchyo odin variant ispol'zovaniya REJECT:

iptables -A INPUT -p tcp --dport 12345 -j REJECT --reject-with icmp-host-unreachable

Odjemalec se zaključi po sekundi z napako [Errno 113] No route to host, v ICMP trafikye vidim ICMP host 127.0.0.1 dostupen.

Mozhete takzhe poprobovat' ostal'nye parametry REJECT, a ya ostanovlyus' na etikh 🙂

Imitiruem request timeout

Yeshchyo odna situatsiya — eto kogda klient smog podklyuchit'sya k serveru, no ne mozhot otpravit' yemu zapros. Kak otfil'trovat' pakety, chtoby fil'tratsiya nachalas' kak by ne srazu? Yesli posmotret' na trafik lyubogo obshcheniya mezhdu klientom i serverom, to mozhno zamechat', chto pri ustanovlenii soedinenie ispol'zuyutsya tol'ko flagi SYN i ACK, a vot pri obmenye dannymi v poslednem pakete zaprosa budet flag PSH. On ustanavlivaetsya avtomaticheski, chtoby izbezhat' buferizatsii. Mozhno ispol'zovat' etu informatsiyu dlya sozdaniya filtr: on budet propuskayat' vse pakety, krome tekh, kotorye soderzhat' flag PSH. Takim obrazom, soedinenie budet ustanavlivat'sya, a vot otpravit' dannye serveru klient ne smozhet.

DROP

Dlya DROP komanda budet vysheshtimas:

iptables -A INPUT -p tcp --tcp-flags PSH PSH --dport 12345 -j DROP

Zapuskayem klienta i smotrim trafik:

Dump prometa

[user@host ~]# tcpdump -i lo -nn port 12345
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
10:02:47.549498 IP 127.0.0.1.49594 > 127.0.0.1.12345: Flags [S], seq 2166014137, win 43690, options [mss 65495,sackOK,TS val 1208713786 ecr 0,nop,wscale 7], length 0
10:02:47.549510 IP 127.0.0.1.12345 > 127.0.0.1.49594: Flags [S.], seq 2341799088, ack 2166014138, win 43690, options [mss 65495,sackOK,TS val 1208713786 ecr 1208713786,nop,wscale 7], length 0
10:02:47.549520 IP 127.0.0.1.49594 > 127.0.0.1.12345: Flags [.], ack 1, win 342, options [nop,nop,TS val 1208713786 ecr 1208713786], length 0
10:02:47.549568 IP 127.0.0.1.49594 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 1208713786 ecr 1208713786], length 5
10:02:47.750084 IP 127.0.0.1.49594 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 1208713987 ecr 1208713786], length 5
10:02:47.951088 IP 127.0.0.1.49594 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 1208714188 ecr 1208713786], length 5
10:02:48.354089 IP 127.0.0.1.49594 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 1208714591 ecr 1208713786], length 5

Vidimo, da je povezava vzpostavljena in klient ne more poslati podatkov strežniku.

REJECT

V tem primeru bo obnašanje enako: klient ne bo mogel poslati poizvedbe, vendar bo prejemal ICMP 127.0.0.1 tcp port 12345 nedosegljiv in bo povečal čas med ponovnim pošiljanjem poizvedbe eksponentno. Ukaz je videti takole:

iptables -A INPUT -p tcp --tcp-flags PSH PSH --dport 12345 -j REJECT

REJECT with tcp-reset

Ukaz izgleda takole:

iptables -A INPUT -p tcp --tcp-flags PSH PSH --dport 12345 -j REJECT --reject-with tcp-reset

Že vemo, da bo ob uporabi —reject-with tcp-reset klient prejel odgovor RST-paket, zato lahko napovemo obnašanje: prejem RST-paketa pri vzpostavljeni povezavi pomeni nepričakovano zapiranje vtiča na drugi strani, kar pomeni, da bi klient moral prejeti Connection reset by peer. Zaženemo naš skript in se prepričamo o tem. Tako bo videti promet:

Dump prometa

[user@host ~]# tcpdump -i lo -nn port 12345
tcpdump: izhod je podrobno zatrt, uporabite -v ali -vv za celotno dekodiranje protokola
poslušanje na lo, tip povezave EN10MB (Ethernet), velikost zajema 262144 bajtov
10:22:14.186269 IP 127.0.0.1.52536 > 127.0.0.1.12345: Flags [S], seq 2615137531, win 43690, options [mss 65495,sackOK,TS val 1209880423 ecr 0,nop,wscale 7], length 0
10:22:14.186284 IP 127.0.0.1.12345 > 127.0.0.1.52536: Flags [S.], seq 3999904809, ack 2615137532, win 43690, options [mss 65495,sackOK,TS val 1209880423 ecr 1209880423,nop,wscale 7], length 0
10:22:14.186293 IP 127.0.0.1.52536 > 127.0.0.1.12345: Flags [.], ack 1, win 342, options [nop,nop,TS val 1209880423 ecr 1209880423], length 0
10:22:14.186338 IP 127.0.0.1.52536 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 1209880423 ecr 1209880423], length 5
10:22:14.186344 IP 127.0.0.1.12345 > 127.0.0.1.52536: Flags [R], seq 3999904810, win 0, length 0

REJECT s icmp-host-unreachable

Mislim, da je že vsem očitno, kako bo videti ukaz 🙂 Obnašanje klienta v tem primeru bo nekoliko drugačno od tistega, ki je bilo s preprostim REJECT: klient ne bo povečeval časovne omejitve med poskusi ponovnega pošiljanja paketa.

[user@host ~]# tcpdump -i lo -nn icmp
tcpdump: izhod je podrobno zatrt, uporabite -v ali -vv za celotno dekodiranje protokola
poslušanje na lo, tip povezave EN10MB (Ethernet), velikost zajema 262144 bajtov
10:29:56.149202 IP 127.0.0.1 > 127.0.0.1: ICMP gost 127.0.0.1 nedosegljiv, dolžina 65
10:29:56.349107 IP 127.0.0.1 > 127.0.0.1: ICMP gost 127.0.0.1 nedosegljiv, dolžina 65
10:29:56.549117 IP 127.0.0.1 > 127.0.0.1: ICMP gost 127.0.0.1 nedosegljiv, dolžina 65
10:29:56.750125 IP 127.0.0.1 > 127.0.0.1: ICMP gost 127.0.0.1 nedosegljiv, dolžina 65
10:29:56.951130 IP 127.0.0.1 > 127.0.0.1: ICMP gost 127.0.0.1 nedosegljiv, dolžina 65
10:29:57.152107 IP 127.0.0.1 > 127.0.0.1: ICMP gost 127.0.0.1 nedosegljiv, dolžina 65
10:29:57.353115 IP 127.0.0.1 > 127.0.0.1: ICMP gost 127.0.0.1 nedosegljiv, dolžina 65

Izlaz

Ni nujno pisati moke za preverjanje interakcije storitve z zamrznjenim klientom ali strežnikom, včasih je dovolj uporabiti standardne pripomočke, ki so na voljo v Linuxu.

Ugodnosti obravnavane v članku ponujajo še več možnosti, kot je bilo opisano, zato lahko nadenete svoje različice njihove uporabe. Osebno mi vedno zadostuje tisto, o čemer sem pisal (v resnici celo manj). Če te ali podobne uporabne programe uporabljate pri testiranju v svoji podjetju, prosim, napišite, kako točno. Če pa ne, upam, da bo vaša programska oprema postala bolj kakovostna, če se odločite preizkusiti to v pogojih težav z omrežjem na predlagane načine.

Izvor: habr.com