Witam wszystkich, mam na imię Sasha, prowadzę testy backendowe w FunCorp. Podobnie jak wielu innych, wdrożyliśmy architekturę zorientowaną na usługi. Z jednej strony ułatwia to pracę, ponieważ... Łatwiej jest przetestować każdą usługę z osobna, ale z drugiej strony istnieje potrzeba przetestowania interakcji usług ze sobą, co często odbywa się w sieci.
W tym artykule omówię dwa narzędzia, za pomocą których można sprawdzić podstawowe scenariusze opisujące działanie aplikacji w przypadku problemów z siecią.
Symulacja problemów z siecią
Zazwyczaj oprogramowanie jest testowane na serwerach testowych z dobrym połączeniem internetowym. W trudnych środowiskach produkcyjnych wszystko może nie przebiegać tak gładko, dlatego czasami trzeba przetestować programy przy słabych warunkach połączenia. W systemie Linux narzędzie pomoże w symulowaniu takich warunków tc.
tc(skrócone z Kontroli Ruchu) pozwala skonfigurować transmisję pakietów sieciowych w systemie. To narzędzie ma ogromne możliwości, możesz przeczytać o nich więcej . Tutaj rozważę tylko kilka z nich: interesuje nas harmonogram ruchu, do którego się wykorzystujemy qdisc, a ponieważ musimy emulować niestabilną sieć, użyjemy bezklasowej kolejki .
Uruchommy serwer echa na serwerze (użyłem ):
ncat -l 127.0.0.1 12345 -k -c 'xargs -n1 -i echo "Response: {}"'
Aby szczegółowo wyświetlić wszystkie znaczniki czasu na każdym etapie interakcji pomiędzy klientem a serwerem, napisałem prosty skrypt w Pythonie, który wysyła żądanie Testowanie do naszego serwera echa.
Kod źródłowy klienta
#!/bin/python
import socket
import time
HOST = '127.0.0.1'
PORT = 12345
BUFFER_SIZE = 1024
MESSAGE = "Testn"
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
t1 = time.time()
print "[time before connection: %.5f]" % t1
s.connect((HOST, PORT))
print "[time after connection, before sending: %.5f]" % time.time()
s.send(MESSAGE)
print "[time after sending, before receiving: %.5f]" % time.time()
data = s.recv(BUFFER_SIZE)
print "[time after receiving, before closing: %.5f]" % time.time()
s.close()
t2 = time.time()
print "[time after closing: %.5f]" % t2
print "[total duration: %.5f]" % (t2 - t1)
print data
Uruchommy go i przyjrzyjmy się ruchowi na interfejsie lo i port 12345:
[user@host ~]# python client.py
[time before connection: 1578652979.44837]
[time after connection, before sending: 1578652979.44889]
[time after sending, before receiving: 1578652979.44894]
[time after receiving, before closing: 1578652979.45922]
[time after closing: 1578652979.45928]
[total duration: 0.01091]
Response: Test
Zrzut ruchu
[user@host ~]# tcpdump -i lo -nn port 12345
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
10:42:59.448601 IP 127.0.0.1.54054 > 127.0.0.1.12345: Flags [S], seq 3383332866, win 43690, options [mss 65495,sackOK,TS val 606325685 ecr 0,nop,wscale 7], length 0
10:42:59.448612 IP 127.0.0.1.12345 > 127.0.0.1.54054: Flags [S.], seq 2584700178, ack 3383332867, win 43690, options [mss 65495,sackOK,TS val 606325685 ecr 606325685,nop,wscale 7], length 0
10:42:59.448622 IP 127.0.0.1.54054 > 127.0.0.1.12345: Flags [.], ack 1, win 342, options [nop,nop,TS val 606325685 ecr 606325685], length 0
10:42:59.448923 IP 127.0.0.1.54054 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 606325685 ecr 606325685], length 5
10:42:59.448930 IP 127.0.0.1.12345 > 127.0.0.1.54054: Flags [.], ack 6, win 342, options [nop,nop,TS val 606325685 ecr 606325685], length 0
10:42:59.459118 IP 127.0.0.1.12345 > 127.0.0.1.54054: Flags [P.], seq 1:15, ack 6, win 342, options [nop,nop,TS val 606325696 ecr 606325685], length 14
10:42:59.459213 IP 127.0.0.1.54054 > 127.0.0.1.12345: Flags [.], ack 15, win 342, options [nop,nop,TS val 606325696 ecr 606325696], length 0
10:42:59.459268 IP 127.0.0.1.54054 > 127.0.0.1.12345: Flags [F.], seq 6, ack 15, win 342, options [nop,nop,TS val 606325696 ecr 606325696], length 0
10:42:59.460184 IP 127.0.0.1.12345 > 127.0.0.1.54054: Flags [F.], seq 15, ack 7, win 342, options [nop,nop,TS val 606325697 ecr 606325696], length 0
10:42:59.460196 IP 127.0.0.1.54054 > 127.0.0.1.12345: Flags [.], ack 16, win 342, options [nop,nop,TS val 606325697 ecr 606325697], length 0
Wszystko jest w standardzie: trójstronny uścisk dłoni, w odpowiedzi dwukrotnie PSH/ACK i ACK - jest to wymiana żądania i odpowiedzi pomiędzy klientem a serwerem oraz dwukrotnie FIN/ACK i ACK - zakończenie połączenia.
Opóźnienie pakietu
Teraz ustawmy opóźnienie na 500 milisekund:
tc qdisc add dev lo root netem delay 500ms
Uruchamiamy klienta i widzimy, że skrypt działa teraz przez 2 sekundy:
[user@host ~]# ./client.py
[time before connection: 1578662612.71044]
[time after connection, before sending: 1578662613.71059]
[time after sending, before receiving: 1578662613.71065]
[time after receiving, before closing: 1578662614.72011]
[time after closing: 1578662614.72019]
[total duration: 2.00974]
Response: Test
Co jest w ruchu? Spójrzmy:
Zrzut ruchu
13:23:33.210520 IP 127.0.0.1.58694 > 127.0.0.1.12345: Flags [S], seq 1720950927, win 43690, options [mss 65495,sackOK,TS val 615958947 ecr 0,nop,wscale 7], length 0
13:23:33.710554 IP 127.0.0.1.12345 > 127.0.0.1.58694: Flags [S.], seq 1801168125, ack 1720950928, win 43690, options [mss 65495,sackOK,TS val 615959447 ecr 615958947,nop,wscale 7], length 0
13:23:34.210590 IP 127.0.0.1.58694 > 127.0.0.1.12345: Flags [.], ack 1, win 342, options [nop,nop,TS val 615959947 ecr 615959447], length 0
13:23:34.210657 IP 127.0.0.1.58694 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 615959947 ecr 615959447], length 5
13:23:34.710680 IP 127.0.0.1.12345 > 127.0.0.1.58694: Flags [.], ack 6, win 342, options [nop,nop,TS val 615960447 ecr 615959947], length 0
13:23:34.719371 IP 127.0.0.1.12345 > 127.0.0.1.58694: Flags [P.], seq 1:15, ack 6, win 342, options [nop,nop,TS val 615960456 ecr 615959947], length 14
13:23:35.220106 IP 127.0.0.1.58694 > 127.0.0.1.12345: Flags [.], ack 15, win 342, options [nop,nop,TS val 615960957 ecr 615960456], length 0
13:23:35.220188 IP 127.0.0.1.58694 > 127.0.0.1.12345: Flags [F.], seq 6, ack 15, win 342, options [nop,nop,TS val 615960957 ecr 615960456], length 0
13:23:35.720994 IP 127.0.0.1.12345 > 127.0.0.1.58694: Flags [F.], seq 15, ack 7, win 342, options [nop,nop,TS val 615961457 ecr 615960957], length 0
13:23:36.221025 IP 127.0.0.1.58694 > 127.0.0.1.12345: Flags [.], ack 16, win 342, options [nop,nop,TS val 615961957 ecr 615961457], length 0
Widać, że w interakcji klienta z serwerem pojawiło się oczekiwane, półsekundowe opóźnienie. System zachowuje się znacznie ciekawiej, jeśli opóźnienie jest większe: jądro zaczyna ponownie wysyłać niektóre pakiety TCP. Zmieńmy opóźnienie na 1 sekundę i przyjrzyjmy się ruchowi (nie pokażę wyników klienta, całkowity czas trwania wynosi 4 sekundy):
tc qdisc change dev lo root netem delay 1s
Zrzut ruchu
13:29:07.709981 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [S], seq 283338334, win 43690, options [mss 65495,sackOK,TS val 616292946 ecr 0,nop,wscale 7], length 0
13:29:08.710018 IP 127.0.0.1.12345 > 127.0.0.1.39306: Flags [S.], seq 3514208179, ack 283338335, win 43690, options [mss 65495,sackOK,TS val 616293946 ecr 616292946,nop,wscale 7], length 0
13:29:08.711094 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [S], seq 283338334, win 43690, options [mss 65495,sackOK,TS val 616293948 ecr 0,nop,wscale 7], length 0
13:29:09.710048 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [.], ack 1, win 342, options [nop,nop,TS val 616294946 ecr 616293946], length 0
13:29:09.710152 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 616294947 ecr 616293946], length 5
13:29:09.711120 IP 127.0.0.1.12345 > 127.0.0.1.39306: Flags [S.], seq 3514208179, ack 283338335, win 43690, options [mss 65495,sackOK,TS val 616294948 ecr 616292946,nop,wscale 7], length 0
13:29:10.710173 IP 127.0.0.1.12345 > 127.0.0.1.39306: Flags [.], ack 6, win 342, options [nop,nop,TS val 616295947 ecr 616294947], length 0
13:29:10.711140 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [.], ack 1, win 342, options [nop,nop,TS val 616295948 ecr 616293946], length 0
13:29:10.714782 IP 127.0.0.1.12345 > 127.0.0.1.39306: Flags [P.], seq 1:15, ack 6, win 342, options [nop,nop,TS val 616295951 ecr 616294947], length 14
13:29:11.714819 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [.], ack 15, win 342, options [nop,nop,TS val 616296951 ecr 616295951], length 0
13:29:11.714893 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [F.], seq 6, ack 15, win 342, options [nop,nop,TS val 616296951 ecr 616295951], length 0
13:29:12.715562 IP 127.0.0.1.12345 > 127.0.0.1.39306: Flags [F.], seq 15, ack 7, win 342, options [nop,nop,TS val 616297952 ecr 616296951], length 0
13:29:13.715596 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [.], ack 16, win 342, options [nop,nop,TS val 616298952 ecr 616297952], length 0
Można zauważyć, że klient dwukrotnie wysłał pakiet SYN, a serwer dwukrotnie wysłał pakiet SYN/ACK.
Oprócz wartości stałej, opóźnienie można ustawić na odchylenie, funkcję rozkładu i korelację (z wartością poprzedniego pakietu). Odbywa się to w następujący sposób:
tc qdisc change dev lo root netem delay 500ms 400ms 50 distribution normal
Tutaj ustawiliśmy opóźnienie pomiędzy 100 a 900 milisekund, wartości zostaną wybrane według rozkładu normalnego i będzie 50% korelacja z wartością opóźnienia dla poprzedniego pakietu.
Być może zauważyłeś to w pierwszym poleceniu, którego użyłem Dodaja potem zmiana. Znaczenie tych poleceń jest oczywiste, więc dodam tylko, że jest ich więcej del, którego można użyć do usunięcia konfiguracji.
Utrata pakietów
Spróbujmy teraz rozwiązać problem utraty pakietów. Jak widać z dokumentacji, można to zrobić na trzy sposoby: losową utratę pakietów z pewnym prawdopodobieństwem, używając łańcucha Markowa składającego się z 2, 3 lub 4 stanów do obliczenia utraty pakietów lub korzystając z modelu Elliotta-Gilberta. W artykule rozważę pierwszą (najprostszą i najbardziej oczywistą) metodę, a o innych możesz przeczytać .
Przyjmijmy utratę 50% pakietów przy korelacji 25%:
tc qdisc add dev lo root netem loss 50% 25%
Niestety, tcpdump nie będzie w stanie jednoznacznie pokazać nam utraty pakietów, będziemy jedynie zakładać, że to naprawdę działa. Wydłużony i niestabilny czas działania skryptu pomoże nam to zweryfikować. klient.py (można ukończyć natychmiastowo, a może w 20 sekund), a także zwiększoną liczbę retransmitowanych pakietów:
[user@host ~]# netstat -s | grep retransmited; sleep 10; netstat -s | grep retransmited
17147 segments retransmited
17185 segments retransmited
Dodawanie szumu do pakietów
Oprócz utraty pakietów możesz symulować uszkodzenie pakietu: szum pojawi się w losowym miejscu pakietu. Zróbmy uszkodzenie pakietów z 50% prawdopodobieństwem i bez korelacji:
tc qdisc change dev lo root netem corrupt 50%
Uruchamiamy skrypt klienta (nic tam ciekawego, ale trwało to 2 sekundy), patrzymy na ruch:
Zrzut ruchu
[user@host ~]# tcpdump -i lo -nn port 12345
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
10:20:54.812434 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [S], seq 2023663770, win 43690, options [mss 65495,sackOK,TS val 1037001049 ecr 0,nop,wscale 7], length 0
10:20:54.812449 IP 127.0.0.1.12345 > 127.0.0.1.43666: Flags [S.], seq 2104268044, ack 2023663771, win 43690, options [mss 65495,sackOK,TS val 1037001049 ecr 1037001049,nop,wscale 7], length 0
10:20:54.812458 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [.], ack 1, win 342, options [nop,nop,TS val 1037001049 ecr 1037001049], length 0
10:20:54.812509 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 1037001049 ecr 1037001049], length 5
10:20:55.013093 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 1037001250 ecr 1037001049], length 5
10:20:55.013122 IP 127.0.0.1.12345 > 127.0.0.1.43666: Flags [.], ack 6, win 342, options [nop,nop,TS val 1037001250 ecr 1037001250], length 0
10:20:55.014681 IP 127.0.0.1.12345 > 127.0.0.1.43666: Flags [P.], seq 1:15, ack 6, win 342, options [nop,nop,TS val 1037001251 ecr 1037001250], length 14
10:20:55.014745 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [.], ack 15, win 340, options [nop,nop,TS val 1037001251 ecr 1037001251], length 0
10:20:55.014823 IP 127.0.0.1.43666 > 127.0.0.5.12345: Flags [F.], seq 2023663776, ack 2104268059, win 342, options [nop,nop,TS val 1037001251 ecr 1037001251], length 0
10:20:55.214088 IP 127.0.0.1.12345 > 127.0.0.1.43666: Flags [P.], seq 1:15, ack 6, win 342, options [nop,unknown-65 0x0a3dcf62eb3d,[bad opt]>
10:20:55.416087 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [F.], seq 6, ack 15, win 342, options [nop,nop,TS val 1037001653 ecr 1037001251], length 0
10:20:55.416804 IP 127.0.0.1.12345 > 127.0.0.1.43666: Flags [F.], seq 15, ack 7, win 342, options [nop,nop,TS val 1037001653 ecr 1037001653], length 0
10:20:55.416818 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [.], ack 16, win 343, options [nop,nop,TS val 1037001653 ecr 1037001653], length 0
10:20:56.147086 IP 127.0.0.1.12345 > 127.0.0.1.43666: Flags [F.], seq 15, ack 7, win 342, options [nop,nop,TS val 1037002384 ecr 1037001653], length 0
10:20:56.147101 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [.], ack 16, win 342, options [nop,nop,TS val 1037002384 ecr 1037001653], length 0
Można zauważyć, że niektóre pakiety były wysyłane wielokrotnie i jest jeden pakiet z uszkodzonymi metadanymi: opcje [nop, nieznane-65 0x0a3dcf62eb3d, [zła opcja]>. Ale najważniejsze jest to, że ostatecznie wszystko działało poprawnie - TCP poradził sobie ze swoim zadaniem.
Duplikacja pakietów
Z czym jeszcze możesz zrobić sieć? Na przykład zasymuluj odwrotną sytuację utraty pakietów — duplikację pakietów. To polecenie również przyjmuje 2 argumenty: prawdopodobieństwo i korelację.
tc qdisc change dev lo root netem duplicate 50% 25%
Zmiana kolejności pakietów
Worki można mieszać na dwa sposoby.
W pierwszym część pakietów wysyłana jest natychmiast, reszta z określonym opóźnieniem. Przykład z dokumentacji:
tc qdisc change dev lo root netem delay 10ms reorder 25% 50%
Z prawdopodobieństwem 25% (i korelacją 50%) pakiet zostanie wysłany natychmiast, reszta zostanie wysłana z opóźnieniem 10 milisekund.
Druga metoda polega na tym, że co N-ty pakiet jest wysyłany natychmiast z określonym prawdopodobieństwem (i korelacją), a reszta z określonym opóźnieniem. Przykład z dokumentacji:
tc qdisc change dev lo root netem delay 10ms reorder 25% 50% gap 5
Co piąta paczka ma 25% szans na bezzwłoczne wysłanie.
Zmiana przepustowości
Zwykle wszędzie, do czego się odnoszą , ale z pomocą sieć Możesz także zmienić przepustowość interfejsu:
tc qdisc change dev lo root netem rate 56kbit
Zespół ten będzie wędrował po okolicy localhost tak bolesne, jak surfowanie po Internecie za pośrednictwem modemu telefonicznego. Oprócz ustawienia szybkości transmisji bitów można także emulować model protokołu warstwy łącza: ustawić narzut pakietu, rozmiar komórki i narzut komórki. Można to na przykład symulować i przepływność 56 kbit/s:
tc qdisc change dev lo root netem rate 56kbit 0 48 5
Symulowanie przekroczenia limitu czasu połączenia
Kolejnym ważnym punktem planu testów podczas akceptowania oprogramowania są limity czasu. Jest to o tyle ważne, że w systemach rozproszonych, gdy jedna z usług zostanie wyłączona, pozostałe muszą w porę wrócić do pozostałych lub zwrócić klientowi błąd i w żadnym wypadku nie powinny się po prostu zawieszać, czekając na odpowiedź lub połączenie do ustalenia.
Można to zrobić na kilka sposobów: na przykład użyj mocka, który nie odpowiada, lub połącz się z procesem za pomocą debuggera, umieść punkt przerwania w odpowiednim miejscu i zatrzymaj proces (to chyba najbardziej wypaczony sposób). Ale jednym z najbardziej oczywistych jest zapora ogniowa portów lub hostów. Pomoże nam to w tym .
Na potrzeby demonstracji uruchomimy zaporę ogniową na porcie 12345 i uruchomimy skrypt klienta. Można zaporą ogniową wysyłać pakiety wychodzące na ten port u nadawcy lub pakiety przychodzące u odbiorcy. W moich przykładach przychodzące pakiety będą zabezpieczone zaporą ogniową (używamy łańcucha INPUT i opcji --dport). Takie pakiety mogą zostać DROP, REJECT lub REJECT z flagą TCP RST lub z nieosiągalnym hostem ICMP (w rzeczywistości domyślnym zachowaniem jest port icmp jest nieosiągalny, istnieje również możliwość przesłania odpowiedzi icmp-net-nieosiągalny, icmp-proto-nieosiągalny, icmp-net-zabronione и icmp-host-zabroniony).
DROP
Jeśli obowiązuje reguła DROP, pakiety po prostu „znikną”.
iptables -A INPUT -p tcp --dport 12345 -j DROP
Uruchamiamy klienta i widzimy, że zawiesza się na etapie łączenia się z serwerem. Spójrzmy na ruch:
Zrzut ruchu
[user@host ~]# tcpdump -i lo -nn port 12345
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
08:28:20.213506 IP 127.0.0.1.32856 > 127.0.0.1.12345: Flags [S], seq 3019694933, win 43690, options [mss 65495,sackOK,TS val 1203046450 ecr 0,nop,wscale 7], length 0
08:28:21.215086 IP 127.0.0.1.32856 > 127.0.0.1.12345: Flags [S], seq 3019694933, win 43690, options [mss 65495,sackOK,TS val 1203047452 ecr 0,nop,wscale 7], length 0
08:28:23.219092 IP 127.0.0.1.32856 > 127.0.0.1.12345: Flags [S], seq 3019694933, win 43690, options [mss 65495,sackOK,TS val 1203049456 ecr 0,nop,wscale 7], length 0
08:28:27.227087 IP 127.0.0.1.32856 > 127.0.0.1.12345: Flags [S], seq 3019694933, win 43690, options [mss 65495,sackOK,TS val 1203053464 ecr 0,nop,wscale 7], length 0
08:28:35.235102 IP 127.0.0.1.32856 > 127.0.0.1.12345: Flags [S], seq 3019694933, win 43690, options [mss 65495,sackOK,TS val 1203061472 ecr 0,nop,wscale 7], length 0
Można zauważyć, że klient wysyła pakiety SYN z wykładniczo rosnącym limitem czasu. Znaleźliśmy więc mały błąd w kliencie: musisz użyć tej metody limit czasu()aby ograniczyć czas, w którym klient będzie próbował połączyć się z serwerem.
Natychmiast usuwamy regułę:
iptables -D INPUT -p tcp --dport 12345 -j DROPMożesz usunąć wszystkie reguły na raz:
iptables -F
Jeśli używasz Dockera i chcesz zaporą ogniową cały ruch kierowany do kontenera, możesz to zrobić w następujący sposób:
iptables -I DOCKER-USER -p tcp -d CONTAINER_IP -j DROP
ODRZUCAĆ
Dodajmy teraz podobną regułę, ale z REJECT:
iptables -A INPUT -p tcp --dport 12345 -j REJECT
Klient kończy działanie po sekundzie z powodu błędu [Errno 111] Połączenie odrzucone. Przyjrzyjmy się ruchowi ICMP:
[user@host ~]# tcpdump -i lo -nn icmp
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
08:45:32.871414 IP 127.0.0.1 > 127.0.0.1: ICMP 127.0.0.1 tcp port 12345 unreachable, length 68
08:45:33.873097 IP 127.0.0.1 > 127.0.0.1: ICMP 127.0.0.1 tcp port 12345 unreachable, length 68
Widać, że klient otrzymał dwukrotnie port nieosiągalny a następnie zakończyło się błędem.
ODRZUT z resetem protokołu TCP
Spróbujmy dodać tę opcję --reject-z resetowaniem protokołu TCP:
iptables -A INPUT -p tcp --dport 12345 -j REJECT --reject-with tcp-reset
W takim przypadku klient natychmiast kończy pracę z błędem, ponieważ pierwsze żądanie otrzymało pakiet RST:
[user@host ~]# tcpdump -i lo -nn port 12345
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
09:02:52.766175 IP 127.0.0.1.60658 > 127.0.0.1.12345: Flags [S], seq 1889460883, win 43690, options [mss 65495,sackOK,TS val 1205119003 ecr 0,nop,wscale 7], length 0
09:02:52.766184 IP 127.0.0.1.12345 > 127.0.0.1.60658: Flags [R.], seq 0, ack 1889460884, win 0, length 0
ODRZUT z icmp-host-unreachable
Wypróbujmy inną opcję użycia REJECT:
iptables -A INPUT -p tcp --dport 12345 -j REJECT --reject-with icmp-host-unreachable
Klient kończy działanie po sekundzie z powodu błędu [Errno 113] Brak trasy do hosta, widzimy w ruchu ICMP Host ICMP 127.0.0.1 jest nieosiągalny.
Możesz także wypróbować inne parametry REJECT, a ja skupię się na nich :)
Symulowanie przekroczenia limitu czasu żądania
Inna sytuacja ma miejsce, gdy klient mógł połączyć się z serwerem, ale nie może wysłać do niego żądania. Jak filtrować pakiety, aby filtrowanie nie rozpoczynało się od razu? Jeśli przyjrzysz się ruchowi jakiejkolwiek komunikacji pomiędzy klientem a serwerem, zauważysz, że przy nawiązywaniu połączenia używane są tylko flagi SYN i ACK, natomiast podczas wymiany danych ostatni pakiet żądania będzie zawierał flagę PSH. Instaluje się automatycznie, aby uniknąć buforowania. Możesz użyć tych informacji do stworzenia filtra: pozwoli on na wszystkie pakiety z wyjątkiem tych zawierających flagę PSH. W ten sposób połączenie zostanie nawiązane, ale klient nie będzie mógł przesyłać danych do serwera.
DROP
W przypadku DROP polecenie wyglądałoby tak:
iptables -A INPUT -p tcp --tcp-flags PSH PSH --dport 12345 -j DROP
Uruchom klienta i obserwuj ruch:
Zrzut ruchu
[user@host ~]# tcpdump -i lo -nn port 12345
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
10:02:47.549498 IP 127.0.0.1.49594 > 127.0.0.1.12345: Flags [S], seq 2166014137, win 43690, options [mss 65495,sackOK,TS val 1208713786 ecr 0,nop,wscale 7], length 0
10:02:47.549510 IP 127.0.0.1.12345 > 127.0.0.1.49594: Flags [S.], seq 2341799088, ack 2166014138, win 43690, options [mss 65495,sackOK,TS val 1208713786 ecr 1208713786,nop,wscale 7], length 0
10:02:47.549520 IP 127.0.0.1.49594 > 127.0.0.1.12345: Flags [.], ack 1, win 342, options [nop,nop,TS val 1208713786 ecr 1208713786], length 0
10:02:47.549568 IP 127.0.0.1.49594 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 1208713786 ecr 1208713786], length 5
10:02:47.750084 IP 127.0.0.1.49594 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 1208713987 ecr 1208713786], length 5
10:02:47.951088 IP 127.0.0.1.49594 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 1208714188 ecr 1208713786], length 5
10:02:48.354089 IP 127.0.0.1.49594 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 1208714591 ecr 1208713786], length 5
Widzimy, że połączenie zostało nawiązane i klient nie może wysłać danych do serwera.
ODRZUCAĆ
W tym przypadku zachowanie będzie takie samo: klient nie będzie mógł wysłać żądania, ale otrzyma ICMP 127.0.0.1 Port TCP 12345 nieosiągalny i wykładniczo wydłużaj czas pomiędzy ponownym przesłaniem żądań. Polecenie wygląda następująco:
iptables -A INPUT -p tcp --tcp-flags PSH PSH --dport 12345 -j REJECT
ODRZUT z resetem protokołu TCP
Polecenie wygląda następująco:
iptables -A INPUT -p tcp --tcp-flags PSH PSH --dport 12345 -j REJECT --reject-with tcp-reset
Wiemy to już podczas używania --reject-z resetowaniem protokołu TCP klient otrzyma w odpowiedzi pakiet RST, więc można przewidzieć jego zachowanie: otrzymanie pakietu RST w czasie nawiązania połączenia oznacza nieoczekiwane zamknięcie gniazda po drugiej stronie, co oznacza, że klient powinien otrzymać Reset połączenia przez peera. Uruchommy nasz skrypt i upewnijmy się, że to jest to. A tak będzie wyglądał ruch:
Zrzut ruchu
[user@host ~]# tcpdump -i lo -nn port 12345
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
10:22:14.186269 IP 127.0.0.1.52536 > 127.0.0.1.12345: Flags [S], seq 2615137531, win 43690, options [mss 65495,sackOK,TS val 1209880423 ecr 0,nop,wscale 7], length 0
10:22:14.186284 IP 127.0.0.1.12345 > 127.0.0.1.52536: Flags [S.], seq 3999904809, ack 2615137532, win 43690, options [mss 65495,sackOK,TS val 1209880423 ecr 1209880423,nop,wscale 7], length 0
10:22:14.186293 IP 127.0.0.1.52536 > 127.0.0.1.12345: Flags [.], ack 1, win 342, options [nop,nop,TS val 1209880423 ecr 1209880423], length 0
10:22:14.186338 IP 127.0.0.1.52536 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 1209880423 ecr 1209880423], length 5
10:22:14.186344 IP 127.0.0.1.12345 > 127.0.0.1.52536: Flags [R], seq 3999904810, win 0, length 0
ODRZUT z icmp-host-unreachable
Myślę, że dla wszystkich jest już oczywiste, jak będzie wyglądać polecenie :) Zachowanie klienta w tym przypadku będzie nieco inne niż przy prostym REJECT: klient nie będzie zwiększał limitu czasu pomiędzy próbami ponownego wysłania pakietu.
[user@host ~]# tcpdump -i lo -nn icmp
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
10:29:56.149202 IP 127.0.0.1 > 127.0.0.1: ICMP host 127.0.0.1 unreachable, length 65
10:29:56.349107 IP 127.0.0.1 > 127.0.0.1: ICMP host 127.0.0.1 unreachable, length 65
10:29:56.549117 IP 127.0.0.1 > 127.0.0.1: ICMP host 127.0.0.1 unreachable, length 65
10:29:56.750125 IP 127.0.0.1 > 127.0.0.1: ICMP host 127.0.0.1 unreachable, length 65
10:29:56.951130 IP 127.0.0.1 > 127.0.0.1: ICMP host 127.0.0.1 unreachable, length 65
10:29:57.152107 IP 127.0.0.1 > 127.0.0.1: ICMP host 127.0.0.1 unreachable, length 65
10:29:57.353115 IP 127.0.0.1 > 127.0.0.1: ICMP host 127.0.0.1 unreachable, length 65
Wniosek
Nie trzeba pisać makiety, aby przetestować interakcję usługi z zawieszonym klientem lub serwerem; czasami wystarczy skorzystać ze standardowych narzędzi dostępnych w Linuksie.
Narzędzia omówione w artykule mają jeszcze więcej możliwości, niż opisano, więc możesz wymyślić własne opcje ich wykorzystania. Osobiście zawsze mam dość tego, o czym pisałem (a właściwie jeszcze mniej). Jeśli korzystasz z tych lub podobnych narzędzi w testach w swojej firmie, napisz proszę, jak dokładnie. Jeśli nie, to mam nadzieję, że Twoje oprogramowanie stanie się lepsze, jeśli zdecydujesz się przetestować je w warunkach problemów z siecią, korzystając z sugerowanych metod.
Źródło: www.habr.com