Усім прывітанне, мяне клічуць Саша, я кірую тэставаннем бэкенда ў FunCorp. У нас, як і ў многіх, рэалізавана сервіс-арыентаваная архітэктура. З аднаго боку, гэта спрашчае працу, т.я. кожны сэрвіс прасцей тэставаць па асобнасці, але з другога - з'яўляецца неабходнасць тэставаць узаемадзеянне сэрвісаў паміж сабой, якое часта адбываецца па сетцы.
У гэтым артыкуле я раскажу пра два ўтыліты, з дапамогай якіх можна праверыць базавыя сцэнары, якія апісваюць працу прыкладання пры наяўнасці праблем з сеткай.
Імітуем праблемы з сеткай
Звычайна ПЗ тэстуецца на тэставых серверах з добрым інтэрнэт-каналам. У суровых умовах прадакшэна ўсё можа быць не так гладка, таму часам трэба правяраць праграмы ва ўмовах дрэннага злучэння. У Linux з задачай імітацыі такіх умоў дапаможа ўтыліта tc.
tc (скр. ад Traffic Control) дазваляе наладжваць перадачу сеткавых пакетаў у сістэме. Гэтая ўтыліта валодае вялікімі магчымасцямі, пачытаць пра іх падрабязней можна . Тут жа я разгледжу толькі некалькі з іх: нас цікавіць шэдулінг трафіку, для чаго мы выкарыстоўваем qdisc, а бо нам трэба эмуляваць нестабільную сетку, то будзем выкарыстоўваць classless qdisc .
Запусцім echo-сервер на серверы (я для гэтага выкарыстоўваў ):
ncat -l 127.0.0.1 12345 -k -c 'xargs -n1 -i echo "Response: {}"'
Для таго каб дэталёва вывесці ўсе таймстэмпы на кожным кроку ўзаемадзеяння кліента з серверам, я напісаў просты скрыпт на Python, які шле запыт тэст на наш echo-сервер.
Зыходны код кліента
#!/bin/python
import socket
import time
HOST = '127.0.0.1'
PORT = 12345
BUFFER_SIZE = 1024
MESSAGE = "Testn"
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
t1 = time.time()
print "[time before connection: %.5f]" % t1
s.connect((HOST, PORT))
print "[time after connection, before sending: %.5f]" % time.time()
s.send(MESSAGE)
print "[time after sending, before receiving: %.5f]" % time.time()
data = s.recv(BUFFER_SIZE)
print "[time after receiving, before closing: %.5f]" % time.time()
s.close()
t2 = time.time()
print "[time after closing: %.5f]" % t2
print "[total duration: %.5f]" % (t2 - t1)
print data
Запусцім яго і паглядзім на трафік на інтэрфейсе lo і порце 12345:
[user@host ~]# python client.py
[time before connection: 1578652979.44837]
[time after connection, before sending: 1578652979.44889]
[time after sending, before receiving: 1578652979.44894]
[time after receiving, before closing: 1578652979.45922]
[time after closing: 1578652979.45928]
[total duration: 0.01091]
Response: Test
Дамп трафіку
[user@host ~]# tcpdump -i lo -nn port 12345
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
10:42:59.448601 IP 127.0.0.1.54054 > 127.0.0.1.12345: Flags [S], seq 3383332866, win 43690, options [mss 65495,sackOK,TS val 606325685 ecr 0,nop,wscale 7], length 0
10:42:59.448612 IP 127.0.0.1.12345 > 127.0.0.1.54054: Flags [S.], seq 2584700178, ack 3383332867, win 43690, options [mss 65495,sackOK,TS val 606325685 ecr 606325685,nop,wscale 7], length 0
10:42:59.448622 IP 127.0.0.1.54054 > 127.0.0.1.12345: Flags [.], ack 1, win 342, options [nop,nop,TS val 606325685 ecr 606325685], length 0
10:42:59.448923 IP 127.0.0.1.54054 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 606325685 ecr 606325685], length 5
10:42:59.448930 IP 127.0.0.1.12345 > 127.0.0.1.54054: Flags [.], ack 6, win 342, options [nop,nop,TS val 606325685 ecr 606325685], length 0
10:42:59.459118 IP 127.0.0.1.12345 > 127.0.0.1.54054: Flags [P.], seq 1:15, ack 6, win 342, options [nop,nop,TS val 606325696 ecr 606325685], length 14
10:42:59.459213 IP 127.0.0.1.54054 > 127.0.0.1.12345: Flags [.], ack 15, win 342, options [nop,nop,TS val 606325696 ecr 606325696], length 0
10:42:59.459268 IP 127.0.0.1.54054 > 127.0.0.1.12345: Flags [F.], seq 6, ack 15, win 342, options [nop,nop,TS val 606325696 ecr 606325696], length 0
10:42:59.460184 IP 127.0.0.1.12345 > 127.0.0.1.54054: Flags [F.], seq 15, ack 7, win 342, options [nop,nop,TS val 606325697 ecr 606325696], length 0
10:42:59.460196 IP 127.0.0.1.54054 > 127.0.0.1.12345: Flags [.], ack 16, win 342, options [nop,nop,TS val 606325697 ecr 606325697], length 0
Усё стандартна: трохбаковы поціск рукі, PSH/ACK і ACK у адказ двойчы — гэта абмен запытам і адказам паміж кліентам і серверам, і двойчы FIN/ACK і ACK — завяршэнне злучэння.
Затрымка пакетаў
Цяпер усталюем затрымку 500 мілісекунд:
tc qdisc add dev lo root netem delay 500ms
Запускаем кліент і бачым, што зараз скрыпт выконваецца 2 секунды:
[user@host ~]# ./client.py
[time before connection: 1578662612.71044]
[time after connection, before sending: 1578662613.71059]
[time after sending, before receiving: 1578662613.71065]
[time after receiving, before closing: 1578662614.72011]
[time after closing: 1578662614.72019]
[total duration: 2.00974]
Response: Test
Што ж у трафіку? Глядзім:
Дамп трафіку
13:23:33.210520 IP 127.0.0.1.58694 > 127.0.0.1.12345: Flags [S], seq 1720950927, win 43690, options [mss 65495,sackOK,TS val 615958947 ecr 0,nop,wscale 7], length 0
13:23:33.710554 IP 127.0.0.1.12345 > 127.0.0.1.58694: Flags [S.], seq 1801168125, ack 1720950928, win 43690, options [mss 65495,sackOK,TS val 615959447 ecr 615958947,nop,wscale 7], length 0
13:23:34.210590 IP 127.0.0.1.58694 > 127.0.0.1.12345: Flags [.], ack 1, win 342, options [nop,nop,TS val 615959947 ecr 615959447], length 0
13:23:34.210657 IP 127.0.0.1.58694 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 615959947 ecr 615959447], length 5
13:23:34.710680 IP 127.0.0.1.12345 > 127.0.0.1.58694: Flags [.], ack 6, win 342, options [nop,nop,TS val 615960447 ecr 615959947], length 0
13:23:34.719371 IP 127.0.0.1.12345 > 127.0.0.1.58694: Flags [P.], seq 1:15, ack 6, win 342, options [nop,nop,TS val 615960456 ecr 615959947], length 14
13:23:35.220106 IP 127.0.0.1.58694 > 127.0.0.1.12345: Flags [.], ack 15, win 342, options [nop,nop,TS val 615960957 ecr 615960456], length 0
13:23:35.220188 IP 127.0.0.1.58694 > 127.0.0.1.12345: Flags [F.], seq 6, ack 15, win 342, options [nop,nop,TS val 615960957 ecr 615960456], length 0
13:23:35.720994 IP 127.0.0.1.12345 > 127.0.0.1.58694: Flags [F.], seq 15, ack 7, win 342, options [nop,nop,TS val 615961457 ecr 615960957], length 0
13:23:36.221025 IP 127.0.0.1.58694 > 127.0.0.1.12345: Flags [.], ack 16, win 342, options [nop,nop,TS val 615961957 ecr 615961457], length 0
Можна ўбачыць, што ва ўзаемадзеянні паміж кліентам і серверам з'явіўся чаканы лаг у паўсекунды. Значна цікавей сябе паводзіць сістэма, калі лаг будзе больш: ядро пачынае паўторна слаць некаторыя TCP-пакеты. Зменім затрымку на 1 секунду і паглядзім трафік (вывад кліента я паказваць не буду, там чаканыя 4 секунды ў total duration):
tc qdisc change dev lo root netem delay 1s
Дамп трафіку
13:29:07.709981 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [S], seq 283338334, win 43690, options [mss 65495,sackOK,TS val 616292946 ecr 0,nop,wscale 7], length 0
13:29:08.710018 IP 127.0.0.1.12345 > 127.0.0.1.39306: Flags [S.], seq 3514208179, ack 283338335, win 43690, options [mss 65495,sackOK,TS val 616293946 ecr 616292946,nop,wscale 7], length 0
13:29:08.711094 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [S], seq 283338334, win 43690, options [mss 65495,sackOK,TS val 616293948 ecr 0,nop,wscale 7], length 0
13:29:09.710048 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [.], ack 1, win 342, options [nop,nop,TS val 616294946 ecr 616293946], length 0
13:29:09.710152 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 616294947 ecr 616293946], length 5
13:29:09.711120 IP 127.0.0.1.12345 > 127.0.0.1.39306: Flags [S.], seq 3514208179, ack 283338335, win 43690, options [mss 65495,sackOK,TS val 616294948 ecr 616292946,nop,wscale 7], length 0
13:29:10.710173 IP 127.0.0.1.12345 > 127.0.0.1.39306: Flags [.], ack 6, win 342, options [nop,nop,TS val 616295947 ecr 616294947], length 0
13:29:10.711140 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [.], ack 1, win 342, options [nop,nop,TS val 616295948 ecr 616293946], length 0
13:29:10.714782 IP 127.0.0.1.12345 > 127.0.0.1.39306: Flags [P.], seq 1:15, ack 6, win 342, options [nop,nop,TS val 616295951 ecr 616294947], length 14
13:29:11.714819 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [.], ack 15, win 342, options [nop,nop,TS val 616296951 ecr 616295951], length 0
13:29:11.714893 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [F.], seq 6, ack 15, win 342, options [nop,nop,TS val 616296951 ecr 616295951], length 0
13:29:12.715562 IP 127.0.0.1.12345 > 127.0.0.1.39306: Flags [F.], seq 15, ack 7, win 342, options [nop,nop,TS val 616297952 ecr 616296951], length 0
13:29:13.715596 IP 127.0.0.1.39306 > 127.0.0.1.12345: Flags [.], ack 16, win 342, options [nop,nop,TS val 616298952 ecr 616297952], length 0
Відаць, што кліент двойчы пасылаў SYN-пакет, а сервер двойчы пасылаў SYN/ACK.
Апроч канстантнага значэння, для затрымкі можна задаваць адхіленне, функцыю размеркавання і карэляцыю (са значэннем для папярэдняга пакета). Робіцца гэта наступным чынам:
tc qdisc change dev lo root netem delay 500ms 400ms 50 distribution normal
Тут мы задалі затрымку ў прамежку ад 100 да 900 мілісекунд, значэнні будуць падбірацца ў адпаведнасці са звычайным размеркаваннем і будзе 50-адсоткавая карэляцыя са значэннем затрымкі для папярэдняга пакета.
Вы маглі заўважыць, што ў першай камандзе я выкарыстоўваў дадаваць, А затым змена. Значэнне гэтых каманд відавочна, таму дадам толькі, што яшчэ ёсць Дэль, якім можна прыбраць канфігурацыю.
Страта пакетаў
Паспрабуем зараз зрабіць страту пакетаў. Як відаць з дакументацыі, ажыццявіць гэта можна ажно трыма спосабамі: губляць пакеты рандомна з нейкай верагоднасцю, выкарыстоўваць для вылічэння страты пакета ланцуг Маркава з 2, 3 ці 4 станаў або выкарыстоўваць мадэль Эліята-Гілберта. У артыкуле я разгледжу першы (самы просты і відавочны) спосаб, а пра іншыя можна пачытаць .
Зробім страту 50% пакетаў з карэляцыяй 25%:
tc qdisc add dev lo root netem loss 50% 25%
На жаль, tcpdump не зможа нам навочна паказаць страту пакетаў, будзем толькі меркаваць, што яна і праўда працуе. А пераканацца ў гэтым нам дапаможа павялічаны і нестабільны час працы скрыпту. client.py (можа выканацца маментальна, а можа і за 20 секунд), а таксама якая павялічылася колькасць retransmitted-пакетаў:
[user@host ~]# netstat -s | grep retransmited; sleep 10; netstat -s | grep retransmited
17147 segments retransmited
17185 segments retransmited
Даданне шуму ў пакеты
Апроч страты пакетаў, можна імітаваць іх пашкоджанне: у рандомнай пазіцыі пакета з'явіцца шум. Зробім пашкоджанне пакетаў з 50-працэнтнай верагоднасцю і без карэляцыі:
tc qdisc change dev lo root netem corrupt 50%
Запускаем скрыпт кліента (там нічога цікавага, але выконваўся ён 2 секунды), глядзім трафік:
Дамп трафіку
[user@host ~]# tcpdump -i lo -nn port 12345
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
10:20:54.812434 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [S], seq 2023663770, win 43690, options [mss 65495,sackOK,TS val 1037001049 ecr 0,nop,wscale 7], length 0
10:20:54.812449 IP 127.0.0.1.12345 > 127.0.0.1.43666: Flags [S.], seq 2104268044, ack 2023663771, win 43690, options [mss 65495,sackOK,TS val 1037001049 ecr 1037001049,nop,wscale 7], length 0
10:20:54.812458 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [.], ack 1, win 342, options [nop,nop,TS val 1037001049 ecr 1037001049], length 0
10:20:54.812509 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 1037001049 ecr 1037001049], length 5
10:20:55.013093 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 1037001250 ecr 1037001049], length 5
10:20:55.013122 IP 127.0.0.1.12345 > 127.0.0.1.43666: Flags [.], ack 6, win 342, options [nop,nop,TS val 1037001250 ecr 1037001250], length 0
10:20:55.014681 IP 127.0.0.1.12345 > 127.0.0.1.43666: Flags [P.], seq 1:15, ack 6, win 342, options [nop,nop,TS val 1037001251 ecr 1037001250], length 14
10:20:55.014745 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [.], ack 15, win 340, options [nop,nop,TS val 1037001251 ecr 1037001251], length 0
10:20:55.014823 IP 127.0.0.1.43666 > 127.0.0.5.12345: Flags [F.], seq 2023663776, ack 2104268059, win 342, options [nop,nop,TS val 1037001251 ecr 1037001251], length 0
10:20:55.214088 IP 127.0.0.1.12345 > 127.0.0.1.43666: Flags [P.], seq 1:15, ack 6, win 342, options [nop,unknown-65 0x0a3dcf62eb3d,[bad opt]>
10:20:55.416087 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [F.], seq 6, ack 15, win 342, options [nop,nop,TS val 1037001653 ecr 1037001251], length 0
10:20:55.416804 IP 127.0.0.1.12345 > 127.0.0.1.43666: Flags [F.], seq 15, ack 7, win 342, options [nop,nop,TS val 1037001653 ecr 1037001653], length 0
10:20:55.416818 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [.], ack 16, win 343, options [nop,nop,TS val 1037001653 ecr 1037001653], length 0
10:20:56.147086 IP 127.0.0.1.12345 > 127.0.0.1.43666: Flags [F.], seq 15, ack 7, win 342, options [nop,nop,TS val 1037002384 ecr 1037001653], length 0
10:20:56.147101 IP 127.0.0.1.43666 > 127.0.0.1.12345: Flags [.], ack 16, win 342, options [nop,nop,TS val 1037002384 ecr 1037001653], length 0
Відаць, што некаторыя пакеты адпраўляліся паўторна і ёсць адзін пакет з бітымі метададзенымі: options [nop,unknown-65 0x0a3dcf62eb3d,[bad opt]>. Але галоўнае, што ў выніку ўсё адпрацавала карэктна – TCP зладзіўся са сваёй задачай.
Дубліраванне пакетаў
Што яшчэ можна рабіць з дапамогай netem? Напрыклад, зымітаваць сітуацыю, адваротную страце пакетаў, - дублікацыю пакетаў. Гэтая каманда таксама прымае 2 аргументы: верагоднасць і карэляцыю.
tc qdisc change dev lo root netem duplicate 50% 25%
Змяненне парадку пакетаў
Можна змяшаць пакеты, прычым двума спосабамі.
У першым частка пакетаў пасылаецца адразу, астатнія - з зададзенай затрымкай. Прыклад з дакументацыі:
tc qdisc change dev lo root netem delay 10ms reorder 25% 50%
З верагоднасцю 25% (і карэляцыяй 50%) пакет адправіцца адразу, астатнія адправяцца з затрымкай 10 мілісекунд.
Другі спосаб - гэта калі кожны N-й пакет адсылаецца маментальна з зададзенай верагоднасцю (і карэляцыяй), а астатнія - з зададзенай затрымкай. Прыклад з дакументацыі:
tc qdisc change dev lo root netem delay 10ms reorder 25% 50% gap 5
Кожны пяты пакет з верагоднасцю 25 працэнтаў будзе адпраўлены без затрымкі.
Змяненне прапускной здольнасці
Звычайна ўсюды адсылаюцца да , але з дапамогай netem таксама можна змяніць прапускную здольнасць інтэрфейсу:
tc qdisc change dev lo root netem rate 56kbit
Гэтая каманда зробіць паходы па лакальны такімі ж пакутлівымі, як сёрфінг у інтэрнэце праз dial-up-мадэм. Акрамя ўсталёўкі бітрэйту, можна таксама эмуляваць мадэль пратаколу канальнага ўзроўня: задаць оверхед для пакета, памер вочка і оверхед для вочка. Напрыклад, так можна зымітаваць і бітрэйт 56 кбіт/сек.:
tc qdisc change dev lo root netem rate 56kbit 0 48 5
Імітуем connection timeout
Яшчэ адзін важны пункт у тэст-плане пры прыёмцы ПЗ - таймаўты. Гэта важна, таму што ў размеркаваных сістэмах пры адключэнні аднаго з сэрвісаў астатнія павінны своечасова сфалбэчыцца на іншыя або вярнуць памылку кліенту, пры гэтым яны ні ў якім разе не павінны проста завісаць, чакаючы адказу або ўсталявання злучэння.
Ёсць некалькі спосабаў зрабіць гэта: напрыклад, выкарыстоўваць мок, які нічога не адказвае, ці падлучыцца да працэсу з дапамогай дэбагера, у патрэбным месцы паставіць breakpoint і спыніць выкананне працэсу (гэта, напэўна, самы перакручаны спосаб). Але адзін з самых відавочных - гэта фаерволить парты або хасты. З гэтым нам дапаможа .
Для дэманстрацыі будзем фаерволліць порт 12345 і запускаць наш скрыпт кліента. Можна фаерволить выходныя пакеты на гэты порт у адпраўніка ці ўваходныя на прымачы. У маіх прыкладах будуць фаерволліцца ўваходныя пакеты (выкарыстоўваем chain INPUT і опцыю -dport). Такім пакетам можна рабіць DROP, REJECT ці REJECT з TCP сцягам RST, можна з ICMP host unreachable (насамрэч дэфолтныя паводзіны — гэта icmp-port-unreachable, а яшчэ ёсць магчымасць паслаць у адказ icmp-net-unreachable, icmp-proto-unreachable, icmp-net-prohibited и icmp-host-prohibited).
DROP
Пры наяўнасці правіла з DROP пакеты будуць проста "знікаць".
iptables -A INPUT -p tcp --dport 12345 -j DROP
Запускаем кліент і бачым, што ён завісае на этапе падключэння да сервера. Глядзім трафік:
Дамп трафіку
[user@host ~]# tcpdump -i lo -nn port 12345
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
08:28:20.213506 IP 127.0.0.1.32856 > 127.0.0.1.12345: Flags [S], seq 3019694933, win 43690, options [mss 65495,sackOK,TS val 1203046450 ecr 0,nop,wscale 7], length 0
08:28:21.215086 IP 127.0.0.1.32856 > 127.0.0.1.12345: Flags [S], seq 3019694933, win 43690, options [mss 65495,sackOK,TS val 1203047452 ecr 0,nop,wscale 7], length 0
08:28:23.219092 IP 127.0.0.1.32856 > 127.0.0.1.12345: Flags [S], seq 3019694933, win 43690, options [mss 65495,sackOK,TS val 1203049456 ecr 0,nop,wscale 7], length 0
08:28:27.227087 IP 127.0.0.1.32856 > 127.0.0.1.12345: Flags [S], seq 3019694933, win 43690, options [mss 65495,sackOK,TS val 1203053464 ecr 0,nop,wscale 7], length 0
08:28:35.235102 IP 127.0.0.1.32856 > 127.0.0.1.12345: Flags [S], seq 3019694933, win 43690, options [mss 65495,sackOK,TS val 1203061472 ecr 0,nop,wscale 7], length 0
Відаць, што кліент пасылае SYN-пакеты з які павялічваецца па экспаненце таймаўтам. Вось мы і знайшлі невялікі баг у кліенце: трэба выкарыстоўваць метад settimeout(), каб абмежаваць час, за які кліент будзе спрабаваць падлучацца да сервера.
Адразу выдаляем правіла:
iptables -D INPUT -p tcp --dport 12345 -j DROPМожна выдаліць адразу ўсе правілы:
iptables -F
Калі вы выкарыстоўваеце Docker і вам трэба зафаерволить увесь трафік, які ідзе на кантэйнер, то зрабіць гэта можна наступным чынам:
iptables -I DOCKER-USER -p tcp -d CONTAINER_IP -j DROP
АДКАЗАЦЬ
Цяпер дадамо аналагічнае правіла, але з REJECT:
iptables -A INPUT -p tcp --dport 12345 -j REJECT
Кліент завяршаецца праз секунду з памылкай [Errno 111] Connection refused. Глядзім трафік ICMP:
[user@host ~]# tcpdump -i lo -nn icmp
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
08:45:32.871414 IP 127.0.0.1 > 127.0.0.1: ICMP 127.0.0.1 tcp port 12345 unreachable, length 68
08:45:33.873097 IP 127.0.0.1 > 127.0.0.1: ICMP 127.0.0.1 tcp port 12345 unreachable, length 68
Відаць, што кліент двойчы атрымаў port unreachable і пасля гэтага завяршыўся з памылкай.
REJECT with tcp-reset
Паспрабуем дадаць опцыю —reject-with tcp-reset:
iptables -A INPUT -p tcp --dport 12345 -j REJECT --reject-with tcp-reset
У гэтым выпадку кліент адразу выходзіць з памылкай, таму што на першы ж запыт атрымаў RST пакет:
[user@host ~]# tcpdump -i lo -nn port 12345
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
09:02:52.766175 IP 127.0.0.1.60658 > 127.0.0.1.12345: Flags [S], seq 1889460883, win 43690, options [mss 65495,sackOK,TS val 1205119003 ecr 0,nop,wscale 7], length 0
09:02:52.766184 IP 127.0.0.1.12345 > 127.0.0.1.60658: Flags [R.], seq 0, ack 1889460884, win 0, length 0
REJECT with icmp-host-unreachable
Паспрабуем яшчэ адзін варыянт выкарыстання REJECT:
iptables -A INPUT -p tcp --dport 12345 -j REJECT --reject-with icmp-host-unreachable
Кліент завяршаецца праз секунду з памылкай [Errno 113] No route to host, у ICMP трафіку бачым ICMP host 127.0.0.1 unreachable.
Можаце таксама паспрабаваць астатнія параметры REJECT, а я спынюся на гэтых 🙂
Імітуем request timeout
Яшчэ адна сітуацыя - гэта калі кліент змог падключыцца да сервера, але не можа адправіць яму запыт. Як адфільтраваць пакеты, каб фільтраванне пачалося як бы не адразу? Калі паглядзець на трафік любых зносін паміж кліентам і серверам, то можна заўважыць, што пры ўсталяванні злучэння выкарыстоўваюцца толькі сцягі SYN і ACK, а вось пры абмене дадзенымі ў апошнім пакеце запыту будзе сцяг PSH. Ён устанаўліваецца аўтаматычна, каб пазбегнуць буферызацыі. Можна выкарыстоўваць гэтую інфармацыю для стварэння фільтра: ён будзе прапускаць усе пакеты, акрамя тых, якія змяшчаюць сцяг PSH. Такім чынам, злучэнне будзе ўсталёўвацца, а вось даслаць дадзеныя серверу кліент не зможа.
DROP
Для DROP каманда будзе выглядаць наступным чынам:
iptables -A INPUT -p tcp --tcp-flags PSH PSH --dport 12345 -j DROP
Запускаем кліент і глядзім трафік:
Дамп трафіку
[user@host ~]# tcpdump -i lo -nn port 12345
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
10:02:47.549498 IP 127.0.0.1.49594 > 127.0.0.1.12345: Flags [S], seq 2166014137, win 43690, options [mss 65495,sackOK,TS val 1208713786 ecr 0,nop,wscale 7], length 0
10:02:47.549510 IP 127.0.0.1.12345 > 127.0.0.1.49594: Flags [S.], seq 2341799088, ack 2166014138, win 43690, options [mss 65495,sackOK,TS val 1208713786 ecr 1208713786,nop,wscale 7], length 0
10:02:47.549520 IP 127.0.0.1.49594 > 127.0.0.1.12345: Flags [.], ack 1, win 342, options [nop,nop,TS val 1208713786 ecr 1208713786], length 0
10:02:47.549568 IP 127.0.0.1.49594 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 1208713786 ecr 1208713786], length 5
10:02:47.750084 IP 127.0.0.1.49594 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 1208713987 ecr 1208713786], length 5
10:02:47.951088 IP 127.0.0.1.49594 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 1208714188 ecr 1208713786], length 5
10:02:48.354089 IP 127.0.0.1.49594 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 1208714591 ecr 1208713786], length 5
Бачым, што злучэнне ўсталявана, і кліент не можа даслаць дадзеныя серверу.
АДКАЗАЦЬ
У гэтым выпадку паводзіны будуць такімі ж: кліент не зможа адправіць запыт, але будзе атрымліваць ICMP 127.0.0.1 tcp port 12345 unreachable і павялічваць час паміж пераадпраўкай запыту па экспаненце. Каманда выглядае так:
iptables -A INPUT -p tcp --tcp-flags PSH PSH --dport 12345 -j REJECT
REJECT with tcp-reset
Каманда выглядае наступным чынам:
iptables -A INPUT -p tcp --tcp-flags PSH PSH --dport 12345 -j REJECT --reject-with tcp-reset
Мы ўжо ведаем, што пры выкарыстанні —reject-with tcp-reset кліент атрымае ў адказ RST-пакет, таму можна прадбачыць паводзіны: атрыманне RST-пакета пры ўсталяваным злучэнні азначае непрадбачанае зачыненне сокета з іншага боку, значыць, кліент павінен атрымаць Connection reset by peer. Запускаем наш скрыпт і ўпэўніваемся ў гэтым. А вось так будзе выглядаць трафік:
Дамп трафіку
[user@host ~]# tcpdump -i lo -nn port 12345
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
10:22:14.186269 IP 127.0.0.1.52536 > 127.0.0.1.12345: Flags [S], seq 2615137531, win 43690, options [mss 65495,sackOK,TS val 1209880423 ecr 0,nop,wscale 7], length 0
10:22:14.186284 IP 127.0.0.1.12345 > 127.0.0.1.52536: Flags [S.], seq 3999904809, ack 2615137532, win 43690, options [mss 65495,sackOK,TS val 1209880423 ecr 1209880423,nop,wscale 7], length 0
10:22:14.186293 IP 127.0.0.1.52536 > 127.0.0.1.12345: Flags [.], ack 1, win 342, options [nop,nop,TS val 1209880423 ecr 1209880423], length 0
10:22:14.186338 IP 127.0.0.1.52536 > 127.0.0.1.12345: Flags [P.], seq 1:6, ack 1, win 342, options [nop,nop,TS val 1209880423 ecr 1209880423], length 5
10:22:14.186344 IP 127.0.0.1.12345 > 127.0.0.1.52536: Flags [R], seq 3999904810, win 0, length 0
REJECT with icmp-host-unreachable
Думаю, ужо ўсім відавочна, як будзе выглядаць каманда 🙂 Паводзіны кліента ў такім выпадку будзе крыху адрознівацца ад таго, якое было з простым REJECT: кліент не будзе павялічваць таймаўт паміж спробамі пераадправіць пакет.
[user@host ~]# tcpdump -i lo -nn icmp
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
10:29:56.149202 IP 127.0.0.1 > 127.0.0.1: ICMP host 127.0.0.1 unreachable, length 65
10:29:56.349107 IP 127.0.0.1 > 127.0.0.1: ICMP host 127.0.0.1 unreachable, length 65
10:29:56.549117 IP 127.0.0.1 > 127.0.0.1: ICMP host 127.0.0.1 unreachable, length 65
10:29:56.750125 IP 127.0.0.1 > 127.0.0.1: ICMP host 127.0.0.1 unreachable, length 65
10:29:56.951130 IP 127.0.0.1 > 127.0.0.1: ICMP host 127.0.0.1 unreachable, length 65
10:29:57.152107 IP 127.0.0.1 > 127.0.0.1: ICMP host 127.0.0.1 unreachable, length 65
10:29:57.353115 IP 127.0.0.1 > 127.0.0.1: ICMP host 127.0.0.1 unreachable, length 65
Выснова
Не абавязкова пісаць мок для праверкі ўзаемадзеяння сэрвісу з які завіс кліентам ці серверам, часам досыць выкарыстаць стандартныя ўтыліты, якія ёсць у Linux.
Разгледжаныя ў артыкуле ўтыліты валодаюць яшчэ большай колькасцю магчымасцяў, чым было апісана, таму вы можаце прыдумаць нейкія свае варыянты іх выкарыстання. Асабіста мне заўсёды хапае таго, пра што я напісаў (насамрэч нават менш). Калі вы выкарыстоўваеце гэтыя ці падобныя ўтыліты ў тэсціраванні ў сваёй кампаніі, напішыце, калі ласка, як менавіта. Калі ж не, то спадзяюся, ваша ПЗ стане якасней, калі вы вырашыце правяраць яго ва ўмовах праблем з сеткай прапанаванымі спосабамі.
Крыніца: habr.com