{"id":73232,"date":"2020-03-08T08:42:18","date_gmt":"2020-03-08T05:42:18","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/vxlan-v-nsx-v-trablshutim-underlay"},"modified":"2020-03-08T08:42:18","modified_gmt":"2020-03-08T05:42:18","slug":"vxlan-v-nsx-v-trablshutim-underlay","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/vxlan-v-nsx-v-trablshutim-underlay","title":{"rendered":"VXLAN w NSX-V \u2014 rozwi\u0105zujemy problemy z underlay","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Witam, najpierw troch\u0119 poezji. Czasami zazdroszcz\u0119 kolegom, kt\u00f3rzy pracuj\u0105 zdalnie \u2014 to wspaniale mie\u0107 mo\u017cliwo\u015b\u0107 pracy z ka\u017cdego zak\u0105tka \u015bwiata pod\u0142\u0105czonego do Internetu, wakacje w dowolnym momencie, odpowiedzialno\u015b\u0107 za projekty i terminy, a nie przebywanie w biurze od 8 do 17. Moja pozycja i obowi\u0105zki zawodowe praktycznie wykluczaj\u0105 mo\u017cliwo\u015b\u0107 d\u0142ugotrwa\u0142ego nieobecno\u015bci w centrum danych. Jednak od czasu do czasu zdarzaj\u0105 si\u0119 ciekawe przypadki, jak opisany poni\u017cej \u2014 i rozumiem, \u017ce jest ma\u0142o pozycji, gdzie jest taka swoboda dla kreatywnego wyra\u017cania si\u0119 wewn\u0119trznego troubleshooter'a.
\n<\/a><\/noindex>
\nMa\u0142a uwaga \u2014 w momencie pisania artyku\u0142u sprawa nie zosta\u0142a ca\u0142kowicie rozwi\u0105zana, ale bior\u0105c pod uwag\u0119 tempo odpowiedzi dostawc\u00f3w, pe\u0142ne rozwi\u0105zanie mo\u017ce zaj\u0105\u0107 jeszcze kilka miesi\u0119cy, a chcia\u0142bym si\u0119 ju\u017c teraz podzieli\u0107 swoimi spostrze\u017ceniami. Mam nadziej\u0119, \u017ce drodzy czytelnicy, wybaczycie mi t\u0119 pochopno\u015b\u0107. Ale do\u015b\u0107 teorii \u2014 co tam w tej sprawie? <\/p>\n

Na pocz\u0105tek kontekst: jest firma (gdzie pracuj\u0119 jako in\u017cynier sieci), kt\u00f3ra hostuje rozwi\u0105zania klient\u00f3w w prywatnej chmurze VMWare. Wi\u0119kszo\u015b\u0107 nowych rozwi\u0105za\u0144 jest pod\u0142\u0105czana do segment\u00f3w VXLAN zarz\u0105dzanych przez NSX-V \u2014 nie b\u0119d\u0119 ocenia\u0107, ile czasu zaoszcz\u0119dzi\u0142o mi to rozwi\u0105zanie, powiem kr\u00f3tko \u2014 bardzo du\u017co. Uda\u0142o si\u0119 nawet przeszkoli\u0107 koleg\u00f3w w konfigurowaniu NSX ESG, a mniejsze rozwi\u0105zania klient\u00f3w s\u0105 uruchamiane bez mojego udzia\u0142u. Wa\u017cna uwaga \u2014 nasz plane kontrolny dzia\u0142a na bazie replikacji unicast. Hypervisory s\u0105 pod\u0142\u0105czone w redundantny spos\u00f3b przez dwa interfejsy do r\u00f3\u017cnych fizycznych prze\u0142\u0105cznik\u00f3w Juniper QFX5100 (zbudowanych w ramach Virtual Chassis) oraz polityka timingowa oparta na porcie wirtualnym \u2014 to dla pe\u0142niejszego obrazu.<\/p>\n

Rozwi\u0105zania dla klient\u00f3w s\u0105 bardzo zr\u00f3\u017cnicowane: od Windows IIS, gdzie wszystkie komponenty serwera www s\u0105 zainstalowane na jednej maszynie, do ca\u0142kiem du\u017cych \u2014 na przyk\u0142ad zr\u00f3wnowa\u017cone obci\u0105\u017cenie frontend\u00f3w Apache + LB MariaDB w Galera + serwery udost\u0119pniania, synchronizowane za pomoc\u0105 GlusterFS. Praktycznie ka\u017cdy serwer trzeba monitorowa\u0107 osobno, a publiczne adresy nie s\u0105 dost\u0119pne dla wszystkich komponent\u00f3w \u2014 je\u015bli zetkn\u0119li\u015bcie si\u0119 z tym problemem i macie bardziej eleganckie rozwi\u0105zanie, b\u0119d\u0119 wdzi\u0119czny za rad\u0119.
\nMoje rozwi\u0105zanie monitorowania polega na \u201epod\u0142\u0105czeniu\u201d firewalla (Fortigate) do ka\u017cdej wewn\u0119trznej sieci klient\u00f3w (+SNAT i oczywi\u015bcie surowe ograniczenia dotycz\u0105ce dozwalonego ruchu) oraz obserwacji wewn\u0119trznych adres\u00f3w \u2014 w ten spos\u00f3b osi\u0105ga si\u0119 pewn\u0105 unifikacj\u0119 i uproszczenie monitorowania. Samo monitorowanie odbywa si\u0119 z klastra serwer\u00f3w PRTG. Schemat monitorowania wygl\u0105da mniej wi\u0119cej tak:<\/p>\n

\"VXLAN
\n
\nDop\u00f3ki obs\u0142ugiwali\u015bmy tylko VLAN, wszystko by\u0142o do\u015b\u0107 normalne i dzia\u0142a\u0142o jak w zegarku. Po wdro\u017ceniu NSX-V i VXLAN pojawi\u0142 si\u0119 problem \u2014 czy mo\u017cna kontynuowa\u0107 monitorowanie w stary spos\u00f3b? W momencie zadania tego pytania najszybszym rozwi\u0105zaniem by\u0142o uruchomienie NSX ESG i pod\u0142\u0105czenie interfejsu trunk VXLAN do sieci VTEP. Szybkim w cudzys\u0142owie \u2014 poniewa\u017c u\u017cywanie interfejsu graficznego do konfigurowania sieci klient\u00f3w, SNAT i zasad firewalla mo\u017ce unifikowa\u0107 zarz\u0105dzanie w jednym interfejsie vSphere, ale moim zdaniem jest do\u015b\u0107 niepor\u0119czne i ogranicza zestaw narz\u0119dzi do rozwi\u0105zywania problem\u00f3w. Ci, kt\u00f3rzy u\u017cywali NSX ESG jako zast\u0119pstwa \u201eprawdziwego\u201d firewalla, my\u015bl\u0119, zgodz\u0105 si\u0119. Chocia\u017c by\u0107 mo\u017ce takie rozwi\u0105zanie by\u0142oby bardziej stabilne \u2014 przecie\u017c wszystko dzieje si\u0119 w ramach jednego dostawcy.<\/p>\n

Kolejnym rozwi\u0105zaniem jest u\u017cycie NSX DLR w trybie bridge mi\u0119dzy VLAN a VXLAN. My\u015bl\u0119, \u017ce to jasne \u2014 po prostu traci si\u0119 korzy\u015bci z zastosowania VXLAN, poniewa\u017c w takim przypadku trzeba ci\u0105gn\u0105\u0107 VLAN do instalacji monitoruj\u0105cej. Zreszt\u0105, w trakcie pracy nad tym rozwi\u0105zaniem natkn\u0105\u0142em si\u0119 na problem, gdy DLR bridge nie wysy\u0142a\u0142 pakiet\u00f3w do maszyny wirtualnej, z kt\u00f3r\u0105 znajdowa\u0142 si\u0119 na tym samym ho\u015bcie. Wiem, wiem \u2014 w ksi\u0105\u017ckach i przewodnikach dotycz\u0105cych NSX-V jest wyra\u017anie napisane, \u017ce dla NSX Edge nale\u017cy przeznaczy\u0107 osobny klaster, ale to w ksi\u0105\u017ckach... Tak czy inaczej, po kilku miesi\u0105cach z pomoc\u0105 techniczn\u0105 nie rozwi\u0105zali\u015bmy problemu. Zasadniczo zrozumia\u0142em logik\u0119 dzia\u0142ania \u2014 modu\u0142 j\u0105dra hypervisora odpowiedzialny za kapsu\u0142kowanie VXLAN nie by\u0142 u\u017cywany, gdy DLR i monitorowany serwer znajdowa\u0142y si\u0119 na tym samym ho\u015bcie, poniewa\u017c ruch nie opuszcza\u0142 hosta i zgodnie z logik\u0105 powinien by\u0107 pod\u0142\u0105czony do segmentu VXLAN \u2014 kapsu\u0142kowanie nie jest potrzebne. Z pomoc\u0105 techniczn\u0105 zatrzymali\u015bmy si\u0119 na wirtualnym interfejsie vdrPort, kt\u00f3ry logicznie \u0142\u0105czy uplinki i realizuje bridging\/kapsu\u0142kowanie \u2014 tam zauwa\u017cono niesp\u00f3jno\u015b\u0107 w ruchu przychodz\u0105cym, kt\u00f3r\u0105 wzi\u0105\u0142em do analizy w bie\u017c\u0105cym przypadku. Ale jak powiedziano, nie doprowadzi\u0142em tego przypadku do ko\u0144ca, poniewa\u017c zosta\u0142em przerzucony na inny projekt, a ga\u0142\u0105\u017a by\u0142a pocz\u0105tkowo martwa, wi\u0119c nie mia\u0142em szczeg\u00f3lnej ochoty jej rozwija\u0107. Je\u015bli si\u0119 nie myl\u0119, problem wyst\u0119powa\u0142 w wersjach NSX 6.1.4 i 6.2. <\/p>\n

I tu \u2014 bingo! Fortinet og\u0142asza natywn\u0105 obs\u0142ug\u0119 VXLAN<\/a><\/noindex>. I nie tylko point-to-point czy VXLAN-over-IPSec, nie ma oprogramowania do brid\u017cowania VLAN-VXLAN \u2014 wszystko to zacz\u0119to wdra\u017ca\u0107 ju\u017c od wersji 5.4 (i jest przedstawione u innych dostawc\u00f3w<\/a><\/noindex>), a rzeczywiste wsparcie unicast control plane. Podczas wdra\u017cania rozwi\u0105zania napotka\u0142em jeszcze jeden problem \u2014 monitorowane serwery czasami \u201eznika\u0142y\u201d lub pojawia\u0142y si\u0119 w monitoringu, chocia\u017c sama maszyna wirtualna by\u0142a alive. Przyczyn\u0105 okaza\u0142o si\u0119 to, \u017ce zapomnia\u0142em w\u0142\u0105czy\u0107 Ping na interfejsie VXLAN. Podczas procesu rebalance'owania klastr\u00f3w, maszyny wirtualne by\u0142y przenoszone, a Ping ko\u0144czy\u0142 vMotion, aby oznaczy\u0107 nowy host ESXI, na kt\u00f3ry przesz\u0142a maszyna. G\u0142upota mnie, ale ten problem jeszcze raz podwa\u017cy\u0142 zaufanie do wsparcia producenta \u2014 w tym przypadku Fortinet. Nie wspominaj\u0105c ju\u017c, \u017ce ka\u017cdy przypadek zwi\u0105zany z VXLAN zaczyna si\u0119 od pytania \u201egdzie w ustawieniach softswitcha macie VLAN-VXLAN?\u201d Tym razem doradzono mi zmieni\u0107 MTU \u2014 to dla Pinga, kt\u00f3ry ma 32 bajty. Potem \u201ezabawa\u201d z tcp-send-mss i tcp-receive-mss w polityce \u2014 dla VXLAN, kt\u00f3ry jest enkapsulowany w UDP. Uff, przepraszam \u2014 mn\u00f3stwo si\u0119 nazbiera\u0142o. W ka\u017cdym razie, ten problem rozwi\u0105za\u0142em samodzielnie. <\/p>\n

Po pomy\u015blnym przetestowaniu ruchu zdecydowano si\u0119 wdro\u017cy\u0107 to rozwi\u0105zanie. W produkcji okaza\u0142o si\u0119, \u017ce po jednym lub dw\u00f3ch dniach wszystko, co jest monitorowane przez VXLAN, stopniowo przestaje dzia\u0142a\u0107. Dezaktywacja\/aktywacja interfejsu pomaga\u0142a, ale tylko na moment. Pami\u0119taj\u0105c o op\u00f3\u017anieniach wsparcia producenta, zajmowa\u0142em si\u0119 troubleshootingiem z w\u0142asnej strony \u2013 w ko\u0144cu moja firma, moja sie\u0107 \u2013 moja odpowiedzialno\u015b\u0107. <\/p>\n

Pod spoilerem przebieg troubleshootingu. Kto zm\u0119czony literami i przechwa\u0142kami \u2013 prosz\u0119 przej\u015b\u0107 do postanalizy.<\/p>\n

Przebieg troubleshootingu<\/b>Dzi\u0119kuj\u0119, \u017ce kontynuujesz czytanie \u2013 jed\u017amy dalej!<\/p>\n

Wi\u0119c monitorowanie dzia\u0142a przez jaki\u015b czas, potem samodzielnie przestaje. Oznacza to, \u017ce w politykach zapory prawdopodobnie nie ma problem\u00f3w. Jednak, poniewa\u017c mia\u0142em do czynienia z problemem zablokowanych proces\u00f3w systemowych w Fortigate wersji 5.6 i wy\u017cszych, najpierw sprawdzamy \u201ediagnose debug flow\u201d \u2013 oczekiwanie jest, \u017ce ruch jest dozwolony i opuszcza interfejs, a nic nie przychodzi w odpowiedzi. Oznacza to, \u017ce kopimy dalej po stosie. Niestety, b\u0119d\u0119 musia\u0142 ukry\u0107 adresy, nawet te zgodne z RFC1918, ale mam nadziej\u0119, \u017ce dostarcz\u0119 wystarczaj\u0105cy opis, aby u\u0142atwi\u0107 zrozumienie. Serwer wewn\u0105trz VXLAN ma adres x.x.x.15, interfejs Fortigata x.x.x.254, wszystkie pozosta\u0142e adresy nale\u017c\u0105 do sieci VTEP.<\/p>\n

Aby pomy\u015blnie przes\u0142a\u0107 pakiety kapsu\u0142kowane w VXLAN, konieczne jest posiadanie poprawnych informacji w kilku tabelach. Dla overlay to ARP i OVSDB, a dla underlay ARP i CAM. W przypadku Fortigate VXLAN FDB to OVSDB. Tam zaczniemy:<\/p>\n

 fortigate (root) #diag sys vxlan fdb list vxlan-LS\nmac=00:50:56:8f:3f:5a state=0x0002 flags=0x00 remote_ip=\u0443.\u0443.\u0443.47 port=4789 vni=5008 ifindex=7\n<\/code><\/pre>\n
\nTu wszystko jest do\u015b\u0107 proste \u2014 adres MAC wirtualnej maszyny musi znajdowa\u0107 si\u0119 na VTEP z adresem \u0443.\u0443.\u0443.47. Po sprawdzeniu zawarto\u015bci i ustawie\u0144 klastra ESXI widz\u0119, \u017ce adres MAC wirtualnej maszyny jest poprawny, a adres VTEP r\u00f3wnie\u017c. Sprawdzam tabel\u0119 CAM\/ARP na fortigate \u2014 znowu wszystko zgadza si\u0119 z ustawieniami hosta ESXI:<\/p>\n
fortigate (root) #get sys arp | grep \u0443.\u0443.\u0443.47\n\u0443.\u0443.\u0443.47 0 00:50:56:65:f6:2c dmz\n<\/code><\/pre>\n
\nTabele s\u0105 poprawne, a ruch wychodzi \u2014 mo\u017ce problem nie le\u017cy po stronie fortigate? Celowo pomin\u0105\u0142em analiz\u0119 prze\u0142\u0105czania ruchu na Juniper'ze \u2014 logicznie, nast\u0119pny krok troubleshootingu powinien by\u0107 wykonany tam, ale moja sie\u0107 jest prosta \u2014 tylko jeden VLAN dla VTEP, a wszystkie komponenty s\u0105 pod\u0142\u0105czone bezpo\u015brednio. Dodatkowo przypominam sobie przypadek z mostem DLR, VDR i znikaj\u0105cym ruchem \u2014 id\u0119 sniffowa\u0107 na ho\u015bcie ESXI, r\u00f3wnocze\u015bnie zak\u0142adaj\u0105c spraw\u0119 ju\u017c do VMWare. Poni\u017cej MAC \u201e97:6e\u201d nale\u017cy do fortinetu, vmnic1 \u2014 to interfejs, kt\u00f3ry ma VTEP z adresem u.u.u.47 sniffujemy w obu kierunkach \"\u2014dir 2\":<\/p>\n
pktcap-uw --uplink vmnic1 --vni 5008  --mac 90:6c:ac:a9:97:6e --dir 2 -o \/tmp\/monitor.pcap\n<\/code><\/pre>\n
\n\"VXLAN
\n
\nPost\u0119p \u2014 w sniffie widz\u0119 zapytanie ARP i nadchodz\u0105c\u0105 odpowied\u017a. Przedstawiam tylko odpowied\u017a ARP i tam wszystko jest poprawne. Nie wspomnia\u0142em, ale przez ca\u0142y ten czas serwer monitorowania pingowa\u0142 adres \u0445.\u0445.\u0445.15 \u2014 gdzie jest ruch ICMP? Przypominam sobie, \u017ce mam dwa uplinki. Mo\u017cna tu polemizowa\u0107 i powiedzie\u0107, \u017ce wirtualny port \u017ar\u00f3d\u0142a jest ten sam (moja polityka grupowania), to znaczy dla tej samej vNIC powinien by\u0107 wybierany ten sam uplink, ale skoro jestem na ho\u015bcie, sprawdzenie drugiego uplinku nie stanowi problemu:<\/p>\n
pktcap-uw --uplink vmnic4 --vni 5008  --mac 90:6c:ac:a9:97:6e --dir 2 -o \/tmp\/monitor.pcap\n<\/code><\/pre>\n
\n\"VXLAN
\n
\nPrzychodz\u0105 zapytania z Fortigate, ale odpowiedzi brak. To znaczy, \u017ce problem nie le\u017cy w Fortigate. C\u00f3\u017c, my\u015bl\u0119 sobie \u2014 znowu ten sam problem z znikaj\u0105cym ruchem na VDR, zn\u00f3w musz\u0119 przez kilka miesi\u0119cy kierowa\u0107 spraw\u0119 w odpowiednie tory. Po kilku dniach, och\u0142on\u0105wszy, i nie chc\u0105c si\u0119 godzi\u0107 z zawieszeniem, postanowi\u0142em zebra\u0107 jeszcze snify dla wsparcia, aby przyspieszy\u0107 proces. I tu \u201eprzypadkowo\u201d m\u00f3j wzrok pada na Ethernet encapolation underlay. Kr\u00f3l nie jest prawdziwy, a adres MAC VTEP nie zgadza si\u0119 z jego IP. Resetuj\u0119 do zera, snifuj\u0119, kopi\u0119 \u2014 s\u0142usznie, \u017ce nie s\u0142ycha\u0107. Zestawi\u0119 tabel\u0119 ARP obok, aby \u0142atwiej por\u00f3wnywa\u0107. Zwr\u00f3\u0107 uwag\u0119 na pierwsz\u0105 encapsulacj\u0119 Ethernet na g\u00f3rnym obrazku:<\/p>\n
fortigate (root) #get sys arp | grep u.u.u.47\nu.u.u.47 0 00:50:56:65:f6:2c dmz\nfortigate (root) #get sys arp | grep u.u.u.42\nu.u.u.42 0 00:50:56:6a:78:86 dmz\n<\/code><\/pre>\n
\nTak wi\u0119c, co mamy na ko\u0144cu \u2014 po migracji maszyny wirtualnej, Fortigate pr\u00f3buje wys\u0142a\u0107 ruch do VTEP z (poprawnego) VXLAN FDB, ale u\u017cywa b\u0142\u0119dnego MAC DST i ruch oczekiwanie jest odrzucany przez interfejs hyperwizora, kt\u00f3ry go odbiera. Przy czym w jednym przypadku na cztery ten MAC nale\u017ca\u0142 do pierwotnego hyperwizora, z kt\u00f3rego rozpocz\u0119to migracj\u0119 maszyny.<\/p>\n
Wczoraj otrzyma\u0142em e-mail od wsparcia technicznego Fortinet \u2014 w moim przypadku otworzyli b\u0142\u0105d 615586. Nie wiem, czy si\u0119 cieszy\u0107, czy smuci\u0107: z jednej strony \u2014 problem nie le\u017cy w ustawieniach, z drugiej \u2014 poprawka przyjdzie dopiero z aktualizacj\u0105 oprogramowania, w najlepszym przypadku nast\u0119pnym. Moje samouwielbienie podgrzewa tak\u017ce inny b\u0142\u0105d, kt\u00f3ry wykry\u0142em w zesz\u0142ym miesi\u0105cu, wprawdzie tym razem w HTML5 GUI vSphere. C\u00f3\u017c, prawdziwy lokalny dzia\u0142 QA dostawc\u00f3w...<\/p>\n
Zaryzykuj\u0119 przypuszczenie, \u017ce:<\/p>\n
1 \u2014 kontrola multikastowa prawdopodobnie nie b\u0119dzie poddana opisanemu problemowi \u2014 adresy MAC VTEP s\u0105 uzyskiwane z adresu IP grupy, do kt\u00f3rej przypisany jest interfejs. <\/p>\n
2 \u2014 prawdopodobnie problem Fortigate le\u017cy w zrzucie sesji na Procesor Sieciowy (podobny do CEF) \u2014 je\u015bli ka\u017cdy pakiet przepuszczany jest przez CPU, b\u0119d\u0105 wykorzystywane tabele zawieraj\u0105ce poprawne \u2014 przynajmniej na pierwszy rzut oka \u2014 informacje. Na korzy\u015b\u0107 tej tezy przemawia to, \u017ce pomocne jest zamkni\u0119cie\/otwarcie interfejsu lub odczekanie chwili \u2014 wi\u0119cej ni\u017c 5 minut. <\/p>\n
3 \u2014 zmiana polityki teaming, na przyk\u0142ad na explicit failover, lub wdro\u017cenie LAG nie rozwi\u0105\u017ce problemu, poniewa\u017c zauwa\u017cono \u201ezatrzymywanie si\u0119\u201d MAC pierwotnego hyperwizora w enkapsulowanych pakietach.<\/p>\n
W \u015bwietle tego mog\u0119 podzieli\u0107 si\u0119, \u017ce niedawno odkry\u0142em blog blog<\/a><\/noindex>, gdzie w jednym z artyku\u0142\u00f3w twierdzono, \u017ce strefowe zapory i buforowane sposoby przesy\u0142ania danych to obej\u015bcia. C\u00f3\u017c, nie jestem na tyle do\u015bwiadczony w IT, aby to stwierdzi\u0107, zreszt\u0105 nie zgadzam si\u0119 z wi\u0119kszo\u015bci\u0105 twierdze\u0144 artyku\u0142\u00f3w blogowych za ka\u017cdym razem. Jednak co\u015b mi m\u00f3wi, \u017ce jest prawda w s\u0142owach Ivana.<\/p>\n
Dzi\u0119kuj\u0119 za uwag\u0119! Ch\u0119tnie odpowiem na pytania i wys\u0142ucham konstruktywnej krytyki.
\n
\u0179r\u00f3d\u0142o: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
\u041f\u0440\u0438\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e, \u0438 \u0441\u043f\u0435\u0440\u0432\u0430 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043b\u0438\u0440\u0438\u043a\u0438. \u042f \u0438\u043d\u043e\u0433\u0434\u0430 \u0437\u0430\u0432\u0438\u0434\u0443\u044e \u043a\u043e\u043b\u043b\u0435\u0433\u0430\u043c, \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u043c \u0443\u0434\u0430\u043b\u0451\u043d\u043d\u043e \u2014 \u0432\u0435\u0434\u044c \u044d\u0442\u043e \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u0438\u043c\u0435\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0438\u0437 \u043b\u044e\u0431\u043e\u0433\u043e \u043a\u043e\u043d\u0446\u0430 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u043e\u0433\u043e \u043a Internet \u043c\u0438\u0440\u0430, \u043a\u0430\u043d\u0438\u043a\u0443\u043b\u044b \u0432 \u043b\u044e\u0431\u043e\u0435 \u0432\u0440\u0435\u043c\u044f, \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0437\u0430 \u043f\u0440\u043e\u0435\u043a\u0442\u044b \u0438 \u0434\u0435\u0434\u043b\u0430\u0439\u043d\u044b, \u0430 \u043d\u0435 \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0432 \u043e\u0444\u0438\u0441\u0435 \u0441 8 \u0434\u043e 17. \u041c\u043e\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u0438 \u0440\u0430\u0431\u043e\u0447\u0438\u0435 \u043e\u0431\u044f\u0437\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u043e\u043b\u0433\u043e\u0433\u043e \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u044f \u0432 \u0434\u0430\u0442\u0430\u0446\u0435\u043d\u0442\u0440\u0435. […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":73233,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-73232","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47VXLAN w NSX-V \u2014 rozwi\u0105zujemy problemy underlay | ProHoster","description":"Witam, a na pocz\u0105tek troch\u0119 liryki.","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/vxlan-v-nsx-v-trablshutim-underlay","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47VXLAN \u0432 NSX-V \u2014 \u0442\u0440\u0430\u0431\u043b\u0448\u0443\u0442\u0438\u043c underlay | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e, \u0438 \u0441\u043f\u0435\u0440\u0432\u0430 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043b\u0438\u0440\u0438\u043a\u0438.","og:url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/vxlan-v-nsx-v-trablshutim-underlay","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-03-08T05:42:18+00:00","article:modified_time":"2020-03-08T05:42:18+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"73232","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 18:36:23","updated":"2022-09-27 15:26:08","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/73232","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=73232"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/73232\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media\/73233"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=73232"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=73232"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=73232"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}