{"id":73232,"date":"2020-03-08T08:42:18","date_gmt":"2020-03-08T05:42:18","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/vxlan-v-nsx-v-trablshutim-underlay"},"modified":"2020-03-08T08:42:18","modified_gmt":"2020-03-08T05:42:18","slug":"vxlan-v-nsx-v-trablshutim-underlay","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/vxlan-v-nsx-v-trablshutim-underlay","title":{"rendered":"VXLAN in NSX-V \u2014 risolviamo problemi di sottofondo","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\u041f\u0440\u0438\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e, \u0438 \u0441\u043f\u0435\u0440\u0432\u0430 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043b\u0438\u0440\u0438\u043a\u0438. \u042f \u0438\u043d\u043e\u0433\u0434\u0430 \u0437\u0430\u0432\u0438\u0434\u0443\u044e \u043a\u043e\u043b\u043b\u0435\u0433\u0430\u043c, \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u043c \u0443\u0434\u0430\u043b\u0451\u043d\u043d\u043e \u2014 \u0432\u0435\u0434\u044c \u044d\u0442\u043e \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u0438\u043c\u0435\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0438\u0437 \u043b\u044e\u0431\u043e\u0433\u043e \u043a\u043e\u043d\u0446\u0430 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u043e\u0433\u043e \u043a Internet \u043c\u0438\u0440\u0430, \u043a\u0430\u043d\u0438\u043a\u0443\u043b\u044b \u0432 \u043b\u044e\u0431\u043e\u0435 \u0432\u0440\u0435\u043c\u044f, \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0437\u0430 \u043f\u0440\u043e\u0435\u043a\u0442\u044b \u0438 \u0434\u0435\u0434\u043b\u0430\u0439\u043d\u044b, \u0430 \u043d\u0435 \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0432 \u043e\u0444\u0438\u0441\u0435 \u0441 8 \u0434\u043e 17. \u041c\u043e\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u0438 \u0440\u0430\u0431\u043e\u0447\u0438\u0435 \u043e\u0431\u044f\u0437\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u043e\u043b\u0433\u043e\u0433\u043e \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u044f \u0432 \u0434\u0430\u0442\u0430\u0446\u0435\u043d\u0442\u0440\u0435. \u041e\u0434\u043d\u0430\u043a\u043e \u2014 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u043a\u0435\u0439\u0441\u044b, \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u043c\u0443 \u043d\u0438\u0436\u0435 \u2014 \u0438 \u044f \u043f\u043e\u043d\u0438\u043c\u0430\u044e, \u0447\u0442\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043c\u0430\u043b\u043e \u043f\u043e\u0437\u0438\u0446\u0438\u0439, \u0433\u0434\u0435 \u0435\u0441\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0440 \u0434\u043b\u044f \u0442\u0432\u043e\u0440\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e troubleshooter’\u0430.
\n<\/a><\/noindex>
\nUna piccola nota \u2014 al momento della scrittura dell'articolo, il caso non \u00e8 completamente risolto, ma considerando la velocit\u00e0 di risposta dei fornitori, una soluzione completa potrebbe richiedere ancora mesi, e desidero condividere le mie scoperte gi\u00e0 ora. Spero che, cari lettori, mi perdonerete questa fretta. Ma basta con le chiacchiere \u2014 qual \u00e8 la situazione con il caso? <\/p>\n

Iniziamo con una panoramica: c'\u00e8 un'azienda (dove lavoro come ingegnere di rete) che ospita soluzioni per clienti in un cloud privato VMWare. La maggior parte delle nuove soluzioni si collega a segmenti VXLAN gestiti da NSX-V \u2014 non giudico quanto tempo mi abbia risparmiato questa soluzione, in sintesi \u2014 molto. Sono riuscito perfino a formare i colleghi nella configurazione di NSX ESG e piccole soluzioni per i clienti vengono implementate senza il mio intervento. Nota importante \u2014 il nostro piano di controllo utilizza la replica unicast. Gli ipervisori sono collegati in modo ridondante tramite due interfacce a diversi switch fisici Juniper QFX5100 (assemblati in Virtual Chassis) e seguono la politica di temporizzazione route based on originating virtual port \u2014 questo per completezza.<\/p>\n

Le soluzioni per i clienti sono molto eterogenee: da Windows IIS, dove tutti i componenti del web server sono installati su una sola macchina, a configurazioni pi\u00f9 complesse \u2014 ad esempio, front-end web Apache bilanciati con LB MariaDB in Galera + server di condivisione sincronizzati tramite GlusterFS. Praticamente ogni server deve essere monitorato separatamente, e non tutti i componenti hanno indirizzi pubblici \u2014 se ti sei trovato ad affrontare questo compito e hai una soluzione pi\u00f9 elegantr, sarei felice di ricevere consigli.
\nLa mia soluzione per il monitoraggio consiste nel \u00abcollegare\u00bb il firewall (Fortigate) a ciascuna rete interna dei clienti (+SNAT e, naturalmente, rigide limitazioni sul tipo di traffico consentito) e nel monitorare gli indirizzi interni \u2014 in questo modo si ottiene una certa uniformit\u00e0 e semplificazione del monitoraggio. Il monitoraggio avviene da un cluster di server PRTG. Lo schema di monitoraggio \u00e8 pi\u00f9 o meno il seguente:<\/p>\n

\"VXLAN
\n
\nFinora, quando operavamo solo con VLAN, tutto andava piuttosto bene e funzionava come un orologio. Dopo l'implementazione di NSX-V e VXLAN, ci siamo trovati di fronte a una domanda: posso continuare a monitorare come prima? Al momento di questa domanda, la soluzione \"pi\u00f9 veloce\" era implementare NSX ESG e collegare l'interfaccia trunk VXLAN nella rete VTEP. \"Veloce\" tra virgolette, poich\u00e9 usare l'interfaccia grafica per configurare reti client, SNAT e regole del firewall pu\u00f2 semplificare la gestione all'interno di un'unica interfaccia vSphere, ma a mio avviso \u00e8 piuttosto ingombrante e, tra l'altro, limita l'insieme di strumenti per il troubleshooting. Chi ha usato NSX ESG come sostituto di un \"vero\" firewall, probabilmente sar\u00e0 d'accordo. Anche se, forse, tale soluzione sarebbe stata pi\u00f9 stabile \u2014 poich\u00e9 tutto avviene all'interno di un unico fornitore.<\/p>\n

Un'altra soluzione consiste nell'utilizzare NSX DLR in modalit\u00e0 bridge tra VLAN e VXLAN. Qui credo sia tutto chiaro: si perde la convenienza dell'utilizzo di VXLAN, dato che in questo caso \u00e8 comunque necessario portare la VLAN all'installazione di monitoraggio. A proposito, nel corso dell'implementazione di questa soluzione, mi sono imbattuto in un problema in cui il bridge DLR non inviava pacchetti alla macchina virtuale con cui si trovava sulla stessa host. So, so \u2014 nei libri e nelle guide su NSX-V si afferma chiaramente che per NSX Edge deve essere dedicato un cluster separato, ma questo \u00e8 scritto nei libri... In ogni caso, dopo un paio di mesi con il supporto, non siamo riusciti a risolvere il problema. Fondamentalmente, ho compreso la logica: il modulo del kernel dell'iperamano responsabile dell'incapsulamento VXLAN non veniva attivato se DLR e il server monitorato si trovavano sulla stessa host, poich\u00e9 il traffico non lascia l'host e, logicamente, dovrebbe essere connesso al segmento VXLAN \u2014 l'incapsulamento non \u00e8 necessario. Con il supporto ci siamo concentrati sull'interfaccia virtuale vdrPort, che unisce logicamente gli uplink e funge anche da bridge\/incapsulamento \u2014 l\u00ec \u00e8 stata notata una discrepanza nel traffico in ingresso, che ho assunto per la lavorazione nel caso attuale. Ma come gi\u00e0 detto, non ho portato a termine questo caso, poich\u00e9 sono stato trasferito a un altro progetto e questa diramazione era inizialmente senza uscita e non avevo particolare voglia di svilupparla. Se non erro, il problema si \u00e8 manifestato nelle versioni NSX 6.1.4 e 6.2. <\/p>\n

E qui \u2014 bingo! Fortinet annuncia il supporto nativo per VXLAN<\/a><\/noindex>. E non semplicemente point-to-point o VXLAN-over-IPSec, n\u00e9 bridging software VLAN-VXLAN \u2014 tutto ci\u00f2 \u00e8 stato introdotto gi\u00e0 dalla versione 5.4 (ed \u00e8 presente anche in altri vendor<\/a><\/noindex>), \u0430 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0443\u044e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 unicast control plane. \u041f\u0440\u0438 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u044f \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0441\u044f \u0441 \u0435\u0449\u0435 \u043e\u0434\u043d\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439 \u2014 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u044b\u0435 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u0442\u043e \u00ab\u043f\u0440\u043e\u043f\u0430\u0434\u0430\u043b\u0438\u00bb \u0442\u043e \u043f\u043e\u044f\u0432\u043b\u044f\u043b\u0438\u0441\u044c \u0432 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0435, \u0445\u043e\u0442\u044f \u0441\u0430\u043c\u0430 \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u043a\u0430 \u0431\u044b\u043b\u0430 \u0436\u0438\u0432\u0430. \u041f\u0440\u0438\u0447\u0438\u043d\u043e\u0439 \u043a\u0430\u043a \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0431\u044b\u043b\u043e \u0442\u043e, \u0447\u0442\u043e \u044f \u0437\u0430\u0431\u044b\u043b \u0440\u0430\u0437\u0440\u0435\u0448\u0438\u0442\u044c Ping \u043d\u0430 VXLAN-\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u0435. \u0412 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0440\u0435\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u043a\u0438 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432, \u0432\u0438\u0440\u0442\u0443\u0430\u043b\u043a\u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0430\u043b\u0438\u0441\u044c, \u0430 Ping’\u043e\u043c \u0437\u0430\u0432\u0435\u0440\u0448\u0430\u043b\u0441\u044f vMotion, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u0442\u044c \u043d\u043e\u0432\u044b\u0439 ESXI \u0445\u043e\u0441\u0442, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u0441\u0442\u0438\u043b\u0430\u0441\u044c \u043c\u0430\u0448\u0438\u043d\u0430. \u0413\u043b\u0443\u043f\u043e\u0441\u0442\u044c \u043c\u043e\u044f, \u043d\u043e \u044d\u0442\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0435\u0449\u0435 \u0440\u0430\u0437 \u043f\u043e\u0434\u043e\u0440\u0432\u0430\u043b\u0430 \u0434\u043e\u0432\u0435\u0440\u0438\u0435 \u043a \u0441\u0430\u043f\u043f\u043e\u0440\u0442\u0443 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u0441\u044f \u2014 \u0432 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 Fortinet. \u042f \u0443\u0436 \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u044e, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u043a\u0435\u0439\u0441, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0439 \u0441 VXLAN \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0441 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u00ab\u0430 \u0433\u0434\u0435 \u0443 \u0432\u0430\u0441 \u0432 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u0445 \u0441\u043e\u0444\u0442\u0441\u0432\u0438\u0447 VLAN-VXLAN?\u00bb \u0412 \u044d\u0442\u043e\u0442 \u0440\u0430\u0437 \u043c\u043d\u0435 \u043f\u043e\u0441\u043e\u0432\u0435\u0442\u043e\u0432\u0430\u043b\u0438 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c MTU \u2014 \u044d\u0442\u043e \u0434\u043b\u044f Ping’\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 32 \u0431\u0430\u0439\u0442\u0430. \u041f\u043e\u0442\u043e\u043c \u00ab\u043f\u043e\u0438\u0433\u0440\u0430\u0439\u0441\u044f\u00bb \u0441 tcp-send-mss \u0438 tcp-receive-mss \u0432 \u043f\u043e\u043b\u0438\u0441\u0438 \u2014 \u0434\u043b\u044f VXLAN, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u043d\u043a\u0430\u043f\u0441\u0443\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432 UDP. \u0424\u0443\u0444, \u043f\u0440\u043e\u0441\u0442\u0438\u0442\u0435 \u2014 \u043d\u0430\u043a\u0438\u043f\u0435\u043b\u043e. \u0412 \u043e\u0431\u0449\u0435\u043c \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0440\u0435\u0448\u0438\u043b \u0441\u0432\u043e\u0438\u043c\u0438 \u0441\u0438\u043b\u0430\u043c\u0438. <\/p>\n

Dopo aver testato con successo il traffico, \u00e8 stato deciso di implementare questa soluzione. In produzione, per\u00f2, dopo uno o due giorni, tutto ci\u00f2 che veniva monitorato tramite VXLAN ha cominciato a disconnettersi gradualmente. Disattivare e riattivare l'interfaccia aiutava, ma solo temporaneamente. Conoscendo la lentezza del supporto del fornitore, mi sono occupato del troubleshooting dalla mia parte \u2014 dopotutto, la mia azienda, la mia rete \u2014 la mia responsabilit\u00e0. <\/p>\n

Sotto il spoiler, il processo di troubleshooting. Chi \u00e8 stanco di parole e vanti \u2014 salti e passi all'analisi posteriore.<\/p>\n

Processo di troubleshooting<\/b>Grazie per aver continuato a leggere \u2014 proseguiamo!<\/p>\n

Il monitoraggio funziona per un certo periodo, poi si disconnette da solo. Quindi, probabilmente non ci sono problemi nelle politiche del firewall. Tuttavia, avendo gi\u00e0 affrontato il problema dei processi di sistema bloccati nelle versioni 5.6+ di Fortigate, iniziamo con \"diagnose debug flow\" \u2014 ci aspettiamo che il traffico venga autorizzato e parta dall'interfaccia, con niente che arrivi come risposta. Dobbiamo quindi approfondire il problema. Purtroppo, dovremo nascondere gli indirizzi, anche se sono RFC1918, ma spero di fornire al processo una descrizione sufficiente per la comprensione. Il server all'interno di VXLAN ha l'indirizzo x.x.x.15, l'interfaccia di Fortigate x.x.x.254, tutti gli altri indirizzi appartengono alla rete VTEP.<\/p>\n

Per la corretta trasmissione dei pacchetti incapsulati in VXLAN \u00e8 necessario avere informazioni corrette in diverse tabelle. Per l'overlay si tratta di ARP e OVSDB, mentre per l'underlay \u00e8 ARP e CAM. Nel caso di Fortigate, VXLAN FDB \u00e8 OVSDB. Qui inizieremo:<\/p>\n

 fortigate (root) #diag sys vxlan fdb list vxlan-LS\nmac=00:50:56:8f:3f:5a state=0x0002 flags=0x00 remote_ip=y.y.y.47 port=4789 vni=5008 ifindex=7\n<\/code><\/pre>\n
\nQui tutto \u00e8 piuttosto semplice: l'indirizzo MAC della macchina virtuale deve trovarsi sul VTEP con l'indirizzo u.u.u.47. Controllando il contenuto e le impostazioni del cluster ESXi, confermo che l'indirizzo MAC della macchina virtuale \u00e8 corretto e che anche l'indirizzo VTEP lo \u00e8. Controllo la tabella CAM\/ARP sul Fortigate e di nuovo tutto corrisponde alle impostazioni dell'host ESXi:<\/p>\n
fortigate (root) #get sys arp | grep u.u.u.47\nu.u.u.47 0 00:50:56:65:f6:2c dmz\n<\/code><\/pre>\n
\n\u0422\u0430\u0431\u043b\u0438\u0446\u044b \u0432\u0435\u0440\u043d\u044b \u0438 \u0442\u0440\u0430\u0444\u0438\u043a \u0443\u0445\u043e\u0434\u0438\u0442 \u2014 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043d\u0435 \u043d\u0430 \u0444\u043e\u0440\u0442\u0438\u0433\u0435\u0439\u0442\u0435? \u042f \u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u043e \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u043b \u0430\u043d\u0430\u043b\u0438\u0437 \u043a\u043e\u043c\u043c\u0443\u0442\u0430\u0446\u0438\u0438 \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u043d\u0430 Juniper’\u0435 \u2014 \u043f\u043e \u043b\u043e\u0433\u0438\u043a\u0435 \u044d\u0442\u043e \u043d\u0430 \u043d\u0451\u043c \u043d\u0430\u0434\u043e \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0448\u0430\u0433 \u0442\u0440\u0430\u0431\u043b\u0448\u0443\u0442\u0438\u043d\u0433\u0430, \u043d\u043e \u0441\u0435\u0442\u044c \u0443 \u043c\u0435\u043d\u044f \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u2014 \u0432\u0441\u0435\u0433\u043e \u043e\u0434\u0438\u043d VLAN \u0434\u043b\u044f VTEP \u0438 \u0432\u0441\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u044b \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e. \u041f\u043b\u044e\u0441 \u0432\u0441\u043f\u043e\u043c\u0438\u043d\u0430\u044e \u043a\u0435\u0439\u0441 \u0441 DLR-\u0431\u0440\u0438\u0434\u0436\u0435\u043c, VDR \u0438 \u043f\u0440\u043e\u043f\u0430\u0434\u0430\u044e\u0449\u0435\u043c \u0442\u0440\u0430\u0444\u0438\u043a\u0435 \u2014 \u0438\u0434\u0443 \u0441\u043d\u0438\u0444\u0438\u0442\u044c \u043d\u0430 ESXI \u0445\u043e\u0441\u0442, \u043f\u043e\u043f\u0443\u0442\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u044e \u043a\u0435\u0439\u0441 \u0443\u0436\u0435 \u043a VMWare. \u041d\u0438\u0436\u0435 MAC \u00ab97:6e\u00bb \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0438\u0442 \u0444\u043e\u0440\u0442\u0438\u043a\u0443, vmnic1 \u2014 \u044d\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u043c\u0435\u0435\u0442 VTEP \u0441 \u0430\u0434\u0440\u0435\u0441\u043e\u043c \u0443.\u0443.\u0443.47 \u0441\u043d\u0438\u0444\u0438\u043c \u0432 \u043e\u0431\u043e\u0438\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u0445 "—dir 2":<\/p>\n
pktcap-uw --uplink vmnic1 --vni 5008 --mac 90:6c:ac:a9:97:6e --dir 2 -o \/tmp\/monitor.pcap\n<\/code><\/pre>\n
\n\"VXLAN
\n
\nHo visto il progresso: nel sniffing vedo la richiesta ARP e la risposta che arriva. Riporto solo la risposta ARP, ed \u00e8 tutto corretto. Non l'ho menzionato, ma per tutto questo tempo il server di monitoraggio ha pingato l'indirizzo x.x.x.15: dove si trova il traffico ICMP? Ricordo che ho due uplink. Qui si pu\u00f2 discutere e dire che la porta virtuale di origine \u00e8 la stessa (la mia politica di teaming), quindi per la stessa vNIC dovrebbe essere scelto lo stesso uplink, ma dal momento che sono sull'host, controllare un altro uplink non \u00e8 un problema:<\/p>\n
pktcap-uw --uplink vmnic4 --vni 5008 --mac 90:6c:ac:a9:97:6e --dir 2 -o \/tmp\/monitor.pcap\n<\/code><\/pre>\n
\n\"VXLAN
\n
\nRicevo richieste dal FortiGate, ma non ci sono risposte. Quindi il problema non \u00e8 nel FortiGate. Bene, penso: di nuovo la stessa questione con il traffico che scompare su VDR, di nuovo un paio di mesi a indirizzare il caso nel giusto verso. Dopo un paio di giorni, calmandomi e non volendo rassegnarmi a questo stallo, ho deciso di scavare ancora di pi\u00f9 negli sniffing per il supporto, per accelerare il processo. E qui, il mio sguardo \u2018casualmente\u2019 cade sull'incapsulamento Ethernet dell'underlay. Il re non \u00e8 reale e l'indirizzo MAC VTEP non coincide con il suo IP. Ripristino tutto a zero, faccio sniffing, scavo: esatto che non \u00e8 corretto. Riporter\u00f2 la tabella ARP accanto, per facilitare il confronto. Presta attenzione al primo incapsulamento Ethernet nell'immagine in alto:<\/p>\n
fortigate (root) #get sys arp | grep x.x.x.47\nx.x.x.47 0 00:50:56:65:f6:2c dmz\nfortigate (root) #get sys arp | grep x.x.x.42\nx.x.x.42 0 00:50:56:6a:78:86 dmz\n<\/code><\/pre>\n
\nQuindi, cosa abbiamo alla fine? Dopo la migrazione della macchina virtuale, Fortigate prova a inviare traffico al VTEP dalla corretta VXLAN FDB, ma utilizza un DST MAC errato e il traffico viene prevedibilmente scartato dall'interfaccia del hypervisor che lo riceve. In un caso su quattro, questo MAC apparteneva all'originale hypervisor da cui \u00e8 iniziata la migrazione della macchina.<\/p>\n
Ieri ho ricevuto un'email dal supporto tecnico di Fortinet: \u00e8 stato aperto un bug 615586 per il mio caso. Non so se rallegrarmi o rattristarmi: da un lato, il problema non riguarda le impostazioni, dall'altro, la correzione arriver\u00e0 solo con l'aggiornamento del firmware, nella migliore delle ipotesi, il prossimo. Inoltre, la mia autostima \u00e8 alimentata da un altro bug che ho scoperto il mese scorso, peraltro questa volta nell'HTML5 GUI di vSphere. \u00c8 proprio un mini dipartimento QA dei fornitori...<\/p>\n
Mi permetto di azzardare la seguente ipotesi:<\/p>\n
1 \u2014 il piano di controllo multicast probabilmente non sar\u00e0 soggetto al problema descritto, poich\u00e9 gli indirizzi MAC del VTEP sono derivati dall'indirizzo IP del gruppo a cui \u00e8 iscritta l'interfaccia. <\/p>\n
2 \u2014 probabilmente il problema \u00e8 legato all'overflow delle sessioni sul Network Processor (simile a CEF) \u2014 se si fa passare ciascun pacchetto attraverso la CPU, verranno utilizzate tabelle contenenti le informazioni corrette \u2014 almeno visivamente. A favore di questa ipotesi c'\u00e8 il fatto che aiuta a chiudere\/aprire l'interfaccia o a attendere un po' di tempo \u2014 pi\u00f9 di 5 minuti. <\/p>\n
3 \u2014 cambiare la policy di teaming, ad esempio in explicit failover, o implementare LAG non risolver\u00e0 il problema, poich\u00e9 \u00e8 stato osservato un 'blocco' del MAC dell'ipervisore originale nei pacchetti incapsulati.<\/p>\n
In questo contesto posso condividere che recentemente ho scoperto un blog<\/a><\/noindex>, dove in uno degli articoli si sostiene che i firewall stateful e i metodi di trasmissione dei dati memorizzabili sono degli espedienti. Bene, non ho abbastanza esperienza in IT per affermare ci\u00f2, e per di pi\u00f9 non concordo subito con tutte le affermazioni degli articoli del blog. Tuttavia, qualcosa mi dice che c'\u00e8 del vero nelle parole di Ivan.<\/p>\n
Grazie per l'attenzione! Sar\u00f2 felice di rispondere alle domande e di ascoltare critiche costruttive.
\n
Fonte: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
\u041f\u0440\u0438\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e, \u0438 \u0441\u043f\u0435\u0440\u0432\u0430 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043b\u0438\u0440\u0438\u043a\u0438. \u042f \u0438\u043d\u043e\u0433\u0434\u0430 \u0437\u0430\u0432\u0438\u0434\u0443\u044e \u043a\u043e\u043b\u043b\u0435\u0433\u0430\u043c, \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u043c \u0443\u0434\u0430\u043b\u0451\u043d\u043d\u043e \u2014 \u0432\u0435\u0434\u044c \u044d\u0442\u043e \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u0438\u043c\u0435\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0438\u0437 \u043b\u044e\u0431\u043e\u0433\u043e \u043a\u043e\u043d\u0446\u0430 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u043e\u0433\u043e \u043a Internet \u043c\u0438\u0440\u0430, \u043a\u0430\u043d\u0438\u043a\u0443\u043b\u044b \u0432 \u043b\u044e\u0431\u043e\u0435 \u0432\u0440\u0435\u043c\u044f, \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0437\u0430 \u043f\u0440\u043e\u0435\u043a\u0442\u044b \u0438 \u0434\u0435\u0434\u043b\u0430\u0439\u043d\u044b, \u0430 \u043d\u0435 \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0432 \u043e\u0444\u0438\u0441\u0435 \u0441 8 \u0434\u043e 17. \u041c\u043e\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u0438 \u0440\u0430\u0431\u043e\u0447\u0438\u0435 \u043e\u0431\u044f\u0437\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u043e\u043b\u0433\u043e\u0433\u043e \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u044f \u0432 \u0434\u0430\u0442\u0430\u0446\u0435\u043d\u0442\u0440\u0435. […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":73233,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-73232","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47VXLAN in NSX-V \u2014 risolviamo i problemi dell'underlay | ProHoster","description":"Salve, e innanzitutto un po' di liriche. A volte invidio i colleghi che lavorano da remoto: \u00e8 meraviglioso poter lavorare da qualsiasi angolo del mondo connesso a Internet, prendersi una pausa quando si desidera, avere responsabilit\u00e0 per progetti e scadenze, piuttosto che trovarsi in ufficio dalle 8 alle 17. La mia posizione e i miei compiti lavorativi escludono praticamente la possibilit\u00e0 di una lunga assenza dal data center.","canonical_url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/vxlan-v-nsx-v-trablshutim-underlay","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"it_IT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47VXLAN \u0432 NSX-V \u2014 \u0442\u0440\u0430\u0431\u043b\u0448\u0443\u0442\u0438\u043c underlay | ProHoster","og:description":"\u041f\u0440\u0438\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e, \u0438 \u0441\u043f\u0435\u0440\u0432\u0430 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043b\u0438\u0440\u0438\u043a\u0438. \u042f \u0438\u043d\u043e\u0433\u0434\u0430 \u0437\u0430\u0432\u0438\u0434\u0443\u044e \u043a\u043e\u043b\u043b\u0435\u0433\u0430\u043c, \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u043c \u0443\u0434\u0430\u043b\u0451\u043d\u043d\u043e \u2014 \u0432\u0435\u0434\u044c \u044d\u0442\u043e \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u0438\u043c\u0435\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0438\u0437 \u043b\u044e\u0431\u043e\u0433\u043e \u043a\u043e\u043d\u0446\u0430 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u043e\u0433\u043e \u043a Internet \u043c\u0438\u0440\u0430, \u043a\u0430\u043d\u0438\u043a\u0443\u043b\u044b \u0432 \u043b\u044e\u0431\u043e\u0435 \u0432\u0440\u0435\u043c\u044f, \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0437\u0430 \u043f\u0440\u043e\u0435\u043a\u0442\u044b \u0438 \u0434\u0435\u0434\u043b\u0430\u0439\u043d\u044b, \u0430 \u043d\u0435 \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0432 \u043e\u0444\u0438\u0441\u0435 \u0441 8 \u0434\u043e 17. \u041c\u043e\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u0438 \u0440\u0430\u0431\u043e\u0447\u0438\u0435 \u043e\u0431\u044f\u0437\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u043e\u043b\u0433\u043e\u0433\u043e \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u044f \u0432 \u0434\u0430\u0442\u0430\u0446\u0435\u043d\u0442\u0440\u0435.","og:url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/vxlan-v-nsx-v-trablshutim-underlay","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-03-08T05:42:18+00:00","article:modified_time":"2020-03-08T05:42:18+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"73232","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 18:36:23","updated":"2022-09-27 15:26:08"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/73232","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/comments?post=73232"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/73232\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media\/73233"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media?parent=73232"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/categories?post=73232"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/tags?post=73232"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}