Intelligenter Ethernet-Switch für den Planeten Erde

„Es gibt mehrere Möglichkeiten, eine Lösung zu schaffen (ein Problem zu lösen), aber der teuerste und/oder beliebteste Weg ist nicht immer der effektivste!“

Präambel

Vor etwa drei Jahren stieß ich bei der Entwicklung eines Remote-Modells zur Notfallwiederherstellung auf ein Hindernis, das nicht sofort bemerkt wurde: einen Mangel an Informationen über neue Originallösungen zur Netzwerkvirtualisierung in Community-Quellen. 

Der Algorithmus des entwickelten Modells war wie folgt geplant: 

1. Ein Remote-Benutzer, der mich kontaktiert hat und dessen Computer sich einmal mit der Meldung „Systemfestplatte nicht erkannt/nicht formatiert“ nicht starten ließ, startet ihn über einen USB-Stick. 
2. Während des Bootvorgangs verbindet sich das System automatisch mit einem sicheren privaten lokalen Netzwerk, das neben dem System selbst auch die Workstation des Administrators, in diesem Fall ein Laptop, und einen NAS-Knoten enthält. 
3. Dann verbinde ich mich – entweder um Festplattenpartitionen wiederzubeleben oder um Daten daraus zu extrahieren.

Zunächst habe ich dieses Modell mithilfe eines VPN-Servers auf einem lokalen Router in einem Netzwerk unter meiner Kontrolle und dann auf einem gemieteten VDS implementiert. Doch wie so oft und gemäß Chisholms erstem Gesetz kommt es bei Regen zu einem Netzwerkausfall des Internetanbieters oder zu Streitigkeiten zwischen Unternehmen, und die Energie des Dienstanbieters verschwindet ...

Daher habe ich mich entschlossen, zunächst die grundlegenden Anforderungen zu formulieren, die das erforderliche Werkzeug erfüllen muss. Das erste ist die Dezentralisierung. Zweitens, wenn man bedenkt, dass ich mehrere solcher Life-USBs habe, verfügt jeder von ihnen über ein separates isoliertes Netzwerk. Und drittens: eine schnelle Anbindung verschiedener Geräte an das Netzwerk und deren einfache Verwaltung, auch für den Fall, dass mein Laptop ebenfalls dem oben genannten Gesetz zum Opfer fällt.

Auf dieser Grundlage und nachdem ich zweieinhalb Monate mit der praktischen Recherche mehrerer nicht sehr geeigneter Optionen verbracht hatte, beschloss ich auf eigenes Risiko, ein anderes Tool eines mir damals unbekannten Startups namens ZeroTier auszuprobieren. Was ich später nie bereut habe.

Um herauszufinden, ob sich die inhaltliche Situation seit diesem denkwürdigen Moment geändert hat, habe ich während dieser Neujahrsfeiertage eine selektive Prüfung von Artikeln zu diesem Thema durchgeführt und dabei Habr als Quelle verwendet. Für die Suchanfrage „ZeroTier“ gibt es in den Suchergebnissen nur drei Artikel, die es erwähnen, und nicht einen einzigen mit auch nur einer kurzen Beschreibung. Und das, obwohl sich darunter auch die Übersetzung eines Artikels befindet, den der Gründer von ZeroTier, Inc. selbst verfasst hat. — Adam Ierymenko.

Die Ergebnisse waren enttäuschend und veranlassten mich, ausführlicher über ZeroTier zu sprechen, um modernen „Suchern“ den gleichen Weg wie mir zu ersparen.

Also, was bist du?

Der Entwickler positioniert ZeroTier als intelligenten Ethernet-Switch für den Planeten Erde. 

„Es handelt sich um einen verteilten Netzwerk-Hypervisor, der auf einem kryptografisch sicheren globalen Peer-to-Peer-Netzwerk (P2P) aufbaut. Ein SDN-Tool ähnlich einem Enterprise-Switch, das virtuelle Netzwerke auf physischen Netzwerken ermöglicht, sowohl lokale als auch globale, mit der Möglichkeit, praktisch jede Anwendung oder jedes Gerät zu verbinden.“

Dies ist eher eine Marketingbeschreibung, nun zu den technologischen Merkmalen.

▍Kern: 

Der ZeroTier-Netzwerk-Hypervisor ist eine eigenständige Netzwerkvirtualisierungs-Engine, die ein Ethernet-Netzwerk, ähnlich wie VXLAN, auf einem globalen verschlüsselten Peer-to-Peer-Netzwerk (P2P) emuliert.

Die in ZeroTier verwendeten Protokolle sind originell, ähneln jedoch in ihrer Erscheinung VXLAN und IPSec und bestehen aus zwei konzeptionell getrennten, aber eng verwandten Schichten: VL1 und VL2.

→ Link zur Dokumentation

▍VL1 ist eine grundlegende Peer-to-Peer-Transportschicht (P2P), eine Art „virtuelles Kabel“.

„Ein globales Rechenzentrum erfordert einen ‚globalen Schrank‘ voller Kabel.“

In herkömmlichen Netzwerken bezieht sich L1 (OSI-Schicht 1) auf die eigentlichen Kabel oder drahtlosen Funkkanäle, die Daten übertragen, und die physischen Chips in den Sende-/Empfangsgeräten, die diese modulieren und demodulieren. VL1 ist ein Peer-to-Peer-Netzwerk (P2P), das dasselbe tut und Verschlüsselung, Authentifizierung und andere Netzwerktricks verwendet, um virtuelle Kabel nach Bedarf zu organisieren.

Darüber hinaus geschieht dies automatisch, schnell und ohne dass der Benutzer einen neuen ZeroTier-Knoten starten muss.

Um dies zu erreichen, ist VL1 ähnlich wie das Domain Name System organisiert. Den Kern des Netzwerks bildet eine Gruppe hochverfügbarer Root-Server, deren Rolle der von DNS-Root-Nameservern ähnelt. Derzeit werden die wichtigsten (planetaren) Root-Server vom Entwickler ZeroTier, Inc. verwaltet und als kostenloser Dienst bereitgestellt. 

Es ist jedoch möglich, benutzerdefinierte Root-Server (LUNs) zu erstellen, die Folgendes ermöglichen:

• Verringerung der Abhängigkeit von der Infrastruktur von ZeroTier, Inc.; Link zur Dokumentation
• Verbessern Sie die Produktivität, indem Sie Verzögerungen minimieren. 
• funktioniert weiterhin wie gewohnt, wenn Ihre Internetverbindung verloren geht.

Zunächst werden Knoten ohne direkte Verbindung zueinander gestartet. 

Jeder Peer auf VL1 verfügt über eine eindeutige 40-Bit-ZeroTier-Adresse (10 Hexadezimalziffern), die im Gegensatz zu IP-Adressen eine verschlüsselte Kennung ist, die keine Routing-Informationen enthält. Diese Adresse wird aus dem öffentlichen Teil des öffentlichen/privaten Schlüsselpaars berechnet. Die Adresse, der öffentliche Schlüssel und der private Schlüssel eines Knotens bilden zusammen seine Identität.

Member ID: df56c5621c  
            |
            ZeroTier address of node

Was die Verschlüsselung betrifft, ist dies ein Grund für einen separaten Artikel.

→ Link zur Dokumentation

Um eine Kommunikation herzustellen, senden Peers zunächst Pakete „nach oben“ in den Stammserverbaum und initiieren auf ihrem Weg durch das Netzwerk die zufällige Erstellung direkter Verbindungen. Der Baum versucht ständig, sich selbst „zusammenzubrechen“, um sich für die gespeicherte Routenkarte zu optimieren.

Der Mechanismus zum Herstellen einer Peer-to-Peer-Verbindung ist wie folgt:

1. Knoten A möchte ein Paket an Knoten B senden, da er aber den direkten Pfad nicht kennt, sendet er es stromaufwärts an Knoten R (Moon, den Root-Server des Benutzers).
2. Wenn Knoten R eine direkte Verbindung zu Knoten B hat, leitet er das Paket dorthin weiter. Andernfalls sendet es das Paket stromaufwärts, bis es die Planetenwurzeln erreicht. Die Planetenwurzeln kennen alle Knoten, sodass das Paket schließlich Knoten B erreicht, wenn es online ist.
3. Knoten R sendet außerdem eine als Rendezvous bezeichnete Nachricht an Knoten A, die Hinweise dazu enthält, wie er Knoten B erreichen kann. In der Zwischenzeit sendet der Root-Server, der das Paket an Knoten B weiterleitet, ein Rendezvous, das ihm mitteilt, wie er Knoten A erreichen kann.
4. Die Knoten A und B empfangen ihre Rendezvous-Nachrichten und versuchen, einander Testnachrichten zu senden. Dabei versuchen sie, alle auf dem Weg angetroffenen NATs oder Stateful Firewalls zu „durchbrechen“. Wenn dies funktioniert, wird eine direkte Verbindung hergestellt und Pakete reisen nicht mehr „durch die Gärten“.

Wenn keine direkte Verbindung hergestellt werden kann, wird die Kommunikation über das Relay fortgesetzt und es werden so lange Versuche unternommen, eine direkte Verbindung herzustellen, bis ein positives Ergebnis erzielt wird. 

VL1 verfügt außerdem über weitere Funktionen zum Herstellen einer direkten Konnektivität, darunter LAN-Peer-Erkennung, Portvorhersage für symmetrisches IPv4-NAT-Traversal und explizites Port-Mapping mithilfe von uPnP und/oder NAT-PMP, sofern im lokalen physischen LAN verfügbar.

→ Link zur Dokumentation

▍VL2 ist ein VXLAN-ähnliches Ethernet-Netzwerkvirtualisierungsprotokoll mit SDN-Verwaltungsfunktionen. Vertraute Kommunikationsumgebung für Betriebssystem und Anwendungen …

Anders als bei VL1 erfordert das Erstellen von VL2-Netzwerken (VLANs), das Verbinden von Knoten mit ihnen sowie deren Verwaltung die direkte Beteiligung des Benutzers. Dies kann er mit Hilfe eines Netzwerkcontrollers tun. Im Wesentlichen handelt es sich um einen regulären ZeroTier-Knoten, bei dem die Controllerfunktionen auf zwei Arten gesteuert werden: entweder direkt durch Ändern von Dateien oder, wie der Entwickler dringend empfiehlt, mithilfe der veröffentlichten API. 

Diese Methode zur Verwaltung virtueller ZeroTier-Netzwerke ist für den durchschnittlichen Benutzer nicht sehr praktisch, daher gibt es mehrere GUIs:
 

• Eines vom Entwickler ZeroTier, verfügbar als Public-Cloud-SaaS-Lösung mit vier Abonnementplänen, darunter kostenlos, aber begrenzt in der Anzahl der verwalteten Geräte und im Support-Level
• Die zweite stammt von einem unabhängigen Entwickler, ist in der Funktionalität etwas vereinfacht, aber als private Open-Source-Lösung für die Verwendung vor Ort oder auf Cloud-Ressourcen verfügbar.

Die VL2-Schicht wird über VL1 implementiert und von dieser transportiert. Dabei übernimmt es die VL1-Endpunktverschlüsselung und -authentifizierung und verwendet seine asymmetrischen Schlüssel zum Signieren und Überprüfen von Anmeldeinformationen. VL1 ermöglicht die Implementierung von VL2 ohne Rücksicht auf die vorhandene physische Netzwerktopologie. Das heißt, Probleme mit der Konnektivität und der Routing-Effizienz sind Aufgaben auf VL1-Ebene. Es ist wichtig zu verstehen, dass zwischen virtuellen VL2-Netzwerken und VL1-Pfaden keine Verbindung besteht. Ähnlich wie beim VLAN-Multiplexing in einem kabelgebundenen LAN verfügen zwei Knoten, die mehrere Netzwerkmitgliedschaften gemeinsam nutzen, weiterhin nur über einen VL1-Pfad (virtuelles Kabel) zwischen sich.

Jedes VL2-Netzwerk (VLAN) wird durch eine 64-Bit-ZeroTier-Netzwerkadresse (16 Hexadezimalziffern) identifiziert, die die 40-Bit-ZeroTier-Adresse des Controllers und eine 24-Bit-Nummer enthält, die das von diesem Controller erstellte Netzwerk identifiziert.

Network ID: 8056c2e21c123456
            |         |
            |         Network number on controller
            |
            ZeroTier address of controller

Wenn ein Knoten einem Netzwerk beitritt oder eine Aktualisierung der Netzwerkkonfiguration anfordert, sendet er eine Netzwerkkonfigurationsanforderungsnachricht (über VL1) an den Netzwerkcontroller. Der Controller verwendet dann die VL1-Adresse des Knotens, um ihn im Netzwerk zu lokalisieren und ihm die entsprechenden Zertifikate, Anmeldeinformationen und Konfigurationsinformationen zu senden. Aus der Perspektive eines virtuellen VL2-Netzwerks können ZeroTier-VL1-Adressen als Portnummern auf einem riesigen virtuellen Switch im globalen Maßstab betrachtet werden.

Alle Anmeldeinformationen, die von Netzwerkcontrollern an Knoten ausgegeben werden, die an einem bestimmten Netzwerk teilnehmen, werden mit dem geheimen Schlüssel des Controllers signiert, sodass alle Netzwerkteilnehmer sie überprüfen können. Die Anmeldeinformationen verfügen über vom Controller generierte Zeitstempel, die relative Vergleiche ermöglichen, ohne auf die lokale Systemuhr des Knotens zugreifen zu müssen. 

Anmeldeinformationen werden nur an ihre Besitzer ausgegeben und dann an Peers gesendet, die Daten mit anderen Knoten im Netzwerk austauschen möchten. Dadurch kann das Netzwerk auf enorme Größen skaliert werden, ohne dass große Mengen an Anmeldeinformationen auf Knoten zwischengespeichert oder ständig Kontakt mit dem Netzwerkcontroller aufgenommen werden müssen.

ZeroTier-Netzwerke unterstützen Multicasting über ein einfaches Publish/Subscribe-System.

→ Link zur Dokumentation

Wenn ein Knoten einen Multicast für eine bestimmte Broadcast-Gruppe empfangen möchte, gibt er seine Mitgliedschaft in dieser Gruppe gegenüber anderen Mitgliedern des Netzwerks, mit dem er kommuniziert, und gegenüber dem Netzwerkcontroller bekannt. Wenn ein Knoten einen Multicast senden möchte, konsultiert er gleichzeitig seinen Cache der letzten Veröffentlichungen und fordert regelmäßig zusätzliche Veröffentlichungen an.

Ein Broadcast (Ethernet ff:ff:ff:ff:ff:ff) wird als Multicast-Gruppe behandelt, der alle Teilnehmer beitreten. Es kann auf Netzwerkebene deaktiviert werden, um den Datenverkehr zu reduzieren, wenn es nicht benötigt wird. 

ZeroTier emuliert einen echten Ethernet-Switch. Diese Tatsache ermöglicht die Durchführung Kombinieren erstellter virtueller Netzwerke mit anderen Ethernet-Netzwerken (kabelgebundenes lokales Netzwerk, WLAN, virtuelle Backplane usw.) auf Datenverbindungsebene – mithilfe einer normalen Ethernet-Brücke.

Um als Brücke zu fungieren, muss ein Netzwerkcontroller einen Netzwerkknoten als solche kennzeichnen. Dieses Schema wird aus Sicherheitsgründen implementiert, da es normalen Netzwerkknoten nicht gestattet ist, Datenverkehr von einer anderen Quelle als ihrer MAC-Adresse zu senden. Als Bridges bezeichnete Knoten verwenden außerdem einen speziellen Multicast-Algorithmusmodus, der beim Gruppieren von Abonnements aggressiver und gezielter mit ihnen interagiert und den gesamten Broadcast-Verkehr und alle ARP-Anfragen repliziert. 

Der Switch verfügt außerdem über die Möglichkeit, öffentliche und Ad-hoc-Netzwerke zu erstellen, einen QoS-Mechanismus und einen Netzwerkregel-Editor.

▍Knoten:

ZeroTier One ist ein Dienst, der auf Laptops, Desktops, Servern, virtuellen Maschinen und Containern ausgeführt wird und über einen virtuellen Netzwerkport Verbindungen zu einem virtuellen Netzwerk bereitstellt, ähnlich einem VPN-Client. 

Sobald der Dienst installiert und gestartet ist, können Sie über deren 16-stellige Adressen eine Verbindung zu virtuellen Netzwerken herstellen. Jedes Netzwerk erscheint als virtueller Netzwerkport im System, der sich wie ein normaler Ethernet-Port verhält.

ZeroTier One ist derzeit für die folgenden Betriebssysteme und Systeme verfügbar.

Betriebssysteme:

• Microsoft Windows — MSI-Installer x86/x64
• MacOS — PKG-Installer
• apple iOS — App Store
• Android - Spielladen
• Linux — DEB/RPM
• FreeBSD — FreeBSD-Paket

NAS:

• Synology NAS
• QNAP NAS
• WD MyCloud NAS

Andere:

• Docker — Docker-Datei
• OpenWRT — Gemeinschaftshafen
• App-Einbettung — SDK (libzt)

Zusammenfassend würde ich sagen, dass ZeroTier ein großartiges und schnelles Tool ist, um Ihre physischen, virtuellen oder Cloud-Ressourcen in einem gemeinsamen lokalen Netzwerk zu kombinieren, mit der Möglichkeit, es in VLANs aufzuteilen, und ohne einen einzelnen Ausfallpunkt.

Das ist wahrscheinlich alles zum theoretischen Teil im Format des ersten Artikels über ZeroTier für Habr! Im nächsten Artikel möchte ich die Erstellung einer virtuellen Netzwerkinfrastruktur auf Basis von ZeroTier in der Praxis demonstrieren, wobei ein VDS mit einer privaten Open-Source-GUI-Vorlage als Netzwerkcontroller verwendet wird. 

Liebe Leser! Verwenden Sie in Ihren Projekten die ZeroTier-Technologie? Wenn nicht, welche Tools verwenden Sie, um Ihre Ressourcen in einem gemeinsamen Netzwerk zu verbinden?

Source: habr.com