Интелигентен Ethernet комутатор за планетата Земя

„Можете да създадете решение (да решите проблем) по няколко начина, но най-скъпият и/или популярен метод не винаги е най-ефективният!“

предисловие

Преди около три години, в процеса на разработване на дистанционен модел за възстановяване на данни при бедствия, срещнах едно препятствие, което не беше забелязано веднага - липсата на информация за нови оригинални решения за мрежова виртуализация в източници на общността. 

Алгоритъмът за разработения модел е планиран, както следва: 

1. Отдалечен потребител, който се свърза с мен, чийто компютър веднъж отказа да стартира, показвайки съобщението „системен диск не е открит/неформатиран“, го зарежда с помощта на life USB. 
2. По време на процеса на зареждане системата автоматично се свързва към защитена частна локална мрежа, която освен себе си съдържа работна станция на администратора, в този случай лаптоп, и NAS възел. 
3. След това се свързвам - или за реанимация на дяловете на диска, или за извличане на данни от там.

Първоначално внедрих този модел с помощта на VPN сървър на локален рутер в мрежа под мой контрол, след това на нает VDS. Но, както често се случва и според първия закон на Chisholm, ако вали, мрежата на интернет доставчика ще спре, тогава спорове между бизнес субекти ще накарат доставчика на услуги да загуби „енергия“...

Затова реших първо да формулирам основните изисквания, на които трябва да отговаря необходимият инструмент. Първият е децентрализацията. Второ, при положение, че имам няколко такива life USB-та, всяко от тях има отделна изолирана мрежа. Е, трето, бързо свързване към мрежата на различни устройства и лесно управление на тях, включително в случай, че моят лаптоп също стане жертва на горепосочения закон.

Въз основа на това и след като прекарах два месеца и половина в практическо проучване на няколко не много подходящи опции, аз, на свой собствен риск и риск, реших да опитам друг инструмент от непознат за мен стартиращ по това време, наречен ZeroTier. За което никога не съжалявах по-късно.

По време на тези новогодишни празници, опитвайки се да разбера дали ситуацията със съдържанието се е променила от този незабравим момент, проведох селективен одит за наличието на статии по тази тема, използвайки Habr като източник. За заявката „ZeroTier“ в резултатите от търсенето има само три статии, които я споменават, и нито една с поне кратко описание. И това въпреки факта, че сред тях има превод на статия, написана от самия основател на ZeroTier, Inc. — Адам Йерименко.

Резултатите бяха разочароващи и ме подтикнаха да започна да говоря за ZeroTier по-подробно, спестявайки съвременните „търсачи“ от необходимостта да вървят по същия път, по който поех аз.

И така, какво си ти?

Разработчикът позиционира ZeroTier като интелигентен Ethernet комутатор за планетата Земя. 

„Това е хипервайзор на разпределена мрежа, изграден върху криптографски защитена глобална peer-to-peer (P2P) мрежа. Инструмент, подобен на корпоративен SDN комутатор, предназначен да организира виртуални мрежи върху физически, както локални, така и глобални, с възможност за свързване на почти всяко приложение или устройство.“

Това е по-скоро маркетингово описание, сега за технологичните характеристики.

▍Ядро: 

ZeroTier Network Hypervisor е самостоятелен двигател за мрежова виртуализация, който емулира Ethernet мрежа, подобна на VXLAN, върху глобална криптирана peer-to-peer (P2P) мрежа.

Протоколите, използвани в ZeroTier, са оригинални, макар и подобни на външен вид на VXLAN и IPSec и се състоят от два концептуално отделни, но тясно свързани слоя: VL1 и VL2.

→ Линк към документация

▍VL1 е основен транспортен слой peer-to-peer (P2P), вид „виртуален кабел“.

„Глобален център за данни изисква „глобален гардероб“ от кабели.“

В конвенционалните мрежи L1 (OSI слой 1) се отнася до действителните кабели или безжични радиостанции, които пренасят данни, и физическите чипове на приемо-предавателното устройство, които ги модулират и демодулират. VL1 е peer-to-peer (P2P) мрежа, която прави същото, като използва криптиране, удостоверяване и други мрежови трикове, за да организира виртуални кабели според нуждите.

Освен това той прави това автоматично, бързо и без участието на потребителя, който стартира нов ZeroTier възел.

За да се постигне това, VL1 е организиран подобно на системата за имена на домейни. В сърцето на мрежата е група от високодостъпни основни сървъри, чиято роля е подобна на тази на DNS основните сървъри за имена. В момента основните (планетарни) root сървъри са под контрола на разработчика - ZeroTier, Inc. и се предоставят като безплатна услуга. 

Въпреки това е възможно да създадете персонализирани главни сървъри (luns), които ви позволяват да:

• намаляване на зависимостта от инфраструктурата на ZeroTier, Inc.; Линк към документация
• увеличаване на производителността чрез минимизиране на закъсненията; 
• продължете да работите както обикновено, ако интернет връзката бъде прекъсната.

Първоначално възлите се стартират без директни връзки помежду си. 

Всеки партньор на VL1 има уникален 40-битов (10 шестнадесетичен) ZeroTier адрес, който, за разлика от IP адресите, е криптиран идентификатор, който не съдържа информация за маршрутизиране. Този адрес се изчислява от публичната част на двойката публичен/личен ключ. Адресът на възел, публичният ключ и частният ключ заедно формират неговата идентичност.

Member ID: df56c5621c  
            |
            ZeroTier address of node

Що се отнася до криптирането, това е повод за отделна статия.

→ Линк към документация

За да установят комуникация, партньорите първо изпращат пакети „нагоре“ в дървото на основните сървъри и докато тези пакети пътуват през мрежата, те инициират произволно създаване на препращащи канали по пътя. Дървото непрекъснато се опитва да „се срине от само себе си“, за да се оптимизира за картата на маршрута, която съхранява.

Механизмът за установяване на peer-to-peer връзка е както следва:

1. Възел A иска да изпрати пакет до възел B, но тъй като не знае директния път, той го изпраща нагоре по веригата до възел R (moon, основният сървър на потребителя).
2. Ако възел R има директна връзка с възел B, той препраща пакета там. В противен случай той изпраща пакета нагоре, преди да достигне до планетарните корени.Планетарните корени знаят за всички възли, така че пакетът в крайна сметка ще достигне до възел B, ако е онлайн.
3. Възел R също изпраща съобщение, наречено „среща“ до възел А, съдържащо подсказки как може да достигне до възел Б. Междувременно основният сървър, който препраща пакета към възел Б, изпраща „среща“, информирайки го за това как може достигнете възел А.
4. Възли A и B получават своите съобщения за среща и се опитват да изпратят тестови съобщения един на друг в опит да пробият NAT или защитни стени с фиксиране на състоянието, срещани по пътя. Ако това работи, тогава се установява директна връзка и пакетите вече не се движат напред-назад.

Ако не може да се установи директна връзка, комуникацията ще продължи чрез реле и опитите за директна връзка ще продължат, докато се постигне успешен резултат. 

VL1 има и други функции за установяване на директна свързаност, включително откриване на LAN peer, прогнозиране на портове за преминаване на симетричен IPv4 NAT и изрично картографиране на портове с помощта на uPnP и/или NAT-PMP, ако са налични в локалната физическа LAN.

→ Линк към документация

▍VL2 е подобен на VXLAN Ethernet мрежов протокол за виртуализация с функции за управление на SDN. Позната комуникационна среда за ОС и приложения...

За разлика от VL1, създаването на VL2 мрежи (VLAN) и свързването на възли към тях, както и управлението им, изисква пряко участие на потребителя. Той може да направи това с помощта на мрежов контролер. По същество това е обикновен ZeroTier възел, където функциите на контролера се управляват по два начина: или директно, чрез промяна на файлове, или, както разработчикът силно препоръчва, с помощта на публикуван API. 

Този метод за управление на виртуални мрежи ZeroTier не е много удобен за обикновения човек, така че има няколко GUI:
 

• Един от разработчика ZeroTier, наличен като публично облачно SaaS решение с четири абонаментни плана, включително безплатни, но ограничени в броя на управляваните устройства и нивото на поддръжка
• Второто е от независим разработчик, с донякъде опростена функционалност, но достъпно като частно решение с отворен код за използване на място или в облачни ресурси.

VL2 е внедрен върху VL1 и се транспортира от него. Той обаче наследява криптирането и удостоверяването на крайната точка VL1 и също така използва своите асиметрични ключове за подписване и проверка на идентификационните данни. VL1 ви позволява да внедрите VL2, без да се притеснявате за съществуващата физическа мрежова топология. Тоест, проблемите със свързаността и ефективността на маршрутизирането са проблеми на VL1. Важно е да се разбере, че няма връзка между VL2 виртуални мрежи и VL1 пътища. Подобно на мултиплексирането на VLAN в кабелна LAN, два възела, които споделят множество членства в мрежа, все още ще имат само един път VL1 (виртуален кабел) помежду си.

Всяка VL2 мрежа (VLAN) се идентифицира с 64-битов (16 шестнадесетичен) ZeroTier мрежов адрес, който съдържа 40-битов ZeroTier адрес на контролера и 24-битово число, идентифициращо мрежата, създадена от този контролер.

Network ID: 8056c2e21c123456
            |         |
            |         Network number on controller
            |
            ZeroTier address of controller

Когато възел се присъедини към мрежа или поиска актуализация на мрежова конфигурация, той изпраща съобщение за заявка за мрежова конфигурация (чрез VL1) до мрежовия контролер. След това контролерът използва VL1 адреса на възела, за да го намери в мрежата и да му изпрати съответните сертификати, идентификационни данни и информация за конфигурацията. От гледна точка на VL2 виртуални мрежи, VL1 ZeroTier адресите могат да се разглеждат като номера на портове на огромен глобален виртуален комутатор.

Всички идентификационни данни, издадени от мрежовите контролери към членски възли на дадена мрежа, се подписват със секретния ключ на контролера, така че всички участници в мрежата да могат да ги проверят. Идентификационните данни имат времеви отпечатъци, генерирани от контролера, което позволява относително сравнение, без да се налага достъп до локалния системен часовник на хоста. 

Идентификационните данни се издават само на техните собственици и след това се изпращат на партньори, които искат да комуникират с други възли в мрежата. Това позволява на мрежата да се мащабира до огромни размери, без да е необходимо да кешира големи количества идентификационни данни на възли или постоянно да се свързва с мрежовия контролер.

ZeroTier мрежите поддържат мултикаст разпространение чрез проста система за публикуване/абониране.

→ Линк към документация

Когато даден възел желае да получи мултикаст излъчване за определена група за разпространение, той обявява членство в тази група на други членове на мрежата, с която комуникира, и на мрежовия контролер. Когато даден възел желае да изпрати групово предаване, той едновременно осъществява достъп до своя кеш от скорошни публикации и периодично изисква допълнителни публикации.

Излъчването (Ethernet ff: ff: ff: ff: ff: ff) се третира като мултикаст група, за която всички участници са абонирани. Може да се деактивира на ниво мрежа, за да се намали трафикът, ако не е необходимо. 

ZeroTier емулира истински Ethernet комутатор. Този факт ни позволява да осъществим комбиниране на създадените виртуални мрежи с други Ethernet мрежи (кабелна LAN, WiFi, виртуална backplane и т.н.) на ниво връзка за данни - с помощта на обикновен Ethernet мост.

За да действа като мост, мрежовият контролер трябва да посочи хост като такъв. Тази схема се прилага от съображения за сигурност, тъй като нормалните мрежови хостове нямат право да изпращат трафик от източник, различен от техния MAC адрес. Възлите, обозначени като мостове, също използват специален режим на мултикаст алгоритъма, който взаимодейства с тях по-агресивно и целенасочено по време на групови абонаменти и репликация на целия излъчван трафик и ARP заявки. 

Комутаторът също така има способността да създава публични и ad-hoc мрежи, QoS механизъм и редактор на мрежови правила.

▍възел:

ZeroTier One е услуга, работеща на лаптопи, настолни компютри, сървъри, виртуални машини и контейнери, която осигурява връзки към виртуална мрежа чрез виртуален мрежов порт, подобно на VPN клиент. 

След като услугата бъде инсталирана и стартирана, можете да се свържете с виртуални мрежи, като използвате техните 16-цифрени адреси. Всяка мрежа се появява като виртуален мрежов порт в системата, който се държи точно като обикновен Ethernet порт.

В момента ZeroTier One е наличен за следните операционни системи и системи.

Операционна система:

• Microsoft Windows - MSI инсталатор x86/x64
• MacOS - PKG инсталатор
• Apple IOS - App Store
• Android - Магазин за игри
• Linux - DEB/RPM
• FreeBSD - FreeBSD пакет

NAS:

• Synology NAS
• QNAP NAS
• WD MyCloud NAS

други:

• докер - докер файл
• OpenWRT - обществено пристанище
• Вграждане на приложение - SDK (libzt)

За да обобщя всичко по-горе, бих отбелязал, че ZeroTier е отличен и бърз инструмент за комбиниране на вашите физически, виртуални или облачни ресурси в обща локална мрежа, с възможност за разделянето й на VLAN и липсата на единична точка на отказ .

Това е всичко за теоретичната част във формата на първата статия за ZeroTier за Habr - това е може би всичко! В следващата статия планирам да демонстрирам на практика създаването на виртуална мрежова инфраструктура, базирана на ZeroTier, където VDS с частен GUI шаблон с отворен код ще се използва като мрежов контролер. 

Уважаеми читатели! Използвате ли технологията ZeroTier във вашите проекти? Ако не, какви инструменти използвате, за да свържете ресурсите си в мрежа?

Източник: www.habr.com