Паметен етернет прекинувач за планетата Земја

„Можете да создадете решение (да решите проблем) на неколку начини, но најскапиот и/или популарниот метод не е секогаш најефикасен!

Преамбула

Пред околу три години, во процесот на развој на далечински модел за обновување на податоците од катастрофи, наидов на една пречка што не беше веднаш забележана - недостатокот на информации за нови оригинални решенија за виртуелизација на мрежата во изворите на заедницата. 

Алгоритмот за развиениот модел беше планиран на следниов начин: 

1. Далечински корисник кој ме контактираше, чиј компјутер еднаш одби да се подигне, прикажувајќи ја пораката „системскиот диск не е откриен/не е форматиран“, го вчитува преку животен USB. 
2. За време на процесот на подигање, системот автоматски се поврзува со безбедна приватна локална мрежа, која покрај себе ја содржи работната станица на администраторот, во овој случај лаптоп и NAS јазол. 
3. Потоа се поврзувам - или за реанимирање на партициите на дискот, или за извлекување податоци од таму.

Првично, го имплементирав овој модел користејќи VPN сервер на локален рутер во мрежа под моја контрола, а потоа на изнајмен VDS. Но, како што често се случува и според првиот закон на Чишолм, ако врне дожд, мрежата на интернет-провајдерот ќе се прекине, тогаш споровите меѓу деловните субјекти ќе предизвикаат давателот на услугата да изгуби „енергија“...

Затоа, решив прво да ги формулирам основните барања што мора да ги исполнува потребната алатка. Првата е децентрализацијата. Второ, со оглед на тоа што имам неколку од овие животни USB-а, секој од нив има посебна изолирана мрежа. Па, трето, брзо поврзување со мрежата на различни уреди и едноставно управување со нив, вклучително и во случај мојот лаптоп исто така да стане жртва на законот споменат погоре.

Врз основа на ова и откако поминав два и пол месеци на практично истражување на неколку не многу соодветни опции, јас, на мој сопствен ризик и ризик, решив да пробам друга алатка од непозната за мене во тоа време стартап алатка наречена ZeroTier. За што никогаш не зажалив подоцна.

За време на овие новогодишни празници, обидувајќи се да разберам дали состојбата со содржината се промени од тој незаборавен момент, спроведов селективна ревизија за достапноста на написите на оваа тема, користејќи го Хабр како извор. За барањето „ZeroTier“ во резултатите од пребарувањето има само три статии кои го спомнуваат, а ниту една со барем краток опис. И ова и покрај фактот што меѓу нив има превод на статија напишана од самиот основач на ZeroTier, Inc. - Адам Иерименко.

Резултатите беа разочарувачки и ме поттикнаа да почнам да зборувам за ZeroTier подетално, спасувајќи ги модерните „трагачи“ да не мора да одат по истиот пат што го одев јас.

Па што си ти?

Програмерот го позиционира ZeroTier како интелигентен етернет прекинувач за планетата Земја. 

„Тоа е дистрибуиран мрежен хипервизор изграден на врвот на криптографски безбедна глобална мрежа peer-to-peer (P2P). Алатка слична на корпоративен SDN прекинувач, дизајнирана да организира виртуелни мрежи преку физички, и локални и глобални, со можност за поврзување на речиси секоја апликација или уред.

Ова е повеќе маркетинг опис, сега за технолошките карактеристики.

▍Јадро: 

ZeroTier Network Hypervisor е самостоен мрежен мотор за виртуелизација кој имитира етернет мрежа, слична на VXLAN, на врвот на глобална шифрирана peer-to-peer (P2P) мрежа.

Протоколите што се користат во ZeroTier се оригинални, иако по изглед се слични на VXLAN и IPSec и се состојат од два концептуално одвоени, но тесно поврзани слоеви: VL1 и VL2.

→ Линк до документацијата

▍VL1 е основен транспортен слој peer-to-peer (P2P), еден вид „виртуелен кабел“.

„Глобален центар за податоци бара „глобален плакар“ од кабли“.

Во конвенционалните мрежи, L1 (OSI Layer 1) се однесува на вистинските кабли или безжични радија кои носат податоци и на чиповите на физичкиот уред на трансиверот што ги модулираат и демодулираат. VL1 е peer-to-peer (P2P) мрежа која го прави истото, користејќи енкрипција, автентикација и други мрежни трикови за да ги организира виртуелните кабли по потреба.

Покрај тоа, тоа го прави автоматски, брзо и без учество на корисникот кој лансира нов јазол ZeroTier.

За да се постигне ова, VL1 е организиран слично на системот за имиња на домени. Во срцето на мрежата е група на високо достапни root сервери, чија улога е слична на онаа на DNS root серверите за имиња. Во моментов, главните (планетарни) root сервери се под контрола на развивачот - ZeroTier, Inc. и се обезбедуваат како бесплатна услуга. 

Сепак, можно е да се создадат сопствени сервери за root (luns) кои ви дозволуваат:

• намалување на зависноста од инфраструктурата ZeroTier, Inc.; Линк до документацијата
• зголемување на продуктивноста со минимизирање на одложувањата; 
• продолжи да работи нормално ако се изгуби интернет-врската.

Првично, јазлите се лансираат без директни врски едни со други. 

Секој peer на VL1 има единствена 40-битна (10 хексадецимална) ZeroTier адреса, која, за разлика од IP адресите, е шифриран идентификатор кој не содржи информации за рутирање. Оваа адреса се пресметува од јавниот дел од парот јавен/приватен клуч. Адресата, јавниот клуч и приватниот клуч на јазол заедно го формираат неговиот идентитет.

Member ID: df56c5621c  
            |
            ZeroTier address of node

Што се однесува до шифрирањето, ова е причина за посебна статија.

→ Линк до документацијата

За да се воспостави комуникација, врсниците прво испраќаат пакети „нагоре“ на дрвото на коренските сервери, и додека овие пакети патуваат низ мрежата, тие иницираат случајно создавање на напредни канали на патот. Дрвото постојано се обидува „само да се сруши“ за да се оптимизира за мапата на маршрутата што ја складира.

Механизмот за воспоставување на peer-to-peer врска е како што следува:

1. Јазолот А сака да испрати пакет до јазолот Б, но бидејќи не ја знае директната патека, го испраќа возводно до јазол R (месечина, коренскиот сервер на корисникот).
2. Ако јазолот R има директна врска со јазолот B, тој го препраќа пакетот таму. Во спротивно, тој го испраќа пакетот возводно пред да стигне до планетарните корени.Планетарните корени знаат за сите јазли, па пакетот на крајот ќе стигне до јазолот Б ако е онлајн.
3. Јазолот R, исто така, испраќа порака наречена „рандеву“ до јазолот А, која содржи совети за тоа како може да стигне до јазолот Б. Во меѓувреме, коренскиот сервер, кој го препраќа пакетот до јазолот Б, испраќа „рандеву“ информирајќи го за тоа како може достигне јазол А.
4. Јазлите А и Б ги добиваат своите пораки за рандеву и се обидуваат да испратат тест пораки едни на други во обид да ги прекршат сите NAT или државни заштитни ѕидови што ќе се сретнат на патот. Ако ова функционира, тогаш се воспоставува директна врска и пакетите повеќе не одат напред-назад.

Доколку не може да се воспостави директна врска, комуникацијата ќе продолжи преку реле, а обидите за директно поврзување ќе продолжат додека не се постигне успешен резултат. 

VL1, исто така, има и други функции за воспоставување директно поврзување, вклучително и откривање на LAN peer, предвидување на порти за траверсирање на симетричен IPv4 NAT и експлицитно мапирање на порти користејќи uPnP и/или NAT-PMP доколку е достапно на локалната физичка LAN.

→ Линк до документацијата

▍VL2 е протокол за виртуелизација на етернет мрежа сличен на VXLAN со функции за управување со SDN. Познато комуникациско опкружување за ОС и апликации...

За разлика од VL1, создавањето VL2 мрежи (VLAN) и поврзувањето на јазлите со нив, како и управувањето со нив, бара директно учество од корисникот. Тој може да го направи тоа користејќи мрежен контролер. Во суштина, тоа е редовен јазол ZeroTier, каде што функциите на контролорот се управуваат на два начина: или директно, со менување на датотеки или, како што силно препорачува развивачот, користејќи објавено API. 

Овој метод на управување со виртуелните мрежи ZeroTier не е многу погоден за просечниот човек, па затоа има неколку GUI:
 

• Еден од развивачот ZeroTier, достапно како решение за јавно облак SaaS со четири претплати за претплата, вклучувајќи бесплатни, но ограничени во бројот на управувани уреди и нивото на поддршка
• Вториот е од независен програмер, малку поедноставен во функционалноста, но достапен како приватно решение со отворен код за користење во просторија или на ресурси на облак.

VL2 е имплементиран на врвот на VL1 и се транспортира од него. Сепак, тој го наследува шифрирањето и автентикацијата на крајната точка VL1, а исто така ги користи своите асиметрични клучеви за потпишување и потврдување на ингеренциите. VL1 ви овозможува да имплементирате VL2 без да се грижите за постоечката физичка мрежна топологија. Односно, проблемите со поврзувањето и ефикасноста на рутирањето се VL1 проблеми. Важно е да се разбере дека нема врска помеѓу виртуелните мрежи VL2 и патеките VL1. Слично на мултиплексирањето VLAN во жичен LAN, два јазли кои споделуваат повеќе мрежни членства сè уште ќе имаат само една патека VL1 (виртуелен кабел) помеѓу нив.

Секоја VL2 мрежа (VLAN) се идентификува со 64-битна (16 хексадецимална) мрежна адреса ZeroTier, која ја содржи 40-битната ZeroTier адреса на контролорот и 24-битен број што ја идентификува мрежата создадена од тој контролер.

Network ID: 8056c2e21c123456
            |         |
            |         Network number on controller
            |
            ZeroTier address of controller

Кога јазол се приклучува на мрежа или бара ажурирање на мрежната конфигурација, тој испраќа порака за барање за мрежна конфигурација (преку VL1) до мрежниот контролер. Контролорот потоа ја користи VL1 адресата на јазолот за да ја пронајде на мрежата и да му ги испрати соодветните сертификати, ингеренциите и информациите за конфигурација. Од гледна точка на виртуелните мрежи VL2, адресите на VL1 ZeroTier може да се сметаат како броеви на порти на огромен глобален виртуелен прекинувач.

Сите акредитиви издадени од мрежните контролори на јазлите-членови на дадена мрежа се потпишани со тајниот клуч на контролорот за да можат сите учесници во мрежата да ги потврдат. Ингеренциите имаат временски печати генерирани од контролорот, што овозможува релативна споредба без потреба од пристап до локалниот системски часовник на домаќинот. 

Ингеренциите се издаваат само на нивните сопственици, а потоа се испраќаат до колеги кои сакаат да комуницираат со други јазли на мрежата. Ова и овозможува на мрежата да се размери до огромни големини без потреба од кеширање на големи количини на ингеренциите на јазлите или постојано контактирање со контролорот на мрежата.

ZeroTier мрежите поддржуваат мултикаст дистрибуција преку едноставен систем за објавување/претплати.

→ Линк до документацијата

Кога некој јазол сака да прими мултикаст емитување за одредена дистрибутивна група, тој го рекламира членството во таа група на други членови на мрежата со која комуницира и на мрежниот контролер. Кога некој јазол сака да испрати мултикаст, тој истовремено пристапува до својата кеш на неодамнешните публикации и периодично бара дополнителни публикации.

Емитувањето (Ethernet ff: ff: ff: ff: ff: ff) се третира како мултикаст група на која се претплатат сите учесници. Може да се оневозможи на ниво на мрежа за да се намали сообраќајот доколку не е потребно. 

ZeroTier емулира вистински Ethernet прекинувач. Овој факт ни овозможува да го спроведеме комбинирање на креираните виртуелни мрежи со други етернет мрежи (жичен LAN, WiFi, виртуелен заден план, итн.) на ниво на податочна врска - користејќи обичен етернет мост.

За да дејствува како мост, мрежниот контролер мора да назначи домаќин како таков. Оваа шема е имплементирана од безбедносни причини, бидејќи на нормалните мрежни домаќини не им е дозволено да испраќаат сообраќај од друг извор освен нивната MAC адреса. Јазлите означени како мостови, исто така, користат посебен режим на мултикаст алгоритмот, кој комуницира со нив поагресивно и насочено за време на групните претплати и реплицирањето на целиот преносен сообраќај и ARP барања. 

Прекинувачот исто така има можност да креира јавни и ад-хок мрежи, QoS механизам и уредувач на мрежни правила.

▍Јазол:

Нулта Ниво Еден е услуга која работи на лаптопи, десктоп компјутери, сервери, виртуелни машини и контејнери која обезбедува поврзување со виртуелна мрежа преку виртуелна мрежна порта, слично на клиентот VPN. 

Откако ќе се инсталира и стартува услугата, можете да се поврзете на виртуелни мрежи користејќи ги нивните 16-цифрени адреси. Секоја мрежа се појавува како виртуелна мрежна порта на системот, која се однесува исто како обична етернет порта.

ZeroTier One е моментално достапен за следните ОС и системи.

ОС:

• Microsoft Windows - Инсталатор на MSI x86/x64
• MacOS - Инсталатор на PKG
• Apple iOS - Продавница за Апликации
• Андроид — Play Store
• Linux - DEB/RPM
• FreeBSD - FreeBSD пакет

НАС:

• Синологија НАС
• QNAP НАС
• WD MyCloud NAS

Други:

• пристанишен работник - докер датотека
• OpenWRT - пристаниште на заедницата
• Вградување на апликација - SDK (libzt)

Да го резимираме сето горенаведено, би забележал дека ZeroTier е одлична и брза алатка за комбинирање на вашите физички, виртуелни или облак ресурси во заедничка локална мрежа, со можност да се подели на VLAN и отсуство на единствена точка на неуспех. .

Толку за теоретскиот дел во форматот на првата статија за ZeroTier за Habr - тоа е веројатно сè! Во следната статија, планирам во пракса да покажам создавање на виртуелна мрежна инфраструктура базирана на ZeroTier, каде VDS со приватен GUI шаблон со отворен код ќе се користи како мрежен контролер. 

Почитувани читатели! Дали користите ZeroTier технологија во вашите проекти? Ако не, кои алатки ги користите за вмрежување на вашите ресурси?

Извор: www.habr.com