Mir hunn en Datenzenternetzdesign entwéckelt, deen d'Deployment vu Rechenclustere méi grouss wéi 100 Tausend Server mat enger Peak Bisektiounsbandbreedung vun iwwer ee Petabyte pro Sekonn erlaabt.
Vum Rapport vum Dmitry Afanasyev léiert Dir iwwer d'Basisprinzipien vum neien Design, Skaléierentopologien, d'Problemer déi domat entstinn, Optiounen fir se ze léisen, d'Features vun der Routing an d'Skaléierung vun der Forwarding Fligerfunktiounen vun modernen Netzwierkapparater an "dicht verbonnen" Topologien mat enger grousser Zuel vun ECMP routes. Zousätzlech huet den Dima kuerz iwwer d'Organisatioun vun der externer Konnektivitéit geschwat, déi kierperlech Schicht, de Kabelsystem a Weeër fir d'Kapazitéit weider ze erhéijen.
- Gudde Mëtteg jiddereen! Mäin Numm ass Dmitry Afanasyev, ech sinn en Netzwierkarchitekt bei Yandex a designen haaptsächlech Datenzenter Netzwierker.
Meng Geschicht wäert iwwer den aktualiséierten Netzwierk vun Yandex Datenzenteren sinn. Et ass ganz vill eng Evolutioun vum Design dee mir haten, awer gläichzäiteg ginn et e puer nei Elementer. Dëst ass eng Iwwersiichtspresentatioun well et vill Informatioun an eng kleng Zäit gepackt gouf. Mir fänken un mat der Auswiel vun enger logescher Topologie. Da gëtt et eng Iwwersiicht vun der Kontroll Fliger a Problemer mat Daten Fliger scalability ginn, e Choix vun wat op der kierperlecher Niveau geschéie wäert, a mir wäerten op e puer Fonctiounen vun den Apparater kucken. Loosst eis e bësse beréieren wat an engem Datenzenter mat MPLS geschitt, iwwer dee mir virun enger Zäit geschwat hunn.
Also, wat ass Yandex a punkto Lasten a Servicer? Yandex ass en typesche Hyperscaler. Wa mir d'Benotzer kucken, veraarbechte mir haaptsächlech Benotzerufroen. Och verschidde Streaming Servicer an Datenübertragung, well mir hunn och Stockage Servicer. Wa méi no beim Backend, da erschéngen Infrastrukturbelaaschtungen a Servicer do, wéi verdeelt Objektspeicherung, Datereplikatioun an, natierlech, persistent Schlaangen. Eng vun den Haaptarten vun Aarbechtslaascht ass MapReduce an ähnlech Systemer, Streamveraarbechtung, Maschinnléieren, etc.
Wéi ass d'Infrastruktur op där dat alles geschitt? Nach eng Kéier si mir en zimlech typesche Hyperskaler, obwuel mir vläicht e bësse méi no un der manner Hyperskaler Säit vum Spektrum sinn. Awer mir hunn all Attributer. Mir benotzen Commodity Hardware an horizontal Skala wou et méiglech ass. Mir hunn voll Ressource Pool: mir schaffen net mat eenzelne Maschinnen, eenzelne Rack, mee kombinéieren hinnen an e grousse Pool vun interchangeable Ressourcen mat e puer zousätzlech Servicer, datt mat Planung an Allokatioun beschäftegt, an Aarbecht mat dëser ganzer Pool.
Also hu mir den nächsten Niveau - de Betribssystem um Rechenclusterniveau. Et ass ganz wichteg datt mir den Technologiestack dee mir benotzen komplett kontrolléieren. Mir kontrolléieren d'Endpunkte (Hosten), Netzwierk a Software Stack.
Mir hunn e puer grouss Daten Zentren an Russland an am Ausland. Si sinn duerch e Réckgrat vereenegt deen MPLS Technologie benotzt. Eis intern Infrastruktur ass bal ganz op IPv6 gebaut, awer well mir externen Traffic musse servéieren, deen nach ëmmer haaptsächlech iwwer IPv4 kënnt, musse mir iergendwéi Ufroen déi iwwer IPv4 un d'Frontend Server kommen, an e bësse méi op extern IPv4- Internet goen - fir zum Beispill, fir Indexéierung.
Déi lescht puer Iteratiounen vun Datenzenternetzdesign hunn Multi-Layer Clos Topologien benotzt a sinn nëmmen L3. Mir hunn d'L2 virun enger Zäit fortgaang an hunn eis erliichtert. Schlussendlech enthält eis Infrastruktur Honnerte vun Dausende vu Computeren (Server) Instanzen. Déi maximal Clustergréisst virun enger Zäit war ongeféier 10 Tausend Server. Dëst ass haaptsächlech wéinst wéi déiselwecht Cluster-Niveau Betribssystemer, Scheduler, Ressourceallokatioun, etc. Mir hunn eng Aufgab - fir kënnen Netzwierkfabriken ze bauen déi effizient Ressourcepooling an esou engem Cluster erlaben.
Wat wëlle mir vun engem Datenzenternetz? Als éischt gëtt et vill bëlleg an zimlech eenheetlech verdeelt Bandbreedung. Well d'Netz ass de Pilier, duerch dee mir Ressourcen kënne poolen. Déi nei Zilgréisst ass ongeféier 100 Tausend Serveren an engem Cluster.
Mir wëllen natierlech och e skalierbaren a stabile Kontrollfliger, well op esou enger grousser Infrastruktur entstinn vill Kappwéi och duerch einfach zoufälleg Evenementer, a mir wëllen net datt de Kontrollfliger eis och Kappwéi bréngt. Gläichzäiteg wëlle mir de Staat an et minimiséieren. Wat méi kleng ass den Zoustand, dest besser a méi stabil funktionnéiert alles, a wat et méi einfach ass ze diagnostizéieren.
Selbstverständlech brauche mir Automatisatioun, well et onméiglech ass, esou eng Infrastruktur manuell ze geréieren, an et ass scho laang onméiglech. Mir brauche sou vill wéi méiglech operationell Ënnerstëtzung an CI/CD Ënnerstëtzung sou wäit wéi méiglech.
Mat esou Gréisste vun Datenzenteren a Stärekéip ass d'Aufgab fir inkrementell Deployment an Expansioun ouni Service Ënnerbriechung z'ënnerstëtzen zimlech akut ginn. Wann op Cluster vun enger Gréisst vun dausend Maschinnen, vläicht no bei zéngdausend Maschinnen, se nach ëmmer als eng Operatioun ausgerullt kënne ginn - dat heescht, mir plangen eng Ausbau vun der Infrastruktur, an e puer dausend Maschinnen ginn als eng Operatioun bäigefüügt, dann entsteet e Cluster vun enger Gréisst vun honnertdausend Maschinnen net direkt esou, et gëtt iwwer eng Zäit gebaut. An et ass wënschenswäert, datt déi ganz Zäit dat, wat schonn erausgepompelt gouf, déi Infrastruktur, déi agesat gouf, zur Verfügung steet.
An eng Fuerderung déi mir haten a verlooss hunn: Ënnerstëtzung fir Multitenancy, dat heescht Virtualiséierung oder Netzwierksegmentatioun. Elo brauche mir dat net um Netz Stoffniveau ze maachen, well d'Schärft op d'Host gaang ass, an dëst huet d'Skaléierung ganz einfach fir eis gemaach. Dank IPv6 an engem groussen Adressraum hu mir keng duplizéiert Adressen an der interner Infrastruktur gebraucht; all Adresséierung war schonn eenzegaarteg. An dank der Tatsaach, datt mir Filteren an Netzwierksegmentatioun un d'Host geholl hunn, brauche mir keng virtuell Netzwierkentitéiten an Datenzenter Netzwierker ze kreéieren.
Eng ganz wichteg Saach ass wat mir net brauchen. Wann e puer Funktiounen aus dem Netz geläscht kënne ginn, mécht dat d'Liewen vill méi einfach, an als Regel erweidert d'Wiel vun verfügbaren Ausrüstung a Software, wat d'Diagnostik ganz einfach mécht.
Also, wat ass et, wat mir net brauchen, wat hu mir konnten opginn, net ëmmer mat Freed zu där Zäit wou et geschitt ass, awer mat grousser Erliichterung wann de Prozess fäerdeg ass?
Éischt vun all, opginn L2. Mir brauchen net L2, weder real nach emuléiert. Onbenotzt haaptsächlech wéinst der Tatsaach datt mir den Applikatiounsstack kontrolléieren. Eis Applikatiounen sinn horizontal skalierbar, si schaffen mat L3 Adresséierung, si sinn net ganz besuergt, datt eng eenzel Instanz erausgaang ass, se rullen einfach eng nei aus, et muss net op der aler Adress ausgerullt ginn, well et gëtt eng getrennten Niveau vum Service Entdeckung an Iwwerwachung vu Maschinnen am Stärekoup. Mir delegéieren dës Aufgab net un de Reseau. D'Aarbecht vum Netzwierk ass Pakete vu Punkt A op Punkt B ze liwweren.
Mir hunn och keng Situatiounen, wou Adressen am Netz beweegen, an dat muss iwwerwaacht ginn. A ville Designen ass dëst typesch gebraucht fir VM Mobilitéit z'ënnerstëtzen. Mir benotzen d'Mobilitéit vu virtuelle Maschinnen net an der interner Infrastruktur vum grousse Yandex, an och mir gleewen, datt och wann dëst gemaach gëtt, sollt et net mat Netzwierkunterstëtzung geschéien. Wann et wierklech muss gemaach ginn, muss et um Hostniveau gemaach ginn, a dréckt Adressen déi an Iwwerlager kënne migréieren, fir net ze beréieren oder ze vill dynamesch Ännerungen am Routingsystem vum Underlay selwer (Transportnetz) ze beréieren oder ze maachen. .
Eng aner Technologie déi mir net benotzen ass Multicast. Wann Dir wëllt, kann ech Iech am Detail soen firwat. Dëst mécht d'Liewen vill méi einfach, well wann een sech domat beschäftegt huet a genee gekuckt huet wéi de Multicast Kontrollfliger ausgesäit, an all ausser den einfachsten Installatiounen, ass dat e grousse Kappwéi. A wat méi ass, et ass schwéier eng gutt funktionéierend Open Source Implementatioun ze fannen, zum Beispill.
Schlussendlech designe mir eis Netzwierker sou datt se net ze vill änneren. Mir kënnen op d'Tatsaach zielen datt de Flux vun externen Eventer am Routingsystem kleng ass.
Wéi eng Problemer entstinn a wéi eng Restriktiounen musse berécksiichtegt ginn wa mir en Datenzenternetz entwéckelen? Käschten, natierlech. Skalierbarkeet, den Niveau op dee mir wëllen wuessen. De Besoin fir auszebauen ouni de Service ze stoppen. Bandbreedung, Disponibilitéit. Visibilitéit vu wat am Netz geschitt fir Iwwerwaachungssystemer, fir operationell Teams. Automatisatiounssupport - erëm sou vill wéi méiglech, well verschidden Aufgaben op verschiddene Niveauen geléist kënne ginn, och d'Aféierung vun zousätzlech Schichten. Gutt, net [méiglech] ofhängeg vu Verkeefer. Obwuel a verschiddenen historeschen Perioden, jee no wéi eng Sektioun Dir kuckt, war dës Onofhängegkeet méi einfach oder méi schwéier z'erreechen. Wa mir e Querschnitt vun Netzapparat Chips huelen, dann bis viru kuerzem war et ganz bedingt iwwer Onofhängegkeet vu Verkeefer ze schwätzen, wa mir och Chips mat héijer Débit wollten.
Wéi eng logesch Topologie wäerte mir benotze fir eisen Netzwierk ze bauen? Dëst wäert e Multi-Level Clos sinn. Tatsächlech gëtt et am Moment keng richteg Alternativen. An d'Clos Topologie ass zimmlech gutt, och am Verglach mat verschiddene fortgeschratt Topologien, déi elo méi am Beräich vum akademeschen Interessi sinn, wa mir grouss Radixschalter hunn.
Wéi ass e Multi-Level Clos Netzwierk ongeféier strukturéiert a wéi ginn déi verschidden Elementer dran genannt? Als éischt ass de Wand opgestan, fir sech ze orientéieren wou Norden, wou Süden, wou Osten, wou Westen ass. Netzwierker vun dësem Typ ginn normalerweis vun deenen gebaut déi e ganz grousse West-Osten Traffic hunn. Wat déi verbleiwen Elementer ugeet, uewen ass e virtuelle Schalter aus méi klenge Schalter zesummegesat. Dëst ass d'Haaptidee vum rekursive Bau vu Clos Netzwierker. Mir huelen Elementer mat enger Aart Radix a verbannen se sou datt dat wat mir kréien als Schalter mat engem gréissere Radix ugesi gëtt. Wann Dir nach méi braucht, kann d'Prozedur widderholl ginn.
An Fäll, zum Beispill, mat zwee-Niveau Clos, wann et méiglech Komponente kloer z'identifizéieren, datt vertikal a mengem Diagramm sinn, si normalerweis Fliger genannt. Wa mir e Clos mat dräi Niveaue vu Wirbelschalter bauen (déi all net Grenz- oder ToR-Schalter sinn an déi nëmme fir Transit benotzt ginn), da géifen d'Fligeren méi komplex ausgesinn; Zwee-Niveau ausgesinn genee esou. Mir nennen e Block vun ToR oder Blatschalter an déi éischt Niveau Wirbelschalter verbonne mat hinnen e Pod. Wirbelschalter vum Wirbelsäule-1 Niveau uewen um Pod sinn d'Spëtzt vum Pod, d'Spëtzt vum Pod. D'Schalter déi uewen op der ganzer Fabréck sinn, sinn déi iewescht Schicht vun der Fabréck, Top of Stoff.
Natierlech stellt sech d'Fro: Clos Netzwierker sinn zënter enger Zäit gebaut ginn; d'Iddi selwer kënnt allgemeng aus der Zäit vun der klassescher Telefonie, TDM Netzwierker. Vläicht ass eppes Besseres opgetaucht, vläicht kann eppes besser gemaach ginn? Jo an nee. Theoretesch jo, an der Praxis an der nächster Zukunft definitiv net. Well et sinn eng Rei vun interessant topologis, e puer vun hinnen sinn souguer an Produktioun benotzt, Zum Beispill, Dragonfly an HPC Uwendungen benotzt; Et ginn och interessant Topologien wéi Xpander, FatClique, Jellyfish. Wann Dir Berichter op Konferenzen wéi SIGCOMM oder NSDI viru kuerzem kuckt, kënnt Dir eng zimlech grouss Zuel vu Wierker iwwer alternativ Topologien fannen, déi besser Eegeschaften hunn (eng oder aner) wéi Clos.
Awer all dës Topologien hunn eng interessant Eegeschafte. Et verhënnert hir Ëmsetzung an Datenzenter Netzwierker, déi mir probéieren op Commodity Hardware ze bauen an déi zimlech raisonnabel Sue kaschten. An all dësen alternativen Topologien ass de gréissten Deel vun der Bandbreedung leider net iwwer kürzeste Weeër zougänglech. Dofir verléieren mir direkt d'Méiglechkeet fir den traditionelle Kontrollfliger ze benotzen.
Theoretesch ass d'Léisung vum Problem bekannt. Dëst sinn zum Beispill Ännerunge vum Linkstaat mat k-kuerzste Wee, awer nach eng Kéier, et gi keng sou Protokoller déi an der Produktioun ëmgesat ginn a wäit op Ausrüstung verfügbar sinn.
Ausserdeem, well déi meescht vun der Kapazitéit net iwwer kürzeste Weeër zougänglech ass, musse mir méi wéi just de Kontrollfliger änneren fir all dës Weeër ze wielen (an iwwregens ass dëst wesentlech méi Staat am Kontrollplang). Mir mussen nach de Forwarding Fliger änneren, an, als Regel, op d'mannst zwee zousätzlech Funktiounen sinn néideg. Dëst ass d'Fäegkeet all Entscheedungen iwwer Paket Forwarding eemoleg ze huelen, zum Beispill um Host. Tatsächlech ass dëst Quellrouting, heiansdo an der Literatur iwwer Verbindungsnetzwierker gëtt dëst all-op-once Forwarding Décisiounen genannt. An adaptiven Routing ass eng Funktioun déi mir op Netzwierkelementer brauchen, déi zum Beispill op d'Tatsaach kacht datt mir den nächsten Hop auswielen baséiert op Informatioun iwwer déi mannst Belaaschtung op der Schlaang. Als Beispill sinn aner Optiounen méiglech.
Also ass d'Richtung interessant, awer leider, mir kënnen se elo net applizéieren.
Okay, mir hu sech op der Clos logescher Topologie néiergelooss. Wéi wäerte mir et skaléieren? Loosst eis kucken wéi et funktionnéiert a wat ka gemaach ginn.
An engem Clos Netz ginn et zwee Haaptparameter, déi mir iergendwéi variéiere kënnen a gewësse Resultater kréien: de Radix vun den Elementer an d'Zuel vun den Niveauen am Netz. Ech hunn e schemateschen Diagramm wéi béid d'Gréisst beaflossen. Ideal kombinéiere mir béid.
Et kann gesi ginn datt d'endgülteg Breet vum Clos-Netzwierk d'Produkt vun allen Niveauen vun de Wirbelschalter vum südleche Radix ass, wéi vill Links mir erof hunn, wéi se ofgeschnidden sinn. Dëst ass wéi mir d'Gréisst vum Netzwierk skaléieren.
Wat d'Kapazitéit ugeet, besonnesch op ToR Schalter, ginn et zwou Skaléierungsoptiounen. Entweder kënne mir, wärend déi allgemeng Topologie behalen, méi séier Links benotzen, oder mir kënne méi Fligeren derbäisetzen.
Wann Dir déi erweidert Versioun vum Clos Netz kuckt (am ënneschten rietsen Eck) an zréck op dëst Bild mam Clos Netz hei drënner ...
... dann ass dat genee déiselwecht Topologie, awer op dëser Rutsch ass se méi kompakt zesummegeklappt an d'Fliger vun der Fabrik openeen iwwerlagert. Et ass d'selwecht.
Wéi gesäit d'Skaléierung vun engem Clos Netz an Zuelen aus? Hei liwweren ech Daten iwwer wéi eng maximal Breet en Netz ka kritt ginn, wéi eng maximal Unzuel u Racken, ToR-Schalter oder Blatschalter, wa se net an Racken sinn, kënne mir ofhängeg vu wéi engem Radix vu Schalter mir fir Wirbelsniveauen benotzen, an wéivill Niveauen mir benotzen.
Hei ass wéivill Rack kënne mir hunn, wéivill Serveren an ongeféier wéi vill all dëst kann konsuméieren baséiert op 20 kW pro Rack. E bësse virdrun hunn ech erwähnt datt mir op eng Clustergréisst vu ronn 100 Tausend Server zielen.
Et kann gesi ginn datt an dësem ganzen Design zwee an eng hallef Optiounen interessant sinn. Et gëtt eng Optioun mat zwou Schichten vu Wirbelen a 64-Port Schalter, déi e bëssen kuerz fällt. Da ginn et perfekt passenden Optiounen fir 128-Port (mat Radix 128) Wirbelsäule mat zwee Niveauen, oder Schalter mat Radix 32 mat dräi Niveauen. An an alle Fäll, wou et méi Radixen a méi Schichten sinn, kënnt Dir e ganz grousst Netzwierk maachen, awer wann Dir den erwaarten Konsum kuckt, gëtt et typesch Gigawatt. Et ass méiglech e Kabel ze leeën, awer mir wäerten onwahrscheinlech sou vill Stroum op enger Plaz kréien. Wann Dir Statistiken an ëffentlech Daten iwwer Datenzenter kuckt, fannt Dir ganz wéineg Datenzentere mat enger geschätzter Kapazitéit vu méi wéi 150 MW. Déi gréisser si meeschtens Datenzentercampussen, verschidde grouss Datenzenteren déi zimlech no beienee leien.
Et gëtt en anere wichtege Parameter. Wann Dir op déi lénks Kolonn kuckt, ass benotzbar Bandbreedung do opgelëscht. Et ass einfach ze gesinn datt an engem Clos Netzwierk e groussen Deel vun den Ports benotzt gi fir Schalter mateneen ze verbannen. Benotzbar Bandbreedung, e nëtzlechen Sträif, ass eppes wat dobausse ka ginn, Richtung Serveren. Natierlech schwätzen ech iwwer bedingt Ports a speziell iwwer d'Band. In der Regel sinn d'Links am Netz méi séier wéi d'Links op d'Server, awer pro Eenheet vun der Bandbreedung, sou vill wéi mir et op eis Serverausrüstung kënne schécken, gëtt et nach ëmmer eng Bandbreedung am Netz selwer. A wat mir méi Niveauen maachen, wat méi déi spezifesch Käschte fir dës Sträif no baussen ze liwweren.
Ausserdeem ass och dës zousätzlech Band net grad déiselwecht. Iwwerdeems d'Spannungen kuerz sinn, kënne mir eppes wéi DAC benotzen (direkt Kupfer, dat heescht Twinax Kabelen), oder Multimode Optik, déi souguer méi oder manner raisonnabel Sue kaschten. Soubal mir op méi laang Spannungen réckelen - als Regel sinn dës Single-Modus Optik, an d'Käschte vun dëser zousätzlech Bandbreedung erhéicht däitlech.
An nach eng Kéier, zréck op de fréiere Rutsch, wa mir e Clos Netz ouni Iwwerabonnement erstellen, dann ass et einfach d'Diagramm ze kucken, ze kucken wéi d'Netzwierk gebaut ass - all Niveau vun de Wirbelschalter bäizefügen, widderhuelen mir de ganze Sträif deen um ënnen. Plus Niveau - plus déi selwecht Band, déi selwecht Zuel vun Häfen op Wiesselt wéi et um virdrun Niveau waren, an déi selwecht Zuel vun transceivers. Dofir ass et héich wënschenswäert d'Zuel vun den Niveauen vun de Wirbelschalter ze minimiséieren.
Baséierend op dësem Bild ass et kloer datt mir wierklech op eppes wéi Schalter mat engem Radix vun 128 bauen wëllen.
Hei ass am Prinzip alles d'selwecht wéi dat wat ech grad gesot hunn, dat ass e Rutsch fir spéider ze berücksichtegen.
Wéi eng Optioune ginn et, déi mir als esou Schalter kënne wielen? Et ass ganz agreabel Nouvelle fir eis, datt elo esou Netzwierker endlech op Single-Chip Schalter gebaut kënne ginn. An dëst ass ganz cool, si hu vill flott Features. Zum Beispill, si hu bal keng intern Struktur. Dëst bedeit datt se méi einfach briechen. Si briechen op all méiglech Manéier, awer glécklecherweis briechen se komplett. A modulare Geräter gëtt et eng grouss Unzuel vu Feeler (ganz désagréabel), wann aus der Siicht vun den Noperen an der Kontrollfläch schéngt et ze schaffen, awer zum Beispill en Deel vum Stoff ass verluer gaangen an et funktionnéiert net op voller Kapazitéit. An de Verkéier op et ass equilibréiert baséiert op der Tatsaach, datt et voll funktionell ass, a mir kënnen iwwerlaascht ginn.
Oder zum Beispill Probleemer mat der Backplane entstoen, well am modulare Gerät sinn och High-Speed-SerDes - et ass wierklech komplex dobannen. Entweder d'Schëlder tëscht Forwarding Elementer sinn synchroniséiert oder net synchroniséiert. Am Allgemengen, all produktiv modulare Apparat aus enger grousser Zuel vun Elementer besteet, als Regel, enthält déi selwecht Clos Reseau bannen selwer, mä et ass ganz schwéier ze diagnostizéieren. Oft ass et schwéier fir souguer de Verkeefer selwer ze diagnostizéieren.
An et huet eng grouss Zuel vu Feeler Szenarien, an deenen den Apparat degradéiert, awer net komplett aus der Topologie fällt. Well eise Réseau grouss ass, gëtt d'Balancen tëscht identeschen Elementer aktiv benotzt, d'Netz ass ganz reegelméisseg, dat heescht, ee Wee op deem alles an der Rei ass ass net anescht wéi deen anere Wee, et ass méi rentabel fir eis einfach e puer ze verléieren d'Apparater aus der Topologie wéi an enger Situatioun ze kommen, wou e puer vun hinnen schéngen ze schaffen, awer e puer net.
Déi nächst flott Feature vun Single-Chip Geräter ass datt se besser a méi séier entwéckelen. Si tendéieren och besser Kapazitéit ze hunn. Wa mir déi grouss versammelt Strukturen huelen, déi mir op engem Krees hunn, dann ass d'Kapazitéit pro Rack Eenheet fir Häfen vun der selwechter Geschwindegkeet bal duebel sou gutt wéi déi vu modulare Geräter. Apparater, déi ronderëm een eenzegen Chip gebaut sinn, sinn merkbar méi bëlleg wéi modulär a verbrauchen manner Energie.
Awer natierlech ass dat alles aus engem Grond, et ginn och Nodeeler. Als éischt ass de Radix bal ëmmer méi kleng wéi dee vu modulare Geräter. Wa mir en Apparat ronderëm een Chip mat 128 Ports gebaut kréien, da kënne mir e modulare mat e puer honnert Ports elo ouni Probleemer kréien.
Dëst ass eng bemierkenswäert méi kleng Gréisst vu Forwardtabellen an, als Regel, alles wat mat der Skalierbarkeet vum Datefliger verbonnen ass. Flaach Puffer. An, als Regel, zimlech limitéiert Funktionalitéit. Awer et stellt sech eraus datt wann Dir dës Restriktiounen kennt a sech an der Zäit këmmert fir se z'entgoen oder einfach ze berücksichtegen, dann ass dëst net sou grujeleg. D'Tatsaach datt de Radix méi kleng ass ass net méi e Problem op Apparater mat engem Radix vun 128, déi endlech viru kuerzem opgetaucht sinn; mir kënnen an zwou Schichten vu Wirbelen bauen. Awer et ass nach ëmmer onméiglech eppes méi kleng wéi zwee ze bauen wat fir eis interessant ass. Mat engem Niveau gi ganz kleng Cluster kritt. Och eis fréier Designen an Ufuerderungen hunn se nach ëmmer iwwerschratt.
Tatsächlech, wann op eemol d'Léisung iergendwou um Rand ass, gëtt et nach ëmmer e Wee fir ze skaléieren. Zanter de leschten (oder éischt), niddregsten Niveau wou Serveren verbonne sinn, sinn ToR schalt oder Leaf schalt, mir sinn net néideg engem Rack hinnen ze konnektéieren. Dofir, wann d'Léisung ëm ongeféier d'Halschent fällt, kënnt Dir drun denken, einfach e Schalter mat engem grousse Radix um ënneschten Niveau ze benotzen an zum Beispill zwee oder dräi Racken an engem Schalter ze verbannen. Dëst ass och eng Optioun, et huet seng Käschten, awer et funktionnéiert zimmlech gutt a kann eng gutt Léisung sinn wann Dir ongeféier zweemol d'Gréisst braucht.
Fir ze resuméieren, baue mir op enger Topologie mat zwee Niveaue vu Wirbelen, mat aacht Fabrikschichten.
Wat wäert mat der Physik geschéien? Ganz einfach Berechnungen. Wa mir zwee Niveauen vun Spines hunn, dann hu mir nëmmen dräi Niveauen vu Schalteren, a mir erwaarden datt et dräi Kabelsegmenter am Netz gëtt: vu Serveren op Blatschalter, bis Spinn 1, bis Spin 2. D'Optiounen déi mir kënnen benotzen sinn - dës sinn twinax, multimode, eenzege Modus. An hei musse mir berücksichtegen wéi eng Sträif verfügbar ass, wéi vill et wäert kaschten, wat déi physesch Dimensiounen sinn, wéi eng Spannunge kënne mir ofdecken, a wéi mir upgraden.
Wat d'Käschte ugeet, kann alles opgestallt ginn. Twinaxes sinn däitlech méi bëlleg wéi aktiv Optik, méi bëlleg wéi multimode transceivers, wann Dir et pro Fluch vun Enn huelen, e bësse méi bëlleg wéi engem 100-Gigabit schalt port. An, notéiert w.e.g., et kascht manner wéi Single Modus Optik, well op Flich wou Single Modus erfuerderlech ass, an Datenzenteren aus enger Rei vu Grënn ass et Sënn fir CWDM ze benotzen, während parallel Single Modus (PSM) net ganz bequem ass ze schaffen mat, ganz grouss Päck kritt Faseren, a wa mir op dës Technologien konzentréieren, mir kréien ongeféier déi folgend Präis Hierarchie.
Eng Notiz méi: leider ass et net ganz méiglech demontéiert 100 bis 4x25 Multimode Ports ze benotzen. Wéinst den Designfeatures vu SFP28 Transceiver ass et net vill méi bëlleg wéi 28 Gbit QSFP100. An dës Demontage fir Multimode funktionnéiert net ganz gutt.
Eng aner Begrenzung ass datt duerch d'Gréisst vun de Rechenclusteren an d'Zuel vun de Serveren eis Datenzenteren kierperlech grouss ginn. Dëst bedeit datt op d'mannst ee Fluch mat engem Singlemod gemaach muss ginn. Nach eng Kéier, wéinst der kierperlecher Gréisst vun de Pods, wäert et net méiglech sinn zwee Spann vun Twinax (Kupferkabel) ze lafen.
Als Resultat, wa mir fir Präis optimiséieren an d'Geometrie vun dësem Design berücksichtegen, kréien mir eng Spann vun Twinax, eng Spann vu Multimode an eng Spann vum Singlemode mat CWDM. Dëst berücksichtegt méiglech Upgrade Weeër.
Esou gesäit et viru kuerzem aus, wou mer higoen a wat méiglech ass. Et ass kloer, op d'mannst, wéi Dir Richtung 50-Gigabit SerDes fir béid Multimode an Singlemode beweegt. Ausserdeem, wann Dir kuckt wat am Single-Modus Transceiver elo an an der Zukunft fir 400G ass, dacks och wann 50G SerDes vun der elektrescher Säit ukommen, kann 100 Gbps pro Spuer schonn an d'Optik goen. Dofir ass et ganz méiglech datt amplaz op 50 ze plënneren, gëtt et en Iwwergang op 100 Gigabit SerDes an 100 Gbps pro Spuer, well no de Versprieche vu ville Ubidder hir Disponibilitéit zimlech séier erwaart gëtt. D'Period wou 50G SerDes déi schnellsten waren, schéngt et, wäert net ganz laang sinn, well déi éischt Exemplare vun 100G SerDes bal d'nächst Joer erausrollen. An no enger Zäit duerno wäerten se wahrscheinlech raisonnabel Sue wäert sinn.
Eng méi Nuance iwwer d'Wiel vun der Physik. Am Prinzip kënne mir scho 400 oder 200 Gigabit Ports benotzen mat 50G SerDes. Awer et stellt sech eraus datt dëst net vill Sënn mécht, well, wéi ech virdru gesot hunn, mir wëllen e relativ grousse Radix op de Schalter, natierlech, bannent Grond. Mir wëllen 128. A wa mir limitéiert Chipkapazitéit hunn a mir d'Verbindungsgeschwindegkeet erhéijen, da reduzéiert de Radix natierlech, et gi keng Wonner.
A mir kënnen d'Gesamtkapazitéit mat Fligeren erhéijen, an et gi keng speziell Käschten; mir kënnen d'Zuel vun de Fligeren derbäisetzen. A wa mir de Radix verléieren, musse mir en zousätzleche Niveau aféieren, also an der aktueller Situatioun, mat der aktueller maximaler verfügbarer Kapazitéit pro Chip, stellt sech eraus datt et méi effizient ass 100-Gigabit Ports ze benotzen, well se Iech erlaben e gréissere Radix ze kréien.
Déi nächst Fro ass wéi d'Physik organiséiert ass, awer aus der Siicht vun der Kabelinfrastruktur. Et stellt sech eraus datt et op eng zimlech witzeg Manéier organiséiert ass. Verkabelung tëscht Blatschalter an Éischt-Niveau Wirbelen - et ginn net vill Linken do, alles ass relativ einfach gebaut. Awer wa mir e Fliger huelen, wat dobannen geschitt ass datt mir all d'Wirbelen vum éischte Niveau mat all de Spines vum zweeten Niveau verbannen.
Plus, als Regel, ginn et e puer Wënsch fir wéi et am Rechenzentrum soll ausgesinn. Zum Beispill wollte mir wierklech Kabelen an e Bündel kombinéieren an se zéien sou datt eng High-Density Patch Panel ganz an eng Patch Panel goung, sou datt et keen Zoo wat Längt ugeet. Mir hunn et fäerdeg bruecht dëse Problem ze léisen. Wann Dir am Ufank d'logesch Topologie kuckt, kënnt Dir gesinn datt d'Fligeren onofhängeg sinn, all Fliger kann eleng gebaut ginn. Awer wa mir esou e Bündel addéieren an de ganze Patch Panel an e Patch Panel wëllen zéien, musse mir verschidde Fligeren an engem Bündel vermëschen an eng Zwëschenstruktur a Form vun opteschen Kräizverbindungen aféieren fir se zréckzepacken aus wéi se zesummegesat goufen op engem Segment, a wéi se op engem anere Segment gesammelt ginn. Dank dësem kréie mir eng flott Feature: all déi komplex Schalter geet net iwwer d'Racken. Wann Dir eppes ganz staark muss intertwine, "d'Fligeren ausklappen", wéi et heiansdo a Clos Netzwierker genannt gëtt, ass alles an engem Rack konzentréiert. Mir hunn net héich demontéiert, erof op eenzel Linken, Wiessel tëscht Racken.
Esou gesäit et aus der Siicht vun der logescher Organisatioun vun der Kabelinfrastruktur aus. Am Bild op der lénker Säit weisen déi multi-faarweg Blöcke Blöcke vun éischte-Niveau Wirbelschalter, jee aacht Stécker, a véier Bündel vu Kabelen, déi vun hinnen kommen, déi goen a sech mat de Bündelen, déi aus de Blöcke vun Wirbelsäule-2 Schalter kommen .
Kleng Quadrate weisen Kräizungen un. Uewe lénks ass en Decompte vun all esou Kräizung, dëst ass tatsächlech e 512 vun 512 Port Cross-Connect Modul deen d'Kabelen nei packt fir datt se komplett an ee Rack kommen, wou et nëmmen eng Spine-2 Fliger ass. An op der rietser Säit ass e Scan vun dësem Bild e bësse méi detailléiert a Relatioun mat verschiddene Pods um Wirbelsäule-1 Niveau, a wéi et an engem Cross-Connect verpackt ass, wéi et um Wirbelsäule-2 Niveau kënnt.
Dëst ass wéi et ausgesäit. Den nach net komplett montéierte Spin-2 Stand (lénks) an de Cross-Connect Stand. Leider ass do net vill ze gesinn. Dës ganz Struktur gëtt grad elo an engem vun eise groussen Datenzenteren agesat, deen ausgebaut gëtt. Dëst ass eng Aarbecht amgaang, et wäert méi schéin ausgesinn, et gëtt besser ausgefëllt.
Eng wichteg Fro: mir hunn déi logesch Topologie gewielt an d'Physik gebaut. Wat geschitt mat der Kontroll Fliger? Et ass zimmlech gutt bekannt aus der Operatiounserfahrung, et ginn eng Zuel vu Berichter déi Link Staatsprotokoller gutt sinn, et ass e Genoss mat hinnen ze schaffen, awer, leider, se skaléieren net gutt op enger dichter verbonne Topologie. An et gëtt een Haaptfaktor deen dëst verhënnert - dëst ass wéi Iwwerschwemmung a Linkstaatprotokoller funktionnéiert. Wann Dir just den Iwwerschwemmungsalgorithmus hëlt a kuckt wéi eist Netzwierk strukturéiert ass, kënnt Dir gesinn datt et e ganz grousse Fanout bei all Schrëtt gëtt, an et wäert einfach d'Kontrollplan mat Updates iwwerschwemmt. Speziell vermëschen esou Topologien ganz schlecht mam traditionellen Iwwerschwemmungsalgorithmus a Linkstaatprotokoller.
D'Wiel ass BGP ze benotzen. Wéi et richteg ze preparéieren ass am RFC 7938 beschriwwen iwwer d'Benotzung vu BGP a groussen Datenzenteren. D'Basis Iddien sinn einfach: Minimum Zuel vu Präfixe pro Host an allgemeng Minimum Zuel vu Präfixe am Netz, benotzen Aggregatioun wa méiglech, an Ënnerdréckung Wee Juegd. Mir wëllen eng ganz virsiichteg, ganz kontrolléiert Verdeelung vun Aktualiséierungen, wat heescht Dall fräi . Mir wëllen d'Aktualiséierunge genee eemol ofgesat ginn wéi se duerch d'Netzwierk passéieren. Wa se um Buedem entstinn, gi se erop, entfalen net méi wéi eemol. Et sollt keng Zickzack sinn. Zigzags si ganz schlecht.
Fir dëst ze maachen, benotze mir en Design deen einfach genuch ass fir déi Basisdaten BGP Mechanismen ze benotzen. Dat ass, mir benotzen eBGP Lafen op Link lokal, an autonom Systemer ginn wéi follegt zougewisen: en autonome System op ToR, en autonome System op de ganze Block vun der Wirbelsäit-1 Schalter vun engem Pod, an en allgemengen autonome System op der ganzer Top vum Stoff. Et ass net schwéier ze kucken a gesinn datt och dat normal Verhalen vu BGP eis d'Verdeelung vun Updates gëtt, déi mir wëllen.
Natierlech muss d'Adresséierung an d'Adressaggregatioun entworf ginn sou datt et kompatibel ass mat der Aart a Weis wéi d'Routing gebaut ass, sou datt et d'Stabilitéit vum Kontrollebene garantéiert. D'L3 Adresséierung am Transport ass un d'Topologie gebonnen, well ouni dëst ass et onméiglech fir Aggregatioun z'erreechen; ouni dëst kräischen eenzel Adressen an de Routingsystem. An nach eng Saach ass, datt d'Aggregatioun, leider, net ganz gutt mat Multi-Path vermëscht, well wa mir Multi-Path hunn a mir hunn Aggregatioun, ass alles gutt, wann de ganze Reseau gesond ass, gëtt et keng Feeler dran. Leider, soubal d'Feeler am Netz erscheinen an d'Symmetrie vun der Topologie verluer ass, kënne mir op de Punkt kommen, aus deem d'Eenheet ugekënnegt gouf, aus deem mir net méi wäit kënne goen, wou mir musse goen. Dofir ass et am beschten ze aggregéieren wou et kee weidere Multi-Wee gëtt, an eisem Fall sinn dës ToR Schalter.
Tatsächlech ass et méiglech ze aggregéieren, awer suergfälteg. Wa mir kontrolléiert Disaggregatioun maache kënnen wann Netzwierkfehler optrieden. Awer dëst ass zimmlech eng schwiereg Aufgab, mir hu sech souguer gefrot ob et méiglech wier dëst ze maachen, ob et méiglech wier zousätzlech Automatisatioun ze addéieren, a finite Staatsmaschinnen déi BGP korrekt géife kicken fir dat gewënschte Verhalen ze kréien. Leider, Veraarbechtung Corner Fäll ganz net offensichtlech a komplex, an dëser Aufgab ass net gutt geléist vun befestegt externen Uschlëss ze BGP.
Ganz interessant Aarbecht an deem Sënn gouf am Kader vum RIFT-Protokoll gemaach, deen am nächste Rapport diskutéiert gëtt.
Eng aner wichteg Saach ass wéi Datefliger an dichten Topologien skaléieren, wou mir eng grouss Zuel vun alternativ Weeër hunn. An dësem Fall gi verschidde zousätzlech Datestrukture benotzt: ECMP Gruppen, déi am Tour Next Hop Gruppen beschreiwen.
An engem normalerweis funktionnéierende Netzwierk, ouni Feeler, wa mir d'Clos-Topologie eropgoen, ass et genuch fir nëmmen eng Grupp ze benotzen, well alles wat net lokal ass als Standard beschriwwe gëtt, kënne mir eropgoen. Wa mir vun uewe bis ënnen no Süden ginn, da sinn all Weeër net ECMP, si sinn eenzel Weeër. Alles ass gutt. De Problem ass, an d'Besonderheet vun der klassescher Clos-Topologie ass datt wa mir um Top vum Stoff kucken, op all Element, gëtt et nëmmen ee Wee fir all Element drënner. Wann d'Feeler op dësem Wee optrieden, da gëtt dëst besonnescht Element uewen op der Fabréck ongülteg fir déi Präfixe, déi hannert dem gebrochene Wee leien. Awer fir de Rescht ass et valabel, a mir mussen d'ECMP Gruppen analyséieren an en neie Staat aféieren.
Wéi gesäit d'Skalierbarkeet vum Datefliger op modernen Apparater aus? Wa mir LPM maachen (längste Präfix Match), alles ass ganz gutt, iwwer 100k Präfix. Wa mir iwwer Next Hop Gruppen schwätzen, dann ass alles méi schlëmm, 2-4 dausend. Wa mir vun engem Dësch schwätzen, déi eng Beschreiwung vun Next Hops (oder adjacencies) enthält, dann ass dëst iergendwou vun 16k bis 64k. An dëst kann e Problem ginn. An hei komme mer zu enger interessanter Degressioun: wat ass mam MPLS an den Datenzenter geschitt? Am Prinzip wollte mer dat maachen.
Zwou Saache sinn geschitt. Mir hunn Mikro-Segmentatioun op de Hosten gemaach; mir brauche et net méi am Netz ze maachen. Et war net ganz gutt mat Ënnerstëtzung vu verschiddene Verkeefer, an nach méi mat oppenen Implementatiounen op wäiss Këschte mat MPLS. An MPLS, op d'mannst seng traditionell Implementatiounen, leider, kombinéiert ganz schlecht mat ECMP. An dofir.
Dëst ass wéi d'ECMP Forwarding Struktur fir IP ausgesäit. Eng grouss Zuel vu Präfixe kann déi selwecht Grupp an déi selwecht Next Hops Spär benotzen (oder adjacencies, dëst kann anescht an verschidden Dokumentatioun fir verschidden Apparater genannt ginn). De Punkt ass datt dëst als den erausginn Hafen beschriwwe gëtt a wat fir d'MAC Adress ze schreiwen fir op de richtege Next Hop ze kommen. Fir IP gesäit alles einfach aus, Dir kënnt eng ganz grouss Zuel vu Präfixe fir déiselwecht Grupp benotzen, déiselwecht Next Hops Block.
Déi klassesch MPLS Architektur implizéiert datt, ofhängeg vun der erausginn Interface, de Label op verschidde Wäerter nei geschriwwe ka ginn. Dofir musse mir e Grupp an e Next Hops Block fir all Input Label halen. An dëst, leider, net Skala.
Et ass einfach ze gesinn datt mir an eisem Design ongeféier 4000 ToR Schalter gebraucht hunn, déi maximal Breet war 64 ECMP Weeër, wa mir vun der Wirbelsäit-1 a Richtung Wirbelsäit-2 fortgoen. Mir kommen knapps an een Dësch vun ECMP Gruppen, wann nëmmen ee Präfix mat ToR geet ewech, a mir kommen guer net an den nächsten Hops Dësch.
Et ass net alles hoffnungslos, well Architekturen wéi Segment Routing involvéieren global Etiketten. Formell wier et méiglech, all dës Next Hops-Blöcke erëm zesummenzebréngen. Fir dëst ze maachen, braucht Dir eng Wild Card Typ Operatioun: Huelt e Label an schreiwt et op déiselwecht ouni spezifesche Wäert. Awer leider ass dëst net ganz präsent an de verfügbaren Implementatiounen.
A schlussendlech musse mir den externen Traffic an den Rechenzentrum bréngen. Wéi maachen et? Virdru gouf de Verkéier vun uewen an de Clos Netz agefouert. Dat ass, et waren Randrouter déi mat all Apparater um Top of Stoff verbonne sinn. Dës Léisung funktionnéiert ganz gutt op kleng bis mëttel Gréissten. Leider, fir de Traffic symmetresch op de ganze Netz op dës Manéier ze schécken, musse mir gläichzäiteg un all Elementer vum Top of Stoff kommen, a wann et méi wéi honnert vun hinnen ass, stellt sech eraus datt mir och eng grouss brauchen. radix op de Rand routers. Am Allgemengen kascht dëst Geld, well Randrouter méi funktionell sinn, d'Ports op hinnen wäerte méi deier sinn, an den Design ass net ganz schéin.
Eng aner Optioun ass esou Traffic vun ënnen unzefänken. Et ass einfach ze verifizéieren datt d'Clos Topologie esou gebaut ass datt den Traffic vun ënnen, dat heescht vun der ToR Säit, gläichméisseg iwwer d'Niveauen iwwer de ganzen Top of Stoff an zwou Iteratiounen verdeelt gëtt, de ganzen Netz gelueden. Dofir stellen mir eng speziell Aart vu Pod vir, Edge Pod, déi extern Konnektivitéit ubitt.
Et gëtt eng méi Optioun. Dat mécht Facebook zum Beispill. Si nennen et Fabric Aggregator oder HGRID. En zousätzleche Wirbelsniveau gëtt agefouert fir verschidde Rechenzentren ze verbannen. Dësen Design ass méiglech wa mir keng zousätzlech Funktiounen oder Verschlësselungsännerungen op den Interfaces hunn. Wann se zousätzlech Touch Points sinn, ass et schwéier. Typesch ginn et méi Funktiounen an eng Art Membran déi verschidden Deeler vum Rechenzentrum trennt. Et ass kee Sënn fir sou eng Membran grouss ze maachen, awer wann et wierklech aus irgendege Grënn gebraucht gëtt, ass et Sënn fir d'Méiglechkeet ze berücksichtegen, se ewechzehuelen, sou breet wéi méiglech ze maachen an et an d'Host ze transferéieren. Dëst gëtt zum Beispill vu ville Cloudbetreiber gemaach. Si hunn Iwwerlagerungen, si fänken un vun den Hosten.
Wéi eng Entwécklungsméiglechkeete gesi mir? Éischtens, d'Ënnerstëtzung fir d'CI / CD Pipeline ze verbesseren. Mir wëllen de Wee fléien wéi mir testen an testen wéi mir fléien. Dëst funktionnéiert net ganz gutt, well d'Infrastruktur grouss ass an et onméiglech ass fir Tester ze duplizéieren. Dir musst verstoen wéi Dir Testelementer an d'Produktiounsinfrastruktur aféiere kënnt ouni se ze falen.
Besser Instrumenter a besser Iwwerwaachung si bal ni iwwerflësseg. Déi ganz Fro ass e Gläichgewiicht vun Effort a Retour. Wann Dir et mat raisonnabel Effort derbäi kënnt, ganz gutt.
Open Betribssystemer fir Reseau Apparater. Besser Protokoller a bessere Routingsystemer, wéi RIFT. Fuerschung ass och gebraucht fir d'Benotzung vu bessere Stau Kontrollschemaen a vläicht d'Aféierung, op d'mannst op e puer Punkten, vun der RDMA Ënnerstëtzung am Cluster.
Wa mir méi an d'Zukunft kucken, brauche mir fortgeschratt Topologien a méiglecherweis Netzwierker déi manner Overhead benotzen. Vun de frësche Saachen goufen et viru kuerzem Publikatiounen iwwer d'Stofftechnologie fir HPC Cray Slingshot, déi op Commodity Ethernet baséiert, awer mat der Optioun fir vill méi kuerz Header ze benotzen. Als Resultat gëtt d'Ofdreiwung reduzéiert.
Alles soll sou einfach wéi méiglech gehale ginn, awer net méi einfach. Komplexitéit ass de Feind vun der Skalierbarkeet. Einfachheet a regelméisseg Strukturen sinn eis Frënn. Wann Dir iergendwou d'Skala maache kënnt, maacht et. An am Allgemengen ass et super elo un Netzwierktechnologien involvéiert ze sinn. Et gi vill interessant Saachen lass. Merci.
Source: will.com