A ti ṣe agbekalẹ apẹrẹ nẹtiwọọki ile-iṣẹ data ti o fun laaye imuṣiṣẹ ti awọn iṣupọ iširo ti o tobi ju awọn olupin 100 ẹgbẹrun pẹlu bandiwidi bisection tente ti o ju petabyte kan fun iṣẹju kan.
Lati ijabọ Dmitry Afanasyev iwọ yoo kọ ẹkọ nipa awọn ipilẹ ipilẹ ti apẹrẹ tuntun, awọn topologies igbelosoke, awọn iṣoro ti o dide pẹlu eyi, awọn aṣayan fun lohun wọn, awọn ẹya ara ẹrọ ti ipa-ọna ati iwọn awọn iṣẹ gbigbe ọkọ ofurufu ti awọn ẹrọ nẹtiwọọki ode oni ni “ti sopọ mọ iwuwo” topologies pẹlu nọmba nla ti awọn ipa-ọna ECMP. Ni afikun, Dima sọ ni ṣoki nipa iṣeto ti Asopọmọra ita, Layer ti ara, eto cabling ati awọn ọna lati mu agbara pọ si siwaju sii.
- Ti o dara Friday gbogbo eniyan! Orukọ mi ni Dmitry Afanasyev, Mo jẹ ayaworan nẹtiwọọki ni Yandex ati ni akọkọ ṣe apẹrẹ awọn nẹtiwọọki aarin data.
Itan mi yoo jẹ nipa nẹtiwọọki imudojuiwọn ti awọn ile-iṣẹ data Yandex. O jẹ itankalẹ pupọ ti apẹrẹ ti a ni, ṣugbọn ni akoko kanna awọn eroja tuntun wa. Eyi jẹ igbejade Akopọ nitori ọpọlọpọ alaye lo wa lati ṣajọ sinu iye akoko diẹ. A yoo bẹrẹ nipa yiyan topology ogbon. Lẹhinna yoo jẹ awotẹlẹ ti ọkọ ofurufu iṣakoso ati awọn iṣoro pẹlu iwọn data ọkọ ofurufu, yiyan ohun ti yoo ṣẹlẹ ni ipele ti ara, ati pe a yoo wo diẹ ninu awọn ẹya ti awọn ẹrọ naa. Jẹ ki a fi ọwọ kan diẹ lori ohun ti n ṣẹlẹ ni ile-iṣẹ data pẹlu MPLS, eyiti a ti sọrọ nipa igba diẹ sẹhin.
Nitorinaa, kini Yandex ni awọn ofin ti awọn ẹru ati awọn iṣẹ? Yandex jẹ hyperscaler aṣoju. Ti a ba wo awọn olumulo, a ṣe ilana awọn ibeere olumulo ni akọkọ. Paapaa awọn iṣẹ ṣiṣanwọle oriṣiriṣi ati gbigbe data, nitori a tun ni awọn iṣẹ ibi ipamọ. Ti o ba sunmo ẹhin, lẹhinna awọn ẹru amayederun ati awọn iṣẹ yoo han nibẹ, gẹgẹbi ibi ipamọ ohun ti a pin kaakiri, ẹda data ati, dajudaju, awọn ila itẹramọṣẹ. Ọkan ninu awọn oriṣi akọkọ ti awọn ẹru iṣẹ jẹ MapReduce ati awọn ọna ṣiṣe ti o jọra, ṣiṣe ṣiṣanwọle, ikẹkọ ẹrọ, ati bẹbẹ lọ.
Bawo ni awọn amayederun lori oke eyiti gbogbo eyi ṣẹlẹ? Lẹẹkansi, a jẹ hyperscaler aṣoju lẹwa, botilẹjẹpe a wa ni isunmọ diẹ si ẹgbẹ hyperscaler ti o kere julọ ti spekitiriumu naa. Sugbon a ni gbogbo awọn eroja. A lo ohun elo eru ati wiwọn petele nibikibi ti o ṣeeṣe. A ni kikun awọn orisun orisun: a ko ṣiṣẹ pẹlu awọn ẹrọ kọọkan, awọn agbeko kọọkan, ṣugbọn darapọ wọn sinu adagun nla ti awọn orisun paarọ pẹlu diẹ ninu awọn iṣẹ afikun ti o ṣe pẹlu igbero ati ipin, ati ṣiṣẹ pẹlu gbogbo adagun yii.
Nitorinaa a ni ipele atẹle - ẹrọ ṣiṣe ni ipele iṣupọ iširo. O ṣe pataki pupọ pe ki a ṣakoso ni kikun akopọ imọ-ẹrọ ti a lo. A šakoso awọn endpoints (ogun), nẹtiwọki ati software akopọ.
A ni ọpọlọpọ awọn ile-iṣẹ data nla ni Russia ati ni okeere. Wọn ti wa ni iṣọkan nipasẹ ẹhin ti o nlo imọ-ẹrọ MPLS. Awọn amayederun inu wa ti fẹrẹ kọ patapata lori IPv6, ṣugbọn niwọn igba ti a nilo lati sin ijabọ ita ti o tun wa ni pataki lori IPv4, a gbọdọ bakan fi awọn ibeere ti n bọ lori IPv4 si awọn olupin iwaju, ati diẹ diẹ sii lọ si IPv4- Intanẹẹti ita - fun apẹẹrẹ, fun titọka.
Awọn aṣetunṣe diẹ ti o kẹhin ti awọn apẹrẹ nẹtiwọọki aarin data ti lo awọn topologies Clos pupọ-Layer ati pe o jẹ L3-nikan. A fi L2 silẹ ni igba diẹ sẹyin o si simi kan sigh ti iderun. Nikẹhin, awọn amayederun wa pẹlu awọn ọgọọgọrun egbegberun awọn iṣẹlẹ iṣiro (olupin). Iwọn iṣupọ ti o pọju ni akoko diẹ sẹhin jẹ nipa awọn olupin 10 ẹgbẹrun. Eyi jẹ pataki nitori bii awọn ọna ṣiṣe ipele iṣupọ kanna, awọn oluṣeto, ipin awọn orisun, ati bẹbẹ lọ le ṣiṣẹ.Niwọn igba ti ilọsiwaju ti ṣẹlẹ ni ẹgbẹ ti sọfitiwia amayederun, iwọn ibi-afẹde jẹ bayi nipa awọn olupin 100 ẹgbẹrun ni iṣupọ iširo kan, ati A ni iṣẹ-ṣiṣe kan - lati ni anfani lati kọ awọn ile-iṣẹ nẹtiwọọki ti o gba laaye ikojọpọ awọn orisun daradara ni iru iṣupọ kan.
Kini a fẹ lati nẹtiwọki ile-iṣẹ data kan? Ni akọkọ, olowo poku pupọ wa ati bandiwidi pinpin iṣọkan ni iṣọkan. Nitori nẹtiwọki jẹ egungun ẹhin nipasẹ eyiti a le ṣajọpọ awọn ohun elo. Iwọn ibi-afẹde tuntun jẹ nipa awọn olupin 100 ẹgbẹrun ni iṣupọ kan.
A tun, nitorinaa, fẹ ọkọ ofurufu iṣakoso iwọn ati iduroṣinṣin, nitori lori iru amayederun nla kan ọpọlọpọ awọn efori dide paapaa lati awọn iṣẹlẹ lairotẹlẹ larọwọto, ati pe a ko fẹ ki ọkọ ofurufu iṣakoso lati mu awọn efori wa pẹlu. Ni akoko kanna, a fẹ lati dinku ipinle ninu rẹ. Ipo ti o kere julọ, ohun gbogbo dara ati iduroṣinṣin diẹ sii, ati pe o rọrun lati ṣe iwadii aisan.
Nitoribẹẹ, a nilo adaṣe, nitori ko ṣee ṣe lati ṣakoso iru awọn amayederun pẹlu ọwọ, ati pe ko ṣee ṣe fun igba diẹ. A nilo atilẹyin iṣẹ bi o ti ṣee ṣe ati atilẹyin CI / CD si iye ti o le pese.
Pẹlu iru awọn iwọn ti awọn ile-iṣẹ data ati awọn iṣupọ, iṣẹ ṣiṣe ti atilẹyin imuṣiṣẹ afikun ati imugboroja laisi idalọwọduro iṣẹ ti di ohun ti o ga pupọ. Ti o ba wa lori awọn iṣupọ ti iwọn ẹgbẹrun awọn ẹrọ, boya o sunmọ awọn ẹrọ ẹgbẹrun mẹwa, wọn tun le yiyi bi iṣẹ kan - iyẹn ni, a n gbero imugboroja ti awọn amayederun, ati pe ọpọlọpọ awọn ẹrọ ni a ṣafikun bi iṣẹ kan, lẹhinna iṣupọ ti iwọn awọn ẹrọ ọgọrun ẹgbẹrun ko dide lẹsẹkẹsẹ bi eleyi, o ti kọ ni akoko kan. Ati pe o jẹ iwunilori pe ni gbogbo akoko yii ohun ti a ti fa jade tẹlẹ, awọn amayederun ti a ti gbe lọ, yẹ ki o wa.
Ati ibeere kan ti a ni ati fi silẹ: atilẹyin fun multitenancy, iyẹn ni, agbara ipa tabi ipin nẹtiwọki. Nisisiyi a ko nilo lati ṣe eyi ni ipele nẹtiwọki nẹtiwọki, nitori pe sharding ti lọ si awọn ọmọ-ogun, ati pe eyi ti jẹ ki irẹjẹ rọrun pupọ fun wa. Ṣeun si IPv6 ati aaye adirẹsi nla kan, a ko nilo lati lo awọn adirẹsi ẹda-iwe ni awọn amayederun inu; gbogbo adirẹsi ti jẹ alailẹgbẹ tẹlẹ. Ati pe o ṣeun si otitọ pe a ti mu sisẹ ati ipin nẹtiwọọki si awọn ọmọ-ogun, a ko nilo lati ṣẹda eyikeyi awọn nkan nẹtiwọọki foju ni awọn nẹtiwọọki aarin data.
Ohun pataki kan ni ohun ti a ko nilo. Ti diẹ ninu awọn iṣẹ le yọkuro lati inu nẹtiwọọki, eyi jẹ ki igbesi aye rọrun pupọ, ati, gẹgẹ bi ofin, gbooro yiyan ohun elo ati sọfitiwia ti o wa, ṣiṣe awọn iwadii aisan rọrun pupọ.
Nitorina, kini o jẹ pe a ko nilo, kini a ti le fi silẹ, kii ṣe nigbagbogbo pẹlu ayọ ni akoko ti o ṣẹlẹ, ṣugbọn pẹlu iderun nla nigbati ilana naa ba pari?
Ni akọkọ, kọ L2 silẹ. A ko nilo L2, bẹni gidi tabi emulated. Lilo pupọ nitori otitọ pe a ṣakoso akopọ ohun elo naa. Awọn ohun elo wa jẹ iwọn ti nâa, wọn ṣiṣẹ pẹlu sisọ L3, wọn ko ni aibalẹ pupọ pe diẹ ninu apẹẹrẹ ẹni kọọkan ti jade, wọn kan yiyi tuntun kan, ko nilo lati yiyi ni adirẹsi atijọ, nitori pe o wa kan ipele lọtọ ti iṣawari iṣẹ ati ibojuwo awọn ẹrọ ti o wa ninu iṣupọ. A ko fi iṣẹ-ṣiṣe yii si nẹtiwọki. Iṣẹ nẹtiwọọki ni lati fi awọn apo-iwe ranṣẹ lati aaye A si aaye B.
A tun ko ni awọn ipo nibiti awọn adirẹsi n gbe laarin nẹtiwọọki, ati pe eyi nilo lati ṣe abojuto. Ni ọpọlọpọ awọn aṣa eyi ni igbagbogbo nilo lati ṣe atilẹyin arinbo VM. A ko lo iṣipopada ti awọn ẹrọ foju ni awọn amayederun inu ti Yandex nla, ati, pẹlupẹlu, a gbagbọ pe paapaa ti eyi ba ṣe, ko yẹ ki o ṣẹlẹ pẹlu atilẹyin nẹtiwọọki. Ti o ba nilo lati ṣe eyi gaan, o nilo lati ṣe ni ipele agbalejo, ati titari awọn adirẹsi ti o le jade lọ si awọn agbekọja, ki o má ba fọwọkan tabi ṣe ọpọlọpọ awọn ayipada agbara pupọ si eto ipa-ọna ti abẹlẹ funrararẹ (nẹtiwọọki gbigbe) .
Imọ-ẹrọ miiran ti a ko lo jẹ multicast. Ti o ba fẹ, Mo le sọ fun ọ ni alaye idi. Eyi jẹ ki igbesi aye rọrun pupọ, nitori ti ẹnikan ba ti ṣe pẹlu rẹ ati wo ni pato ohun ti ọkọ ofurufu iṣakoso multicast dabi, ni gbogbo ṣugbọn awọn fifi sori ẹrọ ti o rọrun julọ, eyi jẹ orififo nla kan. Ati pe kini diẹ sii, o ṣoro lati wa imuse orisun ṣiṣi ti n ṣiṣẹ daradara, fun apẹẹrẹ.
Nikẹhin, a ṣe apẹrẹ awọn nẹtiwọọki wa ki wọn ko yipada pupọ. A le gbekele lori otitọ pe ṣiṣan ti awọn iṣẹlẹ ita ni eto ipa-ọna jẹ kekere.
Awọn iṣoro wo ni o waye ati awọn ihamọ wo ni a gbọdọ ṣe sinu akọọlẹ nigba ti a ba dagbasoke nẹtiwọọki ile-iṣẹ data kan? Iye owo, dajudaju. Scalability, ipele ti a fẹ lati dagba. Iwulo lati faagun laisi idaduro iṣẹ naa. Bandiwidi, wiwa. Hihan ohun ti n ṣẹlẹ lori nẹtiwọọki fun awọn eto ibojuwo, fun awọn ẹgbẹ ṣiṣe. Atilẹyin adaṣe - lẹẹkansi, bi o ti ṣee ṣe, nitori awọn iṣẹ ṣiṣe oriṣiriṣi le ṣee yanju ni awọn ipele oriṣiriṣi, pẹlu iṣafihan awọn ipele afikun. O dara, kii ṣe [ṣee ṣe] da lori awọn olutaja. Botilẹjẹpe ni awọn akoko itan oriṣiriṣi, da lori apakan wo ti o wo, ominira yii rọrun tabi nira sii lati ṣaṣeyọri. Ti a ba gba apakan-agbelebu ti awọn eerun ẹrọ nẹtiwọọki, lẹhinna titi di aipẹ o jẹ majemu pupọ lati sọrọ nipa ominira lati ọdọ awọn olutaja, ti a ba tun fẹ awọn eerun pẹlu iṣelọpọ giga.
Kini topology ọgbọn ti a yoo lo lati kọ nẹtiwọọki wa? Eyi yoo jẹ Clos ipele pupọ. Ni otitọ, ko si awọn omiiran gidi ni akoko yii. Ati pe topology Clos jẹ ohun ti o dara, paapaa nigba akawe si ọpọlọpọ awọn topologies ti ilọsiwaju ti o jẹ diẹ sii ni agbegbe ti iwulo ile-ẹkọ ni bayi, ti a ba ni awọn iyipada radix nla.
Bawo ni nẹtiwọọki Clos ti ọpọlọpọ-ipele ni aijọju ati kini awọn eroja oriṣiriṣi ti a pe ninu rẹ? Ni akọkọ, afẹfẹ dide, lati kọ ara rẹ ni ibiti ariwa wa, nibo ni guusu, nibo ni ila-oorun, nibo ni iwọ-oorun. Awọn nẹtiwọki ti iru yii ni a maa n kọ nipasẹ awọn ti o ni ijabọ iwọ-oorun-oorun ti o tobi pupọ. Bi fun awọn eroja ti o ku, ni oke jẹ iyipada foju kan ti o pejọ lati awọn iyipada kekere. Eyi ni imọran akọkọ ti ikole atunṣe ti awọn nẹtiwọọki Clos. A mu awọn eroja pẹlu iru radix kan ki o so wọn pọ ki ohun ti a gba ni a le kà bi iyipada pẹlu radix nla kan. Ti o ba nilo paapaa diẹ sii, ilana naa le tun ṣe.
Ni awọn ọran, fun apẹẹrẹ, pẹlu Clos ipele-meji, nigbati o ṣee ṣe lati ṣe idanimọ awọn paati ti o wa ni inaro ninu aworan atọka mi, wọn nigbagbogbo pe awọn ọkọ ofurufu. Ti a ba kọ Clos kan pẹlu awọn ipele mẹta ti awọn iyipada ọpa ẹhin (gbogbo eyiti kii ṣe aala tabi awọn iyipada ToR ati eyiti a lo fun gbigbe nikan), lẹhinna awọn ọkọ ofurufu yoo dabi eka diẹ sii; awọn ipele meji-ipele dabi iru eyi. A pe bulọọki ti ToR tabi awọn iyipada ewe ati awọn iyipada ọpa ẹhin ipele akọkọ ti o ni nkan ṣe pẹlu wọn Pod kan. Awọn iyipada ọpa ẹhin ti ipele ẹhin-1 ni oke ti Pod jẹ oke ti Pod, oke ti Pod. Awọn iyipada ti o wa ni oke ti gbogbo ile-iṣẹ jẹ ipele ti o ga julọ ti ile-iṣẹ, Top of fabric.
Nitoribẹẹ, ibeere naa waye: Awọn nẹtiwọọki Clos ti kọ fun igba diẹ; imọran funrararẹ ni gbogbogbo wa lati awọn akoko ti tẹlifoonu kilasika, awọn nẹtiwọọki TDM. Boya ohun ti o dara ju ti han, boya nkankan le ṣee ṣe dara julọ? Bẹẹni ati bẹẹkọ. Ni imọ-jinlẹ bẹẹni, ni iṣe ni ọjọ iwaju nitosi pato kii ṣe. Nitoripe nọmba awọn topologies ti o nifẹ si wa, diẹ ninu wọn paapaa lo ni iṣelọpọ, fun apẹẹrẹ, Dragonfly ti lo ni awọn ohun elo HPC; Awọn topologies ti o nifẹ si tun wa bii Xpander, FatClique, Jellyfish. Ti o ba wo awọn ijabọ ni awọn apejọ bi SIGCOMM tabi NSDI laipẹ, o le wa nọmba ti o tobi pupọ ti awọn iṣẹ lori awọn topologies yiyan ti o ni awọn ohun-ini to dara julọ (ọkan tabi omiiran) ju Clos.
Ṣugbọn gbogbo awọn topologies wọnyi ni ohun-ini ti o nifẹ kan. O ṣe idiwọ imuse wọn ni awọn nẹtiwọọki ile-iṣẹ data, eyiti a ngbiyanju lati kọ lori ohun elo eru ati eyiti o jẹ owo ti o ni oye pupọ. Ninu gbogbo awọn topologies yiyan wọnyi, pupọ julọ bandiwidi jẹ laanu ko wa nipasẹ awọn ọna kukuru. Nitorinaa, a padanu aye lẹsẹkẹsẹ lati lo ọkọ ofurufu iṣakoso ibile.
Ni imọ-jinlẹ, ojutu si iṣoro naa ni a mọ. Iwọnyi jẹ, fun apẹẹrẹ, awọn iyipada ti ipo ọna asopọ nipa lilo ọna k-kuru ju, ṣugbọn, lẹẹkansi, ko si iru awọn ilana ti yoo ṣe imuse ni iṣelọpọ ati wa lọpọlọpọ lori ohun elo.
Pẹlupẹlu, niwọn igba ti agbara pupọ julọ ko ni iraye nipasẹ awọn ọna kukuru, a nilo lati yipada diẹ sii ju ọkọ ofurufu iṣakoso lọ lati yan gbogbo awọn ipa-ọna wọnyẹn (ati nipasẹ ọna, eyi jẹ ipo pataki diẹ sii ni ọkọ ofurufu iṣakoso). A tun nilo lati yipada ọkọ ofurufu gbigbe, ati, bi ofin, o kere ju awọn ẹya afikun meji ni a nilo. Eyi ni agbara lati ṣe gbogbo awọn ipinnu nipa fifiranšẹ siwaju soso ni akoko kan, fun apẹẹrẹ, lori agbalejo. Ni otitọ, eyi jẹ ipa ọna orisun, nigbakan ninu awọn iwe-iwe lori awọn nẹtiwọọki isọpọ eyi ni a pe ni gbogbo-ni-lẹẹkan awọn ipinnu gbigbe siwaju. Ati ipa ọna adaṣe jẹ iṣẹ ti a nilo lori awọn eroja nẹtiwọọki, eyiti o ṣan silẹ, fun apẹẹrẹ, si otitọ pe a yan hop atẹle ti o da lori alaye nipa fifuye ti o kere julọ lori isinyi. Fun apẹẹrẹ, awọn aṣayan miiran ṣee ṣe.
Nitorinaa, itọsọna naa jẹ iyanilenu, ṣugbọn, ala, a ko le lo ni bayi.
O dara, a yanju lori Clos mogbonwa topology. Bawo ni a yoo ṣe iwọn rẹ? Jẹ ká wo bi o ti ṣiṣẹ ati ohun ti o le ṣee ṣe.
Ninu nẹtiwọọki Clos awọn aye akọkọ meji wa ti a le ṣe iyatọ ati gba awọn abajade kan: radix ti awọn eroja ati nọmba awọn ipele ninu nẹtiwọọki. Mo ni aworan atọka ti bii mejeeji ṣe ni ipa lori iwọn naa. Apere, a darapọ awọn mejeeji.
O le rii pe iwọn ipari ti nẹtiwọọki Clos jẹ ọja ti gbogbo awọn ipele ti awọn iyipada ọpa ẹhin ti radix gusu, melo ni awọn ọna asopọ ti a ni isalẹ, bawo ni awọn ẹka. Eyi ni bii a ṣe ṣe iwọn iwọn nẹtiwọọki naa.
Nipa agbara, ni pataki lori awọn iyipada ToR, awọn aṣayan igbelowọn meji wa. Boya a le, lakoko ti o n ṣetọju topology gbogbogbo, lo awọn ọna asopọ yiyara, tabi a le ṣafikun awọn ọkọ ofurufu diẹ sii.
Ti o ba wo ẹya ti o gbooro ti nẹtiwọọki Clos (ni igun apa ọtun isalẹ) ati pada si aworan yii pẹlu nẹtiwọọki Clos ni isalẹ…
... lẹhinna eyi jẹ deede topology kanna, ṣugbọn lori ifaworanhan yii o ti ṣubu ni irẹpọ diẹ sii ati pe awọn ọkọ ofurufu ti ile-iṣẹ naa ti wa lori ara wọn. Bakan naa ni.
Kini wiwọn nẹtiwọọki Clos kan dabi ni awọn nọmba? Nibi Mo pese data lori kini iwọn ti o pọ julọ ti nẹtiwọọki kan le gba, kini nọmba ti o pọju awọn agbeko, awọn iyipada ToR tabi awọn iyipada ewe, ti wọn ko ba wa ninu awọn agbeko, a le gba da lori kini radix ti awọn iyipada ti a lo fun awọn ipele ọpa ẹhin, ati awọn ipele melo ni a lo.
Eyi ni iye awọn agbeko ti a le ni, awọn olupin melo ati isunmọ iye ti gbogbo eyi le jẹ ti o da lori 20 kW fun agbeko. Ni iṣaaju Mo mẹnuba pe a n ṣe ifọkansi fun iwọn iṣupọ ti o to awọn olupin 100 ẹgbẹrun.
O le rii pe ni gbogbo apẹrẹ yii, awọn aṣayan meji ati idaji jẹ iwulo. Aṣayan wa pẹlu awọn ipele meji ti awọn ọpa ẹhin ati awọn iyipada ibudo 64, eyiti o ṣubu ni kukuru diẹ. Lẹhinna awọn aṣayan ti o yẹ ni pipe fun ibudo 128 (pẹlu radix 128) awọn iyipada ọpa ẹhin pẹlu awọn ipele meji, tabi awọn iyipada pẹlu radix 32 pẹlu awọn ipele mẹta. Ati ni gbogbo igba, nibiti awọn radixes diẹ sii ati awọn fẹlẹfẹlẹ diẹ sii, o le ṣe nẹtiwọọki ti o tobi pupọ, ṣugbọn ti o ba wo agbara ti a nireti, ni igbagbogbo awọn gigawatts wa. O ṣee ṣe lati fi okun kan lelẹ, ṣugbọn a ko ṣeeṣe lati gba ina pupọ ni aaye kan. Ti o ba wo awọn iṣiro ati data ti gbogbo eniyan lori awọn ile-iṣẹ data, o le wa awọn ile-iṣẹ data pupọ diẹ pẹlu agbara ifoju ti o ju 150 MW. Awọn ti o tobi julọ nigbagbogbo jẹ awọn ile-iṣẹ ile-iṣẹ data, ọpọlọpọ awọn ile-iṣẹ data nla ti o wa nitosi ara wọn.
paramita pataki miiran wa. Ti o ba wo apa osi, bandiwidi ohun elo ti wa ni atokọ nibẹ. O rọrun lati rii pe ni nẹtiwọọki Clos apakan pataki ti awọn ebute oko oju omi ni a lo lati sopọ awọn iyipada si ara wọn. Bandiwidi ohun elo, adikala ti o wulo, jẹ nkan ti o le fun ni ita, si awọn olupin. Nipa ti, Mo n sọrọ nipa ni àídájú ebute oko ati ki o pataki nipa awọn iye. Gẹgẹbi ofin, awọn ọna asopọ laarin nẹtiwọọki yiyara ju awọn ọna asopọ lọ si awọn olupin, ṣugbọn fun ẹyọkan ti bandiwidi, niwọn bi a ti le firanṣẹ si ohun elo olupin wa, bandiwidi tun wa laarin nẹtiwọọki funrararẹ. Ati pe awọn ipele diẹ sii ti a ṣe, iye owo kan pato ti o pọ si ti ipese ṣiṣan yii si ita.
Pẹlupẹlu, paapaa ẹgbẹ afikun yii kii ṣe deede kanna. Lakoko ti awọn akoko kukuru, a le lo nkan bii DAC (taara so bàbà, iyẹn ni, awọn kebulu twinax), tabi awọn opiti multimode, eyiti o jẹ diẹ sii tabi kere si owo ti o ni oye. Ni kete ti a ba lọ si awọn ipari gigun - bi ofin, iwọnyi jẹ awọn opiti ipo ẹyọkan, ati idiyele ti bandiwidi afikun yii pọ si ni akiyesi.
Ati lẹẹkansi, pada si ifaworanhan ti tẹlẹ, ti a ba ṣẹda nẹtiwọọki Clos laisi ṣiṣe alabapin, lẹhinna o rọrun lati wo aworan atọka naa, wo bi a ṣe kọ nẹtiwọọki naa - fifi ipele kọọkan ti awọn iyipada ọpa ẹhin, a tun ṣe gbogbo ṣiṣan ti o wa ni isalẹ. Ipele afikun - pẹlu ẹgbẹ kanna, nọmba kanna ti awọn ebute oko oju omi lori awọn iyipada bi o ti wa ni ipele iṣaaju, ati nọmba kanna ti awọn transceivers. Nitorina, o jẹ iwunilori pupọ lati dinku nọmba awọn ipele ti awọn iyipada ọpa ẹhin.
Da lori aworan yii, o han gbangba pe a fẹ gaan lati kọ lori nkan bi awọn iyipada pẹlu radix ti 128.
Nibi, ni opo, ohun gbogbo jẹ kanna bi ohun ti Mo kan sọ; eyi jẹ ifaworanhan fun ero nigbamii.
Awọn aṣayan wo ni o wa ti a le yan bi iru awọn iyipada? O jẹ awọn iroyin ti o dun pupọ fun wa pe ni bayi iru awọn nẹtiwọọki le nikẹhin kọ sori awọn iyipada chip ẹyọkan. Ati pe eyi dara pupọ, wọn ni ọpọlọpọ awọn ẹya ti o wuyi. Fun apẹẹrẹ, wọn ko ni eto inu inu. Eyi tumọ si pe wọn fọ diẹ sii ni irọrun. Wọn fọ ni gbogbo awọn ọna, ṣugbọn da, wọn fọ patapata. Ninu awọn ẹrọ modular ni ọpọlọpọ awọn aṣiṣe (ko dun pupọ), nigbati lati oju wiwo ti awọn aladugbo ati ọkọ ofurufu iṣakoso o dabi pe o n ṣiṣẹ, ṣugbọn, fun apẹẹrẹ, apakan ti fabric ti sọnu ati pe ko ṣiṣẹ. ni kikun agbara. Ati awọn ijabọ si o jẹ iwọntunwọnsi da lori otitọ pe o ṣiṣẹ ni kikun, ati pe a le gba apọju.
Tabi, fun apẹẹrẹ, awọn iṣoro dide pẹlu ọkọ ofurufu, nitori inu ẹrọ apọjuwọn tun wa SerDes iyara giga - o jẹ eka pupọ ninu. Boya awọn ami laarin awọn eroja firanšẹ siwaju jẹ mimuuṣiṣẹpọ tabi ko muuṣiṣẹpọ. Ni gbogbogbo, eyikeyi ẹrọ apọjuwọn iṣelọpọ ti o ni nọmba nla ti awọn eroja, bi ofin, ni nẹtiwọọki Clos kanna ninu funrararẹ, ṣugbọn o nira pupọ lati ṣe iwadii aisan. Nigbagbogbo o ṣoro fun paapaa olutaja funrararẹ lati ṣe iwadii aisan.
Ati pe o ni nọmba nla ti awọn oju iṣẹlẹ ikuna ninu eyiti ẹrọ naa dinku, ṣugbọn ko ṣubu kuro ni topology patapata. Niwọn igba ti nẹtiwọọki wa tobi, iwọntunwọnsi laarin awọn eroja kanna ni a lo ni itara, nẹtiwọọki naa jẹ deede, iyẹn ni, ọna kan lori eyiti ohun gbogbo wa ni ibere ko yatọ si ọna miiran, o jẹ ere diẹ sii fun wa lati padanu diẹ ninu diẹ ninu awọn ẹrọ lati topology ju lati pari ni ipo kan nibiti diẹ ninu wọn dabi pe wọn ṣiṣẹ, ṣugbọn diẹ ninu wọn ko ṣe.
Ẹya ti o wuyi ti atẹle ti awọn ẹrọ ẹyọkan ni pe wọn dagbasoke dara julọ ati yiyara. Wọn tun ṣọ lati ni agbara to dara julọ. Ti a ba mu awọn ẹya nla ti o pejọ ti a ni lori Circle kan, lẹhinna agbara fun ẹyọ agbeko fun awọn ebute oko oju omi ti iyara kanna ti fẹrẹẹlọpo meji dara bi ti awọn ẹrọ modular. Awọn ẹrọ ti a ṣe ni ayika ërún ẹyọkan jẹ akiyesi din owo ju awọn modular lọ ati jẹ agbara ti o dinku.
Ṣugbọn, dajudaju, eyi jẹ gbogbo fun idi kan, awọn alailanfani tun wa. Ni akọkọ, radix fẹrẹ jẹ nigbagbogbo kere ju ti awọn ẹrọ modular lọ. Ti a ba le gba ẹrọ ti a ṣe ni ayika chirún kan pẹlu awọn ebute oko oju omi 128, lẹhinna a le gba ọkan modular pẹlu ọpọlọpọ awọn ebute oko oju omi ọgọrun ni bayi laisi awọn iṣoro eyikeyi.
Eyi jẹ iwọn akiyesi ti o kere ju ti awọn tabili firanšẹ siwaju ati, gẹgẹbi ofin, ohun gbogbo ti o ni ibatan si iwọn data ọkọ ofurufu. aijinile buffers. Ati, bi ofin, kuku iṣẹ ṣiṣe to lopin. Ṣugbọn o wa ni pe ti o ba mọ awọn ihamọ wọnyi ati ki o ṣe itọju ni akoko lati fori wọn tabi nirọrun mu wọn sinu akọọlẹ, lẹhinna eyi kii ṣe idẹruba. Otitọ pe radix kere ju kii ṣe iṣoro lori awọn ẹrọ pẹlu radix ti 128 ti o ti han laipẹ; a le kọ ni awọn fẹlẹfẹlẹ meji ti awọn ọpa ẹhin. Ṣugbọn ko tun ṣee ṣe lati kọ ohunkohun ti o kere ju meji ti o nifẹ si wa. Pẹlu ipele kan, awọn iṣupọ kekere pupọ ni a gba. Paapaa awọn aṣa iṣaaju wa ati awọn ibeere tun kọja wọn.
Ni otitọ, ti o ba jẹ pe lojiji ojutu wa ni ibikan ni etibe, ọna tun wa lati ṣe iwọn. Niwọn igba ti o kẹhin (tabi akọkọ), ipele ti o kere julọ nibiti awọn olupin ti sopọ ni awọn iyipada ToR tabi awọn iyipada ewe, a ko nilo lati sopọ agbeko kan si wọn. Nitorinaa, ti ojutu ba kuru nipa idaji, o le ronu nipa lilo irọrun kan pẹlu radix nla ni ipele kekere ati sisopọ, fun apẹẹrẹ, awọn agbeko meji tabi mẹta sinu iyipada kan. Eyi tun jẹ aṣayan kan, o ni awọn idiyele rẹ, ṣugbọn o ṣiṣẹ daradara ati pe o le jẹ ojutu ti o dara nigbati o nilo lati de iwọn lẹmeji.
Lati ṣe akopọ, a n kọ lori topology pẹlu awọn ipele meji ti awọn ọpa ẹhin, pẹlu awọn ipele ile-iṣẹ mẹjọ mẹjọ.
Kini yoo ṣẹlẹ si fisiksi? Awọn iṣiro ti o rọrun pupọ. Ti a ba ni awọn ipele meji ti awọn ọpa ẹhin, lẹhinna a ni awọn ipele mẹta ti awọn iyipada, ati pe a nireti pe awọn apakan okun mẹta yoo wa ninu nẹtiwọki: lati awọn olupin si awọn iyipada ewe, si ọpa ẹhin 1, si ọpa ẹhin 2. Awọn aṣayan ti a le ṣe. lilo ni o wa - wọnyi ni twinax, multimode, nikan mode. Ati pe nibi a nilo lati ronu kini ṣiṣan ti o wa, iye ti yoo jẹ, kini awọn iwọn ti ara, kini awọn ipari ti a le bo, ati bii a ṣe le ṣe igbesoke.
Ni awọn ofin ti iye owo, ohun gbogbo le wa ni ila. Twinaxes jẹ din owo pupọ ju awọn opitika ti nṣiṣe lọwọ, din owo ju awọn transceivers multimode, ti o ba mu fun ọkọ ofurufu lati opin, ni itumo din owo ju ibudo yipada 100-gigabit lọ. Ati pe, jọwọ ṣakiyesi, o jẹ idiyele ti o kere ju awọn opitika ipo ẹyọkan, nitori lori awọn ọkọ ofurufu nibiti o nilo ipo ẹyọkan, ni awọn ile-iṣẹ data fun awọn idi pupọ o jẹ oye lati lo CWDM, lakoko ti ipo ẹyọkan (PSM) ko rọrun pupọ lati ṣiṣẹ pẹlu, awọn akopọ ti o tobi pupọ ni a gba awọn okun, ati pe ti a ba dojukọ awọn imọ-ẹrọ wọnyi, a gba isunmọ awọn ilana idiyele idiyele atẹle.
Akọsilẹ diẹ sii: laanu, ko ṣee ṣe pupọ lati lo awọn ebute oko oju omi multimode 100 si 4x25 ti a tuka. Nitori awọn ẹya apẹrẹ ti awọn transceivers SFP28, kii ṣe din owo pupọ ju 28 Gbit QSFP100. Ati yi disassembly fun multimode ko ṣiṣẹ gan daradara.
Idiwọn miiran ni pe nitori iwọn awọn iṣupọ iširo ati nọmba awọn olupin, awọn ile-iṣẹ data wa jade lati jẹ nla ti ara. Eyi tumọ si pe o kere ju ọkọ ofurufu kan yoo ni lati ṣe pẹlu singlemod kan. Lẹẹkansi, nitori iwọn ti ara ti awọn Pods, kii yoo ṣee ṣe lati ṣiṣẹ awọn igba meji ti twinax (awọn kebulu bàbà).
Bi abajade, ti a ba ṣe iṣapeye fun idiyele ati ṣe akiyesi geometry ti apẹrẹ yii, a gba igba kan ti twinax, igba kan ti multimode ati igba kan ti singlemode nipa lilo CWDM. Eyi ṣe akiyesi awọn ọna igbesoke ti o ṣeeṣe.
Eyi ni ohun ti o dabi laipẹ, nibiti a nlọ ati ohun ti o ṣee ṣe. O han gbangba, o kere ju, bii o ṣe le lọ si 50-Gigabit SerDes fun multimode mejeeji ati ẹyọkan. Pẹlupẹlu, ti o ba wo ohun ti o wa ni awọn transceivers ipo ẹyọkan ni bayi ati ni ọjọ iwaju fun 400G, nigbagbogbo paapaa nigbati 50G SerDes de lati ẹgbẹ itanna, 100 Gbps fun laini le tẹlẹ lọ si awọn opiti. Nitorinaa, o ṣee ṣe pupọ pe dipo gbigbe si 50, iyipada yoo wa si 100 Gigabit SerDes ati 100 Gbps fun ọna kan, nitori ni ibamu si awọn ileri ti ọpọlọpọ awọn olutaja, wiwa wọn yoo nireti laipẹ. Akoko nigba ti 50G SerDes ti yara ju, o dabi pe kii yoo gun pupọ, nitori awọn ẹda akọkọ ti 100G SerDes ti n jade ni ọdun to nbo. Ati lẹhin awọn akoko lẹhin ti won yoo jasi jẹ tọ reasonable owo.
Iyatọ diẹ sii nipa yiyan ti fisiksi. Ni ipilẹ, a le lo awọn ebute oko oju omi Gigabit 400 tabi 200 ni lilo 50G SerDes. Ṣugbọn o wa ni pe eyi ko ni oye pupọ, nitori, bi mo ti sọ tẹlẹ, a fẹ radix ti o tobi pupọ lori awọn iyipada, laarin idi, dajudaju. A fẹ 128. Ati pe ti a ba ni opin agbara ërún ati pe a mu iyara ọna asopọ pọ, lẹhinna radix dinku nipa ti ara, ko si awọn iṣẹ iyanu.
Ati pe a le ṣe alekun agbara lapapọ nipa lilo awọn ọkọ ofurufu, ati pe ko si awọn idiyele pataki; a le ṣafikun nọmba awọn ọkọ ofurufu. Ati pe ti a ba padanu radix, a yoo ni lati ṣafihan ipele afikun kan, nitorinaa ni ipo ti o wa lọwọlọwọ, pẹlu agbara ti o pọju lọwọlọwọ fun chirún, o han pe o munadoko diẹ sii lati lo awọn ebute oko oju omi 100-gigabit, nitori pe wọn gba ọ laaye. lati gba kan ti o tobi radix.
Ibeere ti o tẹle ni bawo ni a ṣe ṣeto fisiksi, ṣugbọn lati oju wiwo ti awọn amayederun okun. O wa ni jade wipe o ti wa ni ṣeto ni a kuku funny ona. Cabling laarin awọn iyipada ewe ati awọn ọpa ẹhin ipele akọkọ - ko si ọpọlọpọ awọn ọna asopọ nibẹ, ohun gbogbo ni a kọ ni irọrun. Ṣugbọn ti a ba gba ọkọ ofurufu kan, ohun ti o ṣẹlẹ ni inu ni pe a nilo lati sopọ gbogbo awọn ọpa ẹhin ti ipele akọkọ pẹlu gbogbo awọn ọpa ẹhin ti ipele keji.
Pẹlupẹlu, gẹgẹbi ofin, awọn ifẹ kan wa fun bi o ṣe yẹ ki o wo inu ile-iṣẹ data naa. Fun apẹẹrẹ, a fẹ gaan lati darapọ awọn kebulu sinu idii kan ki a fa wọn ki nronu alemo iwuwo giga kan lọ patapata sinu igbimọ alemo kan, ti ko si zoo ni awọn ofin gigun. A ṣakoso lati yanju iṣoro yii. Ti o ba kọkọ wo topology mogbonwa, o le rii pe awọn ọkọ ofurufu jẹ ominira, ọkọ ofurufu kọọkan le kọ lori tirẹ. Ṣugbọn nigba ti a ba ṣafikun iru idii kan ati pe o fẹ lati fa gbogbo nronu patch sinu panẹli alemo kan, a ni lati dapọ awọn ọkọ ofurufu oriṣiriṣi inu lapapo kan ki o ṣafihan eto agbedemeji ni irisi awọn ọna asopọ agbelebu opiti lati tun wọn ṣe lati bii wọn ṣe pejọ. lori apa kan, ni bawo ni wọn yoo ṣe kojọ ni apakan miiran. Ṣeun si eyi, a gba ẹya ti o wuyi: gbogbo iyipada eka ko kọja awọn agbeko. Nigbati o ba nilo lati intertwine ohun kan ni agbara pupọ, “ṣii awọn ọkọ ofurufu,” bi o ti jẹ pe nigbakan ni awọn nẹtiwọọki Clos, gbogbo rẹ ni ogidi inu agbeko kan. A ko ni disassembled gíga, si isalẹ lati olukuluku awọn ọna asopọ, yi pada laarin awọn agbeko.
Eyi ni bii o ṣe n wo lati oju-ọna ti eto isọdi ti awọn amayederun okun. Ni aworan ti o wa ni apa osi, awọn bulọọki awọ-awọ pupọ n ṣe afihan awọn bulọọki ti awọn iyipada ọpa ẹhin ipele akọkọ, awọn ege mẹjọ kọọkan, ati awọn idii mẹrin ti awọn kebulu ti o wa lati ọdọ wọn, eyiti o lọ ki o si pin pẹlu awọn idii ti o nbọ lati awọn bulọọki ti ọpa ẹhin-2 yipada. .
Awọn onigun mẹrin kekere tọkasi awọn ikorita. Ni oke apa osi ni didenukole ti kọọkan iru ikorita, yi ni kosi 512 nipa 512 ibudo agbelebu-asopo module ti o repacks awọn kebulu ki nwọn ki o wá patapata sinu ọkan agbeko, ibi ti o wa ni nikan kan ọpa ẹhin-2 ofurufu. Ati ni apa ọtun, ọlọjẹ ti aworan yii jẹ alaye diẹ sii ni ibatan si awọn Pods pupọ ni ipele ọpa ẹhin-1, ati bi o ti ṣe akopọ ni asopọ-agbelebu, bawo ni o ṣe de ipele ẹhin-2.
Eyi ni ohun ti o dabi. Awọn ọpa ẹhin ti ko ti ṣajọpọ ni kikun-2 duro (ni apa osi) ati iduro asopọ agbelebu. Laanu, ko si pupọ lati rii nibẹ. Gbogbo eto yii ti wa ni ransogun ni bayi ni ọkan ninu awọn ile-iṣẹ data nla wa ti o gbooro sii. Eyi jẹ iṣẹ ti nlọ lọwọ, yoo dara julọ, yoo kun daradara.
Ibeere pataki kan: a yan topology mogbonwa ati kọ fisiksi. Kini yoo ṣẹlẹ si ọkọ ofurufu iṣakoso naa? O jẹ ohun ti a mọ daradara lati iriri iṣẹ, awọn ijabọ pupọ wa ti ọna asopọ awọn ilana ipinlẹ dara, o jẹ igbadun lati ṣiṣẹ pẹlu wọn, ṣugbọn, laanu, wọn ko ṣe iwọn daradara lori topology ti o ni asopọ pupọ. Ati pe ifosiwewe akọkọ kan wa ti o ṣe idiwọ eyi - eyi ni bii iṣan omi ṣe n ṣiṣẹ ni awọn ilana ipinlẹ ọna asopọ. Ti o ba kan mu algorithm iṣan omi ki o wo bawo ni nẹtiwọọki wa ṣe ṣeto, o le rii pe fanout nla kan yoo wa ni igbesẹ kọọkan, ati pe yoo rọrun ni iṣan omi ọkọ ofurufu iṣakoso pẹlu awọn imudojuiwọn. Ni pataki, iru awọn topologies dapọ dara pupọ pẹlu algorithm iṣan omi ibile ni awọn ilana ipinlẹ ọna asopọ.
Yiyan ni lati lo BGP. Bii o ṣe le murasilẹ ni deede jẹ apejuwe ninu RFC 7938 nipa lilo BGP ni awọn ile-iṣẹ data nla. Awọn imọran ipilẹ jẹ rọrun: nọmba awọn ami-iṣaaju ti o kere julọ fun agbalejo ati ni gbogbogbo nọmba ti o kere ju ti awọn ami-iṣaaju lori nẹtiwọọki, lo apapọ ti o ba ṣeeṣe, ati dena ọdẹ ọna. A fẹ iṣọra pupọ, pinpin iṣakoso pupọ ti awọn imudojuiwọn, ohun ti a pe ni afonifoji ọfẹ. A fẹ ki awọn imudojuiwọn wa ni ransogun gangan ni ẹẹkan bi wọn ṣe n kọja nipasẹ nẹtiwọọki naa. Ti wọn ba bẹrẹ ni isalẹ, wọn lọ soke, ṣiṣi silẹ ko ju ẹẹkan lọ. Ko yẹ ki o jẹ awọn zigzags. Zigzags jẹ buburu pupọ.
Lati ṣe eyi, a lo apẹrẹ ti o rọrun to lati lo awọn ilana BGP ti o wa labẹ. Iyẹn ni, a lo eBGP nṣiṣẹ lori ọna asopọ agbegbe, ati awọn eto adase ni a yàn gẹgẹbi atẹle: eto adase lori ToR, eto adase lori gbogbo bulọọki ti ọpa ẹhin-1 awọn iyipada ti Pod kan, ati eto adase gbogbogbo lori gbogbo Top. ti Fabric. Ko ṣoro lati wo ati rii pe paapaa ihuwasi deede ti BGP fun wa ni pinpin awọn imudojuiwọn ti a fẹ.
Nipa ti, ifọrọranṣẹ ati akopọ adirẹsi ni lati ṣe apẹrẹ ki o ni ibamu pẹlu ọna ti a ti kọ ipa-ọna, ki o rii daju iduroṣinṣin ti ọkọ ofurufu iṣakoso. L3 ti n ba sọrọ ni gbigbe ni a so si topology, nitori laisi eyi ko ṣee ṣe lati ṣaṣeyọri apapọ; laisi eyi, awọn adirẹsi kọọkan yoo wọ inu eto ipa-ọna. Ati ohun kan diẹ sii ni pe apapọ, laanu, ko dapọ daradara pẹlu ọna-ọna pupọ, nitori pe nigba ti a ba ni ọna-ọna pupọ ati pe a ni akojọpọ, ohun gbogbo dara, nigbati gbogbo nẹtiwọki ba ni ilera, ko si awọn ikuna ninu rẹ. Laanu, ni kete ti awọn ikuna ba han ninu nẹtiwọọki ati isamisi ti topology ti sọnu, a le wa si aaye lati eyiti a ti kede ẹyọkan, lati eyiti a ko le lọ siwaju si ibiti a nilo lati lọ. Nitorinaa, o dara julọ lati ṣajọpọ nibiti ko si ọna pupọ siwaju, ninu ọran wa iwọnyi jẹ awọn iyipada ToR.
Ni otitọ, o ṣee ṣe lati ṣajọpọ, ṣugbọn farabalẹ. Ti a ba le ṣe iyapa iṣakoso nigbati awọn ikuna nẹtiwọọki ba waye. Ṣugbọn eyi jẹ iṣẹ ṣiṣe ti o nira pupọ, a paapaa iyalẹnu boya yoo ṣee ṣe lati ṣe eyi, boya o ṣee ṣe lati ṣafikun adaṣe afikun, ati awọn ẹrọ ipinlẹ ipari ti yoo ta BGP ni deede lati gba ihuwasi ti o fẹ. Laanu, awọn ọran igun-itọju jẹ eyiti kii ṣe kedere ati eka, ati pe iṣẹ-ṣiṣe yii ko ni ipinnu daradara nipa sisopọ awọn asomọ ita si BGP.
Iṣẹ ti o nifẹ pupọ ni ọran yii ni a ti ṣe laarin ilana ti ilana RIFT, eyiti yoo jiroro ni ijabọ atẹle.
Ohun pataki miiran ni bii awọn ọkọ ofurufu data ṣe iwọn ni awọn topologies ipon, nibiti a ni nọmba nla ti awọn ọna yiyan. Ni idi eyi, ọpọlọpọ awọn ẹya data afikun ni a lo: Awọn ẹgbẹ ECMP, eyiti o ṣe apejuwe awọn ẹgbẹ Hop Next.
Ni nẹtiwọki ti n ṣiṣẹ deede, laisi awọn ikuna, nigba ti a ba lọ soke Clos topology, o to lati lo ẹgbẹ kan nikan, nitori pe ohun gbogbo ti kii ṣe agbegbe ni a ṣe apejuwe nipasẹ aiyipada, a le lọ soke. Nigba ti a ba lọ lati oke de isalẹ si guusu, lẹhinna gbogbo awọn ipa-ọna kii ṣe ECMP, wọn jẹ awọn ọna ọna kan. Ohun gbogbo dara. Wahala naa ni, ati pe iyatọ ti Ayebaye Clos topology ni pe ti a ba wo Oke ti aṣọ, ni eyikeyi nkan, ọna kan wa si eyikeyi nkan ni isalẹ. Ti awọn ikuna ba waye ni ọna yii, lẹhinna ipin pataki yii ni oke ile-iṣẹ naa di aiṣedeede ni pipe fun awọn asọtẹlẹ wọnyẹn ti o dubulẹ lẹhin ọna fifọ. Ṣugbọn fun awọn iyokù o wulo, ati pe a ni lati ṣawari awọn ẹgbẹ ECMP ati ṣafihan ipinle titun kan.
Kini iwọn iwọn ọkọ ofurufu data dabi lori awọn ẹrọ igbalode? Ti a ba ṣe LPM (ibamu ìpele gunjulo), ohun gbogbo dara pupọ, ju awọn ami-iṣaaju 100k lọ. Ti a ba n sọrọ nipa awọn ẹgbẹ Hop Next, lẹhinna ohun gbogbo buru, 2-4 ẹgbẹrun. Ti a ba n sọrọ nipa tabili ti o ni ijuwe ti Awọn Hops Next (tabi awọn adjacencies), lẹhinna eyi jẹ ibikan lati 16k si 64k. Ati pe eyi le di iṣoro. Ati pe nibi a wa si digression ti o nifẹ: kini o ṣẹlẹ si MPLS ni awọn ile-iṣẹ data? Ni opo, a fẹ lati ṣe.
Nkan meji sele. A ṣe ipin-kekere lori awọn ogun; a ko nilo lati ṣe lori nẹtiwọọki mọ. Ko dara pupọ pẹlu atilẹyin lati ọdọ awọn olutaja oriṣiriṣi, ati paapaa diẹ sii pẹlu awọn imuse ṣiṣi lori awọn apoti funfun pẹlu MPLS. Ati MPLS, o kere ju awọn imuse aṣa rẹ, laanu, daapọ aito pẹlu ECMP. Ati idi eyi.
Eyi ni ohun ti ọna fifiranšẹ ECMP fun IP dabi. Nọmba nla ti awọn ami-iṣaaju le lo ẹgbẹ kanna ati Àkọsílẹ Hops Next kanna (tabi awọn adjacencies, eyi le pe ni oriṣiriṣi ni oriṣiriṣi iwe fun awọn ẹrọ oriṣiriṣi). Oro naa ni pe eyi ni a ṣe apejuwe bi ibudo ti njade ati kini lati tun adirẹsi MAC kọ si lati le de ọdọ Next Hop ti o tọ. Fun IP ohun gbogbo dabi rọrun, o le lo nọmba ti o tobi pupọ ti awọn ami-iṣaaju fun ẹgbẹ kanna, Àkọsílẹ Hops Next kanna.
Itọṣe MPLS Ayebaye tumọ si pe, da lori wiwo ti njade, aami le jẹ tunkọ si awọn iye oriṣiriṣi. Nitorinaa, a nilo lati tọju ẹgbẹ kan ati bulọki Hops Next kan fun aami titẹ sii kọọkan. Ati pe eyi, alas, ko ṣe iwọn.
O rọrun lati rii pe ninu apẹrẹ wa a nilo nipa awọn iyipada ToR 4000, iwọn ti o pọ julọ jẹ awọn ọna 64 ECMP, ti a ba lọ kuro ni ọpa ẹhin-1 si ọpa ẹhin-2. A ko wọle sinu tabili kan ti awọn ẹgbẹ ECMP, ti asọtẹlẹ kan nikan pẹlu ToR ba lọ, ati pe a ko wọle sinu tabili Hops Next rara.
Kii ṣe gbogbo rẹ ni ainireti, nitori awọn ile-iṣọ bii Ipa-ọna Abala kan pẹlu awọn aami agbaye. Ni deede, yoo ṣee ṣe lati ṣubu gbogbo awọn bulọọki Hops Next wọnyi lẹẹkansi. Lati ṣe eyi, o nilo iṣẹ iru kaadi egan: mu aami kan ki o tun kọ si ọkan kanna laisi iye kan pato. Ṣugbọn laanu, eyi ko wa pupọ ninu awọn imuse ti o wa.
Ati nikẹhin, a nilo lati mu ijabọ ita si ile-iṣẹ data. Bawo ni lati ṣe? Ni iṣaaju, ijabọ ti a ṣe sinu nẹtiwọki Clos lati oke. Iyẹn ni, awọn olulana eti wa ti o sopọ si gbogbo awọn ẹrọ lori Oke ti aṣọ. Ojutu yii ṣiṣẹ daradara daradara lori awọn iwọn kekere si alabọde. Laanu, lati le firanṣẹ ijabọ ni ọna kanna si gbogbo nẹtiwọọki ni ọna yii, a nilo lati de gbogbo Top ti awọn eroja aṣọ ni nigbakannaa, ati nigbati o ba wa ju ọgọrun kan ninu wọn, o wa ni pe a tun nilo radix nla lori. awọn olulana eti. Ni gbogbogbo, eyi jẹ owo, nitori awọn olulana eti jẹ iṣẹ diẹ sii, awọn ebute oko oju omi lori wọn yoo jẹ gbowolori diẹ sii, ati pe apẹrẹ ko lẹwa pupọ.
Aṣayan miiran ni lati bẹrẹ iru ijabọ lati isalẹ. O rọrun lati rii daju pe Clos topology ti kọ ni ọna ti awọn ijabọ ti o wa lati isalẹ, iyẹn ni, lati ẹgbẹ ToR, ti pin kaakiri laarin awọn ipele jakejado gbogbo Oke ti aṣọ ni awọn iterations meji, ti n ṣajọpọ gbogbo nẹtiwọọki. Nitorinaa, a ṣafihan iru pataki kan ti Pod, Edge Pod, eyiti o pese isopọmọ ita.
Aṣayan kan wa. Eyi ni ohun ti Facebook ṣe, fun apẹẹrẹ. Wọn pe ni Aggregator Fabric tabi HGRID. Ipele ọpa ẹhin afikun ti wa ni afihan lati so awọn ile-iṣẹ data pupọ pọ. Yi oniru jẹ ṣee ṣe ti o ba ti a ko ba ni afikun awọn iṣẹ tabi encapsulation ayipada ni awọn atọkun. Ti wọn ba jẹ awọn aaye ifọwọkan afikun, o nira. Ni deede, awọn iṣẹ diẹ sii wa ati iru awo ilu ti o ya sọtọ awọn ẹya oriṣiriṣi ti ile-iṣẹ data naa. Ko si aaye ni ṣiṣe iru awo awọ nla kan, ṣugbọn ti o ba nilo looto fun idi kan, lẹhinna o jẹ oye lati ronu iṣeeṣe ti gbigbe kuro, jẹ ki o gbooro bi o ti ṣee ati gbigbe si awọn ọmọ-ogun. Eyi ni a ṣe, fun apẹẹrẹ, nipasẹ ọpọlọpọ awọn oniṣẹ awọsanma. Won ni overlays, nwọn bẹrẹ lati awọn ogun.
Awọn anfani idagbasoke wo ni a rii? Ni akọkọ, imudara atilẹyin fun opo gigun ti epo CI/CD. A fẹ lati fo ni ọna ti a ṣe idanwo ati idanwo ọna ti a fo. Eyi ko ṣiṣẹ daradara, nitori awọn amayederun jẹ nla ati pe ko ṣee ṣe lati ṣe ẹda rẹ fun awọn idanwo. O nilo lati loye bii o ṣe le ṣafihan awọn eroja idanwo sinu awọn amayederun iṣelọpọ laisi sisọ silẹ.
Ohun elo to dara julọ ati ibojuwo to dara julọ ko fẹrẹ jẹ superfluous. Gbogbo ibeere jẹ iwọntunwọnsi igbiyanju ati ipadabọ. Ti o ba le fi kun pẹlu ọgbọn igbiyanju, dara pupọ.
Ṣii awọn ọna ṣiṣe fun awọn ẹrọ nẹtiwọki. Awọn ilana to dara julọ ati awọn ọna ipa-ọna to dara julọ, gẹgẹbi RIFT. Iwadi tun nilo sinu lilo awọn eto iṣakoso isunmọ dara julọ ati boya ifihan, o kere ju ni awọn aaye kan, ti atilẹyin RDMA laarin iṣupọ.
Wiwa siwaju si ọjọ iwaju, a nilo awọn topologies to ti ni ilọsiwaju ati o ṣee ṣe awọn nẹtiwọọki ti o lo kere si oke. Ninu awọn ohun titun, awọn atẹjade laipẹ ti wa nipa imọ-ẹrọ aṣọ fun HPC Cray Slingshot, eyiti o da lori Ethernet eru, ṣugbọn pẹlu aṣayan ti lilo awọn akọle kukuru pupọ. Bi abajade, iwọn-ori ti dinku.
Ohun gbogbo yẹ ki o wa ni rọrun bi o ti ṣee, ṣugbọn kii ṣe rọrun. Complexity ni ọtá ti scalability. Irọrun ati awọn ẹya deede jẹ awọn ọrẹ wa. Ti o ba le ṣe iwọn jade ni ibikan, ṣe. Ati ni gbogbogbo, o jẹ nla lati ni ipa ninu awọn imọ-ẹrọ nẹtiwọọki bayi. Nibẹ ni o wa kan pupo ti awon ohun ti lọ lori. E dupe.
orisun: www.habr.com