Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Tha sinn air dealbhadh lìonra ionad dàta a leasachadh a leigeas le bhith a’ cleachdadh cruinneachaidhean coimpiutaireachd nas motha na 100 mìle frithealaiche le leud-bann bisection stùc de chòrr air aon petabyte gach diog.

Bho aithisg Dmitry Afanasyev ionnsaichidh tu mu phrionnsapalan bunaiteach an dealbhaidh ùr, sgèileadh topologies, na duilgheadasan a tha ag èirigh le seo, roghainnean airson am fuasgladh, feartan slighe agus sgèileadh gnìomhan plèana air adhart innealan lìonra an latha an-diugh ann an “dùmhail ceangailte” topologies le àireamh mhòr de shlighean ECMP . A bharrachd air an sin, bhruidhinn Dima goirid mu eagrachadh ceangal taobh a-muigh, an ìre fiosaigeach, an siostam càbaill agus dòighean air comas àrdachadh a bharrachd.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

- Feasgar math a h-uile duine! Is e m ’ainm Dmitry Afanasyev, tha mi nam ailtire lìonra aig Yandex agus gu sònraichte a’ dealbhadh lìonraidhean ionadan dàta.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Bidh an sgeulachd agam mun lìonra ùraichte de ionadan dàta Yandex. Tha e gu mòr na mean-fhàs den dealbhadh a bh’ againn, ach aig an aon àm tha cuid de eileamaidean ùra ann. Is e taisbeanadh tar-shealladh a tha seo oir bha tòrr fiosrachaidh ri phacaigeadh ann an ùine bheag. Tòisichidh sinn le bhith a’ taghadh topology loidsigeach. An uairsin bidh sealladh farsaing air a ’phlèana smachd agus duilgheadasan le scalability plèana dàta, roghainn de na thachras aig ìre fiosaigeach, agus bheir sinn sùil air cuid de fheartan nan innealan. Bruidhnidh sinn beagan mu na tha a’ tachairt ann an ionad dàta le MPLS, air an do bhruidhinn sinn o chionn ùine.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Mar sin, dè a th 'ann an Yandex a thaobh luchdan agus seirbheisean? Tha Yandex na hyperscaler àbhaisteach. Ma choimheadas sinn air an luchd-cleachdaidh, bidh sinn gu sònraichte a’ làimhseachadh iarrtasan luchd-cleachdaidh. Cuideachd diofar sheirbheisean sruthadh agus gluasad dàta, oir tha seirbheisean stòraidh againn cuideachd. Ma tha e nas fhaisge air an deireadh-sheachdain, nochdaidh luchdan bun-structair agus seirbheisean an sin, leithid stòradh stuthan sgaoilte, ath-riochdachadh dàta agus, gu dearbh, ciudhaichean leantainneach. Is e aon de na prìomh sheòrsaichean eallach obrach MapReduce agus siostaman coltach ris, giollachd sruthan, ionnsachadh innealan, msaa.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Ciamar a tha am bun-structar air a bheil seo uile a’ tachairt? A-rithist, tha sinn nar hyperscaler gu math àbhaisteach, ged is dòcha gu bheil sinn beagan nas fhaisge air an taobh hyperscaler as lugha den speactram. Ach tha na feartan againn uile. Bidh sinn a’ cleachdadh bathar-cruaidh bathar agus sgèileadh còmhnard far an gabh sin dèanamh. Tha làn chruinneachadh ghoireasan againn: chan eil sinn ag obair le innealan fa leth, racaichean fa leth, ach gan cur còmhla ann an cruinneachadh mòr de ghoireasan eadar-ghluasadach le cuid de sheirbheisean a bharrachd a bhios a’ dèiligeadh ri dealbhadh is riarachadh, agus ag obair leis an amar iomlan seo.

Mar sin tha an ath ìre againn - an siostam obrachaidh aig ìre brabhsair coimpiutaireachd. Tha e glè chudromach gum bi làn smachd againn air a’ chruach teicneòlais a bhios sinn a’ cleachdadh. Bidh smachd againn air na puingean-crìochnachaidh (luchd-aoigheachd), lìonra agus stac bathar-bog.

Tha grunn ionadan dàta mòra againn anns an Ruis agus thall thairis. Tha iad air an aonachadh le cnàimh-droma a tha a 'cleachdadh teicneòlas MPLS. Tha am bun-structar a-staigh againn cha mhòr gu tur air a thogail air IPv6, ach leis gu feum sinn seirbheis a thoirt do thrafaig bhon taobh a-muigh a tha fhathast a’ tighinn sa mhòr-chuid thairis air IPv4, feumaidh sinn dòigh air choireigin iarrtasan a tha a’ tighinn thairis air IPv4 a lìbhrigeadh gu na frithealaichean aghaidh, agus beagan a bharrachd a dhol gu IPv4- Eadar-lìn taobh a-muigh - airson eisimpleir, airson clàr-amais.

Tha na beagan thursan mu dheireadh de dhealbhaidhean lìonra ionadan dàta air topologies Clos ioma-fhilleadh a chleachdadh agus tha iad L3-a-mhàin. Dh'fhàg sinn L2 greis air ais agus ghabh sinn osna faochadh. Mu dheireadh, tha ar bun-structar a’ toirt a-steach ceudan de mhìltean de chùisean coimpiutaireachd (frithealaiche). Bha am meud brabhsair as àirde o chionn beagan ùine timcheall air 10 mìle frithealaiche. Tha seo gu ìre mhòr mar thoradh air mar a dh’ obraicheas na h-aon shiostaman obrachaidh aig ìre cnuasachaidh, clàran-ama, riarachadh ghoireasan, msaa. Leis gu bheil adhartas air tachairt air taobh bathar-bog bun-structair, tha am meud targaid a-nis timcheall air 100 mìle frithealaiche ann an aon bhuidheann coimpiutaireachd, agus Tha e na dhleastanas oirnn - a bhith comasach air factaraidhean lìonra a thogail a leigeas le goireasan a chruinneachadh gu h-èifeachdach ann an leithid de bhuidheann.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Dè tha sinn ag iarraidh bho lìonra ionad dàta? An toiseach, tha tòrr leud-bann saor agus cothromach air a chuairteachadh. Leis gur e an lìonra an cnàimh-droma tron ​​​​urrainn dhuinn goireasan a chruinneachadh. Tha am meud targaid ùr timcheall air 100 mìle frithealaiche ann an aon bhuidheann.

Tha sinn cuideachd, gu dearbh, ag iarraidh plèana smachd scalable agus seasmhach, oir air bun-structar cho mòr tha tòrr chinn-cinn ag èirigh eadhon bho thachartasan air thuaiream, agus chan eil sinn airson gum bi am plèana smachd a’ toirt cinn cinn dhuinn cuideachd. Aig an aon àm, tha sinn airson an stàit a tha ann a lughdachadh. Mar as lugha an suidheachadh, is ann as fheàrr agus nas seasmhaiche a bhios a h-uile càil ag obair, agus is ann as fhasa a bhios e a dhearbhadh.

Gu dearbh, feumaidh sinn fèin-ghluasad, oir tha e do-dhèanta a leithid de bhun-structair a riaghladh le làimh, agus tha e air a bhith do-dhèanta airson ùine. Feumaidh sinn taic obrachaidh cho mòr 's as urrainn dhuinn agus taic CI/CD chun na h-ìre 's as urrainn dhuinn a thoirt seachad.

Le leithid de mheudan de ionadan dàta agus cruinneachaidhean, tha an obair airson taic a thoirt do chleachdadh mean air mhean agus leudachadh gun bhriseadh seirbheis air fàs gu math dian. Ma tha iad air cruinneachaidhean de mheud mìle inneal, is dòcha faisg air deich mìle inneal, dh’ fhaodadh iad a bhith air an sgaoileadh a-mach mar aon ghnìomhachd - is e sin, tha sinn an dùil leudachadh air a ’bhun-structair, agus thèid grunn mhìltean inneal a chuir ris mar aon ghnìomhachd, an uairsin chan eil cruinneachadh de mheud ceud mìle inneal ag èirigh sa bhad mar seo, tha e air a thogail thar ùine. Agus tha e ion-mhiannaichte gum bi na tha air a phumpadh a-mach mar-thà, am bun-structar a chaidh a chleachdadh, ri fhaighinn fad na h-ùine seo.

Agus aon riatanas a bha againn agus a dh’ fhàg sinn: taic airson ioma-ghabhaltas, is e sin, virtualization no roinn lìonraidh. A-nis chan fheum sinn seo a dhèanamh aig ìre aodach lìonra, oir tha an sharding air a dhol gu na h-aoighean, agus tha seo air sgèileadh a dhèanamh gu math furasta dhuinn. Taing do IPv6 agus àite seòlaidh mòr, cha robh feum againn air seòlaidhean dùblaichte a chleachdadh anns a’ bhun-structar a-staigh; bha a h-uile seòladh gun samhail mu thràth. Agus leis gu bheil sinn air sìoladh agus sgaradh lìonra a thoirt dha na h-aoighean, chan fheum sinn buidhnean lìonra mas-fhìor a chruthachadh ann an lìonraidhean ionadan dàta.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Is e rud glè chudromach an rud nach eil a dhìth oirnn. Ma ghabhas cuid de ghnìomhan a thoirt air falbh bhon lìonra, bidh seo a 'dèanamh beatha mòran nas fhasa, agus, mar riaghailt, a' leudachadh an roghainn de uidheamachd agus bathar-bog a tha ri fhaotainn, a 'dèanamh diagnosachd gu math sìmplidh.

Mar sin, dè nach eil a dhìth oirnn, dè as urrainn dhuinn a leigeil seachad, chan ann an-còmhnaidh le toileachas aig an àm a thachair e, ach le faochadh mòr nuair a bhios am pròiseas deiseil?

An toiseach, a 'trèigsinn L2. Chan fheum sinn L2, no fìor no atharrais. Gun chleachdadh gu ìre mhòr air sgàth gu bheil smachd againn air stac an tagraidh. Tha na tagraidhean againn gu còmhnard scalable, bidh iad ag obair le seòladh L3, chan eil iad gu math draghail gu bheil cuid de eisimpleirean fa-leth air a dhol a-mach, bidh iad dìreach a ’sgaoileadh fear ùr, chan fheumar a sgaoileadh aig an t-seann sheòladh, oir tha a ìre fa leth de lorg seirbheis agus sgrùdadh air innealan a tha suidhichte sa bhuidheann. Cha bhith sinn a’ tiomnadh na h-obrach seo don lìonra. Is e obair an lìonra pacaidean a lìbhrigeadh bho phuing A gu puing B.

Chan eil suidheachaidhean againn cuideachd far a bheil seòlaidhean a’ gluasad taobh a-staigh an lìonra, agus feumar sùil a chumail air seo. Ann an iomadh dealbhadh mar as trice tha feum air seo gus taic a thoirt do ghluasad VM. Cha bhith sinn a’ cleachdadh gluasad innealan brìgheil ann am bun-structar a-staigh an Yandex mhòir, agus, a bharrachd air an sin, tha sinn den bheachd, eadhon ged a thèid seo a dhèanamh, nach bu chòir dha tachairt le taic lìonra. Ma dh’ fheumar a dhèanamh dha-rìribh, feumar a dhèanamh aig ìre an aoigh, agus seòlaidhean putaidh a dh’ fhaodas gluasad a-steach gu ath-chòmhdach, gus nach suathadh no gus cus atharrachaidhean fiùghantach a dhèanamh air siostam slighe an fho-chòmhdach fhèin (lìonra còmhdhail) .

Is e teicneòlas eile nach bi sinn a’ cleachdadh multicast. Ma tha thu ag iarraidh, is urrainn dhomh innse dhut gu mionaideach carson. Tha seo a’ dèanamh beatha gu math nas fhasa, oir ma tha cuideigin air dèiligeadh ris agus air coimhead air cò ris a tha am plèana smachd multicast coltach, gu h-iomlan ach na h-ionadan as sìmplidh, is e ceann goirt a tha seo. Agus a bharrachd air an sin, tha e duilich buileachadh stòr fosgailte a tha ag obair gu math a lorg, mar eisimpleir.

Mu dheireadh, bidh sinn a’ dealbhadh ar lìonraidhean gus nach atharraich iad cus. Faodaidh sinn cunntadh air gu bheil sruth thachartasan taobh a-muigh san t-siostam slighe beag.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Dè na duilgheadasan a thig am bàrr agus dè na cuingeachaidhean a dh’fheumar a ghabhail a-steach nuair a leasaicheas sinn lìonra ionad dàta? Cosgais, gu dearbh. Scalability, an ìre chun a bheil sinn airson fàs. Tha feum air leudachadh gun stad a chur air an t-seirbheis. Bandwidth, ri fhaighinn. Faicsinneachd na tha a’ tachairt air an lìonra airson siostaman sgrùdaidh, airson sgiobaidhean obrachaidh. Taic fèin-ghluasaid - a-rithist, cho mòr ‘s as urrainn, oir faodar diofar ghnìomhan fhuasgladh aig diofar ìrean, a’ toirt a-steach toirt a-steach sreathan a bharrachd. Uill, chan eil [is dòcha] an urra ri luchd-reic. Ged a bha e ann an diofar amannan eachdraidheil, a rèir dè an earrann air am bi thu a’ coimhead, bha an neo-eisimeileachd seo na b’ fhasa no na bu duilghe a choileanadh. Ma ghabhas sinn tar-roinn de sgoltagan inneal lìonra, an uairsin gu o chionn ghoirid bha e gu math cumhach bruidhinn mu neo-eisimeileachd bho luchd-reic, nam biodh sinn cuideachd ag iarraidh chips le toradh àrd.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Dè an topology loidsigeach a chleachdas sinn gus ar lìonra a thogail? Bidh seo na Clos ioma-ìre. Gu dearbh, chan eil fìor roghainnean eile ann an-dràsta. Agus tha topology Clos gu math math, eadhon an taca ri diofar topologies adhartach a tha nas motha ann an raon ùidh acadaimigeach a-nis, ma tha suidsichean radix mòra againn.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Ciamar a tha lìonra Clos ioma-ìre air a structaradh gu garbh agus dè na diofar eileamaidean ris an canar ann? An toiseach, dh'èirich a' ghaoth, gus thu fhèin a stiùireadh far a bheil tuath, far a bheil deas, far a bheil an ear, far a bheil an iar. Mar as trice bidh lìonraidhean den t-seòrsa seo air an togail leis an fheadhainn aig a bheil trafaic glè mhòr bhon taobh an ear. A thaobh na h-eileamaidean a tha air fhàgail, aig a’ mhullach tha tionndadh brìgheil air a chruinneachadh bho suidsichean nas lugha. Is e seo am prìomh bheachd air togail ath-chuairteach de lìonraidhean Clos. Bidh sinn a’ gabhail eileamaidean le radix de sheòrsa air choreigin agus gan ceangal gus an tèid na gheibh sinn a mheas mar suidse le radix nas motha. Ma tha feum agad air eadhon barrachd, faodar an dòigh-obrach a dhèanamh a-rithist.

Ann an cùisean, mar eisimpleir, le Clos dà-ìre, nuair a tha e comasach na pàirtean a tha dìreach anns an diagram agam a chomharrachadh gu soilleir, mar as trice canar plèanaichean riutha. Nam biodh sinn gu bhith a’ togail Clos le trì ìrean de suidsichean droma (chan eil iad uile nan suidsichean crìche no ToR agus a thathas a’ cleachdadh a-mhàin airson gluasad), bhiodh na plèanaichean a’ coimhead nas iom-fhillte; tha feadhainn dà-ìre a’ coimhead dìreach mar seo. Canaidh sinn bloc de ToR no suidsichean duilleach agus na suidsichean cnàimh-droma ciad ìre co-cheangailte riutha Pod. Is e suidsichean cnàimh-droma den ìre spine-1 aig mullach an Pod mullach Pod, mullach a’ phod. Is e na suidsichean a tha suidhichte aig mullach an fhactaraidh gu lèir an ìre as àirde den fhactaraidh, Top of fabric.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Gu dearbh, tha a 'cheist ag èirigh: Chaidh lìonraidhean dùnaidh a thogail airson ùine; tha am beachd fhèin mar as trice a 'tighinn bho amannan fòn clasaigeach, lìonraidhean TDM. Is dòcha gu bheil rudeigin nas fheàrr air nochdadh, is dòcha gun gabh rudeigin a dhèanamh nas fheàrr? Tha agus chan eil. Gu teòiridheach tha, ann an cleachdadh a dh’ aithghearr chan eil. Leis gu bheil grunn topologies inntinneach ann, tha cuid dhiubh eadhon air an cleachdadh ann an cinneasachadh, mar eisimpleir, tha Dragonfly air a chleachdadh ann an tagraidhean HPC; Tha topologies inntinneach ann cuideachd leithid Xpander, FatClique, Jellyfish. Ma choimheadas tu air aithisgean aig co-labhairtean mar SIGCOMM no NSDI o chionn ghoirid, gheibh thu àireamh meadhanach mòr de dh’ obraichean air topologies eile aig a bheil feartan nas fheàrr (fear no tè eile) na Clos.

Ach tha aon seilbh inntinneach aig na topologies sin uile. Tha e a’ cur casg air an cur an gnìomh ann an lìonraidhean ionadan dàta, a tha sinn a’ feuchainn ri togail air bathar-cruaidh bathair agus a chosgas airgead gu math reusanta. Anns na topologies eile sin uile, gu mì-fhortanach chan eil a’ mhòr-chuid den leud-bann ruigsinneach tro na slighean as giorra. Mar sin, bidh sinn sa bhad a’ call an cothrom am plèana smachd traidiseanta a chleachdadh.

Gu teòiridheach, tha fios air fuasgladh na duilgheadas. Is iad sin, mar eisimpleir, atharrachaidhean air staid ceangail a’ cleachdadh k-slighe as giorra, ach, a-rithist, chan eil protocolaidhean mar sin ann a bhiodh air an cur an gnìomh ann an cinneasachadh agus rim faighinn gu farsaing air uidheamachd.

A bharrachd air an sin, leis nach eil a’ mhòr-chuid den chomas ruigsinneach tro na slighean as giorra, feumaidh sinn barrachd air dìreach am plèana smachd atharrachadh gus na slighean sin gu lèir a thaghadh (agus leis an t-slighe, tha seo tòrr a bharrachd stàite san itealan smachd). Feumaidh sinn fhathast am plèana adhartachaidh atharrachadh, agus, mar riaghailt, tha feum air co-dhiù dà fheart a bharrachd. Is e seo an comas a h-uile co-dhùnadh a dhèanamh mu chuir air adhart pacaid aon-ùine, mar eisimpleir, air an aoigh. Gu dearbh, is e seo slighe stòr, uaireannan anns an litreachas air lìonraidhean eadar-cheangail canar co-dhùnaidhean air adhart uile-air-aon ris an seo. Agus tha slighe atharrachail na ghnìomh a dh’ fheumas sinn air eileamaidean lìonra, a tha a’ goil sìos, mar eisimpleir, leis gu bheil sinn a’ taghadh an ath hop stèidhichte air fiosrachadh mun luchd as lugha air a’ chiudha. Mar eisimpleir, tha roghainnean eile comasach.

Mar sin, tha an stiùireadh inntinneach, ach, alas, chan urrainn dhuinn a chuir an sàs an-dràsta.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Ceart gu leòr, shocraich sinn air topology loidsigeach Clos. Ciamar a mheudaicheas sinn e? Chì sinn mar a tha e ag obair agus dè ghabhas dèanamh.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Ann an lìonra Clos tha dà phrìomh pharamadair ann as urrainn dhuinn dòigh air choireigin atharrachadh agus toraidhean sònraichte fhaighinn: radix nan eileamaidean agus an àireamh de ìrean san lìonra. Tha diagram sgeamach agam air mar a tha an dà chuid a’ toirt buaidh air meud. Mas fheàrr, bidh sinn a 'ceangal an dà chuid.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Chìthear gu bheil an leud mu dheireadh de lìonra Clos mar thoradh air gach ìre de suidsichean spine den radix a deas, cia mheud ceangal a th ’againn sìos, mar a bhios e a’ geugan. Seo mar a bhios sinn a’ sgèile meud an lìonraidh.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

A thaobh comas, gu sònraichte air suidsichean ToR, tha dà roghainn sgèileachaidh ann. An dàrna cuid is urrainn dhuinn, fhad ‘s a chumas sinn an topology coitcheann, ceanglaichean nas luaithe a chleachdadh, no is urrainn dhuinn barrachd phlèanaichean a chuir ris.

Ma choimheadas tu air an tionndadh leudaichte de lìonra Clos (san oisean gu h-ìosal air an làimh dheis) agus till air ais chun dealbh seo leis an lìonra Clos gu h-ìosal ...

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

... an uairsin is e seo dìreach an aon topology, ach air an t-sleamhnag seo tha e air tuiteam nas dlùithe agus tha plèanaichean an fhactaraidh air an cur thairis air a chèile. Tha e mar an ceudna.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Cò ris a tha sgèileadh lìonra Clos coltach ann an àireamhan? An seo bheir mi seachad dàta air dè an leud as motha a gheibhear lìonra, dè an àireamh as motha de racaichean, suidsichean ToR no suidsichean duilleach, mura h-eil iad ann an racaichean, gheibh sinn a rèir dè an radix de suidsichean a bhios sinn a’ cleachdadh airson spine -levels, agus cia mheud ìre a bhios sinn a’ cleachdadh.

Seo cia mheud raca as urrainn dhuinn a bhith againn, cia mheud seirbheisiche agus timcheall air an ìre as urrainn seo ithe stèidhichte air 20 kW gach raca. Beagan na bu thràithe thug mi iomradh gu bheil sinn ag amas air meud brabhsair de mu 100 mìle frithealaiche.

Chìthear, anns an dealbhadh iomlan seo, gu bheil dà roghainn gu leth inntinneach. Tha roghainn ann le dà shreath de spìcean agus suidsichean 64-port, a tha beagan goirid. An uairsin tha roghainnean gu math iomchaidh ann airson suidsichean spine 128-port (le radix 128) le dà ìre, no suidsichean le radix 32 le trì ìrean. Agus anns a h-uile suidheachadh, far a bheil barrachd radixes agus barrachd shreathan, faodaidh tu lìonra gu math mòr a dhèanamh, ach ma choimheadas tu air a ’chaitheamh ris a bheil dùil, mar as trice tha gigawatts ann. Tha e comasach càball a chuir sìos, ach chan eil e coltach gum faigh sinn an uiread sin de dhealan aig aon làrach. Ma choimheadas tu air staitistig agus dàta poblach air ionadan dàta, gheibh thu glè bheag de ionadan dàta le comas measta nas motha na 150 MW. Mar as trice is e àrainnean ionadan dàta a th’ anns an fheadhainn as motha, grunn ionadan dàta mòra a tha gu math faisg air a chèile.

Tha paramadair cudromach eile ann. Ma choimheadas tu air a’ cholbh chlì, tha leud-bann a ghabhas cleachdadh air a liostadh an sin. Tha e furasta fhaicinn gu bheil cuid mhath de na puirt air an cleachdadh ann an lìonra Clos gus suidsichean a cheangal ri chèile. Tha leud-bann a ghabhas cleachdadh, stiall feumail, na rud a dh’ fhaodar a thoirt a-muigh, a dh’ionnsaigh na frithealaichean. Gu nàdarra, tha mi a’ bruidhinn air puirt gun chumhachan agus gu sònraichte mun chòmhlan. Mar riaghailt, tha ceanglaichean taobh a-staigh an lìonra nas luaithe na ceanglaichean gu frithealaichean, ach gach aonad de leud-bann, cho mòr ‘s as urrainn dhuinn a chuir a-mach chun uidheamachd frithealaiche againn, tha beagan leud-bann fhathast taobh a-staigh an lìonra fhèin. Agus mar as motha de na h-ìrean a nì sinn, is ann as motha a bhios a’ chosgais shònraichte a bhith a’ toirt seachad an stiall seo don taobh a-muigh.

A bharrachd air an sin, chan eil eadhon an còmhlan a bharrachd seo dìreach mar an ceudna. Ged a tha na rèisean goirid, is urrainn dhuinn rudeigin mar DAC a chleachdadh (copar ceangail dìreach, is e sin, càballan twinax), no optics multimode, a chosgas eadhon barrachd no nas lugha de airgead reusanta. Cho luath ‘s a ghluaiseas sinn gu rèisean nas fhaide - mar riaghailt, is iad sin optics aon-mhodh, agus tha cosgais an leud-bann a bharrachd seo ag àrdachadh gu mòr.

Agus a-rithist, a 'tilleadh chun an t-sleamhnag a bh' ann roimhe, ma chruthaicheas sinn lìonra Clos gun cus ballrachd, tha e furasta coimhead air an diagram, faic mar a tha an lìonra air a thogail - a 'cur a h-uile ìre de suidsichean spine, bidh sinn ag ath-aithris an stiall gu lèir a bha aig an bun. Plus ìre - a bharrachd air an aon chòmhlan, an aon àireamh de phuirt air suidsichean mar a bha aig an ìre roimhe, agus an aon àireamh de transceivers. Mar sin, tha e gu math ion-mhiannaichte an àireamh de ìrean de suidsichean droma a lughdachadh.

Stèidhichte air an dealbh seo, tha e soilleir gu bheil sinn dha-rìribh ag iarraidh togail air rudeigin mar suidsichean le radix de 128.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

An seo, ann am prionnsapal, tha a h-uile dad an aon rud ris na thuirt mi; ​​is e sleamhnag a tha seo airson beachdachadh nas fhaide air adhart.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Dè na roghainnean a tha ann as urrainn dhuinn a thaghadh mar suidsichean mar sin? Tha e na naidheachd gu math tlachdmhor dhuinn gu bheil a-nis faodar lìonraidhean mar sin a thogail mu dheireadh air suidsichean aon-chip. Agus tha seo gu math fionnar, tha tòrr fheartan snog aca. Mar eisimpleir, cha mhòr nach eil structar taobh a-staigh aca. Tha seo a 'ciallachadh gu bheil iad a' briseadh nas fhasa. Bidh iad a 'briseadh ann an diofar dhòighean, ach gu fortanach bidh iad a' briseadh gu tur. Ann an innealan modular tha àireamh mhòr de sgàinidhean (gu math mì-thlachdmhor), nuair a tha e coltach gu bheil e ag obair bho shealladh nàbaidhean agus an itealan smachd, ach, mar eisimpleir, tha pàirt den aodach air chall agus chan eil e ag obair. aig làn chomas. Agus tha an trafaic thuige air a chothromachadh stèidhichte air gu bheil e ag obair gu h-iomlan, agus gheibh sinn cus luchdachadh.

No, mar eisimpleir, bidh duilgheadasan ag èirigh leis a 'chùl-raon, oir tha SerDes àrd-astar taobh a-staigh an inneal modular - tha e gu math iom-fhillte a-staigh. An dàrna cuid tha na comharran eadar eileamaidean adhartachaidh air an sioncronadh no gun a bhith sioncronaich. San fharsaingeachd, tha inneal modular toraidh sam bith anns a bheil àireamh mhòr de eileamaidean, mar riaghailt, anns an aon lìonra Clos taobh a-staigh fhèin, ach tha e gu math duilich a dhearbhadh. Gu tric tha e duilich eadhon an neach-reic fhèin a dhearbhadh.

Agus tha àireamh mhòr de shuidheachaidhean fàilligeadh ann far a bheil an inneal a 'crìonadh, ach nach eil e a' tuiteam a-mach às an topology gu tur. Leis gu bheil an lìonra againn mòr, tha cothromachadh eadar eileamaidean co-ionann air a chleachdadh gu gnìomhach, tha an lìonra gu math cunbhalach, is e sin, chan eil aon shlighe air a bheil a h-uile càil ann an òrdugh eadar-dhealaichte bhon t-slighe eile, tha e nas prothaidiche dhuinn dìreach cuid de a chall. na h-innealan bhon topology na bhith a’ tighinn gu crìch ann an suidheachadh far a bheil coltas gu bheil cuid dhiubh ag obair, ach cuid dhiubh nach eil.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Is e an ath fheart snog de innealan aon-chip gu bheil iad a’ fàs nas fheàrr agus nas luaithe. Tha iad cuideachd buailteach gum bi comas nas fheàrr aca. Ma bheir sinn na structaran mòra cruinnichte a th’ againn air cearcall, tha an comas gach aonad raca airson puirt aig an aon astar faisg air dà uair cho math ri comas innealan modular. Tha innealan air an togail timcheall air aon chip gu math nas saoire na feadhainn modular agus ag ithe nas lugha de lùth.

Ach, gu dearbh, tha seo uile airson adhbhar, tha eas-bhuannachdan ann cuideachd. An toiseach, tha an radix cha mhòr an-còmhnaidh nas lugha na an fheadhainn aig innealan modular. Mas urrainn dhuinn inneal a thogail timcheall air aon chip le 128 puirt, gheibh sinn fear modular le grunn cheudan puirt a-nis gun duilgheadas sam bith.

Is e seo meud gu math nas lugha de chlàran air adhart agus, mar riaghailt, a h-uile dad co-cheangailte ri scalability plèana dàta. Bufairean eu-domhainn. Agus, mar riaghailt, gu math cuingealaichte comas-gnìomh. Ach tha e a 'tionndadh a-mach ma tha sibh eòlach air na cuingeachaidhean seo agus a' gabhail cùram ann an àm gus faighinn seachad orra no dìreach a 'gabhail a-steach iad, chan eil e cho eagallach. Chan eil an fhìrinn gu bheil an radix nas lugha na dhuilgheadas tuilleadh air innealan le radix de 128 a tha air nochdadh mu dheireadh o chionn ghoirid; is urrainn dhuinn dà shreath de spìcean a thogail a-steach. Ach tha e do-dhèanta fhathast rud sam bith nas lugha na dhà a thogail a tha inntinneach dhuinn. Le aon ìre, gheibhear cruinneachaidhean glè bheag. Bha eadhon na dealbhaidhean agus na riatanasan a bh’ againn roimhe fhathast nas àirde na iad.

Gu dearbh, ma tha am fuasgladh gu h-obann an àiteigin faisg air làimh, tha dòigh ann fhathast air sgèile. Leis gur e suidsichean ToR no suidsichean duilleach an ìre mu dheireadh (no an toiseach), far a bheil frithealaichean ceangailte, chan fheum sinn aon raca a cheangal riutha. Mar sin, ma thuiteas am fuasgladh goirid le timcheall air leth, faodaidh tu smaoineachadh dìreach air suidse le radix mòr aig an ìre as ìsle a chleachdadh agus a cheangal, mar eisimpleir, dhà no trì racaichean ann an aon suidse. Tha seo cuideachd na roghainn, tha na cosgaisean aige, ach tha e ag obair gu math agus faodaidh e a bhith na fhuasgladh math nuair a dh'fheumas tu ruighinn mu dhà uair nas motha.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Airson geàrr-chunntas, tha sinn a’ togail air topology le dà ìre de spìcean, le ochd sreathan factaraidh.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Dè thachras dha fiosaig? Àireamhachadh gu math sìmplidh. Ma tha dà ìre de spìcean againn, chan eil againn ach trì ìrean de suidsichean, agus tha sinn an dùil gum bi trì earrannan càbaill san lìonra: bho luchd-frithealaidh gu suidsichean duilleach, gu spine 1, gu spine 2. Na roghainnean as urrainn dhuinn cleachdadh - is iad sin twinax, multimode, modh singilte. Agus an seo feumaidh sinn beachdachadh air dè an stiall a tha ri fhaighinn, dè a chosgas e, dè na tomhasan fiosaigeach, dè na raointean as urrainn dhuinn a chòmhdach, agus mar a nì sinn ùrachadh.

A thaobh cosgais, faodar a h-uile càil a chuir air dòigh. Tha Twinaxes gu math nas saoire na optics gnìomhach, nas saoire na transceivers multimode, ma bheir thu e gach turas-adhair bhon deireadh, beagan nas saoire na port suidse 100-gigabit. Agus, thoir an aire, gu bheil e a’ cosg nas lugha na optics modh singilte, oir air tursan-adhair far a bheil feum air modh singilte, ann an ionadan dàta airson grunn adhbharan tha e ciallach CWDM a chleachdadh, fhad ‘s nach eil modh singilte co-shìnte (PSM) glè ghoireasach airson obrachadh. le, gheibhear pacaidean glè mhòr snàithleach, agus ma chuireas sinn fòcas air na teicneòlasan sin, gheibh sinn timcheall air an rangachd prìsean a leanas.

Aon nota eile: gu mì-fhortanach, chan eil e gu math comasach puirt ioma-mhodh 100 gu 4 × 25 a chleachdadh. Air sgàth feartan dealbhaidh transceivers SFP28, chan eil e mòran nas saoire na 28 Gbit QSFP100. Agus chan eil an disassembly seo airson multimode ag obair glè mhath.

Is e cuingealachadh eile gu bheil na h-ionadan dàta againn mòr gu corporra mar thoradh air meud nan cruinneachaidhean coimpiutaireachd agus an àireamh de luchd-frithealaidh. Tha seo a’ ciallachadh gum feumar co-dhiù aon itealan a dhèanamh le singlemod. A-rithist, air sgàth meud corporra nam Pods, cha bhith e comasach dà rèis de twinax (càbaill copair) a ruith.

Mar thoradh air an sin, ma nì sinn an fheum as fheàrr airson prìs agus ma bheir sinn aire do gheoimeatraidh an dealbhaidh seo, gheibh sinn aon rèis de twinax, aon rèis de multimode agus aon rèis de singlemode a’ cleachdadh CWDM. Bidh seo a’ gabhail a-steach slighean ùrachadh a dh’ fhaodadh a bhith ann.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Seo mar a tha e coltach o chionn ghoirid, far a bheil sinn a’ dol agus dè tha comasach. Tha e soilleir, co-dhiù, mar a ghluaiseas tu a dh’ ionnsaigh 50-Gigabit SerDes airson an dà chuid multimode agus singlemode. A bharrachd air an sin, ma choimheadas tu air na tha ann an transceivers aon-mhodh an-dràsta agus san àm ri teachd airson 400G, gu tric eadhon nuair a ruigeas 50G SerDes bhon taobh dealain, faodaidh 100 Gbps gach sreath a dhol gu optics mu thràth. Mar sin, tha e gu math comasach an àite gluasad gu 50, gum bi gluasad gu 100 Gigabit SerDes agus 100 Gbps gach sreath, oir a rèir geallaidhean mòran de luchd-reic, tha dùil gum bi iad rim faighinn gu math luath. Tha e coltach nach bi an ùine nuair a bha 50G SerDes aig an ìre as luaithe, oir tha a’ chiad leth-bhreac de 100G SerDes gan sgaoileadh cha mhòr an ath-bhliadhna. Agus às deidh beagan ùine às deidh sin is dòcha gum b ’fhiach iad airgead reusanta.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Aon nuance eile mun roghainn fiosaig. Ann am prionnsapal, is urrainn dhuinn mu thràth puirt 400 no 200 Gigabit a chleachdadh a’ cleachdadh 50G SerDes. Ach thionndaidh e a-mach nach eil seo a’ dèanamh mòran ciall, oir, mar a thuirt mi na bu thràithe, tha sinn ag iarraidh radix meadhanach mòr air na suidsichean, taobh a-staigh adhbhar, gu dearbh. Tha sinn ag iarraidh 128. Agus ma tha comas cuibhrichte chip againn agus ma tha sinn ag àrdachadh astar ceangail, bidh an radix gu nàdarrach a’ dol sìos, chan eil mìorbhailean ann.

Agus is urrainn dhuinn an comas iomlan a mheudachadh le bhith a’ cleachdadh phlèanaichean, agus chan eil cosgaisean sònraichte ann; is urrainn dhuinn an àireamh de phlèanaichean a chur ris. Agus ma chailleas sinn an radix, feumaidh sinn ìre a bharrachd a thoirt a-steach, agus mar sin anns an t-suidheachadh làithreach, leis a’ chomas as àirde a tha ri fhaighinn an-dràsta airson gach chip, tha e a’ tionndadh a-mach gu bheil e nas èifeachdaiche puirt 100-gigabit a chleachdadh, leis gu bheil iad a’ toirt cothrom dhut. gus radix nas motha fhaighinn.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Is e an ath cheist ciamar a tha fiosaig air a chuir air dòigh, ach bho shealladh bun-structair càball. Tha e a 'tionndadh a-mach gu bheil e air a chur air dòigh ann an dòigh caran èibhinn. Càbaill eadar suidsichean duille agus spìcean ciad ìre - chan eil mòran cheanglaichean ann, tha a h-uile dad air a thogail gu ìre mhath sìmplidh. Ach ma ghabhas sinn aon itealan, is e na thachras a-staigh gum feum sinn a h-uile spìcean den chiad ìre a cheangal ri spìcean an dàrna ìre.

A bharrachd air an sin, mar riaghailt, tha cuid de dhùrachdan ann airson mar a bu chòir dha coimhead taobh a-staigh an ionad dàta. Mar eisimpleir, bha sinn dha-rìribh ag iarraidh càbaill a chur còmhla ann am pasgan agus an tarraing gus am biodh aon phannal paiste àrd-dùmhlachd gu tur a’ dol a-steach do aon phannal paiste, gus nach biodh sù ann a thaobh faid. Chaidh againn air an duilgheadas seo fhuasgladh. Ma choimheadas tu an toiseach air an topology loidsigeach, chì thu gu bheil na plèanaichean neo-eisimeileach, faodar gach plèana a thogail leis fhèin. Ach nuair a chuireas sinn a leithid de phasgan ris agus a tha sinn airson am pannal paiste gu lèir a shlaodadh a-steach do phannal paiste, feumaidh sinn diofar phlèanaichean a mheasgachadh taobh a-staigh aon phasgan agus structar eadar-mheadhanach a thoirt a-steach ann an cruth tar-cheanglaichean optigeach gus an ath-phacadh bho mar a chaidh an cur ri chèile. air aon earrann, mar a chruinnichear iad air earrann eile. Taing dha seo, gheibh sinn feart snog: chan eil an tionndadh iom-fhillte gu lèir a ’dol nas fhaide na na racaichean. Nuair a dh’ fheumas tu rudeigin eadar-fhighte gu làidir, “fosgl na plèanaichean,” mar a chanar uaireannan ann an lìonraidhean Clos, tha e uile stèidhichte taobh a-staigh aon raca. Chan eil sinn gu math disassembled, sìos gu ceanglaichean fa leth, ag atharrachadh eadar racaichean.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Seo mar a tha e a’ coimhead bho shealladh eagrachadh loidsigeach a’ bhun-structair càball. Anns an dealbh air an taobh chlì, tha na blocaichean ioma-dathte a’ sealltainn blocaichean de suidsichean cnàimh-droma aig a’ chiad ìre, ochd pìosan gach fear, agus ceithir bagaichean de chàbaill a’ tighinn bhuapa, a bhios a’ dol agus a’ dol tarsainn air na pasgain a’ tighinn bho na blocaichean de suidsichean spine-2. .

Tha ceàrnagan beaga a’ comharrachadh eadar-ghearradh. Aig a’ mhullach air an taobh chlì tha briseadh sìos de gach eadar-ghearradh mar sin, is e seo dha-rìribh modal tar-cheangail port 512 le 512 a bhios ag ath-phacadh nan càbaill gus an tig iad gu tur a-steach do aon raca, far nach eil ach aon phlèana spine-2. Agus air an taobh cheart, tha scan den dealbh seo beagan nas mionaidiche a thaobh grunn Pods aig ìre spine-1, agus mar a tha e air a phacadh ann an tar-cheangal, mar a thig e gu ìre spine-2.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Seo mar a tha e coltach. An seasamh spine-2 nach deach a chruinneachadh fhathast (air an taobh chlì) agus an seasamh tar-cheangail. Gu mì-fhortanach, chan eil mòran ri fhaicinn ann. Tha an structar gu lèir seo ga chleachdadh an-dràsta ann an aon de na h-ionadan dàta mòra againn a thathas a’ leudachadh. Is e obair a tha seo a tha a’ dol air adhart, seallaidh e nas fheàrr, bidh e air a lìonadh nas fheàrr.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Ceist chudromach: thagh sinn an topology loidsigeach agus thog sinn am fiosaig. Dè a thachras don itealan smachd? Tha e gu math aithnichte bho eòlas obrachaidh, tha grunn aithisgean ann gu bheil protocolaidhean stàite ceangail math, tha e na thoileachas a bhith ag obair còmhla riutha, ach, gu mì-fhortanach, chan eil iad a ’sgèile gu math air topology dlùth-cheangailte. Agus tha aon phrìomh fheart ann a chuireas casg air seo - seo mar a tha tuiltean ag obair ann am protocolaidhean stàite ceangail. Ma bheir thu dìreach an algairim tuiltean agus coimhead air mar a tha an lìonra againn air a structaradh, chì thu gum bi fanout gu math mòr aig gach ceum, agus bidh e dìreach a’ tuiltean an itealan smachd le ùrachaidhean. Gu sònraichte, tha topologies mar seo a’ measgachadh gu dona leis an algairim tuiltean traidiseanta ann am protocolaidhean stàite ceangail.

Is e an roghainn BGP a chleachdadh. Tha mar a nì thu ullachadh ceart air a mhìneachadh ann an RFC 7938 mu chleachdadh BGP ann an ionadan dàta mòra. Tha na beachdan bunaiteach sìmplidh: an àireamh as lugha de ro-leasachain gach aoigh agus mar as trice an àireamh as lugha de ro-leasachain air an lìonra, cleachd cruinneachadh ma ghabhas e dèanamh, agus cuir stad air sealg slighe. Tha sinn ag iarraidh cuairteachadh gu math faiceallach, fo smachd de dh’ ùrachaidhean, rud ris an canar valley free. Tha sinn airson gun tèid ùrachaidhean a chuir a-steach dìreach aon uair ‘s a thèid iad tron ​​​​lìonra. Ma thig iad bhon bhonn, thèid iad suas, gun fhosgladh barrachd air aon uair. Cha bu chòir zigzags a bhith ann. Tha zigzags gu math dona.

Gus seo a dhèanamh, bidh sinn a’ cleachdadh dealbhadh a tha sìmplidh gu leòr airson na h-uidheaman BGP bunaiteach a chleachdadh. Is e sin, bidh sinn a’ cleachdadh eBGP a’ ruith air ceangal ionadail, agus tha siostaman fèin-riaghailteach air an sònrachadh mar a leanas: siostam fèin-riaghailteach air ToR, siostam fèin-riaghailteach air a’ bhloc iomlan de suidsichean spine-1 de aon Pod, agus siostam fèin-riaghailteach coitcheann air a’ mhullach gu lèir. à Stuth. Chan eil e duilich a bhith a’ coimhead agus a’ faicinn gu bheil eadhon giùlan àbhaisteach BGP a’ toirt dhuinn sgaoileadh nan ùrachaidhean a tha sinn ag iarraidh.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Gu nàdarra, feumar dèiligeadh ri agus cruinneachadh seòlaidhean a dhealbhadh gus am bi e co-chòrdail ris an dòigh anns a bheilear a’ togail slighe, gus am bi e cinnteach gum bi am plèana smachd seasmhach. Tha seòladh L3 ann an còmhdhail ceangailte ris an topology, oir às aonais seo tha e do-dhèanta co-chruinneachadh a choileanadh; às aonais seo, bidh seòlaidhean fa-leth ag èaladh a-steach don t-siostam slighe. Agus is e aon rud eile nach eil an cruinneachadh, gu mì-fhortanach, a’ measgachadh gu math le ioma-shlighe, oir nuair a tha ioma-shlighe againn agus gu bheil cruinneachadh againn, tha a h-uile dad ceart gu leòr, nuair a tha an lìonra gu lèir fallain, chan eil fàilligidhean ann. Gu mì-fhortanach, cho luath 'sa nochdas fàilligidhean anns an lìonra agus gu bheil co-chothromachd an topology air a chall, faodaidh sinn tighinn chun na h-ìre bhon deach an aonad ainmeachadh, às nach urrainn dhuinn a dhol nas fhaide gu far am feum sinn a dhol. Mar sin, tha e nas fheàrr cruinneachadh far nach eil tuilleadh ioma-shlighe ann, anns a’ chùis againn is iad sin suidsichean ToR.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Gu dearbh, tha e comasach cruinneachadh, ach gu faiceallach. Mas urrainn dhuinn dì-chothromachadh fo smachd a dhèanamh nuair a thachras fàilligidhean lìonra. Ach is e obair gu math duilich a tha seo, bha sinn eadhon a’ faighneachd am biodh e comasach seo a dhèanamh, an robh e comasach fèin-ghluasad a bharrachd a chuir ris, agus innealan stàite crìochnaichte a bhreabadh BGP gu ceart gus an giùlan a bha thu ag iarraidh fhaighinn. Gu mì-fhortanach, tha làimhseachadh chùisean oisean gu math neo-fhollaiseach agus iom-fhillte, agus chan eil an obair seo air a dheagh fhuasgladh le bhith a 'ceangal ceanglachan taobh a-muigh ri BGP.

Chaidh obair fìor inntinneach a thaobh seo a dhèanamh taobh a-staigh frèam protocol RIFT, a thèid a dheasbad san ath aithisg.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Is e rud cudromach eile mar a bhios plèanaichean dàta a’ sgèileadh ann an topologies dùmhail, far a bheil àireamh mhòr de shlighean eile againn. Anns a 'chùis seo, thathar a' cleachdadh grunn structaran dàta a bharrachd: buidhnean ECMP, a tha an uair sin a 'toirt cunntas air buidhnean Next Hop.

Ann an lìonra a tha ag obair gu h-àbhaisteach, às aonais fàilligidhean, nuair a thèid sinn suas an topology Clos, tha e gu leòr dìreach aon bhuidheann a chleachdadh, oir tha a h-uile dad nach eil ionadail air a mhìneachadh gu bunaiteach, is urrainn dhuinn a dhol suas. Nuair a thèid sinn bho mhullach gu bonn gu deas, chan eil a h-uile slighe mar ECMP, is e slighean aon-shlighe a th’ annta. Tha a h-uile dad gu math. Is e an trioblaid, agus is e cho sònraichte sa tha an topology clasaigeach Clos ma choimheadas sinn air mullach aodach, aig eileamaid sam bith, chan eil ann ach aon shlighe gu eileamaid sam bith gu h-ìosal. Ma thachras fàilligidhean air an t-slighe seo, bidh an eileamaid shònraichte seo aig mullach an fhactaraidh neo-dhligheach dìreach airson na ro-leasachan sin a tha air cùl na slighe briste. Ach airson a’ chòrr tha e dligheach, agus feumaidh sinn na buidhnean ECMP a pharsadh agus stàit ùr a thoirt a-steach.

Cò ris a tha scalability plèana dàta coltach air innealan ùr-nodha? Ma nì sinn LPM (geama ro-leasachan as fhaide), tha a h-uile dad gu math, còrr air 100k ro-leasachan. Ma tha sinn a 'bruidhinn mu dheidhinn buidhnean Next Hop, tha a h-uile dad nas miosa, 2-4 mìle. Ma tha sinn a’ bruidhinn mu dheidhinn clàr anns a bheil tuairisgeul air Next Hops (no ri taobh), tha seo an àiteigin bho 16k gu 64k. Agus faodaidh seo a bhith na dhuilgheadas. Agus an seo thig sinn gu ìre inntinneach: dè thachair do MPLS ann an ionadan dàta? Ann am prionnsabal, bha sinn airson a dhèanamh.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Thachair dà rud. Rinn sinn meanbh-sgaradh air na h-aoighean; cha robh feum againn tuilleadh a dhèanamh air an lìonra. Cha robh e glè mhath le taic bho dhiofar luchd-reic, agus eadhon nas motha le buileachadh fosgailte air bogsaichean geala le MPLS. Agus tha MPLS, co-dhiù na gnìomhan traidiseanta aige, gu mì-fhortanach, a’ tighinn còmhla gu math ri ECMP. Agus air an adhbhar sin.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Seo mar a tha structar adhartachaidh ECMP airson IP coltach. Faodaidh àireamh mhòr de ro-leasachain an aon bhuidheann agus an aon bhloc Next Hops a chleachdadh (no faisg air làimh, faodar seo a ghairm gu eadar-dhealaichte ann an diofar sgrìobhainnean airson diofar innealan). Is e a’ phuing gu bheil seo air a mhìneachadh mar am port a tha a ’dol a-mach agus dè a bu chòir dhut an seòladh MAC ath-sgrìobhadh gus faighinn chun Next Hop ceart. Airson IP tha a h-uile dad a ’coimhead sìmplidh, faodaidh tu àireamh mhòr de ro-leasachain a chleachdadh airson an aon bhuidheann, an aon bhloc Next Hops.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Tha an ailtireachd clasaigeach MPLS a’ ciallachadh, a rèir an eadar-aghaidh a tha a’ dol a-mach, gum faodar an leubail ath-sgrìobhadh gu diofar luachan. Mar sin, feumaidh sinn buidheann agus bloc Next Hops a chumail airson gach leubail cuir a-steach. Agus, gu mì-fhortanach, chan eil seo a’ tomhas.

Tha e furasta fhaicinn gu robh feum againn air mu dheidhinn suidsichean 4000 ToR nar dealbhadh, b’ e an leud as àirde 64 slighean ECMP, ma ghluaiseas sinn air falbh bho spine-1 gu spine-2. Is gann gun tèid sinn a-steach do aon chlàr de bhuidhnean ECMP, mura tèid ach aon ro-leasachan le ToR air falbh, agus nach fhaigh sinn a-steach don chlàr Next Hops idir.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Chan eil e uile gun dòchas, oir tha ailtireachd mar Segment Routing a’ toirt a-steach bileagan cruinneil. Gu foirmeil, bhiodh e comasach na blocaichean Next Hops sin uile a leagail a-rithist. Gus seo a dhèanamh, feumaidh tu obrachadh seòrsa cairt fiadhaich: gabh bileag agus ath-sgrìobh e chun an aon fhear gun luach sònraichte. Ach gu mì-fhortanach, chan eil seo gu math an làthair anns na gnìomhan a tha rim faighinn.

Agus mu dheireadh, feumaidh sinn trafaic bhon taobh a-muigh a thoirt a-steach don ionad dàta. Ciamar a dhèanamh? Roimhe sin, chaidh trafaig a thoirt a-steach don lìonra Clos bho shuas. Is e sin, bha routers iomall ann a bha a ’ceangal ris a h-uile inneal air mullach aodach. Bidh am fuasgladh seo ag obair gu math air meudan beaga gu meadhanach. Gu mì-fhortanach, gus trafaic a chuir gu co-chothromach chun lìonra gu lèir san dòigh seo, feumaidh sinn a h-uile eileamaid den mhullach aodach a ruighinn aig an aon àm, agus nuair a tha còrr air ceud dhiubh ann, tha e a ’tionndadh a-mach gu bheil feum againn cuideachd air inneal mòr. radix air na routers oir. San fharsaingeachd, tha seo a’ cosg airgead, leis gu bheil routers iomaill nas gnìomhaiche, bidh na puirt orra nas daoire, agus chan eil an dealbhadh glè bhrèagha.

Is e roghainn eile trafaic mar sin a thòiseachadh bho shìos. Tha e furasta a dhearbhadh gu bheil an Topology Clos air a thogail ann an dòigh a tha an trafaig a 'tighinn bho gu h-ìosal,' se sin, bhon taobh ToR, air a chuairteachadh gu cothromach am measg nan ìrean air feadh an mullach iomlan aodach ann an dà iterations, a 'luchdachadh an lìonra gu lèir. Mar sin, bheir sinn a-steach seòrsa sònraichte de Pod, Edge Pod, a bheir seachad ceangal taobh a-muigh.

Tha aon roghainn eile ann. Is e seo a bhios Facebook a’ dèanamh, mar eisimpleir. Canaidh iad Fabric Aggregator no HGRID ris. Thathas a’ toirt a-steach ìre spine a bharrachd gus grunn ionadan dàta a cheangal. Tha an dealbhadh seo comasach mura h-eil gnìomhan a bharrachd againn no atharrachaidhean cuairteachaidh aig an eadar-aghaidh. Mas e puingean suathaidh a bharrachd a th’ annta, tha e duilich. Mar as trice, tha barrachd ghnìomhan agus seòrsa de membran a 'sgaradh diofar phàirtean den ionad dàta. Chan eil feum air a leithid de membran a dhèanamh mòr, ach ma tha feum air airson adhbhar air choireigin, tha e ciallach beachdachadh air comasachd a thoirt air falbh, ga dhèanamh cho farsaing ‘s as urrainn agus a ghluasad chun luchd-aoigheachd. Tha seo air a dhèanamh, mar eisimpleir, le mòran de ghnìomhaichean sgòthan. Tha ath-chòmhdach aca, bidh iad a’ tòiseachadh bhon luchd-aoigheachd.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Dè na cothroman leasachaidh a tha sinn a’ faicinn? An toiseach, a’ leasachadh taic airson loidhne-phìoban CI/CD. Tha sinn airson itealaich mar a nì sinn deuchainn agus deuchainn air an dòigh sa bheil sinn ag itealaich. Chan eil seo ag obair a-mach glè mhath, leis gu bheil am bun-structar mòr agus tha e do-dhèanta a dhùblachadh airson deuchainnean. Feumaidh tu tuigsinn mar a bheir thu a-steach eileamaidean deuchainn a-steach don bhun-structar cinneasachaidh gun a bhith ga leigeil sìos.

Cha mhòr nach eil ionnstramaid nas fheàrr agus sgrùdadh nas fheàrr a-riamh iomarcach. Is e a’ cheist gu lèir cothromachadh oidhirp agus tilleadh. Mas urrainn dhut a chuir ris le oidhirp reusanta, glè mhath.

Siostaman obrachaidh fosgailte airson innealan lìonra. Pròtacalan nas fheàrr agus siostaman slighe nas fheàrr, leithid RIFT. Tha feum cuideachd air rannsachadh air sgeamaichean smachd dùmhlachd nas fheàrr a chleachdadh agus is dòcha taic RDMA a thoirt a-steach, co-dhiù aig amannan, taobh a-staigh na buidhne.

A’ coimhead nas fhaide air adhart, tha feum againn air topologies adhartach agus is dòcha lìonraidhean a bhios a’ cleachdadh nas lugha de chosgais. De na rudan ùra, tha foillseachaidhean air a bhith ann o chionn ghoirid mun teicneòlas aodach airson HPC Cray Slingshot, a tha stèidhichte air bathar-cruaidh Ethernet, ach leis an roghainn bannan-cinn fada nas giorra a chleachdadh. Mar thoradh air an sin, tha àrdachadh air a lùghdachadh.

Mar a nì thu sgèile air ionadan dàta. Yandex aithisg a

Bu chòir a h-uile dad a chumail cho sìmplidh 'sa ghabhas, ach chan eil e nas sìmplidh. Tha iom-fhillteachd na nàmhaid do scalability. Is e sìmplidheachd agus structaran cunbhalach ar caraidean. Mas urrainn dhut sgèile a dhèanamh an àiteigin, dèan e. Agus san fharsaingeachd, tha e math a bhith an sàs ann an teicneòlasan lìonraidh a-nis. Tha tòrr rudan inntinneach a’ dol air adhart. Tapadh leat.

Source: www.habr.com

Cuir beachd ann