Mun ƙirƙira ƙirar cibiyar sadarwar bayanai wanda ke ba da damar tura gungu na lissafin manyan sabar 100 dubu XNUMX tare da mafi girman bandwidth bisection na sama da petabyte ɗaya a sakan daya.
Daga rahoton Dmitry Afanasyev za ku koyi game da ainihin ka'idodin sabon ƙira, scaling topologies, matsalolin da suka taso tare da wannan, zaɓuɓɓuka don warware su, fasali na kewayawa da ƙaddamar da ayyukan isar da jirgin sama na na'urorin cibiyar sadarwa na zamani a cikin "haɗi mai yawa" topologies tare da adadi mai yawa na hanyoyin ECMP. Bugu da kari, Dima ya yi magana a taƙaice game da tsarin haɗin kai na waje, Layer na zahiri, tsarin igiyoyi da kuma hanyoyin haɓaka ƙarfin aiki.
- Barka da rana kowa! Sunana Dmitry Afanasyev, Ni masanin fasahar sadarwa ne a Yandex kuma da farko ke tsara cibiyoyin sadarwar bayanai.
Labarina zai kasance game da sabunta hanyar sadarwa na cibiyoyin bayanan Yandex. Juyin halitta ne na ƙirar da muke da shi, amma a lokaci guda akwai wasu sabbin abubuwa. Wannan gabatarwa ce ta bayyani saboda akwai bayanai da yawa da za a tattara cikin ƙaramin lokaci. Za mu fara da zabar ilimin kimiyyar yanayi. Sa'an nan kuma za a yi bayyani na jirgin sama mai sarrafawa da kuma matsalolin da ke tattare da girman bayanan jirgin sama, zabin abin da zai faru a matakin jiki, kuma za mu dubi wasu siffofi na na'urorin. Bari mu ɗan taɓa abin da ke faruwa a cibiyar bayanai tare da MPLS, wanda muka yi magana game da ɗan lokaci da suka gabata.
Don haka, menene Yandex dangane da kaya da ayyuka? Yandex shine ainihin hyperscaler. Idan muka kalli masu amfani, da farko muna aiwatar da buƙatun mai amfani. Hakanan sabis na yawo daban-daban da canja wurin bayanai, saboda muna da sabis na ajiya. Idan kusa da bayan baya, to, kayan aikin kayan aiki da ayyuka suna bayyana a wurin, kamar ajiyar abubuwa da aka rarraba, kwafin bayanai da kuma, ba shakka, layukan dagewa. Ɗaya daga cikin manyan nau'ikan ayyukan aiki shine MapReduce da makamantansu, sarrafa rafi, koyon injin, da sauransu.
Yaya abubuwan more rayuwa a saman wanda duk wannan ke faruwa? Bugu da ƙari, mu muna da kyawawan halayen hyperscaler, ko da yake muna iya ɗan kusa kusa da ƙaramin hyperscaler na bakan. Amma muna da dukkan halayen. Muna amfani da kayan masarufi da sikeli a kwance a duk inda zai yiwu. Muna da cikakkun kayan haɗin gwiwa: ba ma aiki tare da injuna guda ɗaya, ɗakuna guda ɗaya, amma haɗa su cikin babban tafkin albarkatun musanyawa tare da wasu ƙarin ayyuka waɗanda ke hulɗa da tsarawa da rarrabawa, kuma muna aiki tare da wannan tafkin duka.
Don haka muna da mataki na gaba - tsarin aiki a matakin gungu na kwamfuta. Yana da matukar muhimmanci mu sarrafa tarin fasahar da muke amfani da su. Muna sarrafa wuraren ƙarshe (runduna), cibiyar sadarwa da tarin software.
Muna da manyan cibiyoyin bayanai da yawa a Rasha da kasashen waje. An haɗa su da kashin baya wanda ke amfani da fasahar MPLS. An gina kayan aikin mu na ciki kusan gaba ɗaya akan IPv6, amma tunda muna buƙatar sabis na zirga-zirgar waje wanda har yanzu yana zuwa akan IPv4, dole ne mu ko ta yaya isar da buƙatun da ke zuwa kan IPv4 zuwa sabobin gaba, kuma ɗan ƙara zuwa waje IPv4- Intanet - don misali, don indexing.
'Yan kaɗan na ƙarshe na ƙirar cibiyar sadarwar cibiyar bayanai sun yi amfani da manyan nau'ikan Clos topologies kuma sune L3-kawai. Mun bar L2 dan kadan da suka wuce kuma muka yi numfashi mai sauƙi. A ƙarshe, kayan aikin mu sun haɗa da dubban ɗaruruwan ƙididdiga (server). Matsakaicin girman gungu wani lokaci da suka wuce ya kasance kusan sabobin dubu 10. Wannan ya samo asali ne saboda yadda waɗannan nau'ikan tsarin aiki iri ɗaya, masu tsarawa, rarraba albarkatun ƙasa, da sauransu za su iya aiki.Tun da an sami ci gaba a ɓangaren software na kayan aikin, girman da aka yi niyya yanzu kusan sabobin 100 a cikin gungu na kwamfuta ɗaya, kuma Muna da ɗawainiya - don samun damar gina masana'antun cibiyar sadarwa waɗanda ke ba da damar haɗa kayan aiki masu inganci a cikin irin wannan gungu.
Me muke so daga cibiyar sadarwar bayanai? Da farko, akwai arha mai yawa kuma daidaitaccen rarraba bandwidth. Domin hanyar sadarwa ita ce kashin bayanta da za mu iya hada kayan aiki. Sabuwar maƙasudin girman shine kusan sabobin dubu 100 a cikin tari ɗaya.
Mu ma, ba shakka, muna son jirgin sama mai daidaitawa da kwanciyar hankali, saboda a kan irin wannan babban kayan aiki da yawa ciwon kai yana tasowa ko da daga abubuwan da bazuwar bazuwar, kuma ba ma son jirgin mai sarrafawa ya kawo mana ciwon kai. A lokaci guda kuma, muna so mu rage girman jihar a cikinta. Ƙananan yanayin, mafi kyau da kwanciyar hankali duk abin da ke aiki, kuma mafi sauƙin ganewar asali.
Tabbas, muna buƙatar aiki da kai, saboda ba shi yiwuwa a sarrafa irin wannan kayan aikin da hannu, kuma ya kasance ba zai yiwu ba na ɗan lokaci. Muna buƙatar tallafin aiki gwargwadon yiwuwa da tallafin CI/CD gwargwadon yadda za a iya bayarwa.
Tare da irin wannan girman cibiyoyin bayanai da tari, aikin tallafawa ƙarar turawa da faɗaɗawa ba tare da katsewar sabis ya zama mai girma ba. Idan a kan gungu masu girman injin dubu, watakila kusan na'urori dubu goma, har yanzu ana iya fitar da su azaman aiki ɗaya - wato, muna shirin faɗaɗa abubuwan more rayuwa, kuma ana ƙara injin dubu da yawa azaman aiki ɗaya. sannan gungu mai girman injin dubu dari ba ya tashi nan da nan kamar haka, ana gina shi na tsawon lokaci. Kuma yana da kyau a kasance a duk tsawon wannan lokacin abin da aka riga aka fitar, kayan aikin da aka yi amfani da su.
Kuma buƙatu ɗaya da muke da ita kuma muka bari: goyan baya don yawan yawan jama'a, wato, haɓakawa ko rarrabawar hanyar sadarwa. Yanzu ba ma buƙatar yin wannan a matakin masana'anta na cibiyar sadarwa, saboda sharding ya tafi ga rundunonin, kuma wannan ya sauƙaƙe mana sauƙi. Godiya ga IPv6 da babban filin adireshi, ba mu buƙatar yin amfani da adiresoshin kwafi a cikin abubuwan more rayuwa na ciki; duk maganganun sun riga sun zama na musamman. Kuma godiya ga gaskiyar cewa mun ɗauki tacewa da rarrabuwar hanyar sadarwa ga runduna, ba ma buƙatar ƙirƙirar duk wata hanyar sadarwa ta hanyar sadarwa a cikin cibiyoyin sadarwar bayanai.
Abu mai mahimmanci shine abin da ba mu bukata. Idan za a iya cire wasu ayyuka daga cibiyar sadarwa, wannan ya sa rayuwa ta fi sauƙi, kuma, a matsayin mai mulkin, yana faɗaɗa zaɓin kayan aiki da software da ke samuwa, yin bincike mai sauƙi.
Don haka, menene abin da ba mu buƙata, menene muka iya dainawa, ba koyaushe tare da farin ciki a lokacin da ya faru ba, amma tare da kwanciyar hankali lokacin da aka kammala aikin?
Da farko, barin L2. Ba ma buƙatar L2, ba na gaske ko abin koyi ba. An yi amfani da shi sosai saboda gaskiyar cewa muna sarrafa tarin aikace-aikacen. Aikace-aikacen mu suna da tsayin daka, suna aiki tare da adireshin L3, ba su damu da cewa wani misali ya fita ba, kawai suna fitar da wani sabo, ba ya buƙatar a fitar da shi a tsohon adireshin, saboda akwai daban-daban matakin gano sabis da saka idanu na injuna da ke cikin gungu. Ba mu wakilta wannan aikin ga hanyar sadarwa ba. Aikin hanyar sadarwa shine isar da fakiti daga aya A zuwa aya B.
Har ila yau, ba mu da yanayi inda adiresoshin ke motsawa a cikin hanyar sadarwa, kuma wannan yana buƙatar kulawa. A cikin ƙira da yawa ana buƙatar wannan yawanci don tallafawa motsin VM. Ba mu yi amfani da motsi na inji mai mahimmanci a cikin kayan aikin ciki na babban Yandex, kuma, haka ma, mun yi imanin cewa ko da an yi haka, bai kamata ya faru tare da goyon bayan cibiyar sadarwa ba. Idan da gaske yana buƙatar yin shi, yana buƙatar a yi shi a matakin mai masaukin baki, da tura adiresoshin da za su iya yin ƙaura zuwa overlays, don kada a taɓa ko yin sauye-sauye masu yawa ga tsarin zirga-zirgar ababen hawa na ƙasan kanta (cibiyar sufuri). .
Wata fasahar da ba mu amfani da ita ita ce multicast. Idan kana so, zan iya gaya maka dalla-dalla dalilin da ya sa. Wannan yana sa rayuwa ta fi sauƙi, saboda idan wani ya yi hulɗa da shi kuma ya dubi daidai yadda jirgin sarrafa multicast ya kasance, a cikin duka sai dai mafi sauƙi na shigarwa, wannan babban ciwon kai ne. Kuma abin da ya fi haka, yana da wahala a sami aikin buɗe tushen aiki mai kyau, misali.
A ƙarshe, muna tsara hanyoyin sadarwar mu don kada su canza da yawa. Za mu iya dogara da gaskiyar cewa kwararar abubuwan da ke faruwa na waje a cikin tsarin tafiyarwa kadan ne.
Wadanne matsaloli ne suka taso kuma waɗanne hane-hane dole ne a yi la’akari da su lokacin da muke haɓaka cibiyar sadarwar bayanai? Farashin, ba shakka. Scalability, matakin da muke son girma. Buƙatar faɗaɗa ba tare da dakatar da sabis ɗin ba. Bandwidth, samuwa. Ganuwa na abin da ke faruwa akan hanyar sadarwa don tsarin sa ido, don ƙungiyoyi masu aiki. Tallafin atomatik - sake, gwargwadon yiwuwar, tunda ana iya magance ayyuka daban-daban a matakai daban-daban, gami da gabatarwar ƙarin yadudduka. To, ba [yiwuwar] dogara ga masu siyarwa ba. Ko da yake a cikin lokuta daban-daban na tarihi, dangane da wane sashe kuke kallo, wannan 'yancin kai ya kasance mafi sauƙi ko mafi wuya a samu. Idan muka ɗauki ɓangaren giciye na kwakwalwan na'ura na cibiyar sadarwa, to, har zuwa kwanan nan yana da matukar sharadi don yin magana game da 'yancin kai daga masu siyarwa, idan kuma muna son kwakwalwan kwamfuta tare da babban kayan aiki.
Wane ilimin topology ne za mu yi amfani da shi don gina hanyar sadarwar mu? Wannan zai zama Clos mai-mataki mai yawa. A gaskiya ma, babu ainihin mafita a halin yanzu. Kuma Clos topology yana da kyau sosai, koda idan aka kwatanta da manyan abubuwan ci gaba waɗanda suka fi dacewa a fagen sha'awar ilimi a yanzu, idan muna da manyan radix switches.
Ta yaya cibiyar sadarwa ta Clos mai matakai da yawa ke daidaitawa kuma menene abubuwa daban-daban da ake kira a ciki? Da farko iskar ta tashi, don karkatar da kanku a ina arewa, ina kudu, ina gabas, ina yamma. Yawancin wannan nau'in hanyoyin sadarwa ana gina su ta hanyar waɗanda ke da manyan zirga-zirgar zirga-zirgar yamma-gabas. Dangane da ragowar abubuwan, a saman akwai maɓalli mai kama-da-wane da aka haɗa daga ƙananan maɓalli. Wannan shi ne babban ra'ayi na recursive gine na Clos networks. Muna ɗaukar abubuwa tare da wani nau'i na radix kuma mu haɗa su don abin da muka samu za a iya la'akari da shi azaman sauyawa tare da radix mai girma. Idan kuna buƙatar ƙarin ƙari, ana iya maimaita hanya.
A lokuta, alal misali, tare da Clos mataki biyu, lokacin da zai yiwu a iya gano abubuwan da ke tsaye a cikin zane na, yawanci ana kiran su jiragen sama. Idan za mu gina Clos tare da matakai uku na kashin baya (dukansu ba iyaka ko ToR masu sauyawa ba kuma ana amfani da su kawai don wucewa), to, jiragen za su yi kama da hadaddun; matakan biyu suna kama da wannan. Muna kiran toshe na ToR ko masu sauya ganye da matakan farko na kashin baya masu alaƙa da su Pod. Maɓallin kashin baya na matakin kashin baya-1 a saman Pod shine saman Pod, saman Pod. Maɓalli waɗanda ke saman dukkan masana'anta sune saman saman masana'anta, saman masana'anta.
Tabbas, tambayar ta taso: An gina hanyoyin sadarwa na Clos na ɗan lokaci; ra'ayin da kansa gabaɗaya ya fito ne daga lokutan wayar tarho na gargajiya, hanyoyin sadarwar TDM. Wataƙila wani abu mafi kyau ya bayyana, watakila wani abu za a iya yi mafi kyau? E kuma a'a. A ka'ida a, a aikace nan gaba ba shakka ba. Saboda akwai nau'ikan topologies masu ban sha'awa, wasu ma ana amfani da su wajen samarwa, alal misali, ana amfani da Dragonfly a aikace-aikacen HPC; Akwai kuma topologies masu ban sha'awa irin su Xpander, FatClique, Jellyfish. Idan kun kalli rahotanni a taro kamar SIGCOMM ko NSDI kwanan nan, zaku iya samun adadi mai yawa na ayyuka akan madadin topologies waɗanda ke da kyawawan kaddarorin (ɗaya ko wani) fiye da Clos.
Amma duk waɗannan topologies suna da dukiya mai ban sha'awa. Yana hana aiwatar da su a cikin cibiyoyin sadarwa na cibiyar bayanai, waɗanda muke ƙoƙarin ginawa akan kayan masarufi kuma waɗanda ke kashe kuɗi masu ma'ana. A cikin duk waɗannan madadin topologies, mafi yawan bandwidth da rashin alheri ba a samun damar ta mafi gajerun hanyoyi. Saboda haka, nan da nan mun rasa damar yin amfani da jirgin sama na gargajiya.
A ka'ida, an san maganin matsalar. Waɗannan su ne, alal misali, gyare-gyaren yanayin hanyar haɗin gwiwa ta amfani da k-gajerun hanya, amma, kuma, babu irin waɗannan ka'idojin da za a aiwatar da su a cikin samarwa da kuma samuwa a kan kayan aiki.
Bugu da ƙari, tun da yawancin ƙarfin ba a samun damar ta hanyar mafi guntu hanyoyi, muna buƙatar gyara fiye da kawai jirgin sama don zaɓar duk waɗannan hanyoyi (kuma ta hanyar, wannan yana da mahimmanci a cikin jirgin sama mai sarrafawa). Har yanzu muna buƙatar canza jirgin sama mai aikawa, kuma, a matsayin mai mulkin, ana buƙatar ƙarin ƙarin fasali guda biyu. Wannan shine ikon yin duk yanke shawara game da tura fakitin lokaci ɗaya, misali, akan mai masaukin baki. A haƙiƙa, wannan hanya ce ta hanyar tushe, wani lokaci a cikin wallafe-wallafen kan hanyoyin sadarwar haɗin gwiwa ana kiran wannan yanke shawara gabaɗaya. Kuma hanyar daidaitawa wani aiki ne da muke buƙata akan abubuwan cibiyar sadarwa, wanda ke tafasa, alal misali, don gaskiyar cewa muna zaɓar hop na gaba bisa bayanin mafi ƙarancin kaya akan layi. A matsayin misali, wasu zaɓuɓɓuka suna yiwuwa.
Don haka, jagorancin yana da ban sha'awa, amma, kash, ba za mu iya amfani da shi a yanzu ba.
Da kyau, mun daidaita kan tsarin ilimin yanayin Clos. Ta yaya za mu auna shi? Bari mu ga yadda yake aiki da abin da za a iya yi.
A cikin cibiyar sadarwar Clos akwai manyan sigogi guda biyu waɗanda za mu iya bambanta ko ta yaya za mu sami wasu sakamako: radix na abubuwa da adadin matakan a cikin hanyar sadarwa. Ina da zane-zane na yadda duka biyu ke shafar girman. Da kyau, muna haɗa duka biyun.
Ana iya ganin cewa nisa na ƙarshe na cibiyar sadarwar Clos shine samfurin dukkanin matakan kashin baya na radix na kudancin, yawancin hanyoyin da muke da shi, yadda yake rassan. Wannan shine yadda muke auna girman girman hanyar sadarwa.
Game da iya aiki, musamman akan maɓallan ToR, akwai zaɓuɓɓukan ƙira guda biyu. Ko dai za mu iya, yayin da muke ci gaba da yin amfani da hanyoyin sadarwa masu sauri, ko kuma za mu iya ƙara ƙarin jiragen sama.
Idan ka kalli fadada sigar cibiyar sadarwar Clos (a cikin kusurwar dama ta dama) kuma komawa zuwa wannan hoton tare da cibiyar sadarwar Clos da ke ƙasa.
... to, wannan shi ne ainihin topology, amma a kan wannan slide ya fi rugujewa kuma jiragen masana'anta suna saman juna. Haka yake.
Menene sikelin cibiyar sadarwar Clos yayi kama da lambobi? Anan na samar da bayanai akan abin da za a iya samun iyakar nisa na hanyar sadarwa, menene matsakaicin adadin racks, ToR switches ko leaf switches, idan ba a cikin racks, za mu iya samun dangane da abin da radix na sauya mu yi amfani da kashin baya -matakan, da kuma matakai nawa muke amfani da su.
Anan ga racks nawa za mu iya samu, sabobin nawa da kuma kusan nawa duk wannan zai iya cinyewa bisa 20 kW kowace tara. A baya kadan na ambata cewa muna yin nufin girman tari na kusan sabobin dubu 100.
Ana iya ganin cewa a cikin wannan duka zane, zaɓuɓɓuka biyu da rabi suna da sha'awa. Akwai zaɓi tare da yadudduka biyu na spines da 64-tashar tashar jiragen ruwa, wanda ya faɗi kaɗan kaɗan. Sa'an nan akwai daidaitattun zaɓuɓɓuka don tashar tashar jiragen ruwa 128 (tare da radix 128) madaidaicin kashin baya tare da matakan biyu, ko masu sauyawa tare da radix 32 tare da matakan uku. Kuma a kowane hali, inda akwai ƙarin radixes da ƙarin yadudduka, za ku iya yin babbar hanyar sadarwa, amma idan kun dubi yawan amfanin da ake tsammani, yawanci akwai gigawatts. Yana yiwuwa a shimfiɗa kebul, amma da wuya mu sami wutar lantarki mai yawa a wuri ɗaya. Idan ka duba kididdiga da bayanan jama'a kan cibiyoyin bayanai, za ka iya samun 'yan tsirarun cibiyoyin bayanai da aka kiyasta karfin sama da MW 150. Mafi girma yawanci cibiyoyin bayanai ne, manyan cibiyoyin bayanai da yawa da ke kusa da juna.
Akwai wani muhimmin siga. Idan ka kalli ginshiƙin hagu, an jera bandwidth mai amfani a wurin. Yana da sauƙi a ga cewa a cikin hanyar sadarwar Clos ana amfani da wani yanki mai mahimmanci na tashar jiragen ruwa don haɗa masu sauyawa zuwa juna. bandwidth mai amfani, tsiri mai amfani, wani abu ne wanda za'a iya bayarwa a waje, zuwa ga sabobin. A zahiri, ina magana ne game da mashigai na sharadi kuma musamman game da ƙungiyar. A matsayinka na mai mulki, hanyoyin haɗin yanar gizon suna da sauri fiye da hanyoyin haɗin yanar gizo zuwa sabobin, amma kowace naúrar bandwidth, gwargwadon yadda za mu iya aika shi zuwa kayan aikin uwar garken mu, har yanzu akwai wasu bandwidth a cikin hanyar sadarwar kanta. Kuma ƙarin matakan da muke yi, mafi girman takamaiman farashi na samar da wannan tsiri zuwa waje.
Haka kuma, ko da wannan ƙarin band din ba daidai yake ba. Yayin da takaitattun abubuwan gajeru ne, za mu iya amfani da wani abu kamar DAC (kai tsaye haɗe da jan karfe, wato, igiyoyin twinax), ko na'urorin gani na multimode, waɗanda suka fi tsada ko žasa da kuɗi. Da zaran mun matsa zuwa tsayin tsayi - a matsayin mai mulkin, waɗannan su ne na'urorin gani guda ɗaya, kuma farashin wannan ƙarin bandwidth yana ƙaruwa sosai.
Kuma kuma, komawa zuwa nunin da ya gabata, idan muka ƙirƙiri cibiyar sadarwa ta Clos ba tare da biyan kuɗi ba, to yana da sauƙin duba zane, duba yadda aka gina cibiyar sadarwa - ƙara kowane matakin madaidaicin kashin baya, muna maimaita duk tsiri wanda yake a wurin. kasa. Ƙarin matakin - da band ɗin guda ɗaya, adadin mashigai iri ɗaya akan masu sauyawa kamar yadda ake samu a matakin da ya gabata, da adadin masu wucewa iri ɗaya. Sabili da haka, yana da kyawawa sosai don rage yawan matakan matakan juyawa na kashin baya.
Dangane da wannan hoton, a bayyane yake cewa da gaske muna son ginawa akan wani abu kamar masu sauyawa tare da radix na 128.
Anan, bisa ƙa'ida, komai ɗaya yake da abin da na faɗa kawai; wannan zane-zane ne don yin la'akari daga baya.
Wadanne zabuka akwai da za mu iya zaɓa a matsayin irin waɗannan masu sauyawa? Labari ne mai daɗi a gare mu cewa yanzu ana iya gina irin waɗannan hanyoyin sadarwa akan na'urori masu sarrafa guntu guda ɗaya. Kuma wannan yana da kyau sosai, suna da kyawawan siffofi masu yawa. Misali, kusan ba su da wani tsari na ciki. Wannan yana nufin suna karya cikin sauƙi. Suna karya ta kowace hanya, amma an yi sa'a sun karya gaba daya. A cikin na'urori na zamani akwai adadi mai yawa na kuskure (marasa kyau sosai), lokacin da daga ra'ayi na maƙwabta da kuma jirgin sama mai sarrafawa yana aiki, amma, alal misali, wani ɓangare na masana'anta ya ɓace kuma ba ya aiki. a cikakken iya aiki. Kuma zirga-zirgar zirga-zirga zuwa gare shi yana daidaitawa bisa gaskiyar cewa yana da cikakken aiki, kuma muna iya samun nauyi.
Ko, alal misali, matsaloli sun taso tare da jirgin baya, saboda a cikin na'ura na zamani akwai kuma SerDes mai sauri - yana da wuyar gaske a ciki. Ko dai alamun tsakanin abubuwan da ake turawa suna aiki tare ko ba a daidaita su ba. Gabaɗaya, duk wani na'ura mai ƙima wanda ya ƙunshi abubuwa masu yawa, a matsayin mai mulkin, yana ƙunshe da cibiyar sadarwar Clos iri ɗaya a cikin kanta, amma yana da matukar wahala a gano cutar. Sau da yawa yana da wahala ko da mai siyar da kansa ya gano cutar.
Kuma yana da adadi mai yawa na gazawar al'amuran da na'urar ta lalace, amma ba ta faɗo daga topology gaba ɗaya ba. Tunda cibiyar sadarwar mu tana da girma, ana amfani da daidaitawa tsakanin abubuwa iri ɗaya, hanyar sadarwa ta yau da kullun ce, wato hanya ɗaya da komai ke cikin tsari ba ta da bambanci da sauran hanyar, yana da fa'ida a gare mu kawai mu rasa wasu daga cikinsu. da na'urorin daga topology fiye da su ƙare a cikin wani hali da wasu daga cikinsu da alama suna aiki, amma wasu daga cikinsu ba sa.
Kyakkyawan fasalin na gaba na na'urorin guntu guda ɗaya shine cewa suna haɓaka mafi kyau da sauri. Har ila yau, sun kasance suna da mafi kyawun iyawa. Idan muka ɗauki manyan haɗe-haɗe waɗanda muke da su akan da'irar, to ƙarfin kowane rukunin rack don tashar jiragen ruwa na saurin iri ɗaya ya kusan sau biyu fiye da na na'urorin zamani. Na'urorin da aka gina a kusa da guntu guda suna da rahusa fiye da na zamani kuma suna cinye ƙarancin kuzari.
Amma, ba shakka, wannan duk saboda dalili ne, akwai kuma rashin amfani. Da fari dai, radix yana kusan ƙarami fiye da na na'urorin zamani. Idan za mu iya samun na'ura da aka gina ta kusa da guntu guda tare da tashoshin jiragen ruwa 128, to za mu iya samun na'ura mai mahimmanci tare da tashar jiragen ruwa da yawa a yanzu ba tare da matsala ba.
Wannan ƙaramin girman tebur ne da ake iya gani kuma, a matsayin mai mulkin, duk abin da ke da alaƙa da haɓakar jirgin sama. Shallow buffers. Kuma, a matsayin mai mulkin, maimakon ayyuka masu iyaka. Amma ya zama cewa idan kun san waɗannan hane-hane kuma ku kula cikin lokaci don ƙetare su ko kuma kawai ku yi la'akari da su, to wannan ba abin tsoro bane. Gaskiyar cewa radix ya fi karami ba matsala a kan na'urori tare da radix na 128 wanda a ƙarshe ya bayyana kwanan nan; za mu iya ginawa a cikin nau'i biyu na spines. Amma har yanzu ba shi yiwuwa a gina wani abu ƙasa da biyu da ke da ban sha'awa a gare mu. Tare da matakin ɗaya, ana samun ƙananan gungu. Hatta zane-zanenmu na baya da bukatunmu har yanzu sun wuce su.
A gaskiya ma, idan ba zato ba tsammani maganin ya kasance a wani wuri a kan gefuna, har yanzu akwai hanyar da za a iya daidaitawa. Tun da na ƙarshe (ko na farko), mafi ƙanƙanta matakin inda aka haɗa sabobin sune maɓallan ToR ko masu sauya ganye, ba a buƙatar mu haɗa rak guda zuwa gare su. Sabili da haka, idan bayani ya ragu da kusan rabin, zaka iya tunani game da kawai ta amfani da sauyawa tare da babban radix a ƙananan matakin da haɗawa, alal misali, raƙuman biyu ko uku a cikin sauyawa ɗaya. Wannan kuma wani zaɓi ne, yana da farashin sa, amma yana aiki sosai kuma yana iya zama mafita mai kyau lokacin da kuke buƙatar isa kusan ninki biyu girman.
Don taƙaitawa, muna ginawa akan topology tare da matakan spines guda biyu, tare da yadudduka na masana'anta takwas.
Menene zai faru da ilimin lissafi? Lissafi masu sauƙi. Idan muna da matakan spines guda biyu, to muna da matakan sauyawa guda uku kawai, kuma muna tsammanin za a sami sassan kebul guda uku a cikin hanyar sadarwa: daga sabobin zuwa maɓalli na leaf, zuwa kashin baya 1, zuwa kashin baya 2. Zaɓuɓɓukan da za mu iya. amfani ne - waɗannan su ne twinax, multimode, yanayin guda ɗaya. Kuma a nan muna bukatar mu yi la'akari da abin da tsiri yake samuwa, nawa ne kudin, abin da girman jiki ne, abin da takaicce za mu iya rufe, da kuma yadda za mu inganta.
Dangane da farashi, ana iya jera komai. Twinaxes suna da rahusa sosai fiye da na'urorin gani masu aiki, mai rahusa fiye da masu ɗaukar hoto na multimode, idan kun ɗauki shi kowane jirgi daga ƙarshe, ɗan rahusa fiye da tashar sauya gigabit 100. Kuma, don Allah a lura, yana da ƙasa da na'urorin gani guda ɗaya, saboda a kan jiragen da ake buƙatar yanayin guda ɗaya, a cikin cibiyoyin bayanai don dalilai da yawa yana da ma'ana don amfani da CWDM, yayin da yanayin layi ɗaya (PSM) bai dace sosai don aiki ba. tare da, ana samun manyan fakitin zaruruwa, kuma idan muka mai da hankali kan waɗannan fasahohin, muna samun kusan tsarin farashi masu zuwa.
Ɗayan ƙarin bayanin kula: Abin takaici, ba zai yiwu ba sosai a yi amfani da mashigai na multimode 100 zuwa 4x25. Saboda ƙirar ƙirar SFP28 transceivers, bai fi 28 Gbit QSFP100 mai rahusa ba. Kuma wannan disassembly don multimode ba ya aiki sosai.
Wani ƙayyadaddun shi ne saboda girman nau'in cluster na kwamfuta da adadin sabobin, cibiyoyin bayanan mu sun zama babba a jiki. Wannan yana nufin cewa aƙalla jirgi ɗaya dole ne a yi shi da singlemod. Bugu da ƙari, saboda girman jiki na Pods, ba zai yiwu a gudanar da igiyoyi biyu na twinax ba.
A sakamakon haka, idan muka inganta don farashi kuma muka yi la'akari da lissafi na wannan ƙira, muna samun tazarar twinax ɗaya, tazarar multimode ɗaya da tazarar guda ɗaya ta amfani da CWDM. Wannan yana la'akari da yiwuwar haɓaka hanyoyin haɓakawa.
Wannan shi ne abin da yake kama da kwanan nan, inda muke tafiya kuma abin da zai yiwu. A bayyane yake, aƙalla, yadda ake matsawa zuwa 50-Gigabit SerDes don duka multimode da singlemode. Bugu da ƙari, idan kun kalli abin da ke cikin masu canzawa guda ɗaya a yanzu da kuma nan gaba don 400G, sau da yawa ko da lokacin da 50G SerDes ya zo daga bangaren lantarki, 100 Gbps a kowane layi na iya riga ya tafi zuwa optics. Sabili da haka, yana yiwuwa a maimakon matsawa zuwa 50, za a sami sauyi zuwa 100 Gigabit SerDes da 100 Gbps a kowane layi, saboda bisa ga alkawuran dillalai da yawa, ana sa ran samunsu nan ba da jimawa ba. Lokacin da 50G SerDes suka kasance mafi sauri, ga alama, ba zai daɗe sosai ba, saboda kwafin farko na 100G SerDes suna mirgine kusan shekara mai zuwa. Kuma bayan wani lokaci bayan haka za su iya zama darajar kuɗi mai ma'ana.
Wani karin nuance game da zaɓin ilimin lissafi. A ka'ida, za mu iya riga mu yi amfani da 400 ko 200 Gigabit tashar jiragen ruwa ta amfani da 50G SerDes. Amma ya bayyana cewa wannan ba shi da ma'ana sosai, saboda, kamar yadda na fada a baya, muna son babban radix mai girma a kan masu sauyawa, a cikin dalili, ba shakka. Muna son 128. Kuma idan muna da iyakacin ƙarfin guntu kuma muna haɓaka saurin haɗin gwiwa, to, radix yana raguwa ta halitta, babu mu'ujiza.
Kuma za mu iya ƙara yawan ƙarfin ta amfani da jiragen sama, kuma babu farashi na musamman; za mu iya ƙara yawan jiragen sama. Kuma idan muka rasa radix, dole ne mu gabatar da wani ƙarin matakin, don haka a halin da ake ciki, tare da iyakar samuwa a kowane guntu, yana nuna cewa ya fi dacewa don amfani da tashar jiragen ruwa 100-gigabit, saboda suna ba ku damar yin amfani da su. don samun babban radix.
Tambaya ta gaba ita ce yadda aka tsara ilimin lissafi, amma daga ra'ayi na kayan aikin USB. Ya bayyana cewa an shirya shi a hanya mai ban dariya. Cabling tsakanin leaf-switchs da spines matakin farko - ba su da yawa hanyoyin haɗi a can, duk abin da aka gina in mun gwada da sauƙi. Amma idan muka ɗauki jirgin sama ɗaya, abin da ke faruwa a ciki shi ne cewa muna buƙatar haɗa dukkanin kashin baya na matakin farko tare da dukkanin spines na mataki na biyu.
Bugu da ƙari, a matsayin mai mulkin, akwai wasu buƙatun yadda ya kamata ya dubi cikin cibiyar bayanai. Misali, da gaske muna so mu hada igiyoyi a cikin damshi mu ja su ta yadda wani babban facin faci ya shiga gaba daya a cikin faci daya, ta yadda babu gidan namun daji ta fuskar tsayi. Mun yi nasarar magance wannan matsalar. Idan ka fara duba ilimin kimiyyar yanayi, za ka ga cewa jirage suna da zaman kansu, kowane jirgi na iya gina shi da kansa. Amma idan muka ƙara irin wannan nau'in kuma muna son ja da facin gaba ɗaya zuwa cikin facin, dole ne mu haɗa jirage daban-daban a cikin dam ɗaya kuma mu gabatar da tsarin tsaka-tsaki a cikin hanyar haɗin giciye na gani don dawo da su daga yadda aka haɗa su. a wani bangare, ta yadda za a tattara su a wani bangare. Godiya ga wannan, muna samun sifa mai kyau: duk haɗaɗɗen sauyawa ba ya wuce raƙuman ruwa. Lokacin da kuke buƙatar haɗa wani abu da ƙarfi sosai, “buɗe jirage,” kamar yadda ake kiran shi a wasu lokuta a cikin hanyoyin sadarwar Clos, duk an tattara su a cikin tararraki ɗaya. Ba mu da rarrabuwa sosai, har zuwa mahaɗin ɗaiɗaikun, musanyawa tsakanin racks.
Wannan shi ne yadda yake kallo daga ra'ayi na tsarin ma'ana na kayan aikin kebul. A cikin hoton da ke gefen hagu, ɓangarorin masu launuka masu yawa suna nuna tubalan maɓallan kashin baya na matakin farko, guda takwas kowannensu, da dam ɗin igiyoyi guda huɗu da ke fitowa daga gare su, waɗanda ke tafiya suna haɗuwa tare da dauren da ke fitowa daga tubalan kashin baya-2 switches. .
Ƙananan murabba'i suna nuna ma'amala. A saman hagu akwai raguwa na kowane irin wannan mahadar, wannan a zahiri 512 ta 512 tashar haɗe-haɗe ta tashar jiragen ruwa wanda ke sake tattara igiyoyin ta yadda za su zo gaba ɗaya cikin taraka ɗaya, inda jirgin sama guda ɗaya ne kashin baya-2. Kuma a hannun dama, hoton wannan hoton yana da cikakken bayani game da Pods da yawa a matakin kashin baya-1, da kuma yadda aka haɗa shi a cikin haɗin giciye, yadda ya zo zuwa matakin spine-2.
Wannan shi ne yadda abin yake. Madaidaicin kashin baya-2 wanda ba a taru ba tukuna (a hagu) da tsayawar haɗin giciye. Abin takaici, babu abin gani da yawa a wurin. Wannan tsarin gabaɗayan ana tura shi a yanzu a ɗaya daga cikin manyan cibiyoyin bayanan mu da ake faɗaɗawa. Wannan aiki ne na ci gaba, zai yi kyau sosai, za a cika shi da kyau.
Tambaya mai mahimmanci: mun zaɓi ilimin kimiyyar lissafi kuma mun gina ilimin lissafi. Menene zai faru da jirgin sarrafawa? An san shi sosai daga ƙwarewar aiki, akwai rahotanni da yawa da ke danganta ka'idojin jihar suna da kyau, yana jin daɗin yin aiki tare da su, amma, da rashin alheri, ba su da kyau a kan yanayin da aka haɗa da yawa. Kuma akwai babban abin da ke hana hakan - wannan shine yadda ambaliyar ruwa ke aiki a cikin ka'idojin haɗin gwiwar jihar. Idan kawai ka ɗauki algorithm na ambaliya kuma duba yadda aka tsara hanyar sadarwar mu, za ka ga cewa za a sami babban fanout a kowane mataki, kuma kawai zai mamaye jirgin sama mai sarrafawa tare da sabuntawa. Musamman, irin waɗannan topologies suna haɗuwa sosai tare da al'adar ambaliyar ruwa a cikin ka'idojin haɗin gwiwar jihar.
Zaɓin shine amfani da BGP. Yadda za a shirya shi daidai an bayyana shi a cikin RFC 7938 game da amfani da BGP a manyan cibiyoyin bayanai. Mahimman ra'ayoyin suna da sauƙi: ƙaramin adadin prefixes kowane mai watsa shiri kuma gabaɗaya mafi ƙarancin adadin prefixes akan hanyar sadarwa, yi amfani da tarawa idan zai yiwu, da murkushe farautar hanya. Muna son a taka tsantsan, sarrafa rarraba abubuwan sabuntawa, abin da ake kira kwari kyauta. Muna son a tura sabuntawa sau ɗaya daidai yayin da suke wucewa ta hanyar sadarwar. Idan sun samo asali daga ƙasa, sai su hau sama, ba su wuce sau ɗaya ba. Kada a sami zigzags. Zigzags ba su da kyau sosai.
Don yin wannan, muna amfani da ƙira mai sauƙi isa don amfani da tushen tsarin BGP. Wato, muna amfani da eBGP da ke gudana akan hanyar haɗin yanar gizon gida, kuma ana ba da tsarin masu cin gashin kansu kamar haka: tsarin mai cin gashin kansa akan ToR, tsarin mai cin gashin kansa akan duk toshe na kashin baya-1 na Pod ɗaya, da tsarin gabaɗaya mai cin gashin kansa akan gabaɗayan Top. na Fabric. Ba shi da wahala a duba mu ga cewa ko da halin al'ada na BGP yana ba mu rarraba sabuntawar da muke so.
A dabi'ance, dole ne a tsara tattara bayanai da tattara adireshi ta yadda ya dace da yadda ake gina hanyar zirga-zirga, ta yadda zai tabbatar da kwanciyar hankali na jirgin sama. Maganar L3 a cikin sufuri yana da alaƙa da topology, saboda ba tare da wannan ba shi yiwuwa a cimma tarawa; ba tare da wannan ba, adiresoshin mutum ɗaya za su shiga cikin tsarin zirga-zirga. Wani abu kuma shi ne, tarawa, abin takaici, ba ya cakudu sosai da hanyoyi masu yawa, domin idan muna da hanyoyi da yawa kuma muna da tarawa, komai yana da kyau, yayin da duk hanyar sadarwa ta kasance lafiya, babu gazawa a ciki. Abin baƙin cikin shine, da zarar gazawar ta bayyana a cikin hanyar sadarwa kuma aka ɓace alamar topology, za mu iya zuwa inda aka sanar da sashin, wanda ba za mu iya ci gaba zuwa inda muke buƙatar zuwa ba. Sabili da haka, yana da kyau a tara inda babu sauran hanyoyi masu yawa, a cikin yanayinmu waɗannan su ne ToR switches.
A gaskiya ma, yana yiwuwa a tara, amma a hankali. Idan za mu iya yin rarrabawar sarrafawa lokacin da gazawar cibiyar sadarwa ta faru. Amma wannan aiki ne mai wahala, har ma mun yi mamakin ko zai yiwu a yi hakan, ko zai yiwu a ƙara ƙarin aiki da kai, da injunan jihohi masu iyaka waɗanda za su yi daidai da harbi BGP don samun halayen da ake so. Abin baƙin ciki, sarrafa shari'o'in kusurwa ba a bayyane ba ne kuma mai rikitarwa, kuma wannan aikin ba a warware shi sosai ta haɗa abubuwan haɗin waje zuwa BGP.
An yi aiki mai ban sha'awa sosai game da wannan a cikin tsarin tsarin RIFT, wanda za a tattauna a cikin rahoto na gaba.
Wani abu mai mahimmanci shine yadda jiragen bayanai suka yi girma a cikin manyan topologies, inda muke da adadi mai yawa na madadin hanyoyi. A wannan yanayin, ana amfani da ƙarin tsarin bayanai da yawa: ƙungiyoyin ECMP, waɗanda kuma ke bayyana ƙungiyoyin Hop na gaba.
A cikin hanyar sadarwa ta yau da kullun, ba tare da gazawa ba, lokacin da muka hau Clos topology, ya isa mu yi amfani da rukuni ɗaya kawai, saboda duk abin da ba na gida ba an bayyana shi ta tsohuwa, za mu iya hawa sama. Idan muka tashi daga sama zuwa kasa zuwa kudu, to duk hanyoyin ba ECMP ba ne, hanyoyi ne guda daya. Komai yana lafiya. Matsalar ita ce, kuma yanayin da aka sani na classic Clos topology shine cewa idan muka dubi saman masana'anta, a kowane nau'i, akwai hanya ɗaya kawai zuwa kowane kashi a ƙasa. Idan kasawa ta faru a wannan hanyar, to wannan takamaiman abin da ke saman masana'anta ya zama mara inganci ga waɗancan prefixes waɗanda ke bayan hanyar da ta karye. Amma ga sauran yana da inganci, kuma dole ne mu bincika ƙungiyoyin ECMP kuma mu gabatar da sabuwar jiha.
Menene girman girman bayanan jirgin sama akan na'urorin zamani? Idan muka yi LPM (masanin prefix mafi tsayi), komai yana da kyau sosai, sama da prefixes 100k. Idan muna magana ne game da Ƙungiyoyin Hop na gaba, to, duk abin da ya fi muni, 2-4 dubu. Idan muna magana ne game da tebur wanda ya ƙunshi bayanin Hops na gaba (ko adjacencies), to wannan wani wuri ne daga 16k zuwa 64k. Kuma wannan na iya zama matsala. Kuma a nan mun zo ga digression mai ban sha'awa: menene ya faru da MPLS a cikin cibiyoyin bayanai? A ka'ida, mun so mu yi shi.
Abubuwa biyu sun faru. Mun yi micro-segmentation a kan runduna; ba ma buƙatar yin shi akan hanyar sadarwa. Ba shi da kyau sosai tare da tallafi daga masu siyarwa daban-daban, har ma fiye da haka tare da buɗe aikace-aikacen akan akwatunan fari tare da MPLS. Kuma MPLS, aƙalla aiwatarwa na al'ada, abin takaici, yana haɗuwa sosai da ECMP. Kuma shi ya sa.
Wannan shine yadda tsarin isar da ECMP na IP yayi kama. Yawancin prefixes na iya amfani da rukuni ɗaya da toshe Hops na gaba ɗaya (ko maƙallan, ana iya kiran wannan daban a cikin takardu daban-daban don na'urori daban-daban). Ma'anar ita ce an kwatanta wannan azaman tashar jiragen ruwa mai fita da abin da za a sake rubuta adireshin MAC ɗin zuwa don samun daidai Hop na gaba. Don IP komai yana da sauƙi, zaku iya amfani da adadi mai yawa na prefixes don rukuni ɗaya, toshe na gaba Hops iri ɗaya.
Tsarin gine-ginen MPLS na al'ada yana nuna cewa, dangane da mahaɗin mai fita, ana iya sake rubuta alamar zuwa ƙima daban-daban. Don haka, muna buƙatar kiyaye ƙungiya da toshe Hops na gaba don kowace alamar shigarwa. Kuma wannan, alas, ba ya sikelin.
Yana da sauƙin ganin cewa a cikin ƙirar mu muna buƙatar kusan 4000 ToR masu sauyawa, matsakaicin nisa shine hanyoyin 64 ECMP, idan muka matsa daga kashin baya-1 zuwa kashin baya-2. Da kyar muke shiga tebur ɗaya na ƙungiyoyin ECMP, idan prefix ɗaya kawai tare da ToR ya tafi, kuma ba mu shiga Tebur na gaba ba kwata-kwata.
Ba duka ba ne mara bege, saboda gine-ginen kamar Segment Routing sun ƙunshi alamun duniya. A bisa ƙa'ida, zai yiwu a sake rushe duk waɗannan tubalan Hops na gaba. Don yin wannan, kuna buƙatar aikin nau'in katin daji: ɗauki lakabi kuma sake rubuta shi zuwa ɗaya ba tare da takamaiman ƙima ba. Amma abin takaici, wannan ba ya nan sosai a cikin abubuwan da ake aiwatarwa.
Kuma a ƙarshe, muna buƙatar kawo zirga-zirga na waje zuwa cibiyar bayanai. Yadda za a yi? A baya can, an shigar da zirga-zirga cikin hanyar sadarwar Clos daga sama. Wato akwai na'urori masu amfani da wayar hannu waɗanda ke haɗa dukkan na'urori a saman masana'anta. Wannan bayani yana aiki sosai a kan ƙananan zuwa matsakaici masu girma. Abin baƙin ciki, domin aika zirga-zirga symmetrically ga dukan cibiyar sadarwa ta wannan hanya, muna bukatar mu isa lokaci guda a duk abubuwa na Top na masana'anta, da kuma lokacin da akwai fiye da ɗari daga gare su, shi dai itace cewa mu ma bukatar babban. radix a kan magudanar ruwa. Gabaɗaya, wannan yana kashe kuɗi, saboda masu amfani da gefen gefen sun fi aiki, tashoshin jiragen ruwa akan su za su fi tsada, kuma ƙirar ba ta da kyau sosai.
Wani zaɓi shine fara irin wannan zirga-zirga daga ƙasa. Yana da sauƙi don tabbatar da cewa Clos topology an gina shi ta yadda zirga-zirgar da ke fitowa daga ƙasa, wato, daga gefen ToR, ana rarraba su daidai a tsakanin matakan a cikin dukan saman masana'anta a cikin nau'i biyu, yana loda dukkan hanyar sadarwa. Don haka, muna gabatar da nau'in Pod na musamman, Edge Pod, wanda ke ba da haɗin kai na waje.
Akwai ƙarin zaɓi ɗaya. Wannan shi ne abin da Facebook ke yi, misali. Suna kiransa Fabric Aggregator ko HGRID. Ana gabatar da ƙarin matakin kashin baya don haɗa cibiyoyin bayanai da yawa. Wannan ƙira yana yiwuwa idan ba mu da ƙarin ayyuka ko canje-canjen rufewa a musaya. Idan ƙarin wuraren taɓawa ne, yana da wahala. Yawanci, akwai ƙarin ayyuka da nau'in membrane mai raba sassa daban-daban na cibiyar bayanai. Babu wata ma'ana a yin irin wannan membrane mai girma, amma idan ana buƙatar gaske don wasu dalilai, to yana da ma'ana don la'akari da yiwuwar cire shi, yin shi da fadi kamar yadda zai yiwu kuma canja shi zuwa ga runduna. Ana yin wannan, misali, ta yawancin masu sarrafa girgije. Suna da overlays, suna farawa daga runduna.
Wadanne damar ci gaba muke gani? Da farko, inganta tallafi ga bututun CI/CD. Muna so mu tashi kamar yadda muke gwadawa kuma mu gwada yadda muke tashi. Wannan ba ya aiki sosai, saboda abubuwan more rayuwa suna da girma kuma ba zai yuwu a kwafi shi don gwaje-gwaje ba. Kuna buƙatar fahimtar yadda ake gabatar da abubuwan gwaji a cikin kayan aikin samarwa ba tare da faduwa ba.
Ingantattun kayan aiki da ingantattun sa ido kusan ba su da yawa. Duk tambayar ita ce ma'auni na ƙoƙari da dawowa. Idan za ku iya ƙara shi tare da ƙoƙari mai ma'ana, yana da kyau sosai.
Bude tsarin aiki don na'urorin cibiyar sadarwa. Ingantattun ka'idoji da mafi kyawun tsarin tuƙi, kamar RIFT. Ana kuma buƙatar bincike cikin amfani da ingantattun tsare-tsaren sarrafa cunkoso da wataƙila gabatarwar, aƙalla a wasu wuraren, na tallafin RDMA a cikin tari.
Duban gaba zuwa gaba, muna buƙatar ci gaba na topologies da yuwuwar cibiyoyin sadarwa waɗanda ke amfani da ƙasa kaɗan. Daga cikin sabbin abubuwa, kwanan nan an sami wallafe-wallafe game da fasahar masana'anta don HPC Cray Slingshot, wanda ya dogara da kayayyaki Ethernet, amma tare da zaɓi na yin amfani da gajerun kasidu. A sakamakon haka, an rage yawan kuɗin da ake biya.
Ya kamata a kiyaye duk abin da sauƙi kamar yadda zai yiwu, amma ba mafi sauƙi ba. Complexity shine abokin gaba na scalability. Sauƙi da tsarin yau da kullun abokanmu ne. Idan za ku iya yin sikelin fitar da wani wuri, yi shi. Kuma gabaɗaya, yana da kyau a shiga cikin fasahar sadarwar yanzu. Akwai abubuwa masu ban sha'awa da yawa da ke faruwa. Na gode.
source: www.habr.com