{"id":31148,"date":"2019-10-31T21:39:44","date_gmt":"2019-10-31T18:39:44","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novyj-balansirovshhik-nagruzki-na-cpu-ot-mit\/"},"modified":"2019-10-31T21:39:44","modified_gmt":"2019-10-31T18:39:44","slug":"novyj-balansirovshhik-nagruzki-na-cpu-ot-mit","status":"publish","type":"post","link":"https:\/\/prohoster.info\/cs\/blog\/administrirovanie\/novyj-balansirovshhik-nagruzki-na-cpu-ot-mit","title":{"rendered":"Nov\u00fd zat\u011b\u017eovac\u00ed balancer CPU od MIT","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Syst\u00e9m Shenango pl\u00e1nuj\u00ed vyu\u017e\u00edt v datov\u00fdch centrech.<\/h5>\n

\n\"Nov\u00fd<\/a><\/noindex>
\n\/ \u0444\u043e\u0442\u043e Marco Verch<\/a><\/noindex> CC BY<\/a><\/noindex><\/i><\/p>\n

Podle jednoho z poskytovatel\u016f, datov\u00e1 centra pou\u017e\u00edvaj\u00ed<\/a><\/noindex> zahod\u00ed celkem 20\u201340% dostupn\u00e9ho v\u00fdpo\u010detn\u00edho v\u00fdkonu. P\u0159i vysok\u00fdch z\u00e1t\u011b\u017e\u00edch tento ukazatel m\u016f\u017ee dos\u00e1hnout 60%.<\/a><\/noindex>Takov\u00e9 rozd\u011blen\u00ed zdroj\u016f vede k vzniku tzv. \u201ezombie server\u016f\u201c. Jsou to stroje, kter\u00e9 v\u011bt\u0161inu \u010dasu stoj\u00ed nevyu\u017eity, zbyte\u010dn\u011b spot\u0159ebov\u00e1vaj\u00edc\u00ed elektrickou energii. Dnes 30% server\u016f na sv\u011bt\u011b je ne\u010dinn\u00fdch<\/a><\/noindex>, p\u0159i\u010dem\u017e ro\u010dn\u011b spot\u0159ebov\u00e1vaj\u00ed elektrickou energii za 30 miliard USD.<\/p>\n

O neefektivn\u00edm vyu\u017e\u00edv\u00e1n\u00ed v\u00fdpo\u010detn\u00edch zdroj\u016f se rozhodli bojovat na MIT.<\/a><\/noindex><\/p>\n

T\u00fdm in\u017een\u00fdr\u016f vyvinula<\/a><\/noindex> syst\u00e9mem vyva\u017eov\u00e1n\u00ed z\u00e1t\u011b\u017ee na procesorech nazvan\u00fdm Shenango. Jeho c\u00edlem je monitorovat stav \u00falo\u017ei\u0161t\u011b \u00faloh a redistribuovat \u201euv\u00edznut\u00e9\u201c procesy (kter\u00e9 nemohou z\u00edskat procesorov\u00fd \u010das) na voln\u00e9 stroje.<\/p>\n

Jak funguje Shenango<\/h2>\n

\nShenango je Linuxov\u00e1 knihovna napsan\u00e1 v jazyce C s vazbami Rust a C++. K\u00f3d projektu a testovac\u00ed aplikace byly publikov\u00e1ny v repozit\u00e1\u0159e<\/a><\/noindex> na GitHubu.<\/p>\n

Z\u00e1kladem \u0159e\u0161en\u00ed je algoritmus IOKernel, kter\u00fd b\u011b\u017e\u00ed na vyhrazen\u00e9m j\u00e1dru multiprocesorov\u00e9ho syst\u00e9mu. \u0158\u00edd\u00ed po\u017eadavky na CPU pomoc\u00ed frameworku DPDK<\/a><\/noindex>, kter\u00fd umo\u017e\u0148uje aplikac\u00edm p\u0159\u00edmo komunikovat se s\u00ed\u0165ov\u00fdmi za\u0159\u00edzen\u00edmi.<\/p>\n

IOKernel rozhoduje, kter\u00fdm j\u00e1dr\u016fm p\u0159id\u011blit konkr\u00e9tn\u00ed \u00fakol. Algoritmus tak\u00e9 ur\u010duje, kolik jader bude pot\u0159eba. Pro ka\u017ed\u00fd proces se ur\u010duj\u00ed hlavn\u00ed j\u00e1dra (guaranteed) a dal\u0161\u00ed (burstable) \u2013 druh\u00e1 se spou\u0161t\u00ed v p\u0159\u00edpad\u011b n\u00e1hl\u00e9ho zv\u00fd\u0161en\u00ed po\u010dtu po\u017eadavk\u016f na CPU.<\/p>\n

Fronta po\u017eadavk\u016f IOKernel je organizov\u00e1na jako kruhov\u00fd buffer.<\/a><\/noindex>Ka\u017ed\u00fdch p\u011bt mikrosekund algoritmus kontroluje, zda byly spln\u011bny v\u0161echny \u00fakoly p\u0159id\u011blen\u00e9 j\u00e1dru. K tomu porovn\u00e1v\u00e1 aktu\u00e1ln\u00ed polohu \u201ehlavy\u201c bufferu s p\u0159edchoz\u00ed pozic\u00ed jeho \u201eocasu\u201c. Pokud se uk\u00e1\u017ee, \u017ee ocas m\u011bl ji\u017e b\u00fdt ve front\u011b v dob\u011b p\u0159edchoz\u00ed kontroly, syst\u00e9m ozna\u010duje p\u0159et\u00ed\u017een\u00ed bufferu a p\u0159id\u011bluje pro proces dal\u0161\u00ed j\u00e1dro.<\/p>\n

P\u0159i rozd\u011blov\u00e1n\u00ed z\u00e1t\u011b\u017ee se up\u0159ednost\u0148uj\u00ed j\u00e1dra, na kter\u00fdch byl takov\u00fd proces d\u0159\u00edve prov\u00e1d\u011bn a \u010d\u00e1ste\u010dn\u011b z\u016fstal v cache pam\u011bti, nebo jak\u00e1koliv ne\u010dinn\u00e1 j\u00e1dra.<\/p>\n

\"Nov\u00fd
\n
\nShenango nav\u00edc vyu\u017e\u00edv\u00e1 p\u0159\u00edstup work stealing.<\/a><\/noindex>J\u00e1dra vyhrazen\u00e1 pro pr\u00e1ci jedn\u00e9 aplikace sleduj\u00ed po\u010det \u00faloh navz\u00e1jem. Pokud jedno j\u00e1dro dokon\u010d\u00ed sv\u016fj seznam \u00fakol\u016f d\u0159\u00edve ne\u017e ostatn\u00ed, \"sund\u00e1\" \u010d\u00e1st z\u00e1t\u011b\u017ee z okoln\u00edch j\u00e1der.<\/p>\n

V\u00fdhody a nev\u00fdhody<\/h2>\n

\nPodle slov<\/a><\/noindex> in\u017een\u00fdr\u016f z MIT, Shenango je schopno zpracov\u00e1vat p\u011bt milion\u016f po\u017eadavk\u016f za sekundu a udr\u017eovat pr\u016fm\u011brnou dobu odezvy 37 mikrosekund. Odborn\u00edci tvrd\u00ed, \u017ee v n\u011bkter\u00fdch p\u0159\u00edpadech m\u016f\u017ee technologie zv\u00fd\u0161it vyu\u017eit\u00ed procesor\u016f v datov\u00fdch centrech a\u017e na 100 %. V\u00fdsledkem bude, \u017ee provozovatel\u00e9 datov\u00fdch center budou moci u\u0161et\u0159it na n\u00e1kupu a \u00fadr\u017eb\u011b server\u016f.<\/p>\n

Potenci\u00e1l \u0159e\u0161en\u00ed uv\u00e1d\u011bj\u00ed<\/a><\/noindex> a specialist\u016f z jin\u00fdch univerzit. Podle profesora z korejsk\u00e9ho institutu pom\u016f\u017ee syst\u00e9m z MIT sn\u00ed\u017eit zpo\u017ed\u011bn\u00ed p\u0159i pr\u00e1ci webov\u00fdch slu\u017eeb. Nap\u0159\u00edklad bude u\u017eite\u010dn\u00fd pro online obchody. V obdob\u00ed v\u00fdprodej\u016f m\u016f\u017ee i sekundy zpo\u017ed\u011bn\u00ed na\u010d\u00edt\u00e1n\u00ed str\u00e1nky uv\u00e1d\u00ed<\/a><\/noindex> na\u010d\u00edt\u00e1n\u00ed str\u00e1nky v\u00e9st ke sn\u00ed\u017een\u00ed po\u010dtu zobrazen\u00ed webu o 11 %. Rychl\u00e9 rozd\u011blen\u00ed z\u00e1t\u011b\u017ee pom\u016f\u017ee obslou\u017eit v\u00edce z\u00e1kazn\u00edk\u016f.<\/p>\n

Technologie m\u00e1 zat\u00edm nev\u00fdhody \u2013 nepodporuje v\u00edcej\u00e1drov\u00e9 NUMA<\/a><\/noindex>-syst\u00e9my, kde jsou \u010dipy p\u0159ipojeny k r\u016fzn\u00fdm pam\u011b\u0165ov\u00fdm modul\u016fm a \"nekomunikuj\u00ed\" mezi sebou. V takov\u00e9m p\u0159\u00edpad\u011b m\u016f\u017ee IOKernel regulovat pr\u00e1ci odd\u011blen\u00e9 skupiny procesor\u016f, ale ne v\u0161echny \u010dipy serveru.<\/p>\n

\"Nov\u00fd
\n\/ \u0444\u043e\u0442\u043e Tim Reckmann<\/a><\/noindex> CC BY<\/a><\/noindex><\/i><\/p>\n

Analogick\u00e9 technologie<\/h2>\n

\nMezi dal\u0161\u00edmi syst\u00e9my zat\u00ed\u017een\u00ed na procesorech lze vyzdvihnout Arachne. Ta vypo\u010d\u00edt\u00e1v\u00e1, kolik jader bude aplikaci pot\u0159eba v okam\u017eiku jej\u00edho spu\u0161t\u011bn\u00ed, a podle tohoto parametru rozd\u011bluje procesy. Podle odhad\u016f autor\u016f je maxim\u00e1ln\u00ed zpo\u017ed\u011bn\u00ed pr\u00e1ce aplikace v Arachne kolem 10 tis\u00edc mikrosekund.<\/p>\n

Technologie je realizov\u00e1na ve form\u011b knihovny C++ pro Linux a jej\u00ed zdrojov\u00fd k\u00f3d je k dispozici na GitHub<\/a><\/noindex>.<\/p>\n

Dal\u0161\u00ed vyva\u017eovac\u00ed n\u00e1stroj je ZygOS. Stejn\u011b jako Shenango technologie pou\u017e\u00edv\u00e1 pro p\u0159erozd\u011blen\u00ed proces\u016f metodu work stealing. Podle \u00fadaj\u016f autor\u016f ZygOS je pr\u016fm\u011brn\u00e9 zpo\u017ed\u011bn\u00ed v pr\u00e1ci aplikac\u00ed p\u0159i pou\u017eit\u00ed n\u00e1stroje p\u0159ibli\u017en\u011b 150 mikrosekund, a maxim\u00e1ln\u00ed zpo\u017ed\u011bn\u00ed je kolem 450 mikrosekund. K\u00f3d projektu je tak\u00e9 dostupn\u00fd ve\u0159ejnosti<\/a><\/noindex>.<\/p>\n

Z\u00e1v\u011bry<\/h2>\n

\nModern\u00ed datov\u00e1 centra pokra\u010duj\u00ed v roz\u0161i\u0159ov\u00e1n\u00ed, zejm\u00e9na trend zv\u00fd\u0161en\u00ed je patrn\u00fd na trhu hyperscale datov\u00fdch center: nyn\u00ed ve sv\u011bt\u011b existuje<\/noindex> 430 hypermasivn\u00edch datov\u00fdch center, av\u0161ak v bl\u00edzk\u00e9 budoucnosti se jejich po\u010det m\u016f\u017ee zv\u00fd\u0161it o 30 %. Z tohoto d\u016fvodu budou technologie vyva\u017eov\u00e1n\u00ed z\u00e1t\u011b\u017ee na procesory velmi \u017e\u00e1dan\u00e9. Syst\u00e9my jako Shenango se ji\u017e te\u010f implementuj\u00ed<\/a><\/noindex> velk\u00e9 korporace, a v budoucnu toto mno\u017estv\u00ed takov\u00fdch n\u00e1stroj\u016f jen poroste.<\/p>\n

\nP\u0159\u00edsp\u011bvky z Prvn\u00edho blogu o podnikov\u00e9 IaaS:<\/p>\n