{"id":31148,"date":"2019-10-31T21:39:44","date_gmt":"2019-10-31T18:39:44","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novyj-balansirovshhik-nagruzki-na-cpu-ot-mit\/"},"modified":"2019-10-31T21:39:44","modified_gmt":"2019-10-31T18:39:44","slug":"novyj-balansirovshhik-nagruzki-na-cpu-ot-mit","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/novyj-balansirovshhik-nagruzki-na-cpu-ot-mit","title":{"rendered":"Nowy rozk\u0142adacz obci\u0105\u017cenia CPU od MIT","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
System Shenango planuje wykorzysta\u0107 w centrach danych.<\/h5>\n

\n\"Nowy<\/a><\/noindex>
\n\/ \u0444\u043e\u0442\u043e Marco Verch<\/a><\/noindex> CC BY<\/a><\/noindex><\/i><\/p>\n

Wed\u0142ug jednego z dostawc\u00f3w, centra danych u\u017cywaj\u0105<\/a><\/noindex> stanowi\u0105 zaledwie 20\u201340% dost\u0119pnych mocy obliczeniowych. W warunkach du\u017cego obci\u0105\u017cenia ten wska\u017anik mo\u017ce si\u0119gn\u0105\u0107 60%<\/a><\/noindex>. Taki rozk\u0142ad zasob\u00f3w prowadzi do powstawania tzw. \u201ezombie-serwer\u00f3w\u201d. To maszyny, kt\u00f3re przez wi\u0119kszo\u015b\u0107 czasu s\u0105 bezczynne, bezproduktywnie zu\u017cywaj\u0105c energi\u0119 elektryczn\u0105. Obecnie 30% serwer\u00f3w na \u015bwiecie s\u0105 nieaktywne<\/a><\/noindex>, pobieraj\u0105c pr\u0105d za 30 miliard\u00f3w dolar\u00f3w rocznie.<\/p>\n

Z problemem nieefektywnego wykorzystania zasob\u00f3w obliczeniowych postanowili zmierzy\u0107 si\u0119 w MIT.<\/a><\/noindex><\/p>\n

Zesp\u00f3\u0142 in\u017cynier\u00f3w opracowa\u0142<\/a><\/noindex> opracowa\u0142 system r\u00f3wnowa\u017cenia obci\u0105\u017cenia procesor\u00f3w o nazwie Shenango. Jego celem jest monitorowanie stanu bufora zada\u0144 i redistribucja \u201eutkni\u0119tych\u201d proces\u00f3w (kt\u00f3re nie mog\u0105 uzyska\u0107 czasu procesora) na dost\u0119pne maszyny.<\/p>\n

Jak dzia\u0142a Shenango<\/h2>\n

\nShenango to biblioteka Linux napisana w j\u0119zyku C z powi\u0105zaniami w Rust i C++. Kod projektu i aplikacje testowe s\u0105 opublikowane w repozytorium<\/a><\/noindex> na GitHubie.<\/p>\n

Podstaw\u0105 rozwi\u0105zania jest algorytm IOKernel, kt\u00f3ry dzia\u0142a na dedykowanym rdzeniu systemu wieloprocesorowego. Zarz\u0105dza on \u017c\u0105daniami do CPU za pomoc\u0105 frameworka DPDK<\/a><\/noindex>, kt\u00f3ry pozwala aplikacjom na bezpo\u015bredni\u0105 interakcj\u0119 z urz\u0105dzeniami sieciowymi.<\/p>\n

IOKernel decyduje, kt\u00f3rym rdzeniom przydzieli\u0107 konkretn\u0105 zadanie. Algorytm ustala r\u00f3wnie\u017c, ile rdzeni b\u0119dzie potrzebnych. Dla ka\u017cdego procesu okre\u015blane s\u0105 rdzenie podstawowe (guaranteed) i dodatkowe (burstable) \u2013 drugie uruchamiane s\u0105 w przypadku nag\u0142ego wzrostu liczby \u017c\u0105da\u0144 do CPU.<\/p>\n

Kolejka \u017c\u0105da\u0144 IOKernel jest zorganizowana w formie bufora cyclical<\/a><\/noindex>. Co pi\u0119\u0107 mikrosekund algorytm sprawdza, czy wszystkie zadania przypisane do rdzenia zosta\u0142y wykonane. W tym celu por\u00f3wnuje bie\u017c\u0105c\u0105 pozycj\u0119 \u201eg\u0142owy\u201d bufora z poprzedni\u0105 pozycj\u0105 jego \u201eogona\u201d. Je\u015bli oka\u017ce si\u0119, \u017ce ogon by\u0142 ju\u017c w kolejce w momencie poprzedniej kontroli, system zaznacza przeci\u0105\u017cenie bufora i przydziela dodatkowy rdze\u0144 dla procesu.<\/p>\n

Podczas rozk\u0142adania obci\u0105\u017cenia priorytet maj\u0105 rdzenie, na kt\u00f3rych taki sam proces by\u0142 wcze\u015bniej wykonywany i cz\u0119\u015bciowo pozosta\u0142 w pami\u0119ci cache, lub jakiekolwiek bezczynne rdzenie.<\/p>\n

\"Nowy
\n
\nShenango dodatkowo wykorzystuje podej\u015bcie kradzie\u017c pracy<\/a><\/noindex>J\u0105dra przypisane do jednego zadania \u015bledz\u0105 liczb\u0119 zada\u0144 swojego s\u0105siada. Je\u015bli jedno j\u0105dro ko\u0144czy swoj\u0105 list\u0119 zada\u0144 wcze\u015bniej ni\u017c pozosta\u0142e, \u201ezdj\u0119cie\u201d cz\u0119\u015bci obci\u0105\u017cenia z s\u0105siad\u00f3w.<\/p>\n

Zalety i wady<\/h2>\n

\nWed\u0142ug s\u0142owami<\/a><\/noindex> In\u017cynierowie z MIT, Shenango jest w stanie obs\u0142ugiwa\u0107 pi\u0119\u0107 milion\u00f3w zapyta\u0144 na sekund\u0119 i utrzyma\u0107 \u015bredni czas reakcji wynosz\u0105cy 37 mikrosekund. Specjali\u015bci twierdz\u0105, \u017ce w niekt\u00f3rych przypadkach technologia mo\u017ce zwi\u0119kszy\u0107 wsp\u00f3\u0142czynnik wykorzystania procesor\u00f3w w centrach danych do 100%. W rezultacie operatorzy centr\u00f3w danych mog\u0105 oszcz\u0119dza\u0107 na zakupie i utrzymaniu serwer\u00f3w.<\/p>\n

Potencja\u0142 rozwi\u0105zania zauwa\u017caj\u0105<\/a><\/noindex> i specjali\u015bci z innych uniwersytet\u00f3w. Wed\u0142ug profesora z korea\u0144skiego instytutu system z MIT pomo\u017ce zmniejszy\u0107 op\u00f3\u017anienia w pracy serwis\u00f3w internetowych. Na przyk\u0142ad, przyda si\u0119 w pracy sklep\u00f3w internetowych. W dni sprzeda\u017cowe nawet sekundowe op\u00f3\u017anienie za\u0142adunku strony przywo\u0142uje<\/a><\/noindex> mo\u017ce prowadzi\u0107 do spadku liczby ods\u0142on strony o 11%. B\u0142yskawiczne rozdzielanie obci\u0105\u017cenia pomo\u017ce obs\u0142u\u017cy\u0107 wi\u0119cej klient\u00f3w.<\/p>\n

Technologia ma jednak swoje wady \u2014 nie obs\u0142uguje system\u00f3w wieloprocesorowych NUMA<\/a><\/noindex>-system\u00f3w, w kt\u00f3rych chipy s\u0105 pod\u0142\u0105czone do r\u00f3\u017cnych modu\u0142\u00f3w pami\u0119ci i nie \u201ekomunikuj\u0105 si\u0119\u201d ze sob\u0105. W takim przypadku IOKernel mo\u017ce regulowa\u0107 prac\u0119 wybranej grupy procesor\u00f3w, ale nie wszystkich chip\u00f3w serwera.<\/p>\n

\"Nowy
\n\/ \u0444\u043e\u0442\u043e Tim Reckmann<\/a><\/noindex> CC BY<\/a><\/noindex><\/i><\/p>\n

Podobne technologie<\/h2>\n

\nW\u015br\u00f3d innych system\u00f3w r\u00f3wnowa\u017cenia obci\u0105\u017cenia na procesorach mo\u017cna wyr\u00f3\u017cni\u0107 Arachne. Oblicza, ile rdzeni b\u0119dzie potrzebnych aplikacji w momencie jej uruchamiania, i rozdziela procesy zgodnie z tym wska\u017anikiem. Wed\u0142ug autor\u00f3w, maksymalne op\u00f3\u017anienie dzia\u0142ania aplikacji w Arachne wynosi oko\u0142o 10 tysi\u0119cy mikrosekund.<\/p>\n

Technologia jest zrealizowana w postaci biblioteki C++ dla systemu Linux, a jej kod \u017ar\u00f3d\u0142owy jest dost\u0119pny na GitHub<\/a><\/noindex>.<\/p>\n

Innym narz\u0119dziem r\u00f3wnowa\u017c\u0105cym obci\u0105\u017cenie jest ZygOS. Podobnie jak Shenango, technologia ta wykorzystuje metod\u0119 kradzie\u017cy pracy do redistribucji proces\u00f3w. Z danych autor\u00f3w ZygOS wynika, \u017ce \u015brednie op\u00f3\u017anienie w pracy aplikacji przy u\u017cyciu tego narz\u0119dzia wynosi oko\u0142o 150 mikrosekund, a maksymalne \u2014 oko\u0142o 450 mikrosekund. Kod projektu r\u00f3wnie\u017c jest dost\u0119pny publicznie<\/a><\/noindex>.<\/p>\n

Wnioski<\/h2>\n

\nNowoczesne centra danych nadal si\u0119 rozwijaj\u0105, szczeg\u00f3lnie wyra\u017any trend wzrostowy mo\u017cna zaobserwowa\u0107 na rynku centr\u00f3w danych hyperscale: obecnie na \u015bwiecie istnieje<\/noindex> 430 hiper-skalowalnych obiekt\u00f3w data center, ale w najbli\u017cszych latach ich liczba mo\u017ce wzrosn\u0105\u0107 o 30%. Z tego powodu technologie rozk\u0142adu obci\u0105\u017cenia na procesorach b\u0119d\u0105 bardzo poszukiwane. Systemy takie jak Shenango ju\u017c teraz wdra\u017caj\u0105<\/a><\/noindex> du\u017ce korporacje, a w przysz\u0142o\u015bci liczba takich narz\u0119dzi b\u0119dzie tylko ros\u0142a.<\/p>\n

\nPosty z Pierwszego bloga o korporacyjnym IaaS:<\/p>\n