{"id":31148,"date":"2019-10-31T21:39:44","date_gmt":"2019-10-31T18:39:44","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novyj-balansirovshhik-nagruzki-na-cpu-ot-mit\/"},"modified":"2019-10-31T21:39:44","modified_gmt":"2019-10-31T18:39:44","slug":"novyj-balansirovshhik-nagruzki-na-cpu-ot-mit","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/novyj-balansirovshhik-nagruzki-na-cpu-ot-mit","title":{"rendered":"Nouveau r\u00e9partiteur de charge CPU de MIT","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Le syst\u00e8me Shenango est pr\u00e9vu pour \u00eatre utilis\u00e9 dans des centres de donn\u00e9es.<\/h5>\n

\n\"Nouveau<\/a><\/noindex>
\n\/ \u0444\u043e\u0442\u043e Marco Verch<\/a><\/noindex> CC BY<\/a><\/noindex><\/i><\/p>\n

Selon un fournisseur, les centres de donn\u00e9es utilis\u00e9<\/a><\/noindex> utilisent seulement 20 \u00e0 40 % de la capacit\u00e9 de calcul disponible. En p\u00e9riode de forte charge, ce chiffre peut atteindre 60 %<\/a><\/noindex>. Cette r\u00e9partition des ressources entra\u00eene l'apparition de ce que l'on appelle des \u00ab serveurs zombies \u00bb. Ce sont des machines qui restent inactives pendant la majeure partie du temps, gaspillant ainsi de l'\u00e9lectricit\u00e9. Aujourd'hui, 30 % des serveurs dans le monde sont \u00e0 l'arr\u00eat<\/a><\/noindex>, consommant de l'\u00e9lectricit\u00e9 pour un co\u00fbt de 30 milliards de dollars par an.<\/p>\n

Pour lutter contre le gaspillage des ressources de calcul, le MIT a d\u00e9cid\u00e9 de cr\u00e9er<\/a><\/noindex><\/p>\n

Une \u00e9quipe d'ing\u00e9nieurs a d\u00e9velopp\u00e9<\/a><\/noindex> un syst\u00e8me d'\u00e9quilibrage de charge pour les processeurs appel\u00e9 Shenango. Son but est de surveiller l'\u00e9tat du buffer de t\u00e2ches et de redistribuer les processus \u00ab bloqu\u00e9s \u00bb (qui ne peuvent pas obtenir de temps processeur) vers des machines libres.<\/p>\n

Comment fonctionne Shenango<\/h2>\n

\nShenango est une biblioth\u00e8que Linux \u00e9crite en C avec des bindings en Rust et C++. Le code du projet et les applications de test sont publi\u00e9s dans d\u00e9p\u00f4ts<\/a><\/noindex> sur GitHub.<\/p>\n

La solution repose sur l'algorithme IOKernel, qui s'ex\u00e9cute sur un c\u0153ur d\u00e9di\u00e9 d'un syst\u00e8me multiprocesseur. Il g\u00e8re les demandes de CPU gr\u00e2ce \u00e0 un cadre DPDK<\/a><\/noindex>, qui permet aux applications d'interagir directement avec les dispositifs r\u00e9seau.<\/p>\n

IOKernel d\u00e9termine \u00e0 quels c\u0153urs attribuer une t\u00e2che sp\u00e9cifique. L'algorithme d\u00e9cide \u00e9galement du nombre de c\u0153urs n\u00e9cessaires. Pour chaque processus, des c\u0153urs principaux (guaranteed) et suppl\u00e9mentaires (burstable) sont d\u00e9finis \u2014 les seconds \u00e9tant lanc\u00e9s en cas d'augmentation brutale du nombre de demandes au CPU.<\/p>\n

La file d'attente des demandes d'IOKernel est organis\u00e9e sous forme de tampon circulaire<\/a><\/noindex>. Toutes les cinq microsecondes, l'algorithme v\u00e9rifie si toutes les t\u00e2ches assign\u00e9es \u00e0 un c\u0153ur ont \u00e9t\u00e9 ex\u00e9cut\u00e9es. Pour ce faire, il compare l'emplacement actuel de la \u00ab t\u00eate \u00bb du tampon avec la position pr\u00e9c\u00e9dente de sa \u00ab queue \u00bb. Si la queue \u00e9tait d\u00e9j\u00e0 dans la file au moment de la pr\u00e9c\u00e9dente v\u00e9rification, le syst\u00e8me signale une surcharge du tampon et alloue un c\u0153ur suppl\u00e9mentaire au processus.<\/p>\n

Lors de la r\u00e9partition de la charge, la priorit\u00e9 est donn\u00e9e aux c\u0153urs sur lesquels un tel processus a d\u00e9j\u00e0 \u00e9t\u00e9 ex\u00e9cut\u00e9 et qui sont partiellement rest\u00e9s dans le cache, ou \u00e0 tout c\u0153ur inactif.<\/p>\n

\"Nouveau
\n
\nShenango utilise \u00e9galement l'approche du vol de travail<\/a><\/noindex>Les c\u0153urs allou\u00e9s au fonctionnement d'une application surveillent le nombre de t\u00e2ches des uns et des autres. Si un c\u0153ur termine sa liste de t\u00e2ches plus t\u00f4t que les autres, il \u00ab d\u00e9leste \u00bb une partie de la charge sur ses voisins.<\/p>\n

Avantages et inconv\u00e9nients<\/h2>\n

\nSelon propos<\/a><\/noindex> Des ing\u00e9nieurs du MIT, Shenango est capable de traiter cinq millions de requ\u00eates par seconde et de maintenir un temps de r\u00e9ponse moyen de 37 microsecondes. Les sp\u00e9cialistes affirment que, dans certains cas, la technologie peut augmenter le coefficient d'utilisation des processeurs dans les centres de donn\u00e9es jusqu'\u00e0 100 %. En cons\u00e9quence, les op\u00e9rateurs de centres de donn\u00e9es pourront \u00e9conomiser sur l'achat et la maintenance des serveurs.<\/p>\n

Le potentiel de la solution note<\/a><\/noindex> et des sp\u00e9cialistes d'autres universit\u00e9s. Selon un professeur d'un institut cor\u00e9en, le syst\u00e8me du MIT aidera \u00e0 r\u00e9duire les d\u00e9lais de fonctionnement des services web. Par exemple, il sera utile pour le fonctionnement des magasins en ligne. Lors des jours de vente, m\u00eame un retard d'une seconde lors du chargement de la page entra\u00eene \u00e9galement<\/a><\/noindex> peut entra\u00eener une r\u00e9duction du nombre de vues du site de 11 %. Une distribution rapide de la charge aidera \u00e0 servir plus de clients.<\/p>\n

La technologie a encore des inconv\u00e9nients - elle ne prend pas en charge les syst\u00e8mes NUMA<\/a><\/noindex>-multiprocesseurs, o\u00f9 les puces sont connect\u00e9es \u00e0 diff\u00e9rents modules de m\u00e9moire et ne \u00ab communiquent \u00bb pas entre elles. Dans ce cas, IOKernel peut r\u00e9guler le fonctionnement d'un groupe s\u00e9par\u00e9 de processeurs, mais pas de toutes les puces du serveur.<\/p>\n

\"Nouveau
\n\/ \u0444\u043e\u0442\u043e Tim Reckmann<\/a><\/noindex> CC BY<\/a><\/noindex><\/i><\/p>\n

Des technologies analogues<\/h2>\n

\nParmi d'autres syst\u00e8mes d'\u00e9quilibrage de la charge sur les processeurs, on peut citer Arachne. Elle calcule combien de c\u0153urs une application aura besoin au moment de son lancement et r\u00e9partit les processus en fonction de ce param\u00e8tre. Selon les auteurs, le retard maximum du fonctionnement de l'application dans Arachne est d'environ 10 000 microsecondes.<\/p>\n

La technologie est impl\u00e9ment\u00e9e sous la forme d'une biblioth\u00e8que C++ pour Linux, et son code source est disponible sur GitHub<\/a><\/noindex>.<\/p>\n

Un autre outil d'\u00e9quilibrage \u2014 ZygOS. Comme Shenango, la technologie utilise pour la redistribution des processus la m\u00e9thode du vol de travail. Selon les auteurs de ZygOS, le retard moyen dans le fonctionnement des applications lors de l'utilisation de l'outil est d'environ 150 microsecondes, et le maximum \u2014 d'environ 450 microsecondes. Le code du projet est \u00e9galement disponible en acc\u00e8s libre.<\/a><\/noindex>.<\/p>\n

Conclusions<\/h2>\n

\nLes centres de donn\u00e9es modernes continuent de s'\u00e9tendre, particuli\u00e8rement la tendance \u00e0 l'augmentation est marqu\u00e9e sur le march\u00e9 des centres de donn\u00e9es hyperscale : actuellement dans le monde existe<\/noindex> 430 centres de donn\u00e9es hyperscale, mais leur nombre pourrait augmenter de 30 % dans les ann\u00e9es \u00e0 venir. Pour cette raison, les technologies de r\u00e9partition de charge des processeurs seront tr\u00e8s recherch\u00e9es. Des syst\u00e8mes comme Shenango sont d\u00e9j\u00e0 mis en \u0153uvre<\/a><\/noindex> par de grandes entreprises, et dans le futur, le nombre de tels outils ne fera qu'augmenter.<\/p>\n

\nArticles du premier blog sur l'IaaS d'entreprise :<\/p>\n