Si prevede che il sistema Shenango sarà utilizzato nei data center.
/ foto
Secondo uno dei fornitori, data center solo il 20-40% della potenza di calcolo disponibile. A carichi elevati questo indicatore . Questa distribuzione delle risorse porta alla nascita dei cosiddetti “server zombie”. Si tratta di macchine che restano inattive per la maggior parte del tempo, sprecando energia. Oggi il 30% dei server nel mondo , consumando 30 miliardi di dollari di elettricità all’anno.
Il MIT ha deciso di combattere l'uso inefficiente delle risorse informatiche.
Team di ingegneri sistema di bilanciamento del carico del processore chiamato Shenango. Il suo scopo è monitorare lo stato del buffer delle attività e ridistribuire i processi bloccati (che non possono ricevere tempo CPU) alle macchine libere.
Come funziona Shenango
Shenango è una libreria Linux in C con collegamenti Rust e C++. Il codice del progetto e le applicazioni di test sono pubblicati in su GitHub.
La soluzione si basa sull'algoritmo IOKernel, che gira su un core dedicato di un sistema multiprocessore. Gestisce le richieste della CPU utilizzando un framework , che consente alle applicazioni di comunicare direttamente con i dispositivi di rete.
L'IOKernel decide a quali kernel delegare un compito specifico. L'algoritmo decide anche quanti core saranno necessari. Per ogni processo vengono determinati i core principali (garantiti) e quelli aggiuntivi (scoppiabili): questi ultimi vengono avviati in caso di un forte aumento del numero di richieste alla CPU.
La coda delle richieste IOKernel è organizzata come . Ogni cinque microsecondi, l'algoritmo controlla se tutte le attività assegnate al core sono state completate. Per fare ciò, confronta la posizione attuale della testa del buffer con la posizione precedente della sua coda. Se risulta che la coda era già in coda al momento del controllo precedente, il sistema rileva il sovraccarico del buffer e alloca un core aggiuntivo per il processo.
Nella distribuzione del carico viene data priorità ai core su cui lo stesso processo è stato eseguito in precedenza ed è rimasto parzialmente nella cache, oppure ad eventuali core inattivi.
Anche Shenango adotta lo stesso approccio . I core assegnati per eseguire un'applicazione monitorano il numero di attività di cui dispongono gli altri. Se un core termina la sua lista di compiti prima degli altri, “alleggerisce” parte del carico dai suoi vicini.
Vantaggi e svantaggi
Su ingegneri del MIT, Shenango è in grado di elaborare cinque milioni di richieste al secondo e di mantenere un tempo di risposta medio di 37 microsecondi. Gli esperti affermano che in alcuni casi la tecnologia può aumentare fino al 100% il tasso di utilizzo dei processori nei data center. Di conseguenza, gli operatori dei data center potranno risparmiare sull'acquisto e sulla manutenzione dei server.
Potenziale della soluzione e specialisti di altre università. Secondo un professore di un istituto coreano, il sistema del MIT aiuterà a ridurre i ritardi nei servizi web. Ad esempio, sarà utile nei negozi online. Nei giorni dei saldi si verifica anche un secondo ritardo nel caricamento della pagina ad una diminuzione del numero di visualizzazioni del sito dell'11%. Una rapida distribuzione del carico aiuterà a servire più clienti.
La tecnologia presenta ancora degli svantaggi: non supporta il multiprocessore -sistemi in cui i chip sono collegati a diversi moduli di memoria e non “comunicano” tra loro. In questo caso, IOKernel può regolare il funzionamento di un gruppo separato di processori, ma non di tutti i chip del server.
/ foto
Tecnologie simili
Altri sistemi di bilanciamento del carico del processore includono Arachne. Calcola di quanti core avrà bisogno un'applicazione all'avvio e distribuisce i processi in base a questo indicatore. Secondo gli autori, la latenza massima di un'applicazione in Arachne è di circa 10mila microsecondi.
La tecnologia è implementata come libreria C++ per Linux e il suo codice sorgente è disponibile su .
Un altro strumento di bilanciamento è ZygOS. Come Shenango, la tecnologia utilizza il metodo del furto del lavoro per ridistribuire i processi. Secondo gli autori di ZygOS, la latenza media dell'applicazione quando si utilizza lo strumento è di circa 150 microsecondi e quella massima è di circa 450 microsecondi. Anche il codice del progetto lo è .
risultati
I data center moderni continuano ad espandersi e la tendenza crescente è particolarmente evidente nel mercato dei data center iperscale: ora nel mondo 430 data center iperscale, ma nei prossimi anni il loro numero potrebbe aumentare del 30%. Per questo motivo, le tecnologie di bilanciamento del carico del processore saranno molto richieste. Sistemi come Shenango sono già disponibili grandi aziende e il numero di tali strumenti non potrà che aumentare in futuro.
Post dal primo blog sull'IaaS aziendale:
Fonte: habr.com