{"id":31148,"date":"2019-10-31T21:39:44","date_gmt":"2019-10-31T18:39:44","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novyj-balansirovshhik-nagruzki-na-cpu-ot-mit\/"},"modified":"2019-10-31T21:39:44","modified_gmt":"2019-10-31T18:39:44","slug":"novyj-balansirovshhik-nagruzki-na-cpu-ot-mit","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/novyj-balansirovshhik-nagruzki-na-cpu-ot-mit","title":{"rendered":"Novo balanceador de carga de CPU do MIT","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
O sistema Shenango est\u00e1 sendo planejado para ser utilizado em data centers.<\/h5>\n

\n\"Novo<\/a><\/noindex>
\n\/ \u0444\u043e\u0442\u043e Marco Verch<\/a><\/noindex> CC BY<\/a><\/noindex><\/i><\/p>\n

De acordo com um dos provedores, os data centers utilizam<\/a><\/noindex> utilizam apenas 20-40% dos recursos computacionais dispon\u00edveis. Em altas cargas, esse n\u00famero pode alcan\u00e7ar 60%<\/a><\/noindex>. Essa distribui\u00e7\u00e3o de recursos leva \u00e0 presen\u00e7a de chamados \"servidores zumbis\". S\u00e3o m\u00e1quinas que ficam inativas a maior parte do tempo, consumindo eletricidade desnecessariamente. Atualmente, 30% dos servidores no mundo est\u00e3o ociosos<\/a><\/noindex>, consumindo eletricidade no valor de 30 bilh\u00f5es de d\u00f3lares por ano.<\/p>\n

A luta contra o consumo ineficiente de recursos computacionais foi iniciada no MIT.<\/a><\/noindex><\/p>\n

Uma equipe de engenheiros desenvolveu<\/a><\/noindex> um sistema de balanceamento de carga para processadores chamado Shenango. Seu objetivo \u00e9 monitorar o estado dos buffers de tarefas e redistribuir os processos \"presa\" (aqueles que n\u00e3o conseguem obter tempo de CPU) para m\u00e1quinas livres.<\/p>\n

Como funciona o Shenango<\/h2>\n

\nShenango \u00e9 uma biblioteca Linux escrita em C com bindings para Rust e C++. O c\u00f3digo do projeto e os aplicativos de teste est\u00e3o publicados no reposit\u00f3rio<\/a><\/noindex> no GitHub.<\/p>\n

A base da solu\u00e7\u00e3o \u00e9 um algoritmo IOKernel, que \u00e9 executado em um n\u00facleo dedicado de um sistema multiprocessador. Ele gerencia as demandas de CPU usando o framework DPDK<\/a><\/noindex>, que permite que aplicativos interajam diretamente com dispositivos de rede.<\/p>\n

O IOKernel decide a quais n\u00facleos atribuir uma tarefa espec\u00edfica. O algoritmo tamb\u00e9m determina quantos n\u00facleos ser\u00e3o necess\u00e1rios. Para cada processo, s\u00e3o definidos n\u00facleos principais (garantidos) e adicionais (expans\u00edveis) \u2014 os \u00faltimos s\u00e3o acionados em caso de um aumento repentino no n\u00famero de solicita\u00e7\u00f5es de CPU.<\/p>\n

A fila de solicita\u00e7\u00f5es do IOKernel \u00e9 organizada na forma de um buffer circular<\/a><\/noindex>. A cada cinco microsegundos, o algoritmo verifica se todas as tarefas atribu\u00eddas ao n\u00facleo foram conclu\u00eddas. Para isso, ele compara a posi\u00e7\u00e3o atual da \"cabe\u00e7a\" do buffer com a posi\u00e7\u00e3o anterior de seu \"rabo\". Se for constatado que o rabo j\u00e1 estava na fila na verifica\u00e7\u00e3o anterior, o sistema sinaliza uma sobrecarga do buffer e atribui um n\u00facleo adicional ao processo.<\/p>\n

Na distribui\u00e7\u00e3o de carga, a prioridade \u00e9 dada aos n\u00facleos onde esse mesmo processo j\u00e1 foi executado antes e parcialmente ficou em cache, ou a quaisquer n\u00facleos ociosos.<\/p>\n

\"Novo
\n
\nO Shenango tamb\u00e9m utiliza a abordagem work stealing<\/a><\/noindex>Os n\u00facleos dedicados a um \u00fanico aplicativo monitoram a carga de trabalho entre si. Se um n\u00facleo termina sua lista de tarefas antes dos outros, ele \"descarrega\" parte do trabalho dos vizinhos.<\/p>\n

Vantagens e desvantagens<\/h2>\n

\nDe acordo com palavras<\/a><\/noindex> engenheiros do MIT, o Shenango pode processar cinco milh\u00f5es de requisi\u00e7\u00f5es por segundo e manter um tempo de resposta m\u00e9dio de 37 microssegundos. Especialistas afirmam que, em alguns casos, a tecnologia pode aumentar a taxa de utiliza\u00e7\u00e3o dos processadores em data centers para 100%. Como resultado, os operadores de DC poder\u00e3o economizar na compra e manuten\u00e7\u00e3o de servidores.<\/p>\n

Potencial da solu\u00e7\u00e3o observam<\/a><\/noindex> e especialistas de outras universidades. Segundo um professor de um instituto coreano, o sistema do MIT ajudar\u00e1 a reduzir a lat\u00eancia em servi\u00e7os web. Por exemplo, ser\u00e1 \u00fatil para lojas online. Em dias de promo\u00e7\u00e3o, at\u00e9 mesmo um segundo de atraso na carga da p\u00e1gina resulta<\/a><\/noindex> em uma redu\u00e7\u00e3o de 11% no n\u00famero de visualiza\u00e7\u00f5es do site. A distribui\u00e7\u00e3o eficiente da carga ajudar\u00e1 a atender mais clientes.<\/p>\n

A tecnologia ainda apresenta desvantagens - n\u00e3o suporta sistemas NUMA<\/a><\/noindex>- onde os chips est\u00e3o conectados a diferentes m\u00f3dulos de mem\u00f3ria e n\u00e3o se \"comunicam\" entre si. Nesse caso, o IOKernel pode regular o funcionamento de um grupo espec\u00edfico de processadores, mas n\u00e3o de todos os chips do servidor.<\/p>\n

\"Novo
\n\/ \u0444\u043e\u0442\u043e Tim Reckmann<\/a><\/noindex> CC BY<\/a><\/noindex><\/i><\/p>\n

Tecnologias an\u00e1logas<\/h2>\n

\nEntre outros sistemas de balanceamento de carga para processadores, destacamos o Arachne. Ele calcula quantos n\u00facleos ser\u00e3o necess\u00e1rios para o aplicativo no momento de seu lan\u00e7amento e distribui os processos de acordo com esse par\u00e2metro. Segundo os autores, a lat\u00eancia m\u00e1xima do aplicativo no Arachne \u00e9 de cerca de 10 mil microssegundos.<\/p>\n

A tecnologia \u00e9 implementada como uma biblioteca C++ para Linux, e seu c\u00f3digo-fonte est\u00e1 dispon\u00edvel em GitHub<\/a><\/noindex>.<\/p>\n

Outro balanceador de carga \u00e9 o ZygOS. Assim como o Shenango, a tecnologia utiliza o m\u00e9todo de roubo de trabalho para redistribuir os processos. De acordo com os autores do ZygOS, a lat\u00eancia m\u00e9dia no funcionamento de aplicativos ao usar a ferramenta \u00e9 de cerca de 150 microssegundos, e a m\u00e1xima \u00e9 de cerca de 450 microssegundos. O c\u00f3digo do projeto tamb\u00e9m est\u00e1 dispon\u00edvel publicamente<\/a><\/noindex>.<\/p>\n

Como resultado, obtemos um servi\u00e7o de \"monitoramento como servi\u00e7o\", automatizado na linha de produ\u00e7\u00e3o de integra\u00e7\u00e3o cont\u00ednua. O desenvolvedor ou testador precisa apenas definir a lista de m\u00e9tricas em um arquivo JSON, e tudo o mais acontece automaticamente. Obtemos um controle de qualidade transparente dos lan\u00e7amentos: todas as notifica\u00e7\u00f5es sobre desempenho, consumo de recursos ou regress\u00f5es arquitet\u00f4nicas.<\/h2>\n

\nData centers modernos continuam a se expandir. Especialmente vis\u00edvel \u00e9 a tend\u00eancia de crescimento no mercado de data centers hyperscale: atualmente, existem no mundo existem<\/noindex> 430 data centers hipermassivos, mas j\u00e1 nos pr\u00f3ximos anos esse n\u00famero pode aumentar em 30%. Por esse motivo, as tecnologias de balanceamento de carga nos processadores ser\u00e3o muito demandadas. Sistemas como o Shenango j\u00e1 est\u00e3o sendo implementados<\/a><\/noindex> por grandes corpora\u00e7\u00f5es, e no futuro, a quantidade dessas ferramentas s\u00f3 ir\u00e1 aumentar.<\/p>\n

\nPostagens do Primeiro blog sobre IaaS corporativo:<\/p>\n