Continuamos nossa história sobre como mudamos o sistema BMS em nossos Data Centers (, ). Não apenas trocamos a solução de um fornecedor por outro, mas desenvolvemos um sistema do zero de acordo com nossas necessidades. Para finalizar nossa história, compartilhamos os resultados do trabalho realizado e soluções interessantes que podem ser úteis para você.
Uma nova interface
Aqui, como se diz, é melhor ver uma vez.
Racks.
Vamos analisar as diferenças.
- Primeiro, isso é bonito conveniente. Observe como ficou fácil monitorar as cargas nos módulos ("Banks" ou simplesmente "Bancos") PDU e o total das cargas paralelas dos módulos emparelhados. No modelo de rack do novo BMS, vemos imediatamente que os módulos PDU inferiores estão sobrecarregados (a corrente total excede os 16A permitidos - notificação "azul"), enquanto os superiores estão subcarregados. Se um dos feeds for desligado, toda a carga será transferida para o segundo, e o módulo inferior que permanecer com energia será desligado devido à sobrecarga. Para evitar isso, a equipe de suporte do Data Center avisará o cliente com antecedência e enviará recomendações sobre como redistribuir a carga.
- Adição simples de equipamentos. No novo BMS, os sensores virtuais que somam as correntes dos módulos e a potência do rack já estão incluídos nos templates dos racks padrão e são criados automaticamente após a adição ao rack PDU. No BMS antigo, era necessário criá-los manualmente e depois arrastá-los para o mapa, o que aumentava a probabilidade de erro devido ao "fator humano".
- Espaço ilimitado para criatividade. Agora não temos restrições ao criar sensores virtuais. Podemos construir quaisquer modelos matemáticos de quaisquer variáveis. Isso significa que temos a capacidade de criar sensores virtuais complexos (antes, podíamos apenas somar valores) e analisar melhor as estatísticas e tendências do funcionamento dos sistemas de engenharia. Isso melhora a qualidade das decisões tomadas sobre a configuração dos sistemas, substituição de equipamentos e gerenciamento de recursos.
- Interface intuitiva. Na nova interface, não há sobrecarga de ícones; os ventiladores giram, os interruptores “clicam”. E a parte mais conveniente é a possibilidade de indicação do estado da PDU Linha A/B dentro dos racks. Tentamos fazer algo similar no BMS antigo, mas a quantidade de ícones sobrepostos por centímetro quadrado do mapa nos fez desistir.
Agora é agradável aos olhos olhar:
Servidores.
Fragmento GRS.
Painel de controle de ventilação.
E ainda podemos decorar o novo BMS para o Natal 🙂
One page – entendimento mútuo com uma palavra e sem TЗ
Há muito tempo queríamos implementar mais uma ‘característica’ no BMS: compor em uma página os principais parâmetros do data center, para que um único olhar na tela fosse suficiente para avaliar o estado dos principais sistemas. No entanto, não entendíamos totalmente como ela deveria parecer.
Antes de iniciar o desenvolvimento do novo BMS, visitamos com visitas guiadas uma dezena de data centers na Holanda. Um dos objetivos era ver exemplos da implementação de tal página.
E em nenhum data center nos mostraram isso – em alguns não existia, em outros estava ‘sendo desenvolvido neste momento’, em outros isso era um ‘grande segredo comercial’. Portanto, em nosso TЗ para a criação do novo BMS, a descrição exata dessa página, que era muito importante para nós, estava ausente.
No final, a inventamos literalmente ‘em movimento’. Justamente naquele momento, tive que consultar remotamente colegas no data center. Folhear páginas do BMS no celular em busca de dados soltos era muito inconveniente, e, de fato, a primeira versão foi rascunhada em um guardanapo. One page. E foi assim que os desenvolvedores a realizaram com base nas fotos.
Seguindo o exemplo dos cautelosos colegas holandeses, não vamos demonstrar a versão final da nossa página principal, ainda mais porque cada data center é único e não faz sentido copiar. Mas vamos descrever dois princípios principais de sua formação:
- É uma tabela, projetada para o formato de tela vertical de um smartphone (ou monitor, mas mantendo a orientação vertical), com todas as informações importantes exibidas em uma única tela. Acima da tabela, apresentamos um ‘resumo’ dos incidentes ativos, por isso, colocar todos juntos na forma vertical foi a opção mais conveniente.
- A disposição das células na tabela repete a arquitetura do data center (física ou lógica). Abandonamos a disposição dos sistemas em ordem alfabética, como pode parecer à primeira vista. A sequência reflete as associações visuais do pessoal do data center – como se eles monitorassem fisicamente todos os ambientes e sistemas. Isso facilita a busca por informações.
Na verdade, agora todas as características chave do datacenter estão agrupadas e apresentadas em uma única tela do smartphone ou monitor do engenheiro responsável e do gerente, com vínculo à topografia física e lógica do datacenter.
Aqui está a foto do primeiro rascunho, embora, claro, essa versão tenha sido posteriormente reavaliada e aprimorada.
Confirmação e resumo de incidentes
Vamos falar sobre mais um novo conceito que surgiu como resultado do projeto de atualização do sistema de monitoramento.
Confirmação é um termo relativamente raro, que foi sugerido pelo desenvolvedor do novo BMS. Significa a confirmação de que o operador viu o incidente, o reconheceu e assumiu a responsabilidade de resolvê-lo.
A palavra se popularizou, e agora 'confirmamos' incidentes.
O algoritmo embutido na versão básica do novo BMS não nos agradou. Na verdade, tratava-se de comentários sobre o registro de eventos, ou seja, os incidentes resolvidos não desapareciam do registro, enquanto os aceitos ('confirmados') não eram classificados separadamente dos novos.
Como resultado, foi desenvolvido uma janela chamada 'resumo', onde:
- Apenas incidentes ativos e dispositivos em modo de serviço são exibidos (sem notificações comerciais 'azuis').
- Incidentes NOVOS e ACEITOS são claramente separados.
- Está indicado quem aceitou o incidente.
O algoritmo de trabalho dos plantonistas no novo BMS é o seguinte:
- Novos incidentes vão para o resumo e aguardam confirmação. Eles não podem ficar muito tempo nessa seção; o responsável pelo equipamento deve imediatamente aceitar o incidente.
- O funcionário aceita o incidente, clicando na caixa à direita. Como todos os funcionários têm contas únicas, é exibido automaticamente quem aceitou o incidente. Se necessário, um comentário é deixado.
- O incidente é movido para a seção 'Confirmados', e os outros plantonistas e o gerente entendem que o incidente está sendo tratado pelo funcionário responsável.
Exemplo da janela de resumo com uma nova mensagem e uma já confirmada.
Ligando a janela de resumo à tabela One page, obtivemos uma tela principal do sistema BMS, onde é possível ver imediatamente: o estado dos principais sistemas do datacenter;
- a presença de novos incidentes não tratados;
- a presença de incidentes aceitos e dados sobre quem exatamente os está resolvendo.
- a presença de incidentes aceitos e dados sobre quem os está resolvendo especificamente.
Acesso via navegador e notificações no telefone
A interface web, acessível de qualquer dispositivo em qualquer lugar do mundo, é um contraste marcante com o cliente 'gordo', completamente fechado para usuários externos.
A abordagem antiga trazia um conjunto de inconvenientes, desde problemas na organização do trabalho remoto dos funcionários da equipe de monitoramento até a necessidade de instalar clientes 'gordos' a partir de distribuições nos postos de trabalho do pessoal no centro de dados.
Agora, cada página no BMS tem um endereço único, permitindo compartilhar não apenas o endereço direto da página ou dispositivo, mas também links para gráficos/relatórios únicos.
O acesso ao sistema agora é realizado por meio de autenticação LDAP via Active Directory, aumentando o nível de segurança.
A mobilidade hoje é um fator chave para o trabalho eficiente dos engenheiros de plantão. Além de monitorar as operações na sala de plantão, os engenheiros realizam inspeções, executam tarefas fora da 'sala de plantão' e, graças à tela principal do BMS otimizada para telas móveis, não perdem o controle do que acontece nos data centers por um segundo.
A qualidade do controle é aprimorada também pela funcionalidade de chats de trabalho. Eles aceleram os processos, permitindo 'vincular' a comunicação dos engenheiros de plantão ao BMS. Por exemplo, usamos o aplicativo Teams, que permite a comunicação interna e envia todas as mensagens do BMS para o telefone como notificações push, evitando que o plantonista precise olhar constantemente para a tela do telefone.
Notificação push na tela do smartphone.
Assim é que as notificações aparecem no aplicativo Teams.
Além disso, as notificações pop-up estão configuradas apenas para mensagens sobre a ocorrência de incidentes, minimizando assim o fator de distração; o pessoal sabe: se uma notificação push do Teams aparecer na tela do smartphone, é preciso acessar a página do BMS e aceitar o incidente. As mensagens sobre a resolução de incidentes são monitoradas diretamente na página do BMS.
Na foto, a interface do BMS em um smartphone.
Resumindo
Com o custo de atualização do BMS com nosso antigo fornecedor, comparado ao desenvolvimento de um novo sistema do zero (cerca de $100.000), a diferença nas funcionalidades dos produtos foi colossal. Obtivemos um sistema flexível, otimizado para nossas tarefas e processos de negócios. Também conseguimos uma economia significativa nas despesas atuais com suporte e atualização do sistema.
Mas, claro, houve dificuldades.
- Primeiramente, subestimamos o volume de alterações que precisavam ser feitas na versão base do novo BMS e não conseguimos cumprir os prazos estabelecidos. Para nós, isso não foi um problema crítico, já que sempre tivemos um plano de contingência e trabalhamos no sistema antigo até o final, e o processo foi criativo, complexo e, portanto, às vezes, mais lento do que o esperado. Além disso, sempre percebemos que nosso desenvolvedor estava se esforçando ao máximo para alcançar o melhor resultado. No entanto, na prática, a história acabou se tornando muito longa, e nossos principais especialistas gastaram significativamente mais esforço e tempo do que planejaram.
- Em segundo lugar, precisamos de várias etapas de testes para aprimorar o algoritmo de reserva de máquinas virtuais e canais de comunicação. Inicialmente, houve falhas tanto no lado do sistema BMS quanto na configuração das máquinas virtuais e da rede. Esse ajuste também exigiu tempo. Felizmente, foi disponibilizada uma plataforma de teste ao contratado na forma de um serviço em nuvem, onde inicialmente foram testadas todas as configurações e inovações.
- Em terceiro lugar, o sistema final se mostrou mais complicado para edição pelo usuário final. Se anteriormente o mapa consistia em um fundo (arquivo gráfico) e ícones, cuja alteração ou movimentação não representava dificuldade, agora é uma interface gráfica complexa com animação, que requer certas habilidades para edição.
A atualização radical do nosso sistema BMS já pode ser considerada um dos principais projetos do ano passado, que terá um impacto significativo na qualidade da gestão operacional de nossas plataformas no futuro.
Nós não descartamos o antigo servidor de ferro, mas o "aliviamos": removemos milhares de sensores virtuais "comerciais" e PDUs, deixando apenas algumas dezenas dos dispositivos mais críticos, como DGUs, UPSs, condicionadores de ar, bombas, sensores de vazamento e temperatura. Com esse modo de operação, ele recuperou sua antiga velocidade e pode servir como um "reserva de reserva". Aliás, após a remoção dos PDUs do antigo BMS, liberamos cerca de 1000 licenças agora desnecessárias; você, por acaso, sabe o que fazer com elas?
Fonte: habr.com
