Meus colegas e eu pensamos: por que, antes do nosso feriado de horror favorito, não relembramos todos os pesadelos que as pessoas enfrentam na construção de centros de dados? Então, apaguem as luzes, liguem a música de suspense, é hora de contar histórias que ainda nos fazem acordar suados de medo.
O Fantasma do Escritório
Em um prédio de escritórios, nós instalamos a sala de servidores e toda a automação dos sistemas de climatização, incluindo cortinas com acionadores. No telhado, há uma estação meteorológica que determina de onde vem a luz do sol e fecha as cortinas se estiver muito brilhante. O projeto foi entregue e esquecido, até que, após um tempo, eles ligaram perguntando:
— Você poderia desautomatizar as cortinas? Queremos fechá-las manualmente.
— Por quê?!
— As nossas funcionárias ficam assustadas. E nós também — dá a impressão de que tem um fantasma lá.
É assim que se parece o pesadelo de um especialista em automação: primeiro o cliente quer automação e eficiência energética, você felizmente faz tudo isso, e então descobre que o gerente gosta de controlar tudo sozinho. E na sala onde o gerenciamento do clima é totalmente automatizado, no final tudo funciona manualmente.
No escritório de vários executivos, costumamos fazer um painel tátil que permite controlar os cenários de iluminação, ar condicionado, ventilação e cortinas. Um executivo especialmente conservador disse: não quero algoritmos, quero dois botões: “ligar tudo” e “desligar tudo”. O programador veio, chorou ao remover a interface padrão de comando, desenhou duas botões em seu lugar e foi embora com lágrimas.
Onde estão nossos geradores a diesel?
Numa noite muito escura, no escuro escritório de Oleg, o celular tocou.
— Temos um problema na instalação de geradores a diesel, a temperatura do líquido refrigerante está muito alta. Vou enviar um print screen agora.
Era o operador do centro de dados que entregamos com boa consciência há um mês. Ele não se incomodou nem um pouco pelo fato de serem três horas da manhã, nem que o sistema mostrava a mesma "temperatura" nos geradores e na sala. Porque isso não era temperatura, era um código de erro que dizia "sem conexão com o sensor". Oleg disse educadamente ao operador para onde ele deveria ir durante a noite com tais solicitações. Literalmente:
— Vá até os diesel, veja, provavelmente a bateria do sensor acabou. O módulo de bateria nos diesels alimenta este painel de controle, há um desligador — se alguém o tocou, precisa ser girado de volta.
Na verdade, o despachante é exatamente aquela pessoa que deve conhecer o objeto como um fresador experiente conhece seus três dedos, mas aqui surgiu uma pergunta surpreendente:
— E os diesels — onde estão?
— Suba para o segundo andar, pergunte aos eletricistas, eles vão te levar até lá.
Nos 20 minutos seguintes, Oleg trabalhou remotamente como navegador, tentando conectar o despachante e os eletricistas, que não estavam muito dispostos a dar uma excursão para alguém no meio da noite.
O ciclo das surpresas no Data Center
No terceiro reino, no trigésimo estado, algo deu errado com nosso para . Justo três horas antes da certificação no Uptime Institute. Não vale a pena explicar o que são resfriadores e inversores se não souber. Então acredite: eles devem funcionar como relógios, caso contrário, a certificação se tornará uma abóbora, e o cliente — uma madrasta malvada. E, o mais triste, ele estará certo, pois a visita da comissão custa uma fortuna, e se algo der errado, ninguém vai devolver.
O técnico do fornecedor chegou correndo, ergueu as mãos e disse que o paciente estava mais morto do que vivo, e que esperar uma nova placa levaria pelo menos um mês. A comissão já estava à porta, as opções eram poucas. A primeira — desapertar o inversor de um resfriador "saudável" e colocá-lo no "doente", e depois trocá-los enquanto os testes não terminassem. Isso não é trapaça, só para esclarecer: de acordo com o regulamento de teste, um dos três resfriadores é de reserva, portanto, o cenário é perfeitamente viável. A segunda opção — tentar encontrar um novo inversor nos próximos noventa minutos. Telefonamos para nosso técnico de refrigeração em Moscovo. O técnico contatou um conhecido dentro do representante russo do fornecedor. Este, por sua vez, pressionou o representante do fabricante na Holanda e... em meia hora já estavam instalando uma nova placa para nós. A certificação foi um sucesso.
Pendências
Seja longa ou curta, mas sempre chega o momento na construção em que todos os subcontratados vão embora e ficam apenas essas: pendências. Isso se refere a trabalhos não concluídos, e não às pessoas que os deixaram, para que conste. Quem fica por último, é quem terá que resolver.
Certa vez, fizemos um data center no porão: racks dispostos em duas fileiras, alinhados em um dos lados, para que a porta pudesse abrir. Por causa disso, surgiu um espaço entre uma fileira e a parede, e o cliente se recusou a assinar o ato de recebimento por causa desse espaço. O técnico foi com o gerente de projeto logo pela manhã a uma loja de materiais de construção para comprar espuma, tinta, fixadores, e diligentemente selaram o espaço para que ficasse na mesma tonalidade dos racks. Entregamos.
Uma vez, após a saída dos colaboradores de aquecimento, descobrimos uma discrepância no projeto: deveriam ser 7 radiadores, mas havia apenas 6. Fomos lá, contamos — tudo certo, de fato faltava um radiador no corredor. É tarde demais para beber Borjomi, tudo já está instalado e pressurizado. O cliente se lamenta, porque os atos já foram assinados. Novamente, a loja de materiais de construção salvou o dia — compramos um aquecedor elétrico, passamos um grupo de cabos para o corredor e, numa manhã de domingo, instalamos nós mesmos, o cliente ficou feliz.
Certa vez, deixaram-nos um mágico nada em vez de uma divisória contra incêndio. No data center, o duto de ventilação de ar fresco do segundo andar vai para o porão, passando por uma sala que, de acordo com a classificação de proteção contra incêndios, pertence a uma categoria diferente daquelas acima e abaixo dela. Na prática, isso significa que o duto deve ter uma válvula de retenção de fogo, e ao redor dele, uma divisória contra incêndio. Ao redor do nosso brilhante duto com a válvula de retenção havia um buraco, adivinhem quem e como o resolveu? O “Leroy Merlin” não patrocina este post, que pena.
Dale Carnegie fuma nervosamente.
Há muito tempo, quando a grama era mais verde e o dólar estava a 30 e poucos centavos, construímos um data center para um banco no centro histórico de Moscovo. Precisávamos finalizar dentro de prazos extremamente curtos. Mas as ruas eram estreitas, as aberturas do edifício também, elevar várias toneladas de equipamentos para o andar necessário pelas escadas era praticamente impossível. Dissemos ao cliente que era necessário fazer a carga com um guindaste diretamente no telhado, o cliente respondeu no espírito de 'você é o cowboy — então pule'. Ou seja, boa ideia, agora providencie a chegada de um guindaste de 120 toneladas com as autoridades como a GIBDD. E, preferencialmente, ontem. Boa sorte com isso, se não conseguir, será multa.
A situação era crítica, o tempo estava apertado, e decidimos arriscar. Afinal, as multas de trânsito são apenas flores perto das penalidades por descumprimento de prazos. Na manhã de sábado, trouxemos um guindaste de 16 metros, esperando que pudéssemos fazer tudo rapidamente. Depois de algumas horas, o policial apareceu e timidamente pediu permissão. É claro que não a tínhamos. E não se sabe como tudo teria terminado se não tivesse um vendedor com habilidades diplomáticas excepcionais conosco.
Ele levou o policial para o lado e ficou explicando algo para ele por 5 minutos. Durante esse tempo, o policial mudou de expressão várias vezes, mas, no fim das contas, entrou em sua camionete e gritou que, se algo acontecesse, ele mesmo viria nos ajudar. Quais foram os argumentos, o vendedor ainda não revelou.
Levantem-me, pessoas!
Longe, além dos campos, mas ainda dentro do Terceiro Anel, havia... não uma cabana, mas um canteiro de obras governamental bem sério. Turno noturno complicado, descarregando equipamentos. O último caminhão, carregando uma peça de 15 toneladas, sai cruzando a única interseção da área, algo estoura com um barulho alto, e a máquina se afunda na lama. Cinco da manhã, o canteiro começa a ganhar vida, o motorista da betoneira atrás do nosso caminhão, mencionando as mulheres que caíram, pergunta claramente se não poderíamos sair da estrada. Segundo ele, o concreto está endurecendo. E nós ficaríamos felizes em sair, pois às 7 da manhã chegaria um dos muitos representantes de um dos ministros e, se visse essa bagunça, todos nós teríamos problemas, desde engenheiros até diretores.
O técnico corre até o guindaste local, pedindo desesperadamente para levantar a peça do caminhão, para que pudéssemos colocar outro caminhão por baixo. Mas ele se recusou, nem mesmo por dinheiro. A situação foi resolvida pelo nosso engenheiro — ele negociou através do supervisor do guindaste. Finalmente conseguimos levar a peça até o destino, mas já estávamos um pouco grisalhos.
E depois nos tornamos bastante grisalhos, no mesmo canteiro. Aconteceu um épico fracasso no sentido literal.
Há uma coisa chamada empilhadeira telescópica. É utilizada quando não há espaço para manobrar em um canteiro de obras, mas é necessário levantar a carga para cima e posicioná-la com cuidado. Precisávamos descarregar um módulo de 1,5 tonelada pela janela, através de um buraco. Nada indicava problemas: segundo as especificações, a máquina deveria suportar mais de 2 toneladas. Mas quando estávamos a exatamente meio metro da janela, os "garfos" da empilhadeira quebraram, e a peça caiu da altura. Sem opções, ligamos para o fabricante para que enviassem alguém para consertá-la. Os técnicos chegaram e... se recusaram a entrar no canteiro. Porque, para ir até lá, era preciso passar por uma trilha, e na trilha havia uma escavadeira cavando. Nós, já acostumados, esperávamos 10 segundos enquanto o braço estava virado para o lado oposto da trilha e corríamos. Mas isso chocou os rapazes. Tivemos que apresentar essa situação como uma atração emocionante, tipo "Fort Boyard", e no fim, eles conseguiram consertar o módulo para nós.
Karma não instantânea
Logo se diz a história, mas o trabalho não se faz tão rápido, especialmente quando se trata da assinatura de Atas de Aceitação de serviços realizados. Um dia construímos um ótimo Data Center para uma empresa. Mas o rei-cliente decidiu nos submeter a um último teste:
— Na sua especificação está escrito 100 porcas por bandeja, mas eu contei 97. Corrijam as especificações e orçamentos, ou eu não assinarei nada.
E toda vez íamos a lugares longínquos, contando em coro com o rei-cliente os acessórios para dutos de ar, porcas e parafusos. Sempre descobríamos que não eram 97, mas 99, e assim por diante. E nunca tivemos paz. No final, acumulamos tantos custos internos que nossa gerência não aguentou mais. Disseram: deixem eles fazerem o que quiserem — ninguém mais vai lá. E assim ficamos sem assinaturas.
…E um ano depois, o cliente veio pessoalmente e perguntou educadamente onde ele poderia assinar? Descobrimos que a câmara de contas veio, e ele tinha equipamentos não contabilizados no valor de sete dígitos.
Wingardium Leviosa!
Era uma vez um bom cliente que decidiu comprar um edifício antigo para um centro de dados. Porém, sua alegria não durou muito: algo estranho começou a acontecer na sala de baterias. Ele nos chamou para ajudar, para dar uma olhada e consultar. Chegamos, entramos na sala de baterias e lá… as paredes estavam flutuando a três lados do chão. Não poderia ser diferente: 4 toneladas de baterias foram simplesmente colocadas no chão — e ele começou a afundar. Esse é um problema comum com baterias: é crucial calcular corretamente a carga nas estruturas e prever quadros de descarregamento para que os andares não desmoronem como um castelo de cartas.
Mas a cereja do bolo do pesadelo arquitetônico desse edifício foi a completa ausência de fundação. As paredes estavam simplesmente apoiadas em um contrapiso de areia, sob o qual havia um solo nada amigável. Começamos a pensar em como salvar o paciente e, no final, propomos um complexo sistema de silicatização: é quando o solo é perfurado em vários pontos e uma mistura estabilizadora é injetada. Isso não devolveu o piso às suas alturas anteriores, mas pelo menos parou de afundar.
A batalha entre dois yokozunas.
Em um certo reino, em um certo estado de escritório, realizamos a automação: para um centro de dados em um dos andares, para controle climático — para tudo. Dezenas de armários de automação, quilômetros de cabos de baixa tensão!
Uma característica desse escritório era um próprio complexo de SPA com sauna. Quando estávamos desenvolvendo o projeto, se supunha que a sauna seria utilizada pouco. Mas o engenheiro supõe, e o cliente decide: a equipe de gestão ficou tão envolvida com o estilo de vida saudável que decidiu deixar a sauna ligada o tempo todo — demora muito para aquecer.
Resultado: a automação detecta o aumento de temperatura da sauna — liga o ar condicionado mais forte para compensar. Ajuda mais ou menos. O ar condicionado continua se esforçando — o clima esquenta, porque a automação não suspeita que alguém possa ficar tanto tempo na sauna. O ar condicionado entra em paranoia, decide: "Não é culpa deles, é culpa minha. Todos os esforços são em vão. Parece que estou quebrado", e comunica isso ao painel de controle. O operador suspira e clica no botão "tarefa concluída". E assim todos os dias.
Com um leve movimento de mão.
Temos muitas outras histórias em nossos arquivos, mas nem todas cabem aqui. Aqui estão três últimos relatos: sobre mãos desajeitadas.
Era uma vez, sobre como, em um edifício, além da sala de servidores, fizemos a pressão de ar nos halls de elevadores e nas shafts. Terminamos, saímos do local, esperamos que outro empreiteiro finalizasse os trabalhos de acabamento, e retornamos para os testes do sistema. Ligamos a pressão — o forro de gesso inflou repentinamente, as placas caíram com estrondo no chão e tudo instantaneamente se transformou em um estilo "loft". Descobrimos que os rapazes que instalaram o teto esqueceram de colocar as placas perfuradas para circulação de ar. Eles simplesmente não se lembraram da sua existência, pegaram as placas da embalagem aberta — e tudo, não deram atenção para a embalagem com as perfuradas, não olharam o projeto.
A segunda história também é sobre o teto. Em um Data Center havia um corredor bastante estreito, e a troca de ar no ambiente com estantes de baterias deveria ser considerável, então comunicações percorriam todo o teto. Os jovens, que fizeram o forro de gesso, não se preocuparam e... instalaram os suportes diretamente nos nossos pobres dutos de ar. Qualquer duto já vibra um pouco com o funcionamento das unidades de ventilação, e quando há um monte de buracos e irregularidades, os sons do Apocalipse estão garantidos. Naquele dia, nós, com grande entusiasmo, demos uma lição nos valorosos montadores, de forma que as feridas nos dutos de ar se curaram milagrosamente. Claro, às custas deles.
A terceira história aconteceu quando fazíamos a automação para o sistema de climatização tecnológica. Demos ao empreiteiro do cliente um sensor de temperatura e, sem pensar duas vezes, pedimos que o colocasse no aquecedor na entrada de ar. Nas unidades de ventilação, sempre há um aquecedor para o ar externo: pode ser de água ou elétrico. Essa pessoa maravilhosa seguiu tudo sem questionar. Ou seja, ele pegou e furou um parafuso direto no tubo do aquecedor de água, com todas as consequências que disso decorrem (literalmente). Felizmente, havia técnicos de climatização no local com gás MAPP — o vazamento foi consertado rapidamente.
Links:
- Escreva se precisar: build@croc.ru
Fonte: habr.com
