🥇Cotidiano do centro de dados: detalhes inesperados após 7 anos de operação. E a continuação sobre o rato

Deixe-me dizer logo: aquele rato no servidor que trouxemos, que ajudamos a se recuperar com chá após levar um choque, provavelmente escapuliu. Porque certa vez vimos uma amiga dela durante a rotina de inspeção. E decidimos imediatamente instalar repelentes ultrassônicos.

Agora, a terra em volta do data center está amaldiçoada: pássaros não pousam no prédio, e, provavelmente, todos os toupeiras e vermes fugiram. Ficamos preocupados que o som poderia causar falhas no HDD, mas verificamos, as frequências não são as adequadas.

A próxima história é muito mais divertida. Certa vez, recebemos um equipamento que custou alguns milhões de rublos em uma caixa com sensores de inclinação, vibração e umidade. Tudo intacto. Retiramos a embalagem com cuidado, mas o dispositivo estava dobrado. Mistério.

O chassi está completamente curvado. Simplesmente bonito.

Detetive

Não teríamos dado muita atenção a isso, pois o chassi de metal curvado era quase uma obra de design. Bonito assim, sem lascas. E se não houvesse outros equipamentos semelhantes ao lado, nem pensaríamos durante a abertura que algo estava errado. Mas havia similares, apenas com uma geometria mais correta.

Por sorte, a abertura desse tipo de equipamento é gravada em vídeo (recomendo a todos adotarem esse hábito), então conseguimos provar ao fabricante que ele chegou assim. Embalagem intacta e chassi cuidadosamente dobrado — isso não é um impacto de operadores de carga. Provavelmente, ele foi danificado antes de sair para a Rússia.

O fornecedor diz: "Ei, pessoal, vamos trocá-lo para vocês na garantia". E então nos deparamos com uma armadilha épica.

O fato é que a alfândega permite a importação desse tipo de equipamento com a documentação sem direito à exportação. Ou seja, você pode trazer, mas não pode revender para fora da Rússia. Quando enviamos de volta uma fonte de alimentação queimada, por exemplo, tudo é claro. Trata-se de um componente, uma fonte de alimentação.

Mas aqui era preciso enviar tudo de volta:
— Pessoal, vejam, estamos devolvendo o equipamento ao fabricante.
— O equipamento inteiro?
— Sim.
— O modelo é esse?
— Sim.
— Pode funcionar?
— Não sabemos, não ligamos.
— Significa que é um equipamento completo.
— Mas ele não está funcionando.
— Mas vejam, é um equipamento completo desse modelo. Sem direito à reexportação. Não vamos deixar passar.

Em suma, houve muitos esforços antes de descobrirmos que não estávamos exportando, mas devolvendo. No final, conseguimos resolver tudo.

Também havia capachos

Há muitos anos tivemos nossa primeira máquina automática, o sonho de um administrador. Você carrega pacotes de capas de sapato, e ela as desembrulha sozinha, abre e as coloca na posição onde é necessário apenas pisar. Toc toc e pronto.

Aproximadamente seis meses depois, ela mastigou cerca de cem pacotes de capas de sapato e engasgou. Descobrimos que havia tantas peças móveis que precisávamos consertá-la a cada mês com nossa carga (temos muitos engenheiros-clientes circulando, pois somos um data center comercial), ou então era necessário comprar uma nova.

O segundo problema é que, em uma das limpezas regulares, encontramos uma "pequena toalha azul" pendurada em uma das grade de nossos testes. O legista, atuando como engenheiro da equipe X, identificou um fragmento de uma capa de sapato. Descobrimos que, na clínica, as capas de sapato são práticas: você usa por meia hora e acabou. Mas alguns engenheiros passam o dia inteiro trabalhando com o hardware. Arrastando os pés. Muito arrastando. E as capas se desgastam em pequenos retalhos que voam pela sala de máquinas.

Quase imediatamente compramos uma nova máquina para capas de sapato. Optamos pela termomáquina: é uma máquina onde se carrega um filme, e ela encolhe cuidadosamente esse filme sobre o sapato. Bonito, eficiente, durável. Menos chance de se espalhar. Ficou conosco por um bom tempo, mas era necessário trocar o filme de encolhimento a cada 1-2 horas, porque a sola tinha o hábito de se desprender sozinha.

No começo pensamos que estava sendo só nossa má sorte, enquanto os outros pareciam resolver essa questão. Mas não era bem assim. Perguntamos a colegas ocidentais — a mesma história. No final, começamos a pensar em como resolver isso de forma adequada. A ideia de voltar à sala de máquinas para novas capas de sapato não era lá muito boa. Encontramos limpadores industriais para canteiros de obras e fábricas. São como passagens pelas quais os funcionários entram na planta. Passagens com várias rodas que limpam tudo, e feitas de tal forma que, gostando ou não, pegam e limpam. Custam entre quinhentos mil e um milhão de rublos. Pesquisamos e encontramos uma semelhante por 200 mil, mas você precisa colocar o pé manualmente. Em tamanho, é semelhante a uma máquina de limpar sapatos. Você chega, coloca o pé, e ela mastiga e devolve limpo. Colocamos na entrada do data center.

Funciona muito bem, exceto por dois detalhes. O primeiro — ficou claro rapidamente que para nós, engenheiros, está tudo certo. Mas na prática, no data center, as pessoas que vêm visitar são das mais diversas, entre elas executivos de grandes empresas. Com sapatos de couro feitos de pele de dragão. E para eles, até a escova para aplicar o creme nos sapatos custa mais do que meus tênis de treinamento, eles escolhem o tecido especialmente. E eles se recusaram a colocar os pés em nosso dispositivo maravilhoso. O segundo problema surgiu no inverno: quando o calçado está muito sujo, pode não conseguir limpar tudo com um protetor muito profundo. Depois você anda pelo salão, deixando rastros de ectoplasma.

Decidimos de forma simples. Colocamos ao lado um dispensador de capas de sapato. Afinal, precisamos ter tudo em duplicado por padrão.

Um novo problema surgiu. Observando o comportamento dos engenheiros-cliente, vimos a seguinte situação: eles primeiro colocavam o pé na máquina de limpeza e depois pegavam as capas no dispensador. Agora colocamos um aviso que diz que é para usar um ou outro, e é melhor se limpar, mas se os princípios de vida deles proíbem limpar os sapatos, então devem usar as capas. Parece que um ticket que deveria durar apenas alguns dias se estendeu por muito tempo e foi finalizado. Aqui está o dispositivo:

Duas vezes 'ku'

De acordo com os requisitos do PCI DSS, é necessário ter a capacidade de distinguir visualmente os papéis das pessoas presentes no data center. Sem precisar examinar o crachá e ler algo nele, mas diretamente, como os militares se reconhecem por suas insígnias, só que ainda mais notável. Decidimos não complicar e usamos o velho e bom método chatlano — diferenciação de cores das calças. Especificamente — começamos a fazer cintos de crachás de cores diferentes. O verde foi imediatamente adotado por nossos administradores como seu favorito.

Parece simples, mas isso causou três efeitos inesperados:

Precisávamos de retratores para o recolhimento automático desses crachás ao serem usados (são dispositivos que ajustam a extensão da fita sozinhos). Escrevemos um conjunto de requisitos que considerava todos os desejos de todos os departamentos. Isso foi um erro estratégico. Cor, formato, material, retrator não plástico, linha de metal, para que o logotipo pudesse ser aplicado, que ele fosse embutido na fita. Os itens acabaram tão caros que depois tivemos que cortar requisitos e mudar o formato.
Quando a diferenciação das fitas foi implementada, tudo ficou muito mais conveniente. Os contratados têm uma fita, os administradores externos têm outra e os nossos administradores têm uma terceira. É fácil identificar qual o papel de cada um. Na parte elétrica, são apenas fitas cinzas, no ar-condicionado, fitas azuis. E então surgiram fitas para os motoristas (este é um papel separado, pois eles podem entrar na área de descarregamento, mas não podem sair, exceto para fora). Os motoristas não precisam de crachá. No início, dávamos a eles fitas sem crachás. Depois, os seguranças acharam que isso era estranho e desrespeitava a dignidade dos motoristas. Eles têm sua própria lógica militar, então agora os motoristas vêm pegar o crachá já com a fita, mas esse crachá não os libera para nada. Do ponto de vista da segurança, isso serve como um marcador de que a segurança verificou essa pessoa.
Um de nossos engenheiros sugeriu, em vez da fita, criar suéteres uniformes de cor verde. E enviou uma proposta de racionalização. Foi feito pela metade: mantivemos os crachás com fita, além de realmente costurarmos os suéteres uniformes verdes. Agora temos um uniforme para os administradores. Os seguranças apoiaram a piada e a incluiram nos regulamentos. Agora é obrigatório (calças, camisa, suéter, mas o suéter pode ser retirado).

Além disso, nossos clientes frequentemente reclamavam dos caminhos incorretos nos mapas até a entrada de nosso data center 'Compressor'. Você digita o endereço, mas o caminho não é mostrado corretamente. Os visitantes acabavam se desviando, porque havia uma ferrovia e um engarrafamento logo depois, e não havia como dar a volta. A princípio, queríamos colocar placas acima das estradas. A cidade oferece esse serviço — colocar placas amarelas adicionais sob as placas regulares, que são consideradas publicidade. E o preço é como o da publicidade: na estrada Entuziastov, uma placa custa um milhão de rublos por ano. Paralelamente, escrevemos para o Yandex, e eles até responderam de forma rápida. E pararam de causar desordem. Agora é possível indicar os diodos dos portões: entrada por um, saída por outro.

Google, se você está nos ouvindo, saiba que ainda tem um problema, e não sabemos a quem dizer isso para sermos ouvidos.

Nos convites por e-mail, inserimos links não apenas para o endereço, mas para o endereço com a rota traçada a partir da geolocalização do usuário. Como resultado, os erros de chegada diminuíram.

Projetores gobo e outras pequenas coisas

Você sabe o que são projetores gobo? Nós também não sabíamos. Um dia pensamos em como marcar as filas de suportes. Os suportes, naturalmente, já estavam marcados com etiquetas destacáveis, mas só podiam ser vistos de uma distância de 1 a 2 metros. A sala tem 500 m², então é fácil se perder lá dentro. Assim, decidimos marcar as filas. Começou um brainstorming. Como marcar, com o quê, e onde? No piso, na parede, placas suspensas no teto, etc. E então um colega notou que na "IKEA" havia adesivos desgastáveis no chão, e depois apareceram setas luminosas. Decidimos simplificar: ir à "IKEA" e ver um dos projetores. Não conseguimos pegar um; enquanto carregávamos cadeiras, um vendedor nos perguntou o que estávamos fazendo. Ele imediatamente ajudou, dizendo que se tratava de um gobo. Surpreendentemente, não é o próprio projetor, mas sim uma placa ou lente para imagem colorida. Esse filtro de luz é o gobo. Um projetor custa a partir de 40 mil rublos (com uma lâmpada potente para uso diurno), e temos 14 filas em cada uma das quatro salas de máquinas. Então, colamos os adesivos.

Além disso, temos esquemas nas paredes que desbotam com o tempo. Troquei-os por laminados, com "bolsos" especiais embutidos para o revizor. Revizor, no nosso caso, é o engenheiro-chefe responsável por verificar a atualidade de todos os esquemas expostos no data center. Todos os esquemas devem ser verificados e assinados anualmente por esse revizor. A presença de um pequeno caderno no bolso do esquema torna esse procedimento mais simples e evita a troca do próprio esquema a cada três anos. Lucro!

Fizemos a limpeza rotativa do piso falso por fora. Temos limpezas regulares, metodologias e horários estabelecidos. Mas as marcas dos suportes pesados ficam no chão. Fizemos a limpeza. Agora estamos preocupados: não parece muito mais limpo, mas aparecem brilhos sob certos ângulos para algumas pessoas, as que trazem seus próprios marcadores de acordo com sua preferência. Agora estamos pensando em encontrar algum produto químico que clareie o piso e dê brilho. Para que nem mesmo os exigentes tenham perguntas.

Você viu os suportes para consoles? São como mesas de buffet móveis, mas em vez de bebidas, há um terminal para conexão no suporte. O problema é que as rodinhas desses suportes se soltam e emperram, como os carrinhos de supermercado. Isso nos irritou bastante. A única solução possível foi comprar uma nova roda. E não conseguimos encontrar rodas que se encaixassem exatamente nos nossos modelos; perguntamos a todos os fornecedores. No final, projetamos nossos próprios suportes, priorizando a facilidade de movimentação no salão e a capacidade de reparo. Ficou muito bom.

Houve uma história com meias sintéticas. Existe uma ferramenta chamada pulseiras antiestáticas. Você se aproxima do suporte, conecta a pulseira ao aterramento no suporte, e ela se conecta ao sistema de equalização de potenciais. O suporte está aterrado, mas pode ser que o engenheiro não esteja. Colegas de empregos anteriores contaram que viram faíscas algumas vezes nas câmeras de vigilância, e decidimos por aqui, para evitar problemas, obrigar todos a usarem sempre conforme o regulamento.

Incidentes críticos

Foi uma situação séria quando todos os chillers desligaram de uma vez. Os chillers não são protegidos por UPS, porque confiamos na física, e como reserva para a temperatura temos uma piscina com água resfriada. Se algo desliga, precisamos não de baterias para alimentar os chillers que resfriam a água, mas simplesmente da própria água fria, já pronta. É prático e simples, mas tem um detalhe. Há uma automação de proteção nos chillers que os desliga em caso de parâmetros elétricos perigosos. Se a entrada desliga, ativamos o grupo gerador e os chillers são alimentados por ele. Estaria tudo bem, se não vivêssemos na Rússia. Já tivemos várias quedas na rede, mas tudo estava bem. Porém, uma vez houve uma oscilação brusca, primeiro para baixo, depois para cima, e novamente para baixo – em poucos segundos, os parâmetros da entrada mudaram cerca de 4 vezes. Os chillers, naturalmente, desligaram. Tentamos ligá-los remotamente, mas eles se protegeram de maneira muito robusta, em modo de emergência. Tivemos que subir ao telhado e ligá-los manualmente. O importante é que, segundo o padrão Tier III, tal situação é uma razão legítima para a parada de um data center. Não tivemos paradas, pois as pessoas no local têm bom senso e há treinamento constante. Por isso, nosso UI nos questionava regularmente para garantir a Operação TIII. Se necessário, passamos pela re-certificação do UI para TIII Gold – Sustentabilidade Operacional. No mercado comercial russo de data centers, não há nada melhor do que o nosso; apenas um outro tem a mesma conquista. Data Center. É importante ressaltar que a re-certificação é mais difícil do que obter um certificado do zero, pois eles também verificam o período anterior com rigor, e são necessárias muitas mais provas.

Houve um incidente interessante com as câmeras. Decidimos verificar as zonas cegas por precaução, desenhamos as interseções, construímos as diagonais dos ângulos de visão no plano, e de repente encontramos uma zona morta de aproximadamente 30 centímetros por 15 metros bem no centro de uma das salas. Estreita e longa. Não há nada semelhante na sala ao lado. Descobrimos que a câmera rotativa se deslocou lentamente ao longo dos anos, de modo que passou a mostrar cerca de um grau e meio à esquerda do que deveria no extremo da posição.

Houve também um grande incidente relacionado ao substituição de DDI UPS.