Direi imediatamente: aquele rato do servidor trazido, a quem demos chá alguns anos atrás depois de um choque elétrico, provavelmente escapou. Porque uma vez vimos a amiga dela numa ronda. E imediatamente decidimos instalar repelentes ultrassônicos.
Agora há um terreno amaldiçoado ao redor do data center: nenhum pássaro pousará no prédio e provavelmente todas as toupeiras e vermes escaparam. Estavam preocupados com isso causar falha no HDD, mas verificado, as frequências não são as mesmas.
A próxima história é muito mais divertida. Certa vez, recebemos um hardware por alguns milhões de rublos em uma caixa com sensores de inclinação, vibração e umidade. Tudo está inteiro. Retirou cuidadosamente a embalagem e o pedaço de ferro ficou dobrado. Místico.
O corpo é reto em um arco. Tão bonito.
detetive
Não daríamos importância a isso, porque o corpo metálico curvo era quase uma imagem de design. Tão lindo, sem chips. E se não fosse por outras peças de hardware semelhantes próximas, nem teríamos pensado em desempacotar que algo estava errado. Mas por perto estavam os mesmos, só que com uma forma geométrica mais regular.
Felizmente, o desempacotamento desse hardware é filmado (recomendo que todos adquiram esse hábito), então conseguimos provar ao fabricante que ele chegou assim. Um pacote intacto e um corpo bem dobrado não são um golpe para os transportadores. Muito provavelmente, ela ficou ferida antes mesmo de partir para a Rússia.
O vendedor diz: “Uh, pessoal, vamos mudar isso para vocês imediatamente, dentro da garantia”. E então uma emboscada épica nos esperava.
O fato é que a alfândega permite importar esses equipamentos com documentos sem direito de exportação. Ou seja, você pode trazê-lo, mas não pode revendê-lo para alguém fora da Rússia. Quando devolvemos uma fonte queimada, por exemplo, tudo fica claro. Esta é uma peça sobressalente, uma fonte de alimentação.
E então tive que mandar tudo de volta:
- Pessoal, vejam, estamos devolvendo o hardware ao fabricante.
- Equipamento completo?
- Sim.
— Modelo tal e tal?
- Sim.
- Pode trabalhar?
— Não sabemos, não ligamos.
- Então este é um equipamento completo.
- Bem, não funciona.
- Bom, olha, todo o equipamento é desse modelo. Sem direitos de reexportação. Não vamos deixar você entrar.
Em geral, houve muita ocupação antes de percebermos que não estávamos exportando, mas devolvendo. No final, conseguimos fazer tudo.
Havia também capas de sapato
Primeiro, há muitos anos, tivemos o primeiro automático, o sonho de qualquer administrador. Você carrega um pacote de protetores de sapato ali, ele mesmo desembala, abre e coloca em uma posição onde você só precisa pisar neles. Chp-chpk e pronto.
Depois de cerca de seis meses, ela mastigou cerca de cem pacotes de protetores de sapato e engasgou. Acontece que há tantas peças móveis que precisamos repará-las uma vez por mês em nossa carga (temos muitos engenheiros de clientes andando pelas instalações, porque somos um data center comercial), ou precisamos comprar um novo.
O segundo problema é que mais tarde, durante uma das limpezas regulares, de alguma forma encontramos um “panozinho azul” pendurado na grade de um dos racks de nossos testes. O perito forense, representado por um engenheiro da X-Team, identificou um fragmento do corpo da capa do sapato. Acontece que era conveniente usar protetores de sapato na clínica: caminhei meia hora e pronto. E alguns engenheiros podem trabalhar com hardware o dia todo. Arrastando os pés. Mexendo muito. E as capas dos sapatos se desgastam em pequenos pedaços que voam pela sala da turbina.
Quase imediatamente compramos uma nova capa de sapato. Pegamos uma caixa térmica para botas: esta é uma máquina na qual o filme é carregado e cuidadosamente contrai esse filme na parte superior do sapato. Bonito, eficaz e durável. Menos dispersão. Já o tínhamos há muito tempo, mas tínhamos que trocar o filme retrátil uma vez a cada 1-2 horas, porque a sola tendia a cair sozinha.
No início pensamos que tínhamos azar, mas as pessoas de alguma forma resolvem esse problema. Mas não. Perguntamos aos nossos colegas ocidentais a mesma história. Como resultado, eles começaram a pensar em como fazer isso da maneira adequada. Retornar da sala das turbinas para comprar novas capas de sapatos é, francamente, uma ideia razoável. Encontramos limpadores industriais para canteiros de obras e indústrias. São como caminhos pelos quais a mudança entra na oficina. Caminhos com um monte de rolos limpam tudo, e são feitos de tal forma que, querendo ou não, eles pegam e limpam. Custam de meio milhão a um milhão de rublos. Nós vasculhamos e encontramos o mesmo por 200 mil, mas você mesmo tem que colocar o pé nisso. É semelhante em tamanho a uma máquina de polir sapatos. Você chega, enfia o pé ali, ela mastiga e devolve limpo. Eles o colocaram na entrada do data center.
Funciona muito bem, exceto por dois problemas. A primeira é que rapidamente ficou claro que isso é normal para nós, engenheiros. Mas, na prática, diversas pessoas vêm ao data center para observar, incluindo altos executivos de grandes empresas. Com sapatos feitos de couro de bunda de dragão. E até para passar creme no calçado o pincel deles custa mais caro que o meu tênis de treino, eles selecionam especialmente as cerdas. Foram eles que se recusaram a colocar os pés no nosso dispositivo milagroso. O segundo problema surgiu no inverno: quando os sapatos estão muito bagunçados, eles não conseguem tirar tudo do piso profundo. Então você anda pelo corredor, deixando vestígios de ectoplasma.
Decidimos simplesmente. Colocamos uma capa de sapato enrolada ao lado dela. Mesmo assim, precisamos duplicar tudo de acordo com o padrão.
Um novo problema surgiu. Observando o comportamento dos engenheiros do cliente, vimos a seguinte imagem: eles primeiro enfiaram os pés na máquina para limpeza e, em seguida, prenderam as capas dos sapatos em uma capa enrolada. Agora colocaram uma placa de que é um ou outro, e é melhor se limpar, mas se os princípios da vida proíbem limpar os sapatos, use protetores de sapato. Parece que o ticket, que durava alguns dias, mas durou muito tempo, foi fechado. Aqui está o dispositivo:
"ku" duas vezes
De acordo com os requisitos do PCI DSS, você precisa distinguir visualmente as funções das pessoas localizadas no data center. Sem olhar atentamente para o passe e ler algo ali, mas diretamente visualmente, como se os militares se distinguissem pelas alças, só que ainda mais brilhantes. Decidimos não nos exibir e usamos o bom e velho método Chatlan - diferenciação de cores de calças. Especificamente, começaram a fazer fitas de cores diferentes. Nossos administradores imediatamente consideraram Green como seu favorito.
Parece simples, mas causou três efeitos inesperados:
- Foram necessários retratores para retrair automaticamente essas passagens quando usadas (são coisas que regulam o comprimento da fita). Escrevemos uma especificação técnica que levou em conta todos os desejos de todos os departamentos. Este foi um erro estratégico. Cor, formato, material, o retrator não é de plástico, a linha de pesca é de metal para aplicar o logotipo para que fique costurado na fita. As peças ficaram tão caras que tivemos que cortar os requisitos e mudar o formato.
- Depois que a diferenciação das calças começou a funcionar, ficou muito conveniente. Os contratados têm algumas faixas, os administradores externos têm outras e nossos administradores têm outras. Você pode ver quem tem qual função. Para eletricidade - apenas cinza, para ar condicionado - azul. E então precisávamos de fitas para os motoristas (esta é uma função separada, eles podem entrar na área de descarga, mas não podem sair dela exceto do lado de fora). Os motoristas não precisam de passe. No início demos-lhes fitas sem passes. Então os seguranças decidiram que isto era completamente estranho e degradante para a dignidade humana dos motoristas. Eles têm uma lógica militar própria, então agora os motoristas passam a receber um passe imediatamente com uma fita, mas esse passe não permite que eles vão a lugar nenhum. Do ponto de vista da segurança, acaba sendo um sinal de que a segurança verificou essa pessoa.
- Um de nossos engenheiros sugeriu fazer suéteres uniformes verdes em vez de fitas. E ele enviou uma proposta de racionalização. Fizeram pela metade: deixaram os passes com a fita, e ainda costuraram os suéteres verdes do uniforme. Agora temos um uniforme de administrador. Os seguranças apoiaram a brincadeira e a incluíram no regulamento. Agora é obrigatório (calça, camisa, suéter, mas o suéter pode ser retirado).
Nossos clientes também reclamavam frequentemente de rotas tortas nos mapas antes de entrar em nosso data center Compressor. Você insere o endereço, mas a estrada é mostrada incorretamente. Os visitantes acabavam taxiando na direção errada, porque ali havia uma ferrovia e atrás dela havia um engarrafamento e não havia como voltar ali. No início, queríamos colocar placas acima da estrada. A cidade tem esse serviço - coloque placas adicionais amarelas sob as placas usuais, elas são consideradas publicidade. E o preço para eles é como publicidade: na Rodovia Entuziastov, uma placa custa um milhão de rublos por ano. Ao mesmo tempo, escrevemos para Yandex e eles responderam de repente. E eles pararam de agir. Você pode até especificar os diodos da porta: entrada por alguns, saída por outros.
Google, se você está nos lendo, saiba: você ainda tem um problema e não sabemos a quem contar para que possamos ser ouvidos.
As cartas-convite incluíam links não apenas para um endereço, mas para um endereço com uma rota baseada na geolocalização do usuário. Como resultado, houve menos erros.
Projetores Gobo e outros itens pequenos
Você sabe o que são projetores gobo? Nós também não sabíamos. De alguma forma, estávamos pensando em como marcar as fileiras de racks. Os próprios racks, é claro, são marcados com marcações especiais de liberação rápida, mas podem ser vistos a uma distância de 1 a 2 metros. O salão em si tem 500 m², então há muito espaço para se perder lá. Portanto, finalmente começamos a marcar as linhas. Um brainstorm começou. Como marcar, com o quê e onde? No chão, na parede, placas no teto, etc. E então nosso colega viu que na Ikea havia adesivos que estavam desgastados no chão, e então apareceram setas de luz. Pois bem, decidimos reverter de uma forma simples: ir ao Ikea e desligar um dos projetores para olhar. Não conseguimos: enquanto carregávamos as cadeiras, o vendedor perguntou o que estávamos fazendo. E ele imediatamente ajudou, dizendo que era um gobo. Acontece que este não é o projetor em si, mas uma placa ou lente para uma imagem colorida. Este filtro é um gobo. Um projetor custa 40 mil rublos (há uma lâmpada potente para uso diurno) e temos 14 fileiras em cada uma das quatro salas de máquinas. É por isso que colocamos adesivos nele.
Também temos diagramas nas paredes que desaparecem com o passar dos anos. Trocamos por laminados, com bolsos especiais “costurados” para auditores. No nosso caso, o Inspetor é o engenheiro-chefe, cujas responsabilidades incluem verificar a relevância de todos os esquemas localizados no data center. Assim, todos os regimes devem ser verificados anualmente e assinados por esse auditor. E a presença de um pequeno magazine especial no bolso do diagrama facilita esse procedimento e não exige a substituição do próprio diagrama a cada três anos. Lucro!
Fizemos uma limpeza rotativa do piso elevado externo. Temos limpezas regulares, temos métodos e horários de limpeza. Mas as rodas das pesadas cremalheiras deixam marcas. Fizemos a limpeza. Agora estamos nervosos: não parece muito mais bonito, mas os destaques apareceram de certos ângulos para certas pessoas, bem, que têm suas próprias canetas hidrográficas para se adequar ao seu gosto. Agora estamos pensando nisso e procurando algum tipo de produto químico que branqueie o piso e dê brilho. Para que mesmo os selecionados não tenham dúvidas.
Você já viu os racks do console? São como mesas de bufê itinerantes, mas em vez de bebidas há um terminal para conexão ao rack. Então, nessas prateleiras cantilever, as rodas caem e emperram, como carrinhos de supermercado. Estamos incrivelmente fartos. Como resultado, a única maneira possível de reanimá-lo é comprar uma roda nova. Mas já não foi possível obter rodas específicas para os nossos modelos; entrevistamos todos os empreiteiros. Como resultado, nós mesmos projetamos o rack, focando na facilidade de movimentação pela sala de máquinas e na facilidade de manutenção. Isso funcionou muito bem.
Teve uma história com meias sintéticas. Existe tal coisa - pulseiras antiestáticas. É quando você vai até o rack, conecta a pulseira ao terra do rack e ela se comunica com o sistema de equalização de potencial. Portanto, o rack está aterrado, mas pode acontecer que o engenheiro não esteja aterrado. Colegas de locais de trabalho anteriores contaram-nos como viram algumas vezes faíscas na videovigilância e decidimos, por pecado, obrigar todos a utilizá-la diretamente de acordo com os regulamentos.
Incidentes críticos
Numa nota mais séria, houve uma situação em que todos os chillers foram desligados de uma só vez. Nossos chillers não são protegidos por UPS, porque acreditamos na física e temos uma piscina de água fria como reserva de temperatura. Se acontecer alguma falha, não são necessárias baterias para alimentar os chillers que resfriam a água, mas simplesmente a própria água fria, já pronta. Conveniente e simples, mas com uma nuance. Os chillers são equipados com equipamentos automáticos de segurança que os desligam em caso de parâmetros perigosos da rede elétrica. Se a entrada estiver desligada, ligamos o grupo gerador a diesel e então os chillers são alimentados por eles. Tudo ficaria bem se não morássemos na Rússia. Tivemos interrupções de rede muitas vezes, mas estava tudo bem. Mas um dia houve um salto brusco, primeiro para baixo, depois para cima e para baixo novamente - em poucos segundos os parâmetros de entrada mudaram cerca de 4 vezes. Os chillers desligaram, é claro. Primeiro tentamos ligá-los remotamente, mas eles se protegeram de forma muito confiável, como em caso de emergência. O turno tinha que andar com os pés no teto e ligá-los manualmente. O que é importante, de acordo com o padrão TierIII, tal situação é uma razão legítima para o encerramento do data center. Não tivemos parada, porque as pessoas ficam no chão com a cabeça, e tem treino com exercícios. Para isso, a UI simplesmente nos fodeu regularmente, com certeza sobre o TIII Operacional. Na verdade, passamos na recertificação da UI para TIII Gold - Operational Sustainability. No mercado comercial russo de data centers não há nada mais legal, exceto o nosso, apenas um tem a mesma conquista . Observo que a recertificação é mais difícil do que obter um certificado do zero, pois eles verificam o período anterior como se você não fosse você mesmo, e são necessárias muito mais evidências.
Houve um incidente interessante com as câmeras. Decidimos recalcular os pontos cegos por precaução, traçamos interseções, traçamos diagonais de ângulos de visão na planta e de repente encontramos um ponto cego de cerca de 30 centímetros por 15 metros bem no centro de um dos corredores. Estreito e longo. Não existe tal coisa na sala ao lado. Descobriu-se que a câmera giratória se moveu lentamente ao longo dos anos, de modo que começou a mostrar cerca de um grau e meio à esquerda do que deveria na posição extrema.
Houve outro grande incidente no post .
referências
- и
- Meu e-mail: [email protegido]
Fonte: habr.com