🥇La vida cotidiana de un centro de datos: pequeñas cosas no obvias durante 7 años de funcionamiento. Y la continuación sobre la rata

Lo diré de inmediato: esa rata en el servidor traído, a la que le dimos té hace un par de años después de una descarga eléctrica, probablemente se escapó. Porque una vez vimos a su amiga en una ronda. E inmediatamente decidimos instalar repelentes ultrasónicos.

Ahora hay una tierra maldita alrededor del centro de datos: ningún pájaro aterrizará en el edificio y probablemente todos los topos y gusanos hayan escapado. Estaban preocupados de que el sonido puede Causa falla en el disco duro, pero verificado, las frecuencias no son las mismas.

La siguiente historia es mucho más divertida. Una vez recibimos un hardware por un par de millones de rublos en una caja con sensores de inclinación, vibración y humedad. Todo está completo. Se quitó con cuidado el embalaje y se dobló el trozo de hierro. Místico.

El cuerpo está recto formando un arco. Tan hermoso.

Detective

No le daríamos ninguna importancia a esto, porque la carrocería metálica curvada era casi una imagen de diseño. Muy bonito, sin patatas fritas. Y si no fuera por otras piezas de hardware similares cercanas, ni siquiera habríamos pensado al desembalar que algo andaba mal. Pero cerca estaban los mismos, sólo que con una forma geométrica más regular.

Afortunadamente, el desembalaje de dicho hardware está filmado (recomiendo a todos que adquieran este hábito), por lo que pudimos demostrarle al fabricante que llegó así. Un paquete intacto y una carrocería cuidadosamente doblada no son un golpe por parte de la empresa de mudanzas. Lo más probable es que haya resultado herida incluso antes de partir hacia Rusia.

El proveedor dice: "Chicos, vamos a cambiarlo de inmediato bajo garantía". Y entonces nos esperaba una emboscada épica.

El caso es que la aduana nos permite importar dichos equipos con documentos sin derecho a exportar. Es decir, puedes traerlo, pero no puedes revenderlo a nadie fuera de Rusia. Cuando devolvemos, por ejemplo, una fuente de alimentación quemada, todo queda claro. Esta es una pieza de repuesto, una fuente de alimentación.

Y luego tuve que devolver todo:
- Chicos, miren, enviaremos la pieza de hardware al fabricante.
- ¿Equipo completo?
- Sí.
— ¿Modelar tal o cual cosa?
- Sí.
- ¿Puede trabajar?
— No lo sabemos, no lo encendimos.
- Entonces este es un equipo completo.
- Bueno, no funciona.
- Pues mira, todo el equipo es de este modelo. Sin derechos de reexportación. No te dejaremos entrar.

En general, hubo muchas ocupaciones antes de que nos diéramos cuenta de que no lo estábamos exportando, sino devolviéndolo. Al final logramos hacerlo todo.

También había cubrezapatos.

Primero, hace muchos años, tuvimos el primer sistema automático, el sueño de un administrador. Cargas un paquete de cubrezapatos allí, él mismo los desempaqueta, los abre y los coloca en una posición en la que solo necesitas pisarlos. Chp-chpk y listo.

Después de unos seis meses, masticó unos cien paquetes de cubrezapatos y se atragantó. Resultó que hay tantas piezas móviles que tenemos que repararlas una vez al mes en nuestra carga (tenemos muchos ingenieros de clientes caminando por las instalaciones, porque somos un centro de datos comercial), o tenemos que comprar uno nuevo.

El segundo problema es que más tarde, durante una de las limpiezas habituales, de alguna manera encontramos un “pequeño trapo azul” colgado en la rejilla de uno de los estantes de nuestras pruebas. El experto forense, representado por un ingeniero del X-Team, identificó un fragmento del cuerpo de la funda del zapato. Resultó que era conveniente usar cubrezapatos en la clínica: caminé media hora y eso es todo. Y algunos ingenieros pueden trabajar con hardware todo el día. Pies arrastrando los pies. Barajando mucho. Y las cubiertas de los zapatos se desgastan y se convierten en pequeños jirones que vuelan por la sala de turbinas.

Casi de inmediato compramos una nueva funda para zapatos. Tomamos una funda térmica para botas: se trata de una máquina en la que se carga una película y la encoge con calor cuidadosamente sobre el zapato. Hermoso, efectivo y duradero. Menos dispersión. Lo tuvimos durante bastante tiempo, pero tuvimos que cambiar la película retráctil aproximadamente una vez cada 1 o 2 horas, porque la suela tendía a caerse por sí sola.

Al principio pensamos que teníamos mala suerte, pero la gente de alguna manera soluciona este problema. Pero no. Preguntamos a nuestros colegas occidentales: la misma historia. Como resultado, empezaron a pensar en cómo hacerlo normalmente. Regresar de la sala de turbinas en busca de nuevas fundas para zapatos es, francamente, una idea regular. Encontramos limpiadores industriales para obras e industrias. Estos son algo así como caminos por los cuales el turno ingresa al taller. Los caminos con un montón de rodillos lo limpian todo, y están hechos de tal manera que, quieras o no, se engancha y limpia. Cuestan entre medio millón y un millón de rublos. Buscamos y encontramos el mismo por 200 mil, pero tienes que poner el pie tú mismo. Tiene un tamaño similar a una máquina para lustrar zapatos. Subes, metes el pie ahí, ella lo mastica y te lo devuelve limpio. Lo colocaron a la entrada del centro de datos.

Funciona muy bien excepto por dos problemas. La primera es que rápidamente quedó claro que esto es normal para nosotros, los ingenieros. Pero en la práctica, una variedad de personas vienen al centro de datos a mirar, incluidos altos ejecutivos de grandes empresas. Con zapatos hechos de cuero del culo de un dragón. E incluso para aplicar crema en los zapatos, su cepillo cuesta más que mis zapatillas de deporte, seleccionan especialmente las cerdas. Fueron ellos quienes se negaron a poner sus pies en nuestro dispositivo milagroso. El segundo problema surgió en invierno: cuando los zapatos están muy sucios, no pueden sacar todo de la profunda pisada. Luego caminas por el pasillo, dejando rastros de ectoplasma.

Lo decidimos simplemente. Colocamos al lado un cubrezapatos enrollado. De todos modos, necesitamos duplicar todo según el estándar.

Ha surgido un nuevo problema. Al observar el comportamiento de los ingenieros del cliente, vimos la siguiente imagen: primero metieron los pies en la máquina para limpiarla y luego engancharon las cubiertas para zapatos de una cubierta para zapatos enrollada. Ahora han puesto un cartel de que es lo uno o lo otro, y es mejor limpiarse uno mismo, pero si los principios de la vida prohíben limpiarse los zapatos, entonces use cubrezapatos. Parece que el ticket, que era para un par de días, pero que duró mucho tiempo, estaba cerrado. Aquí está el dispositivo:

"ku" dos veces

Según los requisitos de PCI DSS, es necesario poder distinguir visualmente los roles de las personas ubicadas en el centro de datos. Sin mirar de cerca el pase y leer algo allí, sino directamente visualmente, como si los militares se distinguieran por sus tirantes, solo que aún más brillantes. Decidimos no presumir y utilizamos el viejo método Chatlan: diferenciar el color de los pantalones. En concreto, empezaron a hacer pasar cintas de distintos colores. Nuestros administradores inmediatamente eligieron a Green como su favorito.

Suena simple, pero provocó tres efectos inesperados:

Se necesitaban retractores para retraer automáticamente estos pases cuando se usaban (estos son elementos que regulan por sí mismos la longitud de la cinta). Redactamos una especificación técnica que tuvo en cuenta todos los deseos de todos los departamentos. Este fue un error estratégico. Color, formato, material, el retractor no es de plástico, el hilo de pescar es de metal para aplicar el logo para que quede cosido en la cinta. Las piezas resultaron tan caras que tuvimos que reducir los requisitos y cambiar el formato.
Una vez que la diferenciación de los pantalones empezó a funcionar, se volvió muy conveniente. Los contratistas tienen algunas cintas, los administradores externos tienen otras y nuestros administradores tienen otras. Puedes ver quién tiene qué rol. Para electricidad, solo grises, para aire acondicionado, azul. Y luego necesitábamos cintas para los conductores (esta es una función separada, pueden entrar al área de descarga, pero no pueden salir excepto afuera). Los conductores no necesitan un pase. Al principio les dimos cintas sin pases. Entonces los guardias de seguridad decidieron que esto era completamente extraño y degradante para la dignidad humana de los conductores. Tienen su propia lógica militar, por eso ahora los conductores vienen inmediatamente a recibir un pase con una cinta, pero este pase no les permite ir a ninguna parte. Desde el punto de vista de la seguridad, resulta ser un marcador de que la seguridad ha controlado a esta persona.
Uno de nuestros ingenieros sugirió hacer suéteres de uniforme verdes en lugar de cintas. Y envió una propuesta de racionalización. Lo hicieron a medias: dejaron los pases con la cinta, además de hecho cosieron los suéteres verdes del uniforme. Ahora tenemos un uniforme de administrador. Los guardias de seguridad apoyaron la broma y la incluyeron en el reglamento. Ahora es obligatorio (pantalones, camisa, suéter, pero el suéter se puede quitar).

Nuestros clientes también se quejaron a menudo de rutas torcidas en los mapas antes de ingresar a nuestro centro de datos de Compressor. Ingresas la dirección, pero la carretera se muestra incorrectamente. Los visitantes terminaron rodando en la dirección equivocada, porque allí había un ferrocarril, detrás de él había un atasco y no había forma de girar allí. Al principio queríamos poner señales encima de la carretera. La ciudad cuenta con un servicio de este tipo: coloque carteles amarillos adicionales debajo de los carteles habituales, se consideran publicidad. Y el precio para ellos es como el de la publicidad: en la autopista Entuziastov, un cartel cuesta un millón de rublos al año. Al mismo tiempo, escribimos a Yandex e incluso respondieron de repente. Y dejaron de portarse mal. Incluso puedes especificar los diodos de puerta: entrada por algunos, salida por otros.

Google, si nos estás leyendo, debes saber: todavía tienes un problema y no sabemos a quién contárselo para que podamos ser escuchados.

Las cartas de invitación incluían enlaces no sólo a una dirección, sino a una dirección con una ruta basada en la geolocalización del usuario. Como resultado, hubo menos errores.

Proyectores de gobos y otros artículos pequeños

¿Sabes qué son los proyectores de gobos? Nosotros tampoco lo sabíamos. De alguna manera estábamos pensando en cómo marcar las filas de rejillas. Los bastidores en sí, por supuesto, están marcados con marcas especiales de liberación rápida, pero se pueden ver desde una distancia de 1 a 2 metros. La sala en sí tiene 500 metros cuadrados, por lo que hay mucho espacio para perderse. Por lo tanto, finalmente comenzamos a marcar las filas. Ha comenzado una lluvia de ideas. ¿Cómo marcar, con qué y dónde? En el suelo, en la pared, carteles en el techo, etc. Y entonces nuestro colega vio que en Ikea había pegatinas que se estaban desgastando en el suelo y luego aparecieron flechas luminosas. Bueno, decidimos revertirlo de una manera sencilla: ve a Ikea y apaga uno de los proyectores para mirar. No pudimos conseguirlo: mientras cargábamos las sillas, el vendedor preguntó qué estábamos haciendo. Y él inmediatamente ayudó, diciendo que era un gobo. Resulta que este no es el proyector en sí, sino una placa o lente para una imagen en color. Este filtro es un gobo. Un proyector cuesta desde 40 mil rublos (hay una lámpara potente para uso diurno) y tenemos 14 filas en cada una de las cuatro salas de máquinas. Por eso le ponemos pegatinas.

También tenemos diagramas en las paredes que se desvanecen con el paso de los años. Los cambiamos por unos laminados, con bolsillos especiales “cosidos” para auditores. En nuestro caso, el inspector es el ingeniero jefe, cuyas responsabilidades incluyen verificar la relevancia de todos los esquemas ubicados en el centro de datos. Por lo tanto, todos los esquemas deben ser verificados anualmente y firmados por dicho auditor. Y la presencia de un pequeño cargador especial en el bolsillo del diagrama facilita este procedimiento y no requiere reemplazar el diagrama cada tres años. ¡Ganancia!

Hicimos una limpieza rotativa del suelo elevado exterior. Tenemos limpiezas periódicas, tenemos métodos y tiempos de limpieza. Pero las ruedas de las pesadas estanterías dejan marcas. Hicimos la limpieza. Ahora estamos nerviosos: no se ve mucho mejor, pero han aparecido reflejos desde ciertos ángulos para ciertas personas, bueno, que tienen sus propios rotuladores para adaptarse a sus gustos. Ahora lo estamos pensando y buscamos algún tipo de químico que blanquee el piso y le dé brillo. Para que ni siquiera los seleccionados tengan preguntas.

¿Has visto los bastidores de la consola? Son como mesas de buffet ambulantes, pero en lugar de bebidas hay un terminal para conectar al estante. Entonces, en estos estantes voladizos, las ruedas se caen y se atascan, como los carritos de un supermercado. Estamos increíblemente hartos. Como resultado, la única forma posible de reavivarlo es comprando una rueda nueva. Pero ya no fue posible conseguir ruedas específicas para nuestros modelos, entrevistamos a todos los contratistas. Como resultado, diseñamos el bastidor nosotros mismos, centrándonos en la facilidad de movimiento por la sala de máquinas y la facilidad de mantenimiento. Funcionó muy bien.

Hubo una historia con los calcetines sintéticos. Existe tal cosa: pulseras antiestáticas. Aquí es cuando vas al rack, conectas la pulsera a tierra en el rack y se comunica con el sistema de ecualización de potencial. Entonces, el bastidor está conectado a tierra, pero puede resultar que el ingeniero no esté conectado a tierra. Compañeros de lugares de trabajo anteriores nos contaron cómo vieron chispas en la videovigilancia un par de veces y decidimos, por pecado, obligar a todos a utilizarla directamente según las normas.

Incidentes críticos

En una nota más seria, hubo una situación en la que todos los enfriadores se cortaron a la vez. Nuestras enfriadoras no están protegidas por UPS, porque creemos en la física y tenemos una piscina de agua fría como reserva de temperatura. Si algo se estropea, no necesitas pilas para alimentar los enfriadores que enfrían el agua, sino simplemente el agua fría en sí, ya lista. Cómodo y sencillo, pero hay un matiz. Las enfriadoras están equipadas con un dispositivo de seguridad automático que las apaga en caso de parámetros peligrosos de la red eléctrica. Si la entrada está apagada, encendemos el grupo electrógeno diesel y luego las enfriadoras se alimentan de él. Todo estaría bien si no viviéramos en Rusia. Tuvimos cortes de red muchas veces, pero todo estuvo bien. Pero un día hubo un salto brusco, primero hacia abajo, luego hacia arriba y luego nuevamente hacia abajo; en unos segundos los parámetros de entrada cambiaron aproximadamente 4 veces. Los refrigeradores se apagaron, por supuesto. Primero intentamos encenderlos de forma remota, pero se protegieron de manera muy confiable, como en una emergencia. El turno debía caminar con los pies en el techo y encenderlos manualmente. Lo importante es que, según el estándar TierIII, tal situación es una razón legítima para cerrar el centro de datos. No hicimos ninguna parada porque la gente está en el suelo con la cabeza y hay ejercicios con ejercicios. Para esto, la interfaz de usuario simplemente nos jodió regularmente, para estar seguros del TIII operativo. En todo caso, hemos pasado la recertificación de UI a TIII Gold - Sostenibilidad operativa. En el mercado comercial ruso de centros de datos no hay nada más genial, excepto el nuestro, solo uno tiene el mismo logro. centro de datos. Observo que la recertificación es más difícil que obtener un certificado desde cero, ya que verifican el período anterior como si no fuera usted mismo y se requieren muchas más pruebas.

Hubo un incidente interesante con las cámaras. Decidimos recalcular los puntos ciegos por si acaso, dibujamos intersecciones, trazamos diagonales de los ángulos de visión en el plano y de repente encontramos un punto ciego de unos 30 centímetros por 15 metros justo en el centro de una de las salas. Estrecho y largo. No existe tal cosa en la habitación de al lado. Resultó que la cámara giratoria se había movido lentamente a lo largo de los años, de modo que comenzó a mostrar aproximadamente un grado y medio hacia la izquierda de lo que debería en la posición extrema.

Hubo otro gran incidente en la publicación. sobre el reemplazo de reparación de DDIBP.