Déjenme decirles: la rata en el servidor que trajimos hace un par de años, a la que le dimos té después de recibir una descarga eléctrica, probablemente ha escapado. Porque de alguna manera vimos a su amiga durante una revisión. Y decidimos inmediatamente instalar repelentes ultrasónicos.
Ahora, alrededor del centro de datos hay una tierra maldita: las aves no se posan en el edificio y, probablemente, todos los topos y lombrices han escapado. Nos preocupaba que causar un fallo en el HDD, pero verificamos, las frecuencias no son las adecuadas.
La siguiente historia es mucho más divertida. Una vez recibimos un equipo por un par de millones de rublos en una caja con sensores de inclinación, vibración y humedad. Todo intacto. Abrimos la embalaje con cuidado, pero el metal estaba doblado. Mística.
El chasis estaba completamente arqueado. Muy bonito.
Detective
No habríamos prestado atención a esto, porque el chasis metálico doblado era casi un diseño estético. Muy bonito, sin astillas. Y si no hubiera habido otros equipos iguales cerca, ni siquiera hubiéramos pensado en que algo no estaba bien al abrirlo. Pero había otros iguales, solo que con una forma geométrica más correcta.
Por suerte, el desempaquetado de tales equipos se graba en video (recomiendo a todos que adquieran este hábito), por lo que pudimos demostrar al fabricante que llegó así. Un embalaje completo y un chasis cuidadosamente doblado no son el resultado de un golpe de los cargadores. Lo más probable es que se dañó antes de salir hacia Rusia.
El proveedor dice: “Eh, chicos, ¿qué tal si lo cambiamos inmediatamente bajo garantía?”. Y aquí nos esperaba una trampa épica.
El asunto es que la aduana permite la importación de dicho equipo según los documentos sin derecho a reexportación. Es decir, se puede traer, pero no se puede revender a nadie fuera de Rusia. Cuando enviamos de regreso un bloque de alimentación quemado, por ejemplo, todo está claro. Es un repuesto, un bloque de alimentación.
Y aquí necesitábamos enviar de regreso todo:
— Chicos, miren, estamos enviando el equipo de vuelta al fabricante.
— ¿El equipo completo?
— Sí.
— ¿Modelo tal?
— Sí.
— ¿Puede funcionar?
— No lo sabemos, no lo encendimos.
— Entonces, es un equipo completo.
— Pero no funciona.
— Bueno, miren, es un equipo completo de este modelo. Sin derecho a reexportación. No lo dejaremos pasar.
En resumen, hubo muchas fintas antes de que nos diéramos cuenta de que no lo estábamos exportando, sino devolviéndolo. Al final, logramos hacerlo todo.
También había cubresapatos.
Hace muchos años, al principio, tuvimos la primera máquina automática, el sueño de un administrador. Simplemente cargas los cubrezapatos en ella, y ella los desempaqueta automáticamente, los abre y los coloca en la posición donde solo necesitas pisar. ¡Pum! Y listo.
Aproximadamente seis meses después, había masticado cerca de cien paquetes de cubrezapatos y se atascó. Resultó que tenía tantas piezas móviles que había que repararla cada mes con nuestra carga (tenemos muchos ingenieros-clientes que caminan por el sitio, ya que somos un centro de datos comercial), o simplemente comprar una nueva.
El segundo problema fue que en una de las limpiezas regulares encontramos una "toallita azul", que estaba colgando de la rejilla de uno de sus soportes de prueba. Un forense en forma de ingeniero del equipo X identificó el fragmento del cubrezapato. Resultó que en la clínica, con los cubrezapatos, es cómodo: caminas media hora y ya está. Pero algunos ingenieros pueden trabajar todo el día con el hardware. Arrastrando los pies. Mucho. Y los cubrezapatos se desgastan en pequeños fragmentos que vuelan por la sala de máquinas.
Casi de inmediato compramos una nueva máquina para cubrezapatos. Optamos por una termomática: es una máquina en la que se carga una película, y esta película se encoge térmicamente sobre el zapato. Bonito, eficiente, y resistente. Se desparrama menos. Estuvo con nosotros un buen tiempo, pero había que cambiar la película termoencogible aproximadamente cada 1-2 horas, porque la suela tendía a despegarse.
Al principio pensamos que no teníamos suerte, que la gente de alguna manera resolvía este problema. Pero no. Preguntamos a colegas de Occidente: la misma historia. Al final, empezamos a pensar en cómo hacerlo bien. Volver de la sala de máquinas por nuevos cubrezapatos es, seamos sinceros, una idea bastante mala. Encontramos limpiadores industriales para obras y fábricas. Es algo así como caminos que los trabajadores siguen al entrar al taller. Los caminos, llenos de rodillos, limpian todo y están diseñados de tal manera que, quieras o no, atrapan y limpian. Cuestan entre quinientos mil y un millón de rublos. Investigamos y encontramos uno similar por 200 mil, pero hay que meter el pie manualmente. En tamaños, se parece a una máquina de limpiar zapatos. Te acercas, metes el pie, lo mastica y te lo devuelve limpio. La colocamos en la entrada del centro de datos.
Funciona bien, salvo por dos matices. Primero, se hizo evidente bastante rápido que esto está bien para nosotros, los ingenieros. Pero en la práctica, en el centro de datos, vienen a ver personas muy diversas, entre las que se encuentran ejecutivos de grandes empresas. Con zapatos de piel de dragón. Y ellos incluso tienen un cepillo para aplicar crema a los zapatos que cuesta más que mis zapatillas de entrenamiento; allí eligen el pelaje especialmente. Ellos se negaban a meter los pies en nuestro maravilloso dispositivo. El segundo problema surgió en invierno: cuando los zapatos están realmente muy embarrados, no puede sacar todo del profundo perfil. Luego caminas por el pasillo, dejando huellas de ectoplasma.
Decidimos hacerlo de forma sencilla. Colocamos una dispensadora de cubrezapatos al lado. De todos modos, tenemos que duplicar todo por norma.
Surgió un nuevo problema. Observando el comportamiento de los ingenieros-clientes, vimos la siguiente escena: primero metían el pie en la máquina de limpieza, y luego se ponían los cubrezapatos de la dispensadora. Ahora colgamos un letrero que dice que se elija uno u otro, y es mejor limpiarse, pero si los principios de vida prohíben limpiar los zapatos, entonces pónganse los cubrezapatos. Se suponía que era un ticket que duraría un par de días, pero se alargó mucho, y se cerró. Aquí está el dispositivo:
Dos veces "ku"
Según los requisitos de PCI DSS, es necesario poder distinguir visualmente los roles de las personas en el centro de datos. Sin mirar la credencial y leer algo, sino visualmente, como los militares se distinguen por los epauletos, solo que aún más brillante. Decidimos no complicarlo y utilizamos el viejo y querido método chatlano: diferenciación de color en los pantalones. Concretamente, empezamos a hacer cintas de credenciales de diferentes colores. El verde, como el que más les gusta, fue de inmediato tomado por nuestros administradores.
Suena simple, pero esto causó tres efectos inesperados:
- Se necesitaban retractores para la retractación automática de estas credenciales al usarlas (son esos dispositivos que regulan la longitud de la cinta por sí mismos). Escribimos un pliego de condiciones que contemplaba todos los deseos de todos los departamentos. Fue un error estratégico. Color, formato, material, retractor no plástico, hilo de metal para aplicar el logo, que estuviera cosido en la cinta. Los dispositivos resultaron tan caros que luego tuvimos que recortar requisitos y cambiar el formato.
- Cuando la diferenciación de cintas comenzó a funcionar, se volvió muy conveniente. Los contratistas tienen un tipo de cintas, los administradores externos tienen otras, y nuestros administradores tienen otras distintas. Es fácil ver quién tiene qué rol. En electricidad — solo grises, en aire acondicionado — azules. Y aquí se necesitaban cintas para los conductores (es un rol separado, pueden entrar a la zona de descarga, pero no pueden salir de ella excepto hacia afuera). Al principio, no necesitaban permisos. Primero les dábamos cintas sin permisos. Luego, los de seguridad decidieron que eso era extraño y degradante para la dignidad de los conductores. Tienen su propia lógica militar, por lo que ahora los conductores vienen a recoger su permiso ya con cinta, pero ese permiso no les permite entrar a ningún lado. Desde el punto de vista de seguridad, esto sirve como un marcador que indica que esa persona fue chequeada por seguridad.
- Uno de nuestros ingenieros propuso en lugar de cintas, hacer suéteres de uniforme de color verde. Y envió una propuesta de racionalización. Hicimos un compromiso: dejamos los permisos con cinta y además realmente confeccionamos suéteres de uniforme verdes. Ahora tenemos uniforme para los administradores. Los de seguridad apoyaron la broma y la incluyeron en los reglamentos. Ahora es obligatorio (pantalones, camisa, suéter, pero el suéter se puede quitar).
Además, nuestros clientes a menudo se quejaban de las rutas incorrectas en los mapas hacia la entrada de nuestro centro de datos 'Compresor'. Escribías la dirección y el camino se mostraba incorrecto. Al final, los visitantes tomaban el camino equivocado porque había una vía de tren, y detrás de ella había un embotellamiento, y no hay forma de dar la vuelta. Al principio queríamos poner señales sobre la carretera. Hay un servicio en la ciudad — colocar señales amarillas adicionales debajo de las señales comunes, las cuales se consideran publicidad. Y el precio de estas es como el de la publicidad: en la carretera Entusiastas, un letrero cuesta un millón de rublos al año. Al mismo tiempo, escribimos a Yandex y, sorprendentemente, respondieron. Y dejaron de hacer desmanes. Incluso se pueden señalar los diodos de las puertas: entrada por unas, salida por otras.
Google, si nos estás leyendo, ten en cuenta que todavía tienes un problema, y no sabemos a quién decírselo para que nos escuchen.
En las cartas de invitación insertamos enlaces no solo a la dirección, sino a la dirección con la ruta trazada desde la geolocalización del usuario. Como resultado, ahora cometen menos errores.
Proyectores gobo y otros detalles
¿Sabías qué son los proyectores gobo? Nosotros tampoco lo sabíamos. Un día pensamos en cómo marcar las filas de los bastidores. Los propios bastidores, por supuesto, están marcados con etiquetas rápidas especiales, pero son visibles desde una distancia de 1-2 metros. La sala tiene 500 m², así que es fácil perderse allí. Por eso, decidimos abordar la tarea de marcar las filas. Comenzó una lluvia de ideas. ¿Cómo marcar, con qué y dónde? En el suelo, en la pared, señales en el techo, etc. Y ahí fue cuando un colega vio que en "IKEA" antes había pegatinas desgastables en el suelo, y luego aparecieron flechas luminosas. Así que decidimos revertirlo de manera simple: ir a "IKEA" y revisar uno de los proyectores. No pudimos sacarlo: mientras llevábamos sillas, un vendedor nos preguntó qué estábamos haciendo. De inmediato ayudó, diciendo que eso era un gobo. Resulta que no es el proyector en sí, sino una placa o lente para una imagen en color. Ese filtro de luz es el gobo. Un proyector cuesta desde 40,000 rublos (tiene una lámpara potente para uso diurno), y nosotros tenemos 14 filas en cada uno de los cuatro salones de máquinas. Así que pusimos etiquetas.
Además, nuestros esquemas en las paredes se desvanecen con los años. Los hemos cambiado a laminados, con "bolsillos" especiales integrados para el revizorro. En nuestro caso, el revizorro es el ingeniero jefe, cuya responsabilidad es verificar la relevancia de todos los esquemas colocados en el centro de datos. Todos los esquemas deben revisarse y firmarse anualmente por este revizorro. La existencia de un pequeño cuaderno en el bolsillo del esquema hace que este procedimiento sea más sencillo y no requiera sustituir el propio esquema cada tres años. ¡Beneficio!
Realizamos una limpieza rotativa del falso suelo por fuera. Tenemos limpiezas regulares, así como metodologías y horarios para estas. Pero las pesadas ruedas de los bastidores dejan marcas. Hicimos la limpieza. Ahora estamos nerviosos: no parece que se haya hecho con un gran cuidado, pero sí aparecieron brillos desde ciertos ángulos para algunas personas, bueno, para aquellos que tienen sus marcadores según su gusto. Ahora estamos pensando y buscando algún tipo de producto químico que blanquee el suelo y le dé brillo. Para que incluso los elegidos no tengan preguntas.
¿Has visto los mostradores de consola? Son como mesas de buffet móviles, solo que en lugar de bebidas hay un terminal para conectarse al mostrador. Bueno, estas consolas tienen ruedas que se desprenden y se quedan atascadas, como los carritos de supermercado. Nos ha molestado mucho. Al final, la única forma de revivirlas fue comprar una rueda nueva. Pero conseguir ruedas específicas para nuestros modelos no fue posible; preguntamos a todos los proveedores. Así que decidimos diseñar nuestro propio mostrador, enfocándonos en la facilidad de movimiento por el área de máquinas y la capacidad de reparación. El resultado fue muy bueno.
Hubo una historia con calcetines sintéticos. Existe un dispositivo llamado pulseras antistáticas. Es cuando te acercas al mostrador, conectas la pulsera a tierra en el mostrador, y se conecta con el sistema de igualación de potenciales. Así que, aunque el mostrador está aterrizado, puede resultar que el ingeniero no lo esté. Colegas de trabajos anteriores contaron que en un par de ocasiones vieron chispas en las cámaras de vigilancia, y nosotros decidimos, por precaución, obligar a todos a usarla conforme al reglamento.
Incidentes críticos
Desde el punto de vista serio, hubo una situación en la que todos los chillers se apagaron de golpe. Los chillers no están protegidos por un SAI, porque creemos en la física, y como reserva de temperatura tenemos una piscina con agua enfriada. Si algo se apaga, no se necesitan baterías para alimentar los chillers que enfrían el agua, sino simplemente el agua fría ya lista. Es conveniente y simple, pero hay un matiz. En los chillers hay una automatización de protección que los apaga si hay parámetros peligrosos en la red eléctrica. Si la entrada se apaga, encendemos el grupo electrógeno y los chillers se alimentan de ellos. Todo estaría bien, si no viviéramos en Rusia. Hemos tenido muchas caídas en la red, pero todo estuvo bien. Sin embargo, una vez hubo un pico brusco primero hacia abajo, luego hacia arriba de repente, y luego de nuevo hacia abajo, en unos pocos segundos los parámetros de entrada cambiaron aproximadamente 4 veces. Los chillers se apagaron, naturalmente. Primero intentamos encenderlos de forma remota, pero se protegieron muy bien, en modo de emergencia. Tuvimos que ir a pie al techo y encenderlos manualmente. Lo importante es que, según el estándar Tier III, tal situación es una razón legítima para detener un centro de datos. No tuvimos detenciones porque la gente en el lugar es competente y tiene formación con simulacros. Por esto, nuestros usuarios nos evaluaban regularmente para asegurarse de que cumplimos con TIII Operational. Si acaso, hemos pasado la recertificación de usuarios para TIII Gold - Sostenibilidad Operacional. En el mercado comercial ruso de centros de datos, no hay nada mejor, excepto que solo uno tiene el mismo logro. . Cabe destacar que recertificarse es más difícil que obtener un certificado desde cero, ya que revisan el período anterior como si no fuera así, y se requieren muchas más pruebas.
Hubo un incidente interesante con las cámaras. Decidimos recalcular las zonas ciegas por si acaso, dibujamos las intersecciones, construimos las diagonales de los ángulos de visión en el plano, y de repente encontramos una zona muerta de aproximadamente 30 centímetros por 15 metros justo en el centro de una de las salas. Estrecha y larga. No hay una igual en la sala adyacente. Resultó que la cámara giratoria se había movido lentamente con el tiempo, de modo que ahora mostraba aproximadamente un grado y medio más a la izquierda de lo que debía en la posición extrema.
Otro gran caso ocurrió en la publicación .
Enlaces
- y
- Mi correo: PGoryunov@croc.ru
Fuente: habr.com
