El problema de transporte más importante en San Petersburgo son los puentes. Por la noche, por culpa de ellos, tienes que salir corriendo de la taberna sin terminar tu cerveza. Bueno, o pagar el doble por un taxi de lo habitual. Por la mañana, calcula bien el tiempo para que, en cuanto se cierre el puente, llegues a la estación como una ágil mangosta. No consideramos ideológicamente perjudicial la opción “pasar la noche en algún lugar del centro, cerca de la estación”.
..."Halcón Peregrino", que sale a las 5:30, fue inventado por personas que odian a los búhos. No, claro, es muy conveniente estar en Moscú a las nueve de la mañana, y San Petersburgo es increíblemente hermoso durante las noches blancas, pero a las cuatro y media, cuando me subí al taxi, quise girar la cabeza 270. grados a la alondra que inventó este tren matutino.
“Todos los buenos centros de datos son iguales”, pensé cuando descubrí que los chicos de DataLine nos habían invitado a visitarlos.
Resulta que cada centro de datos es bueno (o malo) un poco a su manera, especialmente cuando llegas al gran momento, recoges todos los rastrillos del área y aprendes lecciones propias (y, un poco, de otras personas). ) Rica experiencia. Entonces nosotros (compuestos por cinco linkmeup líderes y sus amigos y simpatizantes) decidimos comprobar qué tan buenos (o no tan buenos) son los centros de datos OST y NORD.
Habiendo logrado trabajar un poco en la carretera (aquí podría haber un anuncio de un operador de telefonía móvil, pero no, la cobertura aún era mala), descargamos en la estación Leningradsky. Bueno, al menos no bajo Gazmanov.
Comenzamos nuestro recorrido por los centros de datos "cal" con OST, "el mismo" que "quemó" no hace mucho. Por qué entre comillas - después. Mientras tanto, nos quedamos de pie, fumamos y esperamos a los que llegan tarde. Tomando fotografías de la oficina de RT de al lado. Hay muchas historias divertidas sobre este vecindario, desde colocar asfalto fresco y pintar bordillos antes de la llegada de los dignatarios, hasta descuentos en cafés cercanos que se otorgaron a los residentes de Dataline debido a la similitud de sus insignias.
El portavoz de la propaganda totalitaria
Centro de datos de modo estricto (acceso)
Pase, reglas de conducta, picadora de carne en la entrada, casi la misma que vimos. . ¿Has visto muchas cafeterías en los centros de datos? Ahora conocemos una pareja. Los empleados y clientes tienen depósitos de "café" en sus tarjetas, que se reponen periódicamente. Así, dentro de límites razonables, podrás disfrutar de un café de forma totalmente gratuita. A nosotros, como queridos invitados, también nos invitaron a comer.
No puedo decir nada malo sobre el café: es bastante normal en una cafetería de "cadena", pero la ubicación es involuntariamente cautivadora y el interior está en consonancia con las mejores tradiciones modernas.
Interior de una cafetería local.
Las fotos muestran los centros de datos de NORD
El recorrido comienza desde la oficina. Además de las inscripciones en las paredes y la combinación de colores blanco y lima, conocida en todo Runet, también hay todo tipo de cosas divertidas. Estos son accesorios sobrantes de representaciones teatrales corporativas (¿te imaginas al director técnico de una red de centros de datos actuando en una obra de teatro? Y lo conocemos personalmente).
Y la verdad
Fotos de actuaciones
El centro de datos (o mejor dicho, cuatro centros de datos) está ubicado en un complejo de edificios industriales construido en el siglo pasado (entonces la planta de Citroën y en la época soviética la planta de Gidroprivod), por lo que, por un lado, existe una dura Aspecto industrial, vigas de metal, atmósfera de loft y artefactos industriales de diferentes épocas que aún se encuentran durante diversas obras. Por otro lado, las zonas herméticas del centro de datos deben adaptarse a las estructuras existentes y de vez en cuando hay que hacer concesiones con la realidad. Sin embargo, no diría que estos compromisos afectaron la calidad, pero los chicos probablemente tuvieron que trabajar duro durante el diseño. Además, según los rumores, el Metro-2 pasa por algún lugar cercano, pero esto no es seguro.
Además del teatro, también hay un museo. Exposiciones, por supuesto: hallazgos arqueológicos
Algunas palabras sobre . Sí, el edificio (o mejor dicho, el tejado) estaba realmente en llamas. Las unidades externas de los sistemas de refrigeración y las tuberías de frío resultaron dañadas. En algún lugar se quemó el cableado y los aires acondicionados se quedaron sin electricidad. Las tuberías de freón explotaron en alguna parte. Pero, a pesar de esto, las zonas herméticas resistieron las toneladas de agua que se derramaron sobre ellas y el equipo sobrevivió. Lo restauraron bajo el control de la "sede", representada por la alta dirección de todo el mundo: rastrillaron todas las tuberías de cobre en Moscú y sus alrededores (incluso las trajeron por la noche en un BMW X5) y todos los sobrios. instaladores. Los equipos críticos de las salas de datos dañadas (¡dañados por la falta de frío, no por el incendio!) se trasladaron rápidamente a otras salas, de modo que a las cinco de la mañana no sólo todos sus servicios, sino también sus clientes estaban en funcionamiento.
Comprobamos personalmente la sala que "sufrió más": excepto el olor a quemado y las baldosas reemplazadas del piso elevado, nada recuerda al incendio (a excepción de los bastidores de equipos que fueron trasladados "temporalmente" a otra sala de datos, y permaneció allí).
Panel de estado
Caminando por los pasillos, vemos una pantalla táctil con algo muy similar al diagrama de las salas de turbinas del centro de datos. Este es el panel de estado. Hay muchos en los pasillos y permiten a los ingenieros locales encontrar rápidamente, por ejemplo, el aire acondicionado necesario e informar simplemente sobre el estado actual.
El monitoreo se basa en Nagios (ahora ya existen varios clústeres independientes) y cubre todos los centros de datos (tanto OST como NORD). Además, existen aplicaciones para Android e iOS (para clientes y empleados) y una página de estado directamente en el sitio web.
En la pantalla noto un PUE inusualmente alto: no se acepta en todas partes en Rusia, pero aun así 1.90 es algo alto. La respuesta a esto es puramente económica: en 2012-2013, los racks de los centros de datos se vendían como pan caliente, por lo que no había tiempo para sentimentalismos y eficiencia energética. Instalamos lo que hay en el mercado, lo hacemos lo más rápido posible y no nos preocupamos en absoluto por tu PUE, porque ¿por qué? Incluso en la etapa de diseño, se compran entre el 80 y el 90% de los bastidores, pero la legislación de la Federación de Rusia no quiere saber nada sobre la eficiencia energética. Aunque alguna comisión en Amsterdam estaría satisfecha con tales cifras.
Nada personal. Solo negocios.
Otra característica es la señalización de las salas de datos. En cada sitio, las salas de datos, además de la codificación alfanumérica “oficial”, tienen seudónimos “humanos” del alfabeto naval (Alfa-Bravo-Charlie-Delta...). Por alguna razón, a todos los clientes les encanta la sala de whisky.
No hay pequeños detalles cuando se trata de atención al cliente.
Este tipo de “vallas” se erigen para algunos clientes. No nos permitieron tomar fotografías en las salas de turbinas, por eso la foto es DataLine ©
Los clientes de DataLine son en su mayoría empresas grandes y respetadas; realmente no les gusta que les fotografíen sus equipos. Además, si el nombre (o logotipo) del cliente está escrito directamente en el mostrador con letras grandes. No les gusta, eso es todo. Por eso, filmamos las ya famosas paredes con varias inscripciones y al ingeniero. Tampoco es posible fotografiar al ingeniero completo y no en todas partes, pero lo intentamos. Dado que nuestros clientes son grandes y respetados, también tienen solicitudes específicas: bastidores especiales (o algún tipo de sistema de almacenamiento súper de varios bastidores de proveedores), sus propias vallas, sus propios sistemas de control de acceso, su propia videovigilancia y un equipo de respuesta rápida con ametralladoras. En general, una de las reglas tácitas (y públicas) de DataLine es cuidar al cliente y hacerle el bien. Desde chalecos y estaciones de trabajo equipadas con acceso a Internet y cargadores, hasta eventos diversos para clientes. Estos últimos también son muy útiles porque las mismas personas, al pasar de una empresa a otra, los llevan a DataLine. Simplemente porque aquí todo es acogedor, cómodo y fiable. El negocio de DataLine no consiste sólo en alquilar espacio en rack. Esta también es una nube, certificada simultáneamente según 152-FZ y PCI-DSS (haremos un podcast al respecto, estad atentos a los anuncios), y proporciona conectividad (sus propias fibras entre los sitios y de cada uno de ellos a M9, anillo óptico propio que cruza la ciudad, y así hasta la organización de la última milla hasta la oficina del cliente).
M - motivación
Hablando de inscripciones, las ideas provienen no sólo de los empleados, sino también de los socios y clientes, tras lo cual se puede votar por las que tengan más éxito en Línea de datos en FB. Bueno, puedes proponer tu idea allí.
Encuentro en el Elba
Cruz (foto cortesía de DataLine)
Paramos en el Meet-Me-Room, donde se encuentran los operadores. En MMR (en OST hay tres pares, según el número de entradas ópticas principales, para activa y pasiva) se combinan las conexiones de todas las salas de datos. En las zapatillas de cross todo es aburrido y ordenado. Pero donde se sitúa la cámara activa se recuerdan los mejores años y metraje de algún BM18: fideos hechos con cables y equipos variados (DLink, Extreme, Juniper, Mikrotik... y así hasta ASR9k). Aquí hay más de cincuenta operadores, por lo que todo es colorido. Desde MMR se distribuye la óptica y el cobre a las salas de máquinas. Al menos dos rutas para cada una (son posibles variantes), por lo que no tienes que preocuparte por la fiabilidad de la conexión. MMR se llama "Elba", lo cual es bastante sutil.
¿IBM Power nada?
Otro hallazgo es un IBM serie P, que nunca ha sido encendido y que lleva varios años parado en uno de los pasillos. La máquina (junto con la biblioteca de cintas y el sistema de almacenamiento) fue encargada por uno de los clientes, pero "no sirvió", por lo que fue donada al centro de datos. Ha estado en pie desde entonces.
Probablemente sea bueno ser gente rica y dar esos regalos, ¿verdad? (O tal vez no lo regalaron, sino que lo olvidaron. O perdieron jugando a las cartas. Pero existe desde hace mucho tiempo)
Este chico guapo está parado en NORD-4.
Vamos al centro de energía: tres (o incluso cuatro) grupos electrógenos diésel para cada centro de datos (permítanme recordarles que hay cuatro en OST). El motor diésel alcanza la potencia máxima en 30-40 segundos y produce 1900 kVA. Incluye redundancia N+1, sincronización, etc. El tiempo máximo de inactividad en motores diésel en OST es de 12 horas. en NORD: 2.5 días (después de todo, una instalación de almacenamiento de 85 toneladas no es mucho dinero).
Por supuesto, existen acuerdos con diversas empresas de combustible para el suministro de combustible. El cambio al diésel se produce periódicamente, de modo que se produce combustible y se verifican los contratos. Por cierto, según los compañeros de NORD, durante las pruebas de grupos electrógenos diésel, que normalmente duran más de una hora, en el lugar donde sale el aire caliente de los motores diésel, incluso en invierno la hierba consigue volverse verde.
Después de un breve refrigerio en una cafetería familiar, nos dirigimos al sitio NORD. Tampoco se trata de un centro de datos, sino de cuatro edificios independientes en el mismo territorio. Cada uno tiene su propio consumo de electricidad, sus propios motores diésel y su propia refrigeración. NORD-1 y NORD-2 fueron auditados por Uptime Institute M&O. El último (y mejor centro de datos de DataLine) es NORD-4, así que hacia allí nos dirigimos.
A pesar de la aparentemente enorme cantidad de centros de datos en Moscú, todavía hay escasez. No, por supuesto, le enviaremos uno o dos racks sin ningún problema. Incluso te darán veinte. Más es una pregunta (y DataLine tiene más de uno o dos clientes con tales necesidades). En concreto, en NORD-4 hay un lugar (por ahora), porque un gran cliente se ha mudado a su propio centro de datos recién construido, pero en otros lugares puede que no haya tanta suerte. Sin embargo, el diseño del NORD-5 está ahora en pleno apogeo y se promete que se lanzará a principios de 2020.
Pero volvamos a nuestra excursión. Como íbamos en coche, nos dejaron pasar por la puerta de entrada, donde los ametralladores nos apuntaron, comprobaron el número de nuestro coche en la aplicación y pidieron a todos los pasajeros que salieran para sacar pases (con sus pasaportes, por supuesto). Porque B es seguridad.
NORD-4 es el orgullo de la empresa y una recopilación de muchos años de experiencia en la construcción y operación de centros de datos, cuenta con certificados Tier III del Uptime Institute para proyectos de diseño e instalaciones (es decir, centro de datos construido), así como Sostenibilidad operativa. - Los muchachos abordaron el asunto de la manera más responsable posible. En el interior hay cuatro zonas herméticas, independientes entre sí, con dos salas cada una dentro de un edificio. Cada uno cuenta con su propia central eléctrica (grupo electrógeno diesel, cuarto de baterías), circuitos de refrigeración y sistemas de extinción de incendios. General: entradas ópticas (hay dos por edificio) y MMR.
Modificación de ingeniero saludable
A la entrada del centro de datos nos espera una cafetería que ya conocemos (bueno, ¿por qué no?). Subimos al centro de seguimiento. Ahora hay dos principales: en OST y NORD-4 (NORD-1,2,3 también tienen sus propios turnos de servicio). Desde cada centro se pueden consultar ambos sitios, por lo que incluso aquí se garantiza la redundancia n+1. En el videowall ya hay paneles de control familiares en un esquema de color verde claro (por supuesto, hay muchos más parámetros que en la pantalla de estado). Hablamos un poco sobre el monitoreo: nada de Prometheus y Grafan sofisticados, solo Nagios, solo visualización incondicional y casera. A lo largo de diez años (sin embargo, incluso más) de uso, ya se han escrito muchas comprobaciones y scripts personalizados, por lo que cambiar a otra cosa parece una apuesta. Aproximadamente una vez al mes aparece otra empresa que se ofrece a resolver todos los problemas "de forma rápida y sencilla", pero de alguna manera todavía no funciona. El videowall, por cierto, también funciona con una solución autoensamblada, que resultó ser varias veces más barata que sus homólogos comerciales.
centro de control local
Cuando lleva muchos años diseñando, construyendo y operando centros de datos, ya no tiene tanto miedo de hacer algo usted mismo en lugar de comprar algo ya hecho. DataLine, por ejemplo, no duda en decir que, simplemente por su escala, han pisado el máximo número de errores, y cada nuevo centro de datos es el resultado de errores difíciles y de una experiencia acumulada desde hace más de diez años. . Por supuesto, cada nuevo centro de datos tiene su propio conocimiento y, mientras camina por NORD, de vez en cuando uno se sorprende pensando que la gente simplemente lo hizo y lo hizo bien. No por presumir, no por calificaciones y certificados: un proceso de ingeniería normal, cuando en cada iteración creces por encima de ti mismo y te vuelves cada vez mejor. Un observador externo dirá que esto es aburrido y conservador, pero el cliente, por el contrario, mantiene esa estabilidad con su propio dinero. Y para hacerlo bien, no es necesario comprar sistemas o software de ingeniería por mucho, mucho dinero (aunque a veces no se puede prescindir de ellos). La experiencia, el conocimiento y el ingenio de la ingeniería a menudo deciden.
Por ejemplo, el edificio NORD-4 tiene 3,5 plantas. Los tres primeros son completos, con techos de 4.5 metros, donde se ubican las salas de turbinas. Y el último es técnico, de sólo 1.8 metros de altura, y está dedicado exclusivamente al sistema de refrigeración. Dado que el piso es técnico, los requisitos son mucho menores, lo que simplificó el proyecto y ahorró dinero.
Vista del centro de datos triangular
Max tiene una habilidad especial de kung fu para no quemarse en las fotos.
Terminamos el recorrido en el tejado, desde aquí tenemos una excelente vista de la cercana central térmica y de la zona residencial, así como de otros edificios de NORD. Dos de ellos son triangulares. Sobre esto, los colegas incluso se rieron diciendo que "DataLine son idiotas, por alguna razón están construyendo un centro de datos triangular" para instalar allí racks y servidores triangulares. Pero nada: construyeron y están operando con éxito, y al mismo tiempo utilizan efectivamente el territorio existente (que en Moscú, hay que decirlo, no es libre). Otro hecho sorprendente (para mí) es que la mayoría de los clientes comerciales quieren estar ubicados en Moscú. Un lugar a medio centenar de kilómetros a lo largo de la autopista de Minsk (aunque tenga todas las capacidades y comunicaciones necesarias) ya no interesa a nadie. Entonces todos se acurrucan en uno que no sea de goma.
Las torres de refrigeración ya no son centros de datos, sino centrales térmicas
Con esto nuestro próximo viaje ha llegado a su fin.
Después hubo otra larga y productiva conversación sobre planes conjuntos y futuros podcasts (espero que no tengamos que esperar mucho), así que estad atentos, pronto habrá aún más cosas interesantes.
Bueno, si quieres verlo todo con tus propios ojos, DataLine te invita a un recorrido. Completamente gratuito, pero con cita previa. Aquellos que llamen a la palabra clave "linkmeup" obtendrán un plus en karma.
¡Manténganse al tanto!
Fuente: habr.com