El problema de transporte más importante en San Petersburgo son los puentes. Por la noche, debido a ellos hay que escapar del bar sin terminar la cerveza. O pagar el taxi al doble de lo habitual. Por la mañana, hay que calcular cuidadosamente el tiempo para que, tan pronto como cierren el puente, logres llegar a la estación como un ágil mangusto. No consideramos la opción de "pasar la noche en algún lugar del centro, cerca de la estación", ya que es ideológicamente perjudicial.
..."Sapsan", que sale a las 5:30, fue ideado por personas que odian a los búhos. No, por supuesto, es muy conveniente llegar a Moscú a las nueve de la mañana, y San Petersburgo es absolutamente hermoso durante las noches blancas, pero a las cuatro y media, cuando me subí al taxi, quería girar mi cabeza 270 grados hacia el ave matutina que inventó este tren de la mañana.
"Todos los buenos centros de datos son iguales entre sí", pensé cuando supe que nos invitaron a visitar a los chicos de DataLine.
Resultó que cada centro de datos es bueno (o malo) a su manera, especialmente después de haber acumulado experiencias, recogido todos los tropiezos en la zona y aprendido las lecciones de tus propias (y un poco de las ajenas) experiencias ricas. Así que decidimos comprobar cuán buenos (o no tan buenos) son los centros de datos OST y NORD, con un grupo de cinco amigos de linkmeup y unos amigos solidarios que se unieron.
Después de trabajar un poco en el camino (aquí podría estar el anuncio de un operador móvil, pero no: la cobertura seguía siendo tan mala como siempre), desembarcamos en la estación de Leningrado. Bueno, al menos no bajo Gazmanov.
Comenzamos nuestra excursión por los centros de datos 'verdes' con OST, 'ese mismo' que no hace mucho 'se incendió'. Por qué entre comillas — después. Pero por ahora, estamos aquí, fumando mientras esperamos a los que llegan tarde. Fotografíamos la oficina de RT al lado. Hay muchas historias divertidas sobre esta vecindad, desde la colocación de asfalto nuevo y la pintura de los bordillos antes de la llegada de Personas Altas, hasta los descuentos en las cafeterías cercanas, que los chicos de DataLine recibieron debido a la similitud de sus insignias.
Altavoz de la propaganda totalitaria
Centro de datos de régimen estricto (de acceso restringido)
Pase, normas de comportamiento, molinillo en la entrada — casi el mismo que vimos . ¿Cuántos cafés has visto en los centros de datos? Nosotros, ahora, conocemos un par. Los empleados y clientes tienen en sus identificaciones depósitos
no puedo decir nada negativo sobre el café — es bastante común para una cafetería
Interior de la cafetería local
En las fotografías, los centros de datos NORD
La excursión comienza en la oficina. Además de las conocidas inscripciones en las paredes de toda la red, hay una gama de blanco y verde, y también varias cosas divertidas. Este es el equipo que quedó de las actuaciones del teatro corporativo (¿puedes imaginarte al director técnico de la red de centros de datos actuando en una obra? Nosotros lo conocemos personalmente).
Y es cierto
Fotos de las obras
El centro de datos (o más precisamente, cuatro centros de datos) se encuentra en un complejo de edificios industriales construidos en el siglo pasado (entonces, la fábrica "Citroën", y en la época de la URSS, la fábrica "Gidropривод"), por lo que, por un lado, hay un duro ambiente industrial, vigas metálicas, la atmósfera de loft y artefactos industriales de diferentes épocas que aún se encuentran durante diversos trabajos. Por otro lado, las zonas estancas del centro de datos deben integrarse en las estructuras existentes, y de vez en cuando, hay que llegar a compromisos con la realidad. Sin embargo, no diría que estos compromisos afectaron la calidad, pero los chicos, sin duda, tuvieron que esforzarse en el diseño. Además, hay rumores de que cerca pasa la Metro-2, pero esto no es seguro.
Además del teatro, también hay un museo propio. Los exposiciones son, naturalmente, hallazgos arqueológicos
Unas palabras sobre . Sí, el edificio (o más bien, el techo) realmente estaba ardiendo. Se dañaron los bloques exteriores de los sistemas de refrigeración y las tuberías de refrigerante. En algún lugar se fundieron los cables y los aires acondicionados se quedaron sin electricidad. En otros puntos, estallaron las tuberías de refrigerante. Pero, a pesar de esto, los hermetismos soportaron toneladas de agua derramada sobre ellos, el equipo sobrevivió. La restauración se llevó a cabo bajo la dirección de un 'cuartel' representado por la alta gerencia, uniendo esfuerzos - se recolectaron todas las tuberías de cobre en Moscú y sus alrededores (incluso las traían por la noche en un BMW X5) y se convocó a todos los montadores sobrios. El equipo crítico de las salas de datos afectadas (afectadas por la falta de frío, no por el incendio) se trasladó rápidamente a otras salas, así que, ya a las cinco de la mañana, levantamos no solo todos nuestros servicios, sino también los de los clientes.
Verificamos personalmente la sala que más 'sufrió' - además del olor a quemado y los paneles de piso en sustitución, no recuerda en absoluto al incendio (excepto por los racks con equipo, que fueron 'temporalmente' trasladados a otro centro de datos y que ahí permanecieron).
Panel de Estado
Mientras paseamos por los pasillos, vemos una pantalla táctil con algo que se parece mucho al esquema de las salas de máquinas del centro de datos. Este es el panel de estado. Hay varios colocados en los pasillos, y permiten a los ingenieros in situ encontrar rápidamente, por ejemplo, el aire acondicionado necesario, además de informar sobre el estado actual.
El monitoreo se basa en Nagios (actualmente con varios clústeres independientes) y cubre todos los centros de datos (tanto OST como NORD). Además, hay aplicaciones para Android e iOS (para clientes y empleados), y la página de estado está directamente en el sitio web.
En la pantalla, noto un PUE inusualmente alto - no en todas partes de Rusia se suele calcular, pero aun así 1.90 es bastante. La respuesta a esto es puramente económica - en 2012-2013 las estanterías en los centros de datos se vendían como pan caliente, así que no había tiempo para sentimentalismos ni eficiencia energética. Colocamos lo que hay en el mercado, lo hacemos lo más rápido posible y no nos preocupamos por esos PUE, ¿para qué? Aún en la fase de diseño se compran el 80-90% de las estanterías, mientras que la legislación en Rusia no quiere saber nada de la eficiencia energética. Aunque alguna comisión en Ámsterdam se llevaría un susto con tales cifras.
Nada personal. Solo negocios.
Otra característica es la identificación de los data halls. En cada sitio, los data halls tienen, además de la codificación alfanumérica "oficial", apodos "humanos" del alfabeto naval (Alfa-Bravo-Charlie-Delta…). Por alguna razón, a todos los clientes les gusta el nombre Whiskey.
En el cuidado del cliente, no hay detalles insignificantes.
Se instalan tales "vallas" para algunos clientes. No se nos permitió fotografiar en las salas de máquinas, por lo que esta foto es de DataLine ©
Los clientes de DataLine son en su mayoría grandes y respetadas empresas, y no les gusta que fotografíen su equipamiento. Sobre todo si el nombre (o logotipo) del cliente está escrito en la estantería con letras grandes. Simplemente no les gusta, y así de simple. Por eso fotografiamos las famosas paredes con diferentes inscripciones y la ingeniería. No se puede fotografiar toda la ingeniería ni en todos los lugares, pero lo intentamos. Dado que entre los clientes hay grandes y respetados, sus solicitudes pueden ser específicas: estanterías especiales (o incluso algún sistema de almacenamiento de datos de varias estanterías de diferentes proveedores), sus propias vallas, su sistema de control de acceso, su videovigilancia y un grupo de reacción rápida con armas automáticas. En general, una de las reglas no escritas (y también escritas) de DataLine es cuidar al cliente y hacerlo sentir bien. Desde chalecos hasta puestos de trabajo equipados con acceso a Internet y cargadores, hasta diversos eventos para clientes. Estos últimos son también muy útiles porque las mismas personas, al cambiar de empresa, traen a sus nuevas compañías a DataLine. Simplemente porque aquí todo es acogedor, conveniente y fiable. El negocio de DataLine no solo consiste en alquilar espacios en las estanterías. También incluye la nube, que está certificada tanto por la Ley 152-FZ como por PCI-DSS (sobre la cual planeamos hacer un podcast, estén atentos a los anuncios), y la provisión de conectividad (su propia fibra entre los sitios y desde cada uno de ellos hasta la M9, su propio anillo óptico por la ciudad, y así hasta la organización de la última milla hasta la oficina del cliente).
M - motivación
Hablando de las inscripciones, las ideas provienen no solo de los empleados, sino también de los socios y clientes, y después se pueden votar las más exitosas en de DataLine en FB. También se puede proponer una idea allí mismo.
Encuentro en el Elba
Cross-over (fotografía proporcionada por DataLine)
Nos detenemos en Meet-Me-Room, donde se encuentran los operadores. En MMR (hay tres pares en OST, de acuerdo con el número de entradas de fibra óptica, para activa y pasiva) se conectan todos los servicios de los data halls. En el cruce todo es aburrido y ordenado. Pero ahí donde está la activa del operador, recuerdas los mejores años y escenas de algún BM18: un lío de cables y equipos diversos (DLink, Extreme, Juniper, Mikrotik… y así hasta ASR9k). Hay más de cincuenta operadores aquí, así que todo es colorido. Desde el MMR, la fibra y el cobre se distribuyen por las salas de máquinas. Mínimo dos rutas para cada uno (hay variantes posibles), así que no hay que preocuparse por la fiabilidad de la conexión. MMR se llama "Elba", lo cual es bastante sutil.
¿Necesitas IBM Power?
Otra sorpresa es la IBM P-series, que nunca se ha encendido y lleva ya varios años en uno de los pasillos. La máquina (junto con la biblioteca de cintas y el sistema de almacenamiento) fue encargada por uno de los clientes, pero "no fue necesaria", así que se la regalaron al centro de datos. Desde entonces, ahí sigue.
Debe ser bueno ser chicos adinerados y hacer tales regalos, ¿verdad? (O tal vez no la regalaron, sino que se olvidaron de ella. O la perdieron en apuestas. Pero lleva mucho tiempo ahí)
Así que este bello se encuentra en NORD-4
Vamos al centro de energía: tres (o incluso cuatro) generadores diésel para cada centro de datos (recordemos que en OST hay cuatro). El diésel alcanza su plena capacidad en 30-40 segundos y entrega 1900 kVA. La reserva es N+1, sincronización y demás vienen incluidos. El mayor tiempo de operación con diésel en OST es de 12 horas; en NORD, 2.5 días (después de todo, un almacenamiento de 85 toneladas no es una broma).
Por supuesto, hay contratos con varias empresas de combustible para el suministro de diésel. La switch a diésel ocurre regularmente, así que se consume combustible y se revisan los contratos. A propósito, según los colegas, en NORD, durante la prueba del generador diésel, que normalmente no dura menos de una hora, en el lugar donde se expulsa el aire caliente de los diéseles, incluso en invierno, la hierba logra volverse verde.
Después de un breve refrigerio en la cafetería ya conocida, nos dirigimos al sitio de NORD. No es un solo centro de datos, sino cuatro edificios independientes en una misma área. Cada uno tiene sus propias entradas eléctricas, sus diéseles y su propio sistema de refrigeración. NORD-1 y NORD-2 han pasado la auditoría de M&O del Uptime Institute. El más nuevo (y el mejor centro de datos de DataLine) es NORD-4, así que nos dirigimos precisamente aquí.
A pesar de la aparente gran cantidad de centros de datos en Moscú, sigue habiendo una escasez. Por supuesto, te proporcionarán una o dos estanterías sin problemas. Incluso te darán veinte. Más que eso ya es un tema complicado (y DataLine tiene clientes con tales necesidades — no uno ni dos). Específicamente, en NORD-4 hay espacio (por ahora) porque un cliente grande se mudó a su propio centro de datos recién construido, pero en otros lugares puede que ya no tengas suerte. Sin embargo, actualmente se está llevando a cabo el diseño de NORD-5, que prometen lanzar a principios de 2020.
Pero volvamos a nuestro recorrido. Como viajábamos en coche, nos dejaron entrar en la compuerta, donde los soldados apuntaron a nuestro vehículo y verificaron la matrícula con la solicitud, mientras que todos los pasajeros fueron solicitados a salir para obtener sus permisos (por supuesto, con el pasaporte). Porque B — es seguridad.
NORD-4 es el orgullo de la empresa y una compilación de muchos años de experiencia en la construcción y operación de centros de datos, cuenta con certificaciones Uptime Institute Tier III para el diseño y la instalación (es decir, el centro de datos construido), así como Operacional Sustainability — los chicos se tomaron el asunto muy en serio. En su interior, hay cuatro zonas estancas independientes, cada una con dos salas dentro de un mismo edificio. Cada una tiene su propio centro energético (grupos electrógenos, salas de baterías), contornos de refrigeración y sistemas de extinción de incendios. Lo único común son las entradas de fibra óptica (dos por edificio) y MMR.
Modding de un ingeniero saludable
A la entrada del centro de datos, ya nos espera la cafetería que conocemos (¿y por qué no?). Subimos al centro de monitoreo. Actualmente hay dos principales: en OST y NORD-4 (en NORD-1, 2, 3 también hay sus respectivos turnos de guardia). Desde cada centro se puede vigilar ambos locales, garantizando así redundancia n+1 incluso aquí. En la pared de video, ya vemos los tableros de control que conocemos en tonos verdes (los parámetros que se muestran son, evidentemente, mucho más que en la pantalla de estado). Hablamos un poco sobre el monitoreo: sin modas como Prometheus y Grafana, solo Nagios, solo hardcore y visualizaciones personalizadas. Durante diez años (de hecho, incluso más) de uso, se han creado muchas verificaciones personalizadas y scripts, así que cambiar a algo diferente parece ser una gran aventura. Aproximadamente una vez al mes aparece otra empresa que ofrece solucionar todos los problemas de manera 'rápida y sin dolor', pero hasta ahora no ha sucedido. Por cierto, la pared de video también funciona con una solución hecha a medida, que resultó ser mucho más barata que las alternativas comerciales.
El Centro de Operaciones aquí
Cuando durante muchos años diseñas, construyes y operas centros de datos, ya no temes tanto hacer algo tú mismo, en lugar de comprar algo ya hecho. DataLine, por ejemplo, no duda en decir que, simplemente por el tamaño, ha pisado la mayor cantidad de errores posibles, y cada nuevo centro de datos es el hijo de errores difíciles y de una experiencia que ya supera los diez años. Por supuesto, en cada nuevo centro de datos hay sus propias innovaciones, y mientras paseas por NORD, te das cuenta de que la gente simplemente ha tomado la iniciativa y ha hecho bien. No es por presumir, ni por clasificaciones o certificaciones, es un proceso ingenieril habitual, donde en cada iteración creces y te vuelves mejor. Un observador externo diría que es aburrido y conservador, pero el cliente, por el contrario, apoya esta estabilidad con su propio dinero. Y para hacer las cosas bien, no es necesario comprar sistemas de ingeniería o software por mucho, mucho dinero (aunque a veces no se puede evitar). A menudo, la experiencia, el conocimiento y la astucia ingenieril son lo que realmente importa.
Por ejemplo, el edificio NORD-4 cuenta con 3,5 pisos. Los primeros tres son completos, con techos de 4,5 metros, donde se encuentran las salas de máquinas. Y el último es técnico, con una altura de solo 1,8 metros, y está destinado únicamente al sistema de refrigeración. Dado que el piso es técnico, los requisitos son mucho más bajos, lo que permitió simplificar el proyecto y ahorrar dinero.
Vista del centro de datos triangular
Max tiene un kung-fu especial para no aparecer en las fotos
Terminamos la excursión en el techo: desde aquí hay una excelente vista de la planta de energía cercana y del área residencial, así como de otros edificios de NORD. Dos de ellos son triangulares. Por esto, los colegas hasta se reían, diciendo que 'DataLine son tontos, construyen un centro de datos triangular'. Para instalar racks triangulares y servidores triangulares. Pero no importa: lo construyeron y lo están operando con éxito, al mismo tiempo que utilizan de manera efectiva el terreno disponible (que en Moscú, hay que decir, no es gratis). Otro hecho sorprendente (para mí) es que la mayoría de los clientes comerciales quieren ubicarse precisamente en Moscú. Un sitio a más de cincuenta kilómetros por la autopista de Minsk (incluso si tiene toda la potencia y las comunicaciones necesarias) ya interesa a muy pocos. Así que todos se aprietan en el espacio limitado.
Las torres de refrigeración ya no son un centro de datos, sino una planta de energía
Así ha llegado a su fin nuestro próximo viaje.
Después hubo una larga y productiva conversación sobre planes conjuntos y futuros podcasts (espero que no tengamos que esperar mucho), así que estén atentos a las noticias, pronto habrá más cosas interesantes.
Para aquellos que deseen ver todo con sus propios ojos, DataLine invita a una excursión. Totalmente gratis, pero con previa inscripción. Aquellos que mencionen la palabra clave 'linkmeup' ganarán puntos de karma.
¡Estén atentos!
Fuente: habr.com
