O problema de transporte máis importante en San Petersburgo son as pontes. Polas noites, por culpa deles, tes que fuxir da taberna sen rematar a cervexa. Ben, ou pagar o dobre por un taxi que de costume. Pola mañá, calcula coidadosamente o tempo para que, en canto se peche a ponte, chegue á estación coma unha mangosta áxil. Non consideramos ideoloxicamente prexudicial a opción de “pasar a noite nalgún lugar do centro, preto da estación”.
..."Falcón peregrino", que sae ás 5:30, foi inventado por persoas que odian os mouchos. Non, claro, é moi cómodo estar en Moscova ás nove da mañá, e San Petersburgo é incriblemente fermoso durante as noites brancas, pero ás cinco e media, cando subín ao taxi, quería virar a cabeza 270. graos á cotovía que inventou este tren da mañá.
"Todos os bos centros de datos son iguais", pensei cando descubrín que os mozos de DataLine nos convidaran a visitar.
Polo que se ve, cada centro de datos é bo (ou malo) un pouco á súa maneira, especialmente cando chegas ao grande, recolles todos os anciños da zona e aprendes leccións dos teus (e, un pouco, dos alleos). ) rica experiencia. Entón, nós (formados por cinco linkmeup líderes e os seus amigos e simpatizantes) decidimos comprobar o bo (ou non tan bo) dos centros de datos OST e NORD.
Conseguindo facer un pequeno traballo na estrada (podería haber un anuncio para un operador móbil aquí, pero non, a cobertura aínda era mala), descargamos na estación de Leningradsky. Ben, polo menos non baixo Gazmanov.
Comezamos o noso percorrido polos centros de datos "cal" con OST - "o mesmo" que "queimou" non hai moito tempo. Por que entre comiñas - despois. Mentres tanto, quedamos de pé, fumamos e esperamos aos que chegan tarde. Facendo fotos da oficina de RT ao lado. Hai moitas historias divertidas sobre este barrio: desde colocar asfalto fresco e pintar beiravías antes da chegada dos dignatarios, ata descontos nos cafés próximos que se ofrecían aos veciños de Dataline pola semellanza dos seus distintivos.
O portavoz da propaganda totalitaria
Centro de datos de modo estrito (acceso).
Pase, normas de conduta, moedor de carne na entrada - case o mesmo que vimos . Viches moitas cafeterías nos centros de datos? Agora coñecemos un par. Os empregados e os clientes teñen depósitos de "café" nos seus distintivos, que se repoñen regularmente. Así, dentro de límites razoables, podes tomarte un café de forma totalmente gratuíta. Nós, como queridos hóspedes, tamén fomos agasallados cunha comida.
Non podo dicir nada malo sobre o café: é bastante normal para unha cafetería de "cadea", pero a localización é involuntariamente cativadora e o interior está en liña coas mellores tradicións modernas.
Interior dunha cafetería local
As fotos mostran os centros de datos NORD
O percorrido comeza dende a oficina. Ademais das inscricións nas paredes e da combinación de cores branca e lima coñecida en todo o Runet, tamén hai todo tipo de cousas divertidas. Trátase de atrezzo sobrante das representacións de teatro corporativo (imaxinades o director técnico dunha rede de centros de datos xogando nunha obra de teatro? E coñecémolo persoalmente).
E é certo
Fotos das actuacións
O centro de datos (ou, mellor dito, catro centros de datos) están situados nun complexo de edificios industriais construídos no século anterior (entón a planta de Citroën, e na época soviética a planta de Gidroprivod), polo que, por unha banda, hai un duro aspecto industrial, vigas metálicas, ambiente de loft e artefactos industriais de diferentes épocas que aínda se atopan durante varias obras. Por outra banda, as zonas herméticas do centro de datos deben encaixar nas estruturas existentes e de cando en vez hai que facer compromisos coa realidade. Non obstante, non diría que estes compromisos afectasen á calidade, pero probablemente os mozos tiveron que traballar duro durante o deseño. Ademais, segundo os rumores, o Metro-2 pasa por algún lugar preto, pero isto non é certo.
Ademais do teatro, tamén hai un museo. Exposicións, naturalmente - achados arqueolóxicos
Unhas palabras sobre . Si, o edificio (ou mellor dito, o tellado) estaba realmente en chamas. Danos as unidades externas dos sistemas de refrixeración e as tubaxes de frío. Nalgún lugar queimouse o cableado e os aires acondicionados quedaron sen electricidade. Os tubos de freón explotaron nalgún lugar. Pero, a pesar diso, as zonas herméticas resistiron toneladas de auga vertidas sobre elas e o equipo sobreviviu. Restaurárono baixo o control da "sede" representada pola alta dirección de todo o mundo: arrastraron todos os tubos de cobre en Moscova e os seus arredores (incluso os trouxeron de noite nun BMW X5) e todos os sobrios. instaladores. Os equipos críticos dos datahalls danados (danados pola falta de frío, non polo lume!) foron trasladados rapidamente a outros salóns, de modo que ás cinco da mañá non só todos os seus servizos, senón tamén os seus clientes estaban en funcionamento.
Comprobamos persoalmente o salón que "máis sufriu" - excepto o cheiro a queimado e as baldosas substituídas do chan elevado, nada lembra o lume (excepto os bastidores de equipos que foron levados "temporalmente" a outro salón de datos, e quedou alí).
Panel de estado
Camiñando polos corredores, vemos unha pantalla táctil con algo moi semellante ao diagrama das salas de turbinas do centro de datos. Este é o panel de estado. Hai moitos deles nos corredores e permiten aos enxeñeiros no lugar atopar rapidamente, por exemplo, o aire acondicionado necesario e simplemente informar do estado actual.
O seguimento está construído en Nagios (agora xa hai varios clústeres independentes) e abrangue todos os centros de datos (tanto OST como NORD). Ademais, hai aplicacións para Android e iOS (para clientes e empregados) e unha páxina de estado directamente no sitio web.
Na pantalla noto un PUE inusualmente alto: non se acepta en todas partes en Rusia, pero aínda así 1.90 é algo alto. A resposta a isto é puramente económica: en 2012-2013, os racks nos centros de datos vendéronse como bolos quentes, polo que non había tempo para o sentimentalismo e a eficiencia enerxética. Instalamos o que hai no mercado, facémolo o máis rápido posible e non nos importa nada o teu PUE, porque por que? Mesmo na fase de deseño, cómpranse o 80-90% dos bastidores, pero a lexislación da Federación Rusa non quere saber nada sobre a eficiencia enerxética. Aínda que algunha comisión en Amsterdam estaría satisfeita con tales cifras.
Nada persoal. Só negocios.
Outra característica é a marcación de salas de datos. En cada sitio, as salas de datos, ademais da codificación alfanumérica "oficial", teñen pseudónimos "humanos" do alfabeto naval (Alpha-Bravo-Charlie-Delta...). Por algunha razón, todos os clientes adoran a sala de whisky.
Non hai pequenos detalles cando se trata de atención ao cliente.
Tales "valos" érguense para algúns clientes. Non se nos permitiu facer fotos nas salas de turbinas, polo que a foto é DataLine ©
Os clientes de DataLine son principalmente empresas grandes e respectadas, realmente non lles gusta que se lles fotografe o equipo. Ademais, se o nome (ou o logotipo) do cliente está escrito directamente no mostrador en letras grandes. Non lles gusta - iso é todo. Por iso, filmamos as xa famosas paredes con varias inscricións, e o enxeñeiro. Tampouco é posible fotografar a todo o enxeñeiro nin en todas partes, pero intentámolo. Dado que os nosos clientes son grandes e respectados, tamén teñen solicitudes específicas: bastidores especiais (ou algún tipo de sistema de almacenamento uber de varios racks de vendedores), os seus propios valos, os seus propios sistemas de control de acceso, a súa propia videovixilancia e un equipo de resposta rápida con metralladoras. En xeral, unha das regras non ditas (e públicas) de DataLine é coidar do cliente e facerlle ben. Dende chalecos e postos de traballo equipados con acceso a Internet e cargadores, ata diversos eventos para clientes. Estes últimos tamén son moi útiles xa que as mesmas persoas, pasando de empresa en empresa, os achegan a DataLine. Simplemente porque aquí todo é acolledor, cómodo e fiable. O negocio de DataLine non consiste só en alugar espazo en rack. Esta tamén é unha nube, certificada simultaneamente segundo 152-FZ e PCI-DSS (imos facer un podcast sobre ela, estaremos atentos aos anuncios) e proporciona conectividade (as súas propias fibras entre os sitios e de cada un deles a M9, o seu propio anel óptico en toda a cidade, e así ata a organización da última milla ata a oficina do cliente).
M - motivación
Falando de inscricións, as ideas veñen non só dos empregados, senón tamén dos socios e dos clientes, despois de que podes votar polos máis exitosos. DataLine en FB. Pois alí podes propoñer a túa idea.
Encontro no Elba
Cross (foto cortesía de DataLine)
Paramos no Meet-Me-Room, onde están os operadores. En MMR (hai tres pares en OST, segundo o número de entradas ópticas principais, para activa e pasiva) combínanse conexións de todas as salas de datos. No zapato de travesía todo é aburrido e ordenado. Pero onde está a cámara activa, lembras os mellores anos e imaxes dalgúns BM18: fideos feitos con fíos e equipos variados (DLink, Extreme, Juniper, Mikrotik... e así ata ASR9k). Aquí hai máis de cincuenta operadores, polo que todo é colorido. Desde o MMR, a óptica e o cobre distribúense ás salas de máquinas. Polo menos dúas rutas para cada unha (as variantes son posibles), polo que non tes que preocuparte pola fiabilidade da conexión. MMR chámase "Elba", que é bastante sutil.
IBM Power nada?
Outro achado é unha serie P de IBM, que nunca se acendeu, e leva varios anos parada nun dos corredores. A máquina (xunto coa biblioteca de cintas e o sistema de almacenamento) foi encargada por un dos clientes, pero "non foi útil", polo que foi doada ao centro de datos. Está en pé dende entón.
Probablemente sexa bo ser rapaces ricos e facer tales agasallos, non? (Ou quizais non o regalaron, pero esquecéronlle. Ou perderon nas cartas. Pero xa hai moito tempo)
Este guapo está en NORD-4
Imos ao centro de enerxía: tres (ou incluso catro) grupos electróxenos diésel para cada centro de datos (permíteme recordarche que hai catro en OST). O motor diésel alcanza a máxima potencia en 30-40 segundos e produce 1900 kVA. Redundancia N+1, sincronización, etc. incluída. O tempo de permanencia máis longo nos motores diésel en OST é de 12 horas. en NORD - 2.5 días (despois de todo, unha instalación de almacenamento de 85 toneladas non é moito diñeiro).
Iso si, hai acordos con diversas empresas de combustible para a subministración de combustible. O cambio ao gasóleo prodúcese regularmente, polo que tanto se produce combustible como se verifican os contratos. Por certo, segundo os colegas, en NORD, ao probar grupos electrógenos diésel, que adoitan levar máis dunha hora, no lugar onde se emite aire quente dos motores diésel, mesmo no inverno a herba consegue poñerse verde.
Despois dunha pequena merenda nunha cafetería coñecida, dirixímonos ao sitio NORD. Este tampouco é un centro de datos, senón catro edificios independentes no mesmo territorio. Cada un ten as súas propias entradas de electricidade, os seus propios motores diésel e o seu propio refrixeración. NORD-1 e NORD-2 foron auditados polo Uptime Institute M&O. O último (e o mellor centro de datos DataLine) é NORD-4, polo que aí imos.
A pesar do aparentemente enorme número de centros de datos en Moscova, aínda hai escaseza. Non, por suposto, un ou dous bastidores serán enviados a vostede sen ningún problema. Incluso che darán vinte. Máis é unha pregunta (e DataLine ten máis dun ou dous clientes con tales necesidades). En concreto, en NORD-4 hai un lugar (polo momento), porque un gran cliente mudouse ao seu propio centro de datos recén construído, pero noutros lugares quizais non teña tanta sorte. Non obstante, o deseño de NORD-5 está agora en pleno apoxeo, que se promete lanzar a principios de 2020.
Pero volvamos á nosa excursión. Como viaxábamos en coche, deixáronnos entrar na pasarela, onde os metralladores apuntáronnos, comprobaron o noso número de coche coa aplicación e pedíronnos a todos os pasaxeiros que saísen para sacar os pases (co pasaporte, claro). Porque B é seguridade.
NORD-4 é o orgullo da empresa e unha compilación de moitos anos de experiencia na construción e operación de centros de datos, ten certificados de Uptime Institute Tier III para proxecto de deseño e instalación (é dicir, centro de datos construído), así como para a sustentabilidade operativa. - os rapaces abordaron o asunto o máis de preto posible con responsabilidade. No seu interior hai catro zonas herméticas, independentes entre si, con dous salóns cada un no interior dun edificio. Cada un ten o seu propio centro de enerxía (grupo electróxeno diésel, cuartos de baterías), circuítos de refrixeración e sistemas de extinción de incendios. Xeral: entradas ópticas (hai dúas por edificio) e MMR.
Enxeñeiro saudable Modding
Na entrada do centro de datos agarda unha cafetería xa coñecida para nós (ben, por que non?). Subimos ao centro de vixilancia. Agora hai dous principais: en OST e NORD-4 (NORD-1,2,3 tamén teñen os seus propios turnos de traballo). Desde cada centro pódese mirar os dous sitios, polo que aínda aquí se garante a redundancia n+1. No muro de vídeo xa hai paneis coñecidos nun esquema de cores verde claro (hai, por suposto, moitos máis parámetros nel que na pantalla de estado). Comunicamos un pouco sobre o seguimento: sen Prometheus e Grafan elegantes, só Nagios, só visualización hardcore e caseira. Durante dez anos (sen embargo, aínda máis) de uso, xa se escribiron moitas verificacións e guións personalizados, polo que cambiar a outra cousa parece unha aposta. Aproximadamente unha vez ao mes aparece outra empresa que se ofrece a resolver todos os problemas "de forma rápida e sen dor", pero dalgún xeito aínda non funciona. O muro de vídeo, por certo, tamén funciona nunha solución autoensamblada, que resultou ser varias veces máis barata que os análogos comerciais.
Centro de control local
Cando levas moitos anos deseñando, construíndo e operando centros de datos, xa non tes tanto medo de facer algo ti mesmo que de comprar algo xa feito. DataLine, por exemplo, non dubida en dicir que, simplemente pola escala, pisaron o máximo número de erros, e cada novo centro de datos é froito de erros difíciles e da experiencia que leva máis de dez anos. . Por suposto, cada novo centro de datos ten o seu propio coñecemento e, mentres paseas por NORD, de cando en vez te das a pensar que a xente só o fixo e o fixo ben. Non para lucir, nin para as cualificacións e certificados: un proceso de enxeñería normal, cando en cada iteración creces por riba de ti mesmo e te fai mellor e mellor. Un observador externo dirá que isto é aburrido e conservador, pero o cliente, pola contra, mantén esa estabilidade co seu propio diñeiro. E para facelo ben, non é para nada necesario mercar sistemas de enxeñería ou software por moito, moito diñeiro (aínda que ás veces non se pode facer sen el). A experiencia, o coñecemento e o enxeño da enxeñaría moitas veces deciden.
Por exemplo, o edificio NORD-4 ten 3,5 plantas. Os tres primeiros son completos, con teitos de 4.5 metros, onde se sitúan as salas de turbinas. E o último é técnico, de só 1.8 metros de altura, e está dedicado exclusivamente ao sistema de refrixeración. Dado que o chan é técnico, os requisitos para iso son moito máis baixos, o que simplificou o proxecto e aforrou diñeiro.
Vista do centro de datos triangular
Max ten unha habilidade especial de kung fu para non queimarse nas fotos
Rematamos o percorrido no tellado: dende aquí temos unha excelente vista da central térmica próxima e da zona residencial, así como doutros edificios NORD. Dous deles son triangulares. Sobre isto, os compañeiros ata riron de que "DataLine son imbéciles, por algún motivo están construíndo un centro de datos triangular" para instalar alí racks triangulares e servidores triangulares. Pero nada: construíron e están a funcionar con éxito e, ao mesmo tempo, empregan eficazmente o territorio existente (que en Moscova, hai que dicir, non é gratuíto). Outro feito sorprendente (para min) é que a maioría dos clientes comerciais queren estar situados en Moscova. Un sitio a medio centenar de quilómetros ao longo da estrada de Minsk (aínda que haxa todas as capacidades e comunicacións necesarias) xa non interesa a ninguén. Así que todo o mundo se acurruca nun non de goma.
As torres de refrixeración xa non son centros de datos, senón centrais térmicas
Con isto a nosa próxima viaxe chegou ao seu fin.
Despois houbo outra longa e produtiva conversación sobre plans conxuntos e futuros podcasts (espero que non teñamos que esperar moito), así que estade atentos, que pronto haberá cousas máis interesantes.
Ben, se queres ver todo cos teus propios ollos, DataLine convídache a facer un percorrido. Totalmente gratuíto, pero con cita previa. Aqueles que chamen a palabra clave "linkmeup" terán un plus en karma.
Sexa atento!
Fonte: www.habr.com
