O principal problema de transporte em São Petersburgo são as pontes. À noite, temos que sair correndo do bar, sem terminar a cerveja, ou pagar o dobro do preço pelo táxi. De manhã, é indispensável calcular cuidadosamente o tempo, para que, assim que a ponte abaixar, você consiga chegar à estação como um mangusto ágil. Não consideramos a opção de "dormir em algum lugar no centro, perto da estação" como ideologicamente aceitável.
…"Sapsan", que parte às 5h30, foi pensado por pessoas que odeiam corujas. Não, sem dúvidas, é muito conveniente estar em Moscovo às nove da manhã, e São Petersburgo é incrivelmente linda durante as noites brancas, mas às 4h30, quando entrei no táxi, queria virar a cabeça em 270 graus para aquele bem-te-vi que inventou este trem matinal.
"Todos os bons centros de dados são iguais entre si" — pensei quando soube que fomos convidados pelos caras da DataLine.
Como se viu, cada centro de dados é bom (ou ruim) à sua maneira, especialmente depois de acumular algumas experiências, colher todos os erros ao redor e aprender com o próprio (e um pouco do alheio) rico aprendizado. Assim, nós (compostos por cinco principais linkmeup e amigos e simpatizantes que se juntaram a nós) decidimos conferir quão bons (ou não) são os centros de dados OST e NORD.
Depois de trabalhar um pouco durante a viagem (aqui poderia haver a propaganda de uma operadora móvel, mas não — a cobertura continua tão ruim quanto antes), desembarcamos na estação de Leningrado. Bem, pelo menos não é sob Gazmanov.
Iniciamos nossa visita aos centros de dados "verdes" com OST — "aquele mesmo" que recentemente pegou fogo. Por que entre aspas — explicaremos depois. Por enquanto, estamos aqui, fumando e aguardando atrasados. Estamos fotografando o escritório da RT nas proximidades. Há muitas histórias divertidas sobre essa vizinhança — começando com a colocação de asfalto fresco e pintura de meios-fios antes da chegada de Pessoas Importantes, até os descontos nos cafés locais oferecidos aos dataliners por causa da semelhança dos crachás.
Megafone da propaganda totalitária.
Centro de dados de regime rigoroso (de acesso restrito).
O crachá, as regras de conduta e o 'moedor de carne' na entrada — quase o mesmo que vimos . E quantas cafeterias você já viu em data centers? Nós agora conhecemos algumas. Os funcionários e clientes têm créditos de “café” em seus crachás, que são regularmente recarregados, então em limites razoáveis você pode se servir de café completamente grátis. Nós, como convidados especiais, também recebemos algumas cortesias.
Não posso dizer nada de ruim sobre o café — é bem comum para uma cafeteria “de rede”, mas a localização é encantadora e o interior está em linha com as melhores tradições modernas.
O interior da cafeteria local
Nas fotos, os data centers NORD
A visita começa no escritório. Além das inscrições conhecidas em todo o Runet nas paredes e da paleta branco-verde, há também várias coisas divertidas. Isso é um adereço que sobrou das apresentações do teatro corporativo (consegue imaginar o diretor técnico da rede de data centers atuando em uma peça? Pois nós o conhecemos pessoalmente).
E é verdade
Fotos das apresentações
O data center (ou melhor, quatro data centers) está localizado em um complexo de edifícios industriais construídos ainda no século passado (naquela época — uma fábrica da ‘Citroën’, e durante a era soviética — uma fábrica de ‘Hidrop驱动’), então, de um lado — há um estilo industrial austero, vigas de metal, atmosfera de loft e artefatos industriais de várias épocas que ainda são encontrados durante diversos trabalhos. Por outro lado — as zonas de segurança do data center precisam se integrar nas estruturas existentes, o que requer algumas concessões à realidade. No entanto, não diria que essas concessões afetaram a qualidade — mas, com certeza, foi um desafio para a equipe durante o planejamento. Além disso, rumores dizem que uma linha do Metro-2 passa por aqui, mas isso não é certo.
Além do teatro, há também um museu. Os itens em exibição são, de fato, descobertas arqueológicas.
Algumas palavras sobre Sim, o edifício (ou melhor, o telhado) realmente pegou fogo. Os blocos externos dos sistemas de refrigeração e as tubulações de refrigerante foram danificados. Em alguns lugares, a fiação queimou e os condicionadores de ar ficaram sem eletricidade. Em outros, os dutos de refrigerante explodiram. Mas, apesar disso, as zonas herméticas suportaram toneladas de água despejada sobre elas, e os equipamentos sobreviveram. A recuperação foi feita sob a supervisão da "equipe" composta pela alta administração, que mobilizou todos — conseguiram reunir todas as tubulações de cobre em Moscovo e arredores (inclusive trazendo durante a noite em BMW X5) e todos os montadores sóbrios. O equipamento crítico das salas de dados afetadas (afetadas pela ausência de frio, não pelo fogo!) foi rapidamente transferido para outras salas, então, às cinco da manhã, não apenas todos os nossos serviços foram restaurados, mas também os dos clientes.
Nós verificamos pessoalmente aquela sala que mais "sofreu" — além do cheiro de queimado e das placas de piso substituídas, não há nada que lembre o incêndio (exceto os racks com equipamentos, que foram "temporariamente" removidos para outro datacenter e lá permaneceram).
Painel de Status
Passeando pelos corredores, vejo um display sensível ao toque com algo muito parecido com o esquema das salas de máquinas do Data Center. Este é o painel de status. Há vários deles nos corredores, e permitem que os engenheiros no local encontrem rapidamente, por exemplo, o condicionador de ar necessário, além de informar o status atual.
O monitoramento é baseado no Nagios (agora já em vários clusters independentes) e cobre todos os data centers (tanto o OST quanto o NORD). Além disso, há aplicativos para Android e iOS (para clientes e funcionários), e a página de status está diretamente no site.
No display, notei um PUE incomumente alto — não é comum contar isso em toda a Rússia, mas mesmo assim 1,90 é um pouco excessivo. A resposta a isso é puramente econômica — em 2012-2013, os racks nos data centers saíram como pães quentes, então não havia tempo para sentimentalismos e eficiência energética. Colocamos o que há no mercado, fazemos o mais rápido possível e não nos preocupamos com esse seu PUE, pois para que? Já na fase de projeto, 80-90% dos racks são confirmados, e a legislação na Rússia não se importa nada com eficiência energética. Embora uma comissão em Amsterdã certamente ficaria chocada com esses números.
Nada pessoal. Apenas negócios.
Outra característica é a identificação dos data halls. Em cada local, os data halls, além da codificação alfanumérica "oficial", têm pseudônimos "humanos" do alfabeto fonético da marinha (Alfa-Brasil-Charlie-Delta...). Por alguma razão, todos os clientes adoram a sala de Whiskey.
No que diz respeito ao atendimento ao cliente, não existem detalhes pequenos.
Essas "cercas" são estabelecidas para alguns clientes. Não nos permitiram tirar fotos nas máquinas, por isso a foto é de DataLine ©.
Os clientes da DataLine são grandes e respeitadas empresas que não gostam nada de ter seu equipamento fotografado. Especialmente se o nome (ou logo) do cliente estiver escrito em letras grandes no rack. Eles não gostam — e é isso. Por isso, fotografamos as já famosas paredes com várias inscrições, assim como a parte técnica. Também não podemos fotografar toda a parte técnica, nem em qualquer lugar, mas nos esforçamos. Dado que entre os clientes estão grandes e respeitadas empresas, seus pedidos também são específicos — racks especiais (ou até alguma solução de armazenamento de dados de vários fornecedores), suas cercas, seu controle de acesso, suas câmeras de segurança e uma equipe de resposta rápida armada. De modo geral, uma das regras não escritas (e também faladas) da DataLine é cuidar do cliente e fazer o melhor para ele. Desde coletes e estações de trabalho equipadas com acesso à internet e carregadores até eventos diversos para os clientes. Estes últimos são muito úteis também pelo fato de que as mesmas pessoas, mudando de empresa, as trazem para a DataLine. Simplesmente porque aqui tudo é aconchegante, prático e confiável. O negócio da DataLine não se resume apenas à locação de espaços em racks. É também uma nuvem, certificada simultaneamente tanto pela Lei 152-FZ quanto pelo PCI-DSS (sobre isso planejamos fazer um podcast, fique atento aos anúncios), e fornecimento de conectividade (nossos cabos entre os locais e de cada um deles até a M9, nosso anel óptico pela cidade, e até a organização da última milha até o escritório do cliente).
M — motivação
A propósito, sobre as inscrições — as ideias não vêm apenas dos funcionários, mas também de parceiros e clientes, após o que as melhores podem ser votadas na da DataLine no FB. E você pode sugerir sua ideia lá também.
Encontro na Elba
Crosstalk (foto fornecida pela DataLine)
Estamos parando no Meet-Me-Room, onde estão os operadores. No MMR (que no OST possui três pares, de acordo com o número de entradas de fibra óptica, para ativos e passivos) são realizadas as conexões de todos os data halls. Na sala de cross-connect tudo é monótono e organizado. Mas lá onde fica o ativo dos operadores, você se lembra dos melhores anos e de cenas de algum BM18: um emaranhado de cabos e equipamentos diversos (DLink, Extreme, Juniper, Mikrotik… e assim até o ASR9k). Aqui, os operadores são mais de cinquenta, então tudo é colorido. Do MMR, a fibra óptica e o cobre se distribuem pelos centros de máquina. Mínimo de duas rotas para cada um (possíveis variações), então você pode ficar tranquilo quanto à confiabilidade da conexão. O MMR é chamado de “Elba”, o que é bastante sutil.
Precisa de IBM Power?
Outra descoberta é o IBM P-series, que nunca foi ligado e está há alguns anos em um dos corredores. A máquina (junto com a biblioteca de fitas e o armazenamento) foi encomendada por um dos clientes, mas 'não foi utilizada', então foi doada ao data center. Desde então, está lá.
Deve ser bom ser um cara rico e fazer esses tipos de doações, né? (Ou talvez não tenham doado, mas esqueceram. Ou perderam em um jogo de cartas. Mas já faz tempo que está lá)
Esse belo exemplar está no NORD-4
Vamos ao centro de energia — três (ou até quatro) geradores a diesel para cada data center (para lembrar, no OST há quatro deles). O gerador atinge a potência máxima em 30-40 segundos e fornece 1900kVA. Reserva N+1, sincronização e mais — tudo incluso. O maior tempo operando com diesel no OST é 12 horas. No NORD — 2,5 dias (afinal, um armazenamento de 85 toneladas não é brincadeira).
É claro que existem contratos com várias empresas de combustíveis para o fornecimento de combustível. A troca para diesel acontece regularmente, então o combustível é consumido e os contratos são verificados. A propósito, segundo os colegas, no NORD, durante os testes dos geradores, que geralmente levam mais de uma hora, o lugar onde o ar quente dos geradores é expelido, até no inverno, consegue fazer a grama ficar verde.
Após um rápido lanche na cafeteria já conhecida, vamos para a área do NORD. Este também não é um único data center, mas quatro edifícios independentes em uma mesma área. Cada um possui suas próprias entradas de eletricidade, seus geradores e seu próprio sistema de resfriamento. O NORD-1 e NORD-2 passaram pela auditoria do Uptime Institute M&O. O mais recente (e o melhor data center da DataLine) é o NORD-4, então vamos exatamente para cá.
Apesar da enorme quantidade de data centers em Moscovo, ainda assim há uma escassez. Claro, você pode conseguir uma ou duas racks sem problemas. Até mesmo vinte, não há dificuldade. Mais do que isso, já é uma questão (e entre os clientes da DataLine com tais necessidades, não há apenas um ou dois). No NORD-4, ainda há espaço (por enquanto), porque um grande cliente se mudou para seu próprio data center recém-construído, mas em outros lugares isso pode não acontecer. Entretanto, o projeto do NORD-5 está em andamento, e prometem lançá-lo no início de 2020.
Mas vamos voltar à nossa excursão. Como estávamos de carro, fomos conduzidos para um portão, onde guardas armados checaram o número do nosso carro com a solicitação, e todos os passageiros foram solicitados a sair para obter os crachás (evidentemente, com passaporte). Pois a segurança é primordial.
O NORD-4 é o orgulho da empresa e uma compilação de anos de experiência na construção e operação de data centers; possui certificações do Uptime Institute Tier III para o projeto e instalações (ou seja, o data center construído), bem como Sustentabilidade Operacional — a equipe se dedicou ao trabalho de maneira extremamente cuidadosa. Internamente, existem quatro zonas herméticas independentes, com dois halls dentro de um único edifício. Cada uma delas possui seu próprio centro de energia (geradores, salas de baterias), circuitos de resfriamento e sistemas de combate a incêndio. O único ponto em comum são as entradas de fibra óptica (duas para o edifício) e MMR.
A modificação de um engenheiro saudável
Na entrada do Data Center, já nos aguarda a cafeteria familiar (por que não?). Subimos para o centro de monitoramento. Atualmente, existem dois principais — no OST e no NORD-4 (no NORD-1, 2 e 3 também há suas respectivas equipes de plantão). De cada centro, é possível monitorar ambas as instalações, garantindo assim redundância n+1 mesmo aqui. Na parede de vídeos, estão os painéis que já conhecemos em tons de verde (os parâmetros ali, como é de se imaginar, são muito mais numerosos do que no painel de status). Conversamos um pouco sobre monitoramento — nada de promessas da moda como Prometheus ou Grafana, apenas Nagios, puro hardcore e visualização personalizada. Em dez anos (ou até mais) de uso, já foram desenvolvidas inúmeras verificações personalizadas e scripts, tornando a migração para outra solução uma verdadeira aventura. Aproximadamente uma vez por mês, aparece uma nova empresa que promete resolver todos os problemas de forma "rápida e indolor", mas até agora isso não se concretizou. A parede de vídeos, aliás, também opera com uma solução caseira, que saiu muito mais barata do que as opções comerciais.
Aqui é o Centro de Controle
Quando se projeta, constrói e opera data centers por muitos anos, você já não tem tanto medo de fazer algo por conta própria, ao invés de comprar soluções prontas. A DataLine, por exemplo, não hesita em afirmar que, simplesmente pelo tamanho, já pisaram em um número máximo de armadilhas, e cada novo Data Center é o filho de erros difíceis e de uma experiência que já ultrapassa dez anos. Claro, em cada novo Data Center existem suas inovações, e ao caminhar pelo NORD, você se pega pensando que as pessoas simplesmente foram lá e fizeram bem. Não por ostentação, nem por classificações e certificações — é um processo de engenharia comum, onde a cada iteração você supera a si mesmo e se torna cada vez melhor. Um observador externo diria que isso é entediante e conservador, enquanto o cliente, pelo contrário, apoia essa estabilidade com seu próprio dinheiro. E para fazer bem, não é necessário comprar sistemas de engenharia ou software por preços exorbitantes (embora em algumas situações isso seja inevitável). Frequentemente, o que faz a diferença é a experiência, o conhecimento e a engenhosidade.
Por exemplo, o edifício NORD-4 tem 3,5 andares. Os primeiros três são completos, com tetos de 4,5 metros, onde estão localizadas as salas de máquinas. E o último é técnico, com apenas 1,8 metros de altura, dedicado puramente ao sistema de refrigeração. Como o andar é técnico, as exigências são muito mais baixas, o que permitiu simplificar o projeto e economizar dinheiro.
Vista do Data Center triangular
Max tem um kung-fu especial para não aparecer em fotos
Concluímos nosso tour no telhado — daqui a vista é ótima, com a usina termelétrica e o conjunto habitacional ao lado, além de outros edifícios NORD. Dois deles são triangulares. Sobre isso, os colegas até riram, dizendo que 'DataLine é idiota, construindo um Data Center triangular'. Para colocar lá racks triangulares e servidores triangulares. Mas nada — construíram e estão operando com sucesso, aproveitando eficientemente o terreno disponível (que em Moscou, devo dizer, não é gratuito). Outro fato surpreendente (para mim) — a maioria dos clientes comerciais quer se estabelecer em Moscou. O local a apenas cinquenta quilômetros pela autoestrada Minsk (mesmo que haja toda a infraestrutura necessária) já não interessa a quase ninguém. Assim, todos se espremem em um espaço limitado.
As torres de resfriamento não são mais um Data Center, mas uma usina termelétrica
Com isso, nossa viagem chegou ao fim.
Depois, houve uma longa e produtiva conversa sobre planos conjuntos e futuros podcasts (espero que não demore muito), então fiquem de olho nas notícias, em breve haverá muito mais conteúdo interessante.
Os interessados em ver tudo com seus próprios olhos são convidados pela DataLine para uma visita. Totalmente gratuita, mas com agendamento prévio. Aqueles que mencionarem a palavra-chave 'linkmeup' — ganham um ponto na karma.
Fique atento!
Fonte: habr.com
