Os primeiros dias de verão são perfeitos para uma viagem de desenvolvimento a São Petersburgo.
Visitaremos o Miran, linxdatacenter, RETN e Metrotek.

5 da manhã, Estação de Moscovo, KFC, margem do rio Moika, Prato, pombos nos telhados, Isaac, Campo de Marte, Captura yandex.drive, e aí está — Miran.

Miran

No Miran, a nossa equipe com Eva reside há vários anos, servidor de transmissão, roteador virtual Mikrotik RouterOS, hosting linkmeup com acessibilidade IPv6 e agora hosting para podcasts.

Na entrada do Miran, inicialmente fomos recebidos por um DG de tamanho impressionante.

A maioria das Unidades Geradoras a Diesel estão montadas sobre rodas por duas razões:

• Mobilidade — a algumas centenas de metros existem mais alguns módulos do Miran. Eles têm seus próprios geradores — mas nunca se sabe — pode ser necessário movê-los.
• Mobilidade — não precisam ser registradas como estações elétricas estacionárias e, consequentemente, não é necessária documentação de projeto.

O DG do Miran é acionado em poucos segundos, tanto no inverno quanto no verão. Durante esse tempo, toda a sala de servidores é alimentada por baterias.

E o HP robusto no rack do Miran e a excursão se tornaram possíveis graças a Fyodor Rusakov.

Toda a excursão ocorreu em uma atmosfera aconchegante e familiar. Café com biscoitos, conversa sobre telecomunicações, sobre as origens da empresa, sobre o transporte de duzentos servidores de Moscovo para São Petersburgo sob a cobertura da noite. Sem pressa, passeamos por dois edifícios do centro de dados. Ambos — BrownField — convertidos de instalações fabris. No primeiro, pertencente ao Miran, onde começamos e onde recarregamos no segundo andar após quatro horas de passeio por São Petersburgo, anteriormente estava uma fábrica de unidades a diesel, verdadeiramente gigantescas unidades a diesel. Na verdade, não havia um segundo andar — havia enormes portões para o trânsito de ida e volta. Tudo foi desmontado, o segundo andar foi feito, resfriamento ativo, fornecimento de energia redundante, sistema de gás para combate a incêndios.

Corredor quente clássico, de onde o ar é enviado para os condicionadores e sob o piso falso para o corredor frio fechado.

Além disso, sob o piso falso estão escondidos os cabos de energia.

O Miran não nasceu como uma plataforma para um único cliente âncora, mas sim desenvolveu gradualmente a oferta no mercado onde há demanda.

No passado, havia um grande banco aqui com todas as grades e sistemas de controle de acesso, mas ele já se mudou.

A demanda continuou a aumentar, assim como a Miran; um segundo edifício surgiu — já para locação — também BrownField — a duzentos metros do primeiro. A estrada segue ao longo da orla do Grande Neva, passando pela casa de Nobel.

O novo edifício foi construído com um princípio modular, podendo transportar um módulo inteiro em caso de problemas com o locador. As duas primeiras caixas foram compradas do fabricante; a terceira foi montada levando em conta os erros anteriores.

A arquitetura modular teve suas desvantagens — é relativamente estreita — o corredor quente tem 60 cm — duas pessoas não conseguem passar. E o mais importante — o custo de mudança, como ficou claro no primeiro cálculo, é comparável ao da construção de um novo edifício.

Mas eles parecem frescos e modernos tanto por fora quanto por dentro.

O NOC dos rapazes roda em um Linux ortodoxo, no Debian estável.

Curiosamente, o nome da empresa foi inspirado na placa Sistema Meridian Integrated Recorded Announcement (MIRAN) do comutador telefônico Meridian. E assim o data center também recebeu esse nome.

A decisão de construir o data center foi tomada em 2008, um ano complicado.

Desde então, a equipe oferece serviços dedicados e colocation. O equipamento dos operadores foi instalado em salas especiais.

E isso impõe certas restrições e características ao trabalho. Por exemplo, nas prateleiras, encontra-se uma combinação extremamente variada de equipamentos, tanto em termos de máquinas quanto de rede. No Miran, só não vi equipamentos da Arista e Mellanox. Cada equipamento possui exigências diferentes de temperatura no corredor frio, portanto, é preciso manter um nível muito baixo — em torno de 20°C, ou seja, não se pode falar em baixos PUE — no Miran, é 1,5.
Outro detalhe — com os casamentos de cabos nas prateleiras. Assim que você permite a entrada de externos com suas conexões, pode escrever 'acabou a beleza'. Ninguém tem exceções.

Infelizmente, implementar medidas drásticas aqui pode ser prejudicial para si mesmo.

Últimas fotos.

E então, merchandise da nossa mesa para a sua e da sua para a nossa. Carregados em grupo em um táxi — e rumo ao linx.

linxdatacenter

Estes são caras sérios, cujo passe temporário até diz 'Security Matters'. Isso será um tema central de toda a excursão.

Após a experiência no doce Miran, no linxdatacenter você percebe que chegou a um data center luxuoso. Em seu dia de folga, 4 pessoas se reuniram, para ser honesto, não no centro da cidade, para contar sobre si mesmas para outras cinco pessoas, que dificilmente se tornarão seus clientes 🙂

Fomos recebidos por Maria Svistunova, que nos levou até uma grande mesa de reuniões. Depois de algumas conversas informais com café guatemalteco, fomos em frente.

As excursões aqui são realizadas em ritmo acelerado. Maxim e Oleg sabem o que fazem: compartilham informações de forma clara e com entusiasmo. Sabem onde enfatizar e onde não, sempre com um bom senso de humor, fazendo com que mais de duas horas passem rapidamente.

O orgulho do Data Center é o uptime de 100% desde sua inauguração em 2011.

A confiança é tão alta que nem mesmo há espaço para as frações de décimos no display.

Linx é um exemplo de Data Center no formato GreenField. O prédio foi projetado especificamente para abrigar um Data Center. Portanto, a altura do teto, a robustez das lajes e as entradas de energia, incluindo sua redundância e infraestrutura de cabeamento, foram planejadas desde a fase de construção.

Por padrão, o piso suporta um rack de 800 kg, mas essa carga pode ser aumentada após reforços adicionais. Dizem que racks de oráculo que custam como um Falcon9 exigem um tratamento especial.

O próprio Data Center é alimentado por uma instalação de gás e pistão, enquanto a eletricidade da cidade é apenas uma reserva. Segundo Maxim, essa foi uma decisão muito acertada, pois durante o famoso blackout de São Petersburgo, o escritório e o edifício comercial ao lado sofreram danos, mas o Data Center continuou a operar.

O gerador a diesel aqui não é mais um reboque, mas uma instalação fixa com chaminés que se erguem acima da paisagem.

O tempo de inicialização não ultrapassa dois minutos, e com as baterias, todo o Data Center pode operar por cerca de uma hora. A operação do gerador a diesel pode durar 3 dias sem reabastecimento.

Aqui, tudo é marcado por ordem e planejamento.

Este é, por exemplo, o local onde os clientes do Data Center podem pegar as chaves de seus racks usando a impressão digital.

E esta é uma sala onde os clientes podem realizar qualquer trabalho técnico necessário, com ferramentas adequadas disponíveis na parede.

Estas são estantes para utilização local, com tudo o que é vital para o dia a dia:

Ela está sempre carregada e pronta para uso.

O boné de um jovem hip-hopper na foto acima já salvou a cabeça de várias pessoas. É sólido como um capacete de verdade — ideal para se arrastar sob um piso falso de um metro e meio, onde às vezes aparece algum metal afiado.

Essencialmente, os funcionários de operações:

Este dispositivo nada especial é um manômetro.

Ele tem como objetivo resolver uma tarefa simples: manter a diferença de pressão entre o corredor e a casa das máquinas. Por exemplo, para que a pressão interna seja um pouco maior e, ao abrir a porta, a poeira não entre, mas sim se afaste da porta.

O sistema de combate a incêndio também é a gás – em caso de emergência, o gás desloca o oxigênio e extingue a combustão.

No Linx, só entram caras sérios e muito sérios, que têm motivos para uma paranoia do tamanho do Ararat.

As grelhas e um controle de acesso, separado do datacenter, são apenas o começo.

Quando para resolver um problema ou para novas conexões aparecem duas pessoas – uma com uma chave física e a outra com uma chave eletrônica – isso já é mais interessante. E quando um auditor do cliente, de óculos, desce sob o piso falso, afasta duas folhas de grelhas e diz que uma cabeça de criança cabe ali, você entende que essa pessoa já viu algumas coisas interessantes na vida.

Houve situações engraçadas, quando ao projetar a célula, tudo foi considerado, todos os sistemas de segurança, todas as dimensões que permitem trazer o rack e instalar o equipamento, mas de alguma forma não pensaram nas dimensões dos engenheiros que trabalharão com ele. E eles não cabem, nem de perfil nem de frente, entre a célula e o rack.

Se eu fosse a FSB, colocaria meu próprio hardware no Linx 🙂

Após a visita, ainda conversamos bastante, enquanto desfrutávamos de pizza.
Deste reino de segurança e ordem, nos movemos para a RETN.

RETN

Nós já conhecemos esses caras há muito tempo, e é claro que finalmente nos reunimos em seu telhado, para fazer um churrasco e contar histórias.

Nós também já estivemos lá, embora, parece, não tenhamos contado. No ano passado, os planos de tomar os telhados de São Petersburgo falharam por causa da FIFA.

A RETN é, na verdade, o maior operador de backbone com fibra no planeta. Sua teia faria qualquer aranha sentir inveja.

E o datacenter na estrada contorna é um projeto caseiro para a alma, que encontrou seu nicho no mercado em crescimento. Aqui se instalam aqueles que precisam de uma conectividade robusta com o mundo e o acesso a outros operadores locais.

Por exemplo, na RETN está a CDN da Netflix.

Fiquei surpreso em saber que cada um de seus nós é assinado à mão com alguma frase.
E essas caixas de presente são montadas em diferentes cidades nos POPs da RETN (e, evidentemente, não só lá), trazendo até você o mais rápido possível "Black Mirror" e "Peaky Blinders".

Aqui também há o CDN do Google e uma infinidade de operadores, tanto de nível local como federal.

Na RETN, ao lado do prédio, estão duas pequenas (comparadas às da Miranova) geradores a diesel e um carro com galões para abastecimento. Soa quase como um negócio familiar.

E as negociações noturnas no telhado nos levaram a que a RETN nos fornecesse uma virtualização para um site de backup para hospedagem de podcasts e imagens.
Um centro de dados super legal de classe mundial, com uma rede impressionante em escala.

Para alguns, esse dia terminou com um torneio de Duke Nukem, para outros, um tão esperado sono no hotel.

No dia seguinte, não tínhamos muitos planos: Metrotek e podcast ao vivo — linkmeup IRL.

Metrotek

Literalmente um mês atrás, os convidados do podcast de telecomunicações chegaram Misha Sokolov e Denis Gabidullin do NTK Metrotek/slash Plumspace, e discutimos o que é Smart SFP. E agora conseguiremos tocá-los ao vivo.

Denis, que conduziu a excursão pelo escritório da Metrotek em São Petersburgo (que aliás não mudou desde a nossa última visita), imediatamente deu em nossas mãos um dos protótipos.
Fiquei inicialmente surpreso com quão rudimentar ele era feito — parecia esculpido com uma serra e uma lima a partir de uma chave de 32.

Descobriu-se que o corpo do protótipo foi impresso em uma impressora 3D a partir de pó metálico, o que é visível pela superfície áspera. Os outros — aqueles prontos para a série — estão em perfeito estado.

Mas, de qualquer forma, olhando para eles, você se impressiona com como conseguiram esconder tanta inteligência em um corpo quase padrão.

Recomendo ouvir o podcast sobre Rosa, Toza e sua irmã Boza. Ficou interessante, na minha opinião.

O design do escritório é o máximo de comum. Salas retangulares relativamente pequenas, alongadas para a janela, bastante escuras, o que era um pouco opressivo. Mas a atmosfera, apesar de ser um dia de folga, era de trabalho.

A decoração não mudou em dois anos. Alguns cartazes e quadro me agradaram.

Visitamos várias salas: R&D, sistemas, FPGA, manuseamos diferentes tipos de SFP, programadores, vimos o primeiro modelo em que o Smart foi extraído do SFP em um cabinho - um dos primeiros experimentos - mais como um Proof of Concept de que realmente funciona.

Dizem que para alguns clientes é até conveniente ter esse cabo de metal aparente.
O principal objetivo, há dois anos, era montar um SFP óptico comum que pelo menos pudesse transmitir sinal.

Depois, montamos a parte Smart com um SFP de terceiros (justamente em cabinho), para garantir que eles poderiam combinar os chips.

A Metrotek realizou um enorme trabalho. Pense que, em 2 anos, montaram um módulo óptico totalmente funcional, que é capaz de encapsulação, telemetria, servidor de horário preciso e conversor de interfaces.

E, ao mesmo tempo, ajustar a funcionalidade básica de transmissão de sinal ao ideal (embora isso ainda tenha que ser confirmado pelo tempo). Não deve haver atenuação, nem mesmo quedas raras por culpa do SFP. E também não deve esquentar, apesar da quantidade de ASICs, FPGAs e CPUs dentro.
Bravo!

Um sistema computacional completo:

• CPU: NXP i.MX6 ARM até 900 MHz
• FPGA: Lattice ECP5 até 85K LUTs
• RAM: DDR3 até 1 GB

Denis apontou que a empresa pratica e incentiva a troca de conhecimentos e experiências. E eu pensei: "Mas isso não acontece de outra maneira? 0_о". - Sim, muitas vezes, eles recebem pessoas que, nos seus antigos empregos, estavam muito isoladas, não se comunicavam, faziam trabalho duplicado e triplo e, de maneira geral, evitavam tentativas de comunicação.

E aqui lembrei que, não faz muito tempo, eu trabalhava em uma grande empresa com muitos bloqueios, onde conferências eram proibidas e a troca de conhecimentos era inexistente. E eu fui um dos evangelistas das reuniões semanais para troca de experiências, que, parece, salvaram engenheiros solitários em regiões remotas.

Em suma, na Metrotek, treinamentos e palestras internas são realizados regularmente, e é por isso que eles são ótimos.

Depois, nos levaram a um surpreendente ateliê de montagem. Quantas vezes eu tenha estado lá, meu deslumbramento infantil parece não diminuir.

Na Metrotek, bem no escritório, há equipamentos para impressão em placas.

Um estêncil para a aplicação de bolinhas de solda, uma impressora de componentes SMD (caso contrário, não consigo chamá-la de outra forma), um pequeno forno para curar placas, e ao lado, locais de trabalho para montagem manual.

Para minha surpresa, descobri que os microchips com centenas de pés também são soldados manualmente. O Denis diz que sua equipe solda os menores detalhes com uma precisão e velocidade surpreendentes, e muitas vezes não faz sentido ligar a máquina — uma pessoa consegue ser mais rápida.

Nós, entre nós, chamamos a linha de produção de Metrotek Eltex-верилайт, após uma excursão relativamente recente a eles.

Além disso, no escritório há uma impressora 3D e uma fresadora para necessidades internas, na qual já gravaram medalhinhas para o ano passado. Chaos Construction.

De lá, seguimos para o incrível Krang Pizza, onde, em plena formação, devoramos uma pizza-burguer mutante, tanto em termos de tamanho quanto de conceito, e seguimos para o escritório da IQ Option, onde gravamos a primeira edição. linkmeup IRL.

No dia seguinte, ainda fizemos uma visita ao Centro de Laser a conselho do Mamont, onde tivemos um êxtase tecnocrático e um pouco de inflamação de ganância, mas isso será uma história à parte.

Em conclusão, gostaria de dizer que todas as excursões e encontros foram bastante diversos, tanto em termos de escala quanto de foco.

Miran, que hospeda generosamente nosso serviço de hospedagem, está crescendo rapidamente, mas ainda é amigavelmente simples.

Links é verdadeiramente um data center incrível, com segurança em primeiro lugar e profissionais de marketing experientes.
RETN — jovens e divertidos caras "dos garagens", que estão criando uma rede gigante e ainda têm um pequeno datacenter e não se importam em acender uma fogueira no telhado.

Metrotek é uma equipe relativamente pequena de desenvolvedores russos de hardware e software que fabrica uma pilha de equipamentos de medição mais do que competitivos, e agora está entrando em um novo mercado com uma tarefa ambiciosa.

E o Centro de Laser, que vai além dos interesses da linkmeup, mas é um objeto de nossos interesses pessoais. Deixou uma impressão muito positiva e uma gravação de um microfone no gravador.

Fonte: habr.com