Les premiers jours d'été sont idéaux pour un voyage éducatif à Saint-Pétersbourg.
Nous visiterons Miran, linxdatacenter, RETN et Metrotek.

5 heures du matin, gare de Moscou, KFC, le bord de la Moïka, une assiette, des pigeons sur les toits, Isaak, le Champ de Mars, et voilà — Miran.

Miran

Notre labo avec Eva a résidé à Miran depuis plusieurs années, un serveur de streaming, un routeur virtuel MikroTik, l'hébergement linkmeup avec accès IPv6, et maintenant un hébergement de podcasts.

À l'entrée de Miran, nous avons d'abord été accueillis par un impressionnant générateur diesel.

La plupart des installations de générateurs diesel sont sur roues pour deux raisons :

• Mobilité — à quelques centaines de mètres se trouvent encore plusieurs modules de Miran. Ils ont leurs propres générateurs — mais qui sait — il pourrait être nécessaire de les déplacer.
• Mobilité — ils n'ont pas besoin d'être enregistrés comme des centrales électriques stationnaires et par conséquent, aucune documentation de projet n'est requise.

Le générateur diesel de Miran démarre en quelques secondes, été comme hiver. Pendant ce temps, tout le centre de données est alimenté par des batteries.

L'iron HP dans le rack de Miran et l'excursion ont été possibles grâce à Fyodor Rusakov.

Toute l'excursion s'est déroulée dans une atmosphère domestique chaleureuse. Café avec des biscuits, discussions sur les télécommunications, les origines de l'entreprise, le transport de deux cents serveurs en cachette de Moscou à Saint-Pétersbourg durant la nuit. Sans hâte, nous avons flâné dans deux bâtiments du centre de données. Les deux — BrownField — réaménagés à partir d'anciens locaux d'usine. Le premier, appartenant à Miran, où nous avons commencé et où nous nous sommes rechargeés au deuxième étage après une promenade de quatre heures à Saint-Pétersbourg, était autrefois une usine de générateurs diesel, véritable géant des installations diesel. En fait, il n’y avait pas de deuxième étage — il y avait d’énormes portes pour circuler. Tout a été démonté, le deuxième étage a été fait, refroidissement actif, alimentation électrique redondante, système gaz d’extinction.

Un couloir chaud classique, d'où l'air est acheminé vers les climatiseurs et sous le faux plancher vers le couloir froid fermé.

Des câbles d'alimentation sont également cachés sous le faux plancher.

Miran n'est pas né comme une plateforme pour un seul client principal, mais a plutôt développé progressivement une offre sur un marché où il y a de la demande.

Auparavant, un grand banque y était située avec toutes les grilles et contrôles d'accès nécessaires, mais elle a déjà déménagé.

La demande continuait de croître, tout comme Miran, et un deuxième bâtiment est apparu — déjà en location — également BrownField — à deux cents mètres du premier. La route longe la promenade de la Grande Neva à côté de la maison Nobel.

Le nouveau bâtiment a été construit selon un principe modulaire avec la possibilité de déplacer entièrement un module en cas de problème avec le bailleur. Les deux premières unités ont été achetées chez le fabricant, la troisième a été assemblée en tenant compte des erreurs passées.

L'architecture modulaire a des inconvénients — elle est relativement étroite — le couloir chaud fait 60 cm — deux personnes ne peuvent pas se croiser. Et surtout — le coût du déménagement, comme cela a été calculé dès le premier moment, est comparable à la construction d'un nouveau bâtiment.

Mais elles ont l'air fraîches et à la mode, tant à l'extérieur qu'à l'intérieur.

Le NOC de l'équipe utilise un Linux orthodoxe, un Debian stable.

D'ailleurs, la société a reçu son nom d'une carte appelée Système Meridian Integrated Recorded Announcement (MIRAN) dans le commutateur téléphonique Meridian. Et par la suite, le centre de données a également été nommé ainsi.

La décision de construire le centre de données a été prise pendant l'année difficile de 2008.

Depuis, l'équipe fournit des serveurs dédiés et des cloches. Des équipements d'opérateurs ont été installés dans des endroits spécifiques.

Cela impose certaines restrictions et spécificités de fonctionnement. Par exemple, les racks abritent un matériel très diversifié, tant en termes de machines que de réseaux. À Miran, je n'ai guère vu d'Arista et de Mellanox. Chaque équipement a des exigences différentes en matière de température dans le couloir froid, ce qui nécessite de maintenir une température très basse — environ 20 °C, donc les faibles PUE ne peuvent pas vraiment être envisagés — à Miran, il est de 1,5.
Un autre détail — avec les câbles enchevêtrés dans les racks. Dès que vous laissez entrer des étrangers dans la pièce avec leurs connexions, c'est la fin de la beauté. Personne n'a d'exceptions.

Malheureusement, imposer des mesures draconiennes peut se retourner contre soi.

Dernières photos.

Et ensuite, du merchandising de notre table à la vôtre et de la vôtre à la nôtre. Nous nous sommes tous entassés dans un taxi — et direction Linx.

linxdatacenter

Ce sont des gars sérieux, sur leur badge temporaire, il est même écrit « Security Matters ». Cela sera un leitmotiv de toute la visite.

Après le Miran en pain d'épice, au linxdatacenter, vous réalisez que vous êtes arrivé dans un DC de luxe. En ce jour de repos, quatre personnes se sont retrouvées, disons, pas au centre-ville, pour parler d'elles à cinq autres personnes qui ne deviendront probablement jamais leurs clients 🙂

Nous avons été accueillis par Maria Svistunova, qui nous a conduits à une grande table de réunion. Après quelques discussions légères autour d'un café guatémaltèque, nous avons commencé.

Les visites ici sont organisées de manière systématique. Maxim et Oleg connaissent leur domaine : ils racontent de manière fluide, précise et avec enthousiasme. Là où il faut, ils font des accents, et là où ce n'est pas nécessaire, ils évitent les sujets. Leur sens de l'humour est également au rendez-vous, ce qui a fait passer plus de deux heures inaperçues.

La fierté du centre de données est un uptime de 100 % depuis son lancement en 2011.

La confiance est si élevée qu'il n'y a même pas de place sur le tableau pour les fractions de secondes.

Linx est un exemple de centre de données au format GreenField. Le bâtiment a été spécialement conçu pour accueillir un centre de données. Ainsi, la hauteur des plafonds, la résistance des dalles, l'alimentation électrique et sa redondance, ainsi que le SCS, ont été intégrés dès la phase de construction.

Ainsi, par défaut, le sol peut supporter une étagère de 800 kg, mais cette masse peut encore être augmentée après un renforcement supplémentaire. On parle d'étagères oracle coûtant l'équivalent d'un Falcon9 qui nécessitent une attention particulière.

Le centre de données est alimenté par une installation à gaz-piston, tandis que l'électricité de la ville n'est qu'une source de secours. Selon Maxim, c'était une très bonne décision, car lors de la célèbre panne d'électricité de Saint-Pétersbourg, le bureau et le centre d'affaires à proximité ont subi des dommages, tandis que le centre de données a continué à fonctionner.

Le générateur diesel ici n'est plus une remorque sur roues, mais un local fixe avec des cheminées s'élevant haut dans le paysage.

Le temps de mise en marche est de moins de deux minutes, et sur batteries, le centre de données peut fonctionner environ une heure. Les diesels peuvent fonctionner 3 jours sans ravitaillement.

Ici, tout est organisé et réfléchi.

Voici par exemple le point d'accès où les clients du centre de données peuvent prendre eux-mêmes les clés de leurs racks à l'aide de leurs empreintes digitales.

Et voici une pièce où les clients peuvent effectuer tous les travaux d'ingénierie nécessaires, pour lesquels des outils sont accrochés au mur.

Ce sont des étagères pour l'exploitation locale avec tout le nécessaire à la vie quotidienne :

Elle est toujours chargée et prête à être utilisée.

La casquette du jeune hip-hop sur la photo ci-dessus a sauvé la tête de plus d'une personne. Elle est aussi solide qu'un casque en dur — idéale pour ramper sous un faux plancher d'un mètre cinquante, où il arrive parfois qu'un morceau de ferraille dépasse.

En fait, voici le personnel de l'exploitation :

Cet appareil apparemment ordinaire est un manomètre différentielle.

Il est conçu pour résoudre une tâche simple : maintenir la différence de pression entre le couloir et la salle des machines. Par exemple, pour que la pression à l'intérieur soit légèrement plus élevée et que la poussière ne pénètre pas à l'intérieur lorsque la porte s'ouvre, mais s'éloigne plutôt de la porte.

Le système de lutte contre l'incendie est également à gaz : en cas de problème, le gaz chasse l'oxygène et éteint le feu.

Dans le linx, seuls les gars sérieux et très sérieux, ayant des raisons de paranoïa de la taille de l'Ararat, se présentent.

Les grilles et un Système de Contrôle d'Accès distinct des centres de données ne sont que le début.

Lorsqu'il y a deux personnes qui arrivent pour résoudre un problème ou faire de nouvelles connexions – l'une avec une clé matérielle et l'autre avec une clé électronique – c'est déjà plus intéressant. Et quand un auditeur du client arrive avec des lunettes, descend sous le faux plancher, écarta deux grilles et dit qu'une tête d'enfant peut passer ici, tu comprends que cette personne a vu des choses intéressantes dans sa vie.

Il y a eu des situations amusantes où, lors de la conception de la cage, tout a été pris en compte : tous les systèmes de sécurité, toutes les dimensions permettant d'amener le rack et de placer l'équipement, mais ils n'ont pas pensé aux dimensions des ingénieurs qui vont travailler avec. Ils ne passent jamais entre la cage et le rack, ni de face ni de profil.

Si j'étais le FSB, je mettrais mon matériel dans le linx 🙂.

Après la visite, nous avons encore discuté longtemps et chaleureusement autour de la pizza.
De ce royaume de sécurité et d'ordre, nous nous sommes dirigés vers RETN.

RETN

Nous sommes déjà familiarisés avec ces gars depuis longtemps et de près. Il n'est donc pas surprenant que nous nous soyons enfin réunis sur leur toit pour faire des grillades et raconter des anecdotes.

Nous y avons également été, bien que nous ne l'ayons pas raconté. L'année dernière, nos plans pour conquérir les toits de Saint-Pétersbourg ont échoué à cause de la Fifa.

RETN est en fait le plus grand opérateur de fibre optique au monde. Même le meilleur des araignées envierait leur toile.

Le data center sur le périphérique est un projet local pour l'âme qui a trouvé sa niche sur un marché en croissance. Il accueille ceux qui ont besoin d'une connectivité robuste avec le monde et d'un accès à d'autres opérateurs locaux.

Par exemple, le CDN de Netflix se trouve chez RETN.

J'ai été surpris d'apprendre que chaque nœud est individuellement signé à la main avec une phrase.
Et voilà, ces boîtes festives sont en train d'être préparées dans différentes villes sur les POPs de RETN (et, apparemment, pas seulement lui), pour vous livrer aussi rapidement que possible « Black Mirror » et « Peaky Blinders ».

Il y a aussi le CDN de Google et de nombreux opérateurs, tant au niveau local qu'au niveau fédéral.

À proximité du bâtiment de RETN, se tiennent deux petits générateurs diesel (comparés à ceux de Miran), ainsi qu'une voiture avec des jerrycans pour aller faire le plein. Ça ressemble presque à une entreprise familiale.

Eh bien, les discussions du soir sur le toit nous ont amenés à ce que RETN nous fournisse une machine virtuelle pour une plateforme de sauvegarde pour l'hébergement de podcasts et d'images.
Des gars mondiaux, un centre de données super sympa, un réseau impressionnant par sa taille.

Pour certains, cette journée s'est terminée par un tournoi de Duke Nukem ; pour d'autres, par un sommeil tant attendu à l'hôtel.

Le lendemain, nous n'avions pas beaucoup de plans : Metrotek et un podcast en direct — linkmeup IRL.

Metrotek

Il y a à peine un mois, le podcast télécom nous a rendu visite venaient Misha Sokolov et Denis Gabidullin du NTC Metrotek slash Plumspace, et nous avons discuté de ce que sont les Smart SFP. Et maintenant, nous avons eu la chance de les toucher en personne.

Denis, qui faisait une visite guidée du bureau de Metrotek à Saint-Pétersbourg (qui, soit dit en passant, n'a pas changé depuis notre dernière visite), nous a donné dès l'entrée en main un des exemplaires.
Au début, j'étais surpris de voir à quel point il était grossièrement construit — comme s'il avait été taillé à la scie sauteuse et à la lime à partir d'une clé de 32.

Il s'est avéré que le boîtier de l'échantillon expérimental avait été imprimé sur une imprimante 3D à partir de poudre métallique, ce qui se voit par sa surface rugueuse. Les autres — ceux qui sont prêts pour la série — sont en parfait état.

Mais en regardant tout ça, on s'étonne vraiment de la manière dont ils ont réussi à cacher tant de circuits dans un boîtier presque standard.

Je vous conseille d'écouter le podcast sur Roza, Toza et leur sœur Boza.. À mon goût, c'était intéressant.

Le design du bureau est d'une banalité maximale. Des bureaux rectangulaires relativement petits, allongés vers la fenêtre, plutôt sombres, ce qui était un peu oppressant. Mais l'atmosphère, malgré que ce soit un week-end, était plutôt de travail.

La décoration n'a pas changé en deux ans. Certains posters et tableaux m'ont fait plaisir.

Nous avons visité plusieurs pièces : R&D, systèmes, FPGA, tenu différents types de SFP, programmateurs, et vu le premier modèle où Smart était séparé du SFP par un petit câble — l'un des premiers essais — plutôt un Proof of Concept pour prouver que cela fonctionne.

On dit que certains clients trouvent même pratique d'avoir une telle queue qui dépasse de leur équipement.
L'objectif initial, il y a deux ans, était de créer un SFP optique standard qui puisse au moins transmettre un signal.

Ensuite, nous avons assemblé séparément la partie Smart avec un SFP d'un autre fabricant (justement sur un câble) pour nous assurer qu'ils pouvaient combiner les puces.

Metrotex a réalisé un travail énorme. Pensez à cela : en 2 ans, ils ont réussi à assembler un module optique complètement fonctionnel capable d'incapsuler, de faire de la télémétrie, de servir de serveur de temps précis et de convertir des interfaces.

Et en plus, il a fallu peaufiner à la perfection (bien que cela reste à vérifier avec le temps) la fonctionnalité de base pour la transmission du signal. Il ne doit pas y avoir d'atténuation, pas même de rares pertes à cause du SFP. Et surtout, il ne doit pas surchauffer, malgré une pile d'ASIC, FPGA et CPU à l'intérieur.
Bravo !

Système de calcul complet :

• CPU : NXP i.MX6 ARM jusqu'à 900 MHz
• FPGA : Lattice ECP5 jusqu'à 85K LUTs
• RAM : DDR3 jusqu'à 1 Go

Denis a noté qu'il est courant et encouragé dans l'entreprise d'échanger des connaissances et des expériences. Et là, je me suis dit : « Y a-t-il réellement une autre façon de faire ? 0_о ». — Oui, souvent, des personnes viennent qui, dans leur précédent emploi, étaient enfermées dans leur propre bulle, ne communiquaient pas, faisaient un travail redondant et évitaient en général toute tentative de communication.

Et là, je me suis rappelé qu'il n'y a pas plus de deux ans, je travaillais dans une grande entreprise internationalement bannie où les conférences étaient interdites et l'échange de connaissances n'existait pas. Et c'était moi qui étais l'un des évangélisateurs des réunions hebdomadaires pour partager des expériences, qui, semble-t-il, sauvaient des ingénieurs isolés dans des zones éloignées.

En gros, chez Metrotex, des formations internes et des conférences sont régulièrement organisées, c'est pourquoi ils sont de brillants professionnels.

Ensuite, nous avons été conduits dans un atelier de montage fascinant. Peu importe le nombre de fois où j'y vais, mon émerveillement d'enfant ne semble jamais s'éteindre.

Metrotex dispose d'un équipement pour l'impression sur les circuits directement dans ses bureaux.

Un gabarit pour appliquer des peluches de soudure, une imprimante pour composants SMD (sinon je ne peux pas l'appeler autrement), un petit four pour cuire les cartes et des postes de travail à proximité pour le montage manuel.

À ma surprise, j'ai appris que les microchips avec des centaines de pattes sont également soudés à la main. Denis dit que ses gars soudent des détails minuscules avec une précision et une rapidité étonnantes, et parfois il n'y a même pas de sens à faire fonctionner la machine infernale — un homme fera cela plus vite.

Nous avons surnommé la ligne de production Metrotek Eltex-verilight, inspirés par une visite relativement récente chez eux.

De plus, il y a une imprimante 3D et une fraiseuse dans le bureau pour des besoins internes, où cependant ils ont déjà gravé des médailles pour l'année dernière. Chaos Construction.

De là, nous sommes allés au fantastique Krang Pizza, où, avec toute l'équipe de linkmeup, nous avons dévoré une pizza-burger mutante, tant par ses dimensions que par son sens, puis nous avons filé vers le bureau d'IQ Option, où nous avons tourné le premier épisode. linkmeup IRL.

Le lendemain, nous avons également fait un tour au Centre Laser sur les conseils de Mamont, où nous avons eu un émerveillement technocratique et un petit palpitement de cupidité, mais c'est une autre histoire.

En conclusion, je tiens à dire que toutes les visites et rencontres étaient très différentes, tant par l'échelle de l'événement que par leurs orientations.

Miran, qui a chaleureusement accueillie notre hébergement, est en pleine croissance, mais reste amicalement simple.

Links est véritablement un centre de données impressionnant, axé sur la sécurité et doté de marketeurs expérimentés.
RETN - de jeunes gars joyeux « des garages », qui construisent un gigantesque réseau et encore un petit centre de données, et ne sont pas contre d'allumer un petit feu sur le toit.

Metrotek est une équipe relativement petite de développeurs russes de matériel et de logiciels, qui fabrique presque « avec ces mains » un tas d'équipements de mesure plus que concurrentiels, et maintenant elle entre sur un nouveau marché avec une tâche ambitieuse.

Et le Centre Laser, qui dépasse les intérêts de linkmeup, mais qui suscite nos intérêts personnels. Il a laissé une très bonne impression et une gravure sur un petit microphone.

Source : habr.com