Excursion en tons de vert

Le principal problème de transport à Saint-Pétersbourg, ce sont les ponts. La nuit, il faut fuir le bar sans avoir fini sa bière à cause d'eux. Ou payer un taxi deux fois plus cher que d'habitude. Le matin, il faut bien calculer son temps afin de pouvoir attraper son train dès que les ponts sont abaissés. Nous ne considérons pas l'option « passer la nuit quelque part au centre, près de la gare » comme idéologiquement bénéfique.

… Le Sapsan partant à 5h30 a été conçu par des gens qui détestent les hiboux. Certes, il est très pratique d'être à Moscou à neuf heures du matin, et Saint-Pétersbourg est incroyablement magnifique pendant les nuits blanches, mais à quatre heures et demie, lorsque je suis monté dans le taxi, j'avais envie de tourner la tête à 270 degrés vers ce lark qui a inventé ce train du matin.

« Tous les bons centres de données se ressemblent » — pensais-je en apprenant que des gars de DataLine nous invitaient.

En réalité, chaque centre de données est bon (ou mauvais) à sa manière, surtout après avoir accumulé des mésaventures, ramassé toutes les pelouses du coin et tiré des leçons de sa propre (et un peu d'expérience des autres) riche expérience. Nous (en compagnie de cinq des principaux linkmeup et de quelques amis et sympathisants) avons donc décidé de vérifier à quel point les centres de données OST et NORD étaient bons (ou moins bons).

Après avoir travaillé un peu en route (ici aurait pu être la publicité d'un opérateur mobile, mais non — la couverture est toujours aussi mauvaise), nous débarquons à la gare de Leningrad. Eh bien, au moins pas sous Gazmanov.

Nous avons commencé notre visite des centres de données « verts » avec OST — « ce fameux » qui a récemment « brûlé ». Pourquoi entre guillemets — après. Pour l'instant — nous attendons, fumons, et attendons ceux qui sont en retard. Nous prenons en photo le bureau de RT à côté. Il y a beaucoup d'histoires amusantes à propos de ce voisinage — allant de l'asphaltage frais et de la peinture des trottoirs avant l'arrivée des Personnalités Importantes, jusqu'aux réductions dans les cafés voisins qu'ils ont accordées aux gars de DataLine à cause de la similarité des badges.

Le haut-parleur de la propagande totalitaire

Centre de données à régime strict (contrôle d'accès)

Pass, règles de conduite, broyeur à l'entrée — presque le même que nous avons vu lors de la visite à Linxdatacenter. Avez-vous déjà vu des cafeterias dans des centres de données ? Nous, maintenant, en connaissons quelques-unes. Les employés et les clients ont des dépôts « café » sur leurs badges, qui sont régulièrement alimentés. Ainsi, dans des limites raisonnables, un café peut être offert complètement gratuitement. Nous, en tant qu'invités de marque, avons également été invités.

Je ne peux rien dire de mal sur le café — c'est tout à fait ordinaire pour une « chaîne » de café, mais l'emplacement est inévitablement séduisant, et l'intérieur est vraiment dans les meilleures traditions modernes.

L'intérieur du café local

Sur les photos, les centres de données NORD

La visite commence au bureau. En plus des inscriptions connues dans tout le Runet sur les murs et de la palette blanc-vert, il y a aussi des trucs amusants. Ce sont des accessoires laissés par les performances du théâtre d'entreprise (pouvez-vous imaginer un directeur technique de réseau de centres de données jouant dans une pièce ? Et nous le connaissons personnellement.).

C'est vrai

Photos des spectacles

Le centre de données (ou plus précisément, quatre centres de données) est situé dans un complexe de bâtiments industriels construits au siècle dernier (alors — l'usine « Citroën », et à l'époque soviétique — l'usine « Hydropneumatique »), donc d'un côté — il y a un industrie austère, des poutres métalliques, une atmosphère de loft et des artefacts industriels de différentes époques qui sont encore découverts lors de divers travaux. D'un autre côté — les zones hermétiques du centre de données doivent être intégrées dans les structures existantes, et cela nécessite des compromis avec la réalité. Cependant, je ne dirais pas que ces compromis ont eu un impact sur la qualité — mais les gars ont sûrement dû suer lors de la conception. Encore, selon des rumeurs, quelque part à proximité, le Métro-2 passe, mais ce n'est pas sûr.

En plus du théâtre, il y a aussi son propre musée. Les expositions, naturellement, sont des trouvailles archéologiques.

Quelques mots sur l'incendie. Oui, le bâtiment (ou plutôt le toit) a effectivement pris feu. Les blocs extérieurs des systèmes de refroidissement et des tuyauteries ont été endommagés. Dans certains endroits, le câblage a fondu et les climatiseurs sont restés sans électricité. À d'autres endroits, les conduites de réfrigérant ont explosé. Cependant, malgré cela, les zones hermétiques ont résisté à des tonnes d'eau déversées sur elles, et l'équipement a survécu. La restauration s'est faite sous la direction d'un « quartier général » représentant la haute direction de manière collective — ils ont récupéré toutes les tuyauteries en cuivre de Moscou et ses environs (même durant la nuit en BMW X5) et fait appel à tous les monteurs sobres. L'équipement critique des salles de données touchées (endommagées par l'absence de froid, pas par le feu !) a été transféré rapidement dans d'autres salles, si bien qu'à cinq heures du matin, non seulement tous leurs services, mais aussi ceux des clients ont été remis en service.

Nous avons personnellement vérifié la salle qui a le plus « souffert » — à part l'odeur de brûlé et les dalles de faux sol remplacées, il n’y a vraiment rien qui rappelle l’incendie (sauf les racks avec de l'équipement, temporairement déplacés vers une autre salle de données, et qui y sont restés).

Panneau de statut

En parcourant les couloirs, nous voyons un écran tactile avec quelque chose qui ressemble beaucoup à un schéma des salles de machine du centre de données. C'est le panneau de statut. Ils sont disséminés dans les couloirs, permettant aux ingénieurs sur site de trouver rapidement, par exemple, le climatiseur nécessaire, et ils communiquent également l'état actuel.

La surveillance est basée sur Nagios (maintenant plusieurs clusters indépendants) et couvre tous les centres de données (OST et NORD). De plus, il existe des applications pour Android et iOS (pour les clients et les employés), ainsi qu'une page de statut directement sur le site.

Sur l'écran, je remarque un PUE anormalement élevé — ce n'est pas courant en Russie de le calculer, mais un 1.90 est tout de même assez élevé. La réponse est purement économique — entre 2012 et 2013, les racks dans les centres de données se vendaient comme des petits pains, donc il n’y avait pas de place pour les sentiments ni pour l'efficacité énergétique. Nous installons ce qui est disponible sur le marché, faisons le plus rapidement possible et ne nous soucions pas du PUE, parce que pourquoi faire ? Même à la phase de conception, 80-90% des racks sont déjà réservés, et la législation en Russie ne veut rien savoir sur l’efficience énergétique. Pourtant, une commission à Amsterdam serait choquée par de tels chiffres.

Rien de personnel. Juste des affaires.

Une autre caractéristique est la désignation des centres de données. Sur chaque site, en plus de la codification alphanumérique « officielle », les centres de données ont des noms « humains » issus de l'alphabet phonétique militaire (Alpha-Bravo-Charlie-Delta…). Étrangement, tous les clients aiment le whisky.

Dans le domaine du service client, il n'y a pas de détails insignifiants.

Ces « clôtures » sont mises en place pour certains clients. Nous n'avons pas été autorisés à prendre des photos dans les salles de machines, donc photo DataLine ©.

Les clients de DataLine sont tous des grandes et respectables entreprises, et ils n'aiment vraiment pas quand on photographie leur équipement. Surtout si le nom (ou le logo) du client est écrit en grandes lettres sur le rack. Ils n'aiment pas — c'est tout. Nous avons donc photographié les murs désormais célèbres avec différentes inscriptions, ainsi que les infrastructures techniques. Il n'est également pas toujours possible de photographier toutes les installations techniques, mais nous avons fait de notre mieux. Comme nos clients sont des grandes et respectables entreprises, leurs demandes peuvent être spécifiques — racks spéciaux (ou même un super système de stockage composé de plusieurs racks de différents fournisseurs), leurs clôtures, leur contrôle d'accès, leur vidéo-surveillance et une équipe d'intervention rapide avec des fusils. En général, l'une des règles non écrites (et écrites aussi) de DataLine est de prendre soin de ses clients et de leur offrir un bon service. Cela commence par des gilets et des postes de travail équipés d'accès à Internet et de chargeurs, et se termine par divers événements pour les clients. Ces derniers sont très utiles aussi parce que les mêmes personnes, passant d'une entreprise à l'autre, les conduisent à DataLine. Simplement parce qu'ici tout est agréable, pratique et fiable. L'activité de DataLine n'est pas seulement la location d'espaces de racks. C'est aussi le cloud, certifié à la fois par la loi 152-FZ et par PCI-DSS (à ce sujet, nous prévoyons de réaliser un podcast, suivez les annonces), et la fourniture de connectivité (nos propres fibres entre les sites et de chacun d'eux jusqu'à la M9, notre propre anneau optique dans la ville, et jusqu'à l'organisation du dernier kilomètre au bureau du client).

M — motivation

À propos des inscriptions — les idées viennent non seulement des employés, mais aussi des partenaires et des clients, après quoi les plus réussies peuvent être votées sur la page officielle DataLine sur FB. Et vous pouvez également proposer votre idée là-bas.

Rencontre sur l'Elbe

Cross (photographie fournie par DataLine)

Nous nous arrêtons au Meet-Me-Room, où sont situés les opérateurs. Dans le MMR (il y en a trois paires dans l'OST, correspondant au nombre de lignes principales de fibre optique, pour l'activation et la passivité), les connexions de tous les data halls sont regroupées. Dans le croisillon, tout est ennuyeux et soigné. En revanche, là où se trouve l'activation des opérateurs, on se remémore les meilleures années, avec des images de quelque chose comme le BM18 : des fils en désordre et des équipements variés (DLink, Extreme, Juniper, Mikrotik… jusqu'à l'ASR9k). Il y a plus d'une cinquantaine d'opérateurs ici, donc c'est assez coloré. De MMR, la fibre optique et le cuivre se répartissent dans les salles des machines. Minimum deux trajets pour chaque (des variantes sont possibles), donc on peut être tranquille quant à la fiabilité des connexions. Le MMR s'appelle « Elbe », ce qui est assez subtil.

Besoin d'IBM Power ?

Une autre trouvaille — c'est l'IBM P-series, qui n'a jamais été allumé, et qui se trouve en ce moment dans l'un des couloirs. La machine (avec la bibliothèque à bande et le stockage en réseau) a été commandée par l'un des clients, mais "n'était pas nécessaire", donc elle a été donnée au data center. Depuis elle reste là.

Ça doit être bien d'être un gars fortuné et de faire de tels cadeaux, non ? (Ou peut-être qu'ils ne l'ont pas donnée, mais qu'ils l'ont oubliée. Ou qu'ils ont perdu au poker. Mais ça fait un moment qu'elle est là)

Voici ce beau spécimen qui se trouve dans le NORD-4

Nous allons au centre énergétique — trois (voire quatre) Groupes électrogènes Diesel pour chaque data center (rappelons qu'il y en a quatre dans l'OST). Le diesel atteint sa pleine puissance en 30-40 secondes et délivre 1900 kVA. Réservation N+1, synchronisation, et autres — inclus. Le plus long temps d'utilisation de diesel dans l'OST — 12 heures. Dans le NORD — 2,5 jours (après tout, un stockage de 85 tonnes, ce n'est pas rien).

Évidemment, il existe des contrats avec différentes sociétés pétrolières pour l'approvisionnement en carburant. Le passage au diesel se fait régulièrement, donc le carburant est produit et les contrats sont vérifiés. À propos, d'après les collègues, lors des tests des groupes électrogènes diesel au NORD, qui prennent généralement plusieurs heures, l'endroit où l'air chaud des diesels est évacué parvient même à reverdir l'herbe, même en hiver.

Après un court repas dans le café déjà familier, nous nous rendons sur le site du NORD. Ce n'est pas un seul data center, mais quatre bâtiments indépendants sur un même territoire. Chacun avec ses propres entrées électriques, ses propres diesels et son propre refroidissement. Le NORD-1 et le NORD-2 ont passé l'audit M&O de l'Uptime Institute. Le plus récent (et le meilleur data center de DataLine) — le NORD-4, donc nous nous dirigeons précisément vers ici.

Malgré le nombre apparemment énorme de centres de données à Moscou, il existe pourtant une pénurie. Bien sûr, ils peuvent vous fournir une ou deux racks sans problème. Même vingt, c'est faisable. Au-delà, cela devient une question (et chez DataLine, les clients avec de tels besoins ne sont pas un ou deux). Spécifiquement dans NORD-4, il y a de la place (pour l’instant), car un grand client a déménagé dans son propre centre de données récemment construit, mais dans d'autres endroits, cela pourrait ne pas être le cas. Néanmoins, le projet de NORD-5 est en cours, prévu pour être lancé début 2020.

Mais revenons à notre visite. Étant donné que nous étions en voiture, nous avons été autorisés à entrer dans le sas, où des tireurs ont pris notre véhicule en cible, vérifiant le numéro de notre voiture avec la demande, tandis que tous les passagers ont été priés de sortir pour obtenir des passes (bien sûr, sur présentation de leur passeport). Car B — sécurité.

NORD-4 est la fierté de l'entreprise et le fruit de nombreuses années d'expérience dans la construction et l'exploitation de centres de données. Il possède des certificats Uptime Institute Tier III pour le design et l'installation (c'est-à-dire le centre de données construit), ainsi que pour la durabilité opérationnelle - les équipes ont pris le projet très au sérieux. À l'intérieur, il y a quatre zones hermétiques indépendantes, avec deux salles dans un même bâtiment. Chacune dispose de son propre centre énergétique (groupes électrogènes, salles des batteries), les systèmes de refroidissement et de lutte contre l'incendie. Le seul élément commun est l'entrée de la fibre optique (deux pour le bâtiment) et le MMR.

Le modding d'un ingénieur sain

À l'entrée du Datacenter, on trouve déjà notre café familier (après tout, pourquoi pas ?). Nous montons au centre de monitoring. Il y en a deux principaux en ce moment — dans OST et NORD-4 (des équipes de permanence sont également présentes dans NORD-1, 2, 3). De chaque centre, il est possible de surveiller les deux sites, garantissant ainsi une redondance n+1. Sur le mur vidéo, les tableaux de bord familiers dans des nuances de vert (il y a, bien sûr, beaucoup plus de paramètres affichés que sur l'écran de statut). Nous discutons un peu du monitoring — pas de Prometheus à la mode ni de Grafana, juste Nagios, du hardcore et une visualisation maison. En dix ans (voire plus) d'utilisation, de nombreuses vérifications personnalisées et scripts ont été écrits, donc changer pour autre chose semble être une sacré aventure. Environ une fois par mois, une nouvelle entreprise se présente pour proposer de « résoudre tous les problèmes rapidement et sans douleur », mais jusqu'à présent, ça ne se concrétise pas. Le mur vidéo, d'ailleurs, fonctionne également sur une solution auto-assemblée, qui s'est avérée plusieurs fois moins chère que les équivalents commerciaux.

Le CRN local

Lorsque l'on conçoit, construit et exploite des centres de données pendant de nombreuses années, on n'a plus si peur de faire quelque chose soi-même plutôt que d'acheter du prêt-à-porter. DataLine, par exemple, n'hésite pas à dire qu'ils ont, juste grâce à l'échelle, rencontré le maximum de difficultés, et chaque nouveau Datacenter est le fruit d'erreurs difficiles et d'une expérience qui compte déjà plus de dix ans. Évidemment, chaque nouveau Datacenter possède ses propres innovations, et en se promenant dans NORD, on se rend compte que les gens ont simplement pris et ont bien fait les choses. Pas pour le frime, pas pour les classements ou les certifications — c'est un processus d'ingénierie ordinaire, où à chaque itération, on s'améliore et devient de mieux en mieux. Un observateur extérieur dirait que c'est ennuyeux et conservateur, mais le client, au contraire, soutient une telle stabilité avec son propre argent. Et pour bien faire, il n'est pas du tout nécessaire d'acheter des systèmes d'ingénierie ou des logiciels très coûteux (bien que parfois, cela soit nécessaire). Souvent, l'expérience, les connaissances et l'ingéniosité technique sont décisives.

Par exemple, le bâtiment NORD-4 compte 3,5 étages. Les trois premiers sont complets, avec des hauteurs de 4,5 mètres, où se trouvent les salles de machines. Le dernier est technique, d'une hauteur de seulement 1,8 mètre, et est exclusivement dédié au système de refroidissement. Étant donné que l'étage est technique, les exigences sont donc beaucoup plus faibles, ce qui a permis de simplifier le projet et d'économiser de l'argent.

Vue du centre de données en forme de triangle

Max a un kung-fu spécial pour ne pas être repéré sur les photos.

Nous terminons la visite sur le toit — ici, il y a une excellente vue sur la centrale thermique voisine et le complexe résidentiel, ainsi que sur d'autres bâtiments NORD. Deux d'entre eux sont triangulaires. À ce sujet, mes collègues ont même plaisanté en disant que « DataLine est stupide, construisant un centre de données triangulaire inutilement » pour installer des racks triangulaires et des serveurs triangulaires. Mais rien — ils l'ont construit et l'exploitent avec succès, tout en utilisant efficacement l'espace disponible (qui, à Moscou, il faut le dire, n'est pas gratuit). Un autre fait surprenant (pour moi) — la plupart des clients commerciaux souhaitent s'installer précisément à Moscou. Un site à un peu plus de cinquante kilomètres sur la route de Minsk (même s'il y a toutes les capacités et les communications nécessaires) intéresse déjà peu de monde. Ainsi, tout le monde se trouve à l'étroit.

Les refroidisseurs ne sont plus un centre de données, mais une centrale thermique.

C'est ainsi que notre voyage touche à sa fin.

Ensuite, il y a eu une longue et productive discussion sur nos projets communs et les futurs podcasts (j'espère que l'attente ne sera pas trop longue), alors restez à l'affût des nouvelles, il y aura bientôt encore plus d'éléments intéressants.

Quant à ceux qui souhaitent voir tout cela de leurs propres yeux, DataLine invite à une visite. Totalement gratuite, mais sur inscription préalable. À ceux qui mentionneront le mot de code « linkmeup », un bonus en karma.

Restez à l'écoute !

Source : habr.com