Das größte Verkehrsproblem in St. Petersburg sind Brücken. Nachts muss man wegen ihnen aus der Taverne fliehen, ohne sein Bier ausgetrunken zu haben. Oder zahlen Sie doppelt so viel für ein Taxi wie üblich. Berechnen Sie morgens sorgfältig die Zeit, damit Sie, sobald die Brücke geschlossen ist, wie ein flinker Mungo zum Bahnhof gelangen. Die Option „irgendwo im Zentrum, in der Nähe des Bahnhofs zu übernachten“, halten wir nicht für ideologisch schädlich.
..."Der Wanderfalke, der um 5:30 Uhr losfährt, wurde von Leuten erfunden, die Eulen hassen. Nein, natürlich ist es sehr praktisch, um neun Uhr morgens in Moskau zu sein, und St. Petersburg ist in den weißen Nächten unglaublich schön, aber als ich um halb vier ins Taxi stieg, wollte ich meinen Kopf um 270 Grad drehen Grad an die Lerche, die diesen Morgenzug erfunden hat.
„Alle guten Rechenzentren sind gleich“, dachte ich, als ich erfuhr, dass die Jungs von DataLine uns zu einem Besuch eingeladen hatten.
Wie sich herausstellt, ist jedes Rechenzentrum auf seine Art ein wenig gut (oder schlecht), vor allem, wenn man den großen Durchbruch schafft, alle Rechenzentren in der Umgebung einsammelt und von seinem eigenen Rechenzentrum (und ein wenig von dem anderer Leute) lernt ) reiche Erfahrung. Deshalb haben wir (bestehend aus fünf führenden Linkmeups und ihren Freunden und Sympathisanten) beschlossen, zu überprüfen, wie gut (oder nicht so gut) die OST- und NORD-Rechenzentren sind.
Nachdem wir es geschafft hatten, unterwegs ein wenig zu arbeiten (hier könnte es eine Werbung für einen Mobilfunkbetreiber geben, aber nein, die Abdeckung war immer noch schlecht), stiegen wir am Leningradsky-Bahnhof aus. Zumindest nicht unter Gazmanov.
Wir begannen unsere Tour durch die „kalkhaltigen“ Rechenzentren mit OST – „dem gleichen“, das vor nicht allzu langer Zeit „gebrannt“ ist. Warum in Anführungszeichen - danach. In der Zwischenzeit stehen wir da, rauchen und warten auf diejenigen, die zu spät kommen. Fotografieren vom RT-Büro nebenan. Es gibt viele lustige Geschichten über dieses Viertel – von der Verlegung von frischem Asphalt und dem Streichen von Bordsteinen vor der Ankunft von Würdenträgern bis hin zu Ermäßigungen in nahegelegenen Cafés, die den Bewohnern von Dataline aufgrund der Ähnlichkeit ihrer Abzeichen gewährt wurden.
Das Sprachrohr der totalitären Propaganda
Rechenzentrum im strengen (Zugriffs-)Modus
Passierschein, Verhaltensregeln, Fleischwolf am Eingang – fast derselbe, den wir gesehen haben . Haben Sie viele Cafés in Rechenzentren gesehen? Jetzt kennen wir ein paar. Mitarbeiter und Kunden verfügen über ein „Kaffee“-Pfand auf ihren Ausweisen, das regelmäßig aufgefüllt wird. Sie können sich also im Rahmen des Zumutbaren völlig kostenlos Kaffee gönnen. Auch wir als liebe Gäste wurden mit einem Essen verwöhnt.
Über den Kaffee kann ich nichts Schlechtes sagen – das ist ganz normal für ein „Ketten“-Café, aber die Lage ist unwillkürlich faszinierend und die Inneneinrichtung steht ganz im Einklang mit den besten modernen Traditionen.
Innenraum eines örtlichen Cafés
Fotos zeigen NORD-Rechenzentren
Die Tour beginnt im Büro. Neben den Inschriften an den Wänden und dem im gesamten Runet bekannten Weiß-Limetten-Farbschema gibt es auch allerlei lustige Dinge. Dabei handelt es sich um Requisiten, die von Firmentheateraufführungen übrig geblieben sind (können Sie sich vorstellen, dass der technische Leiter eines Rechenzentrumsnetzwerks in einem Theaterstück mitspielt? Und wir kennen ihn persönlich.).
Und die Wahrheit
Fotos von Auftritten
Das Rechenzentrum (bzw. vier Rechenzentren) befindet sich in einem Komplex von Industriegebäuden, die bereits im vorletzten Jahrhundert erbaut wurden (damals das Citroen-Werk und zu Sowjetzeiten das Gidroprivod-Werk), daher gibt es einerseits eine harte Industrie-Look, Metallbalken, Loft-Atmosphäre und Industrie-Artefakte aus verschiedenen Epochen, die noch bei verschiedenen Arbeiten zu finden sind. Andererseits müssen die hermetischen Zonen des Rechenzentrums in bestehende Strukturen eingepasst werden und von Zeit zu Zeit Kompromisse mit der Realität eingegangen werden. Allerdings würde ich nicht sagen, dass diese Kompromisse die Qualität beeinträchtigt haben – aber die Jungs mussten beim Design wahrscheinlich hart arbeiten. Gerüchten zufolge fährt auch Metro-2 irgendwo in der Nähe vorbei, aber das ist nicht sicher.
Neben dem Theater gibt es auch ein Museum. Exponate natürlich - archäologische Funde
Ein paar Worte dazu . Ja, das Gebäude (oder besser gesagt das Dach) stand wirklich in Flammen. Die Außeneinheiten der Kühlsysteme und Kälteleitungen wurden beschädigt. Irgendwo ist die Verkabelung durchgebrannt und die Klimaanlagen waren ohne Strom. Irgendwo sind Freonrohre explodiert. Aber trotzdem hielten die hermetischen Zonen tonnenweise Wasser stand, die auf sie strömten, und die Ausrüstung überlebte. Sie haben es unter der Kontrolle des „Hauptquartiers“, das durch das Top-Management der ganzen Welt repräsentiert wird, restauriert – sie haben alle Kupferrohre in Moskau und Umgebung herausgeharkt (sie haben sie sogar nachts in einem BMW X5 gebracht) und alles nüchtern gemacht Installateure. Kritische Geräte aus den beschädigten Datenhallen (beschädigt durch mangelnde Kälte, nicht durch das Feuer!) wurden schnell in andere Hallen verlegt, sodass um fünf Uhr morgens nicht nur alle Dienste, sondern auch die Kunden betriebsbereit waren.
Wir haben persönlich die Halle überprüft, die „am meisten gelitten“ hat – bis auf den Brandgeruch und die ersetzten Fliesen des Doppelbodens erinnert überhaupt nichts an das Feuer (außer den Geräteregalen, die „vorübergehend“ in eine andere Datenhalle gebracht wurden). und blieb dort).
Statusfeld
Als wir durch die Korridore gehen, sehen wir ein Touch-Display mit etwas, das dem Diagramm der Turbinenräume des Rechenzentrums sehr ähnlich ist. Dies ist das Statusfeld. Davon gibt es in den Fluren reichlich und sie ermöglichen es den Technikern vor Ort, beispielsweise die benötigte Klimaanlage schnell zu finden und einfach den aktuellen Status zu melden.
Die Überwachung basiert auf Nagios (inzwischen gibt es bereits mehrere unabhängige Cluster) und deckt alle Rechenzentren ab (sowohl OST als auch NORD). Darüber hinaus gibt es Anwendungen für Android und iOS (für Kunden und Mitarbeiter) sowie eine Statusseite direkt auf der Website.
Auf dem Display fällt mir ein ungewöhnlich hoher PUE auf – er wird in Russland nicht überall akzeptiert, aber dennoch ist 1.90 etwas hoch. Die Antwort darauf ist rein wirtschaftlicher Natur: In den Jahren 2012 und 2013 verkauften sich Racks in Rechenzentren wie warme Semmeln, sodass für Sentimentalität und Energieeffizienz keine Zeit blieb. Wir installieren, was auf dem Markt ist, tun es so schnell wie möglich und kümmern uns überhaupt nicht um Ihren PUE, denn warum? Bereits in der Entwurfsphase werden 80-90 % der Racks gekauft, doch die Gesetzgebung in der Russischen Föderation will von der Energieeffizienz nichts wissen. Obwohl einige Kommissionen in Amsterdam mit solchen Zahlen zufrieden wären.
Nichts persönliches. Nur Geschäftlich.
Ein weiteres Feature ist die Kennzeichnung von Datenhallen. An jedem Standort verfügen die Datenhallen zusätzlich zur „offiziellen“ alphanumerischen Kodierung über „menschliche“ Pseudonyme aus dem Marinealphabet (Alpha-Bravo-Charlie-Delta...). Aus irgendeinem Grund lieben alle Kunden den Whisky-Raum.
Bei der Kundenbetreuung gibt es keine kleinen Details.
Für einige Kunden werden solche „Zäune“ errichtet. In den Turbinenräumen durften wir keine Fotos machen, daher ist das Foto DataLine ©
Bei den Kunden von DataLine handelt es sich überwiegend um große und angesehene Unternehmen; sie mögen es wirklich nicht, wenn ihre Ausrüstung fotografiert wird. Darüber hinaus, wenn der Name (oder das Logo) des Kunden in großen Buchstaben direkt auf die Theke geschrieben wird. Es gefällt ihnen nicht – das ist alles. Deshalb haben wir die bereits berühmten Wände mit verschiedenen Inschriften und den Ingenieur gefilmt. Es ist auch nicht möglich, den gesamten Ingenieur und nicht überall zu fotografieren, aber wir haben es versucht. Da unsere Kunden groß und angesehen sind, haben sie auch spezifische Wünsche – spezielle Regale (oder eine Art Super-Lagersystem aus Regalen mehrerer Anbieter), eigene Zäune, eigene Zugangskontrollsysteme, eigene Videoüberwachung und ein schnelles Reaktionsteam mit Maschinengewehre. Im Allgemeinen besteht eine der unausgesprochenen (und öffentlichen) Regeln von DataLine darin, sich um den Kunden zu kümmern und ihm Gutes zu tun. Angefangen von Westen und ausgestatteten Arbeitsplätzen mit Internetzugang und Ladegeräten bis hin zu verschiedenen Events für Kunden. Letztere sind auch insofern sehr nützlich, als sie von denselben Leuten, die von Unternehmen zu Unternehmen wechseln, zu DataLine gebracht werden. Ganz einfach, weil hier alles gemütlich, bequem und zuverlässig ist. Das Geschäft von DataLine besteht nicht nur aus der Vermietung von Rackflächen. Dies ist auch eine Cloud, die gleichzeitig nach 152-FZ und PCI-DSS zertifiziert ist (wir werden einen Podcast darüber machen, bleiben Sie auf dem Laufenden für Ankündigungen) und sorgt für Konnektivität (eigene Fasern zwischen den Standorten und von jedem von ihnen zu). M9, ein eigener optischer Ring quer durch die Stadt usw. bis zur Organisation der letzten Meile zum Büro des Kunden).
M – Motivation
Apropos Einschreibungen: Ideen kommen nicht nur von Mitarbeitern, sondern auch von Partnern und Kunden. Anschließend können Sie für die erfolgreichsten Ideen abstimmen DataLine in FB. Nun, Sie können dort Ihre Idee vorschlagen.
Treffen an der Elbe
Kreuz (Foto mit freundlicher Genehmigung von DataLine)
Wir halten am Meet-Me-Room an, wo sich die Operatoren befinden. Im MMR (im OST gibt es drei Paare, je nach Anzahl der optischen Haupteingänge, für aktiv und passiv) werden Verbindungen aller Datenhallen zusammengefasst. Im Langlaufschuh ist alles langweilig und ordentlich. Aber dort, wo die Kamera aktiv ist, erinnert man sich an die besten Jahre und Aufnahmen einiger BM18: Nudeln aus Drähten und sortierter Ausrüstung (DLink, Extreme, Juniper, Mikrotik ... und so weiter bis zu ASR9k). Es gibt hier mehr als fünfzig Betreiber, also ist alles bunt. Von MMR aus werden Optik und Kupfer in die Maschinenräume verteilt. Mindestens zwei Routen für jeden (Varianten sind möglich), sodass Sie sich keine Sorgen um die Zuverlässigkeit der Verbindung machen müssen. MMR heißt „Elbe“, was ziemlich subtil ist.
IBM Power nada?
Ein weiterer Fund ist eine nie eingeschaltete IBM P-Serie, die seit mehreren Jahren in einem der Flure steht. Die Maschine (zusammen mit der Bandbibliothek und dem Speichersystem) wurde von einem der Kunden bestellt, aber „sie war nicht nützlich“, also wurde sie dem Rechenzentrum gespendet. Seitdem steht es.
Es ist wahrscheinlich gut, ein reicher Mann zu sein und solche Geschenke zu machen, oder? (Oder vielleicht haben sie es nicht geschenkt, sondern vergessen. Oder sie haben beim Kartenspielen verloren. Aber es gibt es schon seit langer Zeit.)
Dieser hübsche Kerl steht in NORD-4
Wir gehen zum Energiezentrum – drei (oder sogar vier) Dieselgeneratorsätze für jedes Rechenzentrum (ich möchte Sie daran erinnern, dass es in OST vier davon gibt). Der Dieselmotor erreicht in 30–40 Sekunden die volle Leistung und erzeugt 1900 kVA. N+1-Redundanz, Synchronisation usw. inklusive. Die längste Standzeit bei Dieselmotoren in OST beträgt 12 Stunden. in NORD - 2.5 Tage (schließlich ist ein Lager für 85 Tonnen nicht viel Geld).
Selbstverständlich bestehen Vereinbarungen mit verschiedenen Kraftstoffunternehmen zur Lieferung von Kraftstoff. Die Umstellung auf Diesel erfolgt regelmäßig, so dass sowohl Kraftstoff produziert als auch Verträge überprüft werden. Übrigens, sagen Kollegen von NORD, gelingt es beim Testen von Dieselgeneratoren, der normalerweise mehr als eine Stunde dauert, an der Stelle, an der heiße Luft von Dieselmotoren austritt, auch im Winter, dass das Gras grün wird.
Nach einem kurzen Snack in einem bekannten Café machen wir uns auf den Weg zum NORD-Gelände. Dabei handelt es sich auch nicht um ein Rechenzentrum, sondern um vier unabhängige Gebäude auf demselben Gelände. Jeder hat seinen eigenen Stromeingang, seine eigenen Dieselmotoren und seine eigene Kühlung. NORD-1 und NORD-2 wurden vom Uptime Institute M&O geprüft. Das neueste (und beste DataLine-Rechenzentrum) ist NORD-4, also dorthin gehen wir.
Trotz der scheinbar riesigen Zahl an Rechenzentren in Moskau herrscht immer noch ein Mangel. Nein, natürlich werden ein oder zwei Racks problemlos an Sie verschickt. Sie geben dir sogar zwanzig. Mehr ist eine Frage (und DataLine hat mehr als einen oder zwei Kunden mit solchen Bedürfnissen). Insbesondere in NORD-4 gibt es (vorerst) einen Platz, da ein großer Kunde in sein eigenes neu gebautes Rechenzentrum umgezogen ist, aber an anderen Orten ist dies möglicherweise nicht so glücklich. Allerdings ist das Design von NORD-5 derzeit in vollem Gange, dessen Markteinführung für Anfang 2020 versprochen wird.
Doch zurück zu unserem Ausflug. Da wir mit dem Auto unterwegs waren, ließen sie uns durch die Einfahrt, wo Maschinengewehrschützen auf uns zielten, unsere Autonummer mit dem Antrag überprüften und alle Passagiere aufforderten, auszusteigen, um Pässe zu holen (natürlich mit ihren Pässen). Denn B ist Sicherheit.
NORD-4 ist der Stolz des Unternehmens und eine Zusammenstellung langjähriger Erfahrung im Bau und Betrieb von Rechenzentren. Es verfügt über Uptime Institute Tier III-Zertifikate für Designprojekte und Facility (d. h. gebaute Rechenzentren) sowie betriebliche Nachhaltigkeit - Die Jungs sind so verantwortungsbewusst wie möglich an die Sache herangegangen. Im Inneren gibt es vier voneinander unabhängige hermetische Zonen mit jeweils zwei Sälen innerhalb eines Gebäudes. Jeder verfügt über ein eigenes Energiezentrum (Dieselgeneratorsatz, Batterieräume), Kühlkreisläufe und Feuerlöschsysteme. Allgemein – optische Eingänge (es gibt zwei davon pro Gebäude) und MMR.
Gesundes Ingenieur-Modding
Am Eingang des Rechenzentrums wartet ein uns bereits bekanntes Café (naja, warum nicht?). Wir gehen hinauf zur Überwachungszentrale. Mittlerweile gibt es zwei Hauptschichten – in OST und NORD-4 (NORD-1,2,3 haben auch ihre eigenen Dienstschichten). Von jeder Zentrale aus kann man auf beide Standorte blicken, sodass auch hier eine Redundanz von n+1 gewährleistet ist. Auf der Videowand gibt es bereits bekannte Dashboards in hellgrüner Farbgebung (natürlich sind darauf deutlich mehr Parameter zu finden als auf der Statusanzeige). Wir kommunizieren ein wenig über Monitoring – kein schickes Prometheus und Grafan, nur Nagios, nur Hardcore und selbstgemachte Visualisierung. Im Laufe der zehnjährigen (jedoch längeren) Nutzung wurden bereits viele benutzerdefinierte Prüfungen und Skripte geschrieben, so dass der Wechsel zu etwas anderem wie ein Glücksspiel aussieht. Ungefähr einmal im Monat taucht ein anderes Unternehmen auf, das anbietet, alle Probleme „schnell und schmerzlos“ zu lösen, aber irgendwie klappt es noch nicht. Die Videowand funktioniert übrigens auch mit einer selbstmontierten Lösung, die sich als um ein Vielfaches günstiger als kommerzielle Analoga herausstellte.
Lokales Kontrollzentrum
Wenn Sie schon seit vielen Jahren Rechenzentren planen, bauen und betreiben, haben Sie keine Angst mehr davor, etwas selbst zu machen, anstatt etwas Fertiges zu kaufen. DataLine zum Beispiel zögert nicht zu sagen, dass sie einfach aufgrund der Größe die maximale Fehleranzahl erreicht haben und jedes neue Rechenzentrum das Ergebnis schwieriger Fehler und Erfahrungen ist, die seit mehr als zehn Jahren gemacht werden . Natürlich verfügt jedes neue Rechenzentrum über sein eigenes Know-how, und wenn man durch NORD läuft, ertappt man sich hin und wieder bei dem Gedanken, dass die Leute es einfach gemacht haben und es gut gemacht haben. Nicht um anzugeben, nicht um Bewertungen und Zertifikate zu erhalten – ein normaler technischer Prozess, bei dem man mit jeder Iteration über sich hinauswächst und immer besser wird. Ein externer Beobachter wird sagen, dass dies langweilig und konservativ ist, aber der Kunde hält im Gegenteil diese Stabilität mit seinem eigenen Geld aufrecht. Und um es gut zu machen, ist es überhaupt nicht notwendig, für viel, viel Geld technische Systeme oder Software zu kaufen (obwohl es manchmal nicht ohne geht). Oftmals entscheiden Erfahrung, Wissen und technischer Einfallsreichtum.
Das Gebäude NORD-4 hat beispielsweise 3,5 Stockwerke. Die ersten drei sind voll ausgestattet, mit Decken von 4.5 Metern, in denen sich die Turbinenräume befinden. Und der letzte ist technisch, nur 1.8 Meter hoch und dient ausschließlich dem Kühlsystem. Da der Boden technisch ist, sind die Anforderungen an ihn viel geringer, was das Projekt vereinfacht und Geld spart.
Blick auf das dreieckige Rechenzentrum
Max hat eine besondere Kung-Fu-Fähigkeit, um sich nicht auf Fotos einzubrennen
Wir beenden den Rundgang auf dem Dach – von hier aus haben wir einen hervorragenden Blick auf das nahegelegene Heizkraftwerk und Wohngebiet sowie weitere NORD-Gebäude. Zwei davon sind dreieckig. Darüber lachten Kollegen sogar, dass „DataLine Idioten sind, aus irgendeinem Grund bauen sie ein dreieckiges Rechenzentrum“, um dort dreieckige Racks und dreieckige Server zu installieren. Aber nichts – sie haben gebaut und sind erfolgreich im Einsatz und nutzen gleichzeitig effektiv das vorhandene Territorium (das in Moskau allerdings nicht kostenlos ist). Eine weitere (für mich) überraschende Tatsache ist, dass die Mehrheit der gewerblichen Kunden ihren Sitz in Moskau haben möchte. Ein halbes Hundert Kilometer entfernter Standort entlang der Minsker Autobahn ist für niemanden mehr interessant (auch wenn alle notwendigen Kapazitäten und Kommunikationsmöglichkeiten vorhanden sind). So kuscheln sich alle in einem Nicht-Gummi-Modell zusammen.
Kühltürme sind keine Rechenzentren mehr, sondern Wärmekraftwerke
Damit ist unsere nächste Reise zu Ende.
Anschließend gab es noch einmal ein langes und produktives Gespräch über gemeinsame Pläne und zukünftige Podcasts (ich hoffe, wir müssen nicht lange warten), also bleiben Sie dran, es wird bald noch mehr Interessantes geben.
Wenn Sie alles mit eigenen Augen sehen möchten, lädt DataLine Sie zu einem Rundgang ein. Völlig kostenlos, aber nach Vereinbarung. Wer das Codewort „linkmeup“ nennt, bekommt ein Plus an Karma.
Bleib dran!
Source: habr.com