Det største transportproblem i Sankt Petersborg er broerne. Om natten må man løbe ud fra baren, uden at have drukket sin øl. Eller betale dobbelt så meget for en taxa. Om morgenen skal man nøje planlægge tiden, så snart broen er sænket, kan man som en snedig mungo nå frem til stationen. Vi overvejer ikke muligheden for at 'overnatte et sted i centrum, tæt på stationen', da dette anses for ideologisk skadelig.
…"Sapsan", der går kl. 5:30, er opfundet af folk, der hader ugler. Selvfølgelig er det meget praktisk at være i Moskva kl. ni om morgenen, og Sankt Petersborg er utrolig smuk i de hvide nætter, men kl. halv fem, da jeg satte mig ind i taxaen, havde jeg lyst til at vende mit hoved 270 grader mod den morgenfugl, der fandt på dette tidlige tog.
"Alle gode datacentre ligner hinanden" - tænkte jeg, da jeg fandt ud af, at vi var blevet inviteret af folkene fra DataLine.
Som det viste sig, er hvert datacenter godt (eller dårligt) på sin egen måde, især når man har fået nogle erfaringer, samlet alle faldgruberne i området og lært lektioner fra sin egen (og lidt andres) rige erfaring. Derfor besluttede vi (bestående af fem ledende linkmeup og tilsluttede venner og medfølende) at tjekke, hvor gode (eller mindre gode) datacentrene OST og NORD er.
Vi fik arbejdet en smule på vejen (her kunne der være en reklame for en mobiloperatør, men nej - dækningen forblev lige så ringe), og vi går ud på Leningrad station. Nå, heldigvis ikke under Gazmanov.
Vi startede vores rundtur ved "de grønne" datacentre OST - "det samme", som for nylig "brændte". Hvorfor i citationstegn - efterfølgende. Men indtil da - vi står, ryger, venter på de forsenede. Vi fotograferer RTs kontor ved siden af. Der er mange sjove historier med dette naboskab - fra udlægning af frisk asfalt og maling af kantsten før ankomsten af de Høje Personer, til rabatter i de nærliggende caféer, som datalinefolkene fik på grund af ligheden med deres navneskilt.
Taleren for totalitær propaganda
Datacenter med strengt (adgangs)regime
Adgang, adfærdsregler, en kødkniv ved indgangen - næsten det samme så vi . Har du set mange kaffebarer i datacentre? Vi kender nu et par stykker. Medarbejdere og kunder har "kaffede" indskud på deres badges, som bliver genopfyldt regelmæssigt, så man kan få kaffe helt gratis i rimelige mængder. Som dyre gæster blev vi også budt på kaffe.
Jeg har ikke noget dårligt at sige om kaffen - den er helt gennemsnitlig for en "netværks" kaffebar, men beliggenheden er uimodståelig, og interiøret er lige i tråd med de bedste moderne traditioner.
Interiøret i den lokale kaffebar
På billederne datacentre NORD
Turen starter i kontoret. Udover de velkendte inskriptioner på væggene og den hvid-grønne farveskala, er der også en masse sjove ting. Det er rekvisitter, der er tilbage fra virksomhedens teaterforestillinger (kan du forestille dig den tekniske direktør for datacenternettet spille i et skuespil? Vi kender ham personligt).
Og det er sandt
Billeder fra teaterforestillingerne
Datacentret (eller rettere sagt fire datacentre) ligger i et kompleks af industrielle bygninger, der blev bygget tilbage i det forrige århundrede (dengang - Citroën-fabrikken, og i Sovjetunionens tid - fabrikken "Hydrodriv"). Så på den ene side er der hård industri, metalbjælker, en loftstemning og industrielle artefakter fra forskellige epoker, som stadig findes under forskellige arbejder. På den anden side skal datacentrets hermetiske zoner integreres i de eksisterende konstruktioner, og af og til må man gå på kompromis med virkeligheden. Men jeg vil ikke sige, at disse kompromisser har påvirket kvaliteten - men drengene har bestemt måttet anstrenge sig under designprocessen. Yderligere, ifølge rygterne, går Metro-2 et sted i nærheden, men det er ikke sikkert.
Udover teatret er der også et museum. Genstandene er ægte - arkæologiske fund.
Et par ord om Ja, bygningen (eller rettere sagt taget) brændte faktisk. De udvendige blokke i kølesystemerne og køleledningerne blev skadet. Et sted smeltede ledningerne, og klimaanlæggene stod uden strøm. Et sted eksploderede køleledningerne. Men på trods af dette, havde tætningszonerne modstået tonsvis af vand, der blev hældt på dem, og udstyret overlevede. Opsvinget blev styret af en 'stabsgruppe' i form af ledelsen, og vi fik indsamlet alle kobberrør i Moskva og omegn (de blev endda bragt om natten i BMW X5) og alle ædru montører. Kritisk udstyr fra de ramte datacentre (ramt af mangel på kulde, ikke af brand!) blev hurtigt flyttet til andre rum, så allerede kl. 5 om morgenen var ikke kun alle vores tjenester oppe at køre, men også kundernes.
Vi har personligt kontrolleret den hal, som har lidt mest skade — udover lugten af røg og de udskiftede fliser i det falske gulv, minder intet om branden (ud over reolerne med udstyr, der blev 'midlertidigt' flyttet til en anden datacenter og der forblev).
Statuspanel
Når vi går gennem gangene, ser vi en berøringsskærm med noget, der ligner en skitse af datacenter-maskinrum. Det er statuspanelet. De er spredt ud i gangene og giver onsite ingeniører mulighed for hurtigt at finde for eksempel den nødvendige klimaanlæg, og de informerer også om den aktuelle status.
Overvågningen er bygget på Nagios (nu med flere uafhængige klynger) og dækker alle datacentre (både OST og NORD). Derudover findes der applikationer til Android og iOS (til kunder og medarbejdere), samt en status-side direkte på hjemmesiden.
På skærmen bemærker jeg en usædvanligt høj PUE — det er ikke almindeligt at beregne det i Rusland, men alligevel er 1,90 temmelig meget. Svaret er rent økonomisk — i 2012-2013 blev stativer i datacentre udsolgt som varme boller, så der var ikke tid til sentimentalitet og energieffektivitet. Vi installerer det, der er på markedet, gør det så hurtigt som muligt, og bekymrer os slet ikke om de der PUE, fordi hvorfor skulle vi? Allerede i designfasen købes 80-90 % af stativerne, og lovgivningen i Rusland ønsker ikke at vide noget om energieffektivitet. Men en eller anden kommission i Amsterdam ville sætte en krampe i det ved sådanne tal.
Intet personligt. Bare forretning.
En anden funktion er mærkningen af datacentre. På hver lokation har datacentre, udover den "officielle" alfanumeriske kode, også "menneskelige" kaldenavne fra det maritime alfabet (Alfa-Bravo-Charlie-Delta...). Af en eller anden grund elsker alle kunder at hænge ud i Whiskey-rummet.
I arbejdet med kundepleje findes der ingen småting.
Sådanne "hegn" anvendes til nogle kunder. I vores maskinhaller fik vi ikke lov til at tage billeder, derfor er billedet taget af DataLine ©.
DataLines kunder er kun store og respekterede virksomheder, og de bryder sig ikke om, at deres udstyr bliver fotograferet. Især ikke hvis navnet (eller logoet) er skrevet direkte på racken med store bogstaver. De bryder sig ikke om det — og det er der ikke noget at gøre ved. Derfor tog vi billeder af de berømte vægge med forskellige inskriptioner samt teknikrummene. Man kan heller ikke fotografere alt i teknikrummet, men vi gjorde vores bedste. Da kunderne er store og respekterede, har de ofte specifikke ønsker — specielle racks (eller måske endda en super SAN fra flere leverandørers racks), egne hegn, egen adgangskontrol, eget videoovervågning og en hurtig reaktionsgruppe med våben. Generelt er en af DataLines uskrevede (og også åbenlyse) regler at tage sig af kunden og sikre, at de har det godt. Fra vestene og udstyrede arbejdspladser med internetadgang og opladere, til forskellige arrangementer for kunderne. Sidstnævnte er også meget nyttige, da de samme personer, der skifter fra virksomhed til virksomhed, fører dem til DataLine. Bare fordi det her er hyggeligt, praktisk og pålideligt. DataLines forretning handler ikke kun om udlejning af rackpladser. Det er også cloudtjenester, der er certificeret både efter 152-FZ og PCI-DSS (om dette planlægger vi at lave en podcast, hold øje med annonceringer), og provisionering af forbindelser (egne fibre mellem lokationerne og fra hver af dem til M9, eget optisk ringnet i byen, og helt frem til organisering af den sidste mil til kundens kontor).
M — motivation
For at nævne inskriptionerne — idéerne kommer ikke kun fra medarbejderne, men også fra partnere og kunder, hvorefter man kan stemme på de mest vellykkede ideer på DataLine på FB. Man kan også foreslå sin egen idé der.
Mødet på Elben
Cross (billede leveret af DataLine)
Vi stopper ved Meet-Me-Room, hvor operatørerne holder til. I MMR (der er tre par i OST, svarende til antallet af hovedoptiske indgange, til aktiv og passiv) samles forbindelserne fra alle datacentre. I krydset er alt kedeligt og ordentligt. Men der, hvor operatørens aktiv udstyr står, minder man om de bedste år og billeder fra et eller andet BM18: tråde i alle retninger og blandet udstyr (DLink, Extreme, Juniper, Mikrotik… og så videre til ASR9k). Der er over halvtreds operatører her, så det er en farverig blanding. Fra MMR fordeles fiber og kobber til maskinrum. Minimum to ruter til hver (der er muligheder), så man kan være tryg ved forbindelse. MMR kaldes 'Elba', hvilket er ret subtilt.
IBM Power n-na?
En anden opdagelse er IBM P-series, som ikke er blevet tændt én gang, og som har stået i en af korriderne i flere år. Maskinen (sammen med en båndbibliotek og SAN) blev bestilt af en af kunderne, men 'blev ikke brugt', så den blev givet til datacenteret. Siden har den stået der.
Det må være godt at være velhavende fyre og give sådan nogle gaver, ikke? (Eller måske blev den ikke givet, men glemt. Eller tabt i kortspil. Men den har stået der i lang tid)
Sådan en skønhed står i NORD-4.
Vi går til energicentret - tre (eller måske fire) DGU'er til hvert datacenter (jeg minder om, at der er fire i OST). Diesel når fuld kapacitet efter 30-40 sekunder og leverer 1900kVA. N+1 redundans, synkronisering og andet - alt sammen med. Den længste tid på diesel i OST er 12 timer. I NORD er det 2,5 dage (det er trods alt et lager på 85 ton, det er ikke småting).
Selvfølgelig er der aftaler med forskellige brændstofselskaber om levering af brændstof. Skiftet til diesel sker regelmæssigt, så brændstof bliver brugt, og kontrakter bliver kontrolleret. For øvrigt ifølge kollegerne, under test af DGU'er, som typisk tager flere timer, lykkes det selv om vinteren at få græsset til at grønne, hvor den varme luft fra dieselmotorerne blæses ud.
Efter en kort snack i den velkendte café kører vi til NORD-området. Dette er heller ikke et enkelt datacenter, men fire uafhængige bygninger på samme område. Hver har sine egne el-inputter, sine egne dieselmotorer og sin egen køling. NORD-1 og NORD-2 har bestået Uptime Institute M&O audit. Det nyeste (og bedste datacenter fra DataLine) er NORD-4, så vi går præcis herhen.
På trods af det tilsyneladende store antal datacentre i Moskva er der stadig en mangel. Selvfølgelig kan de håndtere en eller to racks uden problemer. De kan endda give dig tyve. Men mere end det – det er et spørgsmål (og DataLines kunder med sådanne behov er ikke kun én eller to). Konkret er der plads i NORD-4 (for nu), fordi en stor kunde er flyttet til deres eget nybyggede datacenter, men i andre steder kan det være, at man ikke er så heldig. Ikke desto mindre er der i øjeblikket planlægning af NORD-5, som de lover at lancere i begyndelsen af 2020.
Men lad os vende tilbage til vores rundtur. Da vi kørte i bil, blev vi sendt ind i en sluse, hvor soldaterne målte os op, tjekkede nummeret på vores bil med ansøgningen, og bad alle passagerer om at stige ud for at modtage adgangskort (naturligvis med pas). For B – sikkerhed.
NORD-4 er virksomhedens stolthed og en sammensætning af mange års erfaring inden for opførelse og drift af datacentre. Det har certificeringer fra Uptime Institute Tier III for designprojektet og facility (dvs. det byggede datacenter) samt Operational Sustainability – fyren har taget deres arbejde meget seriøst. Indenfor er der fire uafhængige hermetiske zoner med to sale inden for én bygning. Hver har deres eget energicenter (DGU, batterirum) kølesystemer og brandsikringssystemer. Der er fælles indgange for fiberoptik (to til bygningen) og MMR.
Modding af en sund ingeniør
Ved indgangen til datacenteret venter den velkendte café (hvorfor ikke?). Vi går op til overvågningscentret. Der er i øjeblikket to hovedsteder - i OST og NORD-4 (i NORD-1, 2, 3 er der også vagter). Fra hvert center kan man overvåge begge lokationer, så der sikres også redundancy n+1 her. På videovæggen er de velkendte dashboards i en salatgrøn farveskala (der er selvfølgelig mange flere parametre, end der er på statusdisplays). Vi taler kort om overvågning - ingen trendy Prometheus eller Grafana, kun Nagios, kun hardcore og egenudviklet visualisering. I løbet af ti år (næsten mere) er der skrevet mange tilpassede checks og scripts, så det virker som en stor risiko at skifte til noget andet. Omtrent én gang om måneden dukker der endnu en virksomhed op, som tilbyder at løse alle problemer
Det lokale kontrolcenter
Når man i mange år projekterer, bygger og driver datacentre, bliver man ikke så nervøs for at gøre noget selv i stedet for at købe færdige løsninger. DataLine nægter eksempelvis ikke at sige, at de, blot på grund af omfanget, har stødt på det maksimale antal problemer, og hvert nyt datacenter er resultatet af svære fejl og erfaring, der strækker sig over mere end ti år. Selvfølgelig har hvert nyt datacenter sine egenheder, og mens man går rundt i NORD, opdager man gang på gang, at folk bare har taget initiativet og gjort det godt. Ikke for show, ikke for ranglister og certifikater - det er en almindelig ingeniørproces, hvor man ved hver iteration vokser og bliver bedre og bedre. En udefrakommende observatør vil sige, at det er kedeligt og konservativt, mens kunden derimod støtter denne stabilitet med sine egne penge. Og for at gøre det godt, er det ikke nødvendigt at købe dyre ingeniørsystemer eller software (selvom det nogle gange ikke kan undgås). Oftest er det erfaring, viden og ingeniørmæssig nøgle, der gør forskellen.
For example, the NORD-4 building has 3.5 floors. The first three are full floors, with ceilings at 4.5 meters, where the machine rooms are located. The last one is technical, only 1.8 meters high, dedicated entirely to the cooling system. Since this is a technical floor, the requirements for it are much lower, which allowed the project to be simplified and saved money.
View of the triangular data center
Max has a special kung-fu to not get caught in photos
We conclude our tour on the roof — from here there is a great view of the nearby CHPP and residential area, as well as other NORD buildings. Two of them are triangular. Colleagues even joked that 'DataLine are fools for building a triangular data center' to place triangular racks and triangular servers there. But nothing — they built it and successfully operate it, while effectively using the available territory (which, in Moscow, is not free). Another surprising fact for me is that most commercial clients want to locate themselves specifically in Moscow. A site over fifty kilometers down the Minsk highway (even if it has all the necessary capacities and communications) is of little interest to anyone. Hence, everyone is cramped in this limited space.
Cooling towers are no longer a data center, but a CHPP
This concludes our next journey.
Afterwards, there was a long and productive discussion about joint plans and future podcasts (I hope it won't be long before we see results), so stay tuned for more interesting news soon.
For those who wish to see everything with their own eyes, DataLine invites you on a tour. Absolutely free, but by prior appointment. Those who mention the code word 'linkmeup' will earn some karma points.
Hold dig opdateret!
Kilde: habr.com
