Det vigtigste transportproblem i St. Petersborg er broer. Om natten, på grund af dem, er du nødt til at løbe væk fra værtshuset uden at tage din øl færdig. Nå, eller betal dobbelt så meget for en taxa som normalt. Om morgenen skal du omhyggeligt beregne tiden, så du, så snart broen er lukket, når stationen som en adræt mangust. Vi anser ikke muligheden for "at overnatte et sted i centrum, nær stationen" som ideologisk skadelig.
..."Peregrine Falcon", der forlader kl. 5:30, blev opfundet af folk, der hader ugler. Nej, selvfølgelig er det meget bekvemt at være i Moskva klokken ni om morgenen, og Sankt Petersborg er utrolig smuk i de hvide nætter, men klokken halv fem, da jeg satte mig ind i taxaen, ville jeg vende hovedet 270 grader til lærken, der opfandt dette morgentog.
"Alle gode datacentre er ens," tænkte jeg, da jeg fandt ud af, at fyrene fra DataLine havde inviteret os på besøg.
Som det viser sig, er hvert datacenter godt (eller dårligt) lidt på sin egen måde, især når du slår den store tid, samler alle riverne i området og lærer af dine egne (og lidt andres ) rig erfaring. Så vi (bestående af fem førende linkmeup og deres venner og sympatisører) besluttede at tjekke, hvor gode (eller knap så gode) OST- og NORD-datacentrene er.
Efter at have formået at lave lidt arbejde på vejen (der kunne være en annonce for en mobiloperatør her, men nej - dækningen var stadig dårlig), læssede vi af på Leningradsky-stationen. Nå, i hvert fald ikke under Gazmanov.
Vi startede vores rundtur i "lime" datacentrene med OST - "det samme", der "brændte" for ikke så længe siden. Hvorfor i anførselstegn - efter. I mellemtiden står vi, ryger og venter på dem, der kommer for sent. Tager billeder af RT-kontoret ved siden af. Der er mange sjove historier om dette kvarter - fra at lægge frisk asfalt og male kantsten før de højtstående personers ankomst, til rabatter på nærliggende caféer, som blev givet til Dataline-beboere på grund af ligheden mellem deres badges.
Den totalitære propagandas talerør
Datacenter med streng (adgang) tilstand
Pas, ordensregler, kødhakker ved indgangen - næsten den samme vi så . Har du set mange kaffebarer i datacentre? Nu kender vi et par. Medarbejdere og kunder har "kaffe" indskud på deres badges, som regelmæssigt genopfyldes. Så inden for rimelighedens grænser kan du forkæle dig selv med kaffe helt gratis. Vi, som kære gæster, blev også forkælet med et måltid.
Jeg kan ikke sige noget dårligt om kaffen - det er helt normalt for en "kæde"-kaffebar, men beliggenheden er ufrivilligt fængslende, og interiøret er helt i tråd med de bedste moderne traditioner.
Interiør af en lokal kaffebar
Billeder viser NORD datacentre
Turen starter fra kontoret. Ud over inskriptionerne på væggene og den hvide og limefarvede farvesætning, der er kendt i hele Runet, er der også alle mulige sjove ting. Det er rekvisitter tilovers fra virksomhedsteaterforestillinger (kan du forestille dig den tekniske direktør for et datacenternetværk spille i et teaterstykke? Og vi kender ham personligt.).
Og det er sandt
Billeder fra forestillinger
Datacentret (eller rettere, fire datacentre) er placeret i et kompleks af industribygninger bygget tilbage i forrige århundrede (dengang Citroen-fabrikken, og i sovjettiden Gidroprivod-fabrikken), så på den ene side er der en barsk industrielt look, metalbjælker, en loftsatmosfære og industrielle artefakter fra forskellige epoker, som stadig findes under forskellige værker. På den anden side skal de hermetiske zoner i datacentret passes ind i eksisterende strukturer, og der skal fra tid til anden indgås kompromiser med virkeligheden. Jeg vil dog ikke sige, at disse kompromiser påvirkede kvaliteten - men fyrene skulle nok arbejde hårdt under designet. Også ifølge rygter passerer Metro-2 et sted i nærheden, men det er ikke sikkert.
Udover teatret er der også et museum. Udstillinger, naturligvis - arkæologiske fund
Et par ord om . Ja, bygningen (eller rettere taget taget) brændte virkelig. De udvendige enheder i kølesystemerne og kolde ledninger blev beskadiget. Et eller andet sted brændte ledningerne ud, og klimaanlæggene stod uden elektricitet. Freonrør eksploderede et sted. Men på trods af dette modstod de hermetiske zoner tonsvis af vand hældt på dem, og udstyret overlevede. De restaurerede det under kontrol af "hovedkvarteret" repræsenteret af den øverste ledelse i hele verden - de rakte alle kobberrør ud i Moskva og det omkringliggende område (de bragte dem endda om natten i en BMW X5) og alt det ædru installatører. Kritisk udstyr fra de beskadigede datahaller (beskadiget på grund af mangel på kulde, ikke fra brand!) blev hurtigt flyttet til andre haller, så klokken fem om morgenen var ikke kun alle deres tjenester, men også deres kunder i gang.
Vi tjekkede personligt den hal, der "lidte mest" - bortset fra lugten af brændende og udskiftede fliser på det hævede gulv, intet som helst minder om branden (bortset fra stativer med udstyr, der "midlertidigt" blev ført til en anden datahal, og blev der).
Status panel
Går vi langs gangene, ser vi et touch-display med noget, der ligner diagrammet over datacentrets turbinerum. Dette er statuspanelet. Der er masser af dem på gangene, og de gør det muligt for ingeniører på stedet hurtigt at finde for eksempel det nødvendige klimaanlæg og blot rapportere den aktuelle status.
Overvågningen er bygget på Nagios (nu er der allerede flere uafhængige klynger) og dækker alle datacentre (både OST og NORD). Derudover er der applikationer til Android og iOS (til kunder og medarbejdere) og en statusside direkte på hjemmesiden.
På displayet bemærker jeg en usædvanlig høj PUE - det accepteres ikke alle steder i Rusland, men alligevel er 1.90 noget højt. Svaret på dette er rent økonomisk - i 2012-2013 solgte stativer i datacentre som varmt brød, så der var ikke tid til sentimentalitet og energieffektivitet. Vi installerer det, der er på markedet, gør det så hurtigt som muligt og er overhovedet ikke ligeglade med din PUE, for hvorfor? Selv på designstadiet købes 80-90% af stativerne, men lovgivningen i Den Russiske Føderation ønsker ikke at vide noget om energieffektivitet. Selvom nogle kommissioner i Amsterdam ville være tilfredse med sådanne tal.
Det er ikke noget personligt. Bare forretning.
En anden funktion er mærkningen af datahaller. På hvert sted har datahaller, ud over den "officielle" alfanumeriske kodning, "menneskelige" pseudonymer fra flådealfabetet (Alpha-Bravo-Charlie-Delta...). Af en eller anden grund elsker alle kunder Whisky-rummet.
Der er ingen små detaljer, når det kommer til kundepleje.
Sådanne "hegn" er opsat for nogle kunder. Vi måtte ikke tage billeder i møllerummene, så billedet er DataLine ©
DataLines kunder er for det meste store og respekterede virksomheder, de kan virkelig ikke lide at få deres udstyr fotograferet. Desuden, hvis kundens navn (eller logo) er skrevet direkte på disken med store bogstaver. De kan ikke lide det - det er alt. Derfor filmede vi de allerede berømte vægge med forskellige inskriptioner, og ingeniøren. Det er heller ikke muligt at fotografere hele ingeniøren og ikke alle steder, men vi prøvede. Da vores kunder er store og respekterede, har de også specifikke ønsker - specielle stativer (eller en eller anden form for uber-lagersystem fra flere forhandlerreoler), deres egne hegn, deres egne adgangskontrolsystemer, deres egen videoovervågning og et hurtigt respons-team med maskinpistol. Generelt er en af de uudtalte (og offentlige) regler for DataLine at tage sig af kunden og gøre godt mod ham. Fra veste og udstyrede arbejdsstationer med internetadgang og opladere, til forskellige arrangementer for kunder. Sidstnævnte er også meget nyttige, idet de samme personer, der flytter fra virksomhed til virksomhed, bringer dem til DataLine. Simpelthen fordi alt her er hyggeligt, praktisk og pålideligt. DataLines forretning handler ikke kun om udlejning af reolplads. Dette er også en sky, der samtidig er certificeret i henhold til 152-FZ og PCI-DSS (vi skal lave en podcast om det, holde øje med annonceringer) og giver forbindelse (dets egne fibre mellem webstederne og fra hver af dem til M9, sin egen optiske ring på tværs af byen, og så videre indtil organiseringen af den sidste kilometer til kundens kontor).
M - motivation
Når vi taler om påskrifter, så kommer ideer ikke kun fra medarbejdere, men også fra partnere og kunder, hvorefter du kan stemme på de mest succesrige på DataLine på FB. Nå, du kan foreslå din idé der.
Møde på Elben
Cross (foto udlånt af DataLine)
Vi stopper ved Meet-Me-Room, hvor operatørerne holder til. I MMR (der er tre par i OST, i henhold til antallet af optiske hovedindgange, for aktive og passive) kombineres forbindelser fra alle datahaller. I langrendsskoen er alt kedeligt og pænt. Men hvor det aktive kamera er placeret, husker du de bedste år og optagelser fra nogle BM18: nudler lavet af ledninger og diverse udstyr (DLink, Extreme, Juniper, Mikrotik... og så videre op til ASR9k). Der er mere end halvtreds operatører her, så alt er farverigt. Fra MMR fordeles optik og kobber til maskinrummene. Mindst to ruter for hver (varianter er mulige), så du behøver ikke bekymre dig om pålideligheden af forbindelsen. MMR kaldes "Elbe", hvilket er ret subtilt.
IBM Power nada?
Et andet fund er en IBM P-serie, som aldrig har været tændt, og som har stået i en af gangene i flere år. Maskinen (sammen med båndbiblioteket og lagersystemet) blev bestilt af en af kunderne, men "den var ikke nyttig", så den blev doneret til datacentret. Den har stået lige siden.
Det er nok godt at være velhavende fyre og give sådanne gaver, ikke? (Eller måske gav de det ikke som gave, men glemte det. Eller tabte de på kort. Men det har eksisteret længe)
Denne smukke fyr står i NORD-4
Vi går til energicentret - tre (eller endda fire) dieselgeneratorsæt til hvert datacenter (lad mig minde dig om, at der er fire af dem i OST). Dieselmotoren når fuld effekt på 30-40 sekunder og producerer 1900 kVA. N+1 redundans, synkronisering osv. inkluderet. Den længste siddetid på dieselmotorer i OST er 12 timer. i NORD - 2.5 dage (et lager til 85 tons er jo ikke mange penge).
Der er naturligvis aftaler med forskellige brændstofselskaber om levering af brændstof. Skift til diesel sker løbende, så der både produceres brændstof og kontrakter verificeres. I øvrigt, ifølge kolleger hos NORD, når man tester dieselgeneratorsæt, som normalt tager mere end en time, på det sted, hvor der udsendes varm luft fra dieselmotorer, når græsset selv om vinteren at blive grønt.
Efter en kort snack på en velkendt kaffebar går vi til NORD-stedet. Dette er heller ikke ét datacenter, men fire uafhængige bygninger på samme område. Hver har sin egen el-indgang, sine egne dieselmotorer og sin egen køling. NORD-1 og NORD-2 blev revideret af Uptime Institute M&O. Det seneste (og bedste DataLine-datacenter) er NORD-4, så det er der, vi skal hen.
På trods af det tilsyneladende enorme antal datacentre i Moskva, er der stadig mangel. Nej, selvfølgelig vil et eller to stativer blive sendt til dig uden problemer. De vil endda give dig tyve. Mere er et spørgsmål (og DataLine har mere end en eller to kunder med sådanne behov). Helt konkret er der i NORD-4 en plads (for nu), fordi én stor klient er flyttet ind i sit eget nybyggede datacenter, men andre steder er det måske ikke så heldigt. Designet af NORD-5 er dog nu i fuld gang, som loves lanceret i starten af 2020.
Men lad os vende tilbage til vores udflugt. Da vi rejste i bil, lukkede de os ind i gatewayen, hvor maskingeværere tog sigte på os, tjekkede vores bilnummer med ansøgningen og bad alle passagerer om at komme ud for at få pas (selvfølgelig med deres pas). Fordi B er sikkerhed.
NORD-4 er virksomhedens stolthed og en samling af mange års erfaring i konstruktion og drift af datacentre, den har Uptime Institute Tier III certifikater for designprojekt og Facility (dvs. bygget datacenter), samt Operational Sustainability - fyrene greb sagen så tæt på som muligt ansvarligt. Indenfor er der fire hermetiske zoner, uafhængige af hinanden, med to haller i hver bygning. Hver har sit eget kraftcenter (dieselgeneratorsæt, batterirum), kølekredsløb og brandslukningssystemer. Generelt - optiske indgange (der er to af dem pr. bygning) og MMR.
Sund Ingeniør Modding
Ved indgangen til datacentret venter en kaffebar, som vi allerede kender (nå, hvorfor ikke?). Vi går op til overvågningscenteret. Der er nu to hoved - i OST og NORD-4 (NORD-1,2,3 har også deres egne vagthold). Fra hvert center kan man se på begge steder, så også her er redundans n+1 sikret. På videovæggen er der allerede kendte dashboards i et lysegrønt farveskema (der er selvfølgelig meget flere parametre på det end på statusdisplayet). Vi kommunikerer lidt om overvågning - ingen fancy Prometheus og Grafan, kun Nagios, kun hardcore og hjemmelavet visualisering. I løbet af ti års (dog endnu mere) brug er der allerede skrevet mange brugerdefinerede checks og scripts, så at skifte til noget andet ligner et gamble. Cirka en gang om måneden dukker et andet firma op, der tilbyder at løse alle problemer "hurtigt og smertefrit", men på en eller anden måde lykkes det ikke endnu. Videovæggen fungerer i øvrigt også på en selvsamlet løsning, som viste sig at være flere gange billigere end kommercielle analoger.
Lokalt kontrolcenter
Når man har designet, bygget og driftet datacentre i mange år, er man ikke længere så bange for at gøre noget selv frem for at købe noget færdiglavet. DataLine tøver for eksempel ikke med at sige, at de simpelthen på grund af skalaen har trådt på det maksimale antal fejl, og hvert nyt datacenter er resultatet af svære fejl og erfaringer, der har stået på i mere end ti år . Hvert nyt datacenter har selvfølgelig sin egen knowhow, og mens man går rundt i NORD, fanger man nu og da sig selv i at tro, at folk bare gjorde det og gjorde det godt. Ikke for at vise sig frem, ikke for vurderinger og certifikater – en normal ingeniørproces, når man ved hver iteration vokser over sig selv og bliver bedre og bedre. En ekstern iagttager vil sige, at dette er kedeligt og konservativt, men klienten bevarer tværtimod en sådan stabilitet med sine egne penge. Og for at gøre det godt, er det slet ikke nødvendigt at købe tekniske systemer eller software for mange, mange penge (selvom nogle gange kan du ikke gøre det uden det). Erfaring, viden og ingeniørmæssig opfindsomhed afgør ofte.
Eksempelvis har NORD-4 bygningen 3,5 etager. De tre første er fuldgyldige, med lofter på 4.5 meter, hvor møllerummene er placeret. Og den sidste er teknisk, kun 1.8 meter høj, og er udelukkende dedikeret til kølesystemet. Da gulvet er teknisk, er kravene til det meget lavere, hvilket forenklede projektet og sparede penge.
Udsigt over det trekantede datacenter
Max har en særlig kung fu-evne til ikke at blive brændt på billeder
Vi afslutter turen på taget - herfra har vi en fremragende udsigt over det nærliggende termiske kraftværk og boligområde, samt andre NORD-bygninger. To af dem er trekantede. Over dette grinede kolleger endda, at "DataLine er idioter, af en eller anden grund bygger de et trekantet datacenter" for at installere trekantede racks og trekantede servere der. Men intet - de byggede og fungerer med succes og bruger samtidig effektivt det eksisterende territorium (som i Moskva, det må siges, ikke er gratis). En anden overraskende (for mig) kendsgerning er, at størstedelen af kommercielle kunder ønsker at være placeret i Moskva. Et sted et halvt hundrede kilometer væk langs Minsk-motorvejen (selvom der er al den nødvendige kapacitet og kommunikation) er ikke længere interessant for nogen. Så alle klemmer sig sammen i en ikke-gummi.
Køletårne er ikke længere datacentre, men termiske kraftværker
Hermed er vores næste rejse slut.
Bagefter var der endnu en lang og produktiv samtale om fælles planer og fremtidige podcasts (håber vi ikke skal vente længe), så følg med, der kommer snart endnu flere interessante ting.
Nå, hvis du vil se alt med dine egne øjne, inviterer DataLine dig på en rundvisning. Helt gratis, men efter aftale. De, der kalder kodeordet "linkmeup", vil få et plus i karma.
Bliv hængende!
Kilde: www.habr.com