Det viktigste transportproblemet i St. Petersburg er broer. Om natten, på grunn av dem, må du stikke av fra tavernaen uten å fullføre ølet ditt. Vel, eller betal dobbelt så mye for en taxi som vanlig. Om morgenen, beregn tiden nøye slik at så snart broen er stengt, kommer du deg til stasjonen som en smidig mangust. Vi anser ikke alternativet «å overnatte et sted i sentrum, nær stasjonen» som ideologisk skadelig.
..."Peregrine Falcon", som dro klokken 5:30, ble oppfunnet av folk som hater ugler. Nei, det er selvfølgelig veldig praktisk å være i Moskva klokken ni om morgenen, og St. Petersburg er utrolig vakkert under de hvite nettene, men klokken halv fem, da jeg satte meg i taxien, ville jeg snu hodet 270 grader til lerken som oppfant dette morgentoget.
"Alle gode datasentre er like," tenkte jeg da jeg fant ut at gutta fra DataLine hadde invitert oss på besøk.
Som det viser seg, er hvert datasenter bra (eller dårlig) litt på sin egen måte, spesielt når du treffer den store tiden, samler alle rakene i området og lærer leksjoner fra dine egne (og litt andre) rik erfaring. Så vi (sammensatt av fem ledende linkmeup og venner og sympatisører som sluttet seg til dem) bestemte oss for å sjekke hvor gode (eller ikke så gode) OST- og NORD-datasentrene er.
Etter å ha klart å jobbe litt på veien (det kan være en annonse for en mobiloperatør her, men nei - dekningen var fortsatt dårlig), losset vi på Leningradsky-stasjonen. Vel, i hvert fall ikke under Gazmanov.
Vi startet vår omvisning i "lime" datasentre med OST - "det samme" som "brente" for ikke så lenge siden. Hvorfor i anførselstegn - etter. I mellomtiden står vi, røyker og venter på de som kommer for sent. Tar bilder av RT-kontoret ved siden av. Det er mange morsomme historier om dette nabolaget - fra å legge ny asfalt og male kantstein før de kommer til æresmedlemmer, til rabatter på kafeer i nærheten som ble gitt til Dataline-beboere på grunn av likheten mellom merkene deres.
Den totalitære propagandaens talerør
Datasenter med streng (tilgang) modus
Pass, ordensregler, kjøttkvern ved inngangen - nesten den samme vi så . Har du sett mange kaffebarer i datasentre? Nå kjenner vi et par. Ansatte og kunder har "kaffe"-innskudd på merkene sine, som jevnlig etterfylles. Så innenfor rimelighetens grenser kan du unne deg kaffe helt gratis. Vi som kjære gjester ble også spandert et måltid.
Jeg kan ikke si noe dårlig om kaffen - det er ganske normalt for en "kjede"-kaffebar, men beliggenheten er ufrivillig fengslende, og interiøret er helt i tråd med de beste moderne tradisjonene.
Interiør i en lokal kaffebar
Bilder viser NORD datasentre
Turen starter fra kontoret. I tillegg til inskripsjonene på veggene og den hvite og lime fargeskalaen som er kjent i hele Runet, er det også alt mulig morsomt. Dette er rekvisitter til overs fra bedriftsteaterforestillinger (kan du forestille deg den tekniske direktøren for et datasenternettverk spille i et teaterstykke? Og vi kjenner ham personlig.).
Og det er sant
Bilder fra forestillinger
Datasenteret (eller rettere sagt, fire datasentre) ligger i et kompleks av industribygninger bygget i forrige århundre (den gang Citroen-anlegget, og i sovjettiden Gidroprivod-anlegget), så på den ene siden er det en tøff industrielt utseende, metallbjelker, loftsatmosfære og industrielle gjenstander fra ulike tidsepoker som fortsatt finnes under ulike arbeider. På den annen side må de hermetiske sonene i datasenteret passes inn i eksisterende strukturer, og kompromisser med virkeligheten må inngås fra tid til annen. Jeg vil imidlertid ikke si at disse kompromissene påvirket kvaliteten - men gutta måtte nok jobbe hardt under utformingen. Også, ifølge ryktene, passerer Metro-2 et sted i nærheten, men dette er ikke sikkert.
I tillegg til teatret er det også et museum. Utstillinger, naturligvis - arkeologiske funn
Noen få ord om . Ja, bygningen (eller rettere sagt, taket) sto virkelig i brann. De eksterne enhetene til kjølesystemene og kalde rør ble skadet. Et sted brant ledningene ut og klimaanleggene ble stående uten strøm. Freonrør eksploderte et sted. Men til tross for dette, tålte de hermetiske sonene tonnevis med vann som ble hellet på dem, og utstyret overlevde. De restaurerte det under kontroll av "hovedkvarteret" representert av toppledelsen i hele verden - de rakte ut alle kobberrørene i Moskva og området rundt (de tok dem til og med om natten i en BMW X5) og alt det edru installatører. Kritisk utstyr fra de skadede datahallene (skadet på grunn av mangel på kulde, ikke fra brann!) ble raskt flyttet til andre haller, slik at klokken fem om morgenen ikke bare alle tjenestene deres, men også kundene deres var i gang.
Vi sjekket personlig hallen som "lider mest" - bortsett fra lukten av brennende og utskiftede fliser på det hevede gulvet, ingenting i det hele tatt minner om brannen (bortsett fra stativer med utstyr som ble "midlertidig" ført til en annen datahall, og ble der).
Statuspanel
Når vi går langs korridorene, ser vi en berøringsskjerm med noe som ligner veldig på diagrammet over datasenterets turbinrom. Dette er statuspanelet. Det er nok av dem i korridorene, og de lar ingeniører på stedet raskt finne for eksempel det nødvendige klimaanlegget, og ganske enkelt rapportere gjeldende status.
Overvåkingen er bygget på Nagios (nå er det allerede flere uavhengige klynger) og dekker alle datasentre (både OST og NORD). I tillegg er det applikasjoner for Android og iOS (for kunder og ansatte), og en statusside direkte på nettsiden.
På displayet merker jeg en uvanlig høy PUE - den er ikke akseptert overalt i Russland, men likevel er 1.90 noe høy. Svaret på dette er rent økonomisk - i 2012-2013 solgte stativer i datasentre som varmt hvetebrød, så det var ikke tid til sentimentalitet og energieffektivitet. Vi installerer det som er på markedet, gjør det så raskt som mulig og bryr oss ikke om din PUE i det hele tatt, for hvorfor? Selv på designstadiet kjøpes 80-90% av stativene, men lovgivningen i den russiske føderasjonen ønsker ikke å vite noe om energieffektivitet. Selv om noen kommisjoner i Amsterdam ville være fornøyd med slike tall.
Ingenting personlig. Bare forretninger.
En annen funksjon er merking av datahaller. På hvert sted har datahaller, i tillegg til den "offisielle" alfanumeriske kodingen, "menneskelige" pseudonymer fra marinealfabetet (Alpha-Bravo-Charlie-Delta...). Av en eller annen grunn elsker alle kunder Whisky-rommet.
Det er ingen små detaljer når det kommer til kundebehandling.
Slike "gjerder" er satt opp for noen klienter. Vi fikk ikke ta bilder i turbinrommene, så bildet er DataLine ©
DataLines kunder er stort sett store og respekterte selskaper, de liker virkelig ikke å få fotografert utstyret sitt. Dessuten, hvis kundens navn (eller logo) er skrevet direkte på disken med store bokstaver. De liker det ikke - det er alt. Derfor filmet vi de allerede berømte veggene med forskjellige inskripsjoner, og ingeniøren. Det er heller ikke mulig å fotografere hele ingeniøren og ikke overalt, men vi prøvde. Siden kundene våre er store og respekterte, har de også spesifikke forespørsler - spesielle stativer (eller et slags uber-lagringssystem fra flere leverandørreoler), egne gjerder, egne adgangskontrollsystemer, egen videoovervåking og et hurtigreaksjonsteam med maskingevær. Generelt er en av de uuttalte (og offentlige) reglene til DataLine å ta vare på klienten og gjøre godt mot ham. Fra vester og utstyrte arbeidsstasjoner med Internett-tilgang og ladere, til ulike arrangementer for kunder. Sistnevnte er også svært nyttige ved at de samme personene, som flytter fra selskap til selskap, bringer dem til DataLine. Rett og slett fordi alt her er koselig, praktisk og pålitelig. DataLines virksomhet handler ikke bare om å leie ut stativplass. Dette er også en sky, samtidig sertifisert i henhold til 152-FZ og PCI-DSS (vi skal lage en podcast om det, følge med på kunngjøringer), og gir tilkobling (sine egne fibre mellom nettstedene og fra hver av dem til M9, sin egen optiske ring over byen, og så videre til organiseringen av den siste milen til klientens kontor).
M - motivasjon
Når vi snakker om inskripsjoner, kommer ideer ikke bare fra ansatte, men også fra partnere og kunder, hvoretter du kan stemme på de mest vellykkede på DataLine på FB. Vel, du kan foreslå ideen din der.
Møte på Elben
Cross (bilde med tillatelse av DataLine)
Vi stopper ved Meet-Me-Room, hvor operatørene holder til. I MMR (det er tre par i OST, i henhold til antall optiske hovedinnganger, for aktive og passive) kombineres forbindelser fra alle datahaller. I langrennsskoen er alt kjedelig og pent. Men hvor det aktive kameraet er plassert, husker du de beste årene og opptakene fra noen BM18: nudler laget av ledninger og diverse utstyr (DLink, Extreme, Juniper, Mikrotik... og så videre opp til ASR9k). Det er mer enn femti operatører her, så alt er fargerikt. Fra MMR distribueres optikk og kobber til maskinrommene. Minst to ruter for hver (varianter er mulige), så du trenger ikke å bekymre deg for påliteligheten til forbindelsen. MMR kalles "Elbe", som er ganske subtil.
IBM Power nada?
Et annet funn er en IBM P-serie, som aldri har vært slått på, og som har stått i en av korridorene i flere år. Maskinen (sammen med båndbiblioteket og lagringssystemet) ble bestilt av en av klientene, men «den var ikke nyttig», så den ble donert til datasenteret. Den har stått siden.
Det er sikkert godt å være velstående gutter og gi slike gaver, ikke sant? (Eller kanskje de ikke ga det i gave, men glemte det. Eller de tapte på kort. Men det har eksistert lenge)
Denne kjekke karen står i NORD-4
Vi går til energisenteret - tre (eller til og med fire) dieselgeneratorsett for hvert datasenter (la meg minne deg på at det er fire av dem i OST). Dieselmotoren når full effekt på 30-40 sekunder og yter 1900 kVA. N+1 redundans, synkronisering osv. inkludert. Den lengste sittetiden på dieselmotorer i OST er 12 timer. i NORD - 2.5 dager (et lager for 85 tonn er tross alt ikke mye penger).
Det finnes selvsagt avtaler med ulike drivstoffselskaper om levering av drivstoff. Bytte til diesel skjer jevnlig, slik at både drivstoff produseres og kontrakter verifiseres. Forresten, ifølge kolleger i NORD, når man tester dieselgeneratorsett, som vanligvis tar mer enn én time, på stedet der varmluft fra dieselmotorer slippes ut, klarer gresset selv om vinteren å bli grønt.
Etter en liten matbit på en kjent kaffebar drar vi til NORD-området. Dette er heller ikke ett datasenter, men fire uavhengige bygninger på samme territorium. Hver har sine egne strøminnganger, sine egne dieselmotorer og sin egen kjøling. NORD-1 og NORD-2 ble revidert av Uptime Institute M&O. Det siste (og beste DataLine-datasenteret) er NORD-4, så det er dit vi skal.
Til tross for det tilsynelatende enorme antallet datasentre i Moskva, er det fortsatt mangel. Nei, selvfølgelig, ett eller to stativer vil bli sendt til deg uten problemer. De vil til og med gi deg tjue. Mer er et spørsmål (og DataLine har mer enn én eller to kunder med slike behov). Nærmere bestemt, i NORD-4 er det plass (foreløpig), fordi én stor klient har flyttet inn i sitt eget nybygde datasenter, men andre steder er dette kanskje ikke så heldig. Utformingen av NORD-5 er imidlertid nå i full gang, som er lovet lansert i begynnelsen av 2020.
Men la oss komme tilbake til ekskursjonen vår. Siden vi reiste med bil, slapp de oss inn i porten, hvor maskingeværere siktet mot oss, sjekket bilnummeret vårt med søknaden og ba alle passasjerer komme seg ut for å få pass (selvfølgelig med passet). Fordi B er sikkerhet.
NORD-4 er selskapets stolthet og en samling av mange års erfaring innen bygging og drift av datasentre, den har Uptime Institute Tier III-sertifikater for designprosjekt og anlegg (dvs. bygget datasenter), samt operasjonell bærekraft. – Gutta nærmet seg saken så nært som mulig ansvarlig. Innvendig er det fire hermetiske soner, uavhengig av hverandre, med to haller i hver bygning. Hver har sin egen kraftsentral (dieselgeneratorsett, batterirom), kjølekretser og brannslokkingssystemer. Generelt - optiske innganger (det er to av dem per bygning) og MMR.
Sunn Ingeniør Modding
Ved inngangen til datasenteret venter en kaffebar som allerede er kjent for oss (vel, hvorfor ikke?). Vi går opp til overvåkingssentralen. Det er nå to hoved - i OST og NORD-4 (NORD-1,2,3 har også egne vaktskifter). Fra hvert senter kan du se på begge lokalitetene, så også her er redundans n+1 sikret. På videoveggen er det allerede kjente dashbord i et lysegrønt fargeskjema (det er selvfølgelig mye flere parametere på det enn på statusdisplayet). Vi kommuniserer litt om overvåking - ingen fancy Prometheus og Grafan, bare Nagios, bare hardcore og hjemmelaget visualisering. Over ti års (men enda mer) bruk har mange tilpassede sjekker og skript allerede blitt skrevet, så det å bytte til noe annet ser ut som et gamble. Omtrent en gang i måneden dukker det opp et annet selskap som tilbyr å løse alle problemer "raskt og smertefritt", men på en eller annen måte fungerer det ikke ennå. Videoveggen fungerer forresten også på en selvmontert løsning, som viste seg å være flere ganger billigere enn kommersielle analoger.
Lokalt kontrollsenter
Når du har designet, bygget og driftet datasentre i mange år, er du ikke lenger så redd for å gjøre noe selv fremfor å kjøpe noe ferdig. DataLine, for eksempel, nøler ikke med å si at de, rett og slett på grunn av skala, har tråkket på maksimalt antall feil, og hvert nytt datasenter er et resultat av vanskelige feil og erfaringer som har pågått i mer enn ti år . Selvfølgelig har hvert nytt datasenter sin egen kunnskap, og mens du går rundt i NORD, tar du deg selv i ny og ne i å tenke at folk bare gjorde det og gjorde det bra. Ikke for å vise seg frem, ikke for vurderinger og sertifikater – en normal ingeniørprosess, når du ved hver iterasjon vokser over deg selv og blir bedre og bedre. En utenforstående observatør vil si at dette er kjedelig og konservativt, men klienten opprettholder tvert imot slik stabilitet med sine egne penger. Og for å gjøre det bra, er det slett ikke nødvendig å kjøpe tekniske systemer eller programvare for mye, mye penger (selv om du noen ganger ikke kan gjøre det uten det). Erfaring, kunnskap og ingeniørmessig kløkt avgjør ofte.
For eksempel har NORD-4-bygget 3,5 etasjer. De tre første er fullverdige, med tak på 4.5 meter, der turbinrommene er plassert. Og den siste er teknisk, bare 1.8 meter høy, og er dedikert utelukkende til kjølesystemet. Siden gulvet er teknisk, er kravene til det mye lavere, noe som forenklet prosjektet og sparte penger.
Utsikt over det trekantede datasenteret
Max har en spesiell kung fu-evne til å ikke bli brent på bilder
Vi avslutter turen på taket - herfra har vi en utmerket utsikt over det nærliggende varmekraftverket og boligområdet, samt andre NORD-bygg. To av dem er trekantede. Om dette lo kollegene til og med at "DataLine er idioter, av en eller annen grunn bygger de et trekantet datasenter" for å installere trekantede rack og trekantede servere der. Men ingenting - de bygde og fungerer vellykket, og bruker samtidig effektivt det eksisterende territoriet (som i Moskva, det må sies, ikke er gratis). Et annet overraskende (for meg) faktum er at flertallet av kommersielle kunder ønsker å være lokalisert i Moskva. Et område et halvt hundre kilometer unna langs Minsk-motorveien (selv om det er all nødvendig kapasitet og kommunikasjon) er ikke lenger av interesse for noen. Så alle klemmer seg sammen i en ikke-gummi.
Kjøletårn er ikke lenger datasentre, men termiske kraftverk
Med dette er vår neste reise avsluttet.
Etterpå var det nok en lang og produktiv samtale om felles planer og fremtidige podcaster (håper vi slipper å vente lenge), så følg med, det kommer enda flere interessante ting snart.
Vel, hvis du vil se alt med egne øyne, inviterer DataLine deg på en omvisning. Helt gratis, men etter avtale. De som kaller kodeordet "linkmeup" vil få et pluss i karma.
Følg med!
Kilde: www.habr.com