Omvisning i grĂžnne nyanser

Det stÞrste transportproblemet i St. Petersburg er broene. Om natten mÄ man rÞmme fra baren uten Ä ha drukket opp Þlet. Eller betale for taxi som koster det dobbelt sÄ mye som vanlig. Om morgenen mÄ man nÞye beregne tiden, slik at man akkurat nÄr togstationen i det broen blir senket. Alternativet med Ä "overnatte et sted i sentrum, nÊr togstationen" vurderer vi ikke, da det er ideologisk skadelig.


"Sapsan", som gÄr kl. 5:30, ble funnet opp av folk som hater ugler. Neida, det er selvsagt veldig praktisk Ä vÊre i Moskva kl. 09:00, og St. Petersburg er fantastisk under de hvite nettene, men kl. halv fem, nÄr jeg satte meg i taxien, hadde jeg lyst til Ä snu hodet 270 grader mot den morgenfuglen som fant opp dette morgen-toget.

Omvisning i grĂžnne nyanser

"Alle gode datasentre likner pÄ hverandre" tenkte jeg da jeg erfarte at vi var invitert pÄ besÞk av folkene i DataLine.

Det viste seg at hvert datasenter er bra (eller dÄrlig) pÄ sin egen lille mÄte, spesielt nÄr man har fÄtt seg et par fall, samlet alle utfordringene i omrÄdet, og lÊrt leksjonene fra sin egen (og litt andres) rike erfaring. SÄ vi (med fem ledende fra linkmeup og de vennene og sympatikerne som ble med) bestemte oss for Ä sjekke hvor gode (eller ikke sÄ gode) datasentrene OST og NORD er.

Etter Ă„ ha jobbet litt pĂ„ veien (her kunne vĂŠrt reklame for en mobiloperatĂžr, men det er ikke sĂ„ — dekningen var slik den alltid har vĂŠrt, dĂ„rlig), gĂ„r vi av pĂ„ Leningradskaya jernbanestasjon. Vel, i det minste ikke under Gazmanov.

Vi startet vĂ„r omvisning i de "grĂžnne" datasentrene med OST — "det samme" som nylig "brant". Hvorfor i anfĂžrselstegn — forklaring kommer. Men for nĂ„ — stĂ„r vi, rĂžyker, og venter pĂ„ de forsinkede. Vi tar bilder av kontoret til RT ved siden av. Det er mange morsomme historier med dette naboskapet, fra legging av frisk asfalt og maling av fortauskanter fĂžr ankomsten av HĂžye Personer, til rabatter i de nĂŠrliggende kafeene som dataline-folkene fikk pĂ„ grunn av likheten i navneskilt.

Omvisning i grĂžnne nyanser
TalerĂžr for totalitĂŠr propaganda

Omvisning i grĂžnne nyanser
Datasenter med strenge (passerings)regler

Pass, adferdsregler, kjĂžttkvern ved inngangen — nesten det samme sĂ„ vi under omvisningen i Linxdatacenter. Har du sett mange kaffebarer i datasentre? Vi, derimot, kjenner nĂ„ et par. De ansatte og kundene har "kaffedeponerings"-belĂžp pĂ„ navneskilt, som jevnlig blir fylt opp. SĂ„ innen rimelige grenser kan man fĂ„ gratis kaffe. Vi, som dyre gjester, ble ogsĂ„ servert.

NĂ„r det gjelder kaffen, har jeg ingen klager — ganske vanlig for en "kjede"-kaffebar, men beliggenheten er uimotstĂ„elig, og interiĂžret er i beste moderne stil.

Omvisning i grĂžnne nyanser
InteriĂžret i den lokale kaffebaren

Omvisning i grĂžnne nyanser
Bildene viser datasentrene NORD

Omvisningen starter pÄ kontoret. I tillegg til de kjente inskripsjonene pÄ veggene og den hvite-grÞnne fargepaletten, finnes det ogsÄ ulike morsomme ting. Dette rekvisitten er arvet fra forestillinger av det bedrifts-teateret (kan du forestille deg teknisk direktÞr i et nettverksdatasenter som spiller i et teaterstykke? Vi kjenner ham personlig.).

Omvisning i grĂžnne nyanser
Og det er sant

Omvisning i grĂžnne nyanser
Bilder fra forestillingene

Datasenteret (eller rettere sagt, fire datasentre) er plassert i et kompleks av industrielle bygninger bygget for over hundre Ă„r siden (da — fabrikken "CitroĂ«n", og i sovjettiden — fabrikken "Gidroprivod"), sĂ„ pĂ„ den ene siden er det strenge industrielt preg, metallbjelker, loft-atmosfĂŠre og industrielle artefakter fra forskjellige epoker som fortsatt blir funnet under ulike arbeider. PĂ„ den andre siden mĂ„ hermetiske soner i datasenteret tilpasses eksisterende konstruksjoner, noe som med jevne mellomrom fĂžrer til kompromisser med virkeligheten. Jeg vil imidlertid ikke si at disse kompromissene pĂ„virket kvaliteten — men gutta mĂ„tte sikkert slite under designprosessen. Dessuten, ifĂžlge ryktene, gĂ„r Metro-2 et sted i nĂŠrheten, men det er ikke bekreftet.

Omvisning i grĂžnne nyanser
I tillegg til teateret har de ogsÄ et eget museum. Utstillingene er naturligvis arkeologiske funn.

Noen ord om brannen. Ja, bygningen (eller rettere sagt taket) brente faktisk. De ytre delene av kjÞlesystemene og kuldeledningene ble skadet. Noen ledninger brente ut, og klimaanleggene mistet strÞm. Noen freonrÞr eksploderte. Men til tross for dette, holdt hermetiske soner ut mot tonnene med vann som ble hellet pÄ dem, og utstyret overlevde. Gjenopprettingen foregikk under ledelse av «staben» i form av hÞyere ledelse, og de samlet sammen alle kobberrÞr i Moskva og omegn (de fraktet til og med om natten med BMW X5) og alle nÞkterne montÞrer. Kritisk utstyr fra de skadde datasentrene (skadet av mangel pÄ kulde, ikke brannen!) ble raskt flyttet til andre rom, sÄ allerede klokken fem om morgenen var ikke bare alle sine egne tjenester oppe, men ogsÄ kundene.

Vi sjekket personlig den salen som ble mest «skadet» — bortsett fra lukten av brent materiale og de utskiftede flisene i falsk gulv, minner det overhodet ikke om brannen (bortsett fra stengene med utstyr som ble «midlertidig» fraktet til et annet datasenter, og som ogsĂ„ forble der).

Omvisning i grĂžnne nyanser
Statuspanel

NÄr vi gÄr gjennom korridorene, ser vi en berÞringsskjerm med noe som ligner pÄ en skisse av maskinrommene i datasenteret. Dette er statuspanelet. Det er flere av dem i korridorene, og de lar onsite ingeniÞrer raskt finne, for eksempel, det nÞdvendige klimaanlegget, og de informerer ogsÄ om nÄvÊrende status.

OvervÄkingen er bygget pÄ Nagios (nÄ flere uavhengige klynger) og dekker alle datasentre (bÄde OST og NORD). I tillegg er det applikasjoner for Android og iOS (for kunder og ansatte), og en statuside rett pÄ nettstedet.

PĂ„ skjermen legger jeg merke til en uvanlig hĂžy PUE — det er ikke vanlig Ă„ regne det i Russland, men likevel 1.90 er ganske mye. Svaret pĂ„ dette er rent Ăžkonomisk — i 2012-2013 flyttet rackene i datasentrene raskt, sĂ„ det var ikke tid for sentimentalitet og energieffektivitet. Vi setter opp det som er tilgjengelig pĂ„ markedet, gjĂžr det sĂ„ raskt som mulig, og bryr oss ikke om PUE i det hele tatt, for hvorfor skulle vi? Allerede i designfasen kjĂžpes 80-90% av rackene, og lovgivningen i Russland vil overhodet ikke hĂžre om energieffektivitet. Selv om en eller annen kommisjon i Amsterdam ville fĂ„tt sjokk av slike tall.

Ingenting personlig. Bare business.

Omvisning i grĂžnne nyanser

En annen funksjon er merking av datahallen. PĂ„ hvert sted har datahallene, i tillegg til den «offisielle» alfanumeriske koden, ogsĂ„ «menneskelige» kallenavn fra den internasjonale telefonalfabetet (Alfa-Bravo-Charlie-Delta
). Av en eller annen grunn liker alle kunder whiskey.

Omvisning i grĂžnne nyanser
NÄr det kommer til kundeservice finnes det ingen smÄting.

Omvisning i grĂžnne nyanser
Slike «gjerder» settes opp for enkelte kunder. Vi fikk ikke lov til Ä ta bilder i maskinsalene, sÄ her er bildet DataLine ©.

DataLines kunder er stort sett store og respekterte selskaper, og de liker ikke Ă„ fĂ„ utstyr fotografert. Spesielt ikke hvis navnet (eller logoen) stĂ„r skrevet med store bokstaver pĂ„ stativet. De liker det ikke — og det er bare sĂ„nn det er. Derfor tok vi bilder av de berĂžmte veggene med forskjellige inskripsjoner samt teknisk utstyr. Vi kan heller ikke fotografere alt av teknisk utstyr, men vi prĂžvde. Ettersom kundene er store og respekterte, sĂ„ har de noen spesifikke forespĂžrsel — spesielle stativ (eller kanskje en super lagringsenhet fra flere leverandĂžrstativer), egne gjerder, eget adgangskontrollsystem, eget videoovervĂ„kingssystem og en reaksjonsgruppe med vĂ„pen. Generelt er en av de uoffisielle (og offisielle) reglene hos DataLine Ă„ ta vare pĂ„ kunden og gi dem den beste opplevelsen. Fra vester og utstyrte arbeidsplasser med internettilgang og ladepunkter, til forskjellige arrangementer for kunder. Disse er ogsĂ„ svĂŠrt nyttige, ettersom de samme menneskene, nĂ„r de skifter fra selskap til selskap, bringer dem til DataLine. Bare fordi det er sĂ„ koselig, praktisk og pĂ„litelig her. DataLine sin virksomhet handler ikke bare om Ă„ leie ut stativ. Det inkluderer ogsĂ„ en sky-tjeneste, samtidig sertifisert bĂ„de i henhold til 152-FZ og PCI-DSS (om dette planlegger vi Ă„ lage en podcast, fĂžlg med pĂ„ kunngjĂžringene), samt Ă„ tilby tilkobling (egne fiberlinjer mellom lokalene og fra hver av dem til M9, sitt optiske ringnett i byen, og helt ned til etablering av siste mile til kontoret til kunden).

Omvisning i grĂžnne nyanser
M — motivasjon.

For Ă„ si noe om inskripsjonene — ideene kommer ikke bare fra ansatte, men ogsĂ„ fra partnere og kunder, og de beste kan stemmes pĂ„ pĂ„ den offisielle siden DataLine pĂ„ FB. Vel, og man kan ogsĂ„ foreslĂ„ sin egen idĂ© der.

Omvisning i grĂžnne nyanser
MÞtet pÄ Elben.

Omvisning i grĂžnne nyanser
Krysslands (fotografi gitt av DataLine)

Vi stopper ved Meet-Me-Room, hvor operatĂžrene holder til. I MMR (de er i OST tre par, ifĂžlge antallet af hovedindgange af optik, til aktiv og passiv) samles forbindelser fra alle datacentre. I krydset er alt kedeligt og pĂŠnt. Men der hvor den operative aktiv er, minder man om de bedste Ă„r og billeder fra en eller anden BM18: en jungle af kabler og forskelligt udstyr (DLink, Extreme, Juniper, Mikrotik
 og sĂ„ videre til ASR9k). Der er mere end halvtreds operatĂžrer her, sĂ„ det er farverigt. Fra MMR fordeles optik og kobber til maskinhallene. Minimum to ruter til hver (mulige variationer), sĂ„ man kan vĂŠre sikker pĂ„ forbindelsens pĂ„lidelighed. MMR kaldes “Elba”, hvilket er ret fint.

Omvisning i grĂžnne nyanser
Har du brug for IBM Power?

En anden fund — dette er IBM P-series, som ikke engang er blevet tĂŠndt, og som har stĂ„et i en af korridorerne i flere Ă„r. Maskinen (sammen med et bĂ„ndbibliotek og et SAN) blev bestilt af en af kunderne, men blev “ikke brugt”, sĂ„ den blev givet som gave til datacentret. Og siden da har den stĂ„et der.

Det mÄ vÊre dejligt at vÊre velhavende fyre og lave sÄdanne gaver, ikke? (Eller mÄske blev den ikke givet, men glemt. Eller tabt i et kortspil. Men den har stÄet der lÊnge)

Omvisning i grĂžnne nyanser
SÄdan en skÞnhed stÄr i NORD-4

Vi gĂ„r til energicenteret — tre (eller mĂ„ske fire) DGU for hvert datacenter (jeg minder om, at der er fire i OST). Dieselmaskinen nĂ„r fuld kapacitet pĂ„ 30-40 sekunder og leverer 1900 kVA. Reserve N+1, synkronisering, og andet — med i pakken. Den lĂŠngste tid pĂ„ diesel i OST — 12 timer. I NORD — 2,5 dage (det er jo ikke for sjov, at lageret er pĂ„ 85 ton).

SelvfÞlgelig er der kontrakter med forskellige brÊndstofselskaber for levering af brÊndstof. Overgangen til diesel sker regelmÊssigt, sÄ brÊndstoffet forbruges, og kontrakterne bliver kontrolleret. For Þvrigt, ifÞlge kolleger, i NORD, under testen af DGU, der normalt tager flere timer, bliver grÊsset, hvor det varme luft fra dieselmaskinerne blÊser ud, endda grÞnt om vinteren.

Efter en hurtig snack i den kendte cafĂ©, drager vi til NORD-omrĂ„det. Det er heller ikke Ă©t datacenter, men fire uafhĂŠngige bygninger pĂ„ samme omrĂ„de. Hver har sine egne elektriske indgange, sine egne dieselmaskiner og sit eget kĂžlesystem. NORD-1 og NORD-2 har bestĂ„et Uptime Institute M&O revisionen. Det nyeste (og bedste datacenter i DataLine) — NORD-4, sĂ„ det er her, vi gĂ„r hen.

Til tross for det tilsynelatende store antallet datasentre i Moskva, er det fortsatt mangel. SelvfĂžlgelig kan du fĂ„ Ă©n eller to stativer uten problemer. Til og med tjue kan de gi. Mer enn det er et spĂžrsmĂ„l (og hos DataLine er det kunder med slike behov — ikke bare Ă©n eller to). Spesifikt er det plass i NORD-4 (forelĂžpig) fordi en stor kunde flyttet til sitt eget nybygde datasenter, men pĂ„ andre steder kan det allerede vĂŠre mer vanskelig. Likevel pĂ„gĂ„r det for tiden prosjektering av NORD-5, som de lover Ă„ starte opp tidlig i 2020.

Men la oss gÄ tilbake til omvisningen. Siden vi kjÞrte bil, ble vi sendt inn i en port, hvor vi ble tatt under bevÄking. Maskinistene sjekket registreringsskiltet vÄrt mot sÞknaden, og alle passasjerene ble bedt om Ä gÄ ut for Ä motta sine adgangskort (selvfÞlgelig med pass). For sikkerhetens skyld.

NORD-4 er selskapets stolthet og en sammensmelting av mange Ă„rs erfaring innen bygging og drift av datasentre. Det har sertifikater fra Uptime Institute Tier III for designprosjekt og fasilitet (dvs. bygget datasenter), samt Operational Sustainability — de ansatte har tilnĂŠrmet seg oppgaven med maksimal ansvarlighet. Inne er det fire uavhengige hermetiske soner med to saler i ett bygg. Hver har sitt eget energisenter (DG, batterirum), kjĂžling og brannslukkingssystemer. Det eneste felles er innfĂžringen av fiberoptikk (to for bygget) og MMR.

Omvisning i grĂžnne nyanser

Omvisning i grĂžnne nyanser
Modding av en sunn ingeniĂžr

Ved inngangen til datasenteret venter den velkjente kaffebaren (og hvorfor ikke?). Vi tar heisen opp til overvĂ„kingssentralen. Det er nĂ„ to hovedsentra — i OST og NORD-4 (i NORD-1, 2, 3 har ogsĂ„ sine egne vaktlag). Fra hvert senter kan man overvĂ„ke begge plattformer, sĂ„ selv her sikres redundansen n+1. PĂ„ videoveggen — de velkjente dashboardene i grĂžnne nyanser (det er klart at det finnes langt flere parametere der enn pĂ„ statusdisplayet). Vi snakker litt om overvĂ„king — ingen fancy Prometheus eller Grafana, bare Nagios, bare hardcore og egenutviklet visualisering. Gjennom ti Ă„r (eller mer) med bruk er det skrevet utallige tilpassede sjekker og skript, sĂ„ Ă„ skifte til noe annet virker som en stor risiko. Cirka en gang i mĂ„neden dukker det opp et nytt selskap som tilbyr Ă„ «raskt og smertefritt» lĂžse alle problemer, men sĂ„ langt har det ikke materialisert seg. Videoveggen, forresten, benytter ogsĂ„ en selvbygget lĂžsning som er betydelig billigere enn kommersielle alternativer.

Omvisning i grĂžnne nyanser
Denne kommando- og kontrollsentralen

NĂ„r man prosjekterer, bygger og drifter datasentre i mange Ă„r, blir man ikke lenger sĂ„ redd for Ă„ gjĂžre noe selv i stedet for Ă„ kjĂžpe ferdige lĂžsninger. DataLine, for eksempel, er ikke redde for Ă„ si at de, bare pĂ„ grunn av omfanget, har trĂ„dt pĂ„ maksimal mengde miner, og hvert nytt datasenter er et resultat av vanskelige feil og erfaringer som strekker seg over mer enn ti Ă„r. SelvfĂžlgelig har hvert nytt datasenter sine egne nyheter, og nĂ„r man vandrer rundt i NORD, fanget man ofte seg selv i tanken at folk bare har gjort det bra. Ikke for Ă„ imponere, ikke for rangeringer eller sertifikater — det er en vanlig ingeniĂžrprosess hvor man vokser med hver iterasjon og blir bedre og bedre. En utenforstĂ„ende observatĂžr vil si at dette er kjedelig og konservativt, men kunden stĂžtter derimot denne stabiliteten med sine egne penger. Og for Ă„ gjĂžre noe bra er det ikke nĂždvendigvis nĂždvendig Ă„ kjĂžpe ingeniĂžrsystemer eller programvare for mye og mye penger (selv om det noen ganger ikke er til Ă„ unngĂ„). Ofte er erfaring, kunnskap og ingeniĂžrsmarthet det som teller.

For example, the NORD-4 building has 3.5 floors. The first three are full-fledged, with ceilings of 4.5 meters, where the machine rooms are located. The last one is technical, only 1.8 meters high, and is dedicated solely to the cooling system. Since it's a technical floor, the requirements for it are much lower, which allowed us to simplify the project and save money.

Omvisning i grĂžnne nyanser
View of the triangular data center

Omvisning i grĂžnne nyanser
Max has a special kung-fu for not getting caught in photos

We finish the tour on the roof — from here there is a great view of the nearby CHPP and residential area, as well as other NORD buildings. Two of them are triangular. Colleagues even joked that 'DataLine is foolish, building a triangular data center' to place triangular racks and triangular servers there. But they built it and successfully operate it, while also making effective use of the available territory (which, in Moscow, I must say, is not free). Another surprising fact for me is that most commercial clients want to be located precisely in Moscow. A facility half a hundred kilometers down the Minsk highway (even if it has all the necessary capacities and communications) is of little interest to anyone. So everyone crams into the limited space.

Omvisning i grĂžnne nyanser
Cooling towers — this is no longer a data center, but a CHPP

Thus, our next journey has come to an end.

Afterward, there was a long and productive discussion about joint plans and future podcasts (hopefully, we won't have to wait long), so stay tuned for news, there will be even more interesting things soon.

Well, those who want to see everything with their own eyes can join the tour organized by DataLine. Completely free, but by prior appointment. Those who mention the code word 'linkmeup' will earn some karma.

Stay tuned!

Kilde: habr.com

KjĂžp pĂ„litelig hosting for nettsteder med DDoS-beskyttelse, VPS VDS-servere đŸ”„ KjĂžp pĂ„litelig hosting for nettsteder med DDoS-beskyttelse, VPS VDS-servere | ProHoster