Najpomembnejši prometni problem v Sankt Peterburgu so mostovi. Ponoči moraš zaradi njih pobegniti iz gostilne, ne da bi popil pivo. No, ali plačati dvakrat več za taksi kot običajno. Zjutraj natančno izračunajte čas, da se takoj, ko je most zaprt, na postajo pripeljete kot okreten mungos. Opcija »prenočiti nekje v centru, blizu postaje« se nam ne zdi ideološko škodljiva.
..."Sokola selca", ki odhaja ob 5, so si izmislili ljudje, ki sovražijo sove. Ne, seveda je zelo priročno biti v Moskvi ob devetih zjutraj in Sankt Peterburg je v belih nočeh neverjetno lep, toda ob pol petih, ko sem vstopil v taksi, sem hotel obrniti glavo 30 stopinj do škrjanca, ki je izumil ta jutranji vlak.
»Vsi dobri podatkovni centri so si podobni,« sem pomislil, ko sem izvedel, da so nas fantje iz DataLine povabili na obisk.
Izkazalo se je, da je vsak podatkovni center dober (ali slab) malo na svoj način, še posebej, ko dosežete velik rezultat, zberete vse grablje na tem območju in se naučite izkušenj iz lastnih (in malo drugih) ) bogate izkušnje. Zato smo se (sestavljeni iz petih vodilnih linkmeup in njihovih prijateljev in simpatizerjev) odločili preveriti, kako dobra (oz. ne preveč) sta podatkovna centra OST in NORD.
Ko smo uspeli narediti malo dela na cesti (tukaj bi lahko bila reklama za enega mobilnega operaterja, vendar ne - pokritost je bila še vedno slaba), smo se raztovorili na postaji Leningradsky. No, vsaj ne pod Gazmanovim.
Našo turnejo po "apnenih" podatkovnih centrih smo začeli z OST - "istim", ki je "gorel" ne tako dolgo nazaj. Zakaj v narekovajih – po. Vmes stojimo, kadimo in čakamo zamudnike. Slikanje sosednje pisarne RT. O tej soseski je veliko smešnih zgodb - od polaganja svežega asfalta in barvanja robnikov pred prihodom visokih gostov do popustov v bližnjih kavarnah, ki so jih zaradi podobnosti značk dali prebivalcem Dataline.
Govornik totalitarne propagande
Podatkovni center strogega (dostopnega) načina
Prepustnica, pravila obnašanja, mlin za meso na vhodu - skoraj enak, kot smo ga videli . Ste videli veliko kavarn v podatkovnih centrih? Zdaj poznamo par. Zaposleni in stranke imajo na značkah depozite za »kavo«, ki se redno obnavljajo. Kavo si torej v razumnih mejah privoščite povsem brezplačno. Tudi mi smo bili kot dragi gostje pogosteni.
O kavi ne morem reči nič slabega - to je povsem običajno za "verižno" kavarno, vendar je lokacija nehote očarljiva, notranjost pa je v skladu z najboljšimi sodobnimi tradicijami.
Notranjost lokalne kavarne
Fotografije prikazujejo podatkovne centre NORD
Ogled se začne v pisarni. Poleg napisov na stenah in bele in apnenčaste barvne sheme, znane po vsem Runetu, obstajajo tudi vse vrste smešnih stvari. To so rekviziti, ki so ostali od korporativnih gledaliških predstav (si predstavljate tehničnega direktorja omrežja podatkovnih centrov, ki igra v predstavi? In poznamo ga osebno.).
In res je
Fotografije z nastopov
Podatkovni center (ali bolje rečeno štirje podatkovni centri) se nahajajo v kompleksu industrijskih zgradb, zgrajenih v prejšnjem stoletju (takrat tovarna Citroen, v času Sovjetske zveze pa tovarna Gidroprivod), tako da je na eni strani ostra industrijski videz, kovinski tramovi, mansardno vzdušje in industrijski artefakti iz različnih obdobij, ki jih še vedno najdemo med različnimi deli. Po drugi strani je treba hermetične cone podatkovnega centra umestiti v obstoječe strukture in občasno sklepati kompromise z realnostjo. Vendar ne bi rekel, da so ti kompromisi vplivali na kakovost - a verjetno so se morali fantje pri oblikovanju zelo potruditi. Tudi po govoricah metro-2 poteka nekje v bližini, vendar to ni gotovo.
Poleg gledališča je tu tudi muzej. Eksponati, seveda - arheološke najdbe
Nekaj besed o . Da, stavba (oziroma ostrešje) je res gorela. Poškodovane so zunanje enote hladilnih sistemov in hladilne cevi. Nekje je pregorela napeljava in klimatske naprave so ostale brez elektrike. Freonske cevi je nekje razneslo. Toda kljub temu so hermetične cone zdržale tone vode, ki so jih polili, in oprema je preživela. Obnovili so ga pod nadzorom "centra", ki ga je predstavljalo najvišje vodstvo celega sveta - pobrali so vse bakrene cevi v Moskvi in okolici (celo ponoči so jih pripeljali z BMW X5) in vse trezne monterji. Kritično opremo iz poškodovanih podatkovnih hal (poškodovanih zaradi pomanjkanja mraza, ne zaradi požara!) so hitro preselili v druge hale, tako da do petih zjutraj niso dvignili le vseh svojih storitev, ampak tudi svoje stranke.
Osebno smo preverili »najbolj prizadeto« dvorano - razen vonja po zažganem in zamenjanih ploščicah dvignjenega poda prav nič ne spominja na požar (razen regalov opreme, ki so jih »začasno« odpeljali v drugo podatkovno dvorano, in ostal tam).
Statusna plošča
Ko se sprehajamo po hodnikih, vidimo zaslon na dotik z nečim zelo podobnim diagramu turbinskih prostorov podatkovnega centra. To je statusna plošča. Na hodnikih jih je veliko in inženirjem na kraju samem omogočajo, da hitro najdejo na primer želeno klimatsko napravo in preprosto sporočijo trenutno stanje.
Spremljanje je zgrajeno na Nagiosu (zdaj obstaja že več neodvisnih grozdov) in zajema vse podatkovne centre (tako OST kot NORD). Poleg tega sta na voljo aplikaciji za Android in iOS (za stranke in zaposlene) ter statusna stran neposredno na spletni strani.
Na zaslonu opazim nenavadno visok PUE - ni sprejet povsod v Rusiji, vendar je vseeno 1.90 nekoliko visoko. Odgovor na to je zgolj ekonomski – v letih 2012–2013 so se stojala v podatkovnih centrih prodajala kot žeton, zato ni bilo časa za sentimentalnost in energetsko učinkovitost. Namestimo, kar je na trgu, naredimo čim hitreje in sploh ne skrbimo za vaš PUE, zakaj? Že v fazi načrtovanja je kupljenih 80-90% regalov, vendar zakonodaja v Ruski federaciji ne želi vedeti ničesar o energetski učinkovitosti. Čeprav bi bila kakšna komisija v Amsterdamu s takimi številkami zadovoljna.
Nič osebnega. Samo posel.
Druga značilnost je označevanje podatkovnih dvoran. Na vsakem mestu imajo podatkovne dvorane poleg »uradnega« alfanumeričnega kodiranja »človeške« psevdonime iz mornariške abecede (Alpha-Bravo-Charlie-Delta...). Iz nekega razloga imajo vse stranke radi Whisky room.
Ko gre za skrb za stranke, ni majhnih podrobnosti.
Takšne "ograje" so postavljene za nekatere stranke. V turbinskih prostorih nam ni bilo dovoljeno slikati, zato je fotografija DataLine ©
Stranke DataLine so večinoma velika in ugledna podjetja, ki res ne marajo, da se njihova oprema fotografira. Še več, če je ime stranke (ali logotip) napisano neposredno na pultu z velikimi črkami. Ni jim všeč - to je vse. Zato smo posneli že znane zidove z raznimi napisi in inženirja. Prav tako ni mogoče fotografirati celotnega inženirja in ne povsod, vendar smo poskusili. Ker so naše stranke velike in spoštovane, imajo tudi specifične zahteve - posebne regale (ali nekakšen uber skladiščni sistem iz več regalov prodajalcev), lastne ograje, lastne sisteme za nadzor dostopa, svoj videonadzor in hitro odzivno ekipo z strojnice. Nasploh je eno izmed neizrečenih (in javnih) pravil DataLine skrbeti za stranko in ji delati dobro. Od brezrokavnikov in opremljenih delovnih postaj z dostopom do interneta in polnilci do različnih dogodkov za stranke. Slednji so zelo uporabni tudi v tem, da jih isti ljudje, ki se selijo iz podjetja v podjetje, pripeljejo v DataLine. Preprosto zato, ker je tukaj vse udobno, priročno in zanesljivo. Dejavnost podjetja DataLine ni samo oddajanje prostora v regalih. To je tudi oblak, ki je hkrati certificiran po 152-FZ in PCI-DSS (o tem bomo naredili podcast, spremljajte obvestila) in zagotavlja povezljivost (svoja vlakna med spletnimi mesti in od vsakega od njih do M9, lasten optični obroč po mestu in tako naprej do organizacije zadnjega kilometra do pisarne naročnika).
M - motivacija
Ko smo že pri napisih, ideje ne prihajajo le s strani zaposlenih, ampak tudi s strani partnerjev in strank, po katerih lahko glasujete za najuspešnejše na DataLine na FB. No, tam lahko predlagate svojo idejo.
Srečanje na Elbi
Križ (fotografija z dovoljenjem DataLine)
Ustavimo se v Meet-Me-Room, kjer se nahajajo operaterji. V MMR (v OST so trije pari, glede na število glavnih optičnih vhodov, za aktivne in pasivne) so združene povezave iz vseh podatkovnih dvoran. V čevlju za tek na smučeh je vse dolgočasno in urejeno. Kje pa je kamera active, se spomniš najboljših let in posnetkov iz kakšnega BM18: rezanci iz žic in raznovrstna oprema (DLink, Extreme, Juniper, Mikrotik... in tako naprej do ASR9k). Tukaj je več kot petdeset operaterjev, tako da je vse pisano. Iz MMR se optika in baker distribuirajo v strojnice. Vsaj dve poti za vsako (možne so variante), tako da vam ni treba skrbeti za zanesljivost povezave. MMR se imenuje "Elbe", kar je precej subtilno.
IBM Power kaj?
Druga najdba je IBM P-series, ki ni bil nikoli prižgan in že več let stoji na enem izmed hodnikov. Stroj (skupaj s tračno knjižnico in sistemom za shranjevanje) je naročila ena od strank, vendar »ni bil uporaben«, zato je bil podarjen podatkovnemu centru. Od takrat stoji.
Verjetno je dobro biti premožen fant in dajati takšna darila, kajne? (Ali pa ga morda niso podarili, ampak so pozabili. Ali pa so izgubili na kartah. A obstaja že dolgo)
Ta čedni moški stoji v NORD-4
Gremo v energetski center - trije (ali celo štirje) dizelski generatorji za vsak podatkovni center (naj vas spomnim, v OST so štirje). Dizelski motor doseže polno moč v 30-40 sekundah in proizvede 1900 kVA. Vključena redundanca N+1, sinhronizacija itd. Najdaljši čas sedenja na dizelskih motorjih v OST je 12 ur. v NORD - 2.5 dni (navsezadnje skladišče za 85 ton ni veliko denarja).
Seveda obstajajo dogovori z različnimi podjetji za gorivo za dobavo goriva. Prehod na dizelsko gorivo poteka redno, tako da se proizvede gorivo in potrdijo pogodbe. Mimogrede, po besedah kolegov pri NORD-u pri testiranju dizelskih agregatov, ki običajno traja več kot eno uro, na mestu, kjer se oddaja vroč zrak iz dizelskih motorjev, tudi pozimi trava uspe ozeleneti.
Po kratkem prigrizku v znani kavarni se odpravimo do lokacije NORD. Tudi to ni en podatkovni center, ampak štiri neodvisne zgradbe na istem ozemlju. Vsak ima svoje vložke za elektriko, svoje dizelske motorje in svoje hlajenje. NORD-1 in NORD-2 sta bila revidirana s strani Uptime Institute M&O. Najnovejši (in najboljši podatkovni center DataLine) je NORD-4, zato gremo tja.
Kljub na videz ogromnemu številu podatkovnih centrov v Moskvi še vedno primanjkuje. Ne, seveda vam bo eno ali dve stojalu dostavljeno brez težav. Dali vam bodo celo dvajset. Več je vprašanje (in DataLine ima več kot eno ali dve stranki s takšnimi potrebami). Konkretno v NORD-4 je prostor (zaenkrat), ker se je ena velika stranka preselila v svoj novozgrajeni podatkovni center, drugje pa to morda ne bo tako posrečeno. Vendar pa je zdaj v polnem teku načrtovanje NORD-5, ki naj bi ga lansirali v začetku leta 2020.
A vrnimo se k naši ekskurziji. Ker smo se peljali z avtom, so nas spustili do prehoda, kjer so naju namerili mitraljezi, preverili številko avtomobila z aplikacijo in pozvali vse potnike, naj izstopijo po prepustnice (seveda s potnimi listi). Ker B je varnost.
NORD-4 je ponos podjetja in je zbirka dolgoletnih izkušenj pri gradnji in delovanju podatkovnih centrov, ima certifikate Uptime Institute Tier III za načrtovanje projektov in objektov (tj. zgrajeni podatkovni center), ter operativno trajnost. - fantje so k zadevi pristopili čim bolj odgovorno. V notranjosti so štiri hermetične cone, neodvisne druga od druge, s po dvema dvoranama v eni stavbi. Vsak ima svoj napajalni center (dizel agregat, prostor za baterije), hladilne kroge in sisteme za gašenje požara. Splošno - optični vhodi (na objekt sta dva) in MMR.
Zdravo modificiranje inženirjev
Na vhodu v podatkovni center nas pričaka že znana kavarna (no, zakaj pa ne?). Gremo do nadzornega centra. Zdaj sta dva glavna - v OST in NORD-4 (NORD-1,2,3 imajo tudi svoje dežurne izmene). Iz vsakega centra si lahko ogledate obe strani, tako da je tudi tukaj zagotovljena redundanca n+1. Na video steni so že znane armaturne plošče v svetlo zeleni barvni shemi (na njej je seveda veliko več parametrov kot na prikazovalniku stanja). Komuniciramo malo o spremljanju - brez fancy Prometheusa in Grafana, samo Nagios, samo hardcore in domača vizualizacija. V desetih (vendar celo več) letih uporabe je bilo napisanih že veliko preverjanj in skript po meri, zato je prehod na kaj drugega videti kot igra na srečo. Približno enkrat na mesec se pojavi drugo podjetje, ki ponudi "hitro in neboleče" rešitev vseh težav, vendar nekako še ne gre. Video stena, mimogrede, deluje tudi na samosestavljeni rešitvi, ki se je izkazala za nekajkrat cenejšo od komercialnih analogov.
Lokalni nadzorni center
Ko že vrsto let načrtujete, gradite in upravljate podatkovne centre, vas ni več tako strah, da bi nekaj naredili sami, kot da bi kupili nekaj že pripravljenega. DataLine, denimo, ne okleva povedati, da so preprosto zaradi obsega stopili na maksimalno število napak, vsak nov podatkovni center pa je rezultat težkih napak in izkušenj, ki se vlečejo že več kot deset let. . Seveda ima vsak nov podatkovni center svoje znanje in izkušnje in med sprehodom po NORD-u se tu in tam ujameš, da misliš, da so ljudje to pač naredili in to dobro. Ne zaradi razkazovanja, ne zaradi ocen in certifikatov - normalen inženirski proces, ko ob vsaki ponovitvi rasteš nad samim seboj in postajaš vedno boljši. Zunanji opazovalec bo rekel, da je to dolgočasno in konzervativno, stranka pa, nasprotno, vzdržuje takšno stabilnost z lastnim denarjem. In da bi to naredili dobro, sploh ni potrebno kupiti inženirskih sistemov ali programske opreme za veliko, veliko denarja (čeprav včasih brez tega ne morete). Pogosto odločajo izkušnje, znanje in inženirska iznajdljivost.
Na primer, stavba NORD-4 ima 3,5 nadstropja. Prve tri so polnopravne, s stropi 4.5 metra, kjer se nahajajo turbinske sobe. In zadnja je tehnična, visoka le 1.8 metra, namenjena pa je zgolj hladilnemu sistemu. Ker so tla tehnična, so zahteve zanje precej nižje, kar je poenostavilo projekt in prihranilo denar.
Pogled na trikotni podatkovni center
Max ima posebno kung fu sposobnost, da se ne opeče na fotografijah
Ogled zaključimo na strehi - od tu imamo odličen razgled na bližnjo termoelektrarno in stanovanjsko naselje ter druge NORD-ove objekte. Dve sta trikotni. O tem so se kolegi celo smejali, da so "DataLine bedaki, iz neznanega razloga gradijo trikotni podatkovni center", da bi tam namestili trikotne stojala in trikotne strežnike. A nič - zgradili so in uspešno delujejo, hkrati pa učinkovito uporabljajo obstoječe ozemlje (ki v Moskvi, je treba reči, ni brezplačno). Drugo (zame) presenetljivo dejstvo je, da večina komercialnih strank želi biti v Moskvi. Polsto kilometrov stran ob avtocesti v Minsku (tudi če obstajajo vse potrebne zmogljivosti in komunikacije) nikogar več ne zanima. Tako se vsi stiskajo v negumijastem.
Hladilni stolpi niso več podatkovni centri, temveč termoelektrarne
S tem se je naše naslednje potovanje končalo.
Sledil je še en dolg in produktiven pogovor o skupnih načrtih in prihodnjih podcastih (upam, da ne bomo dolgo čakali), zato nas spremljajte, kmalu bo še več zanimivosti.
No, če želite vse videti na lastne oči, vas DataLine vabi na ogled. Povsem brezplačno, vendar po dogovoru. Tisti, ki imenujejo kodno besedo "linkmeup", bodo dobili plus v karmi.
Ostani na vezi!
Vir: www.habr.com