Največji prometni problem v Peterburgu so mostovi. Ponoči se je treba hitro umakniti iz lokala, ne da bi popil pivo. Ali pa plačati taksi, ki stane dvakrat toliko kot običajno. Zjutraj je treba natančno izračunati čas, da si ob trenutku, ko most spuščajo, pravi čas kot spreten mungos na postaji. Možnost 'prespati nekje v centru, blizu železniške postaje' ne pride v poštev, ker je ideološko škodljiva.
...'Sapsan', ki odpelje ob 5:30, so izumili ljudje, ki sovražijo ptice zgodnjega jutra. Seveda je zelo priročno priti v Moskvo ob devetih zjutraj, in Peterburg je čudovit med belimi nočmi, vendar ob pol petih, ko sem sedel v taksiju, sem želel obrniti glavo za 270 stopinj tistemu jutranjemu ptiču, ki je izumil ta jutranji vlak.
'Vsi dobri podatkovni centri si med seboj zelo podobni' - sem pomislil, ko sem izvedel, da so nas povabili na obisk fantje iz DataLine.
Izkazalo se je, da je vsak podatkovni center dober (ali slab) na svoj način, še posebno ko se naberete izkušenj, zberete vse pasti naokoli in se naučite lekcije iz svojih (in malo tujega) bogatega znanja. Tako smo se (v sestavi petih vodilnih, ki jih je podprlo nekaj prijateljev in simpatizerjev) odločili preveriti, kako dobri (ali ne) so podatkovni centri OST in NORD.
Dobro smo delali med potjo (tukaj bi lahko bila reklama za enega mobilnega operaterja, vendar ne - pokritost se je ostala slaba), izstopimo na Leningradskem železniškem postaji. No, vsaj ne pod Gazmanovim.
Odobravanje našega obiska 'zelene' podatkovne centre smo začeli z OST - 'tistim, ki je nedavno zagorel'. Zakaj v narekovajih - kasneje. A za zdaj - stojimo, kadimo, čakamo zamudnike. Fotografiramo pisarno RT v bližini. S tem sosedstvom imamo veliko zabavnih zgodb - od polaganja svežega asfalta in barvanja robnikov pred prihodom visokih osebnosti, do popustov v okoliških kavarnah, ki so jih dali podatkovnim centrom iz razloga podobnosti identifikacijskih značk.
Megafon totalitarne propagande
Podatkovni center stroge (vstopne) revalitve
Vstopnica, pravila obnašanja, mesarska mlinček pri vhodu - skoraj enakega smo videli . Koliko ste kafića videli u podatkovnim centrima? Mi sada poznajemo nekoliko. Zaposleni i klijenti imaju na bedževima „kafe“ depozite koji se redovno dopunjuju, tako da se u razumnim granicama može besplatno uživati u kafi. Čak su nas i kao drage goste počastili.
O kafi ne mogu reći ništa loše — sasvim je uobičajeno za „mrežni“ kafić, ali lokacija je zaista privlačna, a enterijer je u skladu sa najboljim modernim tradicijama.
Enterijer lokalnog kafića
Na fotografijama su data centri NORD
Ekspedicija počinje u kancelariji. Pored poznatih natpisa na zidovima i belosmešnog spektra, tu su još i razne zabavne stvari. To je rekvizit koji je ostao od predstava korporativnog pozorišta (možete li zamisliti tehničkog direktora mreže data centara kako igra u predstavi? Mi ga lično poznajemo.).
I zaista
Fotografije sa predstava
Data centar (tačnije četiri data centra) smeštena su u kompleksu industrijskih zgrada koje su izgrađene još u pređašnjem veku (tada — fabriku „Citroën“, a u vreme SSSR-a — fabriku „Gidroprivod“), pa s jedne strane ovde imamo surovu industrijsku atmosferu, metalne grede, loft stil i industrijske artefakte različitih epoha koji se još uvek nalaze prilikom raznih radova. S druge strane, hermetičke zone data centra moraju se uklopiti u postojeće konstrukcije, a povremeno je potrebno praviti kompromise s realnošću. Ipak, ne bih rekao da su ti kompromisi uticali na kvalitet — ali momcima se sigurno povremeno moralo potruditi prilikom projektovanja. Pored toga, prema glasinama, negde u blizini prolazi Metro-2, ali to nije tačno.
Pored pozorišta, ovde postoji i sopstveni muzej. Ekspozicije su, prirodno — arheološka otkrića
Par reči o Ja, budova (nebo spíše střecha) skutečně hořela. Byly poškozeny vnější bloky chladicích systémů a chladících potrubí. Někde se přepálily elektrické kabely a klimatizace zůstaly bez elektřiny. Někde explodovaly potrubí na freon. Ale i přesto hermetické zóny vydržely tuny vody, která na ně byla vylita, a zařízení přežilo. Obnova probíhala pod vedením "štábu" ve složení vrcholového vedení všechno dohromady — vybrali jsme úplně všechny měděné trubky v Moskvě a okolí (dokonce nosili v noci na BMW X5) a všechny střízlivé montéry. Kritické zařízení z postižených datových center (postižených nedostatkem chladu, ne požárem!) bylo operativně přesunuto do jiných hal, takže už v pět ráno jsme zvedli nejen všechny své služby, ale i klienty.
Osobně jsme zkontrolovali tu halu, která byla nejvíce "postižená" — kromě zápachu spáleniny a vyměněných dlaždic podlahy, o požáru vůbec nic nepřipomíná (kromě stojanů se zařízením, "dočasně" odvezených do jiného datového centra, a tam i zůstávajících).
Statusní panel
Když se procházíme chodbami, vidíme dotykový displej s něčím, co velmi připomíná schéma strojoven datového centra. To je statusní panel. V chodbách jich je hodně, a umožňují inženýrům na místě rychle najít například potřebnou klimatizaci, a také jednoduše informují o aktuálním stavu.
Monitoring je postaven na Nagios (nyní už několik nezávislých klastrů) a pokrývá všechna datová centra (jak OST, tak NORD). Dále existují aplikace pro Android a iOS (pro klienty i pracovníky), a statusní stránka přímo na webu.
Na displeji si všímám neobvykle vysokého PUE — ne všude v Rusku se to běžně počítá, ale přece 1.90 je docela hodně. Odpověď na to je zásadně ekonomická — v letech 2012-2013 se stojany v datových centrech prodávaly jako horké rohlíky, a tak na sentimenty a energetickou efektivitu nebyl čas. Dáváme co je na trhu, děláme co nejrychleji a o tyto vaše PUE vůbec se nestaráme, protože proč? Ještě ve fázi projektování se vykupuje 80-90% stojanů, a legislativa v RF o energetické efektivitě nechce vědět vůbec nic. I když by nějaká komise v Amsterdamu měla šok z takových čísel.
Nic osobního. Jen byznys.
Še ena značilnost so oznake podatkovnih centrov. Na vsakem mestu imajo podatkovni centri poleg "uradne" alfanumerične kodifikacije tudi "človeške" psevdonime iz mornariške abecede (Alfa-Bra vo-Čarli-Delta …). Zdi se, da vsi naročniki radi omenjajo Whiskey.
Pri skrbi za stranke ni majhnih stvari.
Takšne "ognjene" ograje postavljajo za nekatere stranke. V naših strojarnah nam niso dovolili fotografirati, zato slika iz DataLine ©.
Stranke DataLine so večinoma velike in ugledne družbe, zelo ne marajo, da se fotografira njihova oprema. Še posebej, če je ime (ali logotip) stranke napisano naravnost na omari z velikimi črkami. Ne marajo – in to je to. Zato smo fotografirali visokofileme z različnimi napisi in inženirske prostore. Inženirske prostore prav tako ni mogoče fotografirati povsod, a smo se trudili. Ker so med strankami velike in ugledne družbe, so tudi njihovi zahtevki specifični – posebne omare (ali sploh kakšna ultra shranjevanje podatkov iz več prodajnih organizacij), njihove ograje, njihovi sistemi nadzora dostopa, lastno videonadzor in skupina za hitro ukrepanje z avtomati. Na splošno je eno izmed nespisanih (in pisnih prav tako) pravil DataLine poskrbeti za stranko in ji omogočiti dobro izkušnjo. Od brezrokavnikov in opremljenih delovnih mest z dostopom do interneta in polnjenjem do različnih dogodkov za stranke. Ti so prav tako zelo koristni, saj ti isti ljudje, ko prehajajo iz podjetja v podjetje, privedejo svoje stranke v DataLine. Preprosto zato, ker je tu vse udobno, praktično in zanesljivo. Posel DataLine ni samo oddaja omar. To je tudi oblak, ki je hkrati certificiran po 152-FZ in po PCI-DSS (o tem nameravamo posneti podcast, spremljajte napovedi) ter zagotavljanje povezljivosti (svoje vlaknine med objekti in od vsakega do M9, svoje optično obročje po mestu, in tako naprej do organiziranja zadnje milje do pisarne naročnika).
M — motivacija.
Glede napisov – ideje prihajajo ne samo od zaposlenih, temveč tudi od partnerjev in strank, po katerih se lahko glasuje za najboljše na. DataLine na FB. No, in svojo idejo lahko predlagate tam tudi.
Srečanje na Elbi.
Krosovka (fotografija, ki jo je zagotovila podjetje DataLine).
Ustavimo se kod Meet-Me-Room, gdje se nalaze operateri. U MMR-u (njih tri para u OST-u, onoliko koliko ima glavnih optičkih veza, za aktivne i pasivne povezivanje) spajaju se veze iz svih data centara. U patch panela je sve dosadno i uredno. Međutim, gdje se nalazi operativna aktivacija, sjetite se najboljih godina i kadrova sa nekog BM18: tjestenina od kablova i raznoliko opremanje (DLink, Extreme, Juniper, Mikrotik… i tako do ASR9k). Ovde ima više od pedeset operatera, tako da je sve šareno. Iz MMR-a optika i bakar se raspoređuju po mašinskim salama. Minimum dvije trase na svaku (moguće su varijante), pa se o pouzdanosti povezivanja ne treba brinuti. MMR se zove „Elba“, što je prilično suptilno.
Trebate IBM Power?
Još jedan pronalazak — IBM P-series, koji nikada nije bio uključen, a već nekoliko godina stoji u jednom od hodnika. Mašinu (zajedno sa trakom bibliotekom i SAN-om) naručio je jedan od klijenata, ali „nije bila potrebna“, tako da su je poklonili data centru. Od tada stoji.
Dobro je, valjda, biti bogati momci i davati takve poklone, zar ne? (A možda i nisu poklonili, već su zaboravili. Ili izgubili na karte. Ali stoji već dugo.)
Ovde stoji takav lepotan u NORD-4.
Idemo u energetski centar — tri (ili čak četiri) DGU-a na svaki data centar (podsećam, u OST-u ih ima četiri). Dizel dostiže punu snagu za 30-40 sekundi i isporučuje 1900kVA. Rezervisanje N+1, sinhronizacija i ostalo — sve dolazi u paketu. Najveće vreme rada na dizelu u OST-u je 12 sati, u NORD-u — 2.5 dana (s obzirom na to da skladište ima 85 tona, nije to mala stvar).
Naravno, postoje ugovori s različitim kompanijama za gorivo za isporuku goriva. Prebacivanje na dizel se dešava redovno, tako da se gorivo troši, a ugovori proveravaju. Usput, prema rečima kolega, u NORD-u, tokom testiranja DGU-a, koje obično traje više sati, na mestu gde izlazi vrući vazduh od dizel generatora, čak i zimi trava uspeva da zazeleni.
Nakon kratke užine u već poznatoj kafeteriji idemo na NORD teren. Ovo nije jedan, već četiri nezavisne zgrade na jednoj lokaciji. Svaka ima svoje električne priključke, svoje dizel generator i svoj sistem hlađenja. NORD-1 i NORD-2 su prošli audite Uptime Institute M&O. Najnoviji (i najbolji data centar DataLine) — NORD-4, tako da idemo baš ovde.
Kljub ogromnemu številu podatkovnih centrov v Moskvi še vedno opazimo pomanjkanje. Seveda, eno ali dve omari vam brez težav zagotovijo. Tudi dvajset jih lahko dobite. Več — to je že vprašanje (a pri DataLine so stranke s takšnimi potrebami vsaj eno ali dve). Konkretno v NORD-4 imamo (zaenkrat) prosto mesto, ker je en velik klient odšel v svoj sveže zgrajen podatkovni center, toda drugod morda ne bo tako srečno. Kljub temu pa se trenutno poteka projektiranje NORD-5, ki naj bi bil zagonjen v začetku leta 2020.
Ampak vrnimo se k našemu obisku. Ker smo se vozili z avtom, so nas spustili v prehod, kjer so nas avtomatčniki usmerili, številko našega avtomobila so preverili s prijavo, vse potnike pa prosili, naj izstopijo zaradi pridobitve dovoljenj (seveda, ob predložitvi osebnega dokumenta). Kajti varnost je na prvem mestu.
NORD-4 je ponos podjetja in rezultat večletnih izkušenj pri gradnji in upravljanju podatkovnih centrov, ima certifikate Uptime Institute Tier III za projektiranje in Facility (tj. zgrajen podatkovni center), prav tako pa tudi za Operativno trajnost — fantje so se odgovorno lotili dela. Znotraj so štiri neodvisne hermetične cone, vsaka z dvema dvoranama znotraj enega objekta. Vsaka ima svoj energetski center (DGU, akumulatorske sobe), konture hlajenja in sistem za gašenje požara. Skupni so le vnosi optike (dva na objekt) in MMR.
Modding zdravega inženirja
Ob vstopu v podatkovni center nas pričakuje že znana kavarnička (zakaj pa ne?). Odpravimo se v središče monitoringa. Trenutno sta glavna dva — v OST in NORD-4 (tudi v NORD-1,2,3 so svoje dežurne izmene). Iz vsakega središča je možno spremljati obe lokaciji, kar zagotavlja redundanco n+1. Na videovidu so že znani nadzorne plošče v zeleni barvni shemi (parametrov je na njej, jasno, bistveno več, kot na statusnem zaslonu). Malce se pogovarjamo o monitoringu — nobenih modnih promethejev in grafov, le Nagios, le hardkor in samodejna vizualizacija. V desetih letih (v resnici celo več) uporabe je bilo napisanih že množica prilagojenih preverjanj in skript, tako da bi prehod na kaj drugega pomenil še kako avanturo. Vsaj enkrat na mesec se pojavi nova podjetja, ki ponujajo "hitro in brez bolečin" reševanje vseh težav, vendar zaenkrat to še ni obrodilo sadov. Omenjeni videovid, mimogrede, prav tako deluje na rešitvi, ki je bila samostojno sestavljena in je bila mnogo cenejša od komercialnih alternative.
Tukajšnji Nadzorni center
Ko že mnoge leta načrtuješ, gradiš in upravljaš podatkovne centre, ne boš več tako zelo prestrašen, da bi kaj naredil sam, namesto da bi kupil rešitev. DataLine, na primer, se ne sramuje povedati, da so zaradi svoje obsežnosti stopili na največje število ovir, vsak nov podatkovni center pa je sin težkih napak in izkušenj, ki štejejo že več kot deset let. Seveda imajo v vsakem novem podatkovnem centru svoje inovacije, in med sprehajanjem po NORD-u ne moreš zbežati misli, da so ljudje preprosto vzeli in naredili dobro. Ne gre za pretvarjanje, ne zaradi uvrstitev in certifikatov — običajen inženirski proces, kjer ob vsakem koraku rasteš in postajaš vse boljši. Zunanjim opazovalcem se bo zdelo, da je to dolgočasno in konservativno, a stranka, nasprotno, podpira to stabilnost s svojimi sredstvi. In za to, da narediš dobro, sploh ni nujno kupiti inženirskih sistemov ali programske opreme za veliko denarja (čeprav to včasih ni možno). Pogosto odločajo izkušnje, znanje in inženirska iznajdljivost.
Na primjer, zgrada NORD-4 ima 3,5 spratova. Prva tri su puna, sa plafonima od 4,5 metra, gde se nalaze mašinske sale. A poslednji je tehnički, visok samo 1,8 metara, i u potpunosti je namenjen sistemu hlađenja. Budući da je sprat tehnički, zahtevi za njega su mnogo niži, što je omogućilo pojednostavljenje projekta i uštedu novca.
Pogled na trokutasti DC
Max ima poseban kung-fu ne osvijetliti se na fotografijama
Završavamo obilazak na krovu — odavde se pruža odličan pogled na obližnju TE i stambeni kompleks, kao i na druge zgrade NORD. Dve od njih su trokutaste. Povodom toga, kolege su se čak smejale da "DataLine — budale, grade nepotrebno trokutasti DC" da bi postavili trokutaste stubove i trokutaste servere. Ali, ništa — sagradili su i uspešno koriste, a pritom efikasno koriste dostupni prostor (koji, treba reći, u Moskvi nije besplatan). Još jedna neverovatna (za mene) činjenica — većina komercijalnih klijenata želi da se nalazi upravo u Moskvi. Lokacija na više od pedeset kilometara putem Minskog šosa (čak i ako postoje svi neophodni kapaciteti i komunikacije) već malo koga interesuje. I tako se svi gužvaju u dužem prostoru.
Hladnjaci — to već nije DC, nego TE
Naš naredni izlet je došao do kraja.
Posle je usledio dug i produktivan razgovor o zajedničkim planovima i budućim podkastima (nadam se da neće dugo čekati), tako da pratite vesti, uskoro će biti još zanimljivijih stvari.
A oni koji žele da vide sve svojim očima, DataLine poziva na obilazak. Potpuno besplatno, ali uz prethodnu rezervaciju. Onima koji izgovore kodnu reč "linkmeup" — plus u karmu.
Ostanite z nami!
Izvor: habr.com
