Najväčším dopravným problémom v Petrohrade sú mosty. V noci sa kvôli nim musíme ponáhľať z krčmy, aby sme nestihli dopiť pivo. Alebo zaplatiť za taxi dvakrát viac, ako zvyčajne. Ráno si dôkladne plánujeme čas, aby sme, hneď ako most zatvoria, stihli na stanicu ako obratný mangustus. Možnosť „prespať niekde v centre blízko stanice“ neprichádza do úvahy, považujeme to za ideologicky nevhodné.
… „Sapsan“, ktorý odchádza o 5:30, vymysleli ľudia, ktorí nenávidia sovy. Nie, samozrejme, je veľmi pohodlné byť v Moskve o deviatej ráno, a Petrohrad je neuveriteľne krásny počas bielych nocí, ale o pol piatej, keď som nastúpil do taxíka, som chcel otočiť hlavu o 270 stupňov tomu skorej vtákovi, ktorý tento ranný vlak vymyslel.
„Všetky dobré dátové centrá sú si navzájom podobné“ — pomyslel som si, keď som sa dozvedel, že nás pozvali na návštevu chalani z DataLine.
Ako sa ukázalo, každé dátové centrum je dobré (alebo zlé) trošku po svojom, najmä keď dostanete niekoľko rán, pozbierate všetky prekážky v okolí a naučíte sa lekcie z vlastných (a trošku aj cudzích) bohatých skúseností. Tak sme (v zložení piatich vedúcich linkmeup a pripojených priateľov a sympatizantov) sa rozhodli skontrolovať, ako dobré (alebo nie veľmi) sú dátové centrá OST a NORD.
Trochu som stihol pracovať na ceste (tu by mohla byť reklama jedného mobilného operátora, ale nie — pokrytie je také zlé, ako bolo), vystupujeme na Leningradskom nádraží. Aspoň nie pod Gazmanovom.
Našu exkurziu po „zelených“ dátových centrách sme začali s OST — „tým známym“, ktorý nedávno „horel“. Prečo v úvodzovkách — neskôr. Zatiaľ stojíme, fajčíme, čakáme na meškajúcich. Fotíme kanceláriu RT vedľa. S týmto susedstvom je veľa zábavných príbehov — od pokládky čerstvého asfaltu a maľovania obrubníkov pred príchodom Vysokých Osobností, až po zľavy v okolí kaviarní, ktoré dostávali dátoví pracovníci z dôvodu podobnosti odznakov.
Megafón totalitnej propagandy
Dátové centrum prísneho (kontrolného) režimu
Preukaz, pravidlá správania, mlynček na vstupe — taký istý sme videli . Koľko kaviarní ste videli v dátových centrách? My teraz poznáme aspoň pár. Za zamestnancami a zákazníkmi sú na menovkách «kávové» depozity, ktoré sa pravidelne dopĺňajú, takže si v rozumných medziach môžete dopriať kávu úplne zadarmo. Aj nás, ako drahých hostí, pohostili.
O káve nemôžem povedať nič zlé — je to celkom bežné pre «reťazcovú» kaviareň, ale lokalita neodolateľne priťahuje a interiér je skutočne v najlepších moderných tradíciách.
Interiér miestnej kaviarne
Na fotografiách dátové centrá NORD
Exkurzia začína v kancelárii. Okrem známych nápisov na stenách a bielo-zeleného farebného schémy sú tam aj rôzne zábavné veci. Toto je rekvizita, ktorá zostala po vystúpeniach firemného divadla (môžete si predstaviť technického riaditeľa siete dátových centier, ktorý hrá v divadelnom predstavení? A my ho osobne poznáme.).
Naozaj
Fotografie z predstavení
Dátové centrá (presnejšie povedané, štyri dátové centrá) sa nachádzajú v komplexe priemyselných budov, postavených ešte v predminulom storočí (vtedy — továreň «Citroën», a za čias ZSSR — továreň «Hydrodrive»), takže z jednej strany — tu je drsný priemysel, kovové nosníky, atmosféra loftu a priemyselné artefakty rôznych období, ktoré sa stále nachádzajú pri rôznych prácach. Z druhej strany — hermetické zóny dátových centier musia byť zakomponované do existujúcich konštrukcií a občas je potrebné robiť kompromisy s realitou. Napriek tomu by som nepovedal, že tieto kompromisy ovplyvnili kvalitu — ale chalani sa určite museli zapotiť pri projektovaní. Čo sa týka povestí, niekde v blízkosti prechádza Metro-2, ale to nie je presné.
Okrem divadla tu je aj vlastné múzeum. Exponáty sú pôvodne — archeologické nálezy.
Pár slov o Áno, budova (respektíve strecha) naozaj horela. Utrpeli poškodenia vonkajšie bloky chladiacich systémov a chladivové potrubia. Kde-tam sa prehorela elektroinštalácia a klimatizácie zostali bez elektriny. Niektoré chladivové potrubia explodovali. Napriek tomu hermetické zóny odolali tonám vody, ktorá sa na ne vyliala, a vybavenie prežilo. Obnovu riadili "štáb" v podobe vrcholového manažmentu so všetkými zamestnancami — zozbierali naozaj všetky medené rúry v Moskve a okolí (privezli ich aj v noci na BMW X5) a všetkých střízlivých montážnikov. Kritické vybavenie z postihnutých dátových centier (postihnutých nie požiarom, ale nedostatkom chladu!) bolo rýchlo presunuté do iných sál, takže už o piatej ráno bolo obnoveno nielen všetko naše služby, ale aj klientov.
Osobne sme skontrolovali ten sál, ktorý bol najviac "postihnutý" — okrem zápachu spáleniny a vymenených dlaždíc falošnej podlahy si na požiar vôbec nespomenieme (okrem stojanov s vybavením, ktoré bola "dočasne" presunuté do iného dátového centra a tam aj zostali).
Stavová panel
Keď prechádzame chodbami, vidíme dotykový displej s niečím, čo sa veľmi podobá schéme strojovne dátového centra. Toto je stavová panel. Tých je v chodbách nainštalovaných niekoľko a umožňujú inžinierom na mieste rýchlo nájsť napríklad potrebnú klimatizáciu a jednoducho oznamujú aktuálny stav.
Monitoring je založený na Nagios (a teraz už na niekoľkých nezávislých clusteroch) a pokrýva všetky dátové centrá (aj OST, aj NORD). Ďalej existujú aplikácie pre Android a iOS (pre klientov a zamestnancov) a stavová stránka priamo na webe.
Na displeji si všimnem nezvyčajne vysoký PUE — nie všade v Rusku sa to zvyčajne počíta, ale aj tak 1.90 je trochu veľa. Odpoveď na toto je čisto ekonomická — v rokoch 2012-2013 sa stojany v dátových centrách predávali ako horúce koláče, takže nebolo čas na emócie ani energetickú efektívnosť. Nasadili sme to, čo je na trhu, urobíme to maximálne rýchlo a nezaujímajú nás vaše PUE, veď prečo? Ešte vo fáze projektovania sa vyberá 80-90 % stojanov, no legislatíva v Rusku o energetickej efektívnosti nechce vedieť nič. Hoci by nejaká komisia v Amsterdame určite od takých čísel dostala infarkt.
Nič osobného. Len biznis.
Ďalšou zvláštnosťou je označovanie dátových centier. Na každom mieste majú dátové centrá okrem „oficiálnej“ alfanumerickej kódovania aj „ľudské“ pseudonymy z námorníckeho abecedného systému (Alfa-Bra vo-Čarli-Delta…). Z nejakého dôvodu všetci klienti milujú vyžovať Whiskey.
V oblasti starostlivosti o klientov niet maličkostí.
Takéto „ploty“ sa stavajú pre niektorých klientov. V našich strojových halách sme nemohli robiť fotografie, preto sú tu snímky DataLine ©.
Klienti DataLine sú prevažne veľké a vážené spoločnosti, ktoré veľmi nemajú radi, keď sa fotografuje ich vybavenie. Najmä ak je názov (alebo logo) klienta napísané priamo na stojane veľkými písmenami. Nemajú radi — a je to tak. Preto sme fotili už známe steny s rôznymi nápismi, a aj technológiu. Technológie sa nedajú fotografovať všade a vždy, ale snažili sme sa. Keďže medzi klientmi sú veľké a vážené firmy, ich požiadavky sú často špecifické – špeciálne stojany (alebo dokonca nejaké ultra SAN z niekoľkých vendorových stojanov), vlastné ploty, vlastné zabezpečovacie systémy, vlastné kamerové sledovanie a rýchla reakčná skupina s automatmi. V skutočnosti jedno z neoficiálnych (a oficiálnych tiež) pravidiel DataLine je starať sa o klienta a robiť mu dobre. Od vesty a vybavených pracovných miest s prístupom na internet a nabíjačkami, až po rôzne akcie pre klientov. Tieto sú veľmi užitočné aj z toho dôvodu, že tí istí ľudia, prechádzajúc z firmy do firmy, ich privádzajú do DataLine. Jednoducho preto, že tu je všetko útulné, pohodlné a spoľahlivé. Biznis DataLine nie je len prenájom stojísk. Je to tiež cloud, ktorý je certifikovaný súčasne podľa zákona 152-FZ a PCI-DSS (o ňom plánujeme urobiť podcast, sledujte oznámenia) a poskytovanie konektivity (vlastné vlákna medzi lokalitami a z každej z nich na M9, vlastný optický kruh po meste, a tak až po organizáciu poslednej míle k klientskemu kancelárii).
M – motivácia
Mimochodom, o nápisoch – nápady prichádzajú nielen od zamestnancov, ale aj od partnerov a klientov, po ktorých sa za najúspešnejšie môže hlasovať na DataLine na FB. A aj navrhnúť svoj nápad je možné tam.
Stretnutie na Elbe
Motocross (fotografia poskytla spoločnosť DataLine)
Zastavíme sa pri Meet-Me-Room, kde sídlia operátori. V MMR (tých je v OST tri páry, podľa počtu hlavných optických vstupov, pod aktívne a pasívne pripojenie) sa spájajú pripojenia zo všetkých dátových centier. V prepojení je všetko nudné a upratané. Ale tam, kde je aktívne vybavenie operátora, si pripomínate najlepšie roky a zábery z nejakého BM18: cestoviny z káblov a rozličné zariadenia (DLink, Extreme, Juniper, Mikrotik… až po ASR9k). Operátorov je tu viac ako päťdesiat, takže je to pestré. Z MMR sa optika a meď rozvetvuje do strojární. Minimálne dve trasy na každú (možné varianty), takže o spoľahlivosť pripojenia sa netreba báť. MMR sa nazýva „Elba“, čo je veľmi rafinované.
Potrebujete IBM Power?
Ďalším nálezom je IBM P-series, ktorý ani raz nezapli a už niekoľko rokov stojí v jednom z chodieb. Zariadenie (spolu s páskovou knižnicou a úložným systémom) objednal jeden z klientov, ale „nepotrebovalo sa“, preto ho darovali dátovému centru. Odvtedy tam stojí.
Asi je fajn byť bohatými chlapcami a robiť takéto dary, nie? (Ale možno ho ani nedarovali, iba zabudli. Alebo prehrali v kartách. No, už tam stojí dlho.)
Takýto krasavec stojí v NORD-4
Ideme do energetického centra — tri (alebo dokonca štyri) DGU na každý datacenter (pripomínam, že v OST ich je štyri). Diesel dosiahne plnú kapacitu za 30-40 sekúnd a poskytuje 1900 kVA. Rezervovanie N+1, synchronizácia a ďalšie je v balíku. Najdlhší čas prevádzky na diesel v OST je 12 hodín. V NORD — 2,5 dňa (predsa len, sklad na 85 ton nie je žiadna sranda).
Samozrejme, existujú zmluvy s rôznymi palivovými spoločnosťami na dodávku paliva. Prepínanie na diesel prebieha pravidelne, takže palivo sa vyrába a zmluvy sa kontrolujú. Mimochodom, podľa kolegov, v NORD pri testovaní DGU, ktoré zvyčajne trvá niekoľko hodín, na mieste, kam sa vyfukuje horúci vzduch z dieselov, aj v zime stihne tráva zazelenieť.
Po krátkej prestávke v už známej kaviarni ideme na platformu NORD. To nie je len jedno dátové centrum, ale štyri nezávislé budovy na jednom území. Každé má svoje vstupy elektriny, svoje diesely a svoje chladenie. NORD-1 a NORD-2 prešli auditom Uptime Institute M&O. Najnovšie (a najlepšie dátové centrum DataLine) — NORD-4, takže ideme práve sem.
Hoci sa zdá, že v Moskve je obrovské množstvo dátových centier, stále je prítomný nedostatok. Samozrejme, jednu alebo dve skriňové jednotky vám bez problémov poskytnú. Dokonca aj dvadsať. Viac už závisí od situácie (a pri DataLine sú klienti s takými potrebami — nie jeden, ani dvaja). Konkrétne v NORD-4 je miesto (zatiaľ), pretože jeden veľký klient sa presťahoval do vlastného novopostaveného dátového centra, ale v iných miestach môže byť šťastie už menšie. Napriek tomu momentálne prebieha projektovanie NORD-5, ktorého spustenie je sľubované na začiatok roku 2020.
Ale vráťme sa k našej exkurzii. Keďže sme cestovali autom, pustili nás do brány, kde nás zamierili zamestnanci s automatom, číslo našej auta overili s objednávkou a všetkých pasažierov požiadali vystúpiť, aby získali povolenia (samozrejme, podľa pasu). Pretože B — bezpečnosť.
NORD-4 je pýchou spoločnosti a zhromaždením mnohoročných skúseností v stavbe a prevádzke dátových centier, má certifikáty Uptime Institute Tier III na projektový dizajn a Facility (t.j. postavené dátové centrum), ako aj Operational Sustainability — tím k tejto úlohe pristúpil maximálne zodpovedne. Vo vnútri sú štyri nezávislé hermetické zóny so svojimi dvoma sálami v jednom budove. Každá má vlastný energetický centrum (DGU, akumulátorové miestnosti), chladenie a hasičské systémy. Spoločné sú iba optické vstupy (sú dva na budovu) a MMR.
Modding zdravého inžiniera
Na vstupe do dátového centra nás už čaká známa kaviareň (prečo nie?). Vstúpime do centra monitorovania. V súčasnosti sú hlavné dve — v OST a NORD-4 (v NORD-1, 2, 3 sú tiež svoje pohotovostné zmeny). Z každého centra je možné sledovať obidve lokality, takže aj tu je zabezpečená redundancia n+1. Na videostene sú už známe dashboardy v svetlozelených tónoch (parametrov na nej je, samozrejme, oveľa viac ako na stavovom displeji). Trochu sa porozprávame o monitorovaní — žiadni módni Prometeus a Grafana, len Nagios, len hardcore a samopísaná vizualizácia. Za desať rokov (vlastne aj viac) používania bolo napísaných množstvo vlastných kontrol a skriptov, takže prejsť na niečo iné sa zdá ako dosť riskantné. Približne raz za mesiac sa objaví ďalšia spoločnosť, ktorá ponúka „rýchlo a bez bolesti“ riešiť všetky problémy, ale zatiaľ to akosi nefunguje. Videostena, mimochodom, tiež funguje na vlastnom riešení, ktoré vyšlo oveľa lacnejšie ako komerčné alternatívy.
Tu miestny dispečing
Keď mnoho rokov navrhujete, staviate a prevádzkujete dátové centrá, už sa nebojíte robiť niečo sami, namiesto nakupovania hotových riešení. DataLine napríklad nehanbí povedať, že len vďaka rozsahu sa im podarilo šliapnuť na maximum počtu pascí, a každé nové dátové centrum je synom náročných chýb a skúseností, ktoré majú už viac ako desať rokov. Samozrejme, v každom novom dátovom centre sú svoje know-how, a prechádzajúc NORD sa často chytám na myšlienke, že ľudia jednoducho vzali a urobili to dobre. Nie kvôli prestíži, nie kvôli hodnoteniam a certifikátom — obyčajný inžiniersky proces, keď na každom kroku rastiete nad seba a stávate sa čoraz lepším. Zdanlivého pozorovateľa by to mohlo označiť za nudné a konzervatívne, ale klient, naopak, podporuje takú stabilitu svojimi peniazmi. A aby ste to spravili dobre, vôbec nie je nutné kupovať inžinierske systémy alebo softvér za veľa peňazí (aj keď bez toho to občas nejde). Častejšie rozhoduje skúsenosť, vedomosti a inžinierska vynaliezavosť.
Napríklad budova NORD-4 má 3,5 poschodia. Prvé tri sú plnohodnotné, s výškou stropu 4,5 metra, kde sa nachádzajú strojovne. A posledné je technické, s výškou iba 1,8 metra, a je vyhradené výhradne pre chladiaci systém. Keďže je poschodie technické, požiadavky naň sú oveľa nižšie, čo umožnilo zjednodušiť projekt a ušetriť peniaze.
Pohľad na trojuholníkovú dátovú centrálu
Max má zvláštne kung-fu, aby sa neprezradil na fotkách
Zakončujeme prehliadku na streche — odtiaľto je výborný výhľad na priľahlú tepláreň a obytnú zónu, ako aj na ďalšie budovy NORD. Dve z nich sú trojuholníkové. Na tento účet sa kolegovia dokonca smiali, že „DataLine sú blázni, stavajú zbytočne trojuholníkovú dátovú centrálu“, aby tam mohli umiestniť trojuholníkové stojany a trojuholníkové servery. Ale nič — postavili a úspešne prevádzkujú, a zároveň efektívne využívajú existujúce priestory (ktoré v Moskve, treba povedať, nie sú zadarmo). Ešte jeden pre mňa prekvapujúci fakt — väčšina komerčných klientov chce mať sídlo práve v Moskve. Lokalita pol stovky kilometrov po Minskom diaľnici (aj keby mala všetky potrebné kapacity a komunikácie) už takmer nikoho nezaujíma. Tak sa všetci natlačili do obmedzeného priestoru.
Chladiace veže — to už nie je dátová centrala, ale tepláreň
Našej ďalšej ceste je koniec.
Následne prebehla dlhá a produktívna diskusia o spoločných plánoch a budúcich podcastoch (dúfam, že na ne nebudeme dlho čakať), takže sledujte novinky, čoskoro bude ešte viac zaujímavého.
No a tých, ktorí chcú vidieť všetko na vlastné oči, DataLine pozýva na prehliadku. Úplne zadarmo, ale na základe predchádzajúcej rezervácie. Tí, ktorí povedia kódové slovo „linkmeup“ — zisk do karmy.
Stay tuned!
Zdroj: habr.com
