Hlavním dopravním problémem v Petrohradu jsou mosty. V noci se kvůli nim musíte vyhýbat útěše v hospodě, aniž byste dopili pivo. Nebo zaplatit za taxi dvakrát tolik. Ráno pak pečlivě počítat čas, abyste se jako obratný mangust dostali na nádraží, jakmile se most zvedne. Variant "spát někde v centru, blízko nádraží" nezvažujeme, neboť je ideologicky škodlivý.
…"Sapsan", odjíždějící v 5:30, vymysleli lidé, kteří nenávidí sovy. Ne, samozřejmě je velmi praktické dostat se do Moskvy v devět ráno a Petrohrad je neuvěřitelně krásný během bílých nocí, ale když jsem v půl páté nastoupil do taxi, chtěl jsem otočit hlavu o 270 stupňů tomu skřivánkovi, který přišel na ten ranní vlak.
"Všechny dobré datová centra jsou si podobná" - pomyslel jsem si, když jsem zjistil, že nás pozvali na návštěvu kluci z DataLine.
Jak se ukázalo, každé datové centrum je dobré (nebo špatné) trošku svým vlastním způsobem, zejména když už máte nějaké zkušenosti, shromáždíte veškeré klopýtnutí v okolí a naučíte se lekce z vlastní (a trošku cizí) bohaté zkušenosti. Tak jsme se (ve složení pěti předních linkmeup a přidružených přátel a sympatizantů) rozhodli zkontrolovat, jak dobrá (nebo ne) jsou datová centra OST a NORD.
Stihli jsme se trochu pracovat na cestě (tady by mohla být reklama na jednoho mobilního operátora, ale není – pokrytí zůstalo špatné), vystupujeme na Leningradském nádraží. Tak alespoň ne pod Gazmanova.
Naši prohlídku zelených datových center jsme zahájili v OST – "tom našem", které nedávno "hořelo". Proč v uvozovkách - po tom. A zatím jsme tu, kouříme, čekáme na opozdilce. Fotografujeme kancelář RT vedle. S tímto sousedstvím je spousta zábavných příběhů - počínaje položením čerstvého asfaltu a malováním obrubníků před příjezdem Vysoce postavených osob, a konče slevami v okolních kavárnách, které dostávali lidé z dataline kvůli podobnosti jmenovek.
Hlasatel totalitní propagandy
Datové centrum s přísným (regulačním) režimem
Průkaz, pravidla chování, drtička u vstupu - téměř takovou jsme viděli . Kolik kaváren jste už viděli v datových centrech? My nyní známe alespoň pár. Na identifikačních kartách zaměstnanců a klientů jsou uvedeny „kávové“ vklady, které se pravidelně doplňují. Takže v rozumných mezích si můžete pochutnat na kávě zcela zdarma. Také nás, jakožto vzácné hosty, pohostili.
O kávě nemohu říci nic špatného — je to zcela obyčejné pro „síťovou“ kavárnu, ale její umístění vás neodolatelně přitahuje a interiér je v nejlepších moderních tradicích.
Interiér místní kavárny
Na fotografiích datová centra NORD
Exkurze začíná v kanceláři. Kromě známých nápisů na zdech v celém Ruském internetu a bílo-zelené barevné palety tu najdete také různé zábavné věci. To je rekvizita, která zbyla z vystoupení firemního divadla (můžete si představit technického ředitele sítě datových center, jak hraje ve hře? My ho osobně známe.).
A opravdu
Fotografie z představení
Datová centra (přesněji čtyři datová centra) se nacházejí v komplexu průmyslových budov postavených ještě v předminulém století (tehdy továrna „Citroën“, a za dob SSSR továrna „Hydrodrive“), takže na jedné straně — je zde tvrdý industriál, kovové trámy, atmosféra loftu a průmyslové artefakty různých epoch, které se dodnes nacházejí při provádění různých prací. Na druhé straně je nutné umístit hermetické zóny datového centra do stávajících konstrukcí, a občas musíte hledat kompromisy s realitou. Přesto bych neřekl, že by tyto kompromisy ovlivnily kvalitu — ale klukům se určitě při projektování pěkně zapotilo. Také, podle pověstí, kdesi poblíž prochází Metro-2, ale to není jisté.
Kromě divadla zde máme i své muzeum. Exponáty jsou čistě archeologické nálezy
Pár slov o Ano, budova (nebo spíše střecha) opravdu hořela. Poškozeny byly externí bloky chladicích systémů a chladících potrubí. Někde spálily dráty a klimatizace zůstaly bez elektrického připojení. Někde praskly potrubí s freonem. Ale i tak hermetické zóny zvládly ton vody, která na ně byla vylita, a zařízení přežilo. Obnova probíhala pod vedením "štábu" v osobě vysokého managementu, který šel všichni dohromady – vyzbíraly se vůbec všechny měděné trubky v Moskvě a okolí (dokonce se vozily i v noci na BMW X5) a všechny střízlivé instalatéry. Kritické zařízení z postižených datových center (postižených nedostatkem chladu, ne požárem!) bylo rychle přesunuto do jiných sálů, takže už v pět ráno byly zprovozněny nejen všechny naše služby, ale i klienti.
Osobně jsme zkontrolovali ten sál, který utrpěl nejvíce – kromě zápachu spáleniny a vyměněných dlaždic podlahy si na požár vůbec nic nepamatuje (kromě stojanů s vybavením, které byly "dočasně" převezeny do jiného datového centra a tam i zůstaly).
Statusní panel
Když se procházíme chodbami, vidíme dotykový displej s něčím, co velmi připomíná schéma strojoven datového centra. To je statusní panel. Tyto panely jsou rozmístěny po chodbách a umožňují inženýrům na místě rychle najít například potřebnou klimatizaci a také jednoduše informují o aktuálním stavu.
Monitoring je postaven na Nagios (nyní již několika nezávislých clusterech) a pokrývá všechna datová centra (jak OST, tak NORD). Navíc jsou k dispozici aplikace pro Android a iOS (pro klienty a zaměstnance) a statusní stránka přímo na webu.
Na displeji si všímám neobvykle vysokého PUE – v Rusku to není vždy běžné počítat, ale 1,90 je docela hodně. Odpovědí na toto je čistě ekonomické – v letech 2012-2013 se ve strojovnách datových center prodávaly stojany jako horké rohlíky, takže na city a energetickou efektivitu nebyl čas. Bereme to, co je na trhu, děláme co nejrychleji a o těchto vašich PUE se vůbec nezajímáme, protože proč? Ještě ve fázi projektování je vykoupeno 80-90% stojanů, a zákonodárství v RF o energetické efektivitě nechce nic vědět. I když by nějaké komisi v Amsterdamu tyto čísla mohly způsobit infarkt.
Nic osobního. Jen obchod.
Další zajímavostí je označení datových center. Na každém místě mají datová centra kromě „oficiální“ alfanumerické kódování také „lidské“ přezdívky podle námořní abecedy (Alfa-Bravo-Čarli-Delta…). Z nějakého důvodu mají všichni klienti rádi bar Whiskey.
V péči o klienty nejsou malé detaily.
Takové „ploty“ instalují pro některé klienty. V našich strojovnách nám fotografování nepovolili, takže foto DataLine ©.
Klienti DataLine jsou většinou velké a respektované společnosti, které opravdu nemají rády, když se fotografuje jejich vybavení. Zvlášť pokud je název (nebo logo) klienta napsáno přímo na skříni velkými písmeny. Prostě to nemají rádi. A proto jsme fotili již proslulé stěny s různými nápisy a inženýrské prvky. Inženýrské prvky se také mohou fotografovat, ale ne všechny a ne všude, my se však snažili. Protože mezi klienty jsou velké a vážené firmy, mají i specifické požadavky — speciální skříně (nebo nějakou ultra SDD z několika dodavatelských skříní), vlastní ploty, vlastní spínací zařízení, vlastní kamerový dohled a rychlou reakční skupinu se zbraněmi. Jedno z nepsaných (a možná i psaných) pravidel DataLine je, že se starají o klienta a dělají mu radost. Začíná to od vest a vybavených pracovních míst s přístupem k internetu a nabíječkami, a končí různými akcemi pro klienty. Tyto akce jsou také velmi prospěšné tím, že stejní lidé, kteří přecházejí z firmy do firmy, přivádějí je do DataLine. Prostě proto, že zde je vše útulné, pohodlné a spolehlivé. Obchod DataLine není jen o pronájmu skříňových míst. Je to také cloud, který je certifikovaný jak podle 152-FZ, tak podle PCI-DSS (o kterém plánujeme udělat podcast, sledujte naše oznámení), a poskytování konektivity (vlastní vlákna mezi místy a od každého z nich k M9, vlastní optický kroužek ve městě, až po organizaci poslední míle k kanceláři klienta).
M — motivace.
A když už mluvíme o nápisech — nápady nepocházejí jen od zaměstnanců, ale také od partnerů a klientů, přičemž za ty nejlepší je možné hlasovat na DataLine na FB. A také tam můžete navrhnout svůj vlastní nápad.
Setkání na Labi.
Krosová (fotografie poskytnuta společností DataLine).
Zastavujeme se u Meet-Me-Room, kde jsou umístěni operátoři. V MMR (tři páry v OST, podle počtu optických vstupů pro aktivaci a pasivaci) se shromažďují připojení ze všech datových hal. V krosové části je to všechno nudné a uklizené. Zato tam, kde jsou umístěny aktivace operátorů, vzpomínáte na nejlepší léta a záběry z nějakého BM18: nudle z kabelů a různorodé vybavení (DLink, Extreme, Juniper, Mikrotik… a tak až po ASR9k). Operátorů je zde více než padesát, takže je to pestré. Z MMR optika a měď směřuje do strojoven. Minimálně dvě trasy na každou (možné varianty), takže o spolehlivost připojení si nemusíte dělat starosti. MMR se nazývá „Elba“, což je velmi vtipné.
Potřebujete IBM Power?
Další nález — to je IBM P-series, který nebyl nikdy zapnutý a už několik let stojí v jednom z chodeb. Stroj (spolu s páskovou knihovnou a úložištěm) si objednal jeden z klientů, ale „nebyl využit“, proto ho darovali datovému centru. Od té doby tam stojí.
Asi je fajn být bohatými chlapíky a dělat takové dary, že? (Možná ho ani nedarovali, ale zapomněli. Nebo prohráli v kartách. Ale stojí tam už dlouho)
Takový krasavec stojí v NORD-4
Jdeme do energetického centra — tři (nebo dokonce čtyři) DGUs pro každý datový center (připomínám, že jich je v OST čtyři). Diesel dosahuje plného výkonu za 30-40 sekund a poskytuje 1900 kVA. Rezervace N+1, synchronizace a další — v balení. Nejdelší doba běhu na dieselu v OST je 12 hodin. V NORD — 2,5 dne (což hovoří samo za sebe, sklad o 85 tunách to už není žádné huncútství).
Samozřejmě, že jsou dohody s různými palivovými společnostmi na dodávku paliva. Přepnutí na diesel se provádí pravidelně, takže palivo se vyprodukuje a smlouvy se kontrolují. Mimochodem, podle kolegů, při testování DGU v NORD, který obvykle trvá několik hodin, na místě, kde uniká teplý vzduch z dieselů, dokonce v zimě stihne zeleňět tráva.
Po krátkém občerstvení v již známé kavárně jedeme na plochu NORD. To není jeden datový center, ale čtyři nezávislé budovy na jednom pozemku. Každý má své elektrické vstupy, své dieselové stroje a své chlazení. NORD-1 a NORD-2 prošly auditem Uptime Institute M&O. Nejnovější (a nejlepší datový center DataLine) — NORD-4, takže jdeme právě sem.
I přes značný, zdánlivě obrovský počet datových center v Moskvě stále panuje nedostatek. Samozřejmě, že jednu či dvě skříně vám vyloží bez problémů. Dokonce i dvacet poskytnou. Větší množství už je otázka (a DataLine má více než jednoho či dva klienty s takovými potřebami). Konkrétně v NORD-4 místo (prozatím) je, protože jeden velký klient se přestěhoval do svého vlastního nově postaveného datového centra, ale v jiných místech se to už nemusí podařit. Nicméně, v současnosti probíhá návrh NORD-5, který slibují spustit na začátku roku 2020.
Ale vraťme se k naší exkurzi. Vzhledem k tomu, že jsme jeli autem, byli jsme vpuštěni do brány, kde nás zaměřili ozbrojenci, číslo našeho auta ověřili s žádostí a všechny pasažéry požádali, aby vystoupili pro vydání povolení (samozřejmě, podle pasu). Protože B — bezpečnost.
NORD-4 je pýcha společnosti a souhrn mnohaletých zkušeností v oblasti výstavby a provozu datových center, má certifikáty Uptime Institute Tier III pro projektový design a Facility (tj. postavená datová centra) a také Operational Sustainability — kluci se k věci postavili maximálně zodpovědně. Uvnitř jsou čtyři nezávislé hermetické zóny po dvou sálech v jednom budově. Každá má své energetické centrum (DGU, bateriové místnosti), chladicí okruhy a systémy protipožární ochrany. Společné jsou pouze optické vstupy (dva na budovu) a MMR.
Mění zdravého inženýra
U vchodu do datového centra už čeká známá kavárna (proč ne?). Vystupujeme do centra monitorování. Hlavní jsou nyní dvě — v OST a NORD-4 (v NORD-1, 2, 3 také sedí své směny). Z každého centra je možné sledovat obě lokality, takže i zde je zajištěna redundance n+1. Na videozdi se nacházejí již známé panely v salátovém odstínu (parametrů je na ní pochopitelně mnohem více než na statusovém displeji). Trochu si povídáme o monitorování — žádní módní Prometheové a Grafany, jen Nagios, pouze hardcore a vlastní vizualizace. Během deseti let (vlastně už přes deset) používání bylo napsáno množství vlastních kontrol a skriptů, takže přechod na něco jiného vypadá jako velká dobrodružství. Přibližně jednou za měsíc se objeví další společnost, která slibuje „rychle a bezbolestně“ vyřešit všechny problémy, ale zatím to jaksi nevychází. Videozeď, mimochodem, také funguje na samosestaveném řešení, které vyšlo mnohem levněji než komerční alternativy.
Zdejší řídící centrum
Když mnoho let navrhujete, stavíte a provozujete datová centra, už se nebojíte dělat něco sami, a ne jen kupovat hotové. DataLine například neštítí říct, že díky své velikosti zakopli o maximální počet klacíků, a každé nové datové centrum je potomkem těžkých chyb a zkušeností, které mají více než desetiletou historii. Samozřejmě, v každém novém datovém centru jsou vlastní know-how, a procházka po NORD vás neustále přivádí k myšlence, že lidé jednoduše vzali a udělali to dobře. Ne pro dostatečně, ne pro hodnocení a certifikáty — běžný inženýrský proces, kdy s každou iterací rostete nad sebe a stáváte se stále lepším a lepším. Zruční pozorovatel řekne, že to je nudné a konzervativní, zatímco klient, naopak, podporuje tuto stabilitu svými vlastními penězi. A pro to, abyste to udělali dobře, vůbec není nutné kupovat inženýrské systémy nebo softwarové řešení za hodně peněz (i když bez toho to někdy nejde). Častěji rozhoduje zkušenost, znalosti a inženýrská vynalézavost.
Například budova NORD-4 má 3,5 patra. První tři jsou plnohodnotná s výškou stropu 4,5 metru, kde se nacházejí strojovny. A poslední patro je technické, vysoké pouze 1,8 metru, a je určeno čistě pro chladicí systémy. Protože je patro technické, jsou požadavky na něj mnohem nižší, což umožnilo zjednodušit projekt a ušetřit peníze.
Pohled na trojúhelníkový datové centrum
Max má zvláštní kung-fu, jak se nezaplést na fotkách
Zakončujeme prohlídku na střeše — отсюда se otevírá skvělý výhled na vedlejší tepelnou elektrárnu a obytnou zónu, jakož i na další budovy NORD. Dvě z nich jsou trojúhelníkové. Na toto téma se kolegové dokonce smáli, že 'DataLine je blázen, staví zbytečně trojúhelníkové datové centrum', aby mohli umístit trojúhelníkové skříně a trojúhelníkové servery. Ale nic — postavili to a úspěšně to používají a navíc efektivně využívají dostupný prostor (který, jak říct, v Moskvě není zadarmo). Ještě jeden překvapující (pro mě) fakt — většina komerčních klientů chce sídlit právě v Moskvě. Místo za padesát kilometrů po Minském dálnici (i když mají veškeré potřebné kapacity a komunikace) už nikoho moc nezajímá. A tak se všichni tlačí v omezeném prostoru.
Chladicí věže už nejsou datovým centrem, ale tepelnou elektrárnou
Na tomto našem dalším putování jsme skončili.
Poté byla ještě dlouhá a plodná debata o společných plánech a budoucích podcastech (doufám, že na ně nebudeme dlouho čekat), takže sledujte novinky, brzy bude ještě více zajímavého.
Pokud chcete vidět všechno na vlastní oči, DataLine vás zve na prohlídku. Zcela zdarma, ale po předchozí rezervaci. Těm, kteří řeknou kódové slovo 'linkmeup' — bonus v karmě.
Zůstaňte na příjmu!
Zdroj: habr.com
