Nejdůležitějším dopravním problémem v Petrohradu jsou mosty. V noci kvůli nim musíte utíkat z krčmy, aniž byste dopili pivo. No, nebo zaplatit za taxi dvakrát tolik než obvykle. Ráno si pečlivě spočítejte čas, abyste jakmile se most uzavře, doběhli na nádraží jako mrštná mangusta. Variantu „přenocovat někde v centru, poblíž nádraží“ nepovažujeme za ideologicky škodlivou.
"Sokol stěhovavý", odcházející v 5:30, byl vynalezen lidmi, kteří nenávidí sovy. Ne, samozřejmě, být v Moskvě v devět ráno je velmi pohodlné a Petrohrad je během bílých nocí neuvěřitelně krásný, ale v půl páté, když jsem nastupoval do taxíku, chtěl jsem otočit hlavu o 270 stupně ke skřivanovi, který vynalezl tento ranní vlak.
„Všechna dobrá datová centra jsou podobná,“ pomyslel jsem si, když jsem zjistil, že nás na návštěvu pozvali kluci z DataLine.
Jak se ukazuje, každé datové centrum je svým způsobem dobré (nebo špatné), zvláště když se trefíte do velkého času, posbíráte všechny hrábě v oblasti a naučíte se lekce od svých vlastních (a trochu i od jiných lidí). ) bohaté zkušenosti. A tak jsme se (skládající se z pěti předních linkmeupů a jejich přátel a sympatizantů) rozhodli ověřit, jak dobrá (nebo ne tak dobrá) jsou datová centra OST a NORD.
Když jsme stihli trochu zapracovat na cestě (mohla tu být reklama na jednoho mobilního operátora, ale ne - pokrytí bylo stále špatné), vyložili jsme na stanici Leningradsky. Tedy alespoň ne za Gazmanova.
Prohlídku datových center „vápna“ jsme zahájili OST – „stejným“, který „shořel“ nedávno. Proč v uvozovkách - po. Mezitím stojíme, kouříme a čekáme na ty, kteří se opozdí. Focení kanceláře RT vedle. O této čtvrti koluje mnoho vtipných historek – od pokládání čerstvého asfaltu a natírání obrubníků před příjezdem hodnostářů až po slevy v okolních kavárnách, které obyvatelé Dataline dostávali kvůli podobnosti jejich odznaků.
Houba totalitní propagandy
Datové centrum přísného (přístupového) režimu
Průkazka, pravidla chování, mlýnek na maso u vchodu - skoro stejný, jaký jsme viděli . Už jste viděli mnoho kaváren v datových centrech? Teď pár známe. Zaměstnanci i klienti mají na odznakech „kávové“ zálohy, které jsou pravidelně doplňovány. Kávu si tedy v rozumných mezích můžete dopřát zcela zdarma. Byli jsme pohoštěni i my, jako milí hosté.
O kávě nemůžu říct nic špatného - pro „řetězovou“ kavárnu je to docela normální, ale umístění je nedobrovolně podmanivé a interiér je v souladu s nejlepšími moderními tradicemi.
Interiér místní kavárny
Fotografie ukazují datová centra NORD
Prohlídka začíná z kanceláře. Kromě nápisů na stěnách a bílé a limetkové barevné škály známé po celé Runetu jsou tu i nejrůznější vtipy. Jedná se o rekvizity, které zbyly z firemních divadelních představení (dovedete si představit, že by ve hře hrál technický ředitel sítě datových center? A my ho známe osobně.).
A pravda
Fotografie z vystoupení
Datové centrum (nebo spíše čtyři datová centra) se nachází v komplexu průmyslových budov postavených již v předminulém století (tehdy závod Citroen a v sovětských dobách závod Gidroprivod), takže na jedné straně je to drsná industriální vzhled, kovové trámy, půdní atmosféra a průmyslové artefakty z různých epoch, které se stále nacházejí během různých děl. Na druhou stranu je potřeba hermetické zóny datového centra zapadnout do stávajících struktur a čas od času dělat kompromisy s realitou. Neřekl bych však, že tyto kompromisy ovlivnily kvalitu - ale kluci museli pravděpodobně tvrdě pracovat při návrhu. Podle pověstí také někde poblíž prochází Metro-2, ale to není jisté.
Kromě divadla je zde i muzeum. Exponáty, přirozeně - archeologické nálezy
Pár slov o . Ano, budova (nebo spíše střecha) skutečně hořela. Byly poškozeny vnější jednotky chladicích systémů a studené potrubí. Někde shořely rozvody a klimatizace zůstaly bez elektřiny. Někde explodovaly freonové trubky. Navzdory tomu však hermetické zóny vydržely tuny vody nalité na ně a zařízení přežilo. Obnovili ho pod kontrolou „ústředí“ reprezentovaného nejvyšším vedením celého světa – shrabali všechny měděné trubky v Moskvě a okolí (přivezli je i v noci v BMW X5) a všechny střízlivé montéři. Kritická zařízení z poškozených datahall (poškozená nedostatkem chladu, nikoli ohněm!) byla rychle přesunuta do jiných hal, takže v pět ráno byly v provozu nejen všechny jejich služby, ale i jejich klienti.
Osobně jsme zkontrolovali sál, který „trpěl nejvíce“ - kromě zápachu spáleniny a vyměněných dlaždic zvýšené podlahy požár vůbec nic nepřipomíná (kromě regálů s technikou, které byly „dočasně“ odvezeny do jiné datové haly, a zůstal tam).
Stavový panel
Procházíme se chodbami a vidíme dotykový displej s něčím velmi podobným schématu místností s turbínami datového centra. Toto je stavový panel. Na chodbách je jich dostatek a umožňují technikům na místě rychle najít například požadovanou klimatizaci a jednoduše nahlásit aktuální stav.
Monitoring je postaven na Nagios (nyní již existuje několik nezávislých clusterů) a pokrývá všechna datová centra (jak OST, tak NORD). Dále jsou k dispozici aplikace pro Android a iOS (pro klienty i zaměstnance) a stavová stránka přímo na webu.
Na displeji si všimnu nezvykle vysokého PUE - v Rusku to není všude akceptováno, ale přesto je 1.90 poněkud vysoké. Odpověď na to je čistě ekonomická – v letech 2012–2013 se racky v datových centrech prodávaly jako teplé rožky, takže na sentimentalitu a energetickou efektivitu nebyl čas. Nainstalujeme to, co je na trhu, uděláme to co nejrychleji a o vaše PUE se vůbec nestaráme, protože proč? Dokonce i ve fázi návrhu je 80-90% stojanů zakoupeno, ale legislativa v Ruské federaci nechce nic vědět o energetické účinnosti. I když některá komise v Amsterdamu by se s takovými čísly spokojila.
Nic osobního. Prostě byznys.
Další funkcí je značení datových sálů. Na každém místě mají datové sály kromě „oficiálního“ alfanumerického kódování „lidské“ pseudonymy z námořní abecedy (Alpha-Bravo-Charlie-Delta...). Z nějakého důvodu všichni klienti milují místnost Whisky.
Pokud jde o péči o zákazníky, neexistují žádné malé detaily.
Pro některé klienty se takové „ploty“ staví. Nesměli jsme fotit v místnostech s turbínami, takže fotka je DataLine ©
Klienty DataLine jsou většinou velké a respektované společnosti, které se opravdu nelíbí, když se jejich zařízení fotí. Navíc, pokud je jméno (nebo logo) klienta napsáno přímo na pultu velkými písmeny. Nelíbí se jim to – to je vše. Natočili jsme proto již slavné zdi s různými nápisy a inženýra. Také není možné vyfotit celého inženýra a ne všude, ale zkusili jsme to. Vzhledem k tomu, že naši klienti jsou velcí a respektovaní, mají také specifické požadavky - speciální regály (nebo nějaký druh úložného systému uber od několika regálů prodejců), vlastní ploty, vlastní systémy kontroly přístupu, vlastní video dohled a tým rychlé reakce s kulomety. Obecně platí, že jedním z nevyřčených (a veřejných) pravidel DataLine je starat se o klienta a dělat mu dobře. Od vest a vybavených pracovišť s přístupem na internet a nabíječkami až po různé akce pro klienty. Ty druhé jsou také velmi užitečné v tom, že je do DataLine přivádějí stejní lidé, kteří se stěhují z firmy do firmy. Jednoduše proto, že je zde vše útulné, pohodlné a spolehlivé. Podnikání společnosti DataLine není jen o pronájmu rackového prostoru. Toto je také cloud, současně certifikovaný podle 152-FZ a PCI-DSS (uděláme o tom podcast, zůstaňte naladěni na oznámení) a poskytuje konektivitu (vlastní vlákna mezi stránkami a z každé z nich do M9, vlastní optický okruh přes město a tak dále až do uspořádání poslední míle do kanceláře klienta).
M - motivace
Když už jsme u nápisů, nápady přicházejí nejen od zaměstnanců, ale také od partnerů a klientů, po kterých můžete hlasovat pro ty nejúspěšnější na DataLine na FB. No, můžete tam navrhnout svůj nápad.
Setkání na Labi
Cross (foto s laskavým svolením DataLine)
Zastavujeme u Meet-Me-Room, kde sídlí operátoři. V MMR (v OST jsou tři páry, podle počtu hlavních optických vstupů, pro aktivní a pasivní) se spojují přípojky ze všech datových sálů. V běžecké botě je všechno nudné a úhledné. Ale tam, kde je aktivní kamera, si pamatujete nejlepší roky a záběry z nějakého BM18: nudle z drátů a nejrůznější zařízení (DLink, Extreme, Juniper, Mikrotik... a tak dále až po ASR9k). Provozovatelů je zde více než padesát, takže vše je barevné. Z MMR je do strojoven distribuována optika a měď. Minimálně dvě cesty pro každou (jsou možné varianty), takže se nemusíte starat o spolehlivost připojení. MMR se jmenuje "Elbe", což je docela jemné.
IBM Power nada?
Dalším nálezem je IBM P-série, která nebyla nikdy zapnuta a už několik let stojí v jedné z chodeb. Stroj (spolu s páskovou knihovnou a úložným systémem) objednal jeden z klientů, ale „nebyl užitečný“, a tak byl darován datovému centru. Od té doby stojí.
Asi je dobré být bohatí a dávat takové dárky, že? (Nebo to možná nedali jako dárek, ale zapomněli. Nebo prohráli v kartách. Ale to už existuje dlouho)
Tenhle fešák stojí v NORD-4
Jdeme do energetického centra - tři (nebo dokonce čtyři) dieselagregáty pro každé datové centrum (připomínám, že v OST jsou čtyři). Naftový motor dosáhne plného výkonu za 30-40 sekund a vyrobí 1900 kVA. Včetně redundance N+1, synchronizace atd. Nejdelší doba sezení u dieselových motorů v OST je 12 hodin. v NORDu - 2.5 dne (přeci jen sklad na 85 tun není moc peněz).
Samozřejmostí jsou dohody s různými palivovými společnostmi o dodávkách paliva. K přechodu na naftu dochází pravidelně, takže se vyrábí jak palivo, tak se ověřují smlouvy. Mimochodem, podle kolegů v NORDu se při testování dieselagregátů, které obvykle trvá déle než hodinu, v místě, kde vychází horký vzduch z dieselových motorů, daří trávě zelenat i v zimě.
Po krátkém občerstvení ve známé kavárně míříme na stránky NORD. Nejedná se také o jedno datové centrum, ale o čtyři nezávislé budovy na stejném území. Každý má vlastní elektrické vstupy, vlastní dieselové motory a vlastní chlazení. NORD-1 a NORD-2 byly auditovány Uptime Institute M&O. Nejnovější (a nejlepší datové centrum DataLine) je NORD-4, takže tam jdeme.
I přes zdánlivě obrovský počet datových center v Moskvě je stále nedostatek. Ne, jeden nebo dva stojany vám samozřejmě bez problémů doručíme. Dokonce vám dají dvacet. Více je otázka (a DataLine má více než jednoho nebo dva klienty s takovými potřebami). Konkrétně v NORD-4 je místo (zatím), protože jeden velký klient se přestěhoval do vlastního nově vybudovaného datového centra, ale na jiných místech to takové štěstí mít nemusí. Nyní je však v plném proudu design NORD-5, jehož uvedení na trh je slíbeno na začátku roku 2020.
Ale vraťme se k naší exkurzi. Jelikož jsme cestovali autem, pustili nás do brány, kde si nás zamířili kulometčíci, zkontrolovali naše číslo auta pomocí aplikace a požádali všechny cestující, aby vystoupili a dostali průkazky (samozřejmě s pasem). Protože B je bezpečnost.
NORD-4 je chloubou společnosti a kompilací dlouholetých zkušeností s výstavbou a provozem datových center, má certifikáty Uptime Institute Tier III pro design project a Facility (t.j. postavené datové centrum), stejně jako Operational Sustainability - kluci k věci přistoupili co nejblíže zodpovědně. Uvnitř jsou čtyři na sobě nezávislé hermetické zóny, každý se dvěma sály uvnitř jedné budovy. Každý má své vlastní energetické centrum (dieselový agregát, akumulátorovny), chladicí okruhy a hasicí systémy. Obecné - optické vstupy (jsou dva na budovu) a MMR.
Zdravý inženýr Modding
U vchodu do datového centra čeká nám již známá kavárna (no, proč ne?). Jdeme nahoru do monitorovacího centra. Nyní jsou dvě hlavní - v OST a NORD-4 (NORD-1,2,3 mají také své vlastní směny). Z každého centra se můžete podívat na obě lokality, takže i zde je zajištěna redundance n+1. Na videostěně jsou již známé dashboardy ve světle zeleném barevném provedení (parametrů je na ní samozřejmě mnohem více než na stavovém displeji). Trochu komunikujeme o monitoringu - žádný luxusní Prometheus a Grafan, pouze Nagios, pouze hardcore a podomácku vyrobená vizualizace. Za deset let (ovšem i více) používání už bylo napsáno mnoho vlastních kontrol a skriptů, takže přechod na něco jiného vypadá jako hazard. Asi jednou za měsíc se objeví další firma, která nabízí řešení všech problémů „rychle a bezbolestně“, ale nějak to zatím nefunguje. Videostěna, mimochodem, funguje také na samostatně sestaveném řešení, které se ukázalo být několikanásobně levnější než komerční analogy.
Místní řídicí centrum
Když navrhujete, stavíte a provozujete datová centra mnoho let, už se nebojíte něco dělat sami, než kupovat něco hotového. DataLine například neváhá říci, že prostě kvůli rozsahu šlapali na maximum chyb a každé nové datové centrum je výsledkem těžkých chyb a zkušeností, které trvají více než deset let . Každé nové datové centrum má samozřejmě své know-how a při procházce po NORDu se tu a tam přistihnete, že to lidé prostě udělali a udělali dobře. Ne kvůli předvádění, ne kvůli hodnocení a certifikátům - normální inženýrský proces, kdy při každé iteraci rostete nad sebe a stáváte se lepšími a lepšími. Vnější pozorovatel řekne, že je to nudné a konzervativní, ale klient si naopak takovou stabilitu udržuje vlastními penězi. A aby to šlo dobře, není vůbec nutné kupovat inženýrské systémy nebo software za hodně, hodně peněz (i když bez toho to někdy nejde). Často rozhodují zkušenosti, znalosti a inženýrská vynalézavost.
Například budova NORD-4 má 3,5 podlaží. První tři jsou plnohodnotné, se stropy 4.5 metru, kde jsou umístěny turbínové místnosti. A poslední je technický, vysoký pouhých 1.8 metru a je věnován čistě chladicímu systému. Vzhledem k tomu, že podlaha je technická, požadavky na ni jsou mnohem nižší, což zjednodušilo projekt a ušetřilo peníze.
Pohled na trojúhelníkové datové centrum
Max má speciální kung-fu schopnost nespálit se na fotkách
Prohlídku zakončujeme na střeše - odtud je výborný výhled na blízkou tepelnou elektrárnu a vilovou čtvrť i na další budovy NORD. Dva z nich jsou trojúhelníkové. Kolegové se tomu dokonce smáli, že „DataLine jsou pitomci, z nějakého důvodu staví trojúhelníkové datové centrum“, aby tam instalovali trojúhelníkové stojany a trojúhelníkové servery. Ale nic - postavili a úspěšně fungují a přitom efektivně využívají stávající území (které v Moskvě, nutno říci, není zadarmo). Dalším překvapivým (pro mě) faktem je, že většina komerčních klientů chce mít sídlo v Moskvě. Místo půl sta kilometrů vzdálené podél Minské magistrály (i když tam jsou všechny potřebné kapacity a komunikace) už nikoho nezajímá. Všichni se tedy schoulí do negumového.
Chladicí věže již nejsou datová centra, ale tepelné elektrárny
Tím naše další cesta skončila.
Poté proběhla další dlouhá a produktivní konverzace o společných plánech a budoucích podcastech (doufám, že nebudeme muset dlouho čekat), takže zůstaňte naladěni, brzy budou ještě zajímavější věci.
Pokud chcete vše vidět na vlastní oči, DataLine vás zve na prohlídku. Zcela zdarma, ale po domluvě. Ti, kteří nazývají kódové slovo „linkmeup“, získají plus v karmě.
Zůstaňte naladěni!
Zdroj: www.habr.com