Najdôležitejším dopravným problémom v Petrohrade sú mosty. V noci kvôli nim musíte utekať z krčmy bez toho, aby ste dopili pivo. No, alebo zaplatiť za taxík dvakrát toľko ako zvyčajne. Ráno si pozorne vypočítajte čas, aby ste sa hneď po uzavretí mosta dostali na stanicu ako mrštná mangusta. Možnosť „prenocovať niekde v centre, blízko stanice“ nepovažujeme za ideologicky škodlivú.
..."Sokol sťahovavý", odchádzajúci o 5:30, bol vynájdený ľuďmi, ktorí nenávidia sovy. Nie, samozrejme, je veľmi pohodlné byť v Moskve o deviatej ráno a Petrohrad je počas bielych nocí neskutočne krásny, ale o pol piatej, keď som nastupoval do taxíka, chcel som otočiť hlavu o 270 stupňa škovránkovi, ktorý vynašiel tento ranný vlak.
„Všetky dobré dátové centrá sú podobné,“ pomyslel som si, keď som zistil, že nás na návštevu pozvali chalani z DataLine.
Ako sa ukazuje, každé dátové centrum je dobré (alebo zlé) svojím vlastným spôsobom, najmä keď narazíte na veľký čas, pozbierate všetky hrable v oblasti a naučíte sa lekcie od svojich vlastných (a trochu aj od iných ľudí). ) bohaté skúsenosti. Preto sme sa (pozostávajúci z piatich popredných linkmeupov a ich priateľov a sympatizantov) rozhodli skontrolovať, aké dobré (alebo nie také dobré) sú dátové centrá OST a NORD.
Po troche práce na ceste (mohla tu byť reklama na jedného mobilného operátora, ale nie - pokrytie bolo stále zlé) sme vyložili na Leningradskej stanici. Teda aspoň nie pod Gazmanovom.
Našu prehliadku dátových centier „vápna“ sme začali s OST – „to isté“, ktoré „spálilo“ nie tak dávno. Prečo v úvodzovkách - po. Medzitým stojíme, fajčíme a čakáme na tých, ktorí meškajú. Fotenie kancelárie RT vedľa. O tejto štvrti koluje veľa úsmevných príbehov – od kladenia čerstvého asfaltu a natierania obrubníkov pred príchodom hodnostárov až po zľavy v okolitých kaviarňach, ktoré dostali obyvatelia Dataline kvôli podobnosti ich odznakov.
Náustok totalitnej propagandy
Dátové centrum prísneho (prístupového) režimu
Pass, pravidlá správania, mlynček na mäso pri vchode - takmer rovnaký, aký sme videli . Videli ste veľa kaviarní v dátových centrách? Teraz poznáme pár. Zamestnanci a klienti majú na odznakoch „kávové“ zálohy, ktoré sa pravidelne dopĺňajú. Kávu si teda v rozumných medziach môžete dopriať úplne zadarmo. Aj nás, ako milých hostí, čakalo jedlo.
O káve nemôžem povedať nič zlé - pre „reťazovú“ kaviareň je to celkom normálne, ale umiestnenie je mimovoľne podmanivé a interiér je v súlade s najlepšími modernými tradíciami.
Interiér miestnej kaviarne
Fotografie zobrazujú dátové centrá NORD
Prehliadka začína z kancelárie. Okrem nápisov na stenách a bielej a limetkovej farebnej schémy známej v celej Runete sú tu aj všelijaké vtipné veci. Sú to rekvizity, ktoré zostali z firemných divadelných predstavení (viete si predstaviť technického riaditeľa siete dátového centra, ktorý hrá v hre? A poznáme ho osobne.).
A je to pravda
Fotografie z vystúpení
Dátové centrum (alebo skôr štyri dátové centrá) sa nachádzajú v komplexe priemyselných budov postavených ešte v predminulom storočí (vtedy závod Citroen a v sovietskych časoch závod Gidroprivod), takže na jednej strane je tu drsný industriálny vzhľad, kovové trámy, atmosféra podkrovia a priemyselné artefakty z rôznych období, ktoré sa stále nachádzajú pri rôznych dielach. Na druhej strane je potrebné hermetické zóny dátového centra zapadnúť do existujúcich štruktúr a z času na čas robiť kompromisy s realitou. Nepovedal by som však, že tieto kompromisy ovplyvnili kvalitu - ale chlapci museli pri návrhu pravdepodobne tvrdo pracovať. Tiež, podľa povestí, Metro-2 prechádza niekde v okolí, ale to nie je isté.
Okrem divadla je tu aj múzeum. Exponáty, prirodzene - archeologické nálezy
Pár slov o . Áno, budova (alebo skôr strecha) skutočne horela. Vonkajšie jednotky chladiacich systémov a chladiacich potrubí boli poškodené. Niekde vyhoreli rozvody a klimatizácie zostali bez elektriny. Niekde vybuchli freónové rúry. Ale napriek tomu hermetické zóny vydržali tony vody, ktoré sa na ne naliali, a zariadenie prežilo. Obnovili ho pod kontrolou „ústredia“ reprezentovaného topmanažmentom celého sveta – vyhrabali všetky medené rúry v Moskve a okolí (priviezli ich aj v noci na BMW X5) a všetci triezvi inštalatéri. Kritické vybavenie z poškodených datahal (poškodené nedostatkom chladu, nie požiarom!) sa rýchlo presunulo do iných hál, takže o piatej ráno boli v prevádzke nielen všetky ich služby, ale aj klienti.
Osobne sme skontrolovali halu, ktorá „trpela najviac“ - okrem smradu spálenia a vymenených dlaždíc zdvojenej podlahy požiar vôbec nič nepripomína (okrem regálov zariadení, ktoré boli „dočasne“ odvezené do inej dátovej sály, a zostal tam).
Stavový panel
Kráčajúc po chodbách vidíme dotykový displej s niečím veľmi podobným schéme miestností s turbínami dátového centra. Toto je stavový panel. Na chodbách je ich dostatok a inžinierom na mieste umožňujú rýchlo nájsť napríklad požadovanú klimatizáciu a jednoducho nahlásiť aktuálny stav.
Monitoring je postavený na Nagiose (teraz už existuje niekoľko nezávislých klastrov) a pokrýva všetky dátové centrá (OST aj NORD). Ďalej sú tu aplikácie pre Android a iOS (pre klientov a zamestnancov) a stavová stránka priamo na webe.
Na displeji si všimnem nezvyčajne vysoký PUE - nie všade v Rusku je akceptovaný, ale stále je 1.90 trochu vysoký. Odpoveď na to je čisto ekonomická – v rokoch 2012 – 2013 sa racky v dátových centrách predávali ako teplé rožky, takže na sentimentalitu a energetickú efektívnosť nebol čas. Nainštalujeme to, čo je na trhu, čo najrýchlejšie a vôbec sa nestaráme o váš PUE, pretože prečo? Aj vo fáze návrhu je zakúpených 80-90% stojanov, ale legislatíva v Ruskej federácii nechce nič vedieť o energetickej účinnosti. Aj keď nejaká komisia v Amsterdame by sa s takýmito číslami uspokojila.
Nič osobné. Len biznis.
Ďalšou funkciou je značenie dátových sál. Na každom mieste majú dátové sály okrem „oficiálneho“ alfanumerického kódovania „ľudské“ pseudonymy z námornej abecedy (Alpha-Bravo-Charlie-Delta...). Z nejakého dôvodu všetci klienti milujú miestnosť Whisky.
Pokiaľ ide o starostlivosť o zákazníka, neexistujú žiadne malé detaily.
Takéto „ploty“ sa stavajú pre niektorých klientov. Nesmeli sme fotiť v miestnostiach s turbínami, takže fotka je DataLine ©
Klientmi DataLine sú väčšinou veľké a rešpektované spoločnosti, veľmi neradi fotia svoje zariadenia. Navyše, ak je meno (alebo logo) klienta napísané priamo na pulte veľkými písmenami. Nepáči sa im to - to je všetko. Natočili sme preto už známe steny s rôznymi nápismi a inžiniera. Tiež nie je možné odfotiť celého inžiniera a nie všade, ale skúsili sme to. Keďže naši klienti sú veľkí a rešpektovaní, majú aj špecifické požiadavky - špeciálne regály (alebo nejaký druh uber skladovacieho systému od viacerých dodávateľských regálov), vlastné ploty, vlastné systémy kontroly prístupu, vlastný video dohľad a tím rýchlej reakcie s guľomety. Vo všeobecnosti platí, že jedným z nevyslovených (a verejných) pravidiel DataLine je starať sa o klienta a robiť mu dobre. Od viest a vybavených pracovísk s prístupom na internet a nabíjačkami až po rôzne akcie pre klientov. Posledné menované sú tiež veľmi užitočné v tom, že tí istí ľudia, ktorí sa pohybujú od spoločnosti k spoločnosti, ich prinášajú do DataLine. Jednoducho preto, že všetko je tu útulné, pohodlné a spoľahlivé. Podnikanie DataLine nie je len o prenájme rackového priestoru. Toto je tiež cloud, ktorý je súčasne certifikovaný podľa 152-FZ a PCI-DSS (urobíme o ňom podcast, zostaňte naladení na oznámenia) a poskytuje konektivitu (vlastné vlákna medzi stránkami a z každej z nich na M9, vlastný optický okruh naprieč mestom a tak ďalej až do zorganizovania poslednej míle do kancelárie klienta).
M - motivácia
Keď už hovoríme o nápisoch, nápady prichádzajú nielen od zamestnancov, ale aj od partnerov a klientov, za tie najúspešnejšie môžete hlasovať na DataLine na FB. No, môžete tam navrhnúť svoj nápad.
Stretnutie na Labe
Cross (foto s láskavým dovolením DataLine)
Zastavujeme sa v Meet-Me-Room, kde sídlia operátori. V MMR (v OST sú tri páry, podľa počtu hlavných optických vstupov, pre aktívne a pasívne) sa spoja zo všetkých dátových sál. V bežkárskej obuvi je všetko nudné a úhľadné. Ale tam, kde je aktívna kamera, si pamätáte najlepšie roky a zábery z nejakého BM18: rezance z drôtov a rôzneho vybavenia (DLink, Extreme, Juniper, Mikrotik... a tak ďalej až po ASR9k). Je tu viac ako päťdesiat operátorov, takže všetko je pestré. Z MMR sa do strojovní distribuuje optika a meď. Aspoň dve trasy pre každú (možné sú varianty), takže sa nemusíte obávať spoľahlivosti pripojenia. MMR sa nazýva "Elbe", čo je celkom jemné.
IBM Power nada?
Ďalším nálezom je IBM P-séria, ktorá nebola nikdy zapnutá a už niekoľko rokov stojí v jednej z chodieb. Stroj (spolu s páskovou knižnicou a úložným systémom) si objednal jeden z klientov, ale „nebol užitočný“, a tak ho daroval dátovému centru. Odvtedy stojí.
Asi je dobré byť bohatými chlapmi a dávať také darčeky, však? (Alebo to možno nedali ako darček, ale zabudli. Alebo prehrali v kartách. Ale to je tu už dlho)
Tento fešák stojí v NORD-4
Ideme do energetického centra – tri (alebo aj štyri) dieselagregáty pre každé dátové centrum (pripomínam, že v OST sú štyri). Dieselový motor dosiahne plný výkon za 30-40 sekúnd a vyprodukuje 1900 kVA. Vrátane redundancie N+1, synchronizácie atď. Najdlhšia doba sedenia na dieselových motoroch v OST je 12 hodín. v NORD - 2.5 dňa (predsa len, sklad na 85 ton nie je veľa peňazí).
Samozrejme, existujú dohody s rôznymi palivovými spoločnosťami o dodávkach paliva. K prechodu na naftu dochádza pravidelne, takže sa vyrába palivo a overujú sa zmluvy. Mimochodom, podľa kolegov v NORDe sa pri testovaní dieselagregátov, ktoré zvyčajne trvá viac ako hodinu, v mieste, kde sa uvoľňuje horúci vzduch z dieselových motorov, aj v zime darí tráve zelenať.
Po krátkom občerstvení v známej kaviarni smerujeme na lokalitu NORD. Nejde tiež o jedno dátové centrum, ale o štyri nezávislé budovy na rovnakom území. Každý má vlastné elektrické vstupy, vlastné dieselové motory a vlastné chladenie. NORD-1 a NORD-2 boli auditované Uptime Institute M&O. Najnovšie (a najlepšie dátové centrum DataLine) je NORD-4, takže tam ideme.
Napriek zdanlivo obrovskému počtu dátových centier v Moskve je ich stále nedostatok. Nie, samozrejme, jeden alebo dva stojany vám bez problémov doručia. Dokonca vám dajú aj dvadsať. Viac je otázka (a DataLine má viac ako jedného alebo dvoch klientov s takýmito potrebami). Konkrétne v NORD-4 je miesto (zatiaľ), pretože jeden veľký klient sa presťahoval do vlastného novovybudovaného dátového centra, no na iných miestach to už také šťastie mať nemusí. Teraz je však v plnom prúde dizajn NORD-5, ktorého uvedenie na trh je sľúbené začiatkom roka 2020.
Ale vráťme sa k našej exkurzii. Keďže sme cestovali autom, pustili nás do brány, kde si nás namierili guľometníci, skontrolovali číslo auta pomocou aplikácie a požiadali všetkých cestujúcich, aby vystúpili a dostali preukazy (samozrejme s pasmi). Pretože B je bezpečnosť.
NORD-4 je pýchou spoločnosti a súhrnom dlhoročných skúseností s výstavbou a prevádzkou dátových centier, má certifikáty Uptime Institute Tier III pre dizajnový projekt a Facility (t.j. vybudované dátové centrum), ako aj udržateľnosť prevádzky - chalani pristúpili k veci čo najzodpovednejšie. Vnútri sú štyri na sebe nezávislé hermetické zóny, každá s dvomi sálami v jednej budove. Každý má svoje energetické centrum (dieselový agregát, akumulátorovne), chladiace okruhy a hasiace systémy. Všeobecné - optické vstupy (na budovu sú dva) a MMR.
Zdravý inžinier Modding
Pri vchode do dátového centra čaká nám už známa kaviareň (no, prečo nie?). Ideme do monitorovacieho centra. Teraz sú dve hlavné - v OST a NORD-4 (NORD-1,2,3 majú tiež svoje vlastné pracovné zmeny). Z každého centra sa môžete pozrieť na obe lokality, takže aj tu je zabezpečená redundancia n+1. Na video stene sú už známe dashboardy v svetlozelenej farebnej schéme (parametrov je na nej samozrejme oveľa viac ako na stavovom displeji). Trochu komunikujeme o monitorovaní – žiadny vychytený Prometheus a Grafan, iba Nagios, iba hardcore a domáca vizualizácia. Za desať rokov (avšak aj viac) používania už bolo napísaných veľa vlastných kontrol a skriptov, takže prechod na niečo iné vyzerá ako hazard. Asi raz za mesiac sa objaví ďalšia firma, ktorá ponúka riešenie všetkých problémov „rýchlo a bezbolestne“, no zatiaľ to nejako nefunguje. Video stena, mimochodom, funguje aj na samostatne zostavenom riešení, ktoré sa ukázalo byť niekoľkonásobne lacnejšie ako komerčné analógy.
Miestne riadiace centrum
Keď už dlhé roky navrhujete, staviate a prevádzkujete dátové centrá, už sa nebojíte robiť niečo sami, ako kupovať niečo hotové. DataLine napríklad neváha povedať, že jednoducho kvôli rozsahu šliapali na maximálny počet chýb a každé nové dátové centrum je výsledkom ťažkých chýb a skúseností, ktoré trvajú už viac ako desať rokov. . Samozrejme, každé nové dátové centrum má svoje know-how a pri prechádzke po NORD-e sa občas prichytíte, že ľudia to jednoducho urobili a urobili to dobre. Nie kvôli predvádzaniu sa, nie kvôli hodnoteniam a certifikátom – normálny inžiniersky proces, keď pri každej iterácii rastiete nad seba a stávate sa lepšími a lepšími. Vonkajší pozorovateľ povie, že je to nudné a konzervatívne, ale klient si naopak takú stabilitu udržiava vlastnými peniazmi. A aby to bolo dobre, nie je vôbec potrebné kupovať inžinierske systémy alebo softvér za veľa, veľa peňazí (aj keď niekedy to bez toho nejde). Často rozhodujú skúsenosti, znalosti a inžinierska vynaliezavosť.
Napríklad budova NORD-4 má 3,5 poschodia. Prvé tri sú plnohodnotné, so stropmi 4.5 metra, kde sú umiestnené turbínové miestnosti. A posledný je technický, vysoký len 1.8 metra a je venovaný čisto chladiacemu systému. Keďže podlaha je technická, požiadavky na ňu sú oveľa nižšie, čo zjednodušilo projekt a ušetrilo peniaze.
Pohľad na trojuholníkové dátové centrum
Max má špeciálnu kung-fu schopnosť, aby sa na fotkách nespálil
Prehliadku končíme na streche - odtiaľto máme výborný výhľad na blízku tepelnú elektráreň a obytnú štvrť, ako aj ďalšie budovy NORD. Dve z nich sú trojuholníkové. Kolegovia sa na tom dokonca zasmiali, že „DataLine sú blázni, z nejakého dôvodu stavajú trojuholníkové dátové centrum“, aby tam nainštalovali trojuholníkové stojany a trojuholníkové servery. Ale nič - postavili a úspešne fungujú a zároveň efektívne využívajú existujúce územie (ktoré v Moskve, treba povedať, nie je zadarmo). Ďalším prekvapivým (pre mňa) faktom je, že väčšina komerčných klientov chce sídliť v Moskve. Lokalita vzdialená pol sto kilometrov pozdĺž Minskej magistrály (aj keď sú tam všetky potrebné kapacity a komunikácie) už nikoho nezaujíma. Každý sa teda schúli do negumového.
Chladiace veže už nie sú dátové centrá, ale tepelné elektrárne
Týmto sa naša ďalšia cesta skončila.
Potom prebehol ďalší dlhý a produktívny rozhovor o spoločných plánoch a budúcich podcastoch (dúfam, že nebudeme musieť dlho čakať), takže nás sledujte, čoskoro budú ešte zaujímavejšie veci.
No ak chcete všetko vidieť na vlastné oči, DataLine vás pozýva na prehliadku. Úplne zadarmo, ale po dohode. Tí, ktorí volajú kódové slovo „linkmeup“, získajú plus v karme.
Zostaňte naladení!
Zdroj: hab.com