Największym problemem komunikacyjnym w Petersburgu są mosty. W nocy z powodu nich musisz uciekać z knajpy, nie kończąc piwa. Albo płacić za taksówkę dwa razy więcej niż zwykle. Rano - starannie obliczać czas, aby, gdy most zostanie zwinięty, jak sprytny mangusta zdążyć na dworzec. Opcja „nocleg w centrum, obok dworca” nie jest przez nas rozważana, jako ideologicznie szkodliwa.
…»Sapsan», odjeżdżający o 5:30, wymyślili ludzie, którzy nienawidzą sowy. Oczywiście, bardzo wygodnie jest znaleźć się w Moskwie o dziewiątej rano, a Petersburg jest niesamowicie piękny podczas białych nocy, ale o wpół do piątej, kiedy wsiadłem do taksówki, chciałem odwrócić głowę o 270 stopni w stronę tego skowronka, który wymyślił ten poranny pociąg.
„Wszystkie dobre centra danych są do siebie podobne” — myślałem, kiedy dowiedziałem się, że zaprosili nas na wizytę chłopacy z DataLine.
Okazało się, że każde centrum danych jest dobre (lub złe) na swój sposób, zwłaszcza gdy nabierzesz doświadczenia, zbierzesz wszystkie pułapki w okolicy i wyciągniesz wnioski z własnych (a częściowo także cudzych) bogatych doświadczeń. Postanowiliśmy sprawdzić, jak dobre (lub nie) są centra danych OST i NORD.
Udaje nam się trochę popracować w drodze (tutaj mogłaby być reklama jednego operatora komórkowego, ale nie - zasięg był tak słaby, jak był), wysiadamy na Dworcu Leningradzkim. Cóż, przynajmniej nie pod Gazmanowa.
Swoją wycieczkę po „zielonych” centrach danych zaczęliśmy od OST — „tego samego”, które niedawno „paliło się”. Dlaczego w cudzysłowie — później. A na razie — stoimy, palimy, czekamy na spóźnionych. Fotografujemy biuro RT obok. Z tym sąsiedztwem jest dużo zabawnych historii — zaczynając od układania świeżego asfaltu i malowania krawężników przed przybyciem Wysokich Osób, a kończąc na zniżkach w okolicznych kafejkach, które dostawali pracownicy DataLine z powodu podobieństwa identyfikatorów.
Megafon totalitarnej propagandy
Centrum danych o surowym (kontrolowanym) reżimie
Przepustka, zasady zachowania, maszynka do mielenia na wejściu - niemal taką samą widzieliśmy . A czy dużo widzieliście kawiarni w centrach danych? My, teraz, znamy już kilka. Pracownicy i klienci mają na identyfikatorach „kawowe” depozyty, które są regularnie doładowywane, więc w rozsądnych granicach można się napić kawy zupełnie za darmo. Nas, jako drogich gości, też poczęstowano.
O kawie nie mogę powiedzieć nic złego — całkiem przeciętnie jak na „sieciową” kawiarnię, ale lokalizacja niewątpliwie przyciąga, a wystrój jest w najlepszych nowoczesnych tradycjach.
Wnętrze lokalnej kawiarni
Na zdjęciach centra danych NORD
Wycieczka zaczyna się w biurze. Oprócz znanych w całym RuNet napisów na ścianach i białej-salutowej gamy są też różne zabawne rzeczy. To rekwizyty pozostałe po występach korporacyjnego teatru (możesz sobie wyobrazić dyrektora technicznego sieci centrów danych grającego w sztuce? A my go osobiście znamy.).
I prawda
Zdjęcia z występów
Centra danych (a właściwie cztery centra danych) mieszczą się w kompleksie budynków przemysłowych, zbudowanych jeszcze w ubiegłym wieku (wtedy — fabryka „Citroën”, a w czasach ZSRR — fabryka „Hydrop napęd”), więc z jednej strony — jest tu surowy industrial, metalowe belki, atmosfera loftu i przemysłowe artefakty różnych epok, które wciąż znajdują się podczas przeprowadzania różnych prac. Z drugiej strony — hermetyczne strefy centrum danych trzeba wkomponować w istniejące konstrukcje, a czasami iść na kompromisy z rzeczywistością. Niemniej jednak, nie powiedziałbym, że te kompromisy miały wpływ na jakość — ale chłopakom z pewnością przyszło się napocić przy projektowaniu. Jeszcze, według plotek, gdzieś w pobliżu przechodzi Metro-2, ale to nie jest pewne.
Oprócz teatru jest tu też własne muzeum. Ekspozycje są naturalnie — znaleziskami archeologicznymi.
Kilka słów o Tak, budynek (a dokładniej, dach) rzeczywiście płonął. Uszkodzone zostały zewnętrzne bloki systemów chłodzenia i rury chłodnicze. Gdzieś przepaliły się kable, a klimatyzatory zostały bez zasilania. Gdzieś eksplodowały rury z czynnikiem chłodniczym. Jednak mimo tego, strefy hermetyczne wytrzymały tony wylanej na nie wody, a sprzęt przetrwał. Pracownicy przywracali wszystko pod nadzorem „sztabu” w osobie najwyższego kierownictwa - wybrano wszystkie miedziane rury w Moskwie i okolicach (przywożono nawet w nocy na BMW X5) oraz wszystkich trzeźwych montażystów. Krytyczne urządzenia z uszkodzonych data holi (uszkodzonych przez brak chłodzenia, a nie przez ogień!) szybko przeniesiono do innych sal, więc już o piątej rano uruchomiono nie tylko wszystkie swoje usługi, ale i klientów.
Osobiście sprawdziliśmy tę salę, która najbardziej „ucierpiała” - poza zapachem spalenizny i wymienionymi płytkami podłogowymi, nie przypomina o pożarze kompletnie nic (poza stojakami z sprzętem, „tymczasowo” przeniesionymi do innego data holu, gdzie i zostały).
Panel statusu
Spacerując po korytarzach, widzimy ekran dotykowy z czymś, co bardzo przypomina schemat maszynowni CORD. To panel statusu. Ich w korytarzach jest sporo, co pozwala inżynierom na miejscu szybko znaleźć na przykład potrzebny klimatyzator oraz po prostu informuje o aktualnym statusie.
Monitoring oparty jest na Nagios (obecnie jest już kilka niezależnych klastrów) i obejmuje wszystkie centra danych (zarówno OST, jak i NORD). Dodatkowo dostępne są aplikacje na Androida i iOS (dla klientów i pracowników), a strona statusowa bezpośrednio na stronie.
Na wyświetlaczu zauważam niezwykle wysoki PUE – nie wszędzie w Rosji się go liczy, ale 1.90 to nieco za dużo. Odpowiedź na to jest wyłącznie ekonomiczna – w latach 2012-2013 stoiska w centrach danych rozchodziły się jak ciepłe bułeczki, więc nie było czasu na sentymenty i efektywność energetyczną. Stawiamy to, co jest dostępne na rynku, robimy to maksymalnie szybko i nie martwimy się w ogóle o te wasze PUE, bo po co? Już na etapie projektowania wykupywane jest 80-90% stawek, a prawo w Rosji ani myśli znać czegokolwiek na temat efektywności energetycznej. Choć jakąś komisję w Amsterdamie Kondraty by złapał od takich cyfr.
Nic osobistego. Po prostu interesy.
Kolejną cechą są oznaczenia data holi. Na każdym z nich data hol oprócz „oficjalnej” alfanumerycznej kodowania ma „ludzkie” pseudonimy z alfabetu fonetycznego (Alfa-Bravo-Charlie-Delta…). Z jakiegoś powodu wszyscy klienci uwielbiają salę Whiskey.
W sprawie troski o klientów nie ma rzeczy małych.
Takie „ogrodzenia” stawia się dla niektórych klientów. W naszym pomieszczeniu maszynowym nie pozwolono na robienie zdjęć, dlatego zdjęcie DataLine ©.
Klienci DataLine to same duże i szanowane firmy, bardzo nie lubią, gdy fotografuje się ich sprzęt. Szczególnie, gdy nazwa (lub logo) klienta jest napisane dużymi literami na stelażu. Nie lubią — i koniec. Dlatego robiliśmy już słynne zdjęcia ścian z różnymi napisami oraz inżynierkę. Fotografować inżynierkę też można nie wszędzie, ale staraliśmy się. Ponieważ wśród klientów są duże i szanowane firmy, ich wymagania bywają specyficzne — specjalne stelaże (lub w ogóle jakaś super infrastruktura z kilku stelaży od różnych dostawców), własne ogrodzenia, własne systemy dostępu, własny monitoring i grupa szybkiego reagowania z bronią. W ogóle jednym z niepisanych (i pisanych też) zasad DataLine jest dbanie o klienta i zapewnianie mu komfortu. Zaczynając od kamizelek i wyposażonych miejsc pracy z dostępem do internetu i ładowarkami, a kończąc na różnych wydarzeniach dla klientów. Ostatnie są bardzo przydatne także z tej strony, że jedni i ci sami ludzie, przechodząc z firmy do firmy, przyprowadzają ich do DataLine. Po prostu dlatego, że tutaj jest wszystko przytulne, wygodne i niezawodne. Biznes DataLine to nie tylko wynajem miejsc stelażowych. To także chmura, równocześnie certyfikowana zarówno na podstawie 152-FZ, jak i PCI-DSS (o tym planujemy zrobić podcast, śledźcie zapowiedzi), oraz zapewnienie łączności (własne włókna między obiektami i od każdego z nich do M9, własne optyczne pierścienie w mieście, aż do organizacji ostatniej mili do biura klienta).
M — motywacja
A propos napisów — pomysły przychodzą nie tylko od pracowników, ale także od partnerów i klientów, po czym można głosować na najciekawszy na DataLine na FB. No i swoją propozycję można przedstawić także tam.
Spotkanie na Łabie
Cross (zdjęcie dostarczone przez firmę DataLine)
Zatrzymujemy się w Meet-Me-Room, gdzie znajdują się operatorzy. W MMR (jest ich w OST trzy pary, według liczby magistrali włókien optycznych, dla aktywnych i pasywnych) zbierają się połączenia ze wszystkich data holi. W szafie krosowej wszystko jest nudne i schludne. Natomiast tam, gdzie stoi aktywne wyposażenie operatorów, przypomina się najlepsze lata i kadry z jakiegoś BM18: spaghetti z kabli i różnorodny sprzęt (DLink, Extreme, Juniper, Mikrotik… i tak dalej do ASR9k). Operatorów jest tutaj ponad pięćdziesięciu, więc wszystko jest kolorowe. Z MMR światłowody i miedź rozchodzą się po pomieszczeniach maszynowych. Minimum dwa połączenia na każdy (są możliwe różne warianty), więc o niezawodność połączenia nie ma co się martwić. MMR nazywa się „Elba”, co jest dość subtelne.
IBM Power n-na-da?
Kolejnym znaleziskiem jest IBM P-series, który ani razu nie był włączany i stoi już od kilku lat w jednym z korytarzy. Maszynę (razem z biblioteką taśmową i systemem pamięci masowej) zamówił jeden z klientów, ale "nie była potrzebna", więc podarowano ją centrum danych. Od tego czasu tam stoi.
Dobrze jest być zamożnymi chłopakami i robić takie prezenty, prawda? (A może nie podarowano, a zapomniano. Albo przegrali w karty. Ale stoi już długo)
Oto taki piękny egzemplarz stoi w NORD-4
Idziemy do centrum energetycznego — trzy (a może nawet cztery) agregaty prądotwórcze na każde centrum danych (przypominam, że w OST są cztery). Diesel osiąga pełną moc w ciągu 30-40 sekund i wydaje 1900 kVA. Rezerwa N+1, synchronizacja i inne — wszystko w komplecie. Najdłuższy czas pracy na dieselach w OST wynosi 12 godzin. W NORD — 2,5 dnia (w końcu przechowalnia na 85 ton to nie późne bajki).
Oczywiście, istnieją umowy z różnymi firmami paliwowymi na dostawę paliwa. Przełączenie na diesel odbywa się regularnie, więc paliwo jest zużywane, a umowy sprawdzane. Zresztą, według słów kolegów, w NORD podczas testowania agregatów prądotwórczych, które zwykle zajmują nie mniej niż godzinę, w miejscu, z którego wydobywa się ciepłe powietrze z dieselów, nawet zimą zdąży zazielenić się trawa.
Po krótkiej przerwie na posiłek w już znanej kawiarni jedziemy na teren NORD. To także nie jeden data center, a cztery niezależne budynki na jednej działce. Każdy ma swoje wejścia do elektryczności, swoje generatory i swoje chłodzenie. NORD-1 i NORD-2 przeszły audyt Uptime Institute M&O. Najnowszy (i najlepszy data center DataLine) — NORD-4, więc idziemy właśnie tam.
Mimo ogromnej, wydawałoby się, liczby centrów danych w Moskwie, nadal obserwuje się niedobór. Oczywiście, jedną lub dwie szafy dostaniecie bez problemu. Nawet dwadzieścia dadzą. Więcej – już jest pytanie (a u klientów DataLine z takimi potrzebami – nie jeden i nie dwa). Konkretnie w NORD-4 miejsce (jak na razie) jest, ponieważ jeden duży klient przeniósł się do własnego świeżo zbudowanego centrum danych, ale w innych miejscach tak może się już nie udać. Niemniej jednak, obecnie intensywnie trwa projektowanie NORD-5, które obiecują uruchomić na początku 2020 roku.
Ale wróćmy do naszej wycieczki. Ponieważ jechaliśmy samochodem, wpuścili nas do bramy, gdzie snajperzy wzięli nas na cel, skontrolowali numer naszego pojazdu z wnioskiem, a wszystkich pasażerów poproszono o wyjście w celu uzyskania przepustek (oczywiście, na podstawie paszportu). Bowiem B – bezpieczeństwo.
NORD-4 to duma firmy i kompilacja wieloletniego doświadczenia w budowie i eksploatacji centrów danych, ma certyfikaty Uptime Institute Tier III na projekt oraz obiekt (tzn. zbudowane centrum danych), a także Operational Sustainability – chłopaki podeszli do sprawy maksymalnie odpowiedzialnie. Wewnątrz – cztery niezależne od siebie strefy hermetyczne po dwa pomieszczenia w jednym budynku. Każda z nich ma swoje centrum energetyczne (DG, pomieszczenia akumulatorowe), systemy chłodzenia i gaśnicze. Wspólne – przyłącza optyczne (jest ich dwa na budynek) oraz MMR.
Modding zdrowego inżyniera
Na wejściu do centrum danych czeka nam znana już kawiarnia (czemu nie?). Wchodzimy do centrum monitorowania. Główne są teraz dwa — w OST i NORD-4 (w NORD-1,2,3 również są swoje dyżury). Z każdego centrum można obserwować oba obiekty, więc nawet tutaj zapewniona jest redundancja n+1. Na ścianie wideo — już znane nam dashboardy w zielonej gamie (parametrów na niej, jak wiadomo, jest zdecydowanie więcej niż na ekranie statusowym). Trochę rozmawiamy o monitorowaniu — żadnych modnych Prometeuszy i Grafan, tylko Nagios, tylko hardcore i własna wizualizacja. Przez dziesięć lat (a nawet dłużej) użytkowania napisano już wiele niestandardowych sprawdzeń i skryptów, więc przesiadka na coś innego wydaje się dość dużym ryzykiem. Około raz w miesiącu pojawia się kolejna firma, która oferuje "szybkie i bezbolesne" rozwiązanie wszystkich problemów, ale jak na razie nic z tego nie wychodzi. Ściana wideo, zresztą, również działa na samodzielnie zbudowanym rozwiązaniu, które okazało się wielokrotnie tańsze niż komercyjne odpowiedniki.
Tutaj CUG
Kiedy przez wiele lat projektujesz, budujesz i eksploatujesz centra danych, nie boisz się tak mocno robić coś samodzielnie, a nie kupować gotowe rozwiązania. DataLine, na przykład, nie waha się mówić, że dzięki skali przeszli przez maksymalną liczbę pułapek, a każde nowe centrum danych to syn trudnych błędów i doświadczenia, które liczy już ponad dziesięć lat. Oczywiście, w każdym nowym centrum danych są swoje nowinki, a spacerując po NORD, za każdym razem łapiesz się na myśli, że ludzie po prostu wzięli i zrobili to dobrze. Nie dla fanaberii, nie dla rankingów i certyfikatów — to normalny proces inżynieryjny, kiedy na każdej iteracji stajesz się lepszy. Zewnętrzny obserwator powie, że to nudne i konserwatywne, a klient wręcz przeciwnie, wspiera taką stabilność swoimi pieniędzmi. A żeby zrobić dobrze, wcale nie trzeba kupować systemów inżynieryjnych ani oprogramowania za duże pieniądze (choć czasami to też jest konieczne). Częściej decydują doświadczenie, wiedza i inżynieryjna pomysłowość.
Na przykład budynek NORD-4 ma 3,5 piętra. Pierwsze trzy to pełnowartościowe piętra z wysokością sufitów wynoszącą 4,5 metra, gdzie znajdują się maszyny. Ostatnie piętro jest techniczne, o wysokości zaledwie 1,8 metra, i przeznaczone jest wyłącznie na system chłodzenia. Ponieważ piętro jest techniczne, wymagania wobec niego są znacznie niższe, co pozwoliło uprościć projekt i zaoszczędzić pieniądze.
Widok na trójkątny CMR
Max ma specjalne kung-fu, dzięki któremu nie widać go na zdjęciach
Kończymy wycieczkę na dachu — stąd rozpościera się wspaniały widok na stojącą obok elektrociepłownię i osiedle mieszkalne, a także na inne budynki NORD. Dwa z nich mają kształt trójkątny. Z tego powodu koledzy nawet żartowali, że "DataLine — debile, budują jakiś trójkątny centrum danych" aby umieszczać tam trójkątne szafy i trójkątne serwery. Ale nic — zbudowali i skutecznie eksploatują, a przy okazji efektywnie wykorzystują istniejącą przestrzeń (która w Moskwie, warto powiedzieć, nie jest darmowa). Jeszcze jeden zaskakujący (dla mnie) fakt — większość klientów komercyjnych chce mieścić się właśnie w Moskwie. Obiekt za pięćdziesiąt kilometrów po szosie mińskiej (nawet jeśli ma wszystkie niezbędne moce i komunikację) już mało kogo interesuje. Tak więc wszyscy męczą się w nierozciągniętej przestrzeni.
Chłodnie to już nie CMR, a elektrownia
Na tym nasze kolejne podróżowanie dobiegło końca.
Po tym była jeszcze długa i owocna rozmowa o wspólnych planach i przyszłych podcastach (mam nadzieję, że nie trzeba będzie długo czekać), więc śledźcie wiadomości, wkrótce będzie jeszcze więcej interesujących rzeczy.
Ci, którzy chcą zobaczyć wszystko na własne oczy, DataLine zaprasza na wycieczkę. Całkowicie za darmo, ale po wcześniejszej rejestracji. Dla tych, którzy podadzą słowo kluczowe "linkmeup" — plus w karmie.
Bądźcie na bieżąco!
Źródło: habr.com
