Najważniejszym problemem komunikacyjnym w Petersburgu są mosty. Przez nich w nocy trzeba uciekać z tawerny, nie dopijając piwa. No cóż, albo zapłać dwa razy więcej za taksówkę jak zwykle. Rano dokładnie oblicz czas, by po zamknięciu mostu dotrzeć na stację jak zwinna mangusta. Nie uważamy opcji „przenocowania gdzieś w centrum, niedaleko dworca” za ideologicznie szkodliwą.
..."Sokół wędrowny", wyjeżdżający o 5:30, został wymyślony przez ludzi, którzy nienawidzą sów. Nie, oczywiście, bardzo wygodnie jest być w Moskwie o dziewiątej rano, a Petersburg jest niesamowicie piękny podczas białych nocy, ale o wpół do czwartej, kiedy wsiadłem do taksówki, chciałem odwrócić głowę o 270 stopnie dla skowronka, który wynalazł ten poranny pociąg.
„Wszystkie dobre centra danych są do siebie podobne” – pomyślałem, gdy dowiedziałem się, że goście z DataLine zaprosili nas do odwiedzenia.
Jak się okazuje, każde centrum danych jest dobre (lub złe) na swój sposób, zwłaszcza gdy osiągniesz szczyt, zbierzesz wszystkie grabie w okolicy i wyciągniesz wnioski z własnych (i trochę cudzych) ) bogate doświadczenie. Dlatego my (składający się z pięciu wiodących Linkmeup oraz ich przyjaciół i sympatyków) postanowiliśmy sprawdzić, jak dobre (lub niezbyt dobre) są centra danych OST i NORD.
Po tym, jak udało nam się trochę popracować w drodze (mogłaby być tutaj reklama jednego operatora komórkowego, ale nie - zasięg nadal był zły), rozładowaliśmy się na stacji Leningradzkiej. Cóż, przynajmniej nie za Gazmanowa.
Naszą wycieczkę po centrach danych „lime” rozpoczęliśmy od OST – „tego samego”, który „spalił się” nie tak dawno temu. Dlaczego w cudzysłowie - po. Tymczasem stoimy, palimy i czekamy na spóźnialskich. Robię zdjęcia pobliskiego biura RT. Z tą dzielnicą wiąże się wiele zabawnych historii – od układania świeżego asfaltu i malowania krawężników przed przybyciem dygnitarzy, po zniżki w pobliskich kawiarniach, które otrzymywali mieszkańcy Dataline ze względu na podobieństwo ich identyfikatorów.
Rzecznik propagandy totalitarnej
Centrum danych w trybie ścisłym (dostępowym).
Przepustka, zasady postępowania, maszynka do mięsa przy wejściu - prawie taka sama, jaką widzieliśmy . Czy widziałeś wiele kawiarni w centrach danych? Teraz znamy parę. Pracownicy i klienci posiadają na identyfikatorach depozyty „kawowe”, które są na bieżąco uzupełniane. Zatem w rozsądnych granicach możesz zafundować sobie kawę zupełnie za darmo. My, drodzy goście, również zostaliśmy ugoszczeni posiłkiem.
O kawie złego słowa nie mogę powiedzieć – w „sieciowej” kawiarni jest to całkiem normalne, jednak lokalizacja mimowolnie urzeka, a wnętrze wpisuje się w najlepsze współczesne tradycje.
Wnętrze lokalnej kawiarni
Zdjęcia przedstawiają centra danych NORD
Wycieczka rozpoczyna się w biurze. Oprócz napisów na ścianach i znanej w całym Runecie biało-limonkowej kolorystyki, jest też cała masa zabawnych rzeczy. Są to rekwizyty pozostałe po korporacyjnych przedstawieniach teatralnych (czy wyobrażacie sobie dyrektora technicznego sieci data center grającego w przedstawieniu? Znamy go osobiście.).
A prawda
Zdjęcia z występów
Centrum danych (a raczej cztery centra danych) zlokalizowane są w kompleksie budynków przemysłowych wybudowanych jeszcze przed stuleciem (wówczas fabryka Citroena, a w czasach sowieckich fabryka Gidroprivod), więc z jednej strony panuje surowy industrialny wygląd, metalowe belki, loftowa atmosfera i przemysłowe artefakty z różnych epok, które wciąż odnajduje się podczas różnych prac. Z drugiej strony hermetyczne strefy centrum danych muszą być wpasowane w istniejące struktury i od czasu do czasu trzeba iść na kompromis z rzeczywistością. Nie powiedziałbym jednak, że te kompromisy wpłynęły na jakość - ale chłopaki prawdopodobnie musieli ciężko pracować podczas projektowania. Ponadto, według plotek, gdzieś w pobliżu przejeżdża Metro-2, ale nie jest to pewne.
Oprócz teatru znajduje się tu także muzeum. Eksponaty, rzecz jasna, znaleziska archeologiczne
Kilka słów o . Tak, budynek (a właściwie dach) naprawdę się palił. Uszkodzone zostały zewnętrzne jednostki układów chłodzenia i zimne rury. Gdzieś przepaliło się okablowanie, a klimatyzatory pozostały bez prądu. Gdzieś eksplodowały rury freonowe. Ale mimo to hermetyczne strefy wytrzymały wylewane na nie tony wody, a sprzęt przetrwał. Odrestaurowali go pod kontrolą „kwatery głównej” reprezentowanej przez najwyższe kierownictwo całego świata - zgarnęli wszystkie miedziane rury w Moskwie i okolicach (nawet przywieźli je w nocy w BMW X5) i wszyscy trzeźwi instalatorzy. Krytyczny sprzęt z uszkodzonych datahalli (uszkodzony z powodu braku zimna, a nie pożaru!) został szybko przeniesiony do innych hal, tak że o piątej rano nie tylko wszystkie ich usługi, ale także ich klienci byli gotowi do pracy.
Osobiście sprawdziliśmy halę, która „ucierpiała najbardziej” – poza zapachem spalenizny i wymienionymi płytkami podłogi podniesionej, nic w ogóle nie przypomina pożaru (poza regałami ze sprzętem, które „tymczasowo” przeniesiono do innej hali danych, i tam pozostał).
Panel stanu
Idąc korytarzami, widzimy ekran dotykowy, na którym widać coś bardzo podobnego do schematu pomieszczeń turbin centrum danych. To jest panel stanu. Na korytarzach jest ich mnóstwo i pozwalają inżynierom na miejscu szybko znaleźć np. potrzebny klimatyzator i po prostu zgłosić aktualny stan.
Monitoring zbudowany jest na Nagios (obecnie istnieje już kilka niezależnych klastrów) i obejmuje wszystkie centra danych (zarówno OST, jak i NORD). Dodatkowo na stronie dostępne są aplikacje na Androida i iOS (dla klientów i pracowników) oraz strona statusowa bezpośrednio na stronie.
Na wyświetlaczu zauważam niezwykle wysoki wskaźnik PUE – nie jest on akceptowany w całej Rosji, ale mimo to 1.90 jest dość wysokie. Odpowiedź na to pytanie jest czysto ekonomiczna – w latach 2012-2013 szafy w centrach danych sprzedawały się jak świeże bułeczki, więc nie było czasu na sentymenty i energooszczędność. Montujemy to, co jest na rynku, robimy to tak szybko, jak to możliwe i w ogóle nie przejmujemy się Twoim PUE, bo po co? Już na etapie projektowania kupuje się 80-90% regałów, ale ustawodawstwo Federacji Rosyjskiej nie chce nic wiedzieć na temat efektywności energetycznej. Chociaż część komisji w Amsterdamie byłaby zadowolona z takich liczb.
Nic osobistego. Tylko biznes.
Kolejną funkcją jest oznakowanie hal danych. W każdym ośrodku hale danych, oprócz „oficjalnego” kodowania alfanumerycznego, posiadają „ludzkie” pseudonimy z alfabetu marynarki wojennej (Alpha-Bravo-Charlie-Delta...). Z jakiegoś powodu wszyscy klienci uwielbiają pokój Whisky.
Jeśli chodzi o obsługę klienta, nie ma drobnych szczegółów.
Takie „ogrodzenia” budowane są dla niektórych klientów. W pomieszczeniach turbin nie wolno nam było robić zdjęć, więc zdjęcie jest DataLine ©
Klientami DataLine są w większości duże i szanowane firmy, które bardzo nie lubią, gdy fotografuje się ich sprzęt. Co więcej, jeśli nazwa klienta (lub logo) jest wypisana bezpośrednio na ladzie dużymi literami. Nie podoba im się to – i tyle. Dlatego sfilmowaliśmy słynne już ściany z różnymi napisami i inżyniera. Nie da się też sfotografować całego inżyniera i nie wszędzie, ale próbowaliśmy. Ponieważ nasi klienci są duzi i szanowani, mają oni również specyficzne wymagania – specjalne regały (lub jakiś rodzaj systemu przechowywania typu Uber od kilku dostawców), własne ogrodzenia, własne systemy kontroli dostępu, własny monitoring wideo i zespół szybkiego reagowania z pistolety maszynowe. Generalnie jedną z niepisanych (i publicznych) zasad DataLine jest dbanie o klienta i czynienie mu dobra. Począwszy od kamizelek i wyposażonych stanowisk pracy z dostępem do Internetu i ładowarkami, po różnorodne eventy dla klientów. Te ostatnie są również bardzo przydatne, ponieważ te same osoby, przenosząc się z firmy do firmy, przyprowadzają ich do DataLine. Po prostu dlatego, że wszystko tutaj jest przytulne, wygodne i niezawodne. Działalność DataLine to nie tylko wynajem powierzchni rackowej. To także chmura, certyfikowana jednocześnie według 152-FZ i PCI-DSS (będziemy o tym robić podcast, będziemy na bieżąco śledzić ogłoszenia) i zapewnia łączność (własne włókna pomiędzy lokalizacjami i z każdej z nich do M9, własny ring optyczny na terenie całego miasta i tak dalej, aż do organizacji ostatniej mili do biura klienta).
M - motywacja
A skoro o napisach mowa, pomysły pochodzą nie tylko od pracowników, ale także od partnerów i klientów, po czym na te najskuteczniejsze można głosować na Linia danych na FB. Cóż, możesz tam zaproponować swój pomysł.
Spotkanie nad Łabą
Cross (zdjęcie dzięki uprzejmości DataLine)
Zatrzymujemy się w Meet-Me-Room, gdzie mieszczą się operatorzy. W MMR (w OST są trzy pary, w zależności od liczby głównych wejść optycznych, dla aktywnego i pasywnego) połączenia ze wszystkich hal danych są łączone. W bucie przełajowym wszystko jest nudne i schludne. Ale tam, gdzie znajduje się aktywna kamera, pamiętacie najlepsze lata i nagrania z jakiegoś BM18: makaron z drutów i inny sprzęt (DLink, Extreme, Juniper, Mikrotik... i tak dalej, aż do ASR9k). Operatorów jest tu ponad pięćdziesięciu, więc wszystko jest kolorowe. Z MMR optyka i miedź są dystrybuowane do maszynowni. Co najmniej dwie trasy dla każdej (możliwe są warianty), dzięki czemu nie musisz martwić się o niezawodność połączenia. MMR nazywa się „Elbe”, co jest dość subtelne.
Nie masz IBM Power?
Kolejnym znaleziskiem jest IBM P-series, który nigdy nie był włączony i od kilku lat stoi w jednym z korytarzy. Maszyna (wraz z biblioteką taśmową i systemem przechowywania) została zamówiona przez jednego z klientów, ale „nie nadawała się” i została przekazana do centrum danych. Od tamtej pory stoi.
Pewnie dobrze jest być bogatym facetem i dawać takie prezenty, prawda? (A może nie dali tego w prezencie, ale zapomnieli. Albo przegrali w karty. Ale to trwa już od dawna)
Ten przystojny facet stoi w NORD-4
Jedziemy do centrum energetycznego - po trzy (a nawet cztery) zespoły prądotwórcze diesla na każde centrum danych (przypomnę, że w OST są ich cztery). Silnik wysokoprężny osiąga pełną moc w ciągu 30-40 sekund i wytwarza moc 1900 kVA. W zestawie redundancja N+1, synchronizacja itp. Najdłuższy czas postoju w silnikach Diesla w OST wynosi 12 godzin. w NORD - 2.5 dnia (w końcu magazyn na 85 ton to nie jest dużo pieniędzy).
Istnieją oczywiście umowy z różnymi przedsiębiorstwami paliwowymi na dostawę paliwa. Przejście na olej napędowy odbywa się regularnie, dzięki czemu zarówno produkcja paliwa, jak i weryfikacja kontraktów są realizowane. Nawiasem mówiąc, zdaniem kolegów z NORD, podczas testów agregatów prądotwórczych na olej napędowy, które zwykle trwają ponad godzinę, w miejscu emitowania gorącego powietrza z silników wysokoprężnych, nawet zimą trawa udaje się zazielenić.
Po krótkiej przekąsce w znanej kawiarni udajemy się do siedziby NORD. To także nie jest jedno centrum danych, ale cztery niezależne budynki na tym samym terytorium. Każdy z nich ma własne źródła energii elektrycznej, własne silniki wysokoprężne i własne chłodzenie. NORD-1 i NORD-2 zostały poddane audytowi przez Uptime Institute M&O. Najnowsze (i najlepsze centrum danych DataLine) to NORD-4, więc właśnie tam zmierzamy.
Pomimo pozornie ogromnej liczby centrów danych w Moskwie, nadal brakuje ich. Nie, oczywiście, jeden lub dwa stojaki zostaną do Ciebie wysłane bez żadnych problemów. Dadzą ci nawet dwadzieścia. Pytaniem jest więcej (a DataLine ma więcej niż jednego lub dwóch klientów z takimi potrzebami). Konkretnie w NORD-4 jest miejsce (na razie), bo jeden duży klient przeniósł się do własnego, nowo wybudowanego data center, ale w innych miejscach może nie być już tyle szczęścia. Jednak prace nad projektem NORD-5 idą pełną parą, a jego wystrzelenie ma nastąpić na początku 2020 roku.
Wróćmy jednak do naszej wycieczki. Ponieważ jechaliśmy samochodem, wpuszczono nas do bramki, gdzie karabiny maszynowe wycelowali w nas, sprawdzili w aplikacji numer naszego samochodu i poprosili wszystkich pasażerów o wyjście po przepustki (oczywiście z paszportami). Ponieważ B to bezpieczeństwo.
NORD-4 jest dumą firmy i kompilacją wieloletnich doświadczeń w budowie i eksploatacji centrów danych, posiada certyfikaty Uptime Institute Tier III na projekt projektowy i Obiekt (tj. wybudowane centrum danych), a także Zrównoważony Rozwój Operacyjny - chłopaki podeszli do sprawy jak najlepiej i odpowiedzialnie. Wewnątrz znajdują się cztery, niezależne od siebie, hermetyczne strefy, każda po dwie sale w jednym budynku. Każdy z nich posiada własne centrum zasilania (zespół prądotwórczy, akumulatornie), obiegi chłodnicze i systemy gaśnicze. Ogólne - wejścia optyczne (są po dwa na budynek) i MMR.
Zdrowe modowanie inżyniera
Przy wejściu do data center czeka znana nam już kawiarnia (no cóż, czemu nie?). Idziemy do centrum monitorowania. Istnieją teraz dwa główne - w OST i NORD-4 (NORD-1,2,3 również mają własne zmiany dyżurów). Z każdego centrum można patrzeć w obie strony, więc nawet tutaj zapewniona jest redundancja n+1. Na ścianie wideo znajdują się już znane dashboardy w jasnozielonej kolorystyce (jest na niej oczywiście znacznie więcej parametrów niż na wyświetlaczu stanu). Trochę komunikujemy się na temat monitoringu - żadnych wymyślnych Prometeusza i Grafana, tylko Nagios, tylko hardcorowe i domowe wizualizacje. Przez dziesięć lat (choć jeszcze więcej) użytkowania napisano już wiele niestandardowych kontroli i skryptów, więc przejście na coś innego wygląda jak ryzykowne. Mniej więcej raz w miesiącu pojawia się kolejna firma, która oferuje rozwiązanie wszystkich problemów „szybko i bezboleśnie”, ale jakoś to jeszcze nie działa. Nawiasem mówiąc, ściana wideo działa również na rozwiązaniu do samodzielnego montażu, które okazało się kilkakrotnie tańsze niż komercyjne odpowiedniki.
Lokalne centrum kontroli
Projektując, budując i obsługując centra danych przez wiele lat, nie boisz się już tak bardzo zrobić czegoś samodzielnie, niż kupić coś gotowego. DataLine na przykład nie waha się powiedzieć, że po prostu ze względu na skalę nadepnęła na maksymalną liczbę błędów, a każde nowe centrum danych to wynik trudnych błędów i doświadczeń, które ciągną się od kilkunastu lat . Oczywiście każde nowe centrum danych ma swój własny know-how i spacerując po firmie NORD, od czasu do czasu można przyłapać się na myśleniu, że ludzie po prostu to zrobili i zrobili to dobrze. Nie dla popisywania się, nie dla ocen i certyfikatów - normalny proces inżynieryjny, kiedy przy każdej iteracji wznosisz się ponad siebie i stajesz się coraz lepszy. Zewnętrzny obserwator powie, że jest to nudne i konserwatywne, ale klient, wręcz przeciwnie, utrzymuje taką stabilność własnymi pieniędzmi. A żeby to zrobić dobrze, wcale nie trzeba kupować systemów inżynierskich czy oprogramowania za duże, duże pieniądze (choć czasami bez tego się nie da). Często decyduje doświadczenie, wiedza i pomysłowość inżynierska.
Przykładowo budynek NORD-4 ma 3,5 piętra. Pierwsze trzy są pełnoprawne, ze stropami o wysokości 4.5 metra, w których znajdują się pomieszczenia turbin. A ten ostatni jest techniczny, ma zaledwie 1.8 metra wysokości i jest dedykowany wyłącznie układowi chłodzenia. Ponieważ podłoga jest techniczna, wymagania wobec niej są znacznie niższe, co uprościło projekt i pozwoliło zaoszczędzić pieniądze.
Widok na trójkątne centrum danych
Max ma specjalną zdolność kung fu, aby nie poparzyć się na zdjęciach
Zwiedzanie kończymy na dachu – stąd mamy doskonały widok na pobliską elektrociepłownię i dzielnicę mieszkaniową, a także inne budynki NORD. Dwa z nich są trójkątne. Z tego powodu koledzy nawet się śmiali, że „DataLine to kretyni, z jakiegoś powodu budują trójkątne centrum danych”, aby zainstalować tam trójkątne szafy i trójkątne serwery. Ale nic - zbudowali i z powodzeniem działają, a jednocześnie efektywnie wykorzystują istniejące terytorium (które w Moskwie, trzeba powiedzieć, nie jest bezpłatne). Kolejnym zaskakującym (dla mnie) faktem jest to, że większość klientów komercyjnych chce mieć swoją siedzibę w Moskwie. Miejsce oddalone o pół setki kilometrów wzdłuż autostrady mińskiej (nawet jeśli są tam wszystkie niezbędne przepustowości i łączność) nie jest już dla nikogo interesujące. Więc wszyscy chowają się w niegumowych.
Wieże chłodnicze nie są już centrami danych, ale elektrowniami cieplnymi
W ten sposób nasza kolejna podróż dobiegła końca.
Potem odbyła się kolejna długa i produktywna rozmowa na temat wspólnych planów i przyszłych podcastów (mam nadzieję, że nie będziemy musieli długo czekać), więc bądźcie czujni, wkrótce będzie jeszcze więcej ciekawych rzeczy.
Cóż, jeśli chcesz zobaczyć wszystko na własne oczy, DataLine zaprasza Cię na wycieczkę. Całkowicie bezpłatnie, ale po wcześniejszym umówieniu. Ci, którzy nazywają słowo kodowe „linkmeup”, otrzymają plus w karmie.
Bądźcie czujni!
Źródło: www.habr.com