Най-голямата транспортна драма в Санкт Петербург са мостовете. През нощта трябва да бягаш от кръчмата, без да си допил бирата. Или пък да плащаш такси, което струва почти двойно. Сутрин — да изчисляваш времето, за да можеш да стигнеш на гарата, веднага след като мостът се вдигне. Не разглеждаме варианта «да нощуваме някъде в центъра, близо до гарата» като идеологически вреден.
…»Сапсан», който тръгва в 5:30, е измислен от хора, които мразят совите. Разбира се, много е удобно да се озовеш в Москва в девет сутринта, а Санкт Петербург е безумно красив по време на белите нощи, но в половина пет, когато седнах в таксито, исках да върна главата на 270 градуса на този жаворонек, който измисли този ранобуден влак.
«Всички добри датацентрове си приличат» — помислих си, когато научих, че ни поканиха на гости момчетата от DataLine.
Оказа се, че всеки датацентър е добър (или лош) по свой начин, особено когато получиш опит, преминеш през всички трудности и научиш уроците от собствен и малко чужд богат опит. Ето защо решихме да проверим колко добри (или не много) са датацентровете OST и NORD, като сме в състав от петте водещи linkmeup и техните приятели и съмишленици.
Прекарахме малко време на работа в движение (тук можеше да има реклама на един мобилен оператор, но не — покритието си остана лошо), разтоварваме се на Ленинградската гара. Ами поне не е под Газманов.
Започнахме нашата обиколка по «зелените» ЦОД с OST — «онзи известният», който неотдавна «горя». Защо в кавички — ще разберете по-късно. А засега, стоим, пушим и чакаме закъснелите. Фотографираме офиса на RT наблизо. С това съседство има много интересни истории — от полагането на нов асфалт и боядисването на бордюри преди пристигането на Високите Персони до отстъпките в околните кафенета за служителите на DataLine, заради сходството на баджовете.
Мегафон на тоталитарната пропаганда
Датацентър с строг (пропускателен) режим
Пропуск, правила за поведение, месомелачка на входа — почти такава видяхме . А много ли сте виждали в ЦОД-овете кафенета? Ние, ето, сега знаем за няколко. На бейджовете на служителите и клиентите има "кафейни" депозити, които редовно се попълват. Така че в разумни граници, може да се насладите на кафе напълно безплатно. И нас, като скъпи гости, също ни почерпи.
За кафето не мога да кажа нищо лошо — напълно обичайно за "мрежова" кафене, но местоположението неволно примамва, а интериорът е в най-добрите съвременни традиции.
Интериор на местната кафене
На фотографиите центровете за данни NORD
Екскурзията започва от офиса. Освен известните на целия рунет надписи по стените и бело-зеления колорит, има и всякакви забавни неща. Това е реквизит, останал от представленията на корпоративния театър (можете ли да си представите техническия директор на мрежата от центрове за данни, играещ в спектакъл? А ние го познаваме лично.).
И наистина
Фотографии от спектаклите
ЦОД (по-точно казано, четири ЦОДа) се намира в комплекс от промишлени сгради, построени още в предишния век (тогава — завод "Ситроен", а по времето на СССР — завод "Гидропривод"), така че от едната страна — тук е грубият индустриален стил, метални греди, атмосфера на лофта и промишлени артефакти от различни епохи, които все още се намират при провеждане на различни работи. От друга страна — херметичните зони на ЦОДа трябва да се вписват в съществуващите конструкции, и периодично да се правят компромиси с реалността. Въпреки това, не бих казал, че тези компромиси се отразяват на качеството — но на момчетата, със сигурност, им се наложи да се потрудят при проектирането. Освен това, по слухове, някъде наблизо минава Метро-2, но не е точно.
Освен театъра, тук има и собствен музей. Експонатите, естествено — археологически находки
Няколко думи за Да, сградата (или по-скоро покривът) наистина горя. Пострадаха външните блокове на охлаждащите системи и хладопроводите. Някъде изгоря електрическата инсталация и климатичните системи останаха без електричество. Някъде избухнаха фреоновите линии. Но, въпреки това, херметичните зони устояха на тонове излята върху тях вода, оборудването остана непокътнато. Възстановяването се управляваше от „щаба“ в лицето на висшето ръководство, всички заедно — събраха изцяло медните тръби в Москва и околностите (доставяха ги даже нощем с BMW X5) и всички трезвени монтажници. Критичното оборудване от пострадалите дата-холове (пострадали от липсата на студ, не от пожара!) бързо беше преместено в други зали, така че, вече в пет сутринта възстановихме не само собствените си услуги, но и на клиентите.
Лично проверихме залата, която най-много „пострада“ — освен миризмата на изгоряло и заменените плочки на фалшивия под, нищо не напомня за пожара (освен стойките с оборудването, „временно“ преместени в друг дата-хол, където и останаха).
Статусна панел
Разхождайки се по коридорите, виждаме сензорен дисплей с нещо, много подобно на схема на машинните зали на ЦОДа. Това е статусна панел. Те са нахвърляни в коридорите и позволяват на onsite инженерите бързо да намерят, например, нужния климатик, а също така просто съобщават текущия статус.
Мониторингът е построен на Nagios (вече има няколко независими клъстера) и обхваща всичките датацентрове (както OST, така и NORD). Освен това имаме приложения за Android и iOS (за клиенти и служители), и статусна страница директно на сайта.
На дисплея забелязвам необичайно висок PUE — не навсякъде в Русия е прието да се счита, но все пак 1.90 е малко много. Отговорът на това е строго икономически — през 2012-2013 година стелажите в ЦОД-овете се разпродаваха като топли хлебчета, така че нямаше време за сантименталности и енергийна ефективност. Слагаме това, което има на пазара, правим го максимално бързо и не се грижим за вашите PUE изобщо, защо? Още в етапа на проектиране се изкупуват 80-90% от стелажите, а законодателството в Руска федерация за енергийната ефективност не иска да знае нищо. Все пак, някоя комисия в Амстердам би била шокирана от такива цифри.
Нищо лично. Просто бизнес.
Друга интересна особенност — това е маркировката на дата-холовете. На всяка площадка дата-холовете освен «официалната» цифрово-буквена кодировка имат «човешки» псевдоними от военноморския алфавит (Алфа-Браво-Чарли-Делта…). За някаква причина всички клиенти обичат залата Whiskey.
В грижата за клиентите няма маловажни неща.
Такива «огради» поставят за някои клиенти. Не ни разрешиха да снимаме в машинните зали, така че снимката е предоставена от DataLine ©.
Клиентите на DataLine са предимно големи и уважавани компании, които не обичат, когато снимат тяхното оборудване. Особено, ако името (или логото) на клиента е написано с големи букви върху стойката. Не харесват — и толкова. Затова снимахме стените с различни надписи и инженерната част. Може да се снима и инженерната част, но не цялата и не навсякъде, но ние се стараехме. Понеже клиентите са големи и уважавани, техните искания понякога са специфични — специални стойки (или дори някаква ултра СХД от няколко производителя), техни огради, свои СКУД, видеонаблюдение и група за бързо реагиране с автомати. Всъщност, едно от неофициалните (и официалните) правила на DataLine е да се грижат за клиента и да му осигурят комфорт. Започвайки от жилетки и оборудвани работни места с интернет и зарядни, и завършвайки с различни събития за клиентите. Последните са много полезни и по причина, че едни и същи хора, преминавайки от компания на компания, ги водят в DataLine. Просто защото тук всичко е уютно, удобно и надеждно. Бизнесът на DataLine е не само отдаване на стойко-места. Това е също и облак, сертифициран едновременно по 152-ФЗ и по PCI-DSS (планираме да направим подкаст за него, следете анонсите), и предоставяне на свързаност (собствени влакна между площадките и от всяка от тях до М9, собствена оптична мрежа в града, и дори до организация на последната миля до офиса на клиента).
М — мотивация
По отношение на надписите — идеите идват не само от служителите, но и от партньорите и клиентите, след което за най-успешните може да се гласува на DataLine във FB. И можете да предложите своя идея там също.
Среща на Елба
Кроссовая (снимка предоставена от компанията DataLine)
Спираме в Meet-Me-Room, където се намират операторите. В MMR (имаме три двойки в OST, по броя на основните входове на оптика, за активна и пасивна свързаност) се обединяват връзките от всички дата-холи. В кросовата част е всичко монотонно и преглеждано. Но там, където има операторска активност, си спомняш за най-добрите години и кадри от някой БМ18: спагети от кабели и разнообразно оборудване (DLink, Extreme, Juniper, Mikrotik… и така до ASR9k). Тук операторите са над петдесет, така че всичко е пъстро. От MMR оптиката и медта преминават към машинните зали. Минимум две трасета за всеки (възможни варианти), така че за надеждността на свързаността не е нужно да се притеснявате. MMR се нарича „Елба“, което е доста подхватно.
Нужен ли ви е IBM Power?
Още една находка — това е IBM P-серия, който никога не е бил включен и вече стои няколко години в един от коридорите. Машината (вместо с ленточната библиотека и СХД) е поръчана от един от клиентите, но „не се е оказала полезна“, затова е подарена на датацентъра. Оттогава стои там.
Вероятно е приятно да бъдеш заможен и да правиш такива подаръци, нали? (А може и да не са я подарили, а да са я забравили. Или да са я загубили на карти. Но истината е, че стои отдавна.)
Тук е такава красавица в NORD-4.
Отиваме в енергийния център — три (или даже четири) ДГУ на всеки ЦОД (да напомня, в OST са четири). Дизелът достига пълната си мощност за 30-40 секунди и генерира 1900кВА. Резервиране N+1, синхронизация и всичко необходимо — в комплекта. Най-дългото време, през което се работи на дизел в OST е 12 часа. В NORD — 2.5 дни (все пак хранилището на 85 тона не е шега работа).
Разбира се, имаме договори с различни горивни компании за доставка на гориво. Превключването на дизел се извършва регулярно, така че и горивото се консумира, и договорите се проверяват. Между другото, по думите на колеги, в NORD по време на тестовете на ДГУ, които обикновено отнемат не един час, на мястото, където се изхвърля горещият въздух от дизелите, дори зимата успява да порасте трева.
След кратка закуска в вече позната кафе-сладкарница, тръгваме за площадката на NORD. Това също не е един датацентър, а четири независими сгради на една територия. Всяка с свои електрически входове, свои дизели и собствено охлаждане. NORD-1 и NORD-2 преминаха одит на Uptime Institute M&O. Най-новият (и най-добрият ЦОД на DataLine) е NORD-4, така че отиваме именно там.
Въпреки че изглежда, че в Москва има много ИЦ, все пак се наблюдава дефицит. Разбира се, една-две рафтове ще получите без проблем. Дори двадесет ще ви предоставят. Повече от това — вече е въпрос (а клиентите на DataLine с такива нужди не са само един или двама). Конкретно в NORD-4 в момента има място, защото един голям клиент се премести в собствен новоизграден ИЦ, но на други места нещата може да не са толкова благоприятни. И все пак, в момента активно се проектира NORD-5, който обещават да пуснат в началото на 2020 година.
Но да се върнем на нашата екскурзия. Тъй като пътувахме с кола, ни пуснаха през шлюза, където автоматчиците провериха номера на нашата кола с заявката, а всички пътници бяха помолени да излязат, за да получат пропуски (разбира се, по паспорт). Защото Б — безопасността.
NORD-4 е гордостта на компанията и компилация от многогодишен опит в построяването и експлоатацията на датацентрове, той притежава сертификати от Uptime Institute Tier III за дизайн-проекта и Facility (т.е. построен ИЦ), както и Operational Sustainability — екипът подходи максимално отговорно. Отвътре — четири независими един от друг гермозони, по два зала в едно и също сграда. Всяка — със собствен енергиен център (ДГУ, акумулаторни помещения), контури за охлаждане и системи за пожарогасене. Общото — входове за оптика (тях два за сградата) и MMR.
Моддинг на здравия инженер
На входа в ЦОД ни чака кафене, която вече познаваме (а защо не?). Изкачваме се в централния мониторинг. В момента има два основни — в OST и NORD-4 (в NORD-1,2,3 също имат свои дежурни смени). От всеки центра може да се наблюдава и двете площадки, така че дори тук се осигурява n+1 излишност. На видеостената са познатите дашборди в зелени нюанси (разбира се, параметрите на нея са много повече, отколкото на статусния дисплей). Малко обсъждаме мониторинга — никакви модни прометеуси и графан, само Nagios, само хардкор и собствена визуализация. За десет години (всъщност, дори повече) употреба, са написани множество персонализирани проверки и скриптове, така че да се премине на нещо друго изглежда като истинска авантюра. Около веднъж месечно се появява поредната компания, която предлага „бързо и безболезнено“ да реши всички проблеми, но засега не се получава. Видеостената, между другото, също работи на самосглобяемо решение, което се оказа много по-евтино от търговските аналози.
Тукешният ЦУП
Когато много години проектираш, строиш и експлоатираш датацентрове, не те е страх толкова да направиш нещо сам, вместо да купиш готово. DataLine, например, не се притеснява да казва, че просто поради мащаба, те са настъпили на максимално количество грабли, и всеки нов ЦОД е син на трудни грешки и опит, който вече надхвърля десет години. Разбира се, всеки нов ЦОД има своите ноу-хау, и разхождайки се из NORD, често се улавяш на мисълта, че хората просто взеха и направиха всичко добре. Не заради самохвалство, не заради рейтинги и сертификати — обикновен инженеринг процес, при който в всяка итерация ти растеш над себе си и ставаш все по-добър. Външен наблюдател би казал, че това е скучно и консервативно, а клиентът, напротив, подкрепя такава стабилност със собствените си средства. И за да направиш нещо добре, съвсем не е необходимо да купуваш инженерни системи или софтуер за много, много пари (въпреки че понякога без това не може). По-често решават опит, знания и инженерна находчивост.
Например, сградата NORD-4 има 3,5 етажа. Първите три са пълноценни, с тавани от 4.5 метра, където се намират машинните зали. А последният е технически, с височина само 1.8 метра и предназначен единствено за системата за охлаждане. Тъй като етажът е технически, изискуванията към него са много по-ниски, което е позволило да се опрости проектът и да се спестят средства.
Изглед към триъгълния ЦОД
Макс притежава особено кунг-фу, за да не е на снимките
Приключваме екскурзията на покрива — оттук се открива отличен изглед към съседната ТЕЦ и жилищния комплекс, а също така и към другите сгради NORD. Две от тях са триъгълни. По този повод колегите дори се шегуваха, че „DataLine — глупаци, строят наистина триъгълен ЦОД“, за да поставят триъгълни стелажи и триъгълни сървъри. Но нищо — построиха и успешно експлоатират, а също така ефективно използват наличната територия (която в Москва, трябва да се каже, не е безплатна). Още един удивителен (за мен) факт — повечето търговски клиенти искат да бъдат разположени именно в Москва. Площадката на по-петдесет километра по Минския шосе (дори и да има всичките необходими мощности и комуникации) вече не интересува почти никого. Ето така всички се струпват в нерезиновата.
Градирани — това вече не е ЦОД, а ТЕЦ
Тук нашето поредно пътуване приключи.
След това имаше дълъг и продуктивен разговор за съвместните планове и бъдещите подкасти (надявам се, че няма да чакаме дълго), така че следете новините, скоро ще има още повече интересни неща.
Ако желаете да видите всичко с очите си, DataLine кани на екскурзия. Напълно безплатно, но с предварителна регистрация. За тези, които кажат кодовата дума „linkmeup“ — плюс в кармата.
Следите за новостями!
Източник: habr.com
