Екскурзия в светлозелени тонове

Най-важният транспортен проблем в Санкт Петербург са мостовете. Нощем заради тях трябва да избягаш от механата, без да си допиеш бирата. Е, или плащайте два пъти повече за такси от обикновено. Сутрин внимателно изчислете времето, така че веднага щом мостът бъде затворен, да стигнете до гарата като пъргава мангуста. Вариантът „да нощуваме някъде в центъра, близо до гарата” не смятаме за идеологически вреден.

..."Сокол скитник", тръгващ в 5:30, е измислен от хора, които мразят совите. Не, разбира се, много е удобно да си в Москва в девет сутринта, а Санкт Петербург е невероятно красив през белите нощи, но в четири и половина, когато влязох в таксито, исках да обърна главата си на 270 градуса до чучулигата, която изобрети този сутрешен влак.

„Всички добри центрове за данни си приличат“, помислих си, когато разбрах, че момчетата от DataLine са ни поканили на гости.

Както се оказа, всеки център за данни е добър (или лош) малко по свой собствен начин, особено когато постигнете голямо време, съберете всички рейкове в района и извлечете поуки от своя собствен (и донякъде от други хора ) богат опит. Така че ние (състоящи се от пет водещи linkmeup и техните приятели и симпатизанти) решихме да проверим колко добри (или не толкова) са центровете за данни OST и NORD.

След като успяхме да свършим малко работа по пътя (тук можеше да има реклама за един мобилен оператор, но не - покритието все още беше лошо), разтоварихме на гара Ленинградски. Е, поне не при Газманов.

Започнахме нашата обиколка на „варовите“ центрове за данни с OST - „същият“, който „изгори“ не толкова отдавна. Защо в кавички - след. Междувременно стоим, пушим и чакаме закъснелите. Правене на снимки на съседния офис на RT. Има много забавни истории за този квартал - от полагане на пресен асфалт и боядисване на бордюри преди пристигането на високопоставени гости до отстъпки в близките кафенета, които бяха дадени на жителите на Dataline поради сходството на значките им.

Рупорът на тоталитарната пропаганда

Център за данни със строг (достъп) режим

Пропуск, правила за поведение, месомелачка на входа - почти същата, която видяхме по време на екскурзия до Linxdatacenter. Виждали ли сте много кафенета в центрове за данни? Сега познаваме двойка. Служителите и клиентите имат депозити „кафе“ на баджовете си, които редовно се попълват. Така че в разумни граници можете да се поглезите с кафе напълно безплатно. Ние, като скъпи гости, също бяхме почерпени.

Не мога да кажа нищо лошо за кафето - това е съвсем нормално за "верига" кафенета, но местоположението неволно е завладяващо, а интериорът е точно в съответствие с най-добрите съвременни традиции.

Интериор на местно кафене

Снимки показват центрове за данни NORD

Обиколката започва от офиса. В допълнение към надписите по стените и бялата и липа цветова схема, позната в целия Runet, има и всякакви смешни неща. Това са реквизити, останали от корпоративни театрални представления (можете ли да си представите техническия директор на мрежа от центрове за данни да играе в пиеса? И ние го познаваме лично.).

И е истина

Снимки от представления

Центърът за данни (или по-скоро четири центъра за данни) се намират в комплекс от промишлени сгради, построени през предишния век (тогава заводът на Citroen, а в съветско време заводът Gidroprivod), така че от една страна има суров индустриален вид, метални греди, атмосфера на таванско помещение и индустриални артефакти от различни епохи, които все още се намират по време на различни работи. От друга страна, херметичните зони на центъра за данни трябва да бъдат вписани в съществуващите структури и от време на време трябва да се правят компромиси с реалността. Въпреки това, не бих казал, че тези компромиси са повлияли на качеството - но момчетата вероятно трябваше да работят усилено по време на дизайна. Също така, според слуховете, Метро-2 минава някъде наблизо, но това не е сигурно.

Освен театър има и музей. Експонати, естествено - археологически находки

Няколко думи за огън. Да, сградата (или по-скоро покривът) наистина гореше. Повредени са външните възли на охладителните системи и хладилни тръби. Някъде изгоря инсталацията и климатиците останаха без ток. Някъде гръмнаха фреонови тръби. Но въпреки това херметичните зони издържаха на тонове вода, излята върху тях, и оборудването оцеля. Те го възстановиха под контрола на „централата“, представлявана от висшето ръководство на целия свят - изчистиха всички медни тръби в Москва и околностите (дори ги донесоха през нощта с BMW X5) и всички трезви монтажници. Критичното оборудване от повредените зали за данни (повредени от липсата на студ, а не от пожар!) бързо беше преместено в други зали, така че до пет сутринта не само всичките им услуги, но и клиентите им бяха готови.

Ние лично проверихме залата, която „пострада най-много“ - с изключение на миризмата на изгоряло и подменени плочки на повдигнатия под, нищо не напомня за пожара (с изключение на стелажи с оборудване, които бяха „временно“ отнесени в друга зала за данни, и остана там).

Панел за състоянието

Разхождайки се по коридорите, виждаме сензорен дисплей с нещо много подобно на диаграмата на турбинните помещения на центъра за данни. Това е панелът за състоянието. Има ги много по коридорите и позволяват на инженерите на място бързо да намерят например необходимия климатик и просто да докладват текущото състояние.

Мониторингът е изграден върху Nagios (сега вече има няколко независими клъстера) и обхваща всички центрове за данни (както OST, така и NORD). Освен това има приложения за Android и iOS (за клиенти и служители), както и страница за състоянието директно на уебсайта.

На дисплея забелязвам необичайно висок PUE - не се приема навсякъде в Русия, но все пак 1.90 е малко високо. Отговорът на това е чисто икономически - през 2012-2013 г. стелажите в центровете за данни се продаваха като топъл хляб, така че нямаше време за сантименталност и енергийна ефективност. Ние инсталираме това, което е на пазара, правим го възможно най-бързо и изобщо не се интересуваме от вашия PUE, защото защо? Дори на етапа на проектиране 80-90% от стелажите са закупени, но законодателството в Руската федерация не иска да знае нищо за енергийната ефективност. Въпреки че някоя комисия в Амстердам би се задоволила с подобни цифри.

Нищо лично. Просто бизнес.

Друга особеност е маркирането на зали с данни. Във всеки сайт залите за данни, в допълнение към „официалното“ буквено-цифрово кодиране, имат „човешки“ псевдоними от военноморската азбука (Алфа-Браво-Чарли-Делта...). По някаква причина всички клиенти обичат Whisky room.

Няма дребни детайли, когато става дума за грижа за клиента.

Такива „огради“ се издигат за някои клиенти. Не ни беше позволено да правим снимки в турбинните помещения, така че снимката е DataLine ©

Клиентите на DataLine са предимно големи и уважавани компании, те наистина не обичат да им снимат оборудването. Освен това, ако името (или логото) на клиента е изписано директно върху плота с големи букви. Не им харесва - това е всичко. Затова заснехме вече известните стени с различни надписи и инженера. Също така не е възможно да снимаме целия инженер и не навсякъде, но опитахме. Тъй като нашите клиенти са големи и уважавани, те имат и специфични изисквания - специални стелажи (или някаква uber складова система от няколко стелажа на продавача), собствени огради, собствени системи за контрол на достъпа, собствено видеонаблюдение и екип за бързо реагиране с картечници. Като цяло едно от негласните (и публични) правила на DataLine е да се грижиш за клиента и да му правиш добро. Като се започне от жилетки и оборудвани работни станции с интернет достъп и зарядни, до различни събития за клиенти. Последните също са много полезни с това, че едни и същи хора, преминавайки от компания в компания, ги довеждат до DataLine. Просто защото тук всичко е уютно, удобно и надеждно. Дейността на DataLine не е само отдаване под наем на стелажно пространство. Това също е облак, едновременно сертифициран според 152-FZ и PCI-DSS (ще направим подкаст за него, очаквайте съобщения) и осигурява свързаност (собствени влакна между сайтовете и от всеки от тях до M9, собствен оптичен пръстен през града и така нататък до организирането на последната миля до офиса на клиента).

М - мотивация

Говорейки за надписи, идеи идват не само от служители, но и от партньори и клиенти, след което можете да гласувате за най-успешните на официална страница DataLine във FB. Е, можете да предложите вашата идея там.

Среща на Елба

Кръст (снимката е предоставена от DataLine)

Спираме в Meet-Me-Room, където са разположени операторите. В MMR (има три двойки в OST, според броя на основните оптични входове, за активни и пасивни) връзките от всички зали за данни се комбинират. В обувката за бягане всичко е скучно и спретнато. Но къде се намира активната камера, помните най-добрите години и кадри от някои BM18: юфка от жици и разнообразно оборудване (DLink, Extreme, Juniper, Mikrotik... и така нататък до ASR9k). Тук има повече от петдесет оператора, така че всичко е цветно. От MMR оптиката и медта се разпределят към машинните помещения. Най-малко два маршрута за всеки (възможни са варианти), така че не е нужно да се притеснявате за надеждността на връзката. MMR се нарича "Elbe", което е доста фино.

IBM Power няма ли?

Друга находка е IBM P-series, който никога не е включван и стои в един от коридорите от няколко години. Машината (заедно с лентовата библиотека и системата за съхранение) беше поръчана от един от клиентите, но „не беше полезна“, така че беше дарена на центъра за данни. Оттогава стои.

Вероятно е добре да сте богати момчета и да правите такива подаръци, нали? (Или може би не са го дали като подарък, а са забравили. Или са загубили на карти. Но го има от доста време)

Този красавец стои в NORD-4

Отиваме в енергийния център - три (или дори четири) дизелови генераторни комплекта за всеки център за данни (нека ви напомня, има четири от тях в OST). Дизеловият двигател достига пълна мощност за 30-40 секунди и произвежда 1900 kVA. N+1 резервиране, синхронизация и др. Най-дългото време на престой на дизелови двигатели в OST е 12 часа. в NORD - 2.5 дни (все пак склад за 85 тона не е много пари).

Разбира се, има договорености с различни горивни компании за доставка на гориво. Преминаването към дизел се извършва редовно, така че както горивото се произвежда, така и договорите се проверяват. Между другото, според колеги от NORD, при тестване на дизел генератори, което обикновено отнема повече от един час, на мястото, където се излъчва горещ въздух от дизелови двигатели, дори през зимата тревата успява да позеленее.

След кратка закуска в познато кафене се отправяме към сайта на NORD. Това също не е един център за данни, а четири независими сгради на една и съща територия. Всяка от тях има свои собствени източници на електричество, собствени дизелови двигатели и собствено охлаждане. NORD-1 и NORD-2 бяха одитирани от Uptime Institute M&O. Най-новият (и най-добрият център за данни DataLine) е NORD-4, така че натам отиваме.

Въпреки привидно огромния брой центрове за данни в Москва, все още има недостиг. Не, разбира се, един или два стелажа ще ви бъдат изпратени без никакви проблеми. Дори ще ти дадат двадесет. Повече е въпрос (а DataLine има повече от един или двама клиенти с такива нужди). Конкретно в NORD-4 има място (засега), защото един голям клиент се премести в собствен новопостроен център за данни, но на други места това може да не е толкова късмет. Въпреки това сега е в разгара си проектирането на NORD-5, който е обещан да бъде пуснат в началото на 2020 г.

Но да се върнем на нашата екскурзия. Тъй като пътувахме с кола, ни допуснаха до портала, където ни прицелиха картечници, провериха номера на колата ни с приложението и помолиха всички пътници да излязат, за да получат пропуски (с паспортите си, разбира се). Защото B е сигурност.

NORD-4 е гордостта на компанията и е компилация от дългогодишен опит в изграждането и експлоатацията на центрове за данни, има сертификати Tier III на Uptime Institute за проект и съоръжение (т.е. изграден център за данни), както и оперативна устойчивост - момчетата подходиха към въпроса възможно най-отговорно. Вътре има четири независими една от друга херметични зони с по две зали в една сграда. Всеки има собствен захранващ център (дизел-генераторен комплект, акумулаторни помещения), охладителни кръгове и пожарогасителни системи. Общи - оптични входове (по два на сграда) и MMR.

Здравословно инженерно модифициране

На входа на центъра за данни чака кафене, което вече ни е познато (е, защо не?). Качваме се до центъра за наблюдение. Сега има две основни - в OST и NORD-4 (NORD-1,2,3 също имат свои дежурни смени). От всеки център можете да разгледате и двата сайта, така че дори и тук резервирането n+1 е осигурено. На видео стената вече има познати табла за управление в светлозелена цветова схема (има, разбира се, много повече параметри на нея, отколкото на дисплея на състоянието). Комуникираме малко за мониторинга - без фантастични Prometheus и Grafan, само Nagios, само хардкор и домашна визуализация. В продължение на десет години (обаче дори повече) употреба вече са написани много персонализирани проверки и скриптове, така че преминаването към нещо друго изглежда като хазарт. Около веднъж месечно се появява друга компания, която предлага да разреши всички проблеми „бързо и безболезнено“, но някак си все още не се получава. Видео стената, между другото, също работи върху самостоятелно сглобено решение, което се оказа няколко пъти по-евтино от търговските аналози.

Локален контролен център

Когато проектирате, изграждате и управлявате центрове за данни в продължение на много години, вече не се страхувате толкова да направите нещо сами, отколкото да купите нещо готово. DataLine, например, не се колебаят да кажат, че просто поради мащаба са стъпили на максималния брой грешки и всеки нов център за данни е резултат от трудни грешки и опит, който продължава повече от десет години . Разбира се, всеки нов център за данни има собствено ноу-хау и докато се разхождате из NORD, от време на време се хващате, че си мислите, че хората просто са го направили и то добре. Не заради самоизтъкване, не заради оценки и сертификати - нормален инженерен процес, когато на всяка итерация израстваш над себе си и ставаш все по-добър. Външен наблюдател ще каже, че това е скучно и консервативно, но клиентът, напротив, поддържа такава стабилност със собствените си пари. И за да го направите добре, изобщо не е необходимо да купувате инженерни системи или софтуер за много, много пари (въпреки че понякога не можете да го направите без него). Опитът, знанията и инженерната изобретателност често решават.

Например сграда NORD-4 има 3,5 етажа. Първите три са пълноценни, с тавани от 4.5 метра, където са разположени машинните помещения. И последният е технически, висок само 1.8 метра и е посветен изцяло на охладителната система. Тъй като подът е технически, изискванията към него са много по-ниски, което опрости проекта и спести средства.

Изглед на триъгълния център за данни

Макс има специална кунг-фу способност да не се изгаря на снимки

Завършваме обиколката на покрива - оттук имаме отлична гледка към близката ТЕЦ и жилищен квартал, както и към други сгради на NORD. Две от тях са триъгълни. За това колегите дори се засмяха, че „DataLine са глупаци, по някаква причина изграждат триъгълен център за данни“, за да инсталират там триъгълни стелажи и триъгълни сървъри. Но нищо - те построиха и работят успешно и в същото време ефективно използват съществуващата територия (която в Москва, трябва да се каже, не е свободна). Друг изненадващ (за мен) факт е, че по-голямата част от търговските клиенти искат да бъдат разположени в Москва. Място на половин стотина километра по магистралата Минск (дори и да има всички необходими мощности и комуникации) вече не представлява интерес за никого. Така всички се скупчват в негумено.

Охладителните кули вече не са центрове за данни, а топлоелектрически централи

С това следващото ни пътуване приключи.

След това имаше още един дълъг и продуктивен разговор за съвместни планове и бъдещи подкасти (надявам се, че няма да чакаме дълго), така че следете, скоро ще има още по-интересни неща.

Е, ако искате да видите всичко със собствените си очи, DataLine ви кани на обиколка. Напълно безплатно, но с уговорка. Тези, които наричат ​​кодовата дума „linkmeup“, ще получат плюс в кармата.

Остани настроен!

Източник: www.habr.com