Най-голямата транспортна проблема в Питър е мостовете. Нощем заради тях трябва да бягаш от кръчмата, недопил бира. Или да плащаш за такси два пъти повече от обикновено. Сутрин - внимателно да изчисляваш времето, за да успееш да стигнеш на гарата точно след като свалят моста, като сръчен мангуста. Вариантът „да нощуваме някъде в центъра, близо до гарата“ не се обсъжда, тъй като е идеологически вреден.
…»Сапсан», който тръгва в 5:30, е измислен от хора, които мразят совите. Не, разбира се, много е удобно да се окажеш в Москва в девет сутринта, а Питър е безумно красив по време на белите нощи, но в половината на пет, когато се качих в таксито, ми се искаше да завъртя главата на 270 градуса на онзи чичко, който е измислил този сутрешен влак.
„Всички добри датацентрове си приличат“ - помислих си, когато научих, че ни поканиха в гости момчетата от DataLine.
Както се оказа, всеки датацентър е добър (или лош) по свой собствен начин, особено когато натрупаш опит, събереш всичките грабли наоколо и извлечеш уроците от собствения (и малко, чужд) богат опит. И така, ние (в състав от пет водещи linkmeup и приятели, които се присъединиха) решихме да проверим колко добри (или не много) са датацентровете OST и NORD.
След като успяхме малко да поработим по пътя (тук можеше да има реклама на един мобилен оператор, но не - покритието беше толкова лошо, колкото и остана), излизаме на Ленинградската гара. Е, поне не под Газманов.
Започнахме нашата екскурзия по „салатови“ ЦОД с OST - „онзи, който неотдавна „гореше“. Защо в кавички - след това. А засега - стоим, пушим, чакаме закъсняващите. Фотографираме офиса на RT наблизо. Има много забавни истории, свързани с това съседство - започвайки от полагането на нов асфалт и боядисването на бордюрите преди идването на Високи Персони и стигайки до отстъпки в околните кафенета, които давали на даталайновците заради сходството на значките.
Рупор на тоталитарната пропаганда
Датацентър с строг (пропускателен) режим
Пропуск, правила за поведение, месомелачка на входа - почти такова нещо видяхме . Колко много кафе сте видели в центровете за данни? Ние, ето, сега знаем за едно-две. Служителите и клиентите имат „кафейни“ депозити на баджовете си, които регулярно се попълват. Така че в разумни граници, можете да се насладите на безплатно кафе. И нас, като ценни гости, също ни почерпиха.
Не мога да кажа нищо лошо за кафето — напълно обичайно за „мрежова“ кафе, но местоположението неволно изкушава, а интериорът е в най-добрите съвременни традиции.
Интериорът на местното кафе
На снимките са центровете за данни NORD
Екскурзията започва от офиса. Освен известните на целия Рунет надписи по стените и бяло-зеления цвят, има и някои забавни неща. Това е реквизит, останал от представления на корпоративния театър (можете ли да си представите техническия директор на мрежа от центрове за данни, играещ в спектакъл? А ние го познаваме лично.).
Вярно е
Снимки от спектаклите
ЦОД (точно казано, четири ЦОДа) се намират в комплекс от промишлени сгради, построени още в предишния век (тогава — завод „Ситроен“, а по времето на СССР — завод „Гидропривод“), така че от една страна — тук има суров индустриален стил, метални греди, атмосфера на лофт и индустриални артефакти от различни епохи, които все още се откриват при различни работи. От друга страна — херметичните зони на ЦОДа трябва да се вписват в съществуващите конструкции и периодично се налага да прибягват до компромиси с реалността. Все пак, не бих казал, че тези компромиси са повлияли на качеството — но определено е трябвало да поработят здраво при проектирането. Още, по слухове, някъде наблизо преминава Мetro-2, но това не е точно.
Освен театъра, тук има и собствен музей. Експонатите са археологически находки.
Няколко думи за . Да, сградата (или по-скоро покривът) наистина гореше. Страдаха външните блокове на охладителните системи и хладоагентите. Някъде изгори проводка и климатизаторите останаха без електричество. Някъде избухнаха тръбопроводите за фреон. Но, въпреки това, херметичните зони издържаха тонове излята вода, оборудването оцелялo. Възстановяването се осъществяваше под управлението на
Лично проверихме залата, която най-много
Статусна панел
Разхождайки се по коридорите, виждаме сензорен дисплей с нещо, много подобно на схема на машинните зали на ЦОДа. Това е статусна панел. Те са разположени в коридорите и позволяват на инжинерите на място бързо да намерят, например, необходимия климатизатор, както и просто да съобщават текущия статус.
Мониторингът е основан на Nagios (вече има няколко независими клъстера) и обхваща всичките датацентрове (и OST, и NORD). Допълнително има приложения за Android и iOS (за клиенти и служители), и статусна страница директно на сайта.
На дисплея забелязвам необичайно висок PUE — не навсякъде в Русия е прието да се смята, но все пак 1.90 е малко много. Отговорът на това е чисто икономически — през 2012-2013 година стелажите в ЦОД-овете се разпродаваха като горещи палачинки, така че не беше на дневен ред емоции и енергийна ефективност. Слагаме каквото има на пазара, правим максимално бързо и не се интересуваме от тези ваши PUE изобщо, защото защо? Още на етап проектиране се изкупува 80-90% от стелажите, а законодателството в Русия не иска да знае нищо за енергийна ефективност. Макар че някоя комисия в Амстердам може да падне от такива цифри.
Нищо лично. Просто бизнес.
Още една характеристика – това е маркирането на дата-центровете. На всяка площадка дата-центровете, освен „официалната“ цифрово-буквена кодировка, имат „човешки“ псевдоними от военноморския алфавит (Алфа-Браво-Чарли-Делта…). По някаква причина всички клиенти обичат да заливат със спирт напитката Whiskey.
В грижата за клиентите няма малки детайли.
Такива „огради“ поставят за някои клиенти. В нашите машзалове не ни позволиха да снимаме, затова фотото е на DataLine ©.
Клиентите на DataLine са изцяло големи и уважавани компании, които не обичат, когато фотографират тяхното оборудване. Особено когато името (или логото) на клиента е написано с големи букви направо на рафта. Не обичат – и това е всичко. Затова снимките, които направихме, бяха на известните вече стени с различни надписи и инженерните системи. Инженерните системи също не е позволено да се снимат навсякъде, но ние се стараем. Понеже клиентите са големи и уважавани, техните искания също са специфични – специални стойки (или изобщо някакъв ултра СХД от няколко vendor-ски рафта), свои огради, свои СКУД, собствено видеонаблюдение и група за бързо реагиране с автомати. Всъщност, едно от неофициалните (и официални също) правила на DataLine е да се грижи за клиента и да му осигури добро обслужване. Започвайки от жилетки и обособени работни места с интернет и зарядни устройства, и завършвайки с различни събития за клиентите. Последните са много полезни и заради това, че същите хора, преминавайки от компания на компания, ги довеждат в DataLine. Просто защото тук всичко е уютно, удобно и надеждно. Бизнесът на DataLine не се състои само в предоставяне на стойки. Това е и облак, сертифициран както по 152-ФЗ, така и по PCI-DSS (за това планираме да направим подкаст, следете анонсите), и предоставяне на свързаност (собствени влакна между площадките и от всяка от тях до М9, собствено оптично кольо по града, и така до организиране на последната миля до клиента).
М – мотивация.
Словом за надписите – идеи идват не само от служителите, но и от партньори и клиенти, след което за най-успешните може да се гласува на DataLine в FB. И можете да предложите своята идея там също.
Среща на Елба.
Кроссовата (снимка предоставена от компанията DataLine).
Спираме се при Meet-Me-Room, където се намират операторите. В MMR (имаме три двойки в OST, по броя на основните входове за оптика, за активна и пасивна работа) се свързват всички връзки от дата-центровете. В кросовата всичко е скучно и подредено. Затова там, където е активното оборудване на операторите, си спомняш за най-добрите години и кадри от някое BM18: спагети от кабели и разнообразно оборудване (DLink, Extreme, Juniper, Mikrotik… и така до ASR9k). Операторите тук са повече от петдесет, така че всичко е шарено. От MMR оптика и медна връзка се разпространяват по машинните зали. Минимум две траси за всеки (възможни варианти), така че за надеждността на връзката не е нужно да се притеснявате. MMR се нарича „Елба“, което е доста умно.
Имате ли нужда от IBM Power?
Още едно откритие — IBM P-series, който никога не е включван, и той вече няколко години седи в един от коридорите. Машината (заедно с касетната библиотека и СХД) е поръчана от един от клиентите, но „не се е използвала“, така че я подарили на датацентъра. Оттогава стои.
Добре, вероятно е да си заможен и да правиш такива подаръци, нали? (А може и да не са я подарили, а да са я забравили. Или да са я загубили на карти. Но стои отдавна)
Ето каква красота стои в NORD-4
Отиваме в енергоцентъра — три (или даже четири) дизелови генератора на всеки ЦОД (да напомня, в OST са четири). Дизелът достига пълната мощност за 30-40 секунди и осигурява 1900kVA. Резервиране N+1, синхронизация и други — в комплекта. Най-дългото време на работа с дизелови генератори в OST — 12 часа. В NORD — 2.5 дни (все пак, хранилището на 85 тона не е шега работа).
Разбира се, има договори с различни горивни компании за доставка на гориво. Превключването на дизел настъпва редовно, така че горивото се изразходва, а договорите се проверяват. Между другото, според информация от колеги, в NORD, по време на тестването на дизеловите генератори, което обикновено отнема не един час, на мястото, откъдето излиза горещият въздух от дизелите, дори през зимата успява да порасне трева.
След кратка закуска в вече познатото кафене, се отправяме към площадката NORD. Това не е един датацентър, а четири независими сгради на едно и също място. Всеки има свои входове за електричество, свои дизели и свое охлаждане. NORD-1 и NORD-2 преминаха одит на Uptime Institute M&O. Най-новият (и най-добрият ЦОД DataLine) — NORD-4, така че сме насочили стъпките си именно тук.
Въпреки огромното количество центрове за данни в Москва, все пак се наблюдава дефицит. Разбира се, ще ви доставят една-две рафтове без проблеми. Дори двадесет ще дадат. Повече - вече е въпрос (а при клиентите на DataLine с такива нужди - не са само един или два). Конкретно в NORD-4 има (поне засега), защото един голям клиент се премести в собствен новопостроен център за данни, но на други места може да не сте толкова късметлии. Въпреки това, в момента активно се проектира NORD-5, който обещават да стартират в началото на 2020 година.
Но да се върнем на нашата обиколка. Тъй като пътувахме с кола, ни пуснаха в шлюз, където автоматчици провериха номера на нашата кола с предварителната заявка, а всички пътници бяха помолени да излязат за получаване на пропуските (естествено, с паспорт). Безопасността е на първо място.
NORD-4 е гордостта на компанията и компилация на многогодишния опит в строителството и експлоатацията на центрове за данни, той има сертификати на Uptime Institute Tier III за проектен дизайн и съоръжение (т.е. построен център за данни), както и Operational Sustainability - хората подхождат много отговорно към делото. Вътре - четири независими един от друг херметични зони с по два зала в едно помещение. Всяка от тях има свой енергиен център (ДГУ, акумулаторни стаи), контури за охлаждане и системи за гасене на пожари. Общото са оптичните входове (два за сградата) и MMR.
Моддинг на здрав инженер
На входа на ЦОД ни чака кафе, което вече познаваме (а защо не?). Вдигаме се в централния мониторинг. В момента има два основни — в OST и NORD-4 (в NORD-1,2,3 също работят свои дежурни смени). От всеки център може да се следят и двата обекта, така че дори тук се осигурява излишна система n+1. На видеостената — вече познатите ни табла в зелени нюанси (параметрите там, разбира се, са много повече, отколкото на статусния дисплей). Малко говорим за мониторинга — никакви модни прометеуси и графан, само Nagios, само хардкор и собствена визуализация. През последните десет години (всъщност дори повече) са написани много кастомни проверки и скриптове, така че преминаването към нещо друго изглежда като истинско приключение. Приблизително веднъж месечно се появява нова компания, която предлага "бързо и безболезнено" да реши всички проблеми, но засега не се получава. Видеостената, между другото, също работи на самосборно решение, което е много по-евтино от търговските аналози.
Тукешният ЦУП
Когато проектираш, строиш и експлоатираш датацентрове в продължение на много години, вече не се страхуваш толкова да направиш нещо сам, вместо да купиш готово. Например, DataLine не се колебаят да кажат, че те, просто заради мащаба, са стъпили на максималния брой грабли, и всеки нов ЦОД — е син на трудни грешки и опит, който вече надхвърля десет години. Разбира се, във всеки нов ЦОД има свои ноу-хау, и разхождайки се из NORD, често си хващаш мисълта, че хората просто са взели и са свършили добре работата. Не за да се покажат, не за рейтинг и сертификати — обикновен инженерни процес, когато с всяка итерация израстваш в себе си и ставаш все по-добър. Външен наблюдател би казал, че е скучно и консервативно, а клиентът, напротив, подкрепя такава стабилност със собствените си средства. И за да направиш нещо добре, съвсем не е задължително да купуваш инженерни системи или софтуер за много-много пари (макар понякога и без това, не става). По-често решава опитът, знанието и инженерната смекалка.
Например, сградата NORD-4 има 3,5 етажа. Първите три са пълноценни, с височина на таваните 4.5 метра, където са разположени машзали. А последният е технически, с височина само 1.8 метра, и е отреден изцяло за система за охлаждане. Тъй като етажът е технически, изискванията към него са много по-ниски, което е позволило да се опрости проектът и да се спестят средства.
Изглед към триъгълния ЦОД
Макс притежава специално кунг-фу, за да не се издава на снимките
Завършваме екскурзията на покрива — оттук се открива прекрасна гледка към съседната ТЕЦ и жилищния комплекс, както и към другите сгради на NORD. Две от тях са триъгълни. В тази връзка колегите дори се шегуваха, че „DataLine — глупаци, строят безсмислено триъгълен ЦОД“, за да поставят там триъгълни стелажи и триъгълни сървъри. Но нищо — построили са го и успешно го експлоатират, а също така ефективно използват наличната територия (която в Москва, за да кажем, не е безплатна). Още един удивителен (за мен) факт — повечето търговски клиенти искат да се настанят именно в Москва. Площадката на по-половин километър по Минските шосе (дори и да има всички необходими мощности и комуникации) вече интересува малцина. Ето и всички търсят убежищество в оскъдната площ.
Градини — това вече не е ЦОД, а ТЕЦ
На това наше поредно пътуване поставяме край.
След това имаше дълъг и продуктивен разговор за съвместните планове и бъдещите подкасти (надявам се, да не се наложи да чакам дълго), затова следете новините, скоро ще има още повече интересни неща.
И какъвто желаещи да видят всичко с очите си, DataLine кани на екскурзия. Напълно безплатно, но по предварителна записка. На онези, които споменат кодовата дума „linkmeup“ — плюс в кармата.
Останете на линия!
Източник: habr.com
