Самая галоўная транспартная праблема ў Піцеры - гэта масты. Уначы з-за іх даводзіцца ўцякаць з шынка, не дапіўшы піва. Ну ці плаціць за таксі ў два разы больш, чым звычайна. Раніцай - старанна разлічваць час, каб як толькі мост звялі, ты спрытным мангустам паспеў на вакзал. Варыянт "начаваць дзе-небудзь у цэнтры, побач з вакзалам" мы не разглядаем, як ідэалагічна шкодны.
..."Сапсан", які сыходзіць у 5:30, прыдумалі людзі, якія ненавідзяць соў. Не, зразумела, вельмі зручна апынуцца ў Маскве ў дзевяць раніцы, а Піцер вар'яцка выдатны падчас белых начэй, але ў палову пятага, калі я сеў у таксі, мне хацелася павярнуць галаву на 270 градусаў таму жаўруку, які прыдумаў гэты ранішні цягнік.
"Усе добрыя датацэнтры падобныя адзін на аднаго" – думаў я, калі даведаўся, што нас запрасілі ў госці хлопцы з DataLine.
Як аказалася, кожны датацэнтр добры (ці дрэнны) крышачку па-свойму, асабліва калі наб'еш шышак, збярэш усе граблі ў акрузе і вывучыш урокі з уласнага (і, трошачкі, чужога) багатага вопыту. Вось мы (у складзе пяці вядучых linkmeup і якія далучыліся да іх сяброў і якія спачуваюць) і вырашылі праверыць, наколькі добрыя (ці не вельмі) датацэнтры OST і NORD.
Паспеўшы крыху папрацаваць у дарозе (тут магла б быць рэклама аднаго мабільнага аператара, але не – пакрыццё як было дрэнным, так і засталося), выгружаемся на Ленінградскім вакзале. Ну, хаця не пад Газманава.
Пачалі мы сваю экскурсію па «салатавых» ЦАД з OST – «таго самага», які не так даўно «гарэў». Чаму ў двукоссі - пасля. А пакуль - стаім, палім, чакаем спазняюцца. Фатаграфуем офіс RT па суседстве. З гэтым суседствам ёсць шмат пацешных гісторый - пачынаючы з кладкі свежага асфальта і афарбоўкі парэбрыкаў бардзюраў перад прыездам Высокіх Персон, і заканчваючы зніжкамі ў навакольных кавярыньках, якія даталайнаўцам рабілі з-за падабенства бэйджаў.
Рупар таталітарнай прапаганды
Датацэнтр строгага (прапускнога) рэжыму
Пропуск, правілы паводзін, мясасечка на ўваходзе - амаль такую ж мы бачылі . А ці шмат вы бачылі ў ЦАДах кавярняў? Мы, вось, зараз парачку ведаем. У супрацоўнікаў і кліентаў на бэйджах ёсць "кававыя" дэпазіты, якія рэгулярна папаўняюцца. так што ў разумных межах кавы можна пачаставацца зусім бясплатна. Нас, як дарагіх гасцей, таксама пачаставалі.
Пра каву не магу сказаць нічога дрэннага - цалкам звычайна для "сеткавай" кавярні, але вось размяшчэнне мімаволі падкупляе, а інтэр'ер прама ў лепшых сучасных традыцыях.
Інтэр'ер мясцовай кавярні
На фатаграфіях датацэнтры NORD
Экскурсія пачынаецца з офіса. Апроч вядомых на ўвесь Рунэт надпісаў на сценах і бела-салатавай гамы ёсць яшчэ і ўсякія пацешныя штукі. Гэта рэквізіт, які застаўся ад выступаў карпаратыўнага тэатра (вы можаце сабе ўявіць тэхнічнага дырэктара сеткі датацэнтраў, які грае ў спектаклі? А мы яго асабіста ведаем.).
І праўда
Фатаграфіі са спектакляў
ЦАД (а дакладней сказаць, чатыры ЦАДа) размяшчаюцца ў комплексе прамысловых будынкаў, пабудаваным яшчэ ў пазамінулым стагоддзі (тады - завод "Сітраён", а ў часы СССР - завод "Гідрапрывад"), так што з аднаго боку - тут суровы індастрыял, металічныя бэлькі, атмасфера лофта і прамысловыя артэфакты розных эпох, якія да гэтага часу знаходзяць пры правядзенні розных работ. З іншага - гермазоны ЦОДа трэба ўпісваць у існуючыя канструкцыі, і перыядычна ісці на кампрамісы з рэальнасцю. Зрэшты, не сказаў бы, каб гэтыя кампрамісы адбіліся на якасці - але рабятам, напэўна, прыйшлося папацець пры праектаванні. Яшчэ, па чутках, недзе побач праходзіць Метро-2, але гэта не дакладна.
Акрамя тэатра, тут ёсць і свой музей. Экспанаты, натуральна - археалагічныя знаходкі
Пару слоў аб . Так, будынак (а, дакладней, дах) сапраўды гарэў. Пацярпелі знешнія блокі сістэм астуджэння і холадатрасы. Недзе перагарэла праводка і кандыцыянеры засталіся без электрычнасці. Дзесьці ўзарваліся фрэанаправоды. Але, нягледзячы на гэта, гермазоны вытрымалі тоны вылітай на іх вады, абсталяванне ацалела. Аднаўлялі пад кіраваннем штаба у асобе вышэйшага кіраўніцтва ўсім мірам выграблі наогул усе медныя трубкі ў Маскве і наваколлях (прывозілі нават уначы на BMW X5) і ўсіх цвярозых монтажников. Крытычнае абсталяванне з пацярпелых датахолаў (пацярпелых ад адсутнасці холаду, не ад пажару!) аператыўна перанеслі па іншых залах, так што ўжо ў пяць раніцы паднялі не толькі ўсе свае сэрвісы, але і кліентаў.
Мы асабіста праверылі тую залу, якая больш за ўсё «пацярпела» — акрамя паху гару і замененых плітак фальшполу, пра пажар не нагадвае наогул нічога (акрамя стоек з абсталяваннем, «часова» завезеных у іншы дата-хол, ды там і тых, што засталіся).
Статусная панэль
Гуляючы па калідорах, бачым сэнсарны дысплей з нечым, вельмі падобным на схему машзалаў ЦАДа. Гэта статутная панэль. Іх у калідорах наторкана парадкам, і яны дазваляюць on-site інжынерам хутка знайсці, напрыклад, патрэбны кандыцыянер, ну і проста паведамляюць бягучы статут.
Маніторынг пабудаваны на Nagios (цяпер ужо некалькі незалежных кластараў) і пакрывае ўсе датацэнтры (і OST, і NORD). Дадаткова ёсць прыкладанні пад Android і iOS (для кліентаў і супрацоўнікаў), і статутная старонка прама на сайце.
На дысплеі заўважаю незвычайна высокі PUE – не ўсюды ў Расіі яго прынята лічыць, але ўсё-ткі 1.90 гэта некалькі шмат. Адказ на гэта асабліва эканамічны - у 2012-2013 гадах стойкі ў ЦАДах разыходзіліся, як гарачыя піражкі, так што было не да сантыментаў і энергаэфектыўнасці. Ставім тое, што ёсць на рынку, які робіцца максімальна хутка і не клапоцімся аб гэтых вашых PUE наогул, бо навошта? Яшчэ на стадыі праектавання выкупляецца 80-90% стоек, ну а заканадаўства ў РФ пра энергаэфектыўнасць ведаць нічога не жадае. Хоць якую-небудзь камісію ў Амстэрдаме кандраціяў бы хапіў ад такіх лічбаў.
Нічога асабістага. Проста бізнэс.
Яшчэ адна асаблівасць - гэта маркіроўка дата-холаў. На кожнай пляцоўцы дата-холы апроч «афіцыйнай» лічба-літарнай кадоўкі маюць «чалавечыя» псеўданімы з ваенна-марскога алфавіту (Альфа-Брава-Чарлі-Дэльта…). Чамусьці ўсе кліенты любяць залу Whiskey.
У справе клопату аб кліентах не бывае дробязяў
Такія платы ставяць для некаторых кліентаў. Нам у машзалах здымаць не дазволілі, таму фота DataLine ©
Кліенты DataLine – запар вялікія і паважаныя кампаніі, яны вельмі не кахаюць, калі фатаграфуюць іх абсталяванне. Тым больш, калі назва (або лагатып) кліента напісана прама на стойцы буйнымі літарамі. Не любяць - і ўсё тут. Таму здымалі мы сталыя ўжо знакамітымі сцены з рознымі надпісамі, ды інжынерку. Інжынерку фатаграфаваць можна таксама не ўсю і не ўсюды, але мы імкнуліся. Так як сярод кліентаў - вялікія і паважаныя, то і запыты ў іх бываюць спецыфічныя - спецыяльныя стойкі (ці наогул якая-небудзь убер СХД з некалькіх вендарскіх стоек), свае платы, свае СКУД, сваё відэаназіранне і група хуткага рэагавання з аўтаматамі. Наогул, адно з сакрэтных (і галосных таксама) правіл DataLine – гэта клапаціцца пра кліента і рабіць яму добра. Пачынаючы ад камізэльак і абсталяваных працоўных месцаў з выхадам у інтэрнэт і зарадкамі, і заканчваючы рознымі мерапрыемствамі для кліентаў. Апошнія вельмі карысныя яшчэ і з таго боку, што адны і тыя ж людзі, пераходзячы з кампаніі ў кампанію, прыводзяць іх у DataLine. Проста таму, што тут усё ўтульна, зручна і надзейна. Бізнес DataLine - гэта не толькі здача стойка-месцаў. Гэта яшчэ і воблака, адначасова сертыфікаванае і па 152-ФЗ і па PCI-DSS (пра яго мы збіраемся зрабіць падкаст, сачыце за анонсамі), і прадастаўленне складнасці (свае валакна паміж пляцоўкамі і ад кожнай з іх да М9, сваё аптычнае кольца па горадзе, і так аж да арганізацыі апошняй мілі да офіса кліента).
М - матывацыя
Дарэчы, пра надпісы - ідэі прыходзяць не толькі ад супрацоўнікаў, але і ад партнёраў і кліентаў, пасля чаго за самыя ўдалыя можна прагаласаваць на DataLine у FB. Ну і прапанаваць сваю ідэю можна тамака жа.
Сустрэча на Эльбе
Кросавая (фатаграфія прадстаўлена кампаніяй DataLine)
Спыняемся ў Meet-Me-Room, дзе размяшчаюцца аператары. У MMR (іх у OST тры пары, па ліку магістральных уводаў оптыкі, пад актыўку і пасіўку) зводзяцца падлучэнні са ўсіх дата-холаў. У кросавай усё сумна і акуратна. Затое тамака, дзе варта аператарская актыўка, успамінаеш лепшыя гады і кадры з якога-небудзь БМ18: локшына з правадоў і разнамаснае абсталяванне (DLink, Extreme, Juniper, Mikrotik… і так да ASR9k). Аператараў тут больш за паўсотні, так што ўсё стракатае. З MMR оптыка і медзь разыходзіцца па машзала. Мінімум дзве трасы на кожны (магчымыя варыянты), так што за надзейнасць падключэння можна не перажываць. MMR называецца "Эльба", што вельмі тонка.
IBM Power н-нада?
Яшчэ адна знаходка – гэта IBM P-series, які ні разу не ўключалі, і ён ужо некалькі гадоў стаіць у адным з калідораў. Машыну (разам са істужачнай бібліятэкай і СГД) замовіў адзін з кліентаў, але «не спатрэбілася», таму яе падарылі датацэнтру. З таго часу і стаіць.
Добра, мусіць, быць заможнымі хлопцамі і рабіць такія падарункі, так? (А можа і не падарылі, а забыліся. Ці ў карты прайгралі. Але стаіць даўно)
Вось такі прыгажун стаіць у NORD-4
Ідзем у энергацэнтр – тры (а то і чатыры) ДДУ на кожны ЦАД (нагадаю, у OST іх чатыры). Дызель выходзіць на поўную магутнасць за 30-40 секунд і выдае 1900кВА. Рэзерваванне N+1, сінхранізацыя, і іншае - у камплекце. Самае вялікае час сядзення на дызелях у OST - 12 гадзін. у NORD – 2.5 сутак (усё ж сховішча на 85 тон гэта вам не хухры-мухры).
Зразумела, ёсць дамовы з рознымі паліўнымі кампаніямі на падвоз паліва. Пераключэнне на дызель адбываецца рэгулярна, так што і паліва выпрацоўваецца, і кантракты правяраюцца. Дарэчы, па словах калег, у NORD пры тэставанні ДДУ, якое звычайна займае не адну гадзіну, на месцы, куды выкідваецца гарачае паветра ад дызеляў, нават зімой паспявае зазелянець трава.
Пасля кароткага перакусу ва ўжо знаёмай кавярні едзем на пляцоўку NORD. Гэта таксама не адзін датацэнтр, а чатыры незалежныя будынкі на адной тэрыторыі. У кожнага свае ўводы электрычнасці, свае дызелі і сваё астуджэнне. NORD-1 і NORD-2 прайшлі аўдыт Uptime Institute M&O. Самы свежы (і самы лепшы ЦОД DataLine) - NORD-4, так што ідзем мы менавіта сюды.
Пры велізарнай, здавалася б, колькасці ЦАД у Маскве, усё роўна назіраецца дэфіцыт. Не, вядома, адну-дзве стойкі вам отгрзузят без праблем. Нават дваццаць дадуць. Больш – ужо пытанне (а ў DataLine кліентаў з такімі патрэбамі – не адзін і не два). Менавіта ў NORD-4 месца (пакуль) ёсць, бо адзін буйны клінет з'ехаў у свой уласны свежепостроенный ЦАД, але вось у іншых месцах так можа ўжо не павезці. Тым не менш, зараз на ўсю моц ідзе праектаванне NORD-5, які абяцаюць запусціць у пачатку 2020 года.
Але вернемся да нашай экскурсіі. Бо ехалі мы на машыне, то нас запусцілі ў шлюз, у якім нас узялі на прыцэл аўтаматчыкі нумар нашай машыны зверылі з заяўкай, а ўсіх пасажыраў папыталі выйсці для атрымання пропускаў (зразумела, па пашпарце). Бо Б - бяспека.
NORD-4 – гэта гонар кампаніі і кампіляцыя шматгадовага вопыту ў будаўніцтве і эксплуатацыі датацэнтраў, ён мае сертыфікаты Uptime Institute Tier III на дызайн-праект і Facility (г.зн. пабудаваны ЦАД), а таксама Operational Sustainability – хлопцы да справы падышлі максімальна адказна. Унутры — чатыры незалежныя адна ад адной гермазоны па дзве залы ўнутры аднаго будынка. У кожнай - свой энергацэнтр (ДГУ, акумулятарныя пакоі) контуры астуджэння і сістэмы пажаратушэння. Агульнага - уводы оптыкі (іх два на будынак) і MMR.
Модынг здаровага інжынера
На ўваходзе ў ЦАД чакае ўжо знаёмая нам кавярня (ну а чаму б і не?). Падымаемся ў цэнтр маніторынгу. Галоўных цяпер два – у OST і NORD-4 (у NORD-1,2,3 таксама сядзяць свае дзяжурныя змены). З кожнага цэнтра можна сачыць за абедзвюма пляцоўкамі, так што нават тут забяспечваецца redundancy n+1. На відэасцяне - ужо знаёмыя нам дашборды ў салатавай гаме (параметраў на ёй, зразумела, значна больш, чым на статутным дысплеі). Трохі маем зносіны за маніторынг ніякіх модных праметэусаў і графан, толькі Nagios, толькі хардкор і самапісная візуалізацыя. За дзесяць гадоў (зрэшты, нават больш) выкарыстанні напісана ўжо мноства кастамных праверак і скрыптоў, так што з'язджаць на нешта іншае выглядае той яшчэ авантурай. Прыкладна раз у месяц з'яўляецца чарговая кампанія, якая прапануе "хутка і бязбольна" вырашыць усе праблемы, але пакуль неяк не складаецца. Відэасцяна, дарэчы, таксама працуе на самазборным рашэнні, якое атрымалася ў разы танней камерцыйных аналагаў.
Тутэйшы ЦКП
Калі шмат гадоў праектуеш, будуеш і эксплуатуеш датацэнтры, то ўжо не так моцна баішся рабіць нешта сам, а не купляць гатовае. DataLine, напрыклад, не саромеецца казаць, што яны, проста за кошт маштабу, наступілі на максімальную колькасць грабляў, і кожны новы ЦАД – гэта сын памылак цяжкіх і досведу, які налічвае ўжо больш за дзесяць гадоў. Зразумела, у кожным новым ЦАД ёсць свае ноу-хау, і, гуляючы па NORD, раз-пораз ловіш сябе на думкі, то людзі проста ўзялі, і зрабілі добра. Не понта дзеля, не дзеля рэйтынгаў і сертыфікатаў - звычайны інжынерны працэс, калі на кожнай ітэрацыі ты расцеш над сабой і становішся ўсё лепш і лепш. Іншы назіральнік скажа, што гэта сумна і кансерватыўна, а вось кліент, наадварот, падтрымлівае такую стабільнасць уласнымі грашыма. І для таго, каб зрабіць добра, зусім не абавязкова купляць інжынерныя сістэмы ці софт за шматліка-шмат грошай (хоць і без гэтага, часам, ніяк). Часцей вырашае досвед, веды і інжынерная кемлівасць.
Напрыклад, будынак NORD-4 налічвае 3,5 паверха. Першыя тры - паўнавартасныя, са столямі ў 4.5 метра, дзе размяшчаюцца машзалы. А апошні - тэхнічны, вышынёй усяго 1.8 метра, і аддадзены чыста пад сістэму астуджэння. Так як паверх тэхнічны, то і патрабаванні да яго значна ніжэйшыя, што дазволіла спрасціць праект і зэканоміць грошы.
Погляд на трохкутны ЦАД
Макс валодае асаблівым кунг-фу не паліцца на фотках
Завяршаем экскурсію на даху — адсюль адкрываецца выдатны від на ЦЭЦ, якая стаіць побач, і жылы масіў, а таксама на іншыя будынкі NORD. Два з іх трохкутныя. З гэтай нагоды калегі нават смяяліся, што "DataLine – дэбілы, будуюць навошта-то трохкутны ЦАД" Каб ставіць там трохкутныя стойкі і трохкутныя серверы. Але нічога - пабудавалі і паспяхова эксплуатуюць, а заадно эфектыўна выкарыстоўваюць наяўную тэрыторыю (якая ў Маскве, трэба сказаць, не бясплатная). Яшчэ адзін дзіўны (для мяне) факт - большасць камерцыйных кліентаў хоча размяшчацца менавіта ў Маскве. Пляцоўка за паўста кіламетраў па Мінскай шашы (нават калі ёсць усе неабходныя магутнасці і камунікацыі) ужо мала каму цікавая. Вось і туляцца ўсё ў негумовай.
Градзірні - гэта ўжо не ЦАД, а ЦЭЦ
На гэтым нашае чарговае вандраванне падышло да канца.
Пасля была яшчэ доўгая і прадуктыўная гутарка пра сумесныя планы і будучыя падкасты (спадзяюся, доўга чакаць не давядзецца), так што сочыце за навінамі, хутка будзе яшчэ больш цікавага.
Ну а жадаючых убачыць усё на свае вочы DataLine запрашае на экскурсію. Зусім бясплатна, але па папярэднім запісе. Тым, хто назаве кодавае слова "linkmeup" - плюс у карму.
Сачыце за абнаўленнямі!
Крыніца: habr.com