Најважниот транспортен проблем во Санкт Петербург се мостовите. Навечер поради нив мораш да бегаш од кафаната без да си го завршиш пивото. Па, или плаќајте двојно повеќе за такси од обично. Наутро внимателно пресметајте го времето за штом ќе се затвори мостот да стигнете до станицата како агилен мангуста. Опцијата „да преноќиме некаде во центарот, во близина на станицата“ не ја сметаме за идеолошки штетна.
...„Перегрин сокол“, тргнување во 5:30 часот, го измислија луѓе кои мразат бувови. Не, се разбира, многу е погодно да се биде во Москва во девет часот наутро, а Санкт Петербург е неверојатно убав во текот на белите ноќи, но во четири и пол, кога влегов во таксито, сакав да ја свртам главата 270 степени до чуругот кој го измислил овој утрински воз.
„Сите добри центри за податоци се исти“, си помислив кога дознав дека момците од DataLine не поканија да ги посетиме.
Како што се испоставува, секој центар за податоци е добар (или лош) на свој начин, особено кога ќе го достигнете големото време, ќе ги соберете сите гребла во областа и ќе научите лекции од вашите (и, малку, од туѓите ) богато искуство. Затоа, ние (составени од пет водечки linkmeup и нивните пријатели и симпатизери) решивме да провериме колку се добри (или не толку добри) центрите за податоци OST и NORD.
Откако успеавме да направиме малку работа на патот (тука може да има оглас за еден мобилен оператор, но не - покриеноста беше сè уште лоша), се истоваривме на станицата Ленинградски. Па, барем не под Газманов.
Ја започнавме нашата обиколка на центрите за податоци „вар“ со OST - „истиот“ што „гореше“ не толку одамна. Зошто во наводници - после. Во меѓувреме стоиме, пушиме и ги чекаме оние што доцнат. Фотографирање на канцеларијата на RT во соседството. Има многу смешни приказни за оваа населба - од поставување свеж асфалт и бојадисување рабници пред доаѓањето на достоинственици, до попусти во блиските кафулиња што им беа дадени на жителите на Даталајн поради сличноста на нивните значки.
Гласноговорник на тоталитарната пропаганда
Центар за податоци на строг (пристап) режим
Пропусница, правила на однесување, мелница за месо на влезот - речиси истата што ја видовме . Дали сте виделе многу кафулиња во центри за податоци? Сега знаеме еден пар. Вработените и клиентите имаат депозити за „кафе“ на нивните значки, кои редовно се надополнуваат. Така, во разумни граници, можете да се почестите со кафе целосно бесплатно. И ние како драги гости бевме почестени со оброк.
Не можам да кажам ништо лошо за кафето - тоа е сосема нормално за „синџир“ кафуле, но локацијата е неволно воодушевувачка, а ентериерот е во склад со најдобрите модерни традиции.
Внатрешност на локално кафуле
Фотографиите покажуваат центри за податоци на NORD
Турата започнува од канцеларијата. Покрај натписите на ѕидовите и белата и лимевата шема на бои позната низ Рунет, има и секакви смешни работи. Ова се реквизити останати од корпоративните театарски претстави (можете да замислите технички директор на мрежа на центри за податоци да игра во претстава? И ние лично го познаваме.).
И тоа е вистина
Фотографии од настапи
Центарот за податоци (или поточно, четири центри за податоци) се наоѓа во комплекс од индустриски згради изградени уште пред минатиот век (тогаш фабриката Цитроен, а во советско време фабриката Гидропривод), така што од една страна постои суров индустриски изглед, метални греди, атмосфера на мансарда и индустриски артефакти од различни епохи кои сè уште се наоѓаат при различни дела. Од друга страна, херметичките зони на центарот за податоци треба да се вклопат во постоечките структури и одвреме-навреме мора да се прават компромиси со реалноста. Сепак, не би рекол дека овие компромиси влијаеле на квалитетот - но момците веројатно мораа да работат напорно за време на дизајнот. Исто така, според гласините, Метро-2 поминува некаде во близина, но тоа не е сигурно.
Покрај театарот, има и музеј. Експонати, природно - археолошки наоди
Неколку зборови за . Да, зградата (или подобро, покривот) навистина гореше. Оштетени се надворешните блокови на системите за ладење и ладни цевки. Некаде изгореа жиците, а клима уредите останаа без струја. Некаде експлодираа цевки од фреон. Но, и покрај тоа, херметичките зони издржаа тони вода што се излеа врз нив, а опремата преживеа. Тие го вратија под контрола на „штабот“ претставен од највисокото раководство на целиот свет - ги извадија сите бакарни цевки во Москва и околината (дури ги носеа ноќе со BMW X5) и сите трезвени монтери. Критичната опрема од оштетените датахали (оштетена од недостаток на студ, не од пожар!) брзо беше преместена во други сали, така што до пет часот наутро не само што ги подигнаа сите свои услуги, туку и клиентите.
Ние лично ја проверивме салата што „најмногу настрада“ - освен мирисот на запаленото и заменетите плочки на подигнатиот под, ништо не потсетува на пожар (освен решетките со опрема што беа „привремено“ однесени во друга сала за податоци, и остана таму).
Статусна табла
Шетајќи по ходниците, гледаме дисплеј на допир со нешто многу слично на дијаграмот на турбинските простории на центарот за податоци. Ова е панелот за статус. Ги има во многу низ ходниците и им овозможуваат на инженерите на лице место брзо да го најдат, на пример, потребната клима и едноставно да ја пријават моменталната состојба.
Мониторингот е изграден на Nagios (сега веќе има неколку независни кластери) и ги опфаќа сите центри за податоци (и OST и NORD). Дополнително, има апликации за Android и iOS (за клиенти и вработени) и страница за статус директно на веб-страницата.
На дисплејот забележувам невообичаено висок PUE - не е прифатен насекаде во Русија, но сепак 1.90 е некако висока. Одговорот на ова е чисто економски - во 2012-2013 година, решетките во центрите за податоци се продаваа како колачи, па немаше време за сентименталност и енергетска ефикасност. Ние го инсталираме она што е на пазарот, го правиме тоа што е можно побрзо и воопшто не се грижиме за вашиот PUE, затоа што зошто? Дури и во фазата на дизајнирање, се купуваат 80-90% од решетките, но законодавството во Руската Федерација не сака да знае ништо за енергетската ефикасност. Иако некоја комисија во Амстердам би била задоволна со такви бројки.
Ништо лично. Само бизнис.
Друга карактеристика е означувањето на салите за податоци. На секоја локација, салите за податоци, покрај „официјалното“ алфанумеричко кодирање, имаат и „човечки“ псевдоними од поморската азбука (Алфа-Браво-Чарли-Делта...). Поради некоја причина, сите клиенти ја сакаат просторијата за виски.
Нема мали детали кога станува збор за грижата за клиентите.
Вакви „огради“ се подигнати за некои клиенти. Не смеевме да сликаме во турбинските простории, па фотографијата е DataLine ©
Клиентите на DataLine се претежно големи и почитувани компании; тие навистина не сакаат нивната опрема да се фотографира. Покрај тоа, ако името (или логото) на клиентот е напишано директно на шалтерот со големи букви. Не им се допаѓа - тоа е сè. Затоа, ги снимавме веќе познатите ѕидови со разни натписи, а инженерот. Исто така, не е можно да се фотографира целиот инженер и не секаде, но се обидовме. Бидејќи нашите клиенти се големи и почитувани, тие исто така имаат специфични барања - специјални лавици (или некој вид убер систем за складирање од неколку лавици за продавачи), свои огради, сопствени системи за контрола на пристап, сопствен видео надзор и тим за брз одговор со митралези. Генерално, едно од неискажаните (и јавни) правила на DataLine е да се грижиш за клиентот и да му правиш добро. Почнувајќи од елеци и опремени работни станици со пристап до Интернет и полначи, до разни настани за клиентите. Вторите се исто така многу корисни по тоа што истите луѓе, движејќи се од компанија до компанија, ги носат на DataLine. Едноставно затоа што сè овде е пријатно, удобно и сигурно. Бизнисот на DataLine не се однесува само на изнајмување простор за багажници. Ова е, исто така, облак, истовремено сертифициран според 152-FZ и PCI-DSS (ќе направиме подкаст за тоа, останете во тек за најавите) и обезбедува поврзување (свои влакна помеѓу сајтовите и од секоја од нив до М9, сопствен оптички прстен низ градот и така натаму до организацијата на последната милја до канцеларијата на клиентот).
М - мотивација
Кога сме кај натписите, идеите не доаѓаат само од вработените, туку и од партнерите и клиентите, по што можете да гласате за најуспешните на DataLine во FB. Па, можете да ја предложите вашата идеја таму.
Состанок на Елба
Крос (фотографијата е дадена на DataLine)
Застануваме во Meet-Me-Room, каде што се наоѓаат операторите. Во MMR (во OST има три пара, според бројот на главни оптички влезови, за активни и пасивни) поврзувањата од сите податочни сали се комбинираат. Во крос-кантри чевли сè е досадно и уредно. Но, каде што е активна камерата, се сеќавате на најдобрите години и снимки од некои BM18: тестенини направени од жици и разновидна опрема (DLink, Extreme, Juniper, Mikrotik... и така натаму до ASR9k). Овде има повеќе од педесет оператори, така што сè е шарено. Од ММР оптика и бакар се дистрибуираат до машинските простории. Најмалку две рути за секоја (возможни се варијанти), така што не мора да се грижите за веродостојноста на врската. ММР се нарекува „Елба“, што е прилично суптилно.
IBM Power nada?
Друго откритие е IBM P-серијата, која никогаш не била вклучена, а веќе неколку години стои во еден од ходниците. Машината (заедно со библиотеката со касети и системот за складирање) беше нарачана од еден од клиентите, но „не беше корисна“, па беше донирана во центарот за податоци. Оттогаш стои.
Веројатно е добро да се биде богат момци и да се даваат такви подароци, нели? (Или можеби не го дадоа како подарок, туку заборавија. Или изгубија на карти. Но, постои долго време)
Овој убав човек стои во NORD-4
Одиме во енергетскиот центар - три (или дури четири) дизел генератори за секој центар за податоци (да ве потсетам, има четири од нив во OST). Дизел моторот ја достигнува целосната моќност за 30-40 секунди и произведува 1900 kVA. Вклучено N+1 вишок, синхронизација итн. Најдолгото време на седење на дизел моторите во OST е 12 часа. во NORD - 2.5 дена (на крајот на краиштата, складиште за 85 тони не е многу пари).
Секако, има договори со различни компании за гориво за набавка на гориво. Префрлувањето на дизел се случува редовно, така што и горивото се произведува и договорите се проверуваат. Патем, според колегите, во NORD, при тестирање на гарнитурите на дизел генератори, што обично трае повеќе од еден час, на местото каде што се испушта топол воздух од дизел моторите, дури и во зима тревата успева да позелени.
По кратка ужина во познато кафуле, се упатуваме кон локацијата на NORD. Ова исто така не е еден центар за податоци, туку четири независни згради на иста територија. Секој има свои влезови за електрична енергија, свои дизел мотори и сопствено ладење. NORD-1 и NORD-2 беа ревидирани од Uptime Institute M&O. Најновиот (и најдобар центар за податоци DataLine) е NORD-4, па до тука одиме.
И покрај навидум огромниот број на центри за податоци во Москва, сè уште има недостиг. Не, се разбира, една или две лавици ќе ви бидат испорачани без никакви проблеми. Ќе ти дадат дури и дваесет. Повеќе е прашање (и DataLine има повеќе од еден или двајца клиенти со такви потреби). Поточно, во NORD-4 има место (засега), бидејќи еден голем клиент се преселил во својот новоизграден центар за податоци, но на други места ова можеби нема да има толку среќа. Сепак, дизајнот на NORD-5 сега е во полн замав, кој се ветува дека ќе биде лансиран на почетокот на 2020 година.
Но, да се вратиме на нашата екскурзија. Бидејќи патувавме со автомобил, нè пуштија во портата, каде што митралезите нè нишаа, го проверија бројот на нашиот автомобил со апликацијата и ги замолија сите патници да излезат за да добијат пропусници (се разбира со нивните пасоши). Бидејќи Б е безбедност.
NORD-4 е гордост на компанијата и компилација од долгогодишно искуство во изградбата и работењето на центрите за податоци, има Uptime Institute Tier III сертификати за проектен проект и објект (т.е. изграден центар за податоци), како и оперативна одржливост - Момците одговорно пристапија кон работата на најдобриот можен начин. Внатре има четири херметички зони, независни една од друга, со по две сали во една зграда. Секој има свој центар за напојување (дизел генератор, простории за батерии), кола за ладење и системи за гасење пожар. Општи - оптички влезови (има по два од нив по зграда) и MMR.
Здрав инженер Моддинг
На влезот во центарот за податоци, ни чека веќе познато кафуле (добро, зошто да не?). Се качуваме до мониторинг центарот. Сега има две главни - во OST и NORD-4 (NORD-1,2,3 исто така имаат свои дежурства). Од секој центар можете да ги погледнете двете локации, така што и тука е обезбеден вишок n+1. На видео ѕидот веќе има познати контролни табли во светло зелена шема на бои (има, се разбира, многу повеќе параметри на него отколку на приказот на статусот). Малку комуницираме за мониторингот - нема фенси Прометеј и Графан, само Нагиос, само хардкор и домашна визуелизација. Во текот на десет години (сепак, уште повеќе) користење, веќе се напишани многу сопствени проверки и скрипти, па префрлањето на нешто друго изгледа како коцкање. Отприлика еднаш месечно се појавува друга компанија која нуди да ги реши сите проблеми „брзо и безболно“, но некако сè уште не успева. Видео ѕидот, патем, работи и на самосклопено решение, кое се покажа дека е неколку пати поевтино од комерцијалните аналози.
Локален контролен центар
Кога веќе долги години дизајнирате, градите и управувате со центри за податоци, повеќе не се плашите да направите нешто сами отколку да купите нешто готово. DataLine, на пример, не се двоуми да каже дека, едноставно поради обемот, тие стапнале на максималниот број на грешки, а секој нов центар за податоци е резултат на тешки грешки и искуство кое трае повеќе од десет години. . Се разбира, секој нов центар за податоци има свое знаење, и додека шетате низ NORD, одвреме-навреме се фаќате себеси како мислите дека луѓето едноставно го направиле тоа и го направиле добро. Не заради покажување, не заради рејтинзи и сертификати - нормален инженерски процес, кога при секое повторување растете над себе и станувате се подобри и подобри. Надворешен набљудувач ќе каже дека ова е досадно и конзервативно, но клиентот, напротив, ја одржува таквата стабилност со свои пари. И за да се направи тоа добро, воопшто не е неопходно да се купуваат инженерски системи или софтвер за многу, многу пари (иако понекогаш не можете да го направите без него). Искуството, знаењето и инженерската генијалност често одлучуваат.
На пример, зградата NORD-4 има 3,5 ката. Првите три се полноправни, со тавани од 4.5 метри, каде што се сместени турбинските простории. А последниот е технички, висок само 1.8 метри и е посветен чисто на системот за ладење. Бидејќи подот е технички, барањата за него се многу помали, што го поедностави проектот и заштеди пари.
Поглед на триаголниот центар за податоци
Макс има посебна кунг фу способност да не се изгори на фотографиите
Турата ја завршуваме на покривот - оттука имаме одличен поглед на блиската термоцентрала и станбена зона, како и други згради на NORD. Две од нив се триаголни. За ова, колегите дури се насмеаа дека „DataLine се морони, поради некоја причина градат триаголен центар за податоци“ за да инсталираат триаголни лавици и триаголни сервери таму. Но, ништо - изградија и успешно функционираат, а во исто време ефикасно ја користат постојната територија (која во Москва, мора да се каже, не е бесплатна). Друг изненадувачки (за мене) факт е дека мнозинството комерцијални клиенти сакаат да бидат лоцирани во Москва. Локација оддалечена половина сто километри покрај автопатот Минск (дури и ако ги има сите потребни капацитети и комуникации) повеќе не е интересна за никого. Значи сите се гушкаат во негумена.
Кулите за ладење повеќе не се центри за податоци, туку термоелектрани
Со ова, нашето следно патување заврши.
Потоа имаше уште еден долг и продуктивен разговор за заедничките планови и идните подкасти (се надевам дека нема да чекаме долго), па останете во тек, наскоро ќе има уште поинтересни работи.
Па, ако сакате да видите сè со свои очи, DataLine ве кани на турнеја. Целосно бесплатно, но со закажување. Оние кои го нарекуваат кодниот збор „линкмауп“ ќе добијат плус во карма.
Останете со нас!
Извор: www.habr.com