Прысвячаю гэтую пасаду тым людзям, якія хлусілі ў сертыфікатах, з-за чаго мы ледзь было не ўсталявалі ў нас у залах бенгальскія агні.
Гісторыі больш за чатыры гады, але публікую цяпер, таму што скончыўся NDA. Тады мы зразумелі, што загрузілі дата-цэнтр (які здаем у арэнду) амаль поўнасцю, а энергаэфектыўнасць у яго нешта не вельмі палепшылася. Раней гіпотэза была ў тым, што чым мацней мы яго запаўняем, тым лепш, бо інжынерка размяркоўваецца на ўсіх. Але аказалася, што мы сябе ў гэтым плане падманвалі, і пры добрай загрузцы недзе былі страты. Працавалі мы па шматлікіх кірунках, але наша адважная каманда занялася астуджэннем.
Рэальнае жыццё дата-цэнтра — гэта крыху не тое, што ў праекце. Пастаянныя дакручванні ад службы эксплуатацыі для павышэння эфектыўнасці і аптымізацыя налад пад новыя задачы. Вось узяць міфічную сярэднюю стойку. На практыцы яе не бывае, па нагрузцы размеркаванне нераўнамернае, дзесьці густа, дзесьці пуста. Вось і прыйшлося сёе-тое пераналадзіць для лепшай энергаэфектыўнасці.
Наш дата-цэнтр Кампрэсар патрэбен для самых розных замоўцаў. Таму там пасярод звычайных двух-чатырохкілаватных стоек можа апынуцца цалкам сабе 23-кілаватны ці больш. Адпаведна кандыцыянеры былі настроены на тое, каб астуджаць іх, і праз менш магутныя стойкі паветра проста праносілася міма.
Другая гіпотэза была ў тым, што цёплы і халодны калідоры не змешваюцца. Пасля замераў магу сказаць, што гэта ілюзія, і сапраўдная аэрадынаміка адрозніваецца ад мадэлі прыкладна ўсім.
Абследаванне
Спачатку мы пачалі глядзець паветраныя плыні ў залах. Чаму туды палезлі? Бо разумелі, што ЦАД разлічаны на пяць-шэсць кВт на стойку, але ведалі, што яны па факце ад 0 да 25 кВт. Рэгуляваць усё гэта пліткамі амаль немагчыма: першыя ж замеры паказалі, што яны амаль аднолькава прапускаюць. А плітак на 25 кВт наогул не бывае, яны павінны быць не проста пустымі, а з вадкім вакуумам.
Купілі анемометр і пачалі мераць патокі паміж стойкамі і над стойкамі. Наогул з ім трэба працаваць па Дасце і кучы стандартаў, цяжка выканальных без прыпынку машзала. Нас цікавіла не дакладнасць, а прынцыповая карціна. Гэта значыць замерылі прыкладна.
Па замеры са 100 працэнтаў таго паветра, якое выходзіць з плітак, у стойкі трапляе 60 працэнтаў, астатняе пралятае міма. Гэта з-за таго, што ёсць цяжкія стойкі на 15-25 кВт, па якіх выбудавана астуджэнне.
Узяць і прытушыць кандыцыянеры мы не можам, таму што на цёплых стойках у раёне верхніх сервераў будзе зусім цеплыня. У гэты момант мы разумеем, што трэба нешта ад чагосьці ізаляваць, каб паветра не скакала з шэрагу ў шэраг і каб тэрмаабмен у блоку ўсё ж адбываўся.
Паралельна з гэтым задаёмся пытаннем, ці мэтазгодна гэта фінансава.
Са здзіўленнем выяўляем, што энергаспажыванне ЦАД у цэлым у нас ёсць, а вось палічыць фанкойлы па канкрэтнай зале мы проста не можам. Гэта значыць аналітычна можам, а па факце - не. І ацаніць эканомію мы не ў стане. Задача становіцца цікавейшай і цікавейшай. Калі мы зэканомім 10% магутнасці кандыцыянераў - колькі можна грошай адкласці на ізаляцыю? Як лічыць?
Пайшлі да аўтаматызатараў, якія дапілоўвалі сістэму маніторынгу. Дзякуй хлопцам: усе датчыкі ў іх былі, трэба было толькі дапісаць код. Яны сталі выводзіць асобна чылеры, КБС, асвятленне. З новай прыблудай з'явілася магчымасць глядзець, як мяняецца сітуацыя па элементах сістэмы.
Досведы са шторкамі
Паралельна пачынаем доследы са шторкамі (загародкамі). Вырашаем мацаваць іх на загваздкі кабельных латкоў (больш усё роўна не навошта), балазе яны павінны быць лёгкімі. З падстрэшкамі або грабяняткамі вызначыліся хутка.
Засада ў тым, што мы да гэтага працавалі з кучай вендараў. Ва ўсіх ёсць рашэнні для ўласных ЦАД кампаній, але для камерцыйнага ЦАД гатовых рашэнняў няма па сутнасці. У нас заказчыкі заязджаюць і выязджаюць увесь час. Мы адзін з нямногіх «цяжкіх» ЦАД без абмежавання па шырыні стойкі з магчымасцю прымаць вось гэтыя сервера-малацілкі да 25 кВт. Ніякага планавання інфраструктуры загадзя. Гэта значыць калі мы будзем браць модульныя сістэмы кейджынгу вендараў - заўсёды будуць дзюры на два месяцы. Гэта значыць, ніколі машзал не будзе энергаэфектыўным у прынцыпе.
Вырашылі рабіць самі, балазе ў нас ёсць свае інжынеры.
Першае, што ўзялі, - стужкі ад прамысловых халадзільнікаў. Гэта такія гнуткія поліэтыленавыя соплі, якімі можна хістаць. Вы іх, напэўна, бачылі дзе-небудзь на ўваходзе ў мясны аддзел самых буйных прадуктовых. Сталі шукаць нетаксічныя і негаручыя матэрыялы. Знайшлі, купілі на два рады. Завесілі, пачалі глядзець, што атрымоўваецца.
Разумелі, што будзе ня надта. Але атрымалася наогул вельмі проста не вельмі. Яны пачынаюць, як макароны, лунаць на патоках. Знайшлі магнітныя стужкі тыпу як магніты на лядоўню. Наляпілі іх на гэтыя палосы, прыляпілі адзін да аднаго, сцяна атрымалася ў меру маналітная.
Пачалі прыкідваць, што будзе на залю.
Пайшлі да будаўнікоў, паказваем свой праект. Тыя глядзяць, кажуць: шторкі вашыя нешта вельмі цяжкія. 700 кілаграмаў па ўсім машзале. Ідзіце, гавораць, добрыя людзі, да д'ябла. Дакладней, да каманды СКС. Хай лічаць, колькі ў іх там локшыны ў латках, таму што 120 кг на квадратны метр - максімум.
СКС гавораць: памятаеце, да нас прыехаў адзін буйны заказчык? У яго дзясяткі тысяч партоў у адной зале. Па краях машзала яшчэ нармальна, але бліжэй да кросавай мацавацца ўжо не выйдзе: латкі адваляцца.
Яшчэ будаўнікі папрасілі сертыфікат на матэрыял. Адзначу, што мы да гэтага працавалі на сумленным слове пастаўшчыка, паколькі гэта быў усяго толькі тэст-прагон. Звярнуліся да гэтага пастаўшчыка, які гаворыцца: ОК, гатовыя выйсці ў бэту, давайце ўсе паперкі. Яны дасылаюць нешта не вельмі ўсталяванага ўзору.
Мы кажам: слухайце, а дзе вы гэтую паперку ўзялі? Яны: гэта нам наш кітайскі вытворца ў адказ на запыты даслаў. Па паперцы гэтая штука не гарыць увогуле.
У гэты момант мы зразумелі, што час спыняцца і правяраць факты. Ідзем да дзяўчынак з пожбезопасности ЦОДа, яны завуць нам лабараторыю, якая правярае гаручасць. Цалкам зямныя грошы і тэрміны (праўда, мы праклялі ўсё, пакуль складалі патрэбную колькасць паперак). Там навукоўцы гавораць: прывозьце матэрыял, будзем рабіць тэсты.
У зняволенні было напісана, што з кілаграма рэчыва застаецца попелу прыкладна на 50 грамаў. Астатняе ярка гарыць, сцякае і вельмі добрае падтрымлівае гарэнне ў лужыне.
Разумеем - добра, што не сталі купляць. Пачалі шукаць іншы матэрыял.
Знайшлі полікарбанат. Ён аказаўся больш жорсткім. Празрысты ліст - два мм, дзверы - з чатырохміліметровага. Па сутнасці, гэта аргшкло. Разам з вытворцам пачынаем размову з пажарабяспекай: давайце сертыфікат. Яны дасылаюць. Падпісаны тым жа інстытутам. Мы тэлефануем туды, які гаворыцца: ну чаго, мужыкі, у вас такое правяралі?
Яны гавораць: так, правяралі. Спачатку ў сябе папалілі, пасля толькі на тэсты прынеслі. Там з кілаграма матэрыялу застаецца (калі гарэлкай яго паліць) прыкладна 930 грамаў попелу. Ён плавіцца і капае, але лужына гарэць не будзе.
Адразу ж правяраем нашы магніты (яны на палімернай падшэўцы). На здзіўленне гараць дрэнна.
зборка
З гэтага пачынаем збіраць. Полікарбанат выдатны, таму што ён лягчэй поліэтылену, куды горш гнецца. Праўда, прывозяць лісты 2,5 на 3 метры, і пастаўшчыку пляваць, што з гэтым рабіць. А нам трэба 2,8 шырынёй 20-25 сантыметраў. Дзверы адпраўлялі на канторы, якія рэжуць ліст як трэба. А ламелі парэзалі самі. Сам працэс рэзу каштуе разы ў два даражэй, чым ліст.
Вось што атрымалася:
Вынік - сістэма кейджынгу акупляецца менш чым за год. Гэта мы зэканомілі па 200-250 кВт пастаянна на магутнасці фанкойлаў. Колькі яшчэ на чылерах, колькі дакладна - не ведаем. Сервакі ўсмоктваюць з сталай хуткасцю, фанкойлы дзьмуць. А чылеры ўключаюцца і выключаюцца грабянцом: з яе дадзеныя складана выцягнуць. Спыняць машзал нельга для тэстаў.
Цешымся, што ў свой час было правіла ставіць у модулях 5х5 стоек так, каб іх сярэдняе спажыванне было шэсць кВт максімум. Гэта значыць цёплае не засяроджана востравам, а размеркавана па машзала. Але ёсць сітуацыя, дзе 10 штук 15-кілаватных стоек побач, але там наадварот - стородж. Ён халодны. Балансуецца.
Дзе няма стойкі - патрэбна загародка да падлогі.
А яшчэ ў нас некаторыя заказчыкі ізаляваныя кратамі. З імі таксама было некалькі асаблівасцяў.
На ламелі рэзалі, таму што шырыня стоек нефіксаваная, а перыядычнасць грабяня мацаванняў вызначана: тры-чатыры см або направа, або налева заўсёды будзе. Калі ў цябе блок 600 пад стойкамесца, то ён з верагоднасцю 85 працэнтаў не ўстане. А кароткія і доўгія ламелі суіснуюць і склейваюцца. Часам рэжам ламель літарай Г па контурах стоек.
Датчыкі
Да таго як памяншаць магутнасць фанкойлаў, трэба было наладзіць вельмі дакладны маніторынг тэмпературы ў розных кропках залы, каб не злавіць сюрпрызаў. Так узніклі бесправадныя датчыкі. Правадныя - на кожны шэраг трэба вешаць сваю штуку для кросіроўкі гэтых датчыкаў і часам на яе - падаўжальнікі. Гэта ператвараецца ў гірлянду. Вельмі дрэнна. І калі гэтыя правады заходзяць у клеткі заказчыкам, бяспечнікі адразу ўзбуджаюцца і просяць растлумачыць з сертыфікатам, што там па гэтых правадах здымаецца. Нервы бяспечнікаў трэба берагчы. Бесправадных датчыкаў яны чамусьці не чапаюць.
І яшчэ стойкі прыязджаюць-з'яжджаюць. Датчык на магніце прасцей перамантаваць, таму што яго кожны раз трэба вешаць вышэй ці ніжэй. Калі серверы ў ніжняй траціне стойкі - трэба вешаць уніз, а не па стандарце на паўтара метра ад падлогі на дзверы стойкі ў халодным калідоры. Там мераць бескарысна, трэба мераць тое, што ў жалезе.
Адзін датчык на тры стойкі - часцей можна не вешаць. Тэмпература не адрозніваецца. Асцерагаліся, што будзе перацягванне паветра скрозь самі стойкі, - не здарылася. Але мы ўсё роўна даем крыху больш халоднага паветра, чым разліковыя значэнні. Зрабілі акенцы ў ламелях 3, 7 і 12, над стойкай які робіцца адтуліна. У яго пры абходзе ставім анемометр: глядзім, што струмень ідзе куды трэба.
Потым павесілі яркія нітачкі: старая практыка для снайпераў. Выглядае дзіўна, але дазваляе сдэтэкаваць магчымую праблему хутчэй.
Пацешнае
Пакуль мы ўсё гэта моўчкі рабілі, прыязджаў вендар, які вырабляе інжынерку для ЦАДаў. Гаворыць: давайце мы прыедзем і пра энергаэфектыўнасць раскажам. Прыязджаюць, пачынаюць расказваць пра неаптымальную залу, паветраныя патокі. Мы разумеюча ківаем. Таму што ў нас тры гады як высветлена.
Яны на кожную стойку вешаюць па тры датчыка. Малюнкі маніторынгу зашыбаныя, прыгожыя. Больш за палову гэтага рашэння ў кошце - софт. На ўзроўні «алерт у Забіксе», але прапрыетарны і вельмі дарагі. Засада яшчэ ў тым, што ў іх ёсць датчыкі, софт, і далей яны шукаюць падрадчыка на месцы: няма сваіх вендараў на кейджынгі.
Высвятляецца, што іх рукамі каштуе ў пяць–сем разоў даражэй, чым мы зрабілі.
Спасылкі
- .
- .
- .
- .
- .
- Мая пошта: [электронная пошта абаронена]
Крыніца: habr.com