АВР і ўсё, усё, усё: аўтаматычны ўвод рэзерву ў дата-цэнтры

У мінулым пасце пра ПДУ мы казалі, што ў некаторых стойках усталяваны АВР - аўтаматычны ўвод рэзерву. Але насамрэч у ЦАД АВР ставяць не толькі ў стойцы, але і на ўсім шляху электрычнасці. У розных месцах яны вырашаюць розныя задачы:

  • у галоўных размеркавальных шчытах (ГРЩ) АВР перамыкае нагрузку паміж уводам ад горада і рэзервовым харчаваннем ад дызель-генератарных установак (ДГУ); 
  • у крыніцах бесперабойнага харчавання (КБС) АВР перамыкае нагрузку з асноўнага ўводу на байпас (аб гэтым крыху ніжэй); 
  • у стойках АВР перамыкае нагрузку з аднаго ўводу на іншы ў выпадку ўзнікнення праблем з адным з уводаў. 

АВР і ўсё, усё, усё: аўтаматычны ўвод рэзерву ў дата-цэнтры
АВР у стандартнай схеме энергазабеспячэння дата-цэнтраў DataLine.

Аб тым, якія АВР і дзе выкарыстоўваюцца, і пагаворым сёння. 

Асноўных тыпу АВР два: ATS (automatic transfer switch) і STS (static transfer switch). Яны адрозніваюцца прынцыпамі працы і элементнай базай і выкарыстоўваюцца для розных задач. Калі сцісла, то STS - гэта больш "разумны" ATS. Ён хутчэй перамыкае нагрузку і часцей выкарыстоўваецца для вялікіх нагрузак/токаў. Ён больш гнуткі ў наладзе, затое «з капрызамі» да сеткі: можа адмовіцца працаваць, калі 2 уводы сілкуюцца ад розных крыніц, напрыклад: ад трансфарматара і ДДУ.  

АВР у ГРШ

 
Галоўны АВР дата-цэнтра дваццаць гадоў таму выглядаў як складаная сістэма контакторов і рэле.

АВР і ўсё, усё, усё: аўтаматычны ўвод рэзерву ў дата-цэнтры
АВР ўзору пачатку 2000-х.

Цяпер АВР - гэта кампактнае шматфункцыянальнае прылада.

АВР і ўсё, усё, усё: аўтаматычны ўвод рэзерву ў дата-цэнтры

Сістэма АВР у ГРЩ кіруе ўводнымі аўтаматамі і дае каманды на запуск і прыпынак ДДУ. Пры нагрузцы больш за 2 МВт на ўзроўні ГРШ немэтазгодна турыцца за хуткасцю. Нават калі пераключыцца хутка, то пройдзе час, пакуль запусціцца ДДУ. У гэтай сістэме выкарыстоўваюцца больш "павольныя" ATS і выстаўляюцца затрымкі (пастаўкі). Працуе гэта так: калі харчаванне дата-цэнтра ад трансфарматараў знікае, АВР камандуе прыладам: «Трансфарматар, выключыся. Цяпер чакаем 10 секунд (устаўка), ДДУ, уключыся, чакаем яшчэ 10 секунд». 

АВР у КБС  

На прыкладзе КБС паглядзім, як працуе другі тып АВР - STS або static transfer switch.

У КБС пераменны ток пераўтворыцца ў пастаянны на выпрамніку. Затым на инверторе ён ператвараецца зваротна ў зменны ток, але ўжо са стабільнымі параметрамі. Гэта ўхіляе перашкоды і павялічвае якасць энергіі. Пры адключэнні асноўнай крыніцы харчавання КБС перамыкаецца на акумулятарныя батарэі і сілкуе дата-цэнтр, пакуль у працу ўключаюцца ДДУ. 

Але што, калі са строю выйдзе нейкі з элементаў: прыбор, інвертар або акумулятарныя батарэі? На гэты выпадак у кожным КБС ёсць механізм абыходнага шляху, ці байпас. З ім прылада працягвае працу ў абыход асноўных элементаў, адразу ад уваходнай напругі. Таксама байпасам карыстаюцца, калі трэба выключыць КБС і вывесці яго ў рамонт. 

STS у КБС патрэбен, каб бяспечна перайсці на байпасны ўвод. Калі сцісла, то STS кантралюе параметры сеткі на ўваходзе і на вынахадзе, чакае, калі яны супадуць, і перамыкаецца ў бяспечных умовах. 

АВР і ўсё, усё, усё: аўтаматычны ўвод рэзерву ў дата-цэнтры

АВР у стойцы 

Такім чынам, да стойкі падведзены два ўводу электрасілкавання. Калі ў вашага абсталявання два блокі харчавання, вы спакойна падключаеце яго да розных PDU, і знікненне аднаго ўводу вам не страшна. А калі ў вашага сервера адзін блок харчавання? 
У стойцы АВР выкарыстоўваюць, каб профіт ад двух уводаў не знік дарма. Пры праблемах з адным з уводаў АВР перамыкае нагрузку на іншы ўвод.

Дысклеймер: Калі можаце, пазбягайце абсталявання з адным блокам харчавання, каб не ствараць кропку адмовы ў сістэме. Далей мы пакажам, у чым недахопы такой схемы падключэння. 

АВР і ўсё, усё, усё: аўтаматычны ўвод рэзерву ў дата-цэнтры

Задача АВР у стойцы - пераключыць абсталяванне на працоўны ўвод так хутка, каб у яго працы не было перапынку. Патрэбную для гэтага хуткасць знайшлі дасведчаным шляхам: не больш за 20 мс. Паглядзім, як гэта знайшлі.

Збоі ў працы сервернага абсталявання адбываюцца з-за правалаў напругі (з-за прац на падстанцыях, падлучэнні магутных нагрузак або аварый). Каб праілюстраваць, як абсталяванне вытрымлівае розную амплітуду і працягласць перападаў напругі, распрацавалі крывыя бяспечнай працы электраабсталявання CBEMA (Computer and Business Equipment Manufacturers Association). Цяпер яны вядомыя як крывыя ITIC (Information Technology Industry Council), іх варыянты ўключаны ў стандарты IEEE 446 ANSI (гэта аналаг нашых ДАСТаў).

Зрахуемся з графікам. Наша задача, каб прылады працавалі ў "зялёнай зоне". На крывой ITIC мы бачым, што абсталяванне гатова "цярпець" правал максімум 20 мс. Таму мы арыентуемся, каб АВР у стойцы адпрацоўваў за 20 мс, а лепш - яшчэ хутчэй.   

АВР і ўсё, усё, усё: аўтаматычны ўвод рэзерву ў дата-цэнтры
Крыніца: meandr.ru.

Прылада АВР. Тыпавы АВР (ATS) у стойцы нашага ЦАД займае 1 юніт і вытрымлівае нагрузку 16 А. 

На дысплеі бачым, ад якога ўводу сілкуецца АВР, колькі падлучаныя прылады спажываюць у амперах. Асобнай кнопкай выбіраемы, аддаць прыярытэт першаму ці другому ўводу. Справа - парты для падлучэння да АВР: 

  • Ethernet port – падлучыць маніторынг;
  • Serial port – зайсці праз наўтбук і паглядзець у логах, што адбываецца; 
  • USB - уставіць флешку і абнавіць прашыўку. 

Парты ўзаемазаменныя: можна выканаць усе гэтыя аперацыі, калі ёсць доступ хаця б да аднаго з іх. 

АВР і ўсё, усё, усё: аўтаматычны ўвод рэзерву ў дата-цэнтры

На тыльным боку - відэльцы для падлучэння асноўнага і рэзервовага ўводаў і разеточная група для падлучэння ІТ-абсталявання.

АВР і ўсё, усё, усё: аўтаматычны ўвод рэзерву ў дата-цэнтры

Падрабязныя характарыстыкі АВР мы глядзім праз вэб-інтэрфейс. Тамака наладжваецца адчувальнасць пераключэння і бачныя логі. 

АВР і ўсё, усё, усё: аўтаматычны ўвод рэзерву ў дата-цэнтры
Вэб-інтэрфейс АВР.

Ўстаноўка і падключэнне АВР. Усталёўваць АВР па вышыні лепш у сярэдзіну стойкі. Калі мы загадзя не ведаем камплектацыю стойкі, то так абсталяванне з адным блокам харчавання зможа дацягнуцца правадамі і з ніжняй, і з верхняй часткі.  

А вось далей ёсць нюансы: глыбіня стандартнай стойкі значна большая, чым глыбіня АВР. Мы рэкамендуем усталяваць яго як мага бліжэй да халоднага калідора па дзвюх прычынах:

  1. Доступ да пярэдняй панэлі. Калі ўсталяваць АВР бліжэй да гарачага калідора, мы ўбачым індыкацыю, але не зможам падлучыцца да яго праз порты. А значыць, не зможам паглядзець логі ці перазагрузіць прыладу.

    АВР і ўсё, усё, усё: аўтаматычны ўвод рэзерву ў дата-цэнтры

    АВР і ўсё, усё, усё: аўтаматычны ўвод рэзерву ў дата-цэнтры
    Дзесьці там, у глыбіні, міргае АВР - да порта ўжо не дацягнуцца.

  2. Холадазабеспячэнне. АВР рэкамендуюць выкарыстоўваць пры тэмпературы не больш за 45 ° С. Пры гэтым у яго няма сваіх вентылятараў для астуджэння, гэта проста металічная прылада з электронным начыннем. Падтрымліваюць патрэбную тэмпературу двума спосабамі: 

  • струменямі паветра, якія дзьмуць на яго звонку; 
  • крапяжамі, якія адводзяць лішняе цяпло.

Калі ўсталяваць АВР са боку гарачага калідора і ў дадатак заціснуць яго пірагом з сервераў, то мы атрымаем печку. У лепшым выпадку ў АВР згараць мазгі і ён страціць сувязь з навакольным светам, у горшым - пачне хаатычна перамыкаць нагрузку або кіне яе.

АВР і ўсё, усё, усё: аўтаматычны ўвод рэзерву ў дата-цэнтры
АВР парыцца тварам да гарачага калідора.

Быў выпадак. Інжынер на абходзе пачуў нехарактэрныя пстрычкі.
У нетрах гарачага калідора пад грудай сервераў выявіўся АВР, які ўвесь час перамыкаўся з асноўнага ўводу на рэзервовы. 

АВР замянілі. Логі паказалі, што цэлы тыдзень ён пераключаўся кожную секунду - усяго больш за паўмільёна камутацый. Вось як гэта было

Якія яшчэ АВР бываюць у стойцы

Уступны ATS для стойкі. У нашым ЦАД такі АВР выступае адзінай крыніцай размеркавання харчавання ў стойцы: працуе як АВР + PDU. Займае некалькі юнітаў, вытрымлівае нагрузку 32 А, падключаецца прамысловымі раздымамі і можа мець да 6 кВт абсталявання. Выкарыстоўваць яго можна, калі няма магчымасці змантаваць стандартныя PDU, а аднаблочнае абсталяванне ў стойцы не абслугоўвае крытычныя нагрузкі. 

АВР і ўсё, усё, усё: аўтаматычны ўвод рэзерву ў дата-цэнтры

Cтоечны STS. STS у стойцы выкарыстоўваецца для абсталявання, адчувальнага да перападаў напругі. Гэты АВР перамыкаецца хутчэй, чым ATS. 
 
АВР і ўсё, усё, усё: аўтаматычны ўвод рэзерву ў дата-цэнтры
Гэты канкрэтны STS займае 6 юнітаў і ў яго крыху «вінтажны» інтэрфейс.

Міні-АВР. Бываюць і такія малышкі, але ў нас у ЦАД такога не водзіцца. Гэта міні-АВР для аднаго сервера. 

АВР і ўсё, усё, усё: аўтаматычны ўвод рэзерву ў дата-цэнтры
Гэты АВР падключаецца прама ў блок харчавання сервера.

Як мы шукаем ідэальны АВР

Мы тэстуем шмат розных АВР і правяраем, як яны паводзяць сябе ва ўмовах высокіх тэмператур.

Вось як здзекуемся з АВР, каб гэта праверыць: 

  • падлучальны да яго рэгістратар якасці сеткі, сервер і яшчэ некалькі прылад для нагрузкі;
  • ізалюем стойку заглушкамі або плёнкай, каб дасягнуць высокай тэмпературы;
  • награваем да 50 ° С;
  • па чарзе адключаем уводы па 20 раз;
  • глядзім, ці не было правалаў харчавання, як сябе адчувае сервер;
  • калі АВР праходзіць тэст - награваем да 70 ° С.

АВР і ўсё, усё, усё: аўтаматычны ўвод рэзерву ў дата-цэнтры
Фота цеплавізарам з аднаго з выпрабаванняў.

АВР і ўсё, усё, усё: аўтаматычны ўвод рэзерву ў дата-цэнтры
Аналізатар сеткі фіксуе напругу з цягам часу. На запісы бачым, колькі доўжылася пераключэнне: на гэты момант сінусоіда перарвалася

Дарэчы, бярэм АВР на тэст: праверым вашу прыладу на трываласць і раскажам, што атрымалася 😉 

АВР у стойцы: прыхаваная пагроза

Галоўная праблема з АВР у стойцы ў тым, што ён умее толькі перамыкаць нагрузку з асноўнага на рэзервовы ўвод, але не абараняе ад кароткага замыкання ці перагрузкі. Калі на блоку сілкавання адбываецца кароткае замыканне, то па абароне спрацуе аўтаматычны выключальнік узроўнем вышэй: на PDU ці ў размеркавальным шчыце. У выніку адзін увод адключаецца, АВР гэта разумее і перамыкаецца на другі ўвод. Калі кароткае замыканне яшчэ застаецца, спрацуе аўтаматычны выключальнік другога ўводу. У выніку з-за праблемы на адным абсталяванні можа абясточыцца ўся стойка.

Так што яшчэ раз паўтару: тысячу разоў падумайце, перш чым усталёўваць АВР у стойку і выкарыстоўваць абсталяванне з адным блокам сілкавання.

Крыніца: habr.com

Дадаць каментар