У минулому пості про ми говорили, що у деяких стійках встановлено АВР — автоматичне введення резерву. Але насправді у ЦОДі АВР ставлять не лише у стійці, а й на всьому шляху електрики. У різних місцях вони вирішують різні завдання:
- у головних розподільчих щитах (ГРЩ) АВР перемикає навантаження між введенням від міста та резервним живленням від дизель-генераторних установок (ДГУ);
- у джерелах безперебійного живлення (ДБЖ) АВР перемикає навантаження з основного введення на байпас (про це трохи нижче);
- у стійках АВР перемикає навантаження з одного введення на інший у разі виникнення проблем із одним із вводів.
АВР у стандартній схемі енергопостачання дата-центрів DataLine.
Про те, які АВР і де використовуються, і поговоримо сьогодні.
Основних типів АВР два: ATS (automatic transfer switch) та STS (static transfer switch). Вони відрізняються принципами роботи та елементною базою та використовуються для різних завдань. Якщо коротко, то STS — це «розумніший» ATS. Він швидше перемикає навантаження і частіше використовується для великих навантажень/струмів. Він гнучкіший у налаштуванні, зате «з капризами» до мережі: може відмовитися працювати, якщо 2 введення живляться від різних джерел, наприклад: від трансформатора та ДГУ.
АВР у ГРЩ
Головний АВР дата-центру двадцять років тому виглядав як складна система контакторів та реле.
АВР зразка початку 2000-х.
Зараз АВР – це компактний багатофункціональний пристрій.
Система АВР у ГРЩ управляє вступними автоматами та дає команди на запуск та зупинку ДДУ. При навантаженні понад 2 МВт лише на рівні ГРЩ недоцільно гнатися за швидкістю. Навіть якщо перейде швидко, то мине час, поки запуститься ДДУ. У цій системі використовуються "повільніші" ATS і виставляються затримки (уставки). Працює це так: коли живлення дата-центру від трансформаторів зникає, АВР командує пристроями: «Трансформатор, вимкнися. Тепер чекаємо 10 секунд (уставка), ДДУ, увімкнися, чекаємо ще 10 секунд».
АВР в ДБЖ
На прикладі ДБЖ подивимося, як працює другий тип АВР - STS або static transfer switch.
У ДБЖ змінний струм перетворюється на постійний на випрямлячі. Потім на інвертор він перетворюється назад на змінний струм, але вже зі стабільними параметрами. Це усуває перешкоди та підвищує якість енергії. При відключенні основного джерела живлення на акумуляторні батареї та живить дата-центр, доки в роботу включаються ДГУ.
Але що, якщо з ладу вийде якийсь із елементів: випрямляч, інвертор чи акумуляторні батареї? На цей випадок у кожному ДБЖ є механізм обхідного шляху, або байпас. З ним пристрій продовжує роботу в обхід основних елементів, відразу від вхідної напруги. Також байпас користуються, коли потрібно вимкнути ДБЖ і вивести його в ремонт.
STS в ДБЖ потрібен, щоб безпечно перейти на байпасне введення. Якщо коротко, то STS контролює параметри мережі на вході та на виході, чекає, коли вони співпадуть, та перемикається у безпечних умовах.
АВР у стійці
Отже, до стійки підведено два введення електроживлення. Якщо ваше обладнання має два блоки живлення, ви спокійно підключаєте його до різних PDU, і пропадання одного введення вам не страшно. А якщо ваш сервер має один блок живлення?
У стійці АВР використовують, щоб профіт від двох вводів не пропав даремно. При проблемах з одним із вводів АВР перемикає навантаження на інше введення.
Дисклеймер: Якщо можливо, уникайте обладнання з одним блоком живлення, щоб не створювати точку відмови в системі. Далі ми покажемо, у чому недоліки такої схеми підключення.
Завдання АВР у стійці — переключити обладнання на робоче введення так швидко, щоб у роботі не було перерви. Потрібну для цього швидкість знайшли досвідченим шляхом: не більше ніж 20 мс. Побачимо, як це виявили.
Збої в роботі серверного обладнання відбуваються через провали напруги (через роботи на підстанціях, підключення потужних навантажень або аварій). Щоб проілюструвати, як обладнання витримує різну амплітуду та тривалість перепадів напруги, розробили криві безпечної роботи електрообладнання CBEMA (Computer and Business Equipment Manufacturers Association). Зараз вони відомі як криві ITIC (Information Technology Industry Council), їх варіанти включені до стандартів IEEE 446 ANSI (це є аналогом наших ГОСТів).
Звіримося з графіком. Наше завдання, щоб пристрої працювали у «зеленій зоні». На кривій ITIC ми бачимо, що обладнання готове терпіти провал максимум 20 мс. Тому ми орієнтуємося, щоб АВР у стійці відпрацьовував за 20 мс, а краще ще швидше.
Джерело: .
Пристрій АВР. Типовий АВР (ATS) у стійці нашого ЦОД займає 1 юніт і витримує навантаження 16 А.
На дисплеї бачимо, від якого введення живиться АВР, скільки підключених пристроїв споживають в амперах. Окремою кнопкою вибираємо, віддати пріоритет першому чи другому вводу. Праворуч - порти для підключення до АВР:
- Ethernet port – підключити моніторинг;
- Serial port - зайти через ноутбук і подивитися в логах, що відбувається;
- USB – вставити флешку та оновити прошивку.
Порти взаємозамінні: можна виконати всі ці операції, якщо є доступ хоча б одного з них.
На тильній стороні - вилки для підключення основного та резервного вводів та розеточна група для підключення ІТ-обладнання.
Детальні характеристики АВР ми бачимо через веб-інтерфейс. Там налаштовується чутливість перемикання та видно логи.
Веб-інтерфейс АВР.
Встановлення та підключення АВР. Встановлювати АВР по висоті краще у середину стійки. Якщо ми заздалегідь не знаємо комплектацію стійки, то так обладнання з одним блоком живлення зможе дотягнутися проводами як з нижньої, так і з верхньої частини.
А ось далі є нюанси: глибина стандартної стійки набагато більша, ніж глибина АВР. Ми рекомендуємо встановити його якомога ближче до холодного коридору з двох причин:
- Доступ до передньої панелі. Якщо встановити АВР ближче до гарячого коридору, ми побачимо індикацію, але зможемо підключитися до нього через порти. Отже, не зможемо подивитися логи або перезавантажити пристрій.
Десь там, у глибині, блимає АВР — до порту вже не дістатись. - Холодопостачання. АВР рекомендують використовувати при температурі трохи більше 45°С. При цьому він не має своїх вентиляторів для охолодження, це просто металевий пристрій з електронною начинкою. Підтримують потрібну температуру двома способами:
- потоками повітря, що дмуть на нього ззовні;
- кріпленнями, які ведуть зайве тепло.
Якщо встановити АВР з боку гарячого коридору та ще й затиснути його пирогом із серверів, то ми отримаємо піч. У кращому разі у АВР згорять мізки і він втратить зв'язок із зовнішнім світом, у гіршому — почне хаотично перемикати навантаження або покине його.
АВР париться обличчям до гарячого коридору.
Був випадок. Інженер на обході почув нехарактерні клацання.
У надрах гарячого коридору під купою серверів виявився АВР, який постійно перемикався з основного введення на резервний.АВР замінили. Логи показали, що цілий тиждень він перемикався кожну секунду — понад півмільйона комутацій. Ось як це
Які ще АВР бувають у стійці
Вступний ATS для стійки. У нашому ЦОД такий АВР виступає єдиним джерелом розподілу живлення в стійці: працює як АВР + PDU. Займає кілька юнітів, витримує навантаження 32 А, підключається промисловими роз'ємами та може живити до 6 кВт обладнання. Використовувати його можна, коли немає можливості змонтувати стандартні PDU, а одноблочне обладнання у стійці не обслуговує критичних навантажень.
Стійковий STS. STS у стійці використовується для обладнання, чутливого до перепадів напруги. Цей АВР перемикається швидше, ніж ATS.
Цей конкретний STS займає 6 юнітів і має трохи «вінтажний» інтерфейс.
Міні-АВР. Бувають і такі малечі, але у нас у ЦОДі такого не водиться. Це міні-АВР для одного сервера.
Цей АВР підключається прямо до блоку живлення сервера.
Як ми шукаємо ідеальний АВР
Ми тестуємо багато різних АВР та перевіряємо, як вони поводяться в умовах високих температур.
Ось як знущаємось над АВР, щоб це перевірити:
- підключаємо до нього реєстратор якості мережі, сервер та ще кілька пристроїв для навантаження;
- ізолюємо стійку заглушками або плівкою, щоб досягти високої температури;
- нагріваємо до 50 ° С;
- по черзі відключаємо введення по 20 разів;
- дивимося, чи не було провалів харчування, як почувається сервер;
- якщо АВР проходить тест – нагріваємо до 70°С.
Фото тепловізора з одного з випробувань.
Аналізатор мережі фіксує напругу з часом. На записі бачимо, скільки тривало перемикання: на цей момент синусоїда перервалася
До речі, беремо АВР на тест: перевіримо ваш пристрій на міцність та розповімо, що вийшло 😉
АВР у стійці: прихована загроза
Головна проблема з АВР у стійці в тому, що він вміє лише перемикати навантаження з основного на резервне введення, але не захищає від короткого замикання чи перевантаження. Якщо на блоці живлення відбувається коротке замикання, то по захисту спрацює автоматичний вимикач рівнем вище: PDU або в розподільчому щиті. В результаті одне введення відключається, АВР це розуміє і перемикається на друге введення. Якщо коротке замикання залишається, спрацює автоматичний вимикач другого введення. Через війну через проблеми одному обладнанні може знеструмитися вся стійка.
Так що ще раз повторю: тисячу разів подумайте, перш ніж встановлювати АВР у стійку та використовувати обладнання з одним блоком живлення.
Джерело: habr.com
