ЦОД «Тушино» — комерційний напівмегаватний роздрібний дата-центр для всіх і для всього. Клієнт може не тільки орендувати вже встановлене обладнання, а й розмістити там власне, включаючи нестандартні пристрої типу серверів у звичайних корпусах для настільних ПК, майнінг-ферм або штучного інтелекту. Простіше кажучи, це різні популярні завдання, найбільш затребувані вітчизняним бізнесом різного ступеня величини. Цим він цікавий. У цьому пості ви не знайдете ексклюзивних технічних рішень та польоту інженерної думки. Йтиметься про стандартні проблеми та рішення. Тобто про те, чим у 90% фахівців зайнято 90% робочого часу.
Tier – чим більше, тим краще?
Відмовостійкість ЦОД «Тушино» відповідає рівню Tier II. По суті це означає, що дата-центр розташований у нормальному підготовленому приміщенні, використовуються резервні джерела живлення та надлишкові системні ресурси.
Проте, всупереч поширеній помилці, рівні Tier характеризують зовсім не «крутість» ЦОДу, а ступінь його відповідності актуальним бізнес-завданням. А серед них є безліч таких, для яких висока стійкість до відмови або несуттєва, або не настільки важлива, щоб за неї переплачувати 20-25 тис. рублів на рік, що в умовах кризи може виявитися дуже болючим для замовника.
Звідки взялася така сума? Саме вона становить різницю між цінами розміщення інформації в дата-центрах рівнів Tier II і Tier III у перерахунку однією сервер. Чим більше даних, тим помітніша потенційна економія.
Які завдання маються на увазі? Наприклад, зберігання резервних копій або майнінг криптовалюти. У цих випадках простий сервер, який допускається Tier II, обійдеться дешевше, ніж Tier III.
Практика показує, що в більшості випадків економія важливіша за підвищену відмовостійкість. У Москві працює всього п'ять ЦОДів, сертифікованих за Tier III. А повністю сертифікованих за Tier IV немає взагалі.
Як влаштовано систему електроживлення ЦОД «Тушино»?
Вимоги до системи електропостачання ЦОД «Тушино» відповідає умовам рівня Tier II. Це резервування ліній електроживлення за схемою N+1, резервування джерел безперебійного живлення за схемою N+1 та резервування дизель-генераторної установки за схемою N. N+1 в даному випадку означає схему з одним резервним елементом, який залишається незадіяним, поки в системі не відбудеться збій одного з основних елементів, а N - схему без резервування, при якій збій у роботі будь-якого елемента призводить до припинення роботи всієї системи
Безліч пов'язаних з енергопостачанням проблем вирішується правильним вибором місця для ЦОДу. Дата-центр «Тушино» знаходиться на території підприємства, куди вже приходять дві лінії по 110 кВ від різних міських електростанцій. На обладнанні самого заводу висока напруга перетворюється на середню, і на вхід ЦОД надходять дві незалежні лінії по 10 кВ.
Трансформаторна підстанція всередині будівлі дата-центру перетворює середню напругу на споживчі 240-400 В. Усі лінії ведуться паралельно, тому обладнання ЦОД отримують харчування від двох незалежних зовнішніх джерел.
Низька напруга із трансформаторних підстанцій заведена на автомати введення резерву, які забезпечують перемикання між міськими мережами. Встановленим на АВР моторним приводам цієї операції потрібно 1,2 секунди. Весь цей час навантаження лягає на джерела безперебійного живлення.
Окремий АВР відповідає за автоматичне включення дизель-генератора у разі, якщо живлення пропаде на обох лініях. Старт дизель-генератора – процес нешвидкий і вимагає вже приблизно 40 секунд, протягом яких електропостачання повністю лягає на акумулятори ДБЖ.
На повній заправці дизель-генератор забезпечує роботу ЦОД протягом 8 годин. З огляду на це дата-центр уклав два договори з незалежними один від одного постачальниками дизельного палива, які зобов'язалися підвозити нову порцію пального протягом 4 годин після виклику. Імовірність того, що відразу в обох трапляться якісь форс-мажорні обставини, вкрай низька. Таким чином, автономність може тривати стільки, скільки потрібно ремонтним бригадам для відновлення харчування хоча б від однієї з міських мереж.
Як неважко помітити, жодних інженерних вишукувань тут немає. Зумовлено це навіть тим, що з побудові інженерної інфраструктури застосовувалися готові модулі, виробники яких орієнтуються якогось «середнього споживача».
Безумовно, будь-який ІТ-фахівець скаже, що усереднення - це «ні риба, ні м'ясо» і запропонує розробити унікальний набір компонентів для конкретної системи. Однак охочі оплачувати їм це задоволення явно не вишиковуються в чергу. Тому треба бути реалістом. На практиці все буде саме так: закупівля готового обладнання та складання системи, яка вирішуватиме актуальні для бізнесу завдання. Незгодних із таким підходом швидко поверне з неба на землю головний фінансовий директор підприємства.
розподільні щити
В даний момент дев'ять розподільчих щитів забезпечують роботу вступно-розподільчих пристроїв і чотири РЩ застосовується безпосередньо для підключення навантаження. Жодних серйозних обмежень за місцем не було, проте його ніколи не буває багато, тому один цікавий інженерний момент був присутній.
Як неважко помітити, кількість «ввідних» та «навантажувальних» щитів не збігається - других майже вдвічі менше. Це стало можливим тому, що проектувальники інфраструктури ЦОД вирішили використовувати великі щити, щоб завести туди три і більше вхідних ліній. На кожен вхідний автомат припадає приблизно 36 відвідних ліній, захищених окремими автоматами.
Таким чином, іноді використання габаритніших моделей дозволяє заощадити дефіцитне місце. Просто тому, що більших щитів потрібно менше.
Джерела безперебійного живлення
Як джерело безперебійного живлення на ЦОД «Тушино» використовується Eaton 93PM потужністю 120 кВА, що працює в режимі подвійного перетворення.
ДБЖ Eaton 93PM випускаються в різних виконаннях. Фото: Eaton
Основні причини вибору саме цього пристрою полягають у таких характеристиках.
По-перше, ККД цього ДБЖ у режимі подвійного перетворення досягає 97%, а в режимі збереження енергії – 99%. Пристрій займає не більше 1,5 кв. м і не забирає простір серверної у основного обладнання. В результаті виходять низькі експлуатаційні витрати і та сама необхідна бізнесу економія.
По-друге, завдяки вбудованій системі терморегулювання ДБЖ Eaton 93PM можна розміщувати будь-де. Навіть впритул до стіни. Навіть якщо це не потрібно відразу, то може знадобитися потім. Наприклад, щоб звільнити трохи місця, якого не вистачає для додаткової стійки.
По-третє, простота експлуатації. У тому числі ПЗ Intelligent Power, що застосовується для моніторингу та управління. Метрики, що віддаються за SNMP, дозволяють контролювати споживання і якісь глобальні збої, що дає можливість оперативно реагувати на аварійні ситуації.
По-четверте, модульність та масштабованість. Це, мабуть, найголовніша якість, завдяки якій у системі резервування ЦОД «Тушино» використовується лише один модульний ДБЖ. Він включає два робочих модуля і один резервний. Так і забезпечується схема N+1, необхідна рівня Tier II.
Це значно простіше і надійніше, ніж конфігурація із трьох ДБЖ. Тому вибір пристрою, в якому спочатку передбачена можливість паралельної роботи, - хід цілком логічний.
Але чому проектувальники не вибрали ДРІБП замість окремих ДБЖ та дизель-генератора? Основні причини тут криються над інженерії, а фінансах.
Модульна структура апріорі заточена під апгрейд - у міру зростання навантаження в інженерну інфраструктуру додаються джерела та генератори. Старі у своїй як працювали, і працюють. З ДРІБП ситуація кардинально інша: купувати такий пристрій треба з більшим запасом потужності. До того ж, «маленьких комбайнів» мало, та й стоять вони дуже пристойно — незрівнянно дорожче за окремі дизель-генератори та ДБЖ. Ще ДРІБП дуже примхливі у транспортуванні та монтажі. Це, своєю чергою, також впливає вартість всієї системи.
Існуюча конфігурація свої завдання вирішує цілком успішно. ДБЖ Eaton 93PM може підтримувати роботу основного обладнання ЦОД протягом 15 хвилин, тобто з більш ніж 15-кратним запасом.
Знову ж таки, чиста синусоїда, яку видає ДБЖ у режимі online, позбавляє власника дата-центру необхідності купівлі окремих стабілізаторів. І тут виходить економія.
Незважаючи на декларовану простоту ДБЖ Eaton 93PM, пристрій досить складний. Тому його технічним обслуговуванням у ЦОД «Тушино» займається стороння компанія, яка має у своєму штаті висококваліфікованих спеціалістів. Тримати у власному штаті навченого співробітника для цього — задоволення дороге.
Результати та перспективи
Ось так було створено ЦОД, що дозволяє надавати якісні послуги споживачам, завдання яких не потребують високого рівня резервування та не передбачають великих економічних витрат. Подібний сервіс завжди буде затребуваний.
При вже запланованому будівництві другої черги для створення системи резервного енергопостачання використовуватиметься вже придбаний ДБЖ Eaton. Завдяки модульній конструкції його модернізація зведеться до купівлі додаткового модуля, що зручніше і дешевше за повну заміну пристрою. Такий підхід схвалять і інженер, і фінансист.
Джерело: habr.com