Cum am construit un sistem de alimentare cu energie de rezervă în centru de date „Tushino”: inginerie și finanțe

Cum am construit un sistem de alimentare cu energie de rezervă în centru de date „Tushino”: inginerie și finanțe

Data center «Tushino» — un centru de date comercial de tip semi-megavatt destinat tuturor. Clientul poate nu doar să închirieze echipamente deja instalate, ci și să își stocheze propriile echipamente, inclusiv dispozitive non-standard precum serverele în carcase obișnuite pentru PC-uri de birou, ferme de mining sau sisteme de inteligență artificială. Pe scurt, este vorba despre cele mai variate sarcini populare, cele mai solicitate de afacerile autohtone de diferite dimensiuni. De aceea, este interesant. În această postare nu veți găsi soluții tehnice exclusive sau inovații ingenioase. Este vorba despre problemele și soluțiile standard, adică despre ceea ce 90% dintre specialiști sunt ocupați 90% din timpul lor de muncă.

Tier — cu cât mai mult, cu atât mai bine?

Fiabilitatea centrului de date «Tushino» corespunde nivelului Tier II. Practic, aceasta înseamnă că centrul de date se află într-o încăpere pregătită corespunzător, folosind surse de alimentare de rezervă și având resurse sistemice redundante.

Cu toate acestea, contrar unei opiniei greșite răspândite, nivelurile Tier nu caracterizează „calitatea” centrului de date, ci gradul de conformitate cu sarcinile de afaceri actuale. Și printre acestea, există multe pentru care o fiabilitate ridicată este fie nesemnificativă, fie nu este atât de prioritară încât să plătești în plus 20-25 mii de ruble pe an, ceea ce în condiții de criză poate fi foarte dureros pentru client.

De unde provine această sumă? Aceasta reprezintă diferența dintre prețurile pentru plasarea informațiilor în de încredere nivelurile Tier II și Tier III, raportat la un singur server. Cu cât mai multe date există, cu atât economiile pot fi mai vizibile.

Ce tip de sarcini sunt menționate? De exemplu, stocarea copiilor de rezervă sau mining-ul de criptomonede. În aceste cazuri, oprirea server, acceptată de Tier II, va costa mai puțin decât Tier III.

Practic, se dovedește că, în majoritatea cazurilor, economia este mai importantă decât fiabilitatea crescută. În Moscova funcționează doar cinci centre de date certificate Tier III. Iar centre complet certificate Tier IV nu există deloc.

Cum este organizat sistemul de alimentare cu energie electrică al centrului de date «Tushino»?

Cerințele pentru sistemul de alimentare electrică al centrului de date „Tushino” corespund condițiilor nivelului Tier II. Aceasta include rezervarea liniilor electrice conform schemei N+1, rezervarea surselor de alimentare neîntreruptibile tot conform schemei N+1 și rezervarea instalației de generatoare diesel conform schemei N. N+1 în acest caz înseamnă o schemă cu un element de rezervă care rămâne neutilizat până când în sistem se produce o defecțiune a unuia dintre elementele principale, iar N reprezintă o schemă fără rezervă, în care defecțiunea oricărui element duce la oprirea întregului sistem.

Multe probleme legate de alimentarea cu energie sunt rezolvate prin alegerea corectă a locației pentru centrul de date. Centrul de date „Tushino” este situat pe teritoriul unei întreprinderi, unde ajung deja două linii de 110 kV din diferite centrale electrice urbane. La echipamentele fabricii, tensiunea înaltă este transformată în medie, iar la intrarea centrului de date sunt două linii independente de 10 kV.

Substația de transformare din interiorul clădirii centrului de date transformă tensiunea medie în cea de consum de 240-400 V. Toate liniile sunt conduse în paralel, astfel încât echipamentele centrului de date să primească alimentare de la două surse externe independente.

Tensiunea joasă de la substațiile de transformare este adusă la automatele de introducere a rezervelor, care asigură comutarea între rețelele municipale. Acționările motorului instalate pe AUR necesită 1,2 secunde pentru această operațiune. Tot acest timp, încărcătura cade pe sursele de alimentare neîntreruptibile.

Un AUR separat este responsabil pentru activarea automată a generatorului diesel în cazul în care alimentarea se întrerupe pe ambele linii. Pornirea generatorului diesel nu este un proces rapid și necesită aproximativ 40 de secunde, timp în care alimentarea electrică este complet asigurată de acumulatorii UPS.

La plin, generatorul diesel asigură alimentarea centrului de date timp de 8 ore. Având în vedere acest lucru, centrul de date a încheiat două contracte cu furnizori independenți de motorină, care s-au angajat să livreze o nouă porție de combustibil în termen de 4 ore de la solicitare. Probabilitatea ca ambii să întâmpine circumstanțe de forță majoră este extrem de scăzută. Astfel, autonomia poate continua cât este necesar echipelor de reparații pentru a restabili alimentarea din cel puțin una dintre rețelele orașului.

După cum se poate observa, nu există niciun fel de lucrări inginerești aici. Acest lucru se datorează în parte și faptului că, în construirea infrastructurii ingineresti, au fost utilizate module standard, ale căror producători se orientează către un anumit „consumator mediu”.

Desigur, orice specialist IT va spune că standardizarea este „nici pește, nici carne” și va propune să dezvolte un set unic de componente pentru un sistem specific. Totuși, cei care ar dori să plătească pentru acest punct de vedere nu se înghesuie la ușă. Prin urmare, trebuie să fim realiști. În practică, lucrurile se vor desfășura astfel: achiziția de echipamente standardizate și asamblarea unui sistem care va rezolva problemele actuale ale afacerii. Cei care nu sunt de acord cu această abordare vor fi rapid aduși cu picioarele pe pământ de către directorul financiar al companiei.

Tablouri de distribuție

În prezent, nouă tablouri de distribuție asigură funcționarea dispozitivelor de distribuție de intrare și patru RȘ sunt utilizate pentru a conecta sarcinile. Nu au existat restricții semnificative de spațiu, dar niciodată nu este suficient, astfel că a existat totuși un aspect ingineresc interesant.

După cum se poate observa, numărul „tablourilor de intrare” și „tablourilor de sarcină” nu coincide — al doilea este de aproape două ori mai mic. Acest lucru a devenit posibil deoarece proiectanții infrastructurii centrului de date au decis să folosească tablouri mai mari pentru a putea introduce trei sau mai multe linii de intrare. Fiecare automat de intrare are aproximativ 36 de linii de ieșire, protejate de automate separate.

Astfel, uneori utilizarea unor modele mai mari permite economisirea spațiului deficitare. Pur și simplu, pentru că vor fi necesare mai puține tablouri mari.

Surse de alimentare neîntreruptibilă

Ca sursă de alimentare neîntreruptă pentru centrul de date „Tushino” este utilizat Eaton 93PM cu o putere de 120 kVA, funcționând în modul de conversie dublă.

Cum am construit un sistem de alimentare cu energie de rezervă în centru de date „Tushino”: inginerie și finanțe
UPS-urile Eaton 93PM sunt disponibile în diferite configurații. Foto: Eaton

Principalele motive pentru alegerea acestui dispozitiv se regăsesc în caracteristicile sale.

În primul rând, eficiența acestui UPS în modul de conversie dublă ajunge la 97%, iar în modul de economisire a energiei — la 99%. Dispozitivul ocupă mai puțin de 1,5 m2 și nu ia din spațiul serverului pentru echipamentele principale. Ca urmare, se obțin costuri de operare reduse și economii esențiale pentru afaceri.

În al doilea rând, datorită sistemului încorporat de termoreglare, UPS-ul Eaton 93PM poate fi plasat oriunde. Chiar și în apropierea peretelui. Chiar dacă nu este necesar imediat, poate fi nevoie mai târziu. De exemplu, pentru a elibera puțin spațiu necesar pentru un rack suplimentar.

În al treilea rând, simplitatea utilizării. Inclusiv — software-ul Intelligent Power, folosit pentru monitorizare și gestionare. Metricile trimise prin SNMP permit controlul consumului și identificarea unor defecțiuni globale, ceea ce oferă posibilitatea de a reacționa rapid la situații de urgență.

În al patrulea rând, modularitatea și scalabilitatea. Aceasta este, poate, cea mai importantă calitate, datorită căreia în sistemul de rezervare al centrului de date „Tushino” este utilizat un singur UPS modular. Acesta include două module de lucru și unul de rezervă. Astfel se asigură schema N+1, necesară pentru nivelul Tier II.

Este semnificativ mai simplu și mai fiabil decât o configurație cu trei UPS-uri. De aceea, alegerea unui dispozitiv care prevede inițial posibilitatea de funcționare paralelă este o decizie logică.

Dar de ce proiectanții nu au ales un DRIBP în loc de UPS-uri separate și un generator pe turbina diesel? Motivele principale sunt, de asemenea, legate de aspecte financiare.

Structura modulară este, prin natura ei, pregătită pentru upgrade — pe măsură ce crește încărcătura, se adaugă surse și generatoare în infrastructura inginerescă. Cele vechi continuă să funcționeze fără probleme. Situația cu DRIBP este radical diferită: trebuie să achiziționezi un astfel de dispozitiv cu un mare surplus de putere. În plus, „combinele mici” sunt puține, iar prețul lor este considerabil — incomparabil mai mare decât cel al unui generator diesel sau al unui UPS. De asemenea, DRIBP sunt foarte capricioase în ceea ce privește transportul și montajul. Acest lucru afectează, la rândul său, costul întregii sisteme.

Configurația existentă își îndeplinește sarcinile cu succes. UPS Eaton 93PM poate menține funcționarea echipamentului principal al centrului de date timp de 15 minute, adică cu un surplus de peste 15 ori.

Din nou, forma de undă pură pe care o oferă UPS-ul în modul online scutește proprietarul centrului de date de necesitatea achiziționării de stabilizatoare separate. Astfel, se realizează economii.

În ciuda simplității declarate a UPS-ului Eaton 93PM, dispozitivul este destul de complex. Prin urmare, întreținerea acestuia în centrul de date „Tushino” este realizată de o companie externă, care dispune de specialiști înalt calificați. A avea un angajat instruit pentru acest scop în propria echipă este o plăcere costisitoare.

Rezultatele și perspectivele

Așa a fost creat centrul de date, care oferă servicii de calitate clienților ale căror sarcini nu necesită un nivel ridicat de redundanță și nu implică costuri economice mari. Un astfel de serviciu va fi întotdeauna solicitat.

Pentru construcția deja planificată a celei de-a doua etape, sistemul de alimentare de rezervă va utiliza deja UPS-ul Eaton achiziționat. Datorită construcției modulare, modernizarea acestuia se va reduce la achiziționarea unui modul suplimentar, ceea ce este mai convenabil și mai ieftin decât înlocuirea completă a dispozitivului. Această abordare va fi aprobată atât de inginer, cât și de finanțist.

Sursa: habr.com

Cumpără un hosting fiabil pentru site-uri cu protecție DDoS, servere VPS VDS 🔥 Cumpără un hosting fiabil pentru site-uri cu protecție DDoS, servere VPS VDS | ProHoster