A Tushino Data Center is a commercial retail half-megawatt data center for everyone and everything. Clients can not only rent already installed equipment but also place their own, including non-standard devices like servers in standard desktop cases, mining farms, or artificial intelligence systems. Simply put, it handles a wide range of popular tasks that are in demand across various scales of domestic business. This is what makes it interesting. In this post, you won’t find exclusive technical solutions or cutting-edge engineering proficiency. The focus will be on standard problems and solutions. In other words, what occupies 90% of specialists’ time 90% of the time.
Tier – the larger, the better?
The fault tolerance of the Tushino Data Center corresponds to Tier II level. Essentially, this means that the data center is located in a normally prepared premises, with backup power sources and redundant system resources.
However, contrary to popular belief, Tier levels do not indicate the ‘coolness’ of a data center but rather its alignment with current business needs. Among those, there are many tasks for which high fault tolerance is either insignificant or not important enough to justify an extra expenditure of 20-25 thousand rubles per year, which can be quite painful for a client during a crisis.
Where does this amount come from? It represents the difference in prices for data storage between adatközpontokban helyezkednek el, Tier II and Tier III levels when calculated per server. The more data, the more noticeable the potential savings.
What tasks are being referred to? For example, storing backups or mining cryptocurrency. In these cases, the permissible Tier II downtime will be cheaper than Tier III. a szerverPractice shows that in most cases, savings are more important than increased fault tolerance. Only five data centers in Moscow are certified as Tier III. There are no fully certified Tier IV data centers at all.
How is the power supply system of the Tushino Data Center structured?
?
A "Tushino" adatközpont villamosenergia-ellátásának rendszere megfelel a Tier II szint követelményeinek. Ez a villamosenergia-vonalak N+1 rendszer szerinti redundálását, az UPS rendszerek N+1 rendszer szerinti redundálását és a dízelgenerátor N szerinti redundálását jelenti. Az N+1 ebben az esetben egy tartalék elem, amely nem aktív, amíg az egyik alapvető elem meghibásodik, míg az N a tartalék nélküli rendszert jelenti, ahol bármely elem hibája leállítja az egész rendszer működését.
Az energiaellátással kapcsolatos problémák többsége a megfelelő helyszín kiválasztásával oldható meg az adatközpont számára. A "Tushino" adatközpont a vállalat területén található, ahol két 110 kV-os vonal érkezik különböző városi erőművekből. A gyár berendezéseinél a magas feszültség közepes feszültségre van átalakítva, és az adatközpontba két független 10 kV-os vonal érkezik.
A dátaközpont épületén belüli transzformátorállomás a közepes feszültséget 240-400 V fogyasztói feszültségre alakítja át. Mivel minden vonal párhuzamosan vezethető, az adatközpont berendezései két független külső forrásból kapnak táplálékot.
A transzformátorállomásokról érkező alacsony feszültség a tartalékbevezető automatikára van csatlakoztatva, ami biztosítja a városi hálózatok közötti kapcsolást. Az automatikus átkapcsolás motoros meghajtóinak ehhez a művelethez 1,2 másodpercre van szükségük. Ez alatt az idő alatt a terhelés az UPS rendszerek forrásaira hárul.
Egy külön automatikus átkapcsoló felel a dízelgenerátor automatikus indításáért, ha mindkét vonalon megszűnik a táplálás. A dízelgenerátor indítása nem gyors folyamat, és körülbelül 40 másodpercet igényel, amely idő alatt az elektromos ellátás teljes mértékben az UPS akkumulátoraira hárul.
Teljes feltöltöttséggel a dízelgenerátor a data center működését 8 órán át biztosítja. Ennek figyelembevételével a data center két független dízel üzemanyag-szállítóval kötött szerződést, akik vállalták, hogy 4 órán belül újabb üzemanyagot szállítanak a hívás után. Az esély arra, hogy egyszerre mindkettőnél valamilyen vis maior körülmény lépjen fel, rendkívül alacsony. Így az autonómiát addig fenntarthatjuk, ameddig a javító csapatoknak szükségük van rá, hogy legalább az egyik városi hálózatról helyreállítsák az áramellátást.
Ahogy azt könnyen észlelhetjük, itt nincsenek komoly mérnöki megoldások. Ennek részben az az oka, hogy a mérnöki infrastruktúra kiépítése során kész modulokat alkalmaztak, amelyek gyártói egy „átlagos felhasználóra” orientálódtak.
Kétségtelen, hogy bármely IT-szakember azt mondaná, hogy az általánosítás „sem hal, sem hús”, és javasolná egyedi alkatrészek kifejlesztését a konkrét rendszerhez. Azonban azok, akik hajlandóak ezt megfizetni, nyilvánvalóan nem állnak sorban. Ezért realistának kell lennünk. A gyakorlatban pontosan így alakul a helyzet: kész berendezések beszerzése és olyan rendszer összeállítása, amely megoldja a vállalkozás aktuális feladatait. Aki nem ért egyet ezzel a megközelítéssel, azt a cég fő pénzügyi igazgatója gyorsan visszarántja a valóságba.
Elosztó panelek
Jelenleg kilenc elosztó panel biztosítja a belépő-elosztó eszközök működését, és négy RŚP használatos közvetlenül a terhelés csatlakoztatására. Számottevő helyi korlátozás nem volt, de sosem elég belőle, így egy érdekes mérnöki részlet mégis jelen volt.
Ahogy azt könnyen észlelhetjük, az „bemeneti” és „terhelési” panelek száma nem egyezik — a másodikból majdnem kétszer kevesebb van. Ez azért valósult meg, mert a data center infrastruktúrájának tervezői nagyobb paneleket döntöttek alkalmazni, hogy három vagy több bejövő vonalat hozhassanak be. Minden bemeneti automatikához körülbelül 36 elágazó vonal tartozik, védve különálló automatikákkal.
Így néha a nagyobb modellek használata lehetővé teszi a szűkösen elérhető helyek megtakarítását. Egyszerűen azért, mert kevesebb nagy panelre van szükség.
Szünetmentes tápegységek
A Tushino adatközpont áramellátásához egy 120 kVA teljesítményű Eaton 93PM szünetmentes tápegységet használnak, amely kettős átalakító üzemmódban működik.
Az Eaton 93PM szünetmentes tápegységek különböző kivitelben kaphatók. Fotó: Eaton
A kiválasztás fő okai az alábbi jellemzőkben rejlenek.
Először is, ennek az UPS-nek a hatásfoka kettős átalakító üzemmódban eléri a 97%-ot, energiatakarékos üzemmódban pedig a 99%-ot. Az eszköz kevesebb mint 1,5 m²-t foglal el, és nem vesz el helyet a kiszolgáló berendezés fő eszközeitől. Ennek eredményeként alacsony üzemeltetési költségek és a vállalkozás számára szükséges megtakarítás érhető el.
Másodszor, a beépített hőszabályozó rendszernek köszönhetően az Eaton 93PM UPS bárhol elhelyezhető. Még a falhoz közel is. Még ha az eleinte nem is szükséges, később szükség lehet rá. Például, hogy felszabadítsunk egy kis helyet, amely hiányzik egy további állványhoz.
Harmadszor, a könnyű üzemeltetés. Ide tartozik az Intelligent Power szoftver is, amelyet a monitorozáshoz és kezeléshez használnak. Az SNMP-n keresztül elérhető mutatók lehetővé teszik a fogyasztás és a globális hibák ellenőrzését, ami lehetővé teszi a gyors reagálást a vészhelyzetekre.
Negyedszer, a modularitás és skálázhatóság. Ez talán a legfontosabb jellemző, amely lehetővé teszi, hogy a Tushino adatközpont tartalék áramellátó rendszere csak egy moduláris UPS-t használjon. Ez két működő modult és egy tartalék modult tartalmaz. Így biztosítva van az N+1 séma, amely a Tier II szinthez szükséges.
Ez sokkal egyszerűbb és megbízhatóbb, mint a három UPS-ből álló konfiguráció. Ezért a párhuzamos működésre előre tervezett eszköz kiválasztása teljesen logikus lépés.
De miért nem választották a tervezők a DRUPS-t külön szünetmentes tápegységek és dízel generátor helyett? A fő okok itt sem mérnöki, hanem pénzügyi szempontokban rejlenek.
A moduláris struktúra eleve a frissítésre van optimalizálva – a terhelés növekedésével a mérnöki infrastruktúrához források és generátorok adódnak hozzá. A régiek pedig továbbra is működnek. A DRI BP esetében azonban alapvetően más a helyzet: ilyen eszközt jelentős teljesítménytöbblettel kell vásárolni. Ezenkívül a "kicsi kombájnok" száma korlátozott, és az áruk is meglehetősen magas – összehasonlíthatatlanul drágább, mint egyes dízelgenerátorok és UPS-ek. A DRI BP továbbá nagyon igényes a szállítás és a telepítés során is. Ez viszont a teljes rendszer költségeire is hatással van.
A meglévő konfiguráció viszont sikeresen megoldja a feladatait. Az Eaton 93PM UPS képes fenntartani az adatközpont főberendezéseinek működését 15 percig, tehát több mint 15-szörös teljesítménytöbblettel rendelkezik.
Ismét, a tiszta szinuszhullám, amelyet az UPS online üzemmódban biztosít, megszabadítja az adatközpont tulajdonosát a külön stabilizátorok megvásárlásának szükségességétől. Így takarékoskodunk.
Mindezek ellenére az Eaton 93PM UPS, amelyet egyszerűnek nyilvánítanak, valójában meglehetősen bonyolult eszköz. Ezért az adatközpont "Tushino" technikai karbantartását egy külső cég végzi, amelynek magasan képzett szakemberei vannak. Drága dolog egy saját alkalmazottat képezni erre a célra.
Eredmények és kilátások
Ily módon létrejött egy olyan adatközpont, amely lehetővé teszi a minőségi szolgáltatások nyújtását a fogyasztóknak, akiknek feladatai nem igényelnek magas szintű tartalékot és nem feltételeznek jelentős gazdasági kiadásokat. Az ilyen szolgáltatások iránt mindig lesz kereslet.
A már tervezett második ütem építésekor az Eaton UPS-t fogják felhasználni a tartalékenergia-ellátó rendszer létrehozásához, amelyet korábban vásároltak meg. A moduláris felépítésének köszönhetően a modernizálás a kiegészítő modul megvásárlására korlátozódik, ami kényelmesebb és olcsóbb, mint az eszköz teljes cseréje. Ezt az megoldást a mérnök és a pénzügyi szakember is támogatja.
Forrás: habr.com
