Datacenter "Tushino" is a commercial retail half-megawatt data center for everyone and everything. Clients can not only rent already installed equipment but also host their own, including non-standard devices like servers in regular desktop PC cases, mining farms, or artificial intelligence systems. In simple terms, it caters to a wide range of popular tasks that are highly demanded by domestic businesses of varying sizes. This is what makes it interesting. In this post, you will not find exclusive technical solutions or innovative engineering ideas. It will discuss standard problems and solutions. That is, what 90% of specialists spend 90% of their working time on.
Tier ā the more, the better?
The fault tolerance of the "Tushino" data center corresponds to Tier II level. Essentially, this means that the data center is located in a properly prepared facility, with backup power sources and redundant system resources.
However, contrary to popular belief, Tier levels do not characterize the "coolness" of a data center but rather its alignment with current business needs. Among these, there are many for which high fault tolerance is either insignificant or not important enough to justify an extra cost of 20-25 thousand rubles per year, which, in times of crisis, can be quite painful for the client.
Where did this amount come from? It represents the difference between the costs of information placement in datacenters Tier II and Tier III levels per server. The larger the data, the more noticeable the potential savings.
What tasks are we talking about? For instance, storing backups or mining cryptocurrency. In these cases, the acceptable Tier II downtime is cheaper than Tier III. de serverPractice shows that in most cases, savings are more important than increased fault tolerance. In Moscow, there are only five data centers certified to Tier III. And there are no fully certified Tier IV centers at all.
How is the power supply system of the "Tushino" data center arranged?
Hoe is het elektriciteitsvoorzieningssysteem van datacenter "Tushino" geregeld?
De vereisten voor het elektriciteitsvoorzieningsysteem van de datacentrale 'Tushino' voldoen aan de voorwaarden van het Tier II-niveau. Dit houdt in dat er een N+1-redundantie is voor de stroomlijnen, een N+1-redundantie voor de UPS-systemen en een N-redundantie voor de dieselgenerator. In dit geval betekent N+1 dat er Ć©Ć©n reserve-element is dat niet wordt gebruikt zolang er geen storing optreedt in een van de primaire elementen, terwijl N verwijst naar een systeem zonder redundantie, waarbij een storing in een van de elementen leidt tot een volledig falen van het systeem.
Veel van de problemen die verband houden met energievoorziening worden opgelost door de juiste locatie voor de datacentrale te kiezen. De datacentrale 'Tushino' bevindt zich op het terrein van de fabriek, waar al twee lijnen van 110 kV van verschillende stadscentrales komen. De hoge spanning van de fabriek wordt omgezet in middelhoge spanning en twee onafhankelijke lijnen van 10 kV komen binnen in de datacentrale.
Het transformatorstation binnen het gebouw van de datacentrale zet de middelhoge spanning om in de verbruiksspanning van 240-400 V. Alle lijnen lopen parallel, zodat de apparatuur van de datacentrale stroom krijgt van twee onafhankelijke externe bronnen.
De lage spanning van de transformatorstations is aangesloten op de automatische overschakelautomaten, die zorgen voor de overschakeling tussen de stedelijke netwerken. De motorische aandrijvingen die voor de AVR zijn geĆÆnstalleerd, hebben 1,2 seconden nodig voor deze operatie. Gedurende deze tijd ligt de belasting volledig op de UPS-systemen.
Een aparte AVR is verantwoordelijk voor het automatische inschakelen van de dieselgenerator in het geval dat de stroom op beide lijnen uitvalt. De start van de dieselgenerator is geen snelle gebeurtenis en duurt ongeveer 40 seconden, gedurende welke periode de stroomvoorziening volledig afhankelijk is van de batterijen van de UPS.
Bij een volle tank levert de dieselgenerator stroom voor het datacenter gedurende 8 uur. Met dit in gedachten heeft het datacenter twee contracten afgesloten met onafhankelijke leveranciers van diesel, die zich hebben verplicht om binnen 4 uur na oproep nieuwe brandstof te leveren. De kans dat beiden tegelijkertijd met overmacht worden geconfronteerd, is uiterst laag. Hierdoor kan de autonomie voortduren zolang als nodig is voor de onderhoudsteams om de stroomvoorziening van ten minste Ć©Ć©n van de stadsnetten te herstellen.
Zoals gemakkelijk te zien is, zijn er hier geen ingenieursuitvindingen. Dit komt ook doordat bij de bouw van de technische infrastructuur gebruik is gemaakt van kant-en-klare modules, waarvan de fabrikanten zich richten op een soort 'gemiddelde consument'.
Zeker, elke IT-specialist zal zeggen dat middeling 'het is geen vis en geen vlees' is en zal voorstellen om een unieke set componenten voor een specifiek systeem te ontwikkelen. Echter, de mensen die bereid zijn om deze luxe te betalen, staan duidelijk niet in de rij. Dus we moeten realistisch zijn. In de praktijk zal het zijn zoals het is: inkoop van kant-en-klare apparatuur en samenstelling van een systeem dat de actuele zakelijke taken oplost. Degenen die het niet eens zijn met deze aanpak zal de financiƫle directeur van het bedrijf snel terugbrengen naar de werkelijkheid.
Verdelers
Momenteel zorgen negen verdeelborden voor de werking van de invoer- en verdeelapparatuur en vier RS worden direct gebruikt voor het aansluiten van de belasting. Er waren geen ernstige beperkingen qua ruimte, maar het is nooit teveel, dus er was wel een interessant ingenieurspunt aanwezig.
Zoals makkelijk te zien is, komt het aantal 'invoeren' en 'belastings' borden niet overeen - het aantal laatste is bijna de helft. Dit werd mogelijk omdat de ontwerpers van de infrastructuur van het datacenter besloten om grotere borden te gebruiken om daar drie of meer inkomende lijnen op aan te sluiten. Voor elke invoerautomaat zijn er ongeveer 36 afvoerlijnen, beschermd door afzonderlijke automaten.
Daarom kan het gebruik van grotere modellen soms helpen om schaarse ruimte te besparen. Simpelweg omdat er minder grote borden nodig zijn.
Ononderbroken voeding
Als noodstroomvoorziening voor datacentrum "Tushino" wordt een Eaton 93PM met een vermogen van 120 kVA gebruikt, die werkt in de modus van dubbele omzetting.
UPS Eaton 93PM zijn beschikbaar in verschillende uitvoeringen. Foto: Eaton
De belangrijkste redenen om juist dit apparaat te kiezen zijn de volgende kenmerken.
Ten eerste bereikt het rendement van deze UPS in de modus van dubbele omzetting 97%, en in de energiebesparingsmodus 99%. Het apparaat neemt minder dan 1,5 mĀ² in beslag en neemt geen ruimte in de serverruimte in beslag van de hoofdapparatuur. Dit resulteert in lage operationele kosten en de benodigde besparingen voor het bedrijf.
Ten tweede, dankzij het ingebouwde thermoreguleringssysteem kan de Eaton 93PM UPS overal worden geplaatst. Zelfs dicht bij de muur. Ook al is het op dat moment niet nodig, het kan later van pas komen. Bijvoorbeeld om wat ruimte vrij te maken die nodig is voor een extra rack.
Ten derde, gebruiksgemak. Dit omvat ook de Intelligent Power-software die wordt gebruikt voor monitoring en beheer. Gegevens die via SNMP worden verzonden, stellen in staat om het energieverbruik en algemene storingen te controleren, wat de mogelijkheid biedt om snel te reageren op noodsituaties.
Ten vierde, modulariteit en schaalbaarheid. Dit is misschien wel de belangrijkste eigenschap, waardoor in het noodsysteem van datacenter "Tushino" slechts Ć©Ć©n modulaire UPS wordt gebruikt. Deze bevat twee actieve modules en Ć©Ć©n reserve-module. Zo wordt het N+1-schema gegarandeerd, wat vereist is voor niveau Tier II.
Dit is aanzienlijk eenvoudiger en betrouwbaarder dan een configuratie met drie UPS-systemen. Daarom is de keuze voor een apparaat dat van meet af aan parallelle werking mogelijk maakt, een logische stap.
Maar waarom hebben de ontwerpers geen DRUPS gekozen in plaats van afzonderlijke UPS-systemen en een dieselgenerator? De belangrijkste redenen liggen hier niet in de techniek, maar in de financiƫn.
De modulaire structuur is bij voorbaat ontworpen voor upgrades - naarmate de belasting op de technische infrastructuur toeneemt, worden er bronnen en generatoren toegevoegd. De oude blijven echter zoals ze waren werken. Bij DRIBP is de situatie radicaal anders: je moet zo'n apparaat met een ruime capaciteitsreserve kopen. Bovendien zijn er weinig 'kleine combineers', en ze zijn behoorlijk duur - niet te vergelijken met aparte dieselgeneratoren en UPS-systemen. Daarnaast zijn DRIBP's ook erg gevoelig voor transport en installatie. Dit heeft op zijn beurt ook invloed op de totale kosten van het systeem.
De bestaande configuratie lost zijn taken succesvol op. De Eaton 93PM UPS kan de werking van de belangrijkste apparatuur in de datacenters gedurende 15 minuten ondersteunen, dat is meer dan 15 keer de benodigde reserve.
Bovendien zorgt de schone sinusgolf die de UPS in online-modus levert ervoor dat de datacenter-eigenaar niet afzonderlijke stabilisatoren hoeft aan te schaffen. Dit resulteert in een besparing.
Ondanks de geclaimde eenvoud van de Eaton 93PM UPS is het apparaat vrij complex. Daarom wordt het technisch onderhoud in datacenter 'Tushino' uitgevoerd door een extern bedrijf met hooggekwalificeerde specialisten in dienst. Het in eigen beheer hebben van een opgeleide medewerker voor dit doel is een dure aangelegenheid.
Resultaten en vooruitzichten
Zo werd een datacenter gecreƫerd dat kwaliteitsdiensten kan leveren aan klanten wiens taken geen hoog niveau van redundantie vereisen en geen grote economische uitgaven met zich meebrengen. Zo'n service zal altijd in trek zijn.
Bij de reeds geplande bouw van de tweede fase zal de reeds aangekochte Eaton UPS worden gebruikt voor het creƫren van een systeem voor back-up energievoorziening. Dankzij de modulaire constructie kan de modernisering worden beperkt tot de aanschaf van een extra module, wat handiger en goedkoper is dan een volledige vervanging van het apparaat. Deze aanpak zal zowel door ingenieurs als financiƫle experts worden goedgekeurd.
Bron: habr.com
