Da qualche parte nel mezzo tra Mosca e San Pietroburgo c'è una piccola città chiamata Udomlya. In precedenza, era noto per la centrale nucleare di Kalinin. Nel 2019, nelle vicinanze è apparsa un'altra attrazione: il megadata center Udomlya con 4mila rack.
Dopo essersi uniti al team Rostelecom-DPC, anche gli specialisti DataLine saranno coinvolti nel funzionamento di questo data center. Sicuramente hai già sentito qualcosa su "Udomlya". Oggi abbiamo deciso di raccontarvi in dettaglio come funziona tutto lì.
Paesaggi industriali: un data center di 32 m² e una centrale nucleare sullo sfondo. Campione di Udomlya primavera 000.
Sotto il taglio abbiamo raccolto più di 40 foto dei sistemi di ingegneria del data center con una descrizione dettagliata. Una piacevole sorpresa attende chi arriva alla fine.
A proposito di logistica
Il data center si trova nella regione di Tver. Il viaggio da Mosca a Udomlya durerà circa tre ore: 1 ora e 45 minuti su Sapsan fino alla stazione Vyshny Volochek, e da lì, previa richiesta, una navetta vi verrà a prendere e vi porterà al data center. Da San Pietroburgo a Vyshny Volochek ci vuole un po' più di tempo: 2 ore e 20 minuti.
In auto puoi arrivarci da Mosca in 4,5 ore, da San Pietroburgo in 5.
Sì, probabilmente non vorrai andare qui per un paio di unità. Ma se hai bisogno di una nuova casa per dozzine di scaffali, allora vale la pena dare un'occhiata più da vicino. C'è abbastanza spazio ed elettricità, anche se vuoi raddoppiare questa quantità in qualsiasi momento. A Mosca, dove, secondo la nostra esperienza, i data center vengono prenotati in fase di costruzione, questo trucco non sempre funziona.
Inoltre, la posizione del data center tra Mosca e San Pietroburgo può essere utilizzata per la geoprenotazione. Se le strutture principali si trovano a Mosca o San Pietroburgo, un sito di riserva andrebbe bene.
Il team smart hands assisterà con tutte le operazioni standard in loco. Riceveranno, disimballeranno e installeranno le apparecchiature nei rack, le collegheranno all'alimentazione e alla rete e forniranno l'accesso remoto alle apparecchiature. In caso di malfunzionamenti, aiuteranno con la diagnostica e sostituiranno i componenti guasti.
La prima fase del data center è composta da 4 sale computer, o moduli, con 205 rack ciascuna. Ci sono 2 sale macchine e un centro energetico al piano terra, e altri due locali e un centro frigorifero al secondo piano. Andiamo a vedere come funziona il tutto qui.
Sicurezza fisica
Il data center occupa un'area dedicata, alla quale non è possibile accedere senza pass e documento di riconoscimento. Chi arriva in macchina riceve anche un pass per i trasporti e solo dopo può entrare nel data center. Per chi ha tutto in ordine con il pass, il data center è aperto 24 ore su 7, XNUMX giorni su XNUMX.
Il primo posto di sicurezza XNUMX ore su XNUMX è l'ingresso nel territorio.
Andiamo oltre e arriviamo al checkpoint direttamente all'ingresso del data center.
Gli addetti alla sicurezza non solo accolgono i clienti e rilasciano i pass, ma monitorano anche XNUMX ore su XNUMX il video wall, che mostra immagini di tutti i locali interni del data center e delle aree circostanti.
Alimentazione
L'elettricità inizia il suo viaggio verso il data center dalla centrale nucleare. Il data center riceve 10 kV per 6 trasformatori step-down. Successivamente, 0,4 kV passano attraverso due percorsi indipendenti verso il quadro di bassa tensione (LVSD). Quindi, tramite il DIBP, l'alimentazione viene fornita alle apparecchiature IT e di ingegneria. Per il rack sono adatti due ingressi indipendenti, ovvero ridondanza 2N. Ti diremo di più su come funziona tutto in termini di alimentazione in un articolo separato.
Il percorso dell'elettricità nel data center di Udomlya
Autobus elettrici attraverso i quali l'elettricità arriva dal RUNN ai quadri elettrici DIBP
Righe di CORSA
Nonostante ci sia una centrale nucleare nelle vicinanze, in qualsiasi data center affidabile l'alimentazione principale è considerata garantita. Nei nostri data center, come sapete, ne sono responsabili i gruppi elettrogeni diesel, ma qui vengono utilizzati UPS dinamici (DIUPS). Forniscono inoltre un'alimentazione ininterrotta. I DIUP sono riservati secondo lo schema N+1.
Marchio DIPS Euro-Diesel (Kinolt) con una capacità di 2 MW. Ruggiscono così forte che è meglio non entrare senza tappi per le orecchie.
Ed è così che funziona. DIBP è una combinazione di tre componenti principali: un motore diesel, una macchina elettrica sincrona e un accumulatore di energia cinetica con rotore. Tutti sono fissati all'albero principale.
La macchina elettrica può funzionare in modalità motore elettrico e generatore. Quando il DIBP è alimentato regolarmente dalla città, la macchina elettrica è un motore elettrico che fa girare il rotore e immagazzina energia cinetica nella batteria.
Il blocco grigio in primo piano è una macchina sincrona DIBP
Motore diesel DIBP
Se viene a mancare la corrente cittadina, la macchina elettrica passa alla modalità generatore. Grazie all'energia cinetica accumulata, il rotore fa ruotare l'albero principale del DIBP, la macchina elettrica continua a funzionare senza alimentazione cittadina e la tensione di uscita non scompare. Ciò garantisce un'alimentazione ininterrotta nel data center. Allo stesso tempo, il sistema di controllo DIBP invia un segnale per avviare il motore diesel. La stessa energia cinetica del rotore avvia il motore diesel e lo aiuta a raggiungere la frequenza operativa. Il rotore mantiene la velocità fino a un minuto, tempo sufficiente perché il diesel entri in gioco. Dopo l'avvio, il motore diesel fa ruotare l'albero principale e, attraverso di esso, la macchina elettrica (qui commutazione del DIBP da una modalità all'altra).
Di conseguenza, la potenza nei rack non viene persa nemmeno per un secondo.
Il serbatoio di ciascun generatore diesel è progettato per 3 ore. Il data center dispone inoltre di un proprio impianto di stoccaggio del carburante per 80 tonnellate, che manterrà l'intero carico del data center per 24 ore. In caso di blackout molto ipotetici (la vicina centrale nucleare non lo consentirà), ci sono accordi con diversi appaltatori che consegneranno tempestivamente gasolio sul posto su richiesta. In generale, tutto è come dovrebbe essere.
Ogni settimana i DIBP effettuano l'autotest e avviano il motore diesel. Una volta al mese vengono effettuati test con una chiusura a breve termine della rete cittadina.
Pannello di controllo DIBP
Locali ShchGP e ShchBP
“Dotte” e “giunzioni” di cavi elettrici
Locali macchine
Ogni modulo si trova in una zona ermetica, in un apposito box. Queste pareti e il tetto aggiuntivi proteggono la sala turbine da polvere, acqua e fuoco. Quando si accetta un data center, l'area di contenimento viene tradizionalmente versata con acqua per verificare eventuali perdite.
Il tetto dell'edificio e il proprio tetto della sala turbine con tubi di drenaggio
L'acqua che cade sul tetto della zona di contenimento passa attraverso le grondaie nella tubazione di drenaggio
Ogni padiglione è pronto ad accogliere 205 rack con una potenza media di 5 kW.
La disposizione delle attrezzature nella sala è organizzata secondo lo schema dei corridoi freddi e caldi.
Lungo il soffitto sono disposti i sistemi Bolid di rivelazione incendio precoce e di estinzione incendi a gas.
I sensori di fumo sono posizionati anche sotto il pavimento sopraelevato. È sufficiente attivare due sensori qualsiasi e la sirena dell'allarme antincendio suonerà, ma di questo ne parleremo più avanti.
Proprio lì, lungo le file di condizionatori, ci sono i sensori di perdita del nastro.
Ogni corridoio tra i banconi è “sorvegliato” con telecamere a circuito chiuso.
Se lo si desidera, i rack possono essere posizionati dietro una recinzione speciale (gabbia) e su di essa possono essere installate telecamere aggiuntive, sistemi di controllo degli accessi e sensori di movimento, sensori di volume, ecc.
Refrigerazione
Il data center di Udomlya utilizza un circuito refrigeratore a glicole etilenico. Ci sono condizionatori d'aria nelle sale macchine, refrigeratori sul tetto e al secondo piano c'è un centro di refrigerazione con condutture, un sistema di automazione e controllo, pompe, serbatoi di stoccaggio, ecc.
Ogni stanza è dotata di 12 condizionatori, metà dei quali con umidificatori a vapore. Schema di ridondanza N+1.
Nel corridoio freddo la temperatura viene mantenuta tra 21–25 °C e un'umidità compresa tra il 40–60%.
Condizionatori di precisione Stulz Cyber Cool
Intorno a ciascuna sala macchine sono presenti due anelli: una linea “fredda” che fornisce glicole etilenico raffreddato al condizionatore d'aria e una linea “calda” che rimuove il glicole riscaldato dai condizionatori d'aria ai refrigeratori. Se apriamo il pavimento sopraelevato nel corridoio, vedremo delle gocce dell'impianto di refrigerazione nelle sale macchine.
Il percorso del glicole etilenico è il seguente: dal condizionatore d'aria, il glicole etilenico riscaldato entra prima nella linea di ritorno attorno alla sala macchine e poi nell'anello comune. Quindi il glicole etilenico va alla pompa e poi al refrigeratore, dove viene raffreddato a 10 °C. Dopo il refrigeratore, il glicole etilenico ritorna al condizionatore d'aria attraverso la linea di alimentazione dell'anello comune, i serbatoi di stoccaggio e l'anello attorno al modulo.
Diagramma di fornitura del raffreddamento del data center
Ecco come si presenta una centrale frigorifera nella quale passano 100 m3 di glicole etilenico
I contenitori grigi sono vasi di espansione. Il glicole etilenico riscaldato li attraversa nel suo percorso verso il refrigeratore. In estate il glicole etilenico si espande e richiede spazio aggiuntivo.
Questi imponenti contenitori sono serbatoi di stoccaggio, di 5 m3 ciascuno. Forniscono un raffreddamento ininterrotto del data center in caso di guasto del refrigeratore.
Al sistema viene fornito glicole etilenico raffreddato proveniente dai serbatoi, che consente di mantenere la temperatura di uscita del condizionatore a 19 °C per 5 minuti. Anche se fuori fa +40°C.
Pompe di refrigerazione
Filtri a tasche a rete e serbatoi separatori per purificare il glicole etilenico da particelle meccaniche e aria
La sottile linea rossa sul pavimento sotto i tubi è il nastro del sensore di perdita. Percorrono tutto il perimetro del centro di refrigerazione.
Se uno qualsiasi dei tubi perde, il glicole etilenico passerà attraverso il sistema di drenaggio e finirà in un serbatoio speciale nella sala di trattamento dell'acqua. Sono inoltre presenti due serbatoi con glicole etilenico “di riserva” per rifornire il sistema di refrigerazione in caso di perdite importanti.
E sui refrigeratori. Sul tetto sono presenti 5 refrigeratori che utilizzano uno schema di ridondanza N+1. Ogni giorno l'automazione determina, in base alle ore di funzionamento, quale refrigeratore mettere in riserva.
refrigeratori del marchio Stulz CyberCool 2 con una capacità di 1096 kW
I refrigeratori supportano tre modalità:
- compressore – da 12 °C;
- misto – a 0–12 °C;
- freecooling – da 0 in giù. Questa modalità prevede il raffreddamento del glicole etilenico attraverso il funzionamento delle ventole anziché di un compressore.
sicurezza antincendio
Il data center dispone di due stazioni antincendio a gas. Ciascuna contiene due batterie da 11 cilindri: la prima è quella principale, la seconda è di riserva.
Il sistema antincendio del data center è collegato al server della centrale nucleare di Kalinin e, se necessario, i vigili del fuoco della stazione arriveranno sul posto in pochi minuti.
La foto mostra un sistema di allarme antincendio e un pulsante di uscita di emergenza nella sala turbine. Quest'ultimo è necessario se per qualche motivo le porte non sono state sbloccate durante un allarme incendio: interrompe l'alimentazione all'elettroserratura.
Telecom
Due autostrade Rostelecom arrivano al data center tramite percorsi indipendenti. Ogni sistema DWDM ha una capacità di 8 Terabit.
Il data center dispone di due ingressi di telecomunicazione, che si trovano a una distanza di oltre 25 metri l'uno dall'altro.
Sul sito sono presenti anche gli operatori Rascom, Telia Carrier Russia, Consyst e DataLine apparirà prossimamente.
Da Udomlya puoi costruire un canale per Mosca, San Pietroburgo o ovunque in Russia e nel mondo.
Monitoraggio
Gli ingegneri in servizio sono in servizio XNUMX ore su XNUMX presso il centro di monitoraggio.
Qui si ricevono tutte le informazioni sui sistemi ingegneristici: condizioni climatiche nella sala, condizione degli ingressi, DIBP, ecc.
Ogni due ore, il personale in servizio visita tutti i locali dell'infrastruttura per ispezionare le condizioni delle apparecchiature tecniche e informatiche.
Infrastruttura di supporto
È prevista un'area di scarico per la consegna delle apparecchiature al data center.
Zona di scarico dall'interno.
Se la tua sala è al secondo piano, questo ascensore idraulico consegnerà lì qualsiasi attrezzatura.
Armadietti per riporre gli strumenti del cliente e altro ancora.
Un po' di vita quotidiana
Per il personale permanente è possibile affittare postazioni di lavoro attrezzate nella parte ufficio. Se visiti di tanto in tanto, puoi soggiornare in un hotel temporaneo con tutti i comfort proprio sul territorio del data center.
La parte ufficio ha anche una sala da pranzo e una cucina.
E tutt'intorno c'è una natura meravigliosa con foreste, laghi, fiumi, pesca e altre attività all'aperto. Vieni per una visita.
Come promesso, un bel bonus per chi è arrivato alla fine. Per i primi sei mesi, l'affitto di uno spazio rack a Udomlya con una potenza fornita di 5 kW sarà gratuito. Paghi solo l'elettricità effettivamente consumata. Invia la tua candidatura a .
Fonte: habr.com