🥇Come abbiamo spinto sull'efficienza energetica della sala macchine

Dedico questo post a quelle persone che hanno mentito nei certificati, il che ci ha quasi portato a installare dei fuochi d'artificio bengalesi nelle nostre sale.

La storia è di oltre quattro anni fa, ma la pubblico ora perché è scaduto il NDA. All'epoca abbiamo capito che il data center (che affittiamo) era quasi completamente carico, ma l'efficienza energetica non era migliorata molto. In precedenza, l'ipotesi era che più lo riempivamo, meglio era, perché la parte ingegneristica si distribuisce su tutti. Ma ci siamo ingannati, e con un buon carico c'erano perdite. Abbiamo lavorato su molti fronti, ma il nostro coraggioso team si è occupato del raffreddamento.

La vita reale di un data center è un po' diversa da quella progettata. Costanti modifiche da parte del servizio operativo per aumentare l'efficienza e ottimizzazione delle impostazioni per nuovi compiti. Prendiamo la mitica media rack. Nella pratica non esiste, poiché il carico è distribuito in modo non uniforme, con zone affollate e zone vuote. E abbiamo dovuto riconfigurare alcune impostazioni per migliorare l'efficienza energetica.

Il nostro data center Compressore è necessario per una varietà di clienti. Pertanto, tra i normali rack da due a quattro kilowatt, può capitare di trovare un rack da 23 kilowatt o superiore. Di conseguenza, i condizionatori sono stati impostati per raffreddarli, e attraverso rack meno potenti l'aria passava semplicemente.

La seconda ipotesi era che i corridoi caldi e freddi non si mescolassero. Dopo le misurazioni posso dire che è un'illusione, e la vera aerodinamica differisce dal modello in quasi tutti i suoi aspetti.

Ispezione

Inizialmente abbiamo iniziato a esaminare i flussi d'aria nelle sale. Perché ci siamo messi a farlo? Perché sapevamo che il data center era progettato per cinque-sei kW per rack, ma sapevamo che effettivamente andava da 0 a 25 kW. Regolare tutto questo con le piastrelle è quasi impossibile: le prime misurazioni hanno mostrato che consentivano quasi lo stesso passaggio. E non ci sono piastrelle da 25 kW, dovrebbero essere non solo vuote, ma con vuoto liquido.

Abbiamo acquistato un anemometro e abbiamo iniziato a misurare i flussi tra i rack e sopra di essi. In generale, è necessario lavorare secondo le normative e vari standard, difficilmente attuabili senza fermare la sala macchine. A noi interessava non la precisione, ma un quadro generale. Cioè, abbiamo fatto una misurazione approssimativa.

Dalla misurazione, su 100 percento dell'aria che esce dalle piastre, il 60 percento entra nei rack, il restante passa oltre. Questo è dovuto al fatto che ci sono rack pesanti da 15–25 kW, su cui è stato costruito il sistema di raffreddamento.

Non possiamo semplicemente spegnere i condizionatori, perché sulle rack calde nella zona dei server superiori diventerà davvero caldo. In questo momento comprendiamo che dobbiamo isolare qualcosa per impedire all'aria di saltare da un fila all'altra, in modo che lo scambio termico nel blocco avvenga comunque.

Parallelamente ci poniamo la domanda se sia finanziariamente conveniente.

Con sorpresa scopriamo che abbiamo dati sul consumo energetico del Data Center, ma non possiamo calcolare i fan coil per una sala specifica. Cioè, possiamo farlo analiticamente, ma di fatto no. E non siamo in grado di valutare il risparmio. La questione diventa sempre più interessante. Se risparmiamo il 10 % della potenza dei condizionatori — quanto denaro possiamo mettere da parte per l'isolamento? Come calcolare?

Siamo andati dagli automatizzatori, che stavano perfezionando il sistema di monitoraggio. Grazie ragazzi: avevano già tutti i sensori, bisognava solo scrivere il codice. Hanno iniziato a visualizzare separatamente i chiller, l'UPS, l'illuminazione. Con la nuova tecnologia è emersa la possibilità di osservare come la situazione cambiava in base agli elementi del sistema.

Esperimenti con le tende

Parallelamente iniziamo esperimenti con le tende (paratie). Decidiamo di fissarle sugli spinotti dei cavi (non c'è altro a cui attaccarle), a condizione che siano leggere. Abbiamo deciso rapidamente riguardo ai coperture o ai pettini.

Il problema è che prima abbiamo lavorato con un sacco di fornitori. Tutti hanno soluzioni per i propri centri di dati aziendali, ma per un centro dati commerciale in sostanza non ci sono soluzioni pronte. I nostri clienti arrivano e partono continuamente. Siamo uno dei pochi centri di dati "pesanti" senza limitazione nella larghezza delle estensioni con la possibilità di accogliere questi server mulinatori fino a 25 kW. Nessuna pianificazione dell'infrastruttura in anticipo. Cioè, se dovessimo utilizzare sistemi modulari di censimento dei fornitori — ci saranno sempre buchi di due mesi. Cioè, nessun magazzino sarà efficientemente energetico in linea di principio.

Abbiamo deciso di farlo noi stessi, fortunatamente abbiamo i nostri ingegneri.

La prima cosa che abbiamo preso sono state le strisce dai frigoriferi industriali. Sono delle flessibili strisce di polietilene con cui si può combinare. Le avrete sicuramente viste all'ingresso del reparto carne dei supermercati più grandi. Abbiamo iniziato a cercare materiali non tossici e ignifughi. Ne abbiamo trovati, comprati per due file. Le abbiamo appese e abbiamo iniziato a vedere cosa ne veniva fuori.

Sapevamo che non sarebbe stato molto. Ma è stato davvero molto, molto male. Cominciano a disperdersi come spaghetti sotto i flussi. Abbiamo trovato delle strisce magnetiche come quelle dei magneti da frigorifero. Le abbiamo incollate su queste strisce, attaccate tra loro, la parete è diventata ragionevolmente monolitica.

Abbiamo cominciato a valutare che cosa sarebbe stato nella sala.

Siamo andati dai costruttori, abbiamo mostrato il nostro progetto. Loro guardano e dicono: le vostre tende sono molto pesanti. 700 chilogrammi in tutto il magazzino. Andate, dicono, buone persone, al diavolo. Più precisamente, al team SCS. Lasciateli contare quanta pasta hanno nei canali, perché 120 kg al metro quadrato è il massimo.

SCS dicono: ricordate, ci è venuto a trovare un grande cliente? Ha decine di migliaia di porte in un'unica sala. Ai lati del magazzino è ancora fattibile, ma più vicino al crossover non si potrà attaccare: i canali si staccheranno.

In aggiunta, i costruttori hanno richiesto un certificato per il materiale. Sottolineo che prima avevamo lavorato sulla parola del fornitore, poiché si trattava solo di un test. Ci siamo rivolti a quel fornitore, abbiamo detto: OK, pronti a passare alla beta, portateci tutti i documenti. Loro ci hanno inviato qualcosa di non molto standard.

Abbiamo detto: ascoltate, dove avete preso questo documento? Loro: ce l'ha inviato il nostro produttore cinese in risposta alle richieste. Secondo il documento, questa cosa non brucia affatto.

In quel momento abbiamo capito che era ora di fermarci e verificare i fatti. Andiamo dalle ragazze della sicurezza antincendio del CED, che ci indicano un laboratorio che verifica la combustibilità. Prezzi e tempi piuttosto normali (infatti, abbiamo maledetto tutto mentre compilavamo la giusta quantità di documenti). Lì gli scienziati dicono: portateci il materiale, faremo dei test.

Nella conclusione era scritto che da un chilo di sostanza rimangono circa 50 grammi di cenere. Il resto brucia intensamente, cola e supporta molto bene la combustione in una pozzetta.

Capendo che è stato un bene non acquistare. Abbiamo iniziato a cercare un altro materiale.

Abbiamo trovato il policarbonato. Si è rivelato più rigido. Il foglio trasparente è di due mm, le porte sono di quattro millimetri. In sostanza, è vetro acrilico. Insieme al produttore iniziamo la conversazione con la sicurezza antincendio: per favore, ci mandi il certificato. Loro ce lo inviano. Firmato dallo stesso istituto. Chiamiamo lì, diciamo: beh, ragazzi, avete verificato questo?

Loro dicono: sì, abbiamo verificato. Prima lo abbiamo bruciato noi, poi l'abbiamo portato solo per i test. Da un chilo di materiale rimane (se lo si brucia con un cannello) circa 930 grammi di cenere. Si fonde e cola, ma la pozzetta non brucerà.

Controlliamo subito i nostri magneti (sono su base polimerica). Sorprendentemente bruciano male.

Compilazione

Da questo cominciamo a costruire. Il policarbonato è fantastico, perché è più leggero del polietilene ed è molto più resistente alla flessione. Tuttavia, ci portano fogli di 2,5 per 3 metri e al fornitore non importa cosa farne. A noi servono 2,8 di larghezza e 20–25 centimetri. Le porte sono state inviate a ditte che tagliano il foglio come necessario. E le lamelle le abbiamo tagliate noi. Il processo di taglio costa circa il doppio rispetto al foglio.

Ecco il risultato:

Il risultato è che il sistema di cageing si ripaga in meno di un anno. Abbiamo risparmiato circa 200–250 KWh costantemente sulle potenze dei fan coil. Ancora qualche risparmio sui chiller, ma non sappiamo esattamente quanto. I server aspirano a una velocità costante, i fan coil soffiano. E i chiller si accendono e si spengono a scatti: è difficile estrarre dati da essi. Non possiamo fermare il datacenter per test.

Siamo contenti che in passato ci fosse una regola per posizionare i moduli da 5x5 in modo tale che il loro consumo medio fosse al massimo sei kW. Questo significa che il calore non è concentrato in un'isola, ma è distribuito nella sala macchine. Ma ci sono situazioni in cui ci sono dieci rack da 15 kW vicini, ma di fronte a loro c'è uno storage. È freddo. Si bilancia.

Dove non c'è un rack, è necessaria una barriera fino al pavimento.

Inoltre, alcuni dei nostri clienti sono isolati da grate. Con loro ci sono state alcune peculiarità.

Abbiamo tagliato le lamelle perché la larghezza dei rack non è fissa, mentre la periodicità delle griglie di fissaggio è definita: ci saranno sempre tre o quattro centimetri a destra o a sinistra. Se hai un blocco da 600 sotto il rack, c'è l'85% di probabilità che non si piazzi. Lamelle corte e lunghe coesistono e si incollano. A volte tagliamo le lamelle a forma di L seguendo i contorni dei rack.

Sensori

Prima di ridurre la potenza dei fan coil, era necessario impostare un monitoraggio della temperatura molto preciso in diversi punti della sala, per evitare sorprese. Così sono nati i sensori wireless. Per i sensori cablati, è necessario appendere un dispositivo per la cross wiring su ogni fila e a volte anche prolunghe. Questo si trasforma in una ghirlanda. Molto male. E quando questi cavi entrano nelle celle dei clienti, i responsabili della sicurezza si attivano subito e chiedono di spiegare, con un certificato, cosa venga misurato tramite questi cavi. È importante preservare i nervi dei responsabili della sicurezza. I sensori wireless, per qualche motivo, non li toccano.

Inoltre, i rack arrivano e partono. Un sensore magnetico è più facile da rimontare, perché ogni volta deve essere posizionato più in alto o più in basso. Se i server sono nella parte inferiore del rack, deve essere appeso in basso, e non secondo lo standard a un metro e mezzo da terra sulla porta del rack nel corridoio freddo. Misurare lì è inutile, è necessario misurare ciò che è nel ferro.

Un sensore per tre rack può non essere necessario. La temperatura non varia. Temevamo che ci potesse essere una sovrapposizione dell'aria attraverso i rack stessi, ma non è successo. Tuttavia, diamo comunque un po' più di aria fredda rispetto ai valori calcolati. Abbiamo fatto piccole aperture nelle lamelle 3, 7 e 12, e sopra il rack facciamo un foro. In questo inseriamo un anemometro durante l'ispezione: controlliamo che il flusso vada nella giusta direzione.

Poi abbiamo appeso delle stringhe colorate: una vecchia pratica per i tiratori scelti. Sembra strano, ma permette di rilevare più rapidamente problemi potenziali.

Divertente

Mentre facevamo tutto questo in silenzio, è arrivato un fornitore che produce ingegneria per i data center. Dice: venite, vi parleremo dell'efficienza energetica. Arrivano, iniziano a parlare di un ambiente non ottimale, flussi d'aria. Noi annuiamo comprensivi. Perché abbiamo tre anni di installazione alle spalle.

Incoraggiano tre sensori per ogni armadio. Le immagini di monitoraggio sono fantastiche, belle. Più della metà di questa soluzione è il costo — il software. A livello di 'alert in Zabbix', ma proprietario e molto costoso. Il problema è che hanno sensori, software, e poi cercano un appaltatore sul posto: non hanno i propri fornitori per i cage.

Si scopre che farlo con le loro mani costa cinque-sette volte di più di quanto abbiamo fatto noi.