🥇Come siamo diventati obsessivi con l'efficienza energetica della sala macchine

Dedico questo post a quelle persone che hanno mentito nei certificati, il che ci ha quasi indotto a installare dei fuochi d'artificio nei nostri centri di dati.

La storia risale a più di quattro anni fa, ma la pubblico solo ora perché è scaduto l'NDA. All'epoca, ci siamo resi conto che il nostro data center (che affittiamo) era quasi completamente carico, ma la sua efficienza energetica non era migliorata affatto. In precedenza, si ipotizzava che il riempimento maggiore portasse a una migliore efficienza, poiché l'ingegneria veniva distribuita tra tutti. Ma ci siamo resi conto che ci stavamo ingannando e, con un buon carico, si verificavano delle perdite. Abbiamo lavorato su molti fronti, ma il nostro coraggioso team si è occupato del raffreddamento.

La vita reale di un data center è un po' diversa da quella progettata. Costanti aggiustamenti da parte del servizio operativo per migliorare l'efficienza e ottimizzazione delle impostazioni per nuovi compiti. Prendiamo la mitica unità media. In pratica, non esiste; il carico è distribuito in modo irregolare, con alcune aree molto cariche e altre vuote. E così è stato necessario riprogrammare alcune cose per una migliore efficienza energetica.

Il nostro data center Compressor è progettato per una vasta gamma di clienti. Pertanto, tra normali rack da due a quattro kilowatt, può tranquillamente trovarsi un rack da ventitre kilowatt o più. Di conseguenza, i condizionatori sono stati impostati per raffreddarli, e l'aria semplicemente passava oltre i rack meno potenti.

La seconda ipotesi era che i corridoi caldi e freddi non si mescolassero. Dopo le misurazioni posso dire che si tratta di un'illusione, e la vera aerodinamica differisce dal modello in praticamente ogni aspetto.

Ispezione

Inizialmente abbiamo iniziato a studiare i flussi d'aria nelle sale. Perché abbiamo fatto questo? Perché eravamo consapevoli che il data center era progettato per cinque-sei kW per rack, ma sapevamo che in realtà andavano da 0 a 25 kW. Regolare tutto ciò con le piastre è praticamente impossibile: le prime misurazioni hanno mostrato che lasciano passare l'aria quasi allo stesso modo. E piastre da 25 kW non esistono affatto, devono essere non solo vuote, ma anche con vuoto liquido.

Abbiamo acquistato un anemometro e abbiamo iniziato a misurare i flussi tra i rack e sopra i rack. In generale, è necessario lavorare secondo le normative e i vari standard, difficili da attuare senza fermare il data center. Non ci preoccupava la precisione, ma il quadro generale. Quindi abbiamo fatto una misurazione approssimativa.

Dalla misurazione, il 100% dell'aria che esce dalle griglie entra nei rack per il 60%, mentre il restante la attraversa. Questo è dovuto alla presenza di rack pesanti da 15-25 kW, sui quali è stata organizzata la refrigerazione.

Non possiamo semplicemente spegnere i condizionatori, perché nei rack caldi nelle vicinanze dei server superiori farà davvero caldo. In quel momento capiamo che dobbiamo isolare qualcosa, affinché l'aria non salti da un fila all'altra e affinché comunque avvenga lo scambio termico nel blocco.

Parallelamente ci poniamo la domanda se sia finanziariamente sensato.

Con sorpresa scopriamo che abbiamo informazioni sul consumo energetico del Data Center nel suo insieme, ma non possiamo calcolare i fan coil per una sala specifica. Analiticamente possiamo, ma nella realtà — no. E non siamo in grado di valutare il risparmio. Il compito diventa sempre più interessante. Se risparmiamo il 10% della potenza dei condizionatori — quanti soldi possiamo destinare all'isolamento? Come calcolare?

Siamo andati dagli specialisti di automazione, che stavano perfezionando il sistema di monitoraggio. Grazie ai ragazzi: avevano già tutti i sensori, dovevamo solo aggiungere del codice. Ora visualizzano separatamente i chiller, gli UPS e l'illuminazione. Con questa nuova attrezzatura è stata data la possibilità di osservare come cambia la situazione negli elementi del sistema.

Esperimenti con le tende

Parallelamente iniziamo esperimenti con le tende (divisori). Decidiamo di fissarli alle barre dei canalini per cavi (non abbiamo altro a cui attaccarli), fortunatamente dovrebbero essere leggeri. Abbiamo rapidamente concordato su tendaggi o griglie.

Il problema è che in precedenza abbiamo lavorato con un sacco di fornitori. Tutti offrono soluzioni per i propri datacenter aziendali, ma di soluzioni pronte per un datacenter commerciale, praticamente non ce ne sono. I nostri clienti arrivano e partono costantemente. Siamo uno dei pochi datacenter "pesanti" senza limitazioni sulla larghezza delle rack, in grado di accogliere server potentissimi fino a 25 kW. Non c'è pianificazione dell'infrastruttura in anticipo. Se decidiamo di utilizzare sistemi di case modulari dai fornitori, ci saranno sempre lacune di due mesi. Quindi, di fatto, il datacenter non sarà mai energicamente efficiente.

Abbiamo deciso di farlo noi stessi, fortunatamente abbiamo ingegneri interni.

La prima cosa che abbiamo preso sono state le tende dai frigoriferi industriali. Sono quelle strisce flessibili di plastica che si possono facilmente fissare. Le avrete sicuramente viste all'ingresso del reparto macelleria dei supermercati più grandi. Abbiamo iniziato a cercare materiali non tossici e ignifughi. Li abbiamo trovati, comprati per due file. Le abbiamo appese e abbiamo cominciato a vedere cosa ne veniva fuori.

Ci siamo resi conto che non sarebbe andata molto bene. Ma è andata proprio malissimo. Cominciano a disperdersi come spaghetti nelle correnti. Hanno trovato nastri magnetici simili a quelli dei frigoriferi. Li hanno attaccati a queste strisce, incollandoli tra di loro, il muro è diventato abbastanza monolitico.

Hanno cominciato a pensare a cosa fare per la sala.

Siamo andati dagli costruttori, mostrando il nostro progetto. Loro lo guardano e dicono: le vostre tende sono piuttosto pesanti. 700 chilogrammi in tutta la sala macchine. Andate, dicono, buone persone, al diavolo. Anzi, al team SCS. Fate loro calcolare quanta pasta hanno nei canaletti, perché 120 kg al metro quadrato è il massimo.

Gli SCS dicono: ricordate che è venuto da noi un grande cliente? Ha decine di migliaia di porte in una sola sala. Ai lati della sala macchine va ancora bene, ma più vicino al cross-over non si potrà fissare: i canaletti si staccheranno.

Inoltre, i costruttori hanno richiesto un certificato per il materiale. Preciso che prima di questo abbiamo lavorato semplicemente sulla parola del fornitore, poiché era solo un test. Ci siamo rivolti a questo fornitore, dicendo: OK, siamo pronti per la beta, forniteci tutti i documenti. Ci hanno inviato qualcosa di non molto standard.

Diciamo: ascoltate, da dove avete preso questo documento? Loro: ce l'ha inviato il nostro produttore cinese in risposta alle richieste. Da questo documento, questa cosa non brucia affatto.

In quel momento abbiamo capito che era il momento di fermarci e controllare i fatti. Andiamo dalle ragazze della sicurezza antincendio del nostro data center, ci indicano un laboratorio che verifica la combustibilità. Prezzi e tempi piuttosto ragionevoli (anche se abbiamo maledetto tutto mentre compilavamo il numero necessario di documenti). Lì gli scienziati dicono: portate il materiale, faremo i test.

Nella conclusione era scritto che da un chilo di materiale rimane circa 50 grammi di cenere. Il resto brucia intensamente, cola e sostiene molto bene la combustione in una pozzetta.

Capendo, siamo felici di non aver acquistato. Iniziamo a cercare un altro materiale.

Abbiamo trovato il policarbonato. Si è rivelato essere più rigido. Un foglio trasparente - due mm, porte - di quattro mm. In sostanza, è vetro acrilico. Iniziamo a parlare della sicurezza antincendio con il produttore: forniteci il certificato. Loro ce lo inviano. Firmato dallo stesso istituto. Chiamiamo lì, diciamo: beh, ragazzi, avete mai fatto controllare questo?

Dicono di sì, hanno verificato. Prima hanno bruciato a casa, poi solo dopo hanno portato per i test. Da un chilo di materiale rimangono (se lo si brucia con il cannello) circa 930 grammi di cenere. Si scioglie e gocciola, ma la pozza non brucerà.

Controlliamo subito i nostri magneti (sono su una base polimerica). Sorprendentemente bruciano poco.

Build

Da questo iniziamo a montare. Il policarbonato è fantastico, perché è più leggero del polietilene, che si piega molto peggio. Tuttavia, portano fogli di 2,5 per 3 metri, e al fornitore non importa cosa farne. A noi servono 2,8 di larghezza con 20–25 centimetri. Abbiamo spedito le porte a ditte che tagliano i fogli come necessario. E le lame le abbiamo tagliate noi. L'intero processo di taglio costa circa il doppio rispetto al foglio.

Ecco cosa è uscito:

In sintesi, il sistema di casing si ripaga in meno di un anno. Abbiamo risparmiato 200–250 kW costantemente sulla potenza dei fan coil. Ancora qualcosa sui chiller, quanto esattamente non lo sappiamo. I server assorbono a velocità costante, i fan coil soffiano. I chiller si accendono e si spengono a scatti: è difficile estrarre i dati da loro. Non possiamo fermare la sala macchine per i test.

Siamo lieti che in passato ci fosse una regola per posizionare i moduli 5x5 delle rack in modo che il loro consumo medio non superasse i sei kW. Questo significa che il calore non è concentrato in un punto, ma distribuito nell'area macchine. Tuttavia, ci sono situazioni in cui ci sono 10 rack da 15 kW affiancati, ma di fronte c'è un'area di stoccaggio. Essa è fredda. È bilanciata.

Dove non c'è rack, è necessaria una separazione fino al pavimento.

Inoltre, abbiamo alcuni clienti isolati da griglie. Con loro ci sono state alcune peculiarità.

Abbiamo tagliato le lamelle perché la larghezza dei rack non è fissa, mentre la periodicità del sistema di fissaggio è definita: tre o quattro centimetri a destra o a sinistra sarà sempre presente. Se hai un blocco 600 sotto il posto rack, c'è un'85% di probabilità che non si adatti. Le lamelle corte e lunghe coesistono e si incollano. A volte tagliamo le lamelle a forma di L seguendo i contorni dei rack.

Sensori

Prima di ridurre la potenza dei fan coil, era necessario impostare un monitoraggio molto preciso della temperatura in vari punti della sala, per evitare sorprese. Così sono nati i sensori wireless. I sensori cablati richiedono l'installazione di un dispositivo per il crossover di ciascun fila e, a volte, allunghe. Questo si trasforma in una sorta di ghirlanda. Molto scomodo. E quando questi cavi entrano nelle celle dei clienti, gli addetti alla sicurezza si allarmano subito e richiedono spiegazioni con certificati su cosa viene monitorato tramite quei cavi. È importante salvaguardare i nervi degli addetti alla sicurezza. I sensori wireless, per qualche motivo, non li disturbano.

Inoltre, i rack arrivano e partono. Un sensore magnetico è più facile da rimontare, perché ogni volta deve essere posizionato più in alto o più in basso. Se i server sono nella parte inferiore del rack, deve essere installato in basso, e non secondo lo standard di un metro e mezzo da terra sulla porta del rack nel corridoio freddo. Misurare lì è inutile; bisogna misurare ciò che è all'interno dell'hardware.

Un sensore per tre rack — spesso non è necessario installarne di più. La temperatura non varia. Temiamo che ci possa essere una circolazione eccessiva dell'aria attraverso i rack stessi, ma non è successo. Tuttavia, forniamo comunque un po' più di aria fredda rispetto ai valori calcolati. Abbiamo creato aperture nelle lamelle 3, 7 e 12, e sopra il rack abbiamo realizzato un foro. In esso, durante la verifica, mettiamo un anemometro: verifichiamo che il flusso vada nella direzione giusta.

Poi abbiamo appeso delle stringhe colorate: una vecchia pratica per i cecchini. Sembra strano, ma aiuta a rilevare eventuali problemi più rapidamente.

Divertente

Mentre stavamo facendo tutto questo in silenzio, è arrivato il fornitore che produce la tecnologia per i data center. Dice: venite e parliamo di efficienza energetica. Arrivano, cominciano a parlare di sale non ottimali, dei flussi d'aria. Noi annuiamo comprensivi. Perché abbiamo installato tutto da tre anni.

Installiamo tre sensori su ogni rack. Le immagini di monitoraggio sono straordinarie e belle. Più della metà di questa soluzione è il costo del software. A livello di "alert in Zabbix", ma proprietario e molto costoso. Il problema è che hanno sensori, software e poi cercano un appaltatore sul posto: non ci sono fornitori propri per i cage.

Si scopre che il loro lavoro costa cinque–sette volte di più rispetto a quanto abbiamo fatto noi.