Dedico questo post a quelle persone che hanno mentito sui certificati, per cui abbiamo quasi installato le stelle filanti nei nostri padiglioni.
La storia è vecchia di più di quattro anni, ma la pubblico ora perché la NDA è scaduta. Poi ci siamo resi conto che il data center (che affittiamo) era quasi completamente carico e la sua efficienza energetica non era migliorata molto. Prima l’ipotesi era che più lo riempiamo meglio è, perché l’ingegnere è distribuito tra tutti. Ma si è scoperto che ci stavamo ingannando a questo riguardo e, anche se il carico era buono, da qualche parte c'erano delle perdite. Abbiamo lavorato in molte aree, ma il nostro coraggioso team si è concentrato sul raffreddamento.
La vita reale di un data center è leggermente diversa da quella del progetto. Adeguamenti costanti da parte del servizio operativo per aumentare l'efficienza e ottimizzare le impostazioni per nuove attività. Prendi il mitico montante B. In pratica, ciò non accade; la distribuzione del carico non è uniforme, da qualche parte densa, da qualche parte vuota. Quindi abbiamo dovuto riconfigurare alcune cose per una migliore efficienza energetica.
Il nostro compressore per data center è necessario per una varietà di clienti. Pertanto, lì, tra i soliti rack da due a quattro kilowatt, potrebbe essercene uno da 23 kilowatt o più. Di conseguenza, i condizionatori erano impostati per raffreddarli e l'aria scorreva semplicemente attraverso i rack meno potenti.
La seconda ipotesi era che i corridoi caldi e freddi non si mescolassero. Dopo le misurazioni posso dire che si tratta di un'illusione e che l'aerodinamica reale differisce dal modello quasi in ogni modo.
sondaggio
Per prima cosa abbiamo iniziato a osservare i flussi d'aria nei corridoi. Perché sono andati lì? Perché hanno capito che il data center è progettato per 0-25 kW per rack, ma sapevano che in realtà vanno da 25 a XNUMX kW. È quasi impossibile regolare tutto questo con le piastrelle: le primissime misurazioni hanno dimostrato che trasmettono quasi allo stesso modo. Ma le piastrelle da XNUMX kW non esistono affatto, devono essere non solo vuote, ma con vuoto liquido.
Abbiamo acquistato un anemometro e abbiamo iniziato a misurare i flussi tra i rack e sopra i rack. In generale, è necessario lavorarci in conformità con GOST e una serie di standard difficili da implementare senza chiudere la sala turbine. Non eravamo interessati alla precisione, ma al quadro fondamentale. Cioè, hanno misurato approssimativamente.
Secondo le misurazioni, del 100% dell'aria che esce dalle piastrelle, il 60% entra negli scaffali, il resto vola via. Ciò è dovuto al fatto che sono presenti rack pesanti da 15-25 kW lungo i quali è costruito il raffreddamento.
Non possiamo spegnere i condizionatori, perché farà molto caldo sugli scaffali caldi nella zona dei server superiori. In questo momento capiamo che dobbiamo isolare qualcosa da qualcos'altro in modo che l'aria non salti da una fila all'altra e che avvenga comunque lo scambio di calore nel blocco.
Allo stesso tempo ci chiediamo se ciò sia finanziariamente fattibile.
Siamo sorpresi di scoprire che disponiamo del consumo energetico del data center nel suo complesso, ma semplicemente non possiamo contare i ventilconvettori per una stanza specifica. Cioè, analiticamente possiamo, ma di fatto non possiamo. E non siamo in grado di stimare il risparmio. Il compito diventa sempre più interessante. Se risparmiamo il 10% del consumo energetico dell’aria condizionata, quanti soldi possiamo accantonare per l’isolamento? Come contare?
Siamo andati dagli specialisti dell'automazione, che stavano ultimando il sistema di monitoraggio. Grazie ai ragazzi: avevano tutti i sensori, dovevano solo aggiungere il codice. Hanno iniziato a installare separatamente refrigeratori, UPS e illuminazione. Con il nuovo gadget è diventato possibile vedere come cambia la situazione tra gli elementi del sistema.
Esperimenti con le tende
Allo stesso tempo, iniziamo gli esperimenti con le tende (recinzioni). Decidiamo di montarli sui perni delle passerelle portacavi (non serve comunque altro), visto che devono essere leggeri. Abbiamo subito deciso tra tettoie o pettini.
Il problema è che in precedenza avevamo lavorato con un gruppo di fornitori. Tutti hanno soluzioni per i data center delle aziende, ma essenzialmente non esistono soluzioni già pronte per un data center commerciale. I nostri clienti vanno e vengono continuamente. Siamo uno dei pochi data center "pesanti" senza restrizioni sulla larghezza del rack con la possibilità di ospitare questi server grinder fino a 25 kW. Nessuna pianificazione infrastrutturale in anticipo. Cioè, se prendiamo i sistemi di gabbie modulari dai venditori, ci saranno sempre dei buchi per due mesi. Cioè, in linea di principio, la sala turbine non sarà mai efficiente dal punto di vista energetico.
Abbiamo deciso di farlo da soli, poiché abbiamo i nostri ingegneri.
La prima cosa che hanno preso sono state le cassette dei frigoriferi industriali. Si tratta di moccio di polietilene flessibile che puoi colpire. Probabilmente li hai visti da qualche parte all'ingresso del reparto carne dei più grandi negozi di alimentari. Cominciarono a cercare materiali non tossici e non infiammabili. L'abbiamo trovato e comprato per due file. Abbiamo riattaccato e abbiamo iniziato a vedere cosa è successo.
Abbiamo capito che non sarebbe stato molto bello. Ma nel complesso è andata molto, molto, non molto bene. Cominciano a svolazzare nei ruscelli come la pasta. Abbiamo trovato nastri magnetici come magneti da frigorifero. Li abbiamo incollati su queste strisce, incollati l'uno all'altro e il muro si è rivelato abbastanza monolitico.
Abbiamo iniziato a capire cosa ci sarebbe stato in serbo per il pubblico.
Andiamo dai costruttori e vi mostriamo il nostro progetto. Guardano e dicono: le tue tende sono molto pesanti. 700 chilogrammi in tutta la sala turbine. Andate al diavolo, dicono, brava gente. Più precisamente, al team SKS. Contano quante tagliatelle hanno nelle teglie, perché 120 kg al metro quadrato è il massimo.
SKS dice: ricordi, un grande cliente è venuto da noi? Ha decine di migliaia di porte in una stanza. Lungo i bordi della sala turbine va ancora bene, ma non sarà possibile fissarlo più vicino alla sala trasversale: i vassoi cadranno.
I costruttori hanno anche chiesto un certificato per il materiale. Noto che prima abbiamo lavorato sulla parola d'onore del fornitore, poiché si trattava solo di un test. Abbiamo contattato questo fornitore e abbiamo detto: OK, siamo pronti per passare alla beta, dateci tutta la documentazione. Mandano qualcosa che non rientra in uno schema molto stabilito.
Diciamo: ascolta, dove hai preso questo pezzo di carta? Loro: il nostro produttore cinese ce lo ha inviato in risposta alle richieste. Secondo il giornale, questa cosa non brucia affatto.
A questo punto abbiamo capito che era giunto il momento di fermarci e verificare i fatti. Andiamo dalle ragazze dei vigili del fuoco del data center, ci dicono il laboratorio che testa l'infiammabilità. Soldi e scadenze abbastanza terreni (anche se abbiamo maledetto tutto mentre compilavamo il numero richiesto di pezzi di carta). Lì gli scienziati dicono: portate il materiale, faremo dei test.
In conclusione, è stato scritto che da un chilogrammo di sostanza rimangono circa 50 grammi di cenere. Il resto brucia intensamente, scorre verso il basso e mantiene molto bene la combustione nella pozzanghera.
Capiamo: è positivo non averlo comprato. Abbiamo iniziato a cercare altro materiale.
Abbiamo trovato il policarbonato. Si è rivelato più duro. Il foglio trasparente è di due mm, le ante sono di quattro mm. Essenzialmente è plexiglass. Insieme al produttore, iniziamo una conversazione con la sicurezza antincendio: forniscici un certificato. Loro mandano. Firmato dallo stesso istituto. Chiamiamo lì e diciamo: beh, ragazzi, avete controllato questo?
Dicono: sì, hanno controllato. Prima l'hanno bruciato a casa, poi l'hanno portato solo per gli esami. Lì, da un chilogrammo di materiale, rimangono circa 930 grammi di cenere (se la bruci con un bruciatore). Si scioglie e gocciola, ma la pozzanghera non brucerà.
Controlliamo immediatamente i nostri magneti (sono su un rivestimento polimerico). Sorprendentemente bruciano male.
montaggio
Da questo iniziamo a raccogliere. Il policarbonato è ottimo perché è più leggero del polietilene e si piega molto meno facilmente. È vero, portano fogli di 2,5 per 3 metri e al fornitore non importa cosa farne. Ma abbiamo bisogno di 2,8 con una larghezza di 20–25 centimetri. Le porte venivano inviate agli uffici che tagliavano le lamiere secondo necessità. E tagliamo noi stessi le lamelle. Il processo di taglio stesso costa il doppio di un foglio.
Ecco cosa è successo:
Il risultato è che il sistema di ingabbiamento si ammortizza in meno di un anno. In questo modo abbiamo risparmiato costantemente 200–250 kW sulla potenza dei ventilconvettori. Non sappiamo quanto c'è ancora nei refrigeratori, esattamente quanto. I server aspirano a velocità costante, i fancoil soffiano. E i refrigeratori si accendono e spengono con un pettine: è difficile estrarne i dati. La sala turbine non può essere fermata per i test.
Siamo lieti che un tempo esistesse la regola di installare rack 5x5 in moduli in modo che il loro consumo medio fosse massimo di sei kW. Cioè, il caldo non è concentrato nell'isola, ma distribuito in tutta la sala turbine. Ma c'è una situazione in cui ci sono 10 rack da 15 kilowatt uno accanto all'altro, ma ce n'è una pila di fronte. Ha freddo. Equilibrato.
Dove non c'è un bancone, è necessaria una recinzione lunga fino al pavimento.
E alcuni dei nostri clienti sono isolati con grigliati. C'erano anche diverse peculiarità con loro.
Si tagliano in lamelle, perché la larghezza dei montanti non è fissa, ma è determinata la frequenza del pettine degli elementi di fissaggio: saranno sempre tre o quattro cm a destra o a sinistra. Se si dispone di un blocco da 600 per lo spazio rack, esiste l'85% di probabilità che non si adatti. E le lamelle corte e lunghe coesistono e si uniscono. A volte tagliamo la lamella con la lettera G lungo i contorni delle cremagliere.
Датчики
Prima di ridurre la potenza dei ventilconvettori, è stato necessario predisporre un monitoraggio della temperatura molto accurato in diversi punti della sala, per non avere sorprese. È così che sono nati i sensori wireless. Cablato: su ogni fila è necessario appendere le proprie cose per collegare in modo incrociato questi sensori e talvolta le prolunghe su di esso. Questo si trasforma in una ghirlanda. Molto brutto. E quando questi fili entrano nelle gabbie dei clienti, le guardie giurate si emozionano subito e chiedono di spiegare con un certificato cosa viene rimosso lungo questi fili. I nervi delle guardie di sicurezza devono essere protetti. Per qualche motivo non toccano i sensori wireless.
E altri stand vanno e vengono. È più semplice rimontare un sensore su un magnete perché deve essere appeso ogni volta più in alto o più in basso. Se i server si trovano nel terzo inferiore del rack, dovrebbero essere appesi verso il basso e non secondo lo standard a un metro e mezzo dal pavimento sulla porta del rack in un corridoio freddo. È inutile misurare lì, devi misurare quello che c’è nel ferro.
Un sensore per tre rack: molto spesso non è necessario appenderlo. La temperatura non è diversa. Avevamo paura che l’aria passasse attraverso i montanti stessi, ma ciò non è accaduto. Ma forniamo ancora un po' più di aria fredda rispetto ai valori calcolati. Abbiamo realizzato le finestre con le doghe 3, 7 e 12 e abbiamo praticato un foro sopra il supporto. Quando andiamo in giro, mettiamo dentro un anemometro: vediamo che il flusso va dove deve.
Poi appesero dei fili luminosi: una vecchia pratica dei cecchini. Sembra strano, ma ti consente di rilevare un possibile problema più velocemente.
Divertente
Mentre facevamo tutto questo in silenzio, è arrivato un venditore che produce apparecchiature di ingegneria per data center. Dice: veniamo a parlarvi dell'efficienza energetica. Arrivano e iniziano a parlare della sala non ottimale e dei flussi d'aria. Annuiamo comprensivi. Perché abbiamo tre anni come stabilito.
Appendono tre sensori su ciascun rack. Le immagini di monitoraggio sono stupende e bellissime. Più della metà del prezzo di questa soluzione è rappresentato dal software. Al livello di allerta di Zabbix, ma proprietario e molto costoso. Il problema è che hanno sensori, software e poi cercano un appaltatore in loco: non hanno i propri fornitori per il cadging.
Si scopre che le loro mani costano da cinque a sette volte di più di quelle che costavamo noi.
riferimenti
- .
- .
- .
- .
- .
- La mia mail è: [email protected]
Fonte: habr.com