Io e i miei colleghi ci siamo detti: perché non ricordare le varie paure che affrontiamo nell'industria dei datacenter prima del nostro amato Halloween, invece di celebrare i successi e i progetti interessanti? Quindi, spegnete le luci, accendete la musica inquietante, ora arriveranno storie che ci fanno svegliare, a volte, in un freddo sudore.
Il fantasma dell'ufficio
In un certo palazzo per uffici, abbiamo realizzato un server room e configurato vari sistemi automatizzati per la climatizzazione, comprese le tende motorizzate. Sul tetto c'è una stazione meteorologica che determina da quale lato splende il sole e chiude le tende se è troppo luminoso. Abbiamo consegnato il progetto e ce ne siamo dimenticati, dopo un po' ci chiamano e chiedono:
— Potreste tornare ad automatizzare le tende? Vogliamo chiuderle da soli.
— Perché?!
— Le nostre addette alle pulizie si spaventano. Anche noi — abbiamo come l'impressione che ci sia un fantasma lì.
Questo è esattamente come appare il terribile sogno di un esperto di automazione: all'inizio il cliente vuole automazione ed efficienza energetica, e tu glielo realizzi felicemente, per poi scoprire che il direttore ama gestire tutto da solo. E nella stanza, dove la gestione climatica è completamente automatizzata, tutto finisce per funzionare in modalità manuale.
Nei vari uffici dei dirigenti, spesso installiamo un pannello touchscreen da cui è possibile controllare le impostazioni di illuminazione, aria condizionata, ventilazione e tendaggi. Un dirigente particolarmente conservativo ha detto: non voglio algoritmi, voglio due pulsanti: «accendi tutto» e «spegni tutto». Un programmatore è venuto, ha pianto mentre rimuoveva l'interfaccia di controllo standard, ha disegnato al suo posto due pulsanti e se n'è andato a piangere a casa.
E dove sono i nostri generatori?
In una notte buia e profonda, nel buio della sala di controllo di Oleg, il suo cellulare ha squillato.
— Abbiamo una temperatura troppo elevata nel sistema di raffreddamento dei generatori. Ora ti invio uno screenshot.
Era il dispatcher del CED, che avevamo passato un mese prima con coscienza pulita. Non si è preoccupato né del fatto che erano le tre del mattino, né del fatto che il sistema mostrava la stessa «temperatura» sia nel generatore che nella stanza. Perché non era affatto una temperatura, ma un codice di errore «nessuna connessione con il sensore». Oleg ha onestamente detto al dispatcher dove doveva recarsi in mezzo alla notte con tali richieste. Letteralmente:
— Vai ai generatori, guarda, probabilmente si è semplicemente scaricata la batteria del sensore. Il modulo di batteria nel generatore alimenta questo pannello di controllo, c'è un interruttore — se qualcuno dei tuoi lo ha toccato, deve essere rimesso in posizione.
In realtà, il dispatcher è proprio quella persona che dovrebbe conoscere il luogo come un fresatore esperto conosce le proprie tre dita, ma qui è emersa una domanda sorprendente:
— E i generatori, dove sono?
— Salite al secondo piano, chiedete agli elettricisti, loro vi accompagneranno.
Nei successivi 20 minuti, Oleg ha lavorato come navigatore da remoto, cercando di unire il dispatcher agli elettricisti, che non avevano molta voglia di fare tour nel cuore della notte.
Un giro di umiliazioni nel CED
Nel regno di tre principesse, una certa volta si è rotta la nostra con . Proprio tre ore prima della certificazione presso l'Uptime Institute. È lunga da raccontare la storia di cosa siano i chiller e i convertitori di frequenza, se non lo sapete. Quindi, semplicemente credete: devono funzionare come una campana, altrimenti la certificazione si trasformerà in zucca, e il cliente diventerà una matrigna cattiva. E, cosa più triste, avrà ragione, perché per la visita della commissione si pagano somme esorbitanti e se qualcosa va storto, non ti rimborseranno.
È arrivato un tecnico del fornitore, ha alzato le mani e ha detto che il paziente era piuttosto morto, e che aspettare una nuova scheda ci sarebbe voluto non meno di un mese. La commissione era già sulla soglia, le uscite erano poche. La prima — svitare il convertitore di frequenza da un chiller "sano" e metterlo su quello "malato", e poi scambiarli finché i test non fossero terminati. Non è inganno, se vi interessa: secondo il regolamento di test, uno dei tre chiller è comunque di riserva, quindi lo scenario è del tutto praticabile. La seconda uscita — provare a trovare un nuovo convertitore di frequenza nei restanti novanta minuti. Abbiamo chiamato il nostro tecnico del freddo a Mosca. Il tecnico ha chiamato un suo contatto interno del rappresentante del fornitore russo. Questi, a sua volta, ha premuto sull'ufficio del produttore nei Paesi Bassi e… dopo mezz'ora stavano già installando una nuova scheda. La certificazione è andata alla grande.
Lavori incompleti
Che sia lungo o corto, ma nei cantieri arriva sempre un momento in cui tutti i subappaltatori se ne vanno e rimangono loro: i lavori incompleti. Questo riguarda i lavori non terminati, non chi li ha lasciati, giusto per chiarire. Chi è ultimo — è colui che deve sistemare.
Un giorno abbiamo allestito un data center in un seminterrato: i rack erano disposti in due file, allineati lungo un lato per permettere l'apertura della porta. A causa di ciò, si è creata una fessura tra un file e il muro, e il cliente rifiutava di firmare il verbale di accettazione per questo motivo. Il tecnico e il project manager sono andati di prima mattina da "Leroy" a comprare polistirolo, vernice, viti e hanno diligentemente chiuso la fessura in modo che fosse in tinta con i rack. Abbiamo completato il lavoro.
Una volta, dopo che i colleghi addetti al riscaldamento se ne erano andati, abbiamo scoperto una discrepanza nel progetto: dovevano esserci 7 radiatori, ma ce n'erano solo 6. Siamo stati a controllare e tutto era corretto, in effetti non avevano portato un radiatore nel corridoio. Era troppo tardi per bere "Borjomi", tutto era già montato e collaudato. Il cliente si disperava perché i verbali erano già stati firmati. Ancora una volta è intervenuto "Leroy": abbiamo comprato un riscaldatore elettrico, abbiamo fatto passare un gruppo di cavi nel corridoio e domenica mattina lo abbiamo montato noi stessi, il cliente è felice.
Un'altra volta ci hanno lasciato un magico nulla al posto di una divisoria antincendio. Nel data center, il condotto dell'aria di ventilazione dal secondo piano scende nel seminterrato, attraverso una stanza che per classificazione antincendio appartiene a una categoria diversa rispetto a quelle sopra e sotto di essa. Nella pratica, ciò significa che nel condotto deve esserci una valvola di ritardo al fuoco e intorno ad essa una separazione antifiamma. Attorno al nostro splendido condotto con valvola di ritardo al fuoco c'era un buco; indovinate chi e come l'ha sistemato? "Leroy Merlin" non ha sponsorizzato questo post, peccato.
Dale Carnegie fuma nervosamente.
Molti anni fa, quando l'erba era più verde e il dollaro valeva 30 qualcosa, abbiamo realizzato un data center per una banca nel centro storico di Mosca. Dovevamo rispettare scadenze molto strette. Le strade lì sono strette, le aperture dell'edificio anche, sollevare diverse tonnellate di attrezzatura ai piani superiori per le scale era praticamente impossibile. Abbiamo detto al cliente che era necessario caricare con una gru direttamente sul tetto; il cliente ha risposto in modo rassegnato: "sei un cowboy, saltaci tu". Una buona idea, ma ora dovevi concordare l'arrivo di una gru da 120 tonnellate con le autorità tipo GIBDD. E preferibilmente anche ieri. Buona fortuna con questa impresa, se non ce la fai, multa.
La situazione era complessa, il tempo stringeva, e abbiamo deciso di correre il rischio; d'altronde, le multe del GIBDD rispetto a quelle per il mancato rispetto delle scadenze sono solo fiori. Un sabato mattina abbiamo portato una gru da 16 metri, sperando di fare tutto in fretta. Dopo un paio d'ore è arrivato un agente e ha timidamente chiesto il permesso. Noi, ovviamente, non lo avevamo. E non si sa come sarebbe finita se non ci fosse stato con noi un venditore con notevoli capacità diplomatiche.
Lui ha portato l'agente da parte e per 5 minuti gli ha spiegato qualcosa. Durante quel tempo, l'agente ha cambiato espressione diverse volte, ma alla fine è salito nella sua auto e ha esclamato che, se succede qualcosa, sarebbe tornato ad aiutarci. Non si sa quali argomenti abbia usato il venditore.
Alzami, gente!
Oltre le colline, oltre i campi, ma entro il Terzo Trasporto, c'era... no, non una capanna, ma un cantiere governativo piuttosto serio. Un turno di lavoro notturno complicato, stiamo scaricando attrezzatura. L'ultimo camion con una carcassa da 15 tonnellate esce dall'unico incrocio nel territorio, qualcosa scoppia con un rumore forte e la macchina affonda nel fango. Sono le 5 del mattino, il cantiere comincia a risvegliarsi, l'autista del betoniere dietro il nostro camion, mentre ricorda donne cadute, chiede esplicitamente se ci toglieremo dalla strada. Ha, diciamo, il cemento che si sta indurendo. E noi saremmo anche contenti di farlo, perché alle 7 del mattino arriverà uno dei numerosi incaricati di uno dei ministri e, se vedrà questo disastro, la prenderà con tutti: dagli ingegneri ai dirigenti.
Il tecnico corre dal gruista locale, chiedendo disperatamente di sollevare la carcassa dalla piattaforma in modo da poter far passare un altro camion sotto. Ma quello non ne vuole sapere, nemmeno per soldi. La situazione è stata risolta dal nostro ingegnere, che ha fatto un accordo attraverso il supervisore di quel gruista. Abbiamo comunque portato la carcassa dove doveva andare, ma eravamo già un po' più brizzolati.
E poi siamo diventati anche più brizzolati, nello stesso cantiere. È successo un epic fail nel senso più letterale.
Esiste una cosa: il carrello elevatore telescopico. Si utilizza quando non c'è spazio in cantiere e bisogna sollevare un carico in alto e posizionarlo con attenzione. Ci serviva per scaricare un modulo da 1,5 tonnellate attraverso una buca in una finestra. Nulla lasciava presagire: secondo le specifiche, la macchina avrebbe dovuto sostenere oltre 2 tonnellate. Ma quando eravamo a mezzo metro dalla finestra, le "forche" del carrello elevatore si sono rotte e il metallo è caduto dall'alto. Non ci restava che chiamare il produttore affinché venissero a effettuare i lavori di riparazione. I loro tecnici sono arrivati e... si sono rifiutati di entrare in cantiere. Dovevano attraversare un sentiero, ma c'era un escavatore che stava scavando. Noi eravamo abituati: abbiamo aspettato dieci secondi, mentre il braccio era puntato nell'altra direzione, e siamo corsi. I ragazzi sono rimasti frastornati. Abbiamo dovuto presentare questa peculiarità come un'attrazione avvincente, un vero e proprio "Fort Boyard", e alla fine ci hanno riparato il modulo.
Karma non istantanea
Presto si racconta una favola, ma non è facile che i lavori vengano accettati, soprattutto quando si tratta di firmare i verbali di accettazione delle opere completate. Un giorno abbiamo costruito un ottimo data center per una azienda. Ma il re-cliente ha deciso di farci affrontare l'ultima prova:
— Nelle vostre specifiche sono indicate 100 viti per il coperchio, ma io ne ho contate 97. Correggete le specifiche e i preventivi, oppure non firmerò nulla.
Così siamo dovuti andare ogni volta a contare, con il re-cliente, i fermi per i condotti dell'aria, le viti e i bulloni. Ogni volta si scopriva che non erano 97, ma 99, e così via. Non trovavamo mai pace. Alla fine abbiamo accumulato così tante spese interne che il nostro management non ce l'ha fatta più. Hanno detto: facciano come vogliono — nessuno andrà più lì. Così siamo rimasti senza firme.
…E dopo un anno il cliente è venuto da noi e ha chiesto gentilmente dove potesse firmare? Si è scoperto che era arrivata la corte dei conti e aveva trovato dell'attrezzatura non registrata per un valore di sette zeri.
Wingardium Leviosa!
C'era una volta un buon cliente che decise di acquistare un vecchio edificio per un data center. Ma la sua gioia durò poco: qualcosa di strano cominciò a succedere nella sala batterie. Allora ci chiamò in aiuto, per vedere e offrire consulenza. Arriviamo in visita, entriamo nella sala batterie, e lì… le pareti sopra il pavimento stavano levitando da tre lati. Non poteva essere altrimenti: 4 tonnellate di batterie erano state semplicemente messe sul pavimento — e lui iniziò a sprofondare. Questo è un problema comune con le batterie: è importante calcolare correttamente il carico sulle strutture e prevedere telai di scarico, in modo che i solai non collassino come un castello di carte.
Ma la ciliegina sulla torta di questo incubo architettonico era l'assenza totale di fondamenta. Le pareti poggiavano semplicemente su una base di sabbia, sotto la quale c'era un terreno non molto amichevole. Abbiamo iniziato a pensare a come salvare il paziente, alla fine abbiamo proposto un complicato sistema di silicatizzazione: si tratta di perforare il terreno in vari punti e immettere una soluzione di rinforzo. Non ha ripristinato il pavimento agli alti livelli precedenti, ma almeno ha smesso di affondare.
La battaglia dei due yokozuna
In un certo regno, in un certo stato d'ufficio, ci occupavamo della gestione: per il data center a un piano, per il controllo del clima — per tutto. Decine di armadi di automazione, chilometri di cavi a bassa tensione!
Una caratteristica di quell'ufficio era il proprio centro benessere con sauna. Quando abbiamo sviluppato il progetto, si pensava che la sauna sarebbe stata utilizzata raramente. Ma gli ingegneri possono prevedere, mentre i clienti decidono: la direzione si era talmente appassionata allo stile di vita sano che smisero di spegnere la sauna, perché impiega troppo tempo a riscaldarsi.
Il risultato: l'automazione rileva un aumento della temperatura dalla sauna — attiva il condizionatore per compensare. Funziona così così. Il condizionatore continua a sforzarsi — l'atmosfera si riscalda, perché l'automazione non sospetta che qualcuno possa rimanere in sauna così a lungo. Il condizionatore entra in paranoia, giungendo alla conclusione: "Non è un problema loro, è un problema mio. Tutti sforzi sono vani. Sembra che sia rotto", e lo comunica alla centralina. L'operatore sospira e preme il pulsante "compito annullato". E così ogni santo giorno.
Con un semplice gesto
Abbiamo ancora molte storie nei nostri archivi, ma non tutte qui ci stanno. Ecco tre racconti finali: sulla lavorazione imprecisa.
La prima storia riguarda come, in un unico edificio, abbiamo realizzato l'apporto d'aria nelle zone e nelle colonne degli ascensori oltre alla sala server. Abbiamo completato il lavoro, lasciato il cantiere e aspettato che un altro appaltatore finisse i lavori di rifinitura, per tornare poi a testare il sistema. Attiviamo l'apporto d'aria — il controsoffitto si gonfia improvvisamente, le lastre volano a terra con un fragore, e tutto si trasforma in uno stile «loft» in un attimo. Si è scoperto che i ragazzi che avevano montato il soffitto si erano dimenticati di inserire le lastre perforate per l'aria. Non si erano nemmeno accorti della loro esistenza, hanno semplicemente preso le lastre dalla confezione aperta — e così, non si sono curati di quella con le perforazioni, e non hanno guardato il progetto.
La seconda epopea riguarda ancora il soffitto. In un centro dati c'era un corridoio piuttosto stretto, e il ricambio d'aria nella stanza con le scaffalature delle batterie doveva essere significativo, quindi lungo tutto il soffitto passavano le condutture. I bravi ragazzi che facevano il controsoffitto non si sono preoccupati e… hanno avvitato i supporti dei sospensori direttamente nei nostri sfortunati condotti. Ogni condotto vibra un po' durante il funzionamento dei ventilatori, e quando ci sono un sacco di buchi e irregolarità, i suoni dell'Apocalisse sono garantiti. Abbiamo dato ai valorosi montatori un così vivificante scossone che le ferite sui condotti si sono miracolosamente rimarginate. A loro spese, naturalmente.
La terza storia si è verificata quando abbiamo realizzato l'automazione per il sistema di condizionamento tecnologico. Abbiamo consegnato all'appaltatore del cliente un sensore di temperatura e senza pensarci due volte gli abbiamo chiesto di installarlo sul calorifero nel sistema di immissione dell'aria. Negli impianti di immissione c'è sempre un riscaldatore per l'aria esterna: o ad acqua o elettrico. Questo meraviglioso individuo ha eseguito tutto senza obiezioni. Cioè, ha letteralmente avvitato una vite direttamente nel tubo del calorifero ad acqua, con tutte le conseguenze del caso (in senso letterale) che ne derivano. Fortunatamente, sul cantiere c'erano degli esperti di climatizzazione con il gas MAPP — la perdita è stata rapidamente saldata.
Link:
- Per scrivere, contattarci qui: build@croc.ru
Fonte: habr.com
