Il tema dei grandi incidenti nei moderni data center solleva domande a cui non erano state date risposte nel primo articolo — abbiamo deciso di approfondire l'argomento.
Se crediamo alle statistiche dell'Uptime Institute, la maggior parte degli incidenti nei data center è legata ai guasti del sistema di alimentazione — rappresentano il 39% degli eventi. Seguono il fattore umano, che contribuisce al 24% degli incidenti. La terza causa più significativa (15%) è stata il guasto del sistema di climatizzazione, mentre al quarto posto (12%) ci sono stati i disastri naturali. La percentuale totale di altri problemi ammonta solo al 10%. Senza mettere in dubbio i dati di un'organizzazione rispettabile, mettiamo in evidenza degli elementi comuni tra i diversi incidenti e cerchiamo di capire se fossero evitabili. Spoiler: nella maggior parte dei casi sì.
La scienza dei contatti
In poche parole, ci sono solo due problemi con l'alimentazione elettrica: o non c'è contatto dove dovrebbe esserci, oppure c'è contatto dove non dovrebbe essercene. Si può discutere a lungo sull'affidabilità dei moderni sistemi di alimentazione ininterrotta, ma non offre sempre la soluzione. Prendiamo ad esempio il noto caso del centro dati di British Airways, di proprietà della società madre International Airlines Group. Nelle vicinanze dell'aeroporto di Heathrow si trovano due di queste strutture: Boadicea House e Comet House. Nel primo di essi, il 27 maggio 2017, si è verificata una disconnessione accidentale dell'alimentazione, che ha portato a un sovraccarico e al guasto del sistema UPS. Di conseguenza, parte dell'attrezzatura IT è stata fisicamente danneggiata, e ci sono voluti tre giorni per risolvere l'ultimo guasto.
Le compagnie aeree hanno dovuto cancellare o spostare oltre mille voli, circa 75.000 passeggeri non sono riusciti a decollare in tempo: per il risarcimento sono stati spesi 128 milioni di dollari, senza contare i costi necessari per ripristinare il funzionamento dei data center. La questione delle cause del blackout rimane poco chiara. Se si crede alle dichiarazioni dell'amministratore delegato di International Airlines Group, Willie Walsh, l'incidente è dovuto a un errore degli ingegneri. Tuttavia, il sistema di alimentazione ininterrotta avrebbe dovuto poter sostenere un'interruzione simile: è proprio per questo motivo che è stato installato. I data center erano gestiti da specialisti della società di outsourcing CBRE Managed Services, quindi British Airways ha tentato di recuperare la somma dei danni tramite il tribunale di Londra.
Le interruzioni di corrente si verificano secondo scenari simili: inizialmente c'è un'interruzione causata dal fornitore di energia elettrica, a volte a causa di condizioni meteorologiche avverse o problemi interni (inclusi errori del personale), e poi il sistema di alimentazione ininterrotta non riesce a gestire il carico o un'interruzione temporanea dell'onda sinusoidale provoca il malfunzionamento di molti servizi, il ripristino dei quali richiede un'enorme quantità di tempo e denaro. È possibile evitare interruzioni simili? Assolutamente. Se si progetta il sistema correttamente, ma anche i creatori di grandi data center non sono immuni agli errori.
Fattore umano
Quando le azioni errate del personale del data center diventano la causa diretta di un incidente, i problemi colpiscono spesso (ma non sempre) la parte software dell’infrastruttura IT. Tali guasti si verificano anche nelle grandi aziende. Nel febbraio 2017, un errore di digitazione di un membro del team di supporto tecnico di uno dei data center ha causato lo spegnimento di una parte dei server di Amazon Web Services. L'errore è avvenuto durante il debug del processo di fatturazione dei clienti del servizio di archiviazione cloud Amazon Simple Storage Service (S3). Il dipendente stava cercando di eliminare alcuni dei server virtuali utilizzati dal sistema di fatturazione, ma ha colpito un cluster più grande.
A causa di un errore dell'ingegnere, sono stati cancellati i server su cui erano attivati importanti moduli software del servizio di archiviazione cloud di Amazon. In particolare, è stata colpita la sottosistema di indicizzazione, contenente informazioni sui metadati e sulla posizione di tutti gli oggetti S3 nella regione americana US-EAST-1. L'incidente ha anche coinvolto il sottosistema utilizzato per l'hosting dei dati e la gestione dello spazio di archiviazione disponibile. Dopo la cancellazione delle macchine virtuali, queste due sottosistemi hanno richiesto un riavvio completo, e gli ingegneri di Amazon hanno dovuto affrontare una sorpresa: per un lungo periodo, il servizio di archiviazione cloud pubblico non è stato in grado di gestire le richieste dei clienti.
L'effetto si è rivelato vasto, poiché molti grandi servizi utilizzano Amazon S3. Le interruzioni hanno colpito Trello, Coursera, IFTTT e, cosa più sgradevole, i servizi dei principali partner di Amazon nella lista S&P 500. Valutare i danni in tali situazioni è complicato, ma si stima che siano nell'ordine di centinaia di milioni di dollari USA. Come potete vedere, per mettere fuori uso il servizio della più grande piattaforma cloud, basta un comando errato. Questo non è un caso isolato, il 16 maggio 2019, durante lavori di manutenzione, il servizio Yandex.Cloud macchine virtuali degli utenti nella zona ru-central1-c, che erano state almeno una volta nello stato SUSPENDED. Qui sono già stati compromessi i dati dei clienti, parte dei quali è stata persa in modo irreversibile. Certo, le persone non sono perfette, ma i moderni sistemi di sicurezza informatica sanno ormai controllare le azioni degli utenti privilegiati prima che vengano eseguiti i comandi da loro inseriti. Se soluzioni di questo tipo fossero implementate in Yandex o Amazon, incidenti simili potrebbero essere evitati.
raffreddamento congelato
A gennaio 2017 si è verificato un grave incidente nel data center di Dmitrov dell'azienda "Megafon". In quel periodo, la temperatura nella regione di Mosca è scesa fino a -35 °C, causando il malfunzionamento dei sistemi di raffreddamento dell'impianto. Il servizio stampa dell'operatore non ha rilasciato molte informazioni sulle cause dell'incidente: le aziende russe tendono a essere estremamente reticenti nel parlare di incidenti nei propri impianti, e in termini di trasparenza restiamo molto indietro rispetto all'Occidente. Nei social network circolava la voce che il fluido refrigerante fosse congelato nei tubi posati lungo la strada, causando una perdita di etilenglicole. Se si può credere a questa versione, il servizio di manutenzione non è riuscito, a causa delle lunghe festività, a ricevere rapidamente 30 tonnellate di refrigerante e ha tentato di cavarsela con mezzi di fortuna, organizzando un raffreddamento improvvisato in violazione delle norme operative del sistema. I forti freddi hanno aggravato il problema: a gennaio, in Russia è arrivata all'improvviso l'inverno, sebbene nessuno lo aspettasse. Di conseguenza, il personale ha dovuto disattivare parte delle rack server, rendendo alcuni servizi dell'operatore non disponibili per due giorni.
Probabilmente si può parlare anche di un'anomalia climatica, ma tali gelate non sono affatto insolite per la regione metropolitana. Durante l'inverno, la temperatura nella regione di Mosca può scendere anche a valori molto più bassi, perciò i data center sono costruiti tenendo conto di un funzionamento affidabile a −42 °C. Più spesso, i sistemi di raffreddamento si guastano al freddo a causa di una concentrazione di glicoli non sufficientemente alta e di un eccesso d'acqua nella soluzione del fluido refrigerante. Ci sono problemi anche con l'installazione delle tubature o con errori nel progetto e nella testatura del sistema, legati principalmente al desiderio di risparmiare. Di conseguenza, si verifica un serio incidente che sarebbe stato possibile evitare.
Catastrofi naturali
Le tempeste e/o gli uragani interrompono più frequentemente il funzionamento dell'infrastruttura ingegneristica del data center, causando l'interruzione dei servizi e/o danni fisici all'attrezzatura. Gli incidenti provocati dal maltempo si verificano con una certa frequenza. Nel 2012, lungo la costa occidentale degli Stati Uniti, si è abbattuto l'uragano Sandy, accompagnato da forti piogge. Il data center Peer 1, situato in un grattacielo a Lower Manhattan, , dopo che l'acqua salata del mare ha allagato i sotterranei. I generatori di emergenza erano posizionati al 18° piano, e la scorta di carburante per essi era limitata: le norme introdotte a New York dopo gli attacchi dell'11 settembre vietano di conservare grandi quantità di carburante ai piani superiori.
La pompa del carburante si è guastata, quindi il personale ha dovuto trasportare manualmente il diesel per i generatori per diversi giorni. Il coraggio del team ha salvato il data center da un grave incidente, ma era davvero necessario? Viviamo su un pianeta con un'atmosfera di azoto e ossigeno e una grande quantità d'acqua. Tempeste e uragani sono all'ordine del giorno qui (soprattutto nelle zone costiere). I progettisti avrebbero probabilmente dovuto considerare i rischi ad essi associati e costruire un sistema di alimentazione elettrica ininterrotta adeguato. O almeno scegliere un luogo più idoneo per il data center piuttosto che un grattacielo su un'isola.
Tutto il resto
In questa categoria, l'Uptime Institute identifica una varietà di incidenti, tra cui è difficile scegliere un caso tipico. Furti di cavi di rame, intrusioni nei data center, pali della linea elettrica e sottostazioni, automobili, incendi che danneggiano la fibra ottica, escavatori, roditori (topi, conigli e persino vombati, che sono marsupiali), così come gli appassionati di tiro ai cavi — il menu è ampio. Anche un'interruzione di corrente può essere causata da l'energia elettrica è una piantagione illegale di marijuana. Nella maggior parte dei casi, i colpevoli dell'incidente sono persone specifiche, cioè ci troviamo di nuovo di fronte al fattore umano, quando il problema ha un nome e un cognome. Anche se a prima vista l'incidente è legato a un malfunzionamento tecnico o a calamità naturali, può essere evitato a condizione di una progettazione adeguata dell'impianto e del suo corretto utilizzo. Le uniche eccezioni sono i casi di danni critici all'infrastruttura del data center o di distruzione di edifici e strutture a causa di disastri naturali. Queste sono veramente circostanze di forza maggiore, mentre tutti gli altri problemi sono causati dall'interfaccia tra il computer e la sedia: probabilmente, questa è la parte più inaffidabile di qualsiasi sistema complesso.
Fonte: habr.com
