Una migrazione fallita dell’infrastruttura IT ha provocato la corruzione di 1,3 miliardi di dati di clienti bancari. Tutto ciò era dovuto a test insufficienti e ad un atteggiamento frivolo nei confronti dei sistemi IT complessi. Cloud4Y racconta come è successo.
Nel 2018 inglese si rese conto che il suo “divorzio” durato due anni dal gruppo bancario Lloyds (entrambe le società si fusero nel 1995) era troppo costoso. TSB era ancora legata al suo ex partner attraverso i sistemi IT Lloyds frettolosamente clonati. Peggio ancora, la banca ha dovuto pagare gli “alimenti”, una tassa di licenza annuale di 127 milioni di dollari.
A poche persone piace pagare i propri ex, quindi il 22 aprile 2018 alle 18:00 TSB ha iniziato la fase finale di un piano di 18 mesi che avrebbe dovuto cambiare tutto. Si prevedeva di trasferire miliardi di dati dei clienti nel sistema informatico della società spagnola Banco Sabadell, che nel 2,2 aveva acquistato TSB per 2015 miliardi di dollari.
L'amministratore delegato del Banco Sabadell, José Olu, ha parlato del prossimo evento due settimane prima di Natale 2 durante una festosa riunione dello staff in una prestigiosa sala conferenze a Barcellona. Lo strumento di migrazione più importante doveva essere una nuova versione del sistema sviluppato dal Banco Sabadell: Proteo. È stato persino ribattezzato Proteo2017UK appositamente per il progetto di migrazione TSB.
Alla presentazione di Proteo4UK, il direttore esecutivo del Banco Sabadell, Jaime Guardiola Romojaro, si è vantato che il nuovo sistema è un progetto su larga scala che non ha analoghi in Europa, al quale hanno lavorato oltre 1000 specialisti. E che la sua attuazione darà un impulso significativo alla crescita del Banco Sabadell nel Regno Unito.
Il 22 aprile 2018 è stato fissato come giorno della migrazione. Era una tranquilla domenica sera di metà primavera. I sistemi IT della banca erano inattivi poiché i record venivano trasferiti da un sistema all'altro. Con l’accesso pubblico ai conti bancari ripristinato domenica sera, ci si aspetterebbe che la banca tornasse in servizio lentamente e senza intoppi.
Ma mentre Olyu e Guardiola Romojaro trasmettevano allegramente dal palco la realizzazione del progetto Proteo4UK, i dipendenti responsabili del processo di migrazione erano molto nervosi. Il progetto, che ha richiesto 18 mesi per essere completato, era gravemente in ritardo rispetto alla pianificazione e al di fuori del budget. Non c'era tempo per condurre ulteriori test. Ma trasferire tutti i dati dell’azienda (che, ricordiamo, sono miliardi di record) su un altro sistema è un compito titanico.
Si è scoperto che gli ingegneri erano nervosi per una buona ragione.
Uno stub sul sito che i clienti hanno visto per troppo tempo
20 minuti dopo che TSB ha aperto l'accesso ai conti, essendo pienamente fiducioso che la migrazione fosse avvenuta senza intoppi, sono arrivate le prime segnalazioni di problemi.
I risparmi delle persone sono improvvisamente scomparsi dai loro conti. Acquisti di importi insignificanti furono erroneamente registrati come spese multimilionarie. Alcune persone hanno effettuato l'accesso ai propri conti personali e hanno visto non i propri conti bancari, ma conti di persone completamente diverse.
Alle 21:00, i rappresentanti di TSB hanno informato l'autorità di regolamentazione finanziaria locale (la Financial Conduct Authority, FCA) del Regno Unito che la banca era nei guai. Ma la FCA se ne è già accorta: TSB ha davvero fatto un grosso pasticcio, e i clienti sono stati presi in giro. E, naturalmente, hanno cominciato a lamentarsi (e oggigiorno scrivere qualche riga su Twitter o Facebook non è particolarmente difficile). Alle 23:30, la FCA è stata contattata da un altro regolatore finanziario, la Prudential Regulatory Authority (PRA), che ha anche intuito che qualcosa non andava.
Già molto dopo mezzanotte riuscirono a mettersi in contatto con uno dei rappresentanti della banca. E fai loro l’unica domanda: “che diavolo sta succedendo?”
Ci è voluto del tempo per comprendere la portata della tragedia, ma ora sappiamo che durante la migrazione sono stati danneggiati 1,3 miliardi di record di 5,4 milioni di clienti. Per almeno una settimana, i clienti non sono stati in grado di gestire i propri soldi dai propri computer o dispositivi mobili. Non sono stati in grado di pagare il prestito e molti clienti della banca hanno ricevuto una macchia sulla loro storia creditizia, oltre a penali per il ritardo.
Ecco come appariva la banca online del cliente TSB
Quando i problemi hanno cominciato a manifestarsi, quasi subito dopo, i rappresentanti delle banche hanno insistito sul fatto che i problemi erano “intermittenti”. Tre giorni dopo, è stata rilasciata una dichiarazione secondo cui tutti i sistemi erano normali. Ma i clienti continuavano a segnalare problemi. Solo il 26 aprile 2018 l'amministratore delegato della banca, Paul Pester, ha ammesso che TSB era "in ginocchio" poiché l'infrastruttura IT della banca continuava ad avere un "problema di larghezza di banda" che impediva a circa un milione di clienti di accedere ai servizi bancari online.
A due settimane dall'inizio della migrazione, veniva ancora segnalato che l'applicazione di online banking presentava errori interni relativi al database SQL.
Le difficoltà di pagamento, soprattutto con le fatture aziendali e dei mutui, sono continuate fino a quattro settimane. E i giornalisti onnipresenti hanno scoperto che TSB ha rifiutato un’offerta di aiuto da parte del Lloyds Banking Group proprio all’inizio della crisi migratoria. In generale, fino al 3 settembre sono stati osservati problemi associati all'accesso ai servizi online e alla possibilità di trasferire denaro.
Un po 'di storia
Il primo bancomat fu aperto il 27 giugno 1967 vicino alla Barclays a Enfield
I sistemi IT bancari stanno diventando sempre più complessi man mano che aumentano le esigenze dei clienti e le aspettative nei confronti della banca. Circa 40-60 anni fa, saremmo stati felici di visitare la filiale della nostra banca locale durante l'orario lavorativo per depositare contanti o ritirarli tramite lo sportello bancario.
L'importo di denaro sul conto era direttamente correlato al contante e alle monete che avevamo dato alla banca. La nostra contabilità domestica poteva essere tenuta traccia con carta e penna e i sistemi informatici non erano accessibili ai clienti. I dipendenti della banca inseriscono i dati di libretti e altri supporti in dispositivi che contano il denaro.
Ma nel 1967 per la prima volta nel nord di Londra un bancomat che non si trovava nei locali della banca. E questo evento ha cambiato il settore bancario. La comodità dell'utente è diventata un punto di riferimento per lo sviluppo delle istituzioni finanziarie. E questo ha aiutato le banche a diventare più sofisticate nel lavorare con i clienti e il loro denaro. Dopotutto, mentre i sistemi informatici erano disponibili solo per i dipendenti delle banche, questi si accontentavano del vecchio modo “cartaceo” di interagire con i clienti. Solo con l’avvento dei bancomat e poi dell’online banking il grande pubblico ha ottenuto un accesso diretto ai sistemi informatici bancari.
Gli sportelli bancomat erano solo l'inizio. Ben presto le persone poterono evitare la fila alla cassa semplicemente chiamando telefonicamente la banca. Ciò richiedeva l'inserimento di carte speciali in un lettore in grado di decifrare i segnali multifrequenza bitonale (DTMF) trasmessi quando l'utente premeva il tasto “1” (prelevare denaro) o “2” (depositare fondi).
Internet e il mobile banking hanno avvicinato i clienti ai sistemi fondamentali che alimentano le banche. Nonostante le loro diverse limitazioni e impostazioni, tutti questi sistemi devono interagire in modo efficace tra loro e con il mainframe principale, eseguendo controlli del saldo del conto, effettuando trasferimenti di denaro e così via.
Pochi clienti pensano a quanto sia complesso il percorso delle informazioni quando, ad esempio, accedi a una banca online per visualizzare o aggiornare le informazioni sul denaro nel tuo conto. Quando accedi, questi dati vengono passati attraverso una serie di server; quando effettui una transazione, il sistema duplica questi dati nell'infrastruttura backend, che poi fa il lavoro pesante, trasferendo denaro da un conto a un altro per pagare le bollette, effettuare pagamenti pagamenti e continuare gli abbonamenti.
Ora moltiplica questo processo per diversi miliardi. Secondo i dati raccolti dalla Banca Mondiale con l’aiuto della Fondazione Bill e Melinda Gates, gli adulti di tutto il mondo hanno un conto bancario. Ognuna di queste persone ha delle bollette da pagare. Qualcuno paga un mutuo o trasferisce denaro per i club per bambini, qualcuno paga un abbonamento Netflix o noleggia un server cloud. E tutte queste persone utilizzano più di una banca.
Numerosi sistemi informatici interni di una banca (mobile banking, bancomat, ecc.) non devono semplicemente interagire tra loro. Devono interagire con altri sistemi bancari in Brasile, Cina e Germania. Un bancomat francese dovrebbe essere in grado di erogare denaro presente su una carta bancaria emessa da qualche parte in Bolivia.
Il denaro è sempre stato globale, ma mai prima d’ora il sistema è stato così complesso. Il numero di modi di utilizzare i sistemi informatici bancari è in aumento, ma i vecchi metodi sono ancora in uso. Il successo di una banca dipende in gran parte da quanto “manutenibile” sia la sua infrastruttura IT e dall’efficacia con cui la banca riesce a far fronte a un guasto improvviso a causa del quale il sistema rimarrà inattivo.
Nessun test: preparati ai problemi
Il CEO del Banco de Sabadell Jaime Guardiola (a sinistra) era fiducioso che tutto sarebbe andato per il meglio. Non ha funzionato.
I sistemi informatici di TSB non erano molto bravi a risolvere rapidamente i problemi. Naturalmente ci sono stati dei problemi software, ma in realtà la banca è “rottata” a causa dell'eccessiva complessità dei suoi sistemi IT. Secondo il rapporto, preparato nei primi giorni della massiccia interruzione, “la combinazione di nuove applicazioni, un maggiore utilizzo di microservizi combinato con l’uso di due data center Active/Active ha portato a rischi complessi nella produzione”.
Alcune banche, come HSBC, operano a livello globale e quindi dispongono anche di sistemi molto complessi e interconnessi. Ma secondo un responsabile IT di HSBC a Lancaster, vengono regolarmente testati, migrati e aggiornati. Vede HSBC come un modello di come le altre banche dovrebbero gestire i propri sistemi IT: dedicando personale e impiegando il proprio tempo. Ma allo stesso tempo ammette che per una banca più piccola, soprattutto per quelle che non hanno esperienza in materia di migrazione, farlo correttamente è un compito molto difficile.
La migrazione del TSB è stata difficile. E, secondo gli esperti, il personale della banca semplicemente non potrebbe raggiungere questo livello di complessità in termini di qualifiche. Inoltre, non si sono nemmeno presi la briga di verificare la loro soluzione o di testare la migrazione in anticipo.
Durante un discorso al Parlamento britannico sui problemi bancari, Andrew Bailey, amministratore delegato della FCA, ha confermato questo sospetto. Un cattivo codice probabilmente ha causato solo i problemi iniziali di TSB, ma i sistemi interconnessi della rete finanziaria globale hanno fatto sì che i suoi errori fossero perpetuati e irreversibili. La banca ha continuato a riscontrare errori imprevisti in altri punti della sua architettura IT. I clienti hanno ricevuto messaggi privi di significato o non correlati ai loro problemi.
I test di regressione potrebbero aiutare a prevenire il disastro rilevando il codice errato prima che fosse rilasciato in produzione e causasse danni creando bug che non potevano essere ripristinati. Ma la banca ha deciso di attraversare un campo minato di cui non era nemmeno a conoscenza. Le conseguenze erano prevedibili. Un altro problema era “l’ottimizzazione” dei costi. Come si è manifestato? Il fatto è che in precedenza si era deciso di eliminare le copie di backup conservate presso i Lloyds, poiché "divoravano" troppi soldi.
Le banche britanniche (e non solo) puntano a raggiungere un livello di disponibilità pari a quattro nove, ovvero al 99,99%. In pratica, ciò significa che il sistema IT deve essere sempre disponibile, con un massimo di 52 minuti di inattività all'anno. Il sistema “tre nove”, 99,9%, a prima vista non differisce molto. Ma in realtà questo significa che i tempi di inattività raggiungono le 8 ore all'anno. Per la banca “quattro nove” va bene, ma “tre nove” no.
Ma ogni volta che un’azienda apporta modifiche alla propria infrastruttura IT, corre dei rischi. Dopotutto, qualcosa può andare storto. Ridurre le modifiche può aiutare a evitare problemi, mentre le modifiche necessarie richiedono test accurati. E i regolatori britannici hanno concentrato la loro attenzione su questo punto.
Forse il modo più semplice per evitare tempi di inattività è semplicemente apportare meno modifiche. Ma ogni banca, come ogni altra azienda, per rimanere competitiva è costretta a introdurre sempre più funzionalità utili per i clienti e per la propria attività. Allo stesso tempo, le banche sono ancora obbligate a prendersi cura dei propri clienti, proteggendo i loro risparmi e dati personali, fornendo condizioni confortevoli per l'utilizzo dei servizi. Si scopre che le organizzazioni sono costrette a spendere molto tempo e denaro per mantenere l’integrità della propria infrastruttura IT, offrendo allo stesso tempo nuovi servizi.
Secondo i dati diffusi dalla Financial Conduct Authority del Regno Unito, il numero di fallimenti tecnologici segnalati nel settore dei servizi finanziari nel Regno Unito è aumentato del 187% tra il 2017 e il 2018. Molto spesso, la causa dei guasti sono problemi nel funzionamento di nuove funzionalità. Allo stesso tempo, è fondamentale che le banche garantiscano il funzionamento costante e ininterrotto di tutti i servizi e la rendicontazione quasi istantanea delle transazioni. I clienti sono sempre nervosi quando i loro soldi sono in giro da qualche parte. E un cliente nervoso per i soldi è sempre un segno di guai.
Pochi mesi dopo il fallimento di TSB (quando ormai l'amministratore delegato della banca si era dimesso), i regolatori finanziari del Regno Unito e la Banca d'Inghilterra per la discussione su questioni di sostenibilità operativa. Quindi hanno cercato di sollevare la questione di quanto profondamente le banche si siano spinte nel perseguimento dell’innovazione e se possano garantire il funzionamento stabile del sistema di cui dispongono ora.
Il documento proponeva anche modifiche alla legislazione. Si trattava di ritenere le persone all'interno dell'azienda responsabili di ciò che non va nei sistemi IT dell'azienda. I parlamentari britannici lo hanno spiegato in questo modo: "Quando sei personalmente responsabile e puoi andare in bancarotta o andare in prigione, ciò cambierà notevolmente l'atteggiamento nei confronti del lavoro, incluso l'aumento della quantità di tempo dedicato alla questione dell'affidabilità e della sicurezza".
Risultati di
Ogni aggiornamento e patch dipende dalla gestione del rischio, soprattutto quando sono coinvolti centinaia di milioni di dollari. Dopotutto, se qualcosa va storto, può costare caro in termini di denaro e reputazione. Sembrerebbero cose ovvie. E il fallimento della banca durante la migrazione avrebbe dovuto insegnare loro molto.
Avevo. Ma non me lo ha insegnato. Nel novembre 2019, TSB, che ha nuovamente raggiunto la redditività e stava lentamente migliorando la sua reputazione, ha “deliziato” i clienti nel campo dell'informatica. Il secondo colpo inferto alla banca significa che sarà costretta a chiudere 82 filiali nel 2020 per ridurre i costi. Oppure semplicemente non poteva risparmiare sugli specialisti IT.
L’avarizia con l’IT alla fine ha un costo. TSB ha registrato una perdita di 134 milioni di dollari nel 2018, rispetto a un profitto di 206 milioni di dollari nel 2017. I costi post-migrazione, compresi i risarcimenti ai clienti, la correzione delle transazioni fraudolente (che aumentarono notevolmente durante il caos bancario) e l’assistenza di terze parti, ammontano a 419 milioni di dollari. Anche al fornitore IT della banca sono stati fatturati 194 milioni di dollari per il suo ruolo nella crisi.
Tuttavia, indipendentemente dalle lezioni apprese dal fallimento della banca TSB, le interruzioni continueranno a verificarsi. Sono inevitabili. Ma con test e un buon codice, gli arresti anomali e i tempi di inattività possono essere notevolmente ridotti. Cloud4Y, che spesso aiuta le grandi aziende a migrare verso l'infrastruttura cloud, comprende l'importanza di passare rapidamente da un sistema all'altro. Pertanto, possiamo effettuare test di carico e utilizzare un sistema di backup multilivello, oltre ad altre opzioni che ti consentono di controllare tutto il possibile prima di iniziare la migrazione.
Cos'altro puoi leggere sul blog?
→
→
→
→
→
Iscriviti al nostro -channel per non perdere il prossimo articolo! Scriviamo non più di due volte a settimana e solo per affari.
Fonte: habr.com