Een mislukte migratie van de IT-infrastructuur resulteerde in de corruptie van 1,3 miljard bankklantgegevens. Dit was allemaal te wijten aan onvoldoende testen en een frivole houding ten opzichte van complexe IT-systemen. Cloud4Y vertelt hoe het gebeurde.
Engels 2018 besefte dat zijn twee jaar oude ‘scheiding’ met de Lloyds-bankgroep (beide bedrijven fuseerden in 1995) te duur was. TSB was nog steeds verbonden met zijn voormalige partner via haastig gekloonde IT-systemen van Lloyds. Het ergste van alles was dat de bank ‘alimentatie’ moest betalen, een jaarlijkse licentievergoeding van $127 miljoen.
Er zijn maar weinig mensen die graag geld betalen aan hun exen, dus op 22 april 2018 om 18 uur begon TSB aan de laatste fase van een 00 maanden durend plan dat alles moest veranderen. Het was de bedoeling om miljarden klantgegevens over te zetten naar het IT-systeem van het Spaanse bedrijf Banco Sabadell, dat TSB in 18 voor 2,2 miljard dollar kocht.
Banco Sabadell CEO José Olu sprak twee weken voor Kerstmis 2 over het komende evenement tijdens een feestelijke personeelsbijeenkomst in een prestigieuze conferentiezaal in Barcelona. Het belangrijkste migratietool zou een nieuwe versie zijn van het door Banco Sabadell ontwikkelde systeem: Proteo. Speciaal voor het TSB-migratieproject werd het zelfs omgedoopt tot Proteo2017UK.
Bij de presentatie van Proteo4UK pochte Banco Sabadell-directeur Jaime Guardiola Romojaro dat het nieuwe systeem een grootschalig project is dat geen analogen kent in Europa, waaraan meer dan 1000 specialisten werkten. En dat de implementatie ervan een flinke impuls zal geven aan de groei van Banco Sabadell in Groot-Brittannië.
22 april 2018 werd uitgeroepen tot migratiedag. Het was een rustige zondagavond midden in de lente. De IT-systemen van de bank vielen uit, omdat gegevens van het ene systeem naar het andere werden overgebracht. Nu de openbare toegang tot bankrekeningen zondag laat is hersteld, zou je verwachten dat de bank langzaam en soepel weer operationeel zal worden.
Maar terwijl Olyu en Guardiola Romojaro vrolijk vanaf het podium aan het uitzenden waren over de implementatie van het Proteo4UK-project, waren de medewerkers die verantwoordelijk waren voor het migratieproces erg nerveus. Het project, dat achttien maanden in beslag nam, liep ernstig achter op schema en overschreed het budget. Er was geen tijd om aanvullende tests uit te voeren. Maar het overbrengen van alle gegevens van het bedrijf (wat uit miljarden records bestaat) naar een ander systeem is een gigantische taak.
Het bleek dat de ingenieurs niet voor niets zenuwachtig waren.
Een stompje op de site dat klanten te lang hebben gezien
Twintig minuten nadat TSB toegang tot de rekeningen had geopend, in het volste vertrouwen dat de migratie soepel verliep, kwamen de eerste meldingen van problemen binnen.
Het spaargeld van mensen verdween plotseling van hun rekeningen. Aankopen van onbeduidende bedragen werden ten onrechte geregistreerd als uitgaven van meerdere duizenden dollars. Sommige mensen logden in op hun persoonlijke rekeningen en zagen niet hun bankrekeningen, maar de rekeningen van totaal verschillende mensen.
Om 21 uur lieten vertegenwoordigers van TSB de lokale financiële toezichthouder (de UK Financial Conduct Authority, FCA) weten dat de bank in de problemen zat. Maar de FCA heeft het al opgemerkt: TSB heeft het echt flink verpest en klanten zijn voor de gek gehouden. En natuurlijk begonnen ze te klagen (en tegenwoordig is het niet bijzonder moeilijk om een paar regels op Twitter of Facebook te plaatsen). Om 23 uur werd de FCA gecontacteerd door een andere financiële toezichthouder, de Prudential Regulation Authority (PRA), die ook voelde dat er iets mis was.
Al ruim na middernacht wisten ze een van de bankvertegenwoordigers te bereiken. En stel hen de enige vraag: “Wat is er in vredesnaam aan de hand?”
Het kostte tijd om de omvang van de tragedie te begrijpen, maar we weten nu dat 1,3 miljard records van 5,4 miljoen klanten tijdens de migratie zijn beschadigd. Zeker een week lang konden klanten hun geld niet beheren vanaf hun computers of mobiele apparaten. Ze konden de lening niet betalen, en veel bankklanten kregen een smet op hun kredietgeschiedenis en boetes voor te late betaling.
Zo zag de onlinebank voor klanten van TSB eruit
Toen de problemen zich vrijwel onmiddellijk daarna begonnen voor te doen, hielden vertegenwoordigers van de banken vol dat de problemen ‘af en toe’ waren. Drie dagen later werd een verklaring afgegeven dat alle systemen normaal waren. Maar klanten bleven problemen melden. Pas op 26 april 2018 gaf de CEO van de bank, Paul Pester, toe dat TSB "op de knieën zat" omdat de IT-infrastructuur van de bank nog steeds een "bandbreedteprobleem" had waardoor ongeveer een miljoen klanten geen toegang hadden tot online bankdiensten.
Twee weken na de migratie werd nog steeds gemeld dat de toepassing voor online bankieren interne fouten vertoonde met betrekking tot de SQL-database.
Betalingsproblemen, vooral met zakelijke en hypotheekrekeningen, bleven tot vier weken aanhouden. En alomtegenwoordige journalisten kwamen erachter dat TSB helemaal aan het begin van de migratiecrisis een hulpaanbod van Lloyds Banking Group had afgewezen. Over het algemeen werden tot 3 september problemen waargenomen in verband met het inloggen op onlinediensten en de mogelijkheid om geld over te maken.
Een beetje geschiedenis
De eerste geldautomaat werd op 27 juni 1967 geopend nabij Barclays in Enfield
IT-systemen voor banken worden steeds complexer naarmate de behoeften van klanten en de verwachtingen van de bank toenemen. Ongeveer 40-60 jaar geleden kwamen we graag tijdens kantooruren naar ons plaatselijke bankfiliaal om contant geld te storten of op te nemen via de balie.
Het geldbedrag op de rekening hield rechtstreeks verband met het geld en de munten die we aan de bank gaven. Onze thuisboekhouding kon worden gevolgd met pen en papier, en computersystemen waren niet toegankelijk voor klanten. Bankmedewerkers plaatsten gegevens uit bankboekjes en andere media in apparaten die het geld telden.
Maar in 1967 voor het eerst in Noord-Londen een geldautomaat die zich niet in het bankgebouw bevond. En deze gebeurtenis veranderde het bankwezen. Gebruikersgemak is een maatstaf geworden voor de ontwikkeling van financiële instellingen. En dit heeft ertoe geleid dat banken geavanceerder zijn geworden in de omgang met klanten en hun geld. Hoewel computersystemen alleen beschikbaar waren voor bankmedewerkers, waren zij immers tevreden met de oude, ‘papieren’ manier van interactie met klanten. Pas met de komst van geldautomaten en vervolgens online bankieren kreeg het grote publiek directe toegang tot de IT-systemen van banken.
Geldautomaten waren nog maar het begin. Al snel konden mensen de rij bij de kassa omzeilen door eenvoudigweg telefonisch naar de bank te bellen. Hiervoor waren speciale kaarten nodig die in een lezer werden geplaatst die in staat waren de tweetonige multifrequentiesignalen (DTMF) te ontcijferen die werden verzonden wanneer de gebruiker op de toets “1” (geld opnemen) of “2” (geld storten) drukte.
Het internet en mobiel bankieren hebben klanten dichter bij de kernsystemen van banken gebracht. Ondanks hun verschillende beperkingen en instellingen moeten al deze systemen effectief met elkaar en met het mainframe samenwerken, rekeningsaldocontroles uitvoeren, geldoverdrachten uitvoeren, enzovoort.
Weinig klanten denken na over hoe complex het informatiepad is wanneer u bijvoorbeeld inlogt bij een online bank om informatie over het geld op uw rekening te bekijken of bij te werken. Wanneer u inlogt, worden deze gegevens via een reeks servers doorgegeven; wanneer u een transactie uitvoert, dupliceert het systeem deze gegevens in de backend-infrastructuur, die vervolgens het zware werk doet: geld van de ene rekening naar de andere overboeken om rekeningen te betalen, betalingen en abonnementen voortzetten.
Vermenigvuldig dit proces nu met enkele miljarden. Volgens gegevens verzameld door de Wereldbank met hulp van de Bill and Melinda Gates Foundation: volwassenen over de hele wereld hebben een bankrekening. Elk van deze mensen heeft rekeningen te betalen. Iemand betaalt een hypotheek of maakt geld over voor kinderclubs, iemand betaalt voor een Netflix-abonnement of het huren van een cloudserver. En al deze mensen gebruiken meer dan één bank.
Talrijke interne IT-systemen van één bank (mobiel bankieren, geldautomaten, enz.) mogen niet zomaar met elkaar communiceren. Ze moeten communiceren met andere banksystemen in Brazilië, China en Duitsland. Een Franse geldautomaat zou geld moeten kunnen uitdelen dat op een bankkaart staat die ergens in Bolivia is uitgegeven.
Geld is altijd mondiaal geweest, maar nog nooit was het systeem zo complex. Het aantal manieren om IT-systemen van banken te gebruiken neemt toe, maar de oude manieren worden nog steeds gebruikt. Het succes van een bank hangt grotendeels af van hoe ‘onderhoudbaar’ de IT-infrastructuur is, en hoe effectief de bank kan omgaan met een plotselinge storing waardoor het systeem inactief zal zijn.
Geen tests - bereid je voor op problemen
Banco de Sabadell CEO Jaime Guardiola (links) had er vertrouwen in dat alles soepel zou verlopen. Niet gelukt.
De computersystemen van TSB waren niet erg goed in het snel oplossen van problemen. Natuurlijk waren er softwareproblemen, maar in werkelijkheid ging de bank failliet vanwege de buitensporige complexiteit van haar IT-systemen. Volgens het rapport, dat werd opgesteld in de begindagen van de enorme storing, “leidde de combinatie van nieuwe applicaties, het toegenomen gebruik van microservices in combinatie met het gebruik van twee Active/Active-datacenters tot complexe risico’s in de productie.”
Sommige banken, zoals HSBC, opereren mondiaal en beschikken daarom ook over zeer complexe, onderling verbonden systemen. Maar ze worden regelmatig getest, gemigreerd en bijgewerkt, aldus een IT-manager van HSBC in Lancaster. Hij ziet HSBC als een model voor hoe andere banken hun IT-systemen zouden moeten beheren: door personeel in te zetten en hun tijd te besteden. Maar tegelijkertijd geeft hij toe dat het voor een kleinere bank, vooral een bank die geen migratie-ervaring heeft, een hele lastige opgave is om dit op de juiste manier te doen.
De TSB-migratie was moeilijk. En volgens deskundigen zou het bankpersoneel dit niveau van complexiteit in termen van kwalificaties eenvoudigweg niet kunnen bereiken. Bovendien namen ze niet eens de moeite om hun oplossing vooraf te controleren of de migratie te testen.
Tijdens een toespraak in het Britse parlement over bankproblemen bevestigde Andrew Bailey, CEO van de FCA, dit vermoeden. Slechte code veroorzaakte waarschijnlijk alleen de aanvankelijke problemen bij TSB, maar de onderling verbonden systemen van het mondiale financiële netwerk zorgden ervoor dat de fouten ervan bleven voortduren en onomkeerbaar waren. De bank bleef onverwachte fouten elders in haar IT-architectuur tegenkomen. Klanten ontvingen berichten die betekenisloos waren of geen verband hielden met hun problemen.
Regressietesten kunnen rampen helpen voorkomen door slechte code op te sporen voordat deze in productie wordt genomen en schade te veroorzaken door bugs te creëren die niet ongedaan kunnen worden gemaakt. Maar de bank besloot door een mijnenveld te rennen waar ze niet eens van op de hoogte was. De gevolgen waren voorspelbaar. Een ander probleem was de “optimalisatie” van de kosten. Hoe manifesteerde het zich? Feit is dat eerder werd besloten om de reservekopieën die bij Lloyds waren opgeslagen, af te schaffen, omdat deze te veel geld ‘opaten’.
Britse banken (en ook andere) streven naar een beschikbaarheidsniveau van vier negens, dat wil zeggen 99,99%. In de praktijk betekent dit dat het IT-systeem te allen tijde beschikbaar moet zijn, met maximaal 52 minuten downtime per jaar. Het “drie negens”-systeem, 99,9%, verschilt op het eerste gezicht niet veel. Maar in werkelijkheid betekent dit dat de downtime 8 uur per jaar bedraagt. Voor de bank is ‘vier negens’ goed, maar ‘drie negens’ niet.
Maar elke keer dat een bedrijf wijzigingen aanbrengt in de IT-infrastructuur, neemt het risico's. Er kan immers iets misgaan. Het beperken van wijzigingen kan problemen helpen voorkomen, terwijl vereiste wijzigingen zorgvuldig moeten worden getest. En de Britse toezichthouders hebben hun aandacht op dit punt gevestigd.
De gemakkelijkste manier om downtime te voorkomen is misschien wel door simpelweg minder wijzigingen aan te brengen. Maar elke bank wordt, net als elk ander bedrijf, gedwongen steeds meer nuttige functies voor klanten en haar eigen bedrijf te introduceren om concurrerend te blijven. Tegelijkertijd zijn banken nog steeds verplicht om voor hun klanten te zorgen, hun spaargeld en persoonlijke gegevens te beschermen en comfortabele voorwaarden te bieden voor het gebruik van diensten. Het blijkt dat organisaties veel tijd en geld moeten besteden aan het gezond houden van hun IT-infrastructuur, terwijl ze tegelijkertijd nieuwe diensten aanbieden.
Het aantal gerapporteerde technologische storingen in de financiële dienstverleningssector in Groot-Brittannië is tussen 187 en 2017 met 2018 procent gestegen, volgens gegevens die zijn vrijgegeven door de Britse Financial Conduct Authority. Meestal is de oorzaak van storingen problemen bij de werking van nieuwe functionaliteit. Tegelijkertijd is het voor banken van cruciaal belang om de constante, ononderbroken werking van alle diensten en de vrijwel onmiddellijke rapportage van transacties te garanderen. Klanten zijn altijd nerveus als hun geld ergens rondhangt. En een klant die zenuwachtig is over geld is altijd een teken van problemen.
Een paar maanden na het faillissement van TSB (tegen die tijd was de CEO van de bank afgetreden) hebben de Britse financiële toezichthouders en de Bank of England voor discussie over operationele duurzaamheidskwesties. Dus probeerden ze de vraag op te werpen hoe diep de banken zijn gegaan in hun streven naar innovatie, en of ze de stabiele werking van het systeem dat ze nu hebben kunnen garanderen.
Het document stelde ook wijzigingen in de wetgeving voor. Het ging erom mensen binnen het bedrijf verantwoordelijk te houden voor wat er misgaat in de IT-systemen van dat bedrijf. Britse parlementariërs legden het als volgt uit: “Als je persoonlijk verantwoordelijk bent en failliet kunt gaan of de gevangenis in kunt gaan, zal dit de houding ten opzichte van werk enorm veranderen, en ook de hoeveelheid tijd die aan de kwestie van betrouwbaarheid en veiligheid wordt besteed vergroten.”
Resultaten van
Elke update en patch komt neer op risicobeheer, vooral als er honderden miljoenen dollars mee gemoeid zijn. Als er iets misgaat, kan dit immers kostbaar zijn in termen van geld en reputatie. Het lijken voor de hand liggende zaken. En het falen van de bank tijdens de migratie had hen veel moeten leren.
Had. Maar hij heeft het mij niet geleerd. In november 2019 “verheugde” TSB, dat opnieuw winstgevend was en langzaam zijn reputatie aan het verbeteren was, klanten op het gebied van informatietechnologie. De tweede klap voor de bank betekende dat zij in 82 2020 vestigingen zal moeten sluiten om de kosten te verlagen. Of hij kon simpelweg niet besparen op IT-specialisten.
Gierigheid op het gebied van IT brengt uiteindelijk kosten met zich mee. TSB rapporteerde een verlies van $134 miljoen in 2018, vergeleken met een winst van $206 miljoen in 2017. De post-migratiekosten, inclusief klantcompensatie, het corrigeren van frauduleuze transacties (die scherp stegen tijdens de bankchaos) en hulp van derden, bedroegen in totaal 419 miljoen dollar. De IT-leverancier van de bank kreeg ook een factuur van 194 miljoen dollar voor zijn rol in de crisis.
Maar welke lessen er ook worden getrokken uit het faillissement van de TSB-bank, er zullen zich nog steeds verstoringen voordoen. Ze zijn onvermijdelijk. Maar met testen en goede code kunnen crashes en downtime aanzienlijk worden verminderd. Cloud4Y, dat grote bedrijven vaak helpt bij de migratie naar de cloudinfrastructuur, begrijpt het belang van een snelle overstap van het ene systeem naar het andere. Daarom kunnen we belastingtests uitvoeren en een back-upsysteem met meerdere niveaus gebruiken, evenals andere opties waarmee u al het mogelijke kunt controleren voordat u met de migratie begint.
Wat lees je nog meer op de blog?
→
→
→
→
→
Abonneer u op onze -channel zodat je het volgende artikel niet mist! We schrijven niet vaker dan twee keer per week en alleen voor zaken.
Bron: www.habr.com