'n Mislukte migrasie van IT-infrastruktuur het gelei tot die korrupsie van 1,3 miljard bankkliëntrekords. Dit was alles as gevolg van onvoldoende toetsing en 'n ligsinnige houding teenoor komplekse IT-stelsels. Cloud4Y vertel hoe dit gebeur het.
In 2018 Engels besef dat sy twee jaar oue "egskeiding" met die Lloyds-bankgroep (albei maatskappye het in 1995 saamgesmelt) te duur was. TSB was steeds gekoppel aan sy voormalige vennoot deur haastig gekloonde Lloyds IT-stelsels. Die ergste van alles was dat die bank "alimentasie" moes betaal, 'n jaarlikse lisensiefooi van $127 miljoen.
Min mense hou daarvan om geld aan hul ekse te betaal, so op 22 April 2018 om 18:00 het TSB begin met die finale fase van 'n 18 maande plan wat veronderstel was om alles te verander. Daar is beplan om miljarde kliënterekords oor te dra na die IT-stelsel van die Spaanse maatskappy Banco Sabadell, wat TSB in 2,2 vir $2015 miljard gekoop het.
José Olu, uitvoerende hoof van Banco Sabadell, het 2 weke voor Kersfees 2017 tydens 'n feestelike personeelvergadering in 'n gesogte konferensiesaal in Barcelona gepraat oor die komende geleentheid. Die belangrikste migrasie-instrument was om 'n nuwe weergawe van die stelsel te wees wat deur Banco Sabadell ontwikkel is: Proteo. Dit is selfs hernoem na Proteo4UK spesifiek vir die TSB-migrasieprojek.
By die aanbieding van Proteo4UK het Jaime Guardiola Romojaro, uitvoerende direkteur van Banco Sabadell, gespog dat die nuwe stelsel 'n grootskaalse projek is wat geen analoë in Europa het nie, waaraan meer as 1000 XNUMX spesialiste gewerk het. En dat die implementering daarvan 'n aansienlike hupstoot sal gee aan die groei van Banco Sabadell in die VK.
22 April 2018 is as migrasiedag gestel. Dit was 'n stil Sondagaand in die middel van die lente. Die bank se IT-stelsels was af omdat rekords van een stelsel na 'n ander oorgedra is. Met publieke toegang tot bankrekeninge wat Sondag laat herstel is, sou 'n mens verwag dat die bank stadig en glad sou terugkeer tot diens.
Maar terwyl Olyu en Guardiola Romojaro gelukkig van die verhoog af uitgesaai het oor die implementering van die Proteo4UK-projek, was die werknemers verantwoordelik vir die migrasieproses baie senuweeagtig. Die projek, wat 18 maande geneem het om te voltooi, was ernstig agter skedule en oor begroting. Daar was nie tyd om bykomende toetse uit te voer nie. Maar die oordrag van al die maatskappy se data (wat, onthou, miljarde rekords is) na 'n ander stelsel is 'n Herculiese taak.
Dit het geblyk dat die ingenieurs met goeie rede senuweeagtig was.
'n Stomp op die webwerf wat kliënte te lank gesien het
20 minute nadat TSB toegang tot die rekeninge oopgemaak het, met volle vertroue dat die migrasie glad verloop het, het die eerste verslae van probleme opgedaag.
Mense se spaargeld het skielik uit hul rekeninge verdwyn. Aankope van onbeduidende bedrae is verkeerdelik as multi-duisend-dollar uitgawes aangeteken. Sommige mense het by hul persoonlike rekeninge aangemeld en nie hul bankrekeninge gesien nie, maar die rekeninge van heeltemal ander mense.
Om 21:00 het TSB-verteenwoordigers die plaaslike finansiële reguleerder (die UK Financial Conduct Authority, FCA) ingelig dat die bank in die moeilikheid is. Maar die FCA het reeds kennis geneem: TSB het regtig sleg geskroef, en kliënte is gek gemaak. En natuurlik het hulle begin kla (en deesdae is dit nie besonder moeilik om 'n paar reëls op Twitter of Facebook te laat val nie). Om 23:30 is die FCA gekontak deur 'n ander finansiële reguleerder, die Prudential Regulation Authority (PRA), wat ook aangevoel het iets is fout.
Reeds goed na middernag het hulle daarin geslaag om by een van die bankverteenwoordigers deur te kom. En vra hulle die enigste vraag: "wat de hel gaan aan?"
Dit het tyd geneem om die omvang van die tragedie te verstaan, maar ons weet nou dat 1,3 miljard rekords van 5,4 miljoen kliënte tydens die migrasie beskadig is. Vir ten minste 'n week kon kliënte nie hul geld vanaf hul rekenaars of mobiele toestelle bestuur nie. Hulle was nie in staat om die lening te betaal nie, en baie bankkliënte het 'n vlek op hul kredietgeskiedenis gekry, asook laat fooie.
Dit is hoe die TSB-kliënt-aanlynbank gelyk het
Toe die foute byna onmiddellik daarna begin verskyn het, het bankverteenwoordigers daarop aangedring dat die probleme "afwisselend" was. Drie dae later is ’n verklaring uitgereik dat alle stelsels normaal is. Maar kliënte het voortgegaan om probleme aan te meld. Eers op 26 April 2018 het die bank se uitvoerende hoof, Paul Pester, erken dat TSB "op sy knieë" was, aangesien die bank se IT-infrastruktuur steeds 'n "bandwydtekwessie" gehad het wat ongeveer 'n miljoen kliënte verhinder om toegang tot aanlynbankdienste te kry.
Twee weke na die migrasie het die aanlynbanktoepassing steeds interne foute ondervind wat met die SQL-databasis verband hou.
Betalingsprobleme, veral met sake- en verbandrekeninge, het tot vier weke lank voortgeduur. En alomteenwoordige joernaliste het uitgevind dat TSB 'n aanbod van hulp van Lloyds Banking Group aan die heel begin van die migrasiekrisis verwerp het. Oor die algemeen is probleme wat verband hou met aanmelding by aanlyndienste en die vermoë om geld oor te dra, tot 3 September waargeneem.
'N bietjie geskiedenis
Die eerste OTM het op 27 Junie 1967 naby Barclays in Enfield geopen
Bank IT-stelsels word al hoe meer kompleks namate klante se behoeftes en verwagtinge van die bank toeneem. Sowat 40-60 jaar gelede sou ons graag ons plaaslike banktak gedurende besigheidsure besoek het om kontant te deponeer of dit deur die teller te onttrek.
Die bedrag geld in die rekening was direk verwant aan die kontant en munte wat ons aan die bank gegee het. Ons huisrekeningkunde kon met pen en papier nagespoor word, en rekenaarstelsels was nie toeganklik vir kliënte nie. Bankwerknemers het data uit pasboeke en ander media in toestelle geplaas wat die geld getel het.
Maar in 1967 vir die eerste keer in Noord-Londen 'n OTM wat nie op die bankperseel geleë was nie. En hierdie gebeurtenis het bankwese verander. Gebruikersgerief het 'n maatstaf geword vir die ontwikkeling van finansiële instellings. En dit het banke gehelp om meer gesofistikeerd te word in terme van werk met kliënte en hul geld. Per slot van rekening, terwyl rekenaarstelsels slegs vir bankwerknemers beskikbaar was, was hulle tevrede met die ou, "papier" manier van interaksie met kliënte. Dit was eers met die koms van kitsbanke en toe aanlynbankdienste dat die algemene publiek direkte toegang tot bank-IT-stelsels gekry het.
OTM'e was net die begin. Mense kon gou die tou by die kasregister vermy deur bloot die bank telefonies te bel. Dit het spesiale kaarte vereis wat in 'n leser geplaas is wat in staat was om die dubbeltoon multi-frekwensie (DTMF) seine te ontsyfer wat gestuur word wanneer die gebruiker die "1" (onttrek geld) of "2" (deposito fondse) sleutel gedruk het.
Die internet en mobiele bankdienste het kliënte nader gebring aan die kernstelsels wat banke aandryf. Ten spyte van hul wisselende beperkings en instellings, moet al hierdie stelsels effektief met mekaar en met die hoofraamwerk kommunikeer, rekeningsaldokontroles uitvoer, geldoordragte maak, ensovoorts.
Min kliënte dink daaraan hoe kompleks die inligtingspad is wanneer jy byvoorbeeld by 'n aanlynbank aanmeld om inligting oor die geld in jou rekening te sien of op te dateer. Wanneer jy aanmeld, word hierdie data deur 'n stel bedieners gestuur; wanneer jy 'n transaksie doen, dupliseer die stelsel hierdie data in die backend-infrastruktuur, wat dan die swaar opheffing doen—om geld van een rekening na 'n ander oor te dra om rekeninge te betaal, maak betalings, en gaan voort met intekeninge.
Vermenigvuldig nou hierdie proses met etlike biljoene. Volgens data wat deur die Wêreldbank saamgestel is met die hulp van die Bill en Melinda Gates-stigting, volwassenes regoor die wêreld het 'n bankrekening. Elkeen van hierdie mense het rekeninge om te betaal. Iemand betaal 'n verband of dra geld oor vir kinderklubs, iemand betaal vir 'n Netflix-intekening of huur 'n wolkbediener. En al hierdie mense gebruik meer as een bank.
Talle interne IT-stelsels van een bank (mobiele bankdienste, kitsbanke, ens.) moet nie bloot met mekaar interaksie hê nie. Hulle moet interaksie hê met ander bankstelsels in Brasilië, China en Duitsland. ’n Franse OTM behoort geld te kan uitdeel wat op ’n bankkaart is wat iewers in Bolivia uitgereik is.
Geld was nog altyd wêreldwyd, maar nog nooit tevore was die stelsel so kompleks nie. Die aantal maniere om bank-IT-stelsels te gebruik neem toe, maar die ou maniere word steeds gebruik. Die sukses van 'n bank hang grootliks af van hoe "onderhoubaar" sy IT-infrastruktuur is, en hoe doeltreffend die bank 'n skielike mislukking kan hanteer waardeur die stelsel ledig sal wees.
Geen toetse nie - berei voor vir probleme
Jaime Guardiola (links) se uitvoerende hoof van Banco de Sabadell was vol vertroue dat alles glad sou verloop. Het nie uitgewerk nie.
TSB se rekenaarstelsels was nie baie goed om probleme vinnig op te los nie. Daar was natuurlik sagtewarefoute, maar in werklikheid het die bank “gebreek” weens die buitensporige kompleksiteit van sy IT-stelsels. Volgens die verslag, wat in die vroeë dae van die massiewe onderbreking voorberei is, "het die kombinasie van nuwe toepassings, verhoogde gebruik van mikrodienste gekombineer met die gebruik van twee aktiewe/aktiewe datasentrums gelei tot komplekse risiko's in produksie."
Sommige banke, soos HSBC, werk wêreldwyd en het dus ook baie komplekse, onderling gekoppelde stelsels. Maar hulle word gereeld getoets, gemigreer en bygewerk, volgens een HSBC IT-bestuurder in Lancaster. Hy sien HSBC as 'n model vir hoe ander banke hul IT-stelsels moet bestuur: deur personeel toe te wy en hul tyd te spandeer. Maar terselfdertyd erken hy dat dit vir 'n kleiner bank, veral een wat nie migrasie-ervaring het nie, 'n baie moeilike taak is om dit reg te doen.
Die TSB-migrasie was moeilik. En volgens kenners kon die bankpersoneel eenvoudig nie hierdie vlak van kompleksiteit in terme van kwalifikasies bereik nie. Daarbenewens het hulle nie eers die moeite gedoen om hul oplossing na te gaan of die migrasie vooraf te toets nie.
Andrew Bailey, uitvoerende hoof van die FCA, het tydens ’n toespraak in die Britse parlement oor bankprobleme dié vermoede bevestig. Slegte kode het waarskynlik net die aanvanklike probleme by TSB veroorsaak, maar die onderling gekoppelde stelsels van die globale finansiële netwerk het beteken dat sy foute voortduur en onomkeerbaar was. Die bank het voortgegaan om onverwagte foute elders in sy IT-argitektuur te sien. Kliënte het boodskappe ontvang wat betekenisloos of nie met hul probleme verband hou nie.
Regressietoetsing kan help om rampe te voorkom deur slegte kode te vang voordat dit in produksie vrygestel is en skade veroorsaak deur foute te skep wat nie teruggerol kan word nie. Maar die bank het besluit om deur 'n mynveld te hardloop waarvan hy nie eens geweet het nie. Die gevolge was voorspelbaar. Nog 'n probleem was die "optimalisering" van koste. Hoe het dit gemanifesteer? Die feit is dat daar voorheen besluit is om weg te doen met die rugsteunkopieë wat by Lloyds gestoor is, aangesien hulle te veel geld “opgeëet” het.
Britse banke (en ander ook) streef daarna om 'n vier-nege beskikbaarheidsvlak te bereik, dit wil sê 99,99%. In die praktyk beteken dit dat die IT-stelsel te alle tye beskikbaar moet wees, met tot 52 minute stilstand per jaar. Die “drie nege”-stelsel, 99,9%, verskil met die eerste oogopslag nie veel nie. Maar in werklikheid beteken dit dat stilstand 8 uur per jaar bereik. Vir die bank is “vier nege” goed, maar “drie nege” nie.
Maar elke keer as 'n maatskappy veranderinge aan sy IT-infrastruktuur maak, neem dit risiko's. Iets kan immers verkeerd loop. Die vermindering van veranderinge kan help om probleme te vermy, terwyl vereiste veranderinge noukeurige toetsing verg. En Britse reguleerders het hul aandag op hierdie punt gevestig.
Miskien is die maklikste manier om stilstand te vermy om eenvoudig minder veranderinge aan te bring. Maar elke bank, soos enige ander maatskappy, word gedwing om meer en meer nuttige kenmerke vir kliënte en sy eie besigheid in te stel om mededingend te bly. Terselfdertyd is banke steeds verplig om vir hul kliënte te sorg, hul spaargeld en persoonlike data te beskerm, gemaklike voorwaardes te bied vir die gebruik van dienste. Dit blyk dat organisasies gedwing word om baie tyd en geld te bestee om die gesondheid van hul IT-infrastruktuur te handhaaf, terwyl hulle terselfdertyd nuwe dienste aanbied.
Die aantal gerapporteerde tegnologiefoute in die finansiëledienstesektor in die VK het tussen 187 en 2017 met 2018 persent toegeneem, volgens data wat deur die VK se Finansiële Gedragsowerheid vrygestel is. Dikwels is die oorsaak van mislukkings probleme in die werking van nuwe funksionaliteit. Terselfdertyd is dit van kritieke belang vir banke om die konstante ononderbroke werking van alle dienste en byna onmiddellike rapportering van transaksies te verseker. Kliënte is altyd senuweeagtig wanneer hul geld iewers rondhang. En 'n kliënt wat senuweeagtig is oor geld, is altyd 'n teken van moeilikheid.
'n Paar maande na die mislukking by TSB (teen daardie tyd het die bank se HUB bedank), Britse finansiële reguleerders en die Bank van Engeland vir bespreking oor operasionele volhoubaarheidskwessies. Hulle het dus probeer om die vraag te stel oor hoe diep banke gegaan het in die strewe na innovasie, en of hulle die stabiele werking van die stelsel wat hulle nou het, kan waarborg.
Die dokument het ook veranderinge aan wetgewing voorgestel. Dit het gegaan daaroor om mense binne die maatskappy aanspreeklik te hou vir wat verkeerd loop in daardie maatskappy se IT-stelsels. Britse parlementariërs het dit so verduidelik: "Wanneer jy persoonlik verantwoordelik is, en jy kan bankrot raak of tronk toe gaan, sal dit die houding teenoor werk aansienlik verander, insluitend die verhoging van die hoeveelheid tyd wat aan die kwessie van betroubaarheid en veiligheid gewy word."
Resultate van
Elke opdatering en pleister kom neer op risikobestuur, veral wanneer honderde miljoene dollars betrokke is. As iets verkeerd loop, kan dit immers duur wees in terme van geld en reputasie. Dit sou voor die hand liggend dinge lyk. En die bank se mislukking tydens migrasie moes hulle baie geleer het.
Het gehad. Maar hy het my nie geleer nie. In November 2019 het TSB, wat weer winsgewendheid behaal het en stadig besig was om sy reputasie te verbeter, kliënte “verheug” op die gebied van inligtingstegnologie. Die tweede slag vir die bank het beteken dat hy gedwing sal word om 82 takke in 2020 te sluit om sy koste te besnoei. Of hy kon eenvoudig nie op IT-spesialiste bespaar nie.
Suinigheid met IT kom uiteindelik teen 'n prys. TSB het 'n verlies van $134 miljoen in 2018 gerapporteer, vergeleke met 'n wins van $206 miljoen in 2017. Na-migrasiekoste, insluitend kliëntevergoeding, die regstelling van bedrieglike transaksies (wat skerp toegeneem het tydens die bankchaos), en derdeparty-bystand, het altesaam $419 miljoen beloop. Die bank se IT-verskaffer is ook $194 miljoen gefaktureer vir sy rol in die krisis.
Ongeag watter lesse uit die TSB-bankmislukking geleer word, sal ontwrigtings egter steeds voorkom. Hulle is onvermydelik. Maar met toetsing en goeie kode kan ineenstortings en stilstand aansienlik verminder word. Cloud4Y, wat dikwels groot maatskappye help om na wolkinfrastruktuur te migreer, verstaan die belangrikheid daarvan om vinnig van een stelsel na 'n ander te beweeg. Daarom kan ons vragtoetse uitvoer en 'n multi-vlak rugsteunstelsel gebruik, sowel as ander opsies wat jou toelaat om alles moontlik na te gaan voordat die migrasie begin.
Wat kan jy nog op die blog lees?
→
→
→
→
→
Teken in op ons -kanaal, om nie die volgende artikel te mis nie! Ons skryf nie meer as twee keer per week nie en slegs vir besigheid.
Bron: will.com