Ebaõnnestunud IT-infrastruktuuri migratsioon tõi kaasa 1,3 miljardi pangakliendi kirjete rikkumise. See kõik oli tingitud ebapiisavast testimisest ja kergemeelsest suhtumisest keerulistesse IT-süsteemidesse. Cloud4Y räägib, kuidas see juhtus.
2018. aastal inglise keeles mõistis, et tema kaks aastat vana "lahutus" pangandusgrupiga Lloyds (mõlemad ettevõtted ühinesid 1995. aastal) oli liiga kallis. TSB oli endiselt seotud oma endise partneriga kiirustades kloonitud Lloydsi IT-süsteemide kaudu. Mis kõige hullem, pank pidi maksma alimente, 127 miljoni dollari suurust iga-aastast litsentsitasu.
Vähestele inimestele meeldib oma endistele raha maksta, seetõttu alustas TSB 22. aprillil 2018 kell 18 00-kuulise plaani viimast etappi, mis pidi kõike muutma. Hispaania ettevõtte Banco Sabadell IT-süsteemi plaaniti üle kanda miljardeid kliendikirjeid, mis ostis 18 miljardi dollari eest TSB veel 2,2. aastal.
Banco Sabadelli tegevjuht José Olu rääkis eelseisvast sündmusest 2 nädalat enne 2017. aasta jõule pidulikul personalikoosolekul Barcelona mainekas konverentsisaalis. Kõige olulisem migratsioonitööriist pidi olema Banco Sabadelli välja töötatud süsteemi uus versioon: Proteo. See nimetati isegi ümber Proteo4UK spetsiaalselt TSB migratsiooniprojekti jaoks.
Banco Sabadelli tegevdirektor Jaime Guardiola Romojaro kiitles Proteo4UK esitlusel, et uus süsteem on Euroopas analooge mitteomav mastaapne projekt, mille kallal töötas üle 1000 spetsialisti. Ja selle rakendamine annab olulise tõuke Banco Sabadelli kasvule Ühendkuningriigis.
22. aprill 2018 määrati rändepäevaks. Oli vaikne keskkevadine pühapäeva õhtu. Panga IT-süsteemid olid maas, kuna dokumente viidi ühest süsteemist teise. Kuna pühapäeva hilisõhtul taastati avalik juurdepääs pangakontodele, võib eeldada, et pank hakkab aeglaselt ja sujuvalt tööle naasma.
Kuid samal ajal, kui Olyu ja Guardiola Romojaro lavalt rõõmsalt Proteo4UK projekti elluviimisest saateid edastasid, olid migratsiooniprotsessi eest vastutavad töötajad väga närvis. Projekt, mille lõpuleviimiseks kulus 18 kuud, oli graafikust tõsiselt maas ja eelarve ületas. Täiendavate testide tegemiseks polnud aega. Kuid kõigi ettevõtte andmete (mis, pidage meeles, miljardeid kirjeid) teisaldamine teise süsteemi on Heraklese ülesanne.
Selgus, et insenerid olid mõjuval põhjusel närvis.
Tükk saidil, mida kliendid nägid liiga kaua
20 minutit pärast seda, kui TSB avas juurdepääsu kontodele, olles täiesti kindel, et migratsioon sujus, saabusid esimesed teated probleemidest.
Inimeste säästud kadusid ootamatult nende kontodelt. Ebaoluliste summade ostud kanti ekslikult mitmetuhandeliste kuludena arvele. Mõned inimesed logisid sisse oma isiklikule kontole ja nägid mitte oma pangakontosid, vaid täiesti erinevate inimeste kontosid.
Kell 21 teatasid TSB esindajad kohalikule finantsregulaatorile (UK Financial Conduct Authority, FCA), et pank on hädas. Kuid FCA on juba märganud: TSB on tõesti kõvasti sassi ajanud ja kliendid on lolliks tehtud. Ja loomulikult hakkasid nad kaebama (ja tänapäeval pole Twitteris või Facebookis mõne rea loopimine eriti keeruline). Kell 23 võttis FCA-ga ühendust teine finantsregulaator, usaldatavusnormatiivide reguleerimise amet (PRA), kes samuti tajus, et midagi on valesti.
Juba tublisti pärast südaööd õnnestus neil ühe panga esindaja juurde pääseda. Ja küsige neilt ainus küsimus: "mis kurat toimub?"
Tragöödia ulatuse mõistmine võttis aega, kuid nüüd teame, et migratsiooni käigus sai kahjustada 1,3 miljardit kirjet 5,4 miljoni kliendi kohta. Vähemalt nädala jooksul ei saanud kliendid oma raha arvutist ega mobiilseadmetest hallata. Nad ei suutnud laenu maksta ning paljude pangaklientide krediidiajaloos tekkis plekk ja ka viivised.
Selline nägi välja TSB kliendi internetipank
Kui tõrked hakkasid ilmnema peaaegu kohe pärast seda, väitsid panga esindajad, et probleemid on "vahelduvad". Kolm päeva hiljem tehti avaldus, et kõik süsteemid on normaalsed. Kuid kliendid teatasid jätkuvalt probleemidest. Alles 26. aprillil 2018 tunnistas panga tegevjuht Paul Pester, et TSB oli "põlvili", kuna panga IT-infrastruktuuril oli jätkuvalt "ribalaiuse probleem", mis takistas umbes miljonil kliendil Interneti-pangateenustele juurdepääsu.
Kaks nädalat pärast migratsiooni teatati endiselt, et Interneti-panga rakenduses esines SQL-i andmebaasiga seotud sisemisi vigu.
Makseraskused, eriti äri- ja hüpoteeklaenuarvetega, kestsid kuni neli nädalat. Ja üldlevinud ajakirjanikud said teada, et TSB lükkas rändekriisi alguses tagasi Lloyds Banking Groupi abipakkumise. Üldiselt täheldati võrguteenustesse sisselogimise ja raha ülekandmise võimalusega seotud probleeme kuni 3. septembrini.
Veidi ajalugu
Esimene sularahaautomaat avati 27. juunil 1967 Barclaysi lähedal Enfieldis
Panganduse IT-süsteemid muutuvad järjest keerukamaks, kuna klientide vajadused ja ootused pangale kasvavad. Umbes 40-60 aastat tagasi oleksime hea meelega külastanud meie kohalikku pangakontorit tööajal, et sularaha sisse maksta või telleri kaudu välja võtta.
Kontol olev rahasumma oli otseselt seotud sularaha ja müntidega, mille me pangale andsime. Meie kodune raamatupidamine oli paberi ja pliiatsi abil jälgitav ning arvutisüsteemid polnud klientidele ligipääsetavad. Pangatöötajad paigutasid arveldusraamatute ja muude meediumite andmed seadmetesse, mis raha lugesid.
Kuid 1967. aastal Põhja-Londonis esimest korda sularahaautomaat, mis ei asunud panga territooriumil. Ja see sündmus muutis pangandust. Kasutajamugavusest on saanud finantsasutuste arengu etalon. See on aidanud pankadel klientide ja nende rahaga töötamise osas keerukamaks muutuda. Kui arvutisüsteemid olid kättesaadavad vaid pangatöötajatele, siis vana, “paber” klientidega suhtlemise viisiga oldi rahul. Alles sularahaautomaatide ja seejärel internetipanganduse tulekuga pääses laiem avalikkus otse panga IT-süsteemidele.
Pangaautomaadid olid alles algus. Peagi õnnestus inimestel kassajärjekorda vältida, helistades lihtsalt panka telefoni teel. Selleks oli vaja spetsiaalseid kaarte sisestada lugejasse, mis suudab dešifreerida kahetoonilised mitmesageduslikud (DTMF) signaalid, mis edastatakse, kui kasutaja vajutas klahvi “1” (raha väljavõtmine) või “2” (raha sissemakse).
Internet ja mobiilipangandus on toonud kliendid lähemale pankade põhisüsteemidele. Vaatamata erinevatele piirangutele ja seadistustele peavad kõik need süsteemid üksteisega ja põhiarvutiga tõhusalt suhtlema, kontrollides kontojääki, tegema rahaülekandeid jne.
Vähesed kliendid mõtlevad sellele, kui keeruline on infotee, kui logite sisse näiteks netipanka, et vaadata või uuendada oma kontol oleva raha kohta teavet. Sisselogimisel edastatakse need andmed serverikomplekti kaudu; tehingu tegemisel dubleerib süsteem need andmed taustainfrastruktuuris, mis seejärel teeb raske töö – kannab raha ühelt kontolt teisele arvete tasumiseks. makseid ja jätkake tellimusi.
Nüüd korrutage see protsess mitme miljardiga. Vastavalt Maailmapanga poolt Bill ja Melinda Gatesi fondi abiga koostatud andmetele, täiskasvanutel üle kogu maailma on pangakonto. Kõik need inimesed peavad maksma arveid. Keegi maksab hüpoteeklaenu või kannab raha üle lasteklubide jaoks, keegi maksab Netflixi tellimuse või pilveserveri rentimise eest. Ja kõik need inimesed kasutavad rohkem kui ühte panka.
Ühe panga arvukad sisemised IT-süsteemid (mobiilipank, sularahaautomaadid jne) ei tohi lihtsalt omavahel suhelda. Nad peavad suhtlema teiste Brasiilia, Hiina ja Saksamaa pangandussüsteemidega. Prantsuse sularahaautomaat peaks suutma väljastada raha, mis on kuskil Boliivias välja antud pangakaardil.
Raha on alati olnud globaalne, kuid kunagi varem pole süsteem olnud nii keeruline. Panga IT-süsteemide kasutusvõimaluste hulk suureneb, kuid vanad viisid on endiselt kasutusel. Panga edu sõltub suuresti sellest, kui "säilitav" on tema IT-infrastruktuur ning kui tõhusalt suudab pank toime tulla ootamatu rikkega, mille tõttu süsteem seisma jääb.
Teste pole – valmistu probleemideks
Banco de Sabadelli tegevjuht Jaime Guardiola (vasakul) oli kindel, et kõik läheb sujuvalt. Ei tulnud välja.
TSB arvutisüsteemid ei suutnud probleeme kiiresti lahendada. Tarkvaratõrkeid muidugi esines, kuid tegelikkuses “murdis” pank IT-süsteemide liigse keerukuse tõttu. Aruande kohaselt, mis koostati massilise katkestuse esimestel päevadel, "viis uute rakenduste kombinatsioon, mikroteenuste suurem kasutamine koos kahe aktiivse/aktiivse andmekeskuse kasutamisega kaasa keerulise riski tootmises."
Mõned pangad, näiteks HSBC, tegutsevad globaalselt ja seetõttu on neil ka väga keerulised omavahel seotud süsteemid. Kuid Lancasteris asuva HSBC IT-juhi sõnul testitakse neid regulaarselt, migreeritakse ja värskendatakse. Ta näeb HSBC-s eeskuju, kuidas teised pangad peaksid oma IT-süsteeme haldama: personali pühendades ja aega kulutades. Kuid samas tunnistab ta, et väiksema panga jaoks, eriti migratsioonikogemuseta panga jaoks on selle korrektne tegemine väga keeruline ülesanne.
TSB migratsioon oli raske. Ja ekspertide sõnul ei suutnud pangatöötajad lihtsalt oma kvalifikatsiooniga sellise keerukuse tasemeni jõuda. Lisaks ei vaevunud nad isegi oma lahendust kontrollima ega migratsiooni eelnevalt testima.
Briti parlamendis pangandusprobleemide teemal peetud kõnes kinnitas FCA tegevjuht Andrew Bailey seda kahtlust. Tõenäoliselt põhjustas halb kood ainult TSB esialgseid probleeme, kuid ülemaailmse finantsvõrgustiku omavahel seotud süsteemid tähendasid, et selle vead jäid püsima ja olid pöördumatud. Pank nägi jätkuvalt ootamatuid vigu ka mujal oma IT-arhitektuuris. Kliendid said sõnumeid, mis olid mõttetud või ei olnud nende probleemidega seotud.
Regressioonitestimine võib aidata katastroofe ära hoida, püüdes kinni halva koodi enne selle tootmisse avaldamist ja tekitades kahju, luues vigu, mida ei saanud tagasi pöörata. Kuid pank otsustas joosta läbi miinivälja, millest ta isegi ei teadnud. Tagajärjed olid etteaimatavad. Teine probleem oli kulude "optimeerimine". Kuidas see väljendus? Fakt on see, et varem otsustati Lloydsis salvestatud varukoopiatest loobuda, kuna need "sõid ära" liiga palju raha.
Briti pangad (ja ka teised) püüavad saavutada neli-üheksa kättesaadavuse taset ehk 99,99%. Praktikas tähendab see, et IT-süsteem peab olema kogu aeg kättesaadav, kuni 52 minutit seisakuid aastas. “Kolme üheksa” süsteem, 99,9%, esmapilgul ei erine palju. Kuid tegelikkuses tähendab see, et seisakud ulatuvad 8 tunnini aastas. Panga jaoks on "neli üheksa" hea, kuid "kolm üheksa" mitte.
Kuid iga kord, kui ettevõte teeb oma IT-infrastruktuuris muudatusi, võtab ta riske. Lõppude lõpuks võib midagi valesti minna. Muudatuste vähendamine võib aidata probleeme vältida, samas kui nõutavad muudatused vajavad hoolikat testimist. Ja Briti reguleerivad asutused on keskendunud sellele punktile.
Võib-olla on kõige lihtsam viis seisakuid vältida lihtsalt vähem muudatusi teha. Kuid iga pank, nagu iga teinegi ettevõte, on konkurentsis püsimiseks sunnitud juurutama üha rohkem kasulikke funktsioone klientidele ja oma äritegevusele. Samas on pangad endiselt kohustatud hoolitsema oma klientide eest, kaitstes nende sääste ja isikuandmeid, pakkudes mugavaid tingimusi teenuste kasutamiseks. Selgub, et organisatsioonid on sunnitud kulutama palju aega ja raha oma IT-taristu tervise säilitamiseks, pakkudes samal ajal uusi teenuseid.
Ühendkuningriigi finantsteenuste ameti avaldatud andmete kohaselt kasvas Ühendkuningriigi finantsteenuste sektoris teatatud tehnoloogiatõrgete arv aastatel 187–2017 2018 protsenti. Enamasti on rikete põhjuseks probleemid uue funktsionaalsuse töös. Samas on pankade jaoks ülioluline tagada kõikide teenuste pidev tõrgeteta toimimine ja tehingutest peaaegu hetkeline aruandlus. Kliendid on alati närvis, kui nende raha kuskil ripub. Ja raha pärast närviline klient on alati märk hädast.
Mõni kuu pärast ebaõnnestumist TSB-s (selleks ajaks oli panga tegevjuht tagasi astunud), Ühendkuningriigi finantsregulaatorid ja Inglise Pank tegevuse jätkusuutlikkuse küsimuste arutamiseks. Seega püüdsid nad tõstatada küsimuse, kui sügavale on pangad innovatsiooni taga ajanud ja kas nad suudavad tagada praeguse süsteemi stabiilse toimimise.
Dokumendis tehti ettepanekuid muuta ka seadusandlust. See seisnes selles, et ettevõttes olevad inimesed vastutaksid selle eest, mis selle ettevõtte IT-süsteemides valesti läheb. Briti parlamendisaadikud selgitasid seda järgmiselt: "Kui olete isiklikult vastutav ja võite pankrotti minna või vangi minna, muudab see suuresti suhtumist töösse, sealhulgas suurendab usaldusväärsuse ja ohutuse teemale pühendatud aega."
Tulemused
Iga värskendus ja plaaster taandub riskijuhtimisele, eriti kui tegemist on sadade miljonite dollaritega. Lõppude lõpuks, kui midagi läheb valesti, võib see olla kulukas raha ja maine osas. Tundub ilmselgete asjadena. Ja panga ebaõnnestumine migratsiooni ajal oleks pidanud neile palju õpetama.
Oli. Aga ta ei õpetanud mind. 2019. aasta novembris rõõmustas kliente taas kasumlikkuse saavutanud ja aeglaselt oma mainet parandav TSB infotehnoloogia vallas. Teine löök pangale tähendas, et 82. aastal on pank sunnitud kulude vähendamiseks sulgema 2020 kontorit. Või ei suutnud ta lihtsalt IT-spetsialistide pealt kokku hoida.
Ihne IT-ga kaasneb lõppkokkuvõttes oma hind. TSB teatas 134. aastal 2018 miljoni dollari suurusest kahjumist, võrreldes 206. aasta 2017 miljoni dollari suuruse kasumiga. Migratsioonijärgsed kulud, sealhulgas klientide hüvitamine, pettustehingute parandamine (mis suurenes järsult panganduskaose ajal) ja kolmandate isikute abi, ulatusid 419 miljoni dollarini. Samuti esitati panga IT-teenuse pakkujale kriisis osalemise eest 194 miljonit dollarit.
Kuid olenemata sellest, millised õppetunnid TSB pangarikkest õpitakse, häireid tuleb ikka ette. Need on vältimatud. Kuid testimise ja hea koodi abil saab krahhe ja seisakuid oluliselt vähendada. Cloud4Y, mis aitab suurtel ettevõtetel sageli pilveinfrastruktuurile migreeruda, mõistab kiire ühest süsteemist teise ülemineku tähtsust. Seetõttu saame läbi viia koormustesti ja kasutada mitmetasandilist varundussüsteemi ning muid võimalusi, mis võimaldavad enne migratsiooni alustamist kõike võimalikku kontrollida.
Mida veel blogist lugeda saab?
→
→
→
→
→
Telli meie -kanal, et mitte järgmisest artiklist ilma jääda! Kirjutame mitte rohkem kui kaks korda nädalas ja ainult tööasjades.
Allikas: www.habr.com