Neúspešná migrácia IT infraštruktúry mala za následok poškodenie 1,3 miliardy bankových záznamov zákazníkov. To všetko bolo spôsobené nedostatočným testovaním a ľahkomyseľným prístupom ku komplexným IT systémom. Cloud4Y hovorí, ako sa to stalo.
V roku 2018 v angličtine si uvedomil, že jeho dva roky starý „rozvod“ s bankovou skupinou Lloyds (obe spoločnosti sa zlúčili v roku 1995) bol príliš drahý. TSB bola stále spojená so svojím bývalým partnerom prostredníctvom narýchlo naklonovaných IT systémov Lloyds. Najhoršie zo všetkého bolo, že banka musela platiť „alimenty“, ročný licenčný poplatok vo výške 127 miliónov dolárov.
Málokto rád platí peniaze svojim bývalým, a tak 22. apríla 2018 o 18:00 TSB začala posledná fáza 18-mesačného plánu, ktorý mal všetko zmeniť. Plánovalo sa preniesť miliardy záznamov o zákazníkoch do IT systému španielskej spoločnosti Banco Sabadell, ktorá v roku 2,2 kúpila TSB za 2015 miliardy dolárov.
Generálny riaditeľ Banco Sabadell José Olu hovoril o pripravovanej udalosti 2 týždne pred Vianocami 2017 počas slávnostného stretnutia zamestnancov v prestížnej konferenčnej sále v Barcelone. Najdôležitejším migračným nástrojom mala byť nová verzia systému vyvinutého Banco Sabadell: Proteo. Špeciálne pre projekt migrácie TSB bol dokonca premenovaný na Proteo4UK.
Výkonný riaditeľ Banco Sabadell Jaime Guardiola Romojaro sa pri prezentácii Proteo4UK pochválil, že nový systém je rozsiahly projekt, ktorý nemá v Európe obdoby, na ktorom pracovalo viac ako 1000 špecialistov. A že jeho implementácia výrazne podporí rast Banco Sabadell v Spojenom kráľovstve.
22. apríl 2018 bol stanovený ako deň migrácie. Bol tichý nedeľný večer uprostred jari. IT systémy banky boli mimo prevádzky, pretože záznamy sa prenášali z jedného systému do druhého. S verejným prístupom k bankovým účtom obnoveným v nedeľu neskoro by sa dalo očakávať, že sa banka pomaly a hladko vráti do prevádzky.
No kým Olyu a Guardiola Romojaro veselo vysielali z pódia o implementácii projektu Proteo4UK, zamestnanci zodpovední za proces migrácie boli veľmi nervózni. Projekt, ktorého dokončenie trvalo 18 mesiacov, výrazne zaostal za plánom a prekročil rozpočet. Nebol čas vykonať dodatočné testy. Ale prenos všetkých údajov spoločnosti (ktoré, nezabudnite, sú miliardy záznamov) do iného systému, je herkulovská úloha.
Ukázalo sa, že inžinieri boli z dobrého dôvodu nervózni.
Útržok na stránke, ktorý zákazníci videli príliš dlho
20 minút po tom, čo spoločnosť TSB otvorila prístup k účtom a bola si úplne istá, že migrácia prebehla hladko, prišli prvé správy o problémoch.
Úspory ľudí zrazu zmizli z ich účtov. Nákupy nevýznamných súm boli chybne zaúčtované ako mnohotisícové náklady. Niektorí ľudia sa prihlásili na svoje osobné účty a nevideli svoje bankové účty, ale účty úplne iných ľudí.
O 21:00 zástupcovia TSB informovali miestneho finančného regulátora (UK Financial Conduct Authority, FCA), že banka má problémy. Ale FCA si to už všimla: TSB to naozaj pokazilo a zo zákazníkov sa urobili hlupáci. A samozrejme sa začali sťažovať (a v dnešnej dobe pustiť pár riadkov na Twitter alebo Facebook nie je nijak zvlášť náročné). O 23:30 FCA kontaktoval iný finančný regulátor, Úrad pre obozretnú reguláciu (PRA), ktorý tiež vycítil, že niečo nie je v poriadku.
Už dlho po polnoci sa im podarilo dostať k jednému zo zástupcov banky. A opýtajte sa ich na jedinú otázku: "Čo sa to do pekla deje?"
Pochopenie rozsahu tragédie si vyžiadalo čas, no teraz vieme, že počas migrácie bolo poškodených 1,3 miliardy záznamov 5,4 milióna zákazníkov. Minimálne týždeň klienti nemohli spravovať svoje peniaze zo svojich počítačov či mobilných zariadení. Neboli schopní splácať úver a mnohým klientom bánk sa objavila škvrna na úverovej histórii, ako aj poplatky z omeškania.
Takto vyzerala zákaznícka online banka TSB
Keď sa problémy začali objavovať, takmer okamžite potom, zástupcovia bánk trvali na tom, že problémy sú „prerušované“. O tri dni neskôr bolo vydané vyhlásenie, že všetky systémy sú normálne. Zákazníci však naďalej hlásili problémy. Až 26. apríla 2018 generálny riaditeľ banky Paul Pester priznal, že TSB je „na kolenách“, keďže IT infraštruktúra banky má naďalej „problém so šírkou pásma“, ktorý bráni približne miliónu zákazníkov v prístupe k službám online bankovníctva.
Dva týždne po migrácii sa v aplikácii online bankovníctva stále vyskytli interné chyby súvisiace s databázou SQL.
Ťažkosti s platbami, najmä v prípade obchodných a hypotekárnych účtov, pokračovali až štyri týždne. A všadeprítomní novinári zistili, že TSB hneď na začiatku migračnej krízy odmietla ponuku pomoci od Lloyds Banking Group. Vo všeobecnosti sa problémy spojené s prihlasovaním do online služieb a možnosťou prevodu peňazí pozorovali do 3. septembra.
Trocha histórie
Prvý bankomat bol otvorený 27. júna 1967 neďaleko Barclays v Enfielde
Bankové IT systémy sa stávajú čoraz zložitejšími, keďže potreby a očakávania zákazníkov od banky rastú. Asi pred 40 – 60 rokmi by sme s radosťou navštívili pobočku našej miestnej banky počas pracovných hodín, aby sme vložili hotovosť alebo si ju vybrali prostredníctvom pokladníka.
Množstvo peňazí na účte priamo súviselo s hotovosťou a mincami, ktoré sme dali banke. Naše domáce účtovníctvo bolo možné sledovať pomocou pera a papiera a počítačové systémy neboli prístupné klientom. Zamestnanci banky umiestňovali údaje z vkladných knižiek a iných médií do zariadení, ktoré počítali peniaze.
Prvýkrát však v roku 1967 v severnom Londýne bankomat, ktorý sa nenachádzal v priestoroch banky. A táto udalosť zmenila bankovníctvo. Pohodlie používateľov sa stalo meradlom rozvoja finančných inštitúcií. A to bankám pomohlo stať sa sofistikovanejšími v práci s klientmi a ich peniazmi. Napokon, kým počítačové systémy boli dostupné len zamestnancom bánk, uspokojili sa so starým, „papierovým“ spôsobom interakcie s klientmi. Až s príchodom bankomatov a následne online bankovníctva získala široká verejnosť priamy prístup k bankovým IT systémom.
Bankomaty boli len začiatok. Čoskoro sa ľudia mohli vyhnúť rade pri pokladni jednoduchým telefonátom do banky. To si vyžadovalo špeciálne karty vložené do čítačky schopnej dešifrovať dvojtónové multifrekvenčné (DTMF) signály vysielané po stlačení klávesu „1“ (výber peňazí) alebo „2“ (vklad prostriedkov).
Internet a mobilné bankovníctvo priviedli zákazníkov bližšie k základným systémom, ktoré poháňajú banky. Napriek rôznym obmedzeniam a nastaveniam musia všetky tieto systémy efektívne interagovať medzi sebou a s hlavným mainframom, vykonávať kontroly zostatkov na účte, prevody peňazí atď.
Len málo klientov si myslí, aká zložitá je informačná cesta, keď sa napríklad prihlásite do online banky, aby ste si prezreli alebo aktualizovali informácie o peniazoch na svojom účte. Keď sa prihlásite, tieto údaje sa prenesú cez súbor serverov; keď uskutočníte transakciu, systém duplikuje tieto údaje v backendovej infraštruktúre, čo potom urobí ťažkú prácu – prevedie peniaze z jedného účtu na druhý na zaplatenie účtov, platby a pokračovať v odberoch.
Teraz vynásobte tento proces niekoľkými miliardami. Podľa údajov, ktoré zostavila Svetová banka s pomocou Nadácie Billa a Melindy Gatesových, dospelí na celom svete majú bankový účet. Každý z týchto ľudí musí zaplatiť účty. Niekto platí hypotéku alebo prevádza peniaze na detské kluby, niekto platí predplatné Netflixu alebo prenájom cloudového servera. A všetci títo ľudia používajú viac ako jednu banku.
Početné interné IT systémy jednej banky (mobilné bankovníctvo, bankomaty atď.) sa nesmú jednoducho vzájomne ovplyvňovať. Musia interagovať s inými bankovými systémami v Brazílii, Číne a Nemecku. Francúzsky bankomat by mal byť schopný vydať peniaze, ktoré sú na bankovej karte vydanej niekde v Bolívii.
Peniaze boli vždy globálne, ale nikdy predtým nebol systém taký zložitý. Počet spôsobov využitia bankových IT systémov sa zvyšuje, no staré spôsoby sa stále používajú. Úspech banky do značnej miery závisí od toho, nakoľko je jej IT infraštruktúra „udržiteľná“ a ako efektívne sa banka dokáže vyrovnať s náhlym zlyhaním, kvôli ktorému bude systém nečinný.
Žiadne testy – pripravte sa na problémy
Generálny riaditeľ Banco de Sabadell Jaime Guardiola (vľavo) bol presvedčený, že všetko pôjde hladko. Nevyšlo to.
Počítačové systémy TSB neboli veľmi dobré pri rýchlom riešení problémov. Vyskytli sa, samozrejme, softvérové chyby, ale v skutočnosti banka „skrachovala“ kvôli prílišnej zložitosti svojich IT systémov. Podľa správy, ktorá bola pripravená v prvých dňoch masívneho výpadku, „kombinácia nových aplikácií, zvýšené využívanie mikroslužieb v kombinácii s používaním dvoch aktívnych/aktívnych dátových centier viedli ku komplexnému riziku vo výrobe“.
Niektoré banky, ako napríklad HSBC, pôsobia globálne, a preto majú aj veľmi zložité, vzájomne prepojené systémy. Podľa jedného IT manažéra HSBC v Lancasteri sú však pravidelne testované, migrované a aktualizované. V HSBC vidí vzor toho, ako by mali ostatné banky spravovať svoje IT systémy: venovaním personálu a trávením času. Zároveň však pripúšťa, že pre menšiu banku, najmä tú, ktorá nemá skúsenosti s migráciou, je správne to urobiť veľmi ťažkou úlohou.
Migrácia TSB bola náročná. A podľa odborníkov by bankový personál jednoducho nemohol dosiahnuť túto úroveň zložitosti z hľadiska kvalifikácie. Navyše sa ani neobťažovali vopred skontrolovať svoje riešenie alebo otestovať migráciu.
Počas prejavu v britskom parlamente o bankových problémoch potvrdil toto podozrenie Andrew Bailey, výkonný riaditeľ FCA. Zlý kód pravdepodobne spôsobil iba počiatočné problémy v TSB, ale prepojené systémy globálnej finančnej siete spôsobili, že jej chyby boli trvalé a nezvratné. Banka naďalej videla neočakávané chyby inde vo svojej IT architektúre. Zákazníci dostávali správy, ktoré boli nezmyselné alebo nesúvisiace s ich problémami.
Regresné testovanie by mohlo pomôcť predísť katastrofe zachytením zlého kódu pred jeho vydaním do produkcie a spôsobilo poškodenie vytvorením chýb, ktoré nebolo možné vrátiť späť. Ale banka sa rozhodla prejsť cez mínové pole, o ktorom ani nevedela. Následky boli predvídateľné. Ďalším problémom bola „optimalizácia“ nákladov. Ako sa to prejavilo? Faktom je, že predtým bolo rozhodnuté zrušiť záložné kópie uložené v Lloyds, pretože „zožrali“ príliš veľa peňazí.
Britské banky (a aj iné) sa snažia dosiahnuť úroveň dostupnosti štyri-deväť, teda 99,99 %. V praxi to znamená, že IT systém musí byť neustále k dispozícii, s prestojom až 52 minút ročne. Systém „troch deviatok“, 99,9 %, sa na prvý pohľad príliš nelíši. Ale v skutočnosti to znamená, že prestoje dosahujú 8 hodín ročne. Pre banku je „štyri deviatky“ dobré, ale „tri deviatky“ nie.
Ale vždy, keď spoločnosť vykoná zmeny vo svojej IT infraštruktúre, riskuje. Niečo sa predsa môže pokaziť. Zníženie zmien môže pomôcť vyhnúť sa problémom, zatiaľ čo požadované zmeny si vyžadujú starostlivé testovanie. A britskí regulátori zamerali svoju pozornosť na tento bod.
Možno najjednoduchší spôsob, ako sa vyhnúť prestojom, je jednoducho vykonať menej zmien. Ale každá banka, ako každá iná spoločnosť, je nútená zavádzať čoraz viac užitočných funkcií pre klientov a vlastný biznis, aby zostala konkurencieschopná. Banky sú zároveň naďalej povinné starať sa o svojich klientov, chrániť ich úspory a osobné údaje, poskytovať komfortné podmienky na využívanie služieb. Ukazuje sa, že organizácie sú nútené tráviť veľa času a peňazí udržiavaním zdravia svojej IT infraštruktúry a zároveň ponúkaním nových služieb.
Počet nahlásených technologických zlyhaní v sektore finančných služieb v Spojenom kráľovstve sa medzi rokmi 187 a 2017 zvýšil o 2018 percent, podľa údajov zverejnených britským úradom pre finančné správanie. Príčinou porúch sú najčastejšie problémy s prevádzkou novej funkčnosti. Zároveň je pre banky kľúčové zabezpečiť nepretržitú nepretržitú prevádzku všetkých služieb a takmer okamžité vykazovanie transakcií. Klienti sú vždy nervózni, keď im niekde visia peniaze. A klient, ktorý je nervózny z peňazí, je vždy znakom problémov.
Niekoľko mesiacov po neúspechu v TSB (v tom čase generálny riaditeľ banky odstúpil), finančné regulačné orgány Spojeného kráľovstva a Bank of England na diskusiu o otázkach prevádzkovej udržateľnosti. Pokúsili sa teda nastoliť otázku, ako hlboko banky zašli v snahe o inovácie a či dokážu zaručiť stabilné fungovanie systému, ktorý majú teraz.
V dokumente boli navrhnuté aj legislatívne zmeny. Išlo o to, aby sa ľudia v rámci spoločnosti zodpovedali za to, čo sa pokazilo v IT systémoch tejto spoločnosti. Britskí poslanci to vysvetlili takto: „Keď ste osobne zodpovedný a môžete zbankrotovať alebo ísť do väzenia, výrazne to zmení váš postoj k práci vrátane zvýšenia času venovaného otázke spoľahlivosti a bezpečnosti.“
Výsledky
Každá aktualizácia a oprava sa týka riadenia rizík, najmä ak ide o stovky miliónov dolárov. Koniec koncov, ak sa niečo pokazí, môže to byť nákladné z hľadiska peňazí a reputácie. Zdalo by sa, že veci sú samozrejmé. A zlyhanie banky počas migrácie ich malo veľa naučiť.
Had. Ale neučil ma. V novembri 2019 spoločnosť TSB, ktorá opäť dosiahla ziskovosť a pomaly si zlepšovala reputáciu, „potešila“ zákazníkov v oblasti informačných technológií. Druhý úder pre banku znamenal, že v roku 82 bude nútená zatvoriť 2020 pobočiek, aby znížila svoje náklady. Alebo jednoducho nemohol šetriť na IT špecialistoch.
Lakomosť s IT v konečnom dôsledku niečo stojí. TSB vykázala v roku 134 stratu 2018 miliónov dolárov v porovnaní so ziskom 206 miliónov dolárov v roku 2017. Náklady po migrácii vrátane kompenzácie zákazníkov, nápravy podvodných transakcií (ktoré počas bankového chaosu prudko vzrástli) a pomoci tretích strán dosiahli spolu 419 miliónov USD. Poskytovateľovi IT banky bolo tiež účtovaných 194 miliónov dolárov za jeho úlohu v kríze.
Bez ohľadu na to, aké ponaučenie sa zo zlyhania banky TSB vezme, k narušeniam stále dôjde. Sú nevyhnutné. S testovaním a dobrým kódom sa však pády a prestoje dajú výrazne znížiť. Cloud4Y, ktorý často pomáha veľkým spoločnostiam migrovať do cloudovej infraštruktúry, chápe dôležitosť rýchleho prechodu z jedného systému na druhý. Preto môžeme vykonať záťažové testovanie a použiť viacúrovňový zálohovací systém, ako aj ďalšie možnosti, ktoré vám umožnia skontrolovať všetko možné pred spustením migrácie.
Čo si ešte môžete prečítať na blogu?
→
→
→
→
→
Prihláste sa na odber -kanál, aby ste nezmeškali ďalší článok! Píšeme si maximálne dvakrát do týždňa a len služobne.
Zdroj: hab.com