Neúspěšná migrace IT infrastruktury měla za následek poškození 1,3 miliardy bankovních záznamů zákazníků. To vše bylo způsobeno nedostatečným testováním a lehkovážným přístupem ke složitým IT systémům. Cloud4Y vypráví, jak se to stalo.
V roce 2018 v angličtině si uvědomil, že jeho dva roky starý „rozvod“ s bankovní skupinou Lloyds (obě společnosti se sloučily v roce 1995) byl příliš drahý. TSB byla stále svázána se svým bývalým partnerem prostřednictvím narychlo naklonovaných IT systémů Lloyds. Nejhorší ze všeho bylo, že banka musela platit „alimenty“, roční licenční poplatek ve výši 127 milionů dolarů.
Málokdo rád platí peníze svým bývalým, a tak 22. dubna 2018 v 18:00 zahájil TSB poslední fázi 18měsíčního plánu, který měl vše změnit. Plánoval se převod miliard záznamů o zákaznících do IT systému španělské společnosti Banco Sabadell, která v roce 2,2 koupila TSB za 2015 miliardy dolarů.
Generální ředitel Banco Sabadell José Olu hovořil o nadcházející události 2 týdny před Vánocemi 2017 během slavnostního setkání zaměstnanců v prestižním konferenčním sále v Barceloně. Nejdůležitějším migračním nástrojem měla být nová verze systému vyvinutá Banco Sabadell: Proteo. Speciálně pro projekt migrace TSB byl dokonce přejmenován na Proteo4UK.
Výkonný ředitel Banco Sabadell Jaime Guardiola Romojaro se při prezentaci Proteo4UK pochlubil, že nový systém je rozsáhlý projekt, který nemá v Evropě obdoby, na kterém pracovalo přes 1000 specialistů. A že jeho implementace poskytne významnou podporu růstu Banco Sabadell ve Spojeném království.
22. duben 2018 byl stanoven jako den migrace. Byl tichý nedělní večer uprostřed jara. IT systémy banky byly mimo provoz, protože záznamy byly přenášeny z jednoho systému do druhého. S veřejným přístupem k bankovním účtům obnoveným v neděli pozdě, by se dalo očekávat, že se banka pomalu a hladce vrátí do provozu.
Ale zatímco Olyu a Guardiola Romojaro vesele vysílali z pódia o realizaci projektu Proteo4UK, zaměstnanci zodpovědní za proces migrace byli velmi nervózní. Projekt, jehož dokončení trvalo 18 měsíců, se vážně opozdil a překročil rozpočet. Na provedení dalších testů nebyl čas. Ale přenos všech dat společnosti (což jsou miliardy záznamů) do jiného systému je herkulovský úkol.
Ukázalo se, že inženýři byli z dobrého důvodu nervózní.
Útržek na webu, který zákazníci viděli příliš dlouho
20 minut poté, co TSB otevřela přístup k účtům a byla si plně jista, že migrace proběhla hladce, dorazily první zprávy o problémech.
Úspory lidí najednou zmizely z jejich účtů. Nákupy nevýznamných částek byly chybně zaúčtovány jako mnohatisícové náklady. Někteří lidé se přihlásili na své osobní účty a neviděli své bankovní účty, ale účty úplně jiných lidí.
Ve 21:00 zástupci TSB informovali místního finančního regulátora (UK Financial Conduct Authority, FCA), že banka má potíže. Ale FCA už si toho všimla: TSB to opravdu hodně podělalo a ze zákazníků se udělali hlupáci. A samozřejmě si začali stěžovat (a v dnešní době pustit pár řádků na Twitter nebo Facebook není nijak zvlášť obtížné). Ve 23:30 byl FCA kontaktován dalším finančním regulátorem, Prudential Regulation Authority (PRA), který také vycítil, že něco není v pořádku.
Již dlouho po půlnoci se jim podařilo dostat k jednomu ze zástupců banky. A položte jim jedinou otázku: "Co se to sakra děje?"
Chvíli trvalo, než jsme pochopili rozsah tragédie, ale nyní víme, že během migrace bylo poškozeno 1,3 miliardy záznamů o 5,4 milionu zákazníků. Klienti nemohli minimálně týden spravovat své peníze z počítačů nebo mobilních zařízení. Nebyli schopni splácet úvěr a mnoha klientům bank se objevila skvrna na jejich úvěrové historii a také poplatky z prodlení.
Takto vypadala zákaznická online banka TSB
Když se závady začaly objevovat, téměř okamžitě poté, zástupci bank trvali na tom, že problémy jsou „přerušované“. O tři dny později bylo vydáno prohlášení, že všechny systémy jsou normální. Zákazníci ale nadále hlásili problémy. Až 26. dubna 2018 generální ředitel banky Paul Pester připustil, že TSB je „na kolenou“, protože IT infrastruktura banky má nadále „problém s šířkou pásma“, který brání přibližně milionu zákazníků v přístupu ke službám online bankovnictví.
Dva týdny po migraci aplikace online bankovnictví stále vykazovala interní chyby související s databází SQL.
Potíže s platbami, zejména u obchodních a hypotečních směnek, trvaly až čtyři týdny. A všudypřítomní novináři zjistili, že TSB hned na začátku migrační krize odmítla nabídku pomoci od Lloyds Banking Group. Obecně byly problémy spojené s přihlašováním do online služeb a možností převodu peněz pozorovány až do 3. září.
Trocha historie
První bankomat byl otevřen 27. června 1967 poblíž Barclays v Enfieldu
Bankovní IT systémy jsou stále složitější, protože potřeby zákazníků a očekávání od banky rostou. Přibližně před 40–60 lety bychom rádi navštívili pobočku místní banky během pracovní doby, abychom vložili hotovost nebo ji vybrali prostřednictvím pokladního.
Množství peněz na účtu přímo souviselo s hotovostí a mincemi, které jsme bance dali. Naše domácí účetnictví bylo možné sledovat pomocí tužky a papíru a počítačové systémy nebyly klientům přístupné. Zaměstnanci banky umístili data z vkladních knížek a dalších médií do zařízení, která počítala peníze.
Ale v roce 1967 v severním Londýně poprvé bankomat, který se nenacházel v areálu banky. A tato událost změnila bankovnictví. Uživatelské pohodlí se stalo měřítkem pro rozvoj finančních institucí. A to pomohlo bankám zdokonalit práci s klienty a jejich penězi. Ostatně, zatímco počítačové systémy byly dostupné pouze zaměstnancům bank, ti se spokojili se starým, „papírovým“ způsobem interakce s klienty. Až s příchodem bankomatů a poté online bankovnictví získala široká veřejnost přímý přístup k bankovním IT systémům.
Bankomaty byly jen začátek. Brzy se lidé mohli vyhnout řadě u pokladny pouhým telefonickým zavoláním do banky. To vyžadovalo speciální karty vložené do čtečky schopné dešifrovat dvoutónové multifrekvenční (DTMF) signály vysílané při stisknutí klávesy „1“ (výběr peněz) nebo „2“ (vklad peněz).
Internetové a mobilní bankovnictví přivedlo zákazníky blíže k hlavním systémům, které pohánějí banky. Navzdory svým různým omezením a nastavením musí všechny tyto systémy efektivně interagovat mezi sebou a s hlavním sálovým počítačem, provádět kontroly zůstatků na účtech, provádět převody peněz a tak dále.
Jen málo klientů přemýšlí o tom, jak složitá je informační cesta, když se například přihlásíte do online banky, abyste si prohlédli nebo aktualizovali informace o penězích na svém účtu. Když se přihlásíte, tato data jsou předána přes sadu serverů; když provedete transakci, systém tato data duplikuje v backendové infrastruktuře, což pak dělá těžkou práci – převádí peníze z jednoho účtu na druhý za účelem placení účtů, platby a pokračovat v odběrech.
Nyní vynásobte tento proces několika miliardami. Podle údajů, které shromáždila Světová banka s pomocí Nadace Billa a Melindy Gatesových, dospělí na celém světě mají bankovní účet. Každý z těchto lidí musí zaplatit účty. Někdo platí hypotéku nebo převádí peníze na dětské kluby, někdo platí předplatné Netflixu nebo pronájem cloudového serveru. A všichni tito lidé používají více než jednu banku.
Četné interní IT systémy jedné banky (mobilní bankovnictví, bankomaty atd.) se nesmí jednoduše vzájemně ovlivňovat. Potřebují komunikovat s ostatními bankovními systémy v Brazílii, Číně a Německu. Francouzský bankomat by měl být schopen vydat peníze, které jsou na bankovní kartě vydané někde v Bolívii.
Peníze byly vždy globální, ale nikdy předtím nebyl systém tak složitý. Počet způsobů využití bankovních IT systémů se zvyšuje, ale stále se používají staré způsoby. Úspěch banky do značné míry závisí na tom, jak je její IT infrastruktura „udržitelná“ a jak efektivně se banka dokáže vyrovnat s náhlým selháním, kvůli kterému bude systém nečinný.
Žádné testy – připravte se na problémy
Generální ředitel Banco de Sabadell Jaime Guardiola (vlevo) si byl jistý, že vše půjde hladce. Nevyšlo to.
Počítačové systémy TSB nebyly příliš dobré v rychlém řešení problémů. Došlo samozřejmě k softwarovým závadám, ale ve skutečnosti se banka „zhroutila“ kvůli přílišné složitosti jejích IT systémů. Podle zprávy, která byla připravena v prvních dnech masivního výpadku, „kombinace nových aplikací, zvýšené využívání mikroslužeb v kombinaci s využitím dvou datových center Active/Active vedla ke komplexnímu riziku ve výrobě.
Některé banky, jako je HSBC, působí globálně, a proto mají také velmi složité, vzájemně propojené systémy. Podle jednoho IT manažera HSBC v Lancasteru jsou však pravidelně testovány, migrovány a aktualizovány. V HSBC vidí model toho, jak by ostatní banky měly spravovat své IT systémy: obětováním zaměstnanců a trávením času. Zároveň ale připouští, že pro menší banku, zejména pro tu, která nemá zkušenosti s migrací, je udělat to správně velmi náročný úkol.
Migrace TSB byla obtížná. A podle odborníků nemohli zaměstnanci banky této úrovně složitosti z hlediska kvalifikace jednoduše dosáhnout. Navíc se ani neobtěžovali předem zkontrolovat své řešení nebo otestovat migraci.
Během projevu v britském parlamentu o bankovních problémech toto podezření potvrdil Andrew Bailey, výkonný ředitel FCA. Špatný kód pravděpodobně způsobil pouze počáteční problémy v TSB, ale propojené systémy globální finanční sítě způsobily, že její chyby byly trvalé a nevratné. Banka i nadále viděla neočekávané chyby jinde ve své IT architektuře. Zákazníci dostávali zprávy, které byly nesmyslné nebo nesouvisely s jejich problémy.
Regresní testování by mohlo pomoci zabránit katastrofě tím, že zachytí špatný kód ještě před jeho vydáním do produkce a způsobí poškození vytvořením chyb, které nelze vrátit zpět. Ale banka se rozhodla projít minovým polem, o kterém ani nevěděla. Následky byly předvídatelné. Dalším problémem byla „optimalizace“ nákladů. Jak se to projevilo? Faktem je, že dříve bylo rozhodnuto odstranit záložní kopie uložené v Lloyds, protože „sežraly“ příliš mnoho peněz.
Britské banky (a také další) se snaží dosáhnout úrovně dostupnosti čtyři-devítky, tedy 99,99 %. V praxi to znamená, že IT systém musí být neustále k dispozici s až 52 minutami výpadku za rok. Systém „tři devítky“, 99,9 %, se na první pohled příliš neliší. Ale ve skutečnosti to znamená, že prostoje dosahují 8 hodin ročně. Pro banku je „čtyři devítky“ dobré, ale „tři devítky“ nikoli.
Ale pokaždé, když společnost provede změny ve své IT infrastruktuře, riskuje. Něco se totiž může pokazit. Omezení změn může pomoci vyhnout se problémům, zatímco požadované změny vyžadují pečlivé testování. A britští regulátoři zaměřili svou pozornost na tento bod.
Snad nejjednodušší způsob, jak se vyhnout prostojům, je jednoduše provádět méně změn. Ale každá banka, jako každá jiná společnost, je nucena zavádět stále více užitečných funkcí pro klienty a vlastní podnikání, aby zůstala konkurenceschopná. Banky jsou přitom i nadále povinny se o své klienty postarat, chránit jejich úspory a osobní údaje, poskytovat komfortní podmínky pro využívání služeb. Ukazuje se, že organizace jsou nuceny trávit spoustu času a peněz udržováním stavu své IT infrastruktury a zároveň nabízet nové služby.
Počet hlášených technologických selhání v sektoru finančních služeb ve Spojeném království vzrostl mezi lety 187 a 2017 o 2018 procent, podle údajů zveřejněných britským úřadem pro finanční chování. Nejčastěji jsou příčinou poruch problémy při provozu nové funkčnosti. Pro banky je přitom klíčové zajistit neustálý nepřetržitý provoz všech služeb a téměř okamžité vykazování transakcí. Klienti jsou vždy nervózní, když se jim někde povalují peníze. A klient, který je nervózní z peněz, je vždy známkou potíží.
Několik měsíců po neúspěchu v TSB (do té doby generální ředitel banky rezignoval), finanční regulátoři Spojeného království a Bank of England k diskusi o otázkách provozní udržitelnosti. Pokusili se tedy nastolit otázku, jak hluboko banky zašly ve snaze o inovace a zda mohou zaručit stabilní fungování systému, který nyní mají.
Dokument také navrhoval změny legislativy. Šlo o to, aby lidé ve společnosti byli zodpovědní za to, co se pokazí v IT systémech této společnosti. Britští poslanci to vysvětlili takto: „Když jste osobně odpovědní a můžete zkrachovat nebo jít do vězení, výrazně to změní přístup k práci, včetně zvýšení množství času věnovaného otázce spolehlivosti a bezpečnosti.
Výsledky
Každá aktualizace a oprava se týká řízení rizik, zvláště pokud jde o stovky milionů dolarů. Koneckonců, pokud se něco pokazí, může to být nákladné z hlediska peněz a pověsti. Zdálo by se, že věci jsou samozřejmé. A selhání banky během migrace je mělo hodně naučit.
Měl. Ale on mě to nenaučil. V listopadu 2019 „potěšila“ společnost TSB, která opět dosáhla ziskovosti a pomalu si zlepšovala pověst v oblasti informačních technologií. Druhá rána bance znamenala, že bude nucena v roce 82 zavřít 2020 poboček, aby snížila své náklady. Nebo prostě nemohl šetřit na IT specialistech.
Lakomost s IT nakonec něco stojí. TSB vykázala ztrátu 134 milionů $ v roce 2018 ve srovnání se ziskem 206 milionů $ v roce 2017. Náklady po migraci, včetně kompenzací pro zákazníky, nápravy podvodných transakcí (které během bankovního chaosu prudce vzrostly) a pomoci třetích stran, činily 419 milionů dolarů. Poskytovateli IT banky bylo také účtováno 194 milionů dolarů za jeho roli v krizi.
Bez ohledu na to, jaká ponaučení z krachu banky TSB se však poučila, k výpadkům stále dojde. Jsou nevyhnutelné. Ale s testováním a dobrým kódem lze pády a prostoje výrazně snížit. Cloud4Y, který často pomáhá velkým společnostem migrovat na cloudovou infrastrukturu, chápe důležitost rychlého přechodu z jednoho systému na druhý. Můžeme tedy provést zátěžové testování a použít víceúrovňový zálohovací systém, stejně jako další možnosti, které vám umožní zkontrolovat vše možné před zahájením migrace.
Co dalšího si můžete přečíst na blogu?
→
→
→
→
→
Přihlaste se k odběru -kanál, aby vám neunikl další článek! Píšeme maximálně dvakrát týdně a pouze služebně.
Zdroj: www.habr.com