Neuspješna migracija IT infrastrukture rezultirala je oštećenjem 1,3 milijarde zapisa o klijentima banaka. Sve je to zbog nedovoljnog testiranja i neozbiljnog odnosa prema složenim informatičkim sustavima. Cloud4Y govori kako se to dogodilo.
U 2018. engleski shvatio da je njegov dvogodišnji “razvod” s bankarskom grupom Lloyds (obje tvrtke spojene 1995.) preskup. TSB je još uvijek bio povezan sa svojim bivšim partnerom putem na brzinu kloniranih Lloydsovih IT sustava. Što je najgore, banka je morala platiti "alimentaciju", godišnju naknadu od 127 milijuna dolara za licenciranje.
Malo tko voli plaćati novac svojim bivšima, pa je 22. travnja 2018. u 18 sati TSB započeo završnu fazu 00-mjesečnog plana koji je trebao sve promijeniti. Bilo je planirano prebacivanje milijardi podataka o klijentima u IT sustav španjolske tvrtke Banco Sabadell, koja je kupila TSB za 18 milijarde dolara još 2,2. godine.
Izvršni direktor Banco Sabadell José Olu govorio je o nadolazećem događaju 2 tjedna prije Božića 2017. tijekom svečanog sastanka osoblja u prestižnoj konferencijskoj dvorani u Barceloni. Najvažniji alat za migraciju trebala je biti nova verzija sustava koju je razvila Banco Sabadell: Proteo. Čak je preimenovan u Proteo4UK posebno za TSB migracijski projekt.
Na predstavljanju Proteo4UK izvršni direktor Banco Sabadell Jaime Guardiola Romojaro pohvalio se da je novi sustav veliki projekt koji nema analoga u Europi, a na kojem je radilo više od 1000 stručnjaka. I da će njegova implementacija značajno potaknuti rast Banco Sabadell u Ujedinjenom Kraljevstvu.
22. travnja 2018. određen je kao dan migracije. Bila je tiha nedjeljna večer usred proljeća. Informatički sustavi banke bili su u prekidu jer su se zapisi prenosili iz jednog sustava u drugi. Budući da je javni pristup bankovnim računima ponovno uspostavljen kasno u nedjelju, moglo bi se očekivati da će se banka polako i glatko vratiti u rad.
No, dok su Olyu i Guardiola Romojaro s pozornice veselo prenosili o provedbi projekta Proteo4UK, zaposlenici odgovorni za proces migracije bili su vrlo nervozni. Projekt, za koji je trebalo 18 mjeseci da se dovrši, ozbiljno je kasnio s rasporedom i premašio proračun. Nije bilo vremena za dodatne testove. Ali prijenos svih podataka tvrtke (koji su, zapamtite, milijarde zapisa) u drugi sustav je Herkulov zadatak.
Pokazalo se da su inženjeri bili nervozni s razlogom.
Zaglavak na stranici koji su kupci vidjeli predugo
20 minuta nakon što je TSB otvorio pristup računima, potpuno uvjeren da je migracija prošla glatko, stigla su prva izvješća o problemima.
Narodna ušteđevina odjednom je nestala s računa. Kupnje beznačajnih iznosa greškom su knjižene kao višetisućnički troškovi. Neki ljudi su se prijavili na svoje osobne račune i nisu vidjeli svoje bankovne račune, već račune potpuno drugih ljudi.
U 21:00 predstavnici TSB-a obavijestili su lokalnog financijskog regulatora (UK Financial Conduct Authority, FCA) da je banka u problemima. Ali FCA je već primijetila: TSB je stvarno gadno zeznuo, a kupci su ispali budalama. I, naravno, počeli su se žaliti (a u današnje vrijeme ispuštanje nekoliko redaka na Twitteru ili Facebooku nije osobito teško). U 23:30 FCA je kontaktirao još jedan financijski regulator, Prudential Regulation Authority (PRA), koji je također osjetio da nešto nije u redu.
Već duboko iza ponoći uspjeli su dobiti jednog od predstavnika banke. I postaviti im jedino pitanje: "Što se dovraga događa?"
Trebalo je vremena da shvatimo razmjere tragedije, ali sada znamo da je tijekom migracije oštećeno 1,3 milijarde zapisa 5,4 milijuna korisnika. Najmanje tjedan dana klijenti nisu mogli upravljati svojim novcem sa svojih računala ili mobilnih uređaja. Nisu mogli plaćati kredit, a mnogi klijenti banke dobili su mrlju na kreditnoj povijesti, ali i zakasninu.
Ovako je izgledala TSB klijentska online banka
Kad su se kvarovi počeli pojavljivati, gotovo odmah nakon toga, predstavnici banke inzistirali su da su problemi "povremeni". Tri dana kasnije izdano je priopćenje da su svi sustavi normalni. Ali kupci su i dalje prijavljivali probleme. Tek 26. travnja 2018. glavni izvršni direktor banke, Paul Pester, priznao je da je TSB "na koljenima" jer bankina IT infrastruktura i dalje ima "problem s propusnošću" koji sprječava oko milijun klijenata da pristupe uslugama internetskog bankarstva.
Dva tjedna nakon migracije, prijavljeno je da aplikacija za internetsko bankarstvo još uvijek ima interne pogreške povezane sa SQL bazom podataka.
Poteškoće s plaćanjem, osobito poslovnih i hipotekarnih računa, nastavile su se i do četiri tjedna. A sveprisutni novinari doznali su da je TSB na samom početku migracijske krize odbio ponudu pomoći Lloyds Banking Group. Općenito, problemi povezani s prijavom na internetske usluge i mogućnošću prijenosa novca uočeni su do 3. rujna.
Malo povijesti
Prvi bankomat otvoren je 27. lipnja 1967. u blizini Barclaysa u Enfieldu
Bankarski IT sustavi postaju sve složeniji kako potrebe klijenata i očekivanja od banke rastu. Prije otprilike 40-60 godina, rado bismo posjetili našu lokalnu poslovnicu banke tijekom radnog vremena kako bismo položili gotovinu ili je podigli putem šaltera.
Iznos novca na računu bio je izravno povezan s gotovinom i kovanicama koje smo dali banci. Naše kućno računovodstvo moglo se pratiti olovkom i papirom, a računalni sustavi nisu bili dostupni klijentima. Zaposlenici banke stavljali su podatke s knjižica i drugih medija u uređaje koji su brojali novac.
Ali 1967. prvi put u sjevernom Londonu bankomat koji se nije nalazio u prostorijama banke. I ovaj je događaj promijenio bankarstvo. Pogodnost za korisnike postala je mjerilo za razvoj financijskih institucija. A to je pomoglo bankama da postanu sofisticiranije u smislu rada s klijentima i njihovim novcem. Uostalom, dok su računalni sustavi bili dostupni samo zaposlenicima banaka, oni su se zadovoljili starim, “papirnatim” načinom interakcije s klijentima. Tek je pojavom bankomata, a potom i internetskog bankarstva, šira javnost dobila izravan pristup bankovnim IT sustavima.
Bankomati su bili samo početak. Ubrzo su ljudi mogli izbjeći red na blagajni jednostavnim telefonskim pozivom u banku. Za to su bile potrebne posebne kartice umetnute u čitač koji može dešifrirati dvotonske višefrekvencijske (DTMF) signale koji se emitiraju kada korisnik pritisne tipku "1" (podizanje novca) ili "2" (uplata sredstava).
Internet i mobilno bankarstvo približili su korisnicima temeljne sustave koji pokreću banke. Unatoč njihovim različitim ograničenjima i postavkama, svi ovi sustavi moraju učinkovito komunicirati jedni s drugima i s glavnim računalom, obavljajući provjere stanja računa, vršeći prijenose novca i tako dalje.
Malo klijenata razmišlja o tome koliko je složen put informacija kada se, primjerice, prijavite u internetsku banku kako biste vidjeli ili ažurirali podatke o novcu na svom računu. Kada se prijavite, ovi podaci prolaze kroz skup poslužitelja; kada izvršite transakciju, sustav duplicira te podatke u pozadinskoj infrastrukturi, koja zatim obavlja težak posao—prebacuje novac s jednog računa na drugi radi plaćanja računa, plaćanja i nastavak pretplata.
Sada pomnožite ovaj proces s nekoliko milijardi. Prema podacima koje je prikupila Svjetska banka uz pomoć Zaklade Billa i Melinde Gates, odrasli diljem svijeta imaju bankovni račun. Svatko od ovih ljudi mora platiti račune. Netko plaća hipoteku ili transferira novac za dječje klubove, netko plaća pretplatu na Netflix ili najam cloud servera. I svi ti ljudi koriste više od jedne banke.
Brojni interni IT sustavi jedne banke (mobilno bankarstvo, bankomati itd.) ne smiju jednostavno međusobno komunicirati. Moraju komunicirati s drugim bankarskim sustavima u Brazilu, Kini i Njemačkoj. Francuski bankomat trebao bi moći izdati novac koji se nalazi na bankovnoj kartici izdanoj negdje u Boliviji.
Novac je oduvijek bio globalan, ali nikada prije sustav nije bio tako složen. Broj načina korištenja bankovnih IT sustava je sve veći, ali stari načini su još uvijek u uporabi. Uspjeh banke uvelike ovisi o tome koliko je njezina informatička infrastruktura “održiva” i koliko se učinkovito banka može nositi s iznenadnim kvarom zbog kojeg će sustav biti u stanju mirovanja.
Nema testova - pripremite se za probleme
Izvršni direktor Banco de Sabadell Jaime Guardiola (lijevo) bio je uvjeren da će sve proći glatko. Nije uspjelo.
TSB-ovi računalni sustavi nisu bili dobri u brzom rješavanju problema. Bilo je, naravno, softverskih propusta, no u stvarnosti je banka “pukla” zbog prevelike složenosti informatičkih sustava. Prema izvješću, koje je pripremljeno u ranim danima masovnog prekida rada, "kombinacija novih aplikacija, povećana upotreba mikroservisa u kombinaciji s upotrebom dva aktivna/aktivna podatkovna centra doveli su do složenog rizika u proizvodnji."
Neke banke, poput HSBC-a, djeluju globalno i stoga imaju vrlo složene, međusobno povezane sustave. Ali oni se redovito testiraju, migriraju i ažuriraju, prema jednom IT menadžeru HSBC-a u Lancasteru. On vidi HSBC kao model kako bi druge banke trebale upravljati svojim IT sustavima: posvećujući osoblje i trošeći njihovo vrijeme. No, istodobno priznaje da je za manju banku, pogotovo onu koja nema iskustva s migracijom, vrlo težak zadatak učiniti to ispravno.
Migracija TSB-a bila je teška. I, prema riječima stručnjaka, osoblje banke jednostavno ne može doseći ovu razinu složenosti u smislu kvalifikacija. Osim toga, nisu se niti potrudili provjeriti svoje rješenje ili testirati migraciju unaprijed.
Tijekom govora u britanskom parlamentu o bankarskim problemima, Andrew Bailey, izvršni direktor FCA-e, potvrdio je tu sumnju. Loš kod vjerojatno je uzrokovao samo početne probleme u TSB-u, ali međusobno povezani sustavi globalne financijske mreže značili su da su se njegove pogreške nastavile i nepovratne. Banka je nastavila viđati neočekivane pogreške drugdje u svojoj IT arhitekturi. Kupci su primali poruke koje su bile besmislene ili nepovezane s njihovim problemima.
Regresijsko testiranje moglo bi spriječiti katastrofu hvatanjem lošeg koda prije nego što je pušten u proizvodnju i uzrokovalo bi štetu stvaranjem grešaka koje se ne bi mogle vratiti. Ali banka je odlučila proći kroz minsko polje za koje nije ni znala. Posljedice su bile predvidljive. Drugi problem bila je “optimizacija” troškova. Kako se manifestirao? Činjenica je da je prethodno odlučeno da se uklone sigurnosne kopije pohranjene u Lloydsu, jer su "pojele" previše novca.
Britanske banke (a i druge) nastoje postići razinu dostupnosti četiri devetke, odnosno 99,99%. U praksi to znači da IT sustav mora biti dostupan u svakom trenutku, s do 52 minute zastoja godišnje. Sustav “tri devetke”, 99,9%, na prvi se pogled ne razlikuje puno. Ali u stvarnosti to znači da zastoj doseže 8 sati godišnje. Za banku su “četiri devetke” dobre, ali “tri devetke” nisu.
Ali svaki put kada tvrtka napravi promjene u svojoj IT infrastrukturi, preuzima rizik. Uostalom, nešto može poći po zlu. Smanjenje promjena može pomoći u izbjegavanju problema, dok potrebne promjene zahtijevaju pažljivo testiranje. I britanski regulatori usmjerili su svoju pozornost na ovu točku.
Možda je najlakši način da izbjegnete zastoj da jednostavno napravite manje promjena. Ali svaka banka, kao i svaka druga tvrtka, prisiljena je uvoditi sve više korisnih značajki za klijente i vlastito poslovanje kako bi ostala konkurentna. Istovremeno, banke su i dalje dužne brinuti o svojim klijentima, štiteći njihovu štednju i osobne podatke, pružajući ugodne uvjete za korištenje usluga. Ispostavilo se da su organizacije prisiljene trošiti mnogo vremena i novca na održavanje ispravnosti svoje IT infrastrukture, dok istovremeno nude nove usluge.
Broj prijavljenih tehnoloških kvarova u sektoru financijskih usluga u Ujedinjenom Kraljevstvu povećao se za 187 posto između 2017. i 2018., prema podacima koje je objavila Uprava za financijsko ponašanje Ujedinjenog Kraljevstva. Najčešće su uzrok kvarova problemi u radu nove funkcionalnosti. Pritom je bankama ključno osigurati stalan nesmetan rad svih usluga i gotovo trenutnu prijavu transakcija. Klijenti su uvijek nervozni kad im novac negdje visi. A klijent koji je nervozan zbog novca uvijek je znak nevolje.
Nekoliko mjeseci nakon neuspjeha u TSB-u (do kada je izvršni direktor banke dao ostavku), britanski financijski regulatori i Bank of England za raspravu o pitanjima operativne održivosti. Stoga su pokušali postaviti pitanje koliko su banke duboko otišle u potrazi za inovacijama i mogu li jamčiti stabilan rad sustava koji sada imaju.
Dokument također predlaže izmjene zakona. Radilo se o držanju ljudi unutar tvrtke odgovornima za ono što pođe po zlu u IT sustavima te tvrtke. Britanski parlamentarci su to objasnili na sljedeći način: "Kada ste osobno odgovorni, a možete bankrotirati ili otići u zatvor, to će uvelike promijeniti odnos prema poslu, uključujući i povećanje količine vremena posvećenog pitanju pouzdanosti i sigurnosti."
Rezultati
Svako ažuriranje i zakrpa svodi se na upravljanje rizikom, posebno kada su uključene stotine milijuna dolara. Uostalom, ako nešto pođe po zlu, to može biti skupo u smislu novca i ugleda. Čini se očite stvari. A propast banke tijekom migracije trebala ih je puno toga naučiti.
imao. Ali on me nije naučio. U studenom 2019. TSB, koji je ponovno ostvario profitabilnost i polako popravljao reputaciju, “oduševio” je kupce u području informacijske tehnologije. Drugi udarac za banku značio je da će biti prisiljena zatvoriti 82 poslovnice u 2020. kako bi smanjila svoje troškove. Ili jednostavno nije mogao štedjeti na IT stručnjacima.
Škrtost s IT-om u konačnici ima svoju cijenu. TSB je izvijestio o gubitku od 134 milijuna dolara u 2018., u usporedbi s dobiti od 206 milijuna dolara u 2017. godini. Troškovi nakon migracije, uključujući naknade klijentima, ispravljanje lažnih transakcija (koje su naglo porasle tijekom bankovnog kaosa) i pomoć treće strane, iznosili su ukupno 419 milijuna USD. Bančinom IT pružatelju također je naplaćeno 194 milijuna dolara za njegovu ulogu u krizi.
Međutim, bez obzira na pouke iz propasti banke TSB, poremećaji će se i dalje događati. One su neizbježne. Ali uz testiranje i dobar kod, rušenja i zastoji mogu se znatno smanjiti. Cloud4Y, koji često pomaže velikim tvrtkama migrirati na infrastrukturu oblaka, razumije važnost brzog prelaska s jednog sustava na drugi. Stoga možemo provesti testiranje opterećenja i koristiti sustav sigurnosne kopije na više razina, kao i druge opcije koje vam omogućuju da provjerite sve što je moguće prije pokretanja migracije.
Što još možete pročitati na blogu?
→
→
→
→
→
Pretplatite se na naš -kanal, kako ne biste propustili sljedeći članak! Pišemo ne više od dva puta tjedno i samo poslovno.
Izvor: www.habr.com