Neuspješna migracija IT infrastrukture rezultirala je korupcijom 1,3 milijarde bankarskih podataka o klijentima. Sve to zbog nedovoljnog testiranja i neozbiljnog odnosa prema složenim IT sistemima. Cloud4Y govori kako se to dogodilo.
U 2018. engleski shvatio da je njegov dvogodišnji "razvod" sa bankarskom grupom Lloyds (obje kompanije spojene 1995.) preskup. TSB je i dalje bio vezan za svog bivšeg partnera kroz na brzinu klonirane Lloyds IT sisteme. Najgore od svega, banka je morala da plati „alimentaciju“, godišnju naknadu za licencu od 127 miliona dolara.
Malo ko voli da plaća novac svojim bivšim, pa je 22. aprila 2018. u 18:00 TSB započeo završnu fazu 18-mesečnog plana koji je trebalo da promeni sve. Planirano je da se milijarde podataka o korisnicima prenesu u IT sistem španske kompanije Banco Sabadell, koja je kupila TSB za 2,2 milijarde dolara još 2015. godine.
Izvršni direktor Banco Sabadell José Olu govorio je o predstojećem događaju 2 sedmice prije Božića 2017. tokom svečanog sastanka osoblja u prestižnoj konferencijskoj dvorani u Barseloni. Najvažniji alat za migraciju trebala je biti nova verzija sistema koju je razvio Banco Sabadell: Proteo. Čak je preimenovan u Proteo4UK posebno za TSB projekat migracije.
Na predstavljanju Proteo4UK, izvršni direktor Banco Sabadell Jaime Guardiola Romojaro pohvalio se da je novi sistem veliki projekat koji nema analoga u Evropi, na kojem je radilo preko 1000 stručnjaka. I da će njegova implementacija pružiti značajan poticaj rastu Banco Sabadell u Velikoj Britaniji.
22. april 2018. određen je kao dan migracije. Bila je tiha nedjelja uveče sredinom proljeća. IT sistemi banke su bili u kvaru jer su se zapisi prenosili iz jednog sistema u drugi. S obzirom da je javni pristup bankovnim računima obnovljen kasno u nedjelju, očekivalo bi se da će se banka polako i glatko vratiti u rad.
No, dok su Olyu i Guardiola Romojaro radosno prenosili sa bine implementaciju projekta Proteo4UK, zaposlenici odgovorni za proces migracije bili su vrlo nervozni. Projekat, čiji je završetak bilo potrebno 18 mjeseci, ozbiljno je kasnio i premašio budžet. Nije bilo vremena za sprovođenje dodatnih testova. Ali prenošenje svih podataka kompanije (a to su, zapamtite, milijarde zapisa) na drugi sistem je herkulovski zadatak.
Ispostavilo se da su inženjeri bili nervozni s dobrim razlogom.
Zaglavak na stranici koji su kupci predugo vidjeli
20 minuta nakon što je TSB otvorio pristup računima, potpuno uvjereni da je migracija protekla bez problema, stigle su prve prijave o problemima.
Ljudska ušteđevina iznenada je nestala sa njihovih računa. Kupovine beznačajnih iznosa pogrešno su evidentirane kao rashodi od više hiljada dolara. Neki ljudi su se ulogirali na svoje lične račune i vidjeli ne svoje bankovne račune, već račune potpuno drugih ljudi.
U 21:00, predstavnici TSB-a su obavijestili lokalnog finansijskog regulatora (Upravu za finansijsko ponašanje Velike Britanije, FCA) da je banka u problemu. Ali FCA je već primijetila: TSB je stvarno jako zeznuo, a kupci su napravljeni budale. I, naravno, počeli su da se žale (a danas, izbaciti nekoliko redaka na Twitter ili Facebook nije posebno teško). U 23:30, FCA je kontaktirao drugi finansijski regulator, Agencija za prudencialnu regulativu (PRA), koja je također osjetila da nešto nije u redu.
Već dosta iza ponoći uspjeli su doći do jednog od predstavnika banke. I postavite im jedino pitanje: "šta se dođavola dešava?"
Trebalo je vremena da shvatimo razmjere tragedije, ali sada znamo da je 1,3 milijarde zapisa o 5,4 miliona korisnika oštećeno tokom migracije. Najmanje nedelju dana klijenti nisu mogli da upravljaju svojim novcem sa svojih računara ili mobilnih uređaja. Nisu bili u mogućnosti da otplate kredit, a mnogi klijenti banaka su dobili mrlju na svojoj kreditnoj istoriji, kao i naknade za kašnjenje.
Ovako je izgledala TSB klijentska online banka
Kada su se kvarovi počeli pojavljivati, gotovo odmah nakon toga, predstavnici banke su insistirali da su problemi "povremeni". Tri dana kasnije izdato je saopštenje da su svi sistemi normalni. Ali kupci su i dalje prijavljivali probleme. Tek 26. aprila 2018. izvršni direktor banke, Paul Pester, priznao je da je TSB "na koljenima" jer je IT infrastruktura banke i dalje imala "problem sa propusnim opsegom" koji sprečava oko milion klijenata da pristupe uslugama internetskog bankarstva.
Dvije sedmice nakon migracije, prijavljeno je da aplikacija za online bankarstvo još uvijek ima interne greške vezane za SQL bazu podataka.
Poteškoće s plaćanjem, posebno sa poslovnim i hipotekarnim računima, nastavile su se i do četiri sedmice. A sveprisutni novinari su saznali da je TSB na samom početku migracione krize odbio ponudu za pomoć Lloyds Banking Group. Općenito, problemi povezani s prijavom na online usluge i mogućnošću prijenosa novca uočeni su do 3. septembra.
Malo istorije
Prvi bankomat otvoren je 27. juna 1967. u blizini Barclaysa u Enfieldu
Bankarski IT sistemi postaju sve složeniji kako se potrebe klijenata i očekivanja od banke povećavaju. Prije otprilike 40-60 godina, rado bismo posjetili našu lokalnu filijalu banke tokom radnog vremena da uplatimo gotovinu ili je podignemo na blagajni.
Količina novca na računu bila je u direktnoj vezi sa gotovinom i kovanicama koje smo dali banci. Naše kućno računovodstvo moglo se pratiti olovkom i papirom, a kompjuterski sistemi nisu bili dostupni klijentima. Uposlenici banke stavljali su podatke iz knjižica i drugih medija u uređaje koji su brojali novac.
Ali 1967. u sjevernom Londonu po prvi put bankomat koji se nije nalazio u prostorijama banke. I ovaj događaj je promijenio bankarstvo. Pogodnost korisnika postala je mjerilo za razvoj finansijskih institucija. A to je pomoglo bankama da postanu sofisticiranije u pogledu rada sa klijentima i njihovim novcem. Uostalom, dok su kompjuterski sistemi bili dostupni samo zaposlenima u bankama, oni su bili zadovoljni starim, „papirnatim“ načinom interakcije sa klijentima. Tek s pojavom bankomata, a potom i online bankarstva, šira javnost je dobila direktan pristup bankarskim IT sistemima.
Bankomati su bili samo početak. Ubrzo su ljudi mogli izbjeći red na kasi jednostavnim telefonskim pozivom u banku. Za to su bile potrebne posebne kartice umetnute u čitač koji je sposoban da dešifruje dvotonske višefrekventne (DTMF) signale koji se prenose kada korisnik pritisne tipku “1” (podići novac) ili “2” (uplatiti sredstva).
Internet i mobilno bankarstvo približili su klijente osnovnim sistemima koji pokreću banke. Uprkos različitim ograničenjima i postavkama, svi ovi sistemi moraju djelotvorno komunicirati jedni s drugima i sa glavnim računarom, vršeći provjere stanja računa, vršeći transfere novca itd.
Malo klijenata razmišlja o tome koliko je složen put informacija kada se, na primjer, prijavite u online banku da biste vidjeli ili ažurirali informacije o novcu na svom računu. Kada se prijavite, ovi podaci se prosleđuju kroz skup servera; kada izvršite transakciju, sistem duplira ove podatke u pozadinskoj infrastrukturi, koja onda obavlja težak posao – prenosi novac sa jednog računa na drugi za plaćanje računa, plaćanja i nastavak pretplate.
Sada pomnožite ovaj proces sa nekoliko milijardi. Prema podacima koje je prikupila Svjetska banka uz pomoć Bill and Melinda Gates Foundation, odrasli širom svijeta imaju bankovni račun. Svaki od ovih ljudi mora platiti račune. Neko plaća hipoteku ili prenosi novac za dječje klubove, neko plaća pretplatu na Netflix ili iznajmljivanje cloud servera. I svi ti ljudi koriste više od jedne banke.
Brojni interni IT sistemi jedne banke (mobilno bankarstvo, bankomati itd.) ne smiju jednostavno međusobno komunicirati. Oni moraju da komuniciraju sa drugim bankarskim sistemima u Brazilu, Kini i Nemačkoj. Francuski bankomat bi trebao biti u mogućnosti da izda novac koji se nalazi na bankovnoj kartici izdatoj negdje u Boliviji.
Novac je oduvijek bio globalan, ali nikada prije sistem nije bio tako složen. Broj načina korištenja bankovnih IT sistema se povećava, ali stari načini su i dalje u upotrebi. Uspeh banke u velikoj meri zavisi od toga koliko je „održiva“ njena IT infrastruktura i koliko efikasno banka može da se nosi sa iznenadnim kvarom zbog kojeg će sistem biti u stanju mirovanja.
Bez testova - pripremite se za probleme
Izvršni direktor Banco de Sabadell Jaime Guardiola (lijevo) bio je uvjeren da će sve proći glatko. Nije išlo.
TSB-ovi kompjuterski sistemi nisu bili baš dobri u brzom rješavanju problema. Bilo je, naravno, softverskih kvarova, ali u stvarnosti je banka „pukla“ zbog prevelike složenosti njenih IT sistema. Prema izvještaju, koji je pripremljen u ranim danima masovnog prekida rada, "kombinacija novih aplikacija, povećana upotreba mikroservisa u kombinaciji s korištenjem dva Active/Active data centra dovela je do složenog rizika u proizvodnji."
Neke banke, kao što je HSBC, posluju globalno i stoga imaju veoma složene, međusobno povezane sisteme. Ali oni se redovno testiraju, migriraju i ažuriraju, kaže jedan IT menadžer HSBC-a u Lancasteru. On vidi HSBC kao model za to kako druge banke trebaju upravljati svojim IT sistemima: posvećujući osoblje i trošenje njihovog vremena. Ali istovremeno priznaje da je za manju banku, posebno onu koja nema iskustva u migraciji, to učiniti na pravi način veoma težak zadatak.
Migracija TSB-a je bila teška. A, prema mišljenju stručnjaka, osoblje banke jednostavno ne bi moglo dostići ovaj nivo složenosti u smislu kvalifikacija. Osim toga, nisu se ni potrudili unaprijed provjeriti svoje rješenje ili testirati migraciju.
Tokom govora u britanskom parlamentu o bankarskim problemima, Andrew Bailey, izvršni direktor FCA, potvrdio je ovu sumnju. Loš kod je vjerovatno uzrokovao samo početne probleme u TSB-u, ali međusobno povezani sistemi globalne finansijske mreže značili su da su njegove greške bile trajne i nepovratne. Banka je nastavila da viđa neočekivane greške na drugim mestima u svojoj IT arhitekturi. Korisnici su dobijali poruke koje su bile besmislene ili nisu bile povezane sa njihovim problemima.
Regresijsko testiranje bi moglo pomoći u sprečavanju katastrofe hvatanjem lošeg koda prije nego što je pušten u proizvodnju i prouzročilo štetu stvaranjem grešaka koje se ne mogu vratiti. Ali banka je odlučila proći kroz minsko polje za koje nije ni znala. Posljedice su bile predvidive. Drugi problem je bila “optimizacija” troškova. Kako se to manifestovalo? Činjenica je da je ranije odlučeno da se ukinu rezervne kopije pohranjene u Lloyds-u, jer su „pojele“ previše novca.
Britanske banke (i druge) nastoje da postignu nivo raspoloživosti četiri devetke, odnosno 99,99%. U praksi, to znači da IT sistem mora biti dostupan u svakom trenutku, sa do 52 minuta zastoja godišnje. Sistem „tri devetke“, 99,9%, na prvi pogled se ne razlikuje mnogo. Ali u stvarnosti to znači da zastoji dostižu 8 sati godišnje. Za banku je “četiri devetke” dobro, ali “tri devetke” nije.
Ali svaki put kada kompanija napravi promjene u svojoj IT infrastrukturi, ona preuzima rizike. Uostalom, nešto može poći po zlu. Smanjenje promjena može pomoći u izbjegavanju problema, dok potrebne promjene zahtijevaju pažljivo testiranje. Britanski regulatori su svoju pažnju usmjerili na ovu tačku.
Možda je najlakši način da izbjegnete zastoje da jednostavno napravite manje promjena. Ali svaka banka, kao i svaka druga kompanija, prinuđena je da uvodi sve više korisnih funkcija za klijente i svoje poslovanje kako bi ostala konkurentna. Istovremeno, banke su i dalje u obavezi da brinu o svojim klijentima, štiteći njihovu štednju i lične podatke, obezbeđujući ugodne uslove za korišćenje usluga. Ispostavilo se da su organizacije prinuđene da troše mnogo vremena i novca na održavanje zdravlja svoje IT infrastrukture, dok istovremeno nude nove usluge.
Broj prijavljenih tehnoloških kvarova u sektoru finansijskih usluga u Velikoj Britaniji porastao je za 187 posto između 2017. i 2018. godine, prema podacima koje je objavila britanska Uprava za finansijsko ponašanje. Najčešće su uzrok kvarova problemi u radu nove funkcionalnosti. Istovremeno, za banke je od ključnog značaja da obezbede konstantan nesmetan rad svih usluga i gotovo trenutno izveštavanje o transakcijama. Klijenti su uvijek nervozni kada im novac negdje visi. A klijent koji je nervozan zbog novca je uvijek znak nevolje.
Nekoliko mjeseci nakon neuspjeha u TSB-u (do tada je izvršni direktor banke dao ostavku), britanski finansijski regulatori i Banka Engleske za raspravu o pitanjima operativne održivosti. Tako su pokušali da postave pitanje koliko su banke duboko otišle u potrazi za inovacijama i da li mogu da garantuju stabilan rad sistema koji sada imaju.
U dokumentu su također predložene izmjene zakona. Radilo se o tome da ljudi unutar kompanije budu odgovorni za ono što pođe po zlu u IT sistemima te kompanije. Britanski parlamentarci su to objasnili ovako: “Kada ste lično odgovorni, a možete bankrotirati ili otići u zatvor, to će uvelike promijeniti odnos prema poslu, uključujući povećanje količine vremena posvećenog pitanju pouzdanosti i sigurnosti.”
Ishodi
Svako ažuriranje i zakrpa se svode na upravljanje rizikom, posebno kada su u pitanju stotine miliona dolara. Uostalom, ako nešto krene po zlu, to može biti skupo u smislu novca i reputacije. Činilo bi se očiglednim stvarima. A neuspjeh banke tokom migracije trebao ih je mnogo naučiti.
Had. Ali on me nije naučio. U novembru 2019. godine TSB, koji je ponovo ostvario profitabilnost i polako popravljao svoju reputaciju, „oduševio“ je kupce u oblasti informacionih tehnologija. Drugi udar na banku značio je da će biti primorana da zatvori 82 filijale 2020. kako bi smanjila svoje troškove. Ili jednostavno nije mogao uštedjeti na IT stručnjacima.
Škrtost sa IT-om na kraju ima cijenu. TSB je prijavio gubitak od 134 miliona dolara u 2018, u poređenju sa profitom od 206 miliona dolara u 2017. Troškovi nakon migracije, uključujući kompenzaciju klijentima, ispravljanje lažnih transakcija (koje su naglo porasle tokom bankarskog haosa) i pomoć treće strane, iznosili su 419 miliona dolara. IT provajderu banke je takođe naplaćeno 194 miliona dolara za svoju ulogu u krizi.
Međutim, bez obzira na pouke iz propasti TSB banke, poremećaji će i dalje biti. Oni su neizbežni. Ali uz testiranje i dobar kod, rušenja i zastoji mogu se znatno smanjiti. Cloud4Y, koji često pomaže velikim kompanijama da migriraju na infrastrukturu oblaka, razumije važnost brzog prelaska s jednog sistema na drugi. Stoga možemo provesti testiranje opterećenja i koristiti višeslojni backup sistem, kao i druge opcije koje vam omogućavaju da provjerite sve što je moguće prije početka migracije.
Šta još možete pročitati na blogu?
→
→
→
→
→
Pretplatite se na naše -kanal, da ne propustite sljedeći članak! Pišemo ne više od dva puta sedmično i samo poslovno.
izvor: www.habr.com