Kā banka cieta neveiksmi?

Kā banka cieta neveiksmi?

NeveiksmÄ«gas IT infrastruktÅ«ras migrācijas rezultātā tika sabojāti 1,3 miljardi banku klientu ierakstu. Tas viss bija saistÄ«ts ar nepietiekamu testÄ“Å”anu un vieglprātÄ«gu attieksmi pret sarežģītām IT sistēmām. Cloud4Y stāsta, kā tas notika.

2018. gadā angļu valodā TSB banka saprata, ka viņa divus gadus vecā ā€œÅ”Ä·irÅ”anāsā€ ar Lloyds banku grupu (abi uzņēmumi tika apvienoti 1995. gadā) bija pārāk dārga. TSB joprojām bija saistÄ«ts ar savu bijuÅ”o partneri, izmantojot steigā klonētas Lloyds IT sistēmas. Sliktākais, ka bankai bija jāmaksā "alimenti", 127 miljonu ASV dolāru gada licences maksa.

Tikai dažiem cilvēkiem patÄ«k maksāt naudu saviem bijuÅ”ajiem, tāpēc 22. gada 2018. aprÄ«lÄ« pulksten 18:00 TSB sāka pēdējo 18 mēneÅ”u plāna posmu, kam vajadzēja visu mainÄ«t. Bija plānots miljardiem klientu ierakstu pārsÅ«tÄ«t uz Spānijas uzņēmuma Banco Sabadell IT sistēmu, kas vēl 2,2. gadā iegādājās TSB par 2015 miljardiem dolāru.

Banco Sabadell izpilddirektors Hosē Olu runāja par gaidāmo pasākumu 2 nedēļas pirms 2017. gada Ziemassvētkiem svinÄ«gā personāla sanāksmē prestižā konferenču zālē Barselonā. VissvarÄ«gākais migrācijas rÄ«ks bija Banco Sabadell izstrādātā jaunā sistēmas versija: Proteo. Tas pat tika pārdēvēts par Proteo4UK Ä«paÅ”i TSB migrācijas projektam.

Proteo4UK prezentācijā Banco Sabadell izpilddirektors Džeimss Gvardiola Romojaro lepojās, ka jaunā sistēma ir liela mēroga projekts, kam Eiropā nav analogu un pie kura strādāja vairāk nekā 1000 speciālistu. Un ka tā ievieÅ”ana ievērojami veicinās Banco Sabadell izaugsmi Apvienotajā Karalistē.

22. gada 2018. aprīlis tika noteikts kā migrācijas diena. Bija kluss pavasara vidus svētdienas vakars. Bankas IT sistēmas nedarbojās, jo ieraksti tika pārsūtīti no vienas sistēmas uz otru. Tā kā svētdien vēlu vakarā tika atjaunota publiska piekļuve banku kontiem, varētu sagaidīt, ka banka lēnām un vienmērīgi atsāks darboties.

Bet, kamēr Olju un Gvardiola Romojaro no skatuves priecÄ«gi raidÄ«ja par Proteo4UK projekta Ä«stenoÅ”anu, par migrācijas procesu atbildÄ«gie darbinieki bija ļoti nervozi. Projekts, kura pabeigÅ”ana prasÄ«ja 18 mēneÅ”us, nopietni atpalika no grafika un pārsniedza budžetu. Nebija laika veikt papildu pārbaudes. Taču visu uzņēmuma datu (kas, atcerieties, ir miljardiem ierakstu) pārsÅ«tÄ«Å”ana uz citu sistēmu ir Herkules uzdevums.

Izrādījās, ka inženieri bija nervozi pamatota iemesla dēļ.

Kā banka cieta neveiksmi?
Vietnē esoÅ”s kļūda, ko klienti redzēja pārāk ilgi

20 minūtes pēc tam, kad TSB atvēra piekļuvi kontiem, būdams pilnībā pārliecināts, ka migrācija noritēja raiti, pienāca pirmie ziņojumi par problēmām.

Cilvēku ietaupÄ«jumi pēkŔņi pazuda no kontiem. NenozÄ«mÄ«gu summu pirkumi kļūdaini tika ierakstÄ«ti kā daudztÅ«kstoÅ” dolāru izdevumi. Daži cilvēki pieteicās savos personÄ«gajos kontos un redzēja nevis savus bankas kontus, bet gan pavisam citu cilvēku kontus.

21:00 TSB pārstāvji informēja vietējo finanÅ”u regulatoru (UK Financial Conduct Authority, FCA), ka bankai ir problēmas. Bet FCA jau ir pamanÄ«jusi: TSB patieŔām ir slikti sabojājies, un klienti ir padarÄ«ti par muļķiem. Un, protams, viņi sāka sÅ«dzēties sociālie tÄ«kli (un mÅ«sdienās nomest dažas rindiņas Twitter vai Facebook nav Ä«paÅ”i grÅ«ti). 23:30 ar FCA sazinājās cits finanÅ”u regulators ā€“ Prudential Regulation Authority (PRA), kas arÄ« uzskatÄ«ja, ka kaut kas nav kārtÄ«bā.

Jau krietni pēc pusnakts viņiem izdevās tikt cauri vienam no bankas pārstāvjiem. Un uzdodiet viņiem vienīgo jautājumu: "Kas pie velna notiek?"

Bija vajadzīgs laiks, lai saprastu traģēdijas mērogu, taču tagad mēs zinām, ka migrācijas laikā tika sabojāti 1,3 miljardi 5,4 miljonu klientu ierakstu. Vismaz nedēļu klienti nevarēja pārvaldīt savu naudu no datoriem vai mobilajām ierīcēm. Viņi nespēja samaksāt kredītu, un daudzi banku klienti saņēma traipu uz kredītvēsturi, kā arī kavējuma naudu.

Kā banka cieta neveiksmi?
Tā izskatījās TSB klientu internetbanka

Kad kļūmes sāka parādÄ«ties, gandrÄ«z uzreiz pēc tam, bankas pārstāvji uzstāja, ka problēmas ir "intermitējoÅ”as". TrÄ«s dienas vēlāk tika izdots paziņojums, ka visas sistēmas ir normālas. Taču klienti turpināja ziņot par problēmām. Tikai 26. gada 2018. aprÄ«lÄ« bankas izpilddirektors Pols Pesters atzina, ka TSB bija uz ceļiem, jo ā€‹ā€‹bankas IT infrastruktÅ«rā joprojām bija "joslas platuma problēma", kas neļāva aptuveni miljonam klientu piekļūt tieÅ”saistes banku pakalpojumiem.

Divas nedēļas pēc migrācijas joprojām tika ziņots, ka tieÅ”saistes bankas lietojumprogrammā ir iekŔējas kļūdas saistÄ«bā ar SQL datu bāzi.
Maksājumu grÅ«tÄ«bas, Ä«paÅ”i saistÄ«bā ar biznesa un hipotēkas rēķiniem, turpinājās lÄ«dz četrām nedēļām. Un visuresoÅ”ie žurnālisti uzzināja, ka TSB noraidÄ«ja Lloyds Banking Group palÄ«dzÄ«bas piedāvājumu jau paŔā migrācijas krÄ«zes sākumā. Kopumā problēmas, kas saistÄ«tas ar pieteikÅ”anos tieÅ”saistes servisos un iespēju pārskaitÄ«t naudu, tika novērotas lÄ«dz 3. septembrim.

Nedaudz vēstures

Kā banka cieta neveiksmi?
Pirmais bankomāts tika atvērts 27. gada 1967. jūnijā netālu no Barclays Enfīldā

Banku IT sistēmas kļūst arvien sarežģītākas, pieaugot klientu vajadzÄ«bām un cerÄ«bām no bankas. Apmēram pirms 40ā€“60 gadiem mēs bÅ«tu labprāt apmeklējuÅ”i mÅ«su vietējo bankas filiāli darba laikā, lai iemaksātu skaidru naudu vai izņemtu to ar kases starpniecÄ«bu.

Naudas summa kontā bija tieÅ”i saistÄ«ta ar skaidru naudu un monētām, ko nodevām bankai. MÅ«su mājas grāmatvedÄ«bu varēja izsekot ar pildspalvu un papÄ«ru, un datorsistēmas klientiem nebija pieejamas. Bankas darbinieki ievietoja datus no norēķinu grāmatiņām un citiem datu nesējiem ierÄ«cēs, kas skaitÄ«ja naudu.

Bet 1967. gadā Londonas ziemeļos pirmo reizi Tika uzstādÄ«ts bankomāts, kas neatradās bankas telpās. Un Å”is notikums mainÄ«ja banku darbÄ«bu. Lietotāju ērtÄ«bas ir kļuvuÅ”as par finanÅ”u iestāžu attÄ«stÄ«bas etalonu. Un tas ir palÄ«dzējis bankām kļūt sarežģītākām attiecÄ«bā uz darbu ar klientiem un viņu naudu. Galu galā, kamēr datorsistēmas bija pieejamas tikai banku darbiniekiem, viņi bija apmierināti ar veco, ā€œpapÄ«raā€ veidu, kā sazināties ar klientiem. Tikai ar bankomātu un pēc tam internetbankas parādÄ«Å”anos plaŔāka sabiedrÄ«ba ieguva tieÅ”u piekļuvi banku IT sistēmām.

Bankomāti bija tikai sākums. DrÄ«z vien cilvēki varēja izvairÄ«ties no rindas pie kases, vienkārÅ”i piezvanot bankai pa tālruni. Tam bija nepiecieÅ”amas Ä«paÅ”as kartes, kas tika ievietotas lasÄ«tājā, kas spēj atÅ”ifrēt divu toņu daudzfrekvenču (DTMF) signālus, kas tika pārraidÄ«ti, kad lietotājs nospiež taustiņu ā€œ1ā€ (naudas izņemÅ”ana) vai ā€œ2ā€ (noguldÄ«juma lÄ«dzekļi).

Internets un mobilā banka ir tuvinājuÅ”i klientus galvenajām sistēmām, kuras darbina bankas. Neskatoties uz to dažādajiem ierobežojumiem un iestatÄ«jumiem, visām Ŕīm sistēmām ir efektÄ«vi jāsadarbojas savā starpā un ar galveno lieldatoru, veicot konta bilances pārbaudes, veicot naudas pārskaitÄ«jumus utt.

Reti kurÅ” klients aizdomājas par to, cik sarežģīts ir informācijas ceļŔ, kad, piemēram, ielogojaties internetbankā, lai apskatÄ«tu vai atjauninātu informāciju par naudu savā kontā. Kad jÅ«s piesakāties, Å”ie dati tiek nodoti caur serveru kopu; veicot darÄ«jumu, sistēma dublē Å”os datus aizmugursistēmas infrastruktÅ«rā, kas pēc tam veic smago darbu ā€” pārskaita naudu no viena konta uz citu, lai apmaksātu rēķinus, maksājumus un turpināt abonÄ“Å”anu.

Tagad reiziniet Å”o procesu ar vairākiem miljardiem. Saskaņā ar datiem, ko Pasaules Banka apkopojusi ar Bila un Melindas Geitsu fonda palÄ«dzÄ«bu, 69 procenti pieauguÅ”ajiem visā pasaulē ir bankas konts. Katram no Å”iem cilvēkiem ir jāmaksā rēķini. Kāds maksā hipotēku vai pārskaita naudu bērnu klubiem, kāds maksā par Netflix abonementu vai mākoņservera Ä«ri. Un visi Å”ie cilvēki izmanto vairāk nekā vienu banku.

Daudzas vienas bankas iekŔējās IT sistēmas (mobilā banka, bankomāti utt.) nedrÄ«kst vienkārÅ”i mijiedarboties savā starpā. Viņiem ir jāsadarbojas ar citām banku sistēmām BrazÄ«lijā, Ķīnā un Vācijā. Franču bankomātam vajadzētu bÅ«t iespējai izsniegt naudu, kas atrodas uz bankas kartes, kas izdota kaut kur BolÄ«vijā.

Nauda vienmēr ir bijusi globāla, taču nekad agrāk sistēma nav bijusi tik sarežģīta. Banku IT sistēmu izmantoÅ”anas veidu skaits pieaug, taču joprojām tiek izmantoti vecie veidi. Bankas veiksme lielā mērā ir atkarÄ«ga no tā, cik ā€œuzturamaā€ ir tās IT infrastruktÅ«ra un cik efektÄ«vi banka spēj tikt galā ar pēkŔņu kļūmi, kuras dēļ sistēma bÅ«s dÄ«kstāvē.

Bez pārbaudēm ā€“ sagatavojieties problēmām

Kā banka cieta neveiksmi?
Banco de Sabadell izpilddirektors Džeimss Gvardiola (pa kreisi) bija pārliecināts, ka viss noritēs gludi. Neizdevās.

TSB datorsistēmas nebija pārāk labas, lai ātri atrisinātu problēmas. ProgrammatÅ«ras kļūmes, protams, bija, taču patiesÄ«bā banka ā€œsalÅ«zaā€ IT sistēmu pārlieku sarežģītÄ«bas dēļ. Saskaņā ar ziņojumu, kas tika sagatavots masveida pārtraukuma pirmajās dienās, "jaunu lietojumprogrammu kombinācija, palielināta mikropakalpojumu izmantoÅ”ana kopā ar divu aktÄ«vo/aktÄ«vo datu centru izmantoÅ”anu radÄ«ja sarežģītu risku ražoÅ”anā."

Dažas bankas, piemēram, HSBC, darbojas globāli, un tāpēc tām ir arÄ« ļoti sarežģītas, savstarpēji saistÄ«tas sistēmas. Taču tie tiek regulāri pārbaudÄ«ti, migrēti un atjaunināti, norāda viens HSBC IT vadÄ«tājs Lankasterā. ViņŔ uzskata, ka HSBC ir paraugs tam, kā citām bankām vajadzētu pārvaldÄ«t savas IT sistēmas: veltot personālu un tērējot savu laiku. Taču vienlaikus viņŔ atzÄ«st, ka mazākai bankai, Ä«paÅ”i tai, kurai nav migrācijas pieredzes, pareizi to izdarÄ«t ir ļoti grÅ«ts uzdevums.

TSB migrācija bija sarežģīta. Un, pēc ekspertu domām, bankas darbinieki vienkārÅ”i nevarēja sasniegt Å”o sarežģītÄ«bas lÄ«meni kvalifikācijas ziņā. Turklāt viņi pat neuztraucās pārbaudÄ«t savu risinājumu vai iepriekÅ” pārbaudÄ«t migrāciju.

Uzrunas laikā Lielbritānijas parlamentā par banku problēmām FCA izpilddirektors EndrjÅ« Beilijs apstiprināja Ŕīs aizdomas. Slikts kods, iespējams, izraisÄ«ja tikai sākotnējās problēmas TSB, taču globālā finanÅ”u tÄ«kla savstarpēji saistÄ«tās sistēmas nozÄ«mēja, ka tā kļūdas tika iemūžinātas un neatgriezeniskas. Banka turpināja redzēt negaidÄ«tas kļūdas citviet savā IT arhitektÅ«rā. Klienti saņēma ziņojumus, kas bija bezjēdzÄ«gi vai nebija saistÄ«ti ar viņu problēmām.

Regresijas testÄ“Å”ana varētu palÄ«dzēt novērst katastrofas, notverot sliktu kodu pirms tā izlaiÅ”anas ražoÅ”anā un radot bojājumus, radot kļūdas, kuras nevarēja atsaukt. Taču banka nolēma izskriet cauri mÄ«nu laukam, par kuru tā pat nezināja. Sekas bija paredzamas. Vēl viena problēma bija izmaksu ā€œoptimizācijaā€. Kā tas izpaudās? Fakts ir tāds, ka iepriekÅ” tika nolemts atteikties no Lloyds glabātajām rezerves kopijām, jo ā€‹ā€‹tās ā€œapēdaā€ pārāk daudz naudas.

Lielbritānijas bankas (un arÄ« citas) cenÅ”as sasniegt četru deviņu pieejamÄ«bas lÄ«meni, tas ir, 99,99%. Praksē tas nozÄ«mē, ka IT sistēmai jābÅ«t pieejamai visu laiku, ar dÄ«kstāves laiku lÄ«dz 52 minÅ«tēm gadā. Sistēma "trÄ«s deviņi" no pirmā acu uzmetiena 99,9% daudz neatŔķiras. Bet patiesÄ«bā tas nozÄ«mē, ka dÄ«kstāves laiks sasniedz 8 stundas gadā. Bankai ā€œÄetri deviņiā€ ir labi, bet ā€œtrÄ«s deviņiā€ ne.

Taču katru reizi, kad uzņēmums veic izmaiņas IT infrastruktÅ«rā, tas uzņemas risku. Galu galā kaut kas var noiet greizi. Izmaiņu samazināŔana var palÄ«dzēt izvairÄ«ties no problēmām, savukārt nepiecieÅ”amās izmaiņas ir rÅ«pÄ«gi jāpārbauda. Un Lielbritānijas regulatori ir pievērsuÅ”i uzmanÄ«bu Å”im jautājumam.

Iespējams, vienkārŔākais veids, kā izvairÄ«ties no dÄ«kstāves, ir vienkārÅ”i veikt mazāk izmaiņu. Taču katra banka, tāpat kā jebkura cita kompānija, ir spiesta ieviest arvien vairāk klientiem un savam biznesam noderÄ«gākas iespējas, lai saglabātu konkurētspēju. Tajā paŔā laikā bankām joprojām ir pienākums rÅ«pēties par saviem klientiem, aizsargājot viņu uzkrājumus un personas datus, nodroÅ”inot ērtus pakalpojumu izmantoÅ”anas apstākļus. Izrādās, ka organizācijas ir spiestas tērēt daudz laika un naudas, lai uzturētu savu IT infrastruktÅ«ras veselÄ«bu, vienlaikus piedāvājot jaunus pakalpojumus.

Saskaņā ar Apvienotās Karalistes FinanÅ”u uzraudzÄ«bas iestādes publicētajiem datiem, ziņoto tehnoloÄ£iju kļūmju skaits finanÅ”u pakalpojumu nozarē Apvienotajā Karalistē laika posmā no 187. lÄ«dz 2017. gadam palielinājās par 2018 procentiem. Visbiežāk kļūmju cēlonis ir problēmas jaunas funkcionalitātes darbÄ«bā. Tajā paŔā laikā bankām ir ļoti svarÄ«gi nodroÅ”ināt visu pakalpojumu nepārtrauktu nepārtrauktu darbÄ«bu un gandrÄ«z tÅ«lÄ«tēju darÄ«jumu atskaiti. Klienti vienmēr ir nervozi, kad viņu nauda kaut kur karājas. Un klients, kurÅ” nervozē par naudu, vienmēr liecina par nepatikÅ”anām.

Dažus mēneÅ”us pēc neveiksmes TSB (lÄ«dz tam bankas izpilddirektors bija atkāpies no amata), Apvienotās Karalistes finanÅ”u regulatori un Anglijas Banka izlaida dokumentu diskusijai par darbÄ«bas ilgtspējas jautājumiem. Tāpēc viņi mēģināja izvirzÄ«t jautājumu par to, cik dziļi bankas ir iegājuÅ”as inovāciju meklējumos un vai tās var garantēt stabilu sistēmas darbÄ«bu, kāda tām ir tagad.

Dokumentā tika ierosinātas arÄ« izmaiņas tiesÄ«bu aktos. Tas bija par to, lai cilvēki uzņēmumā bÅ«tu atbildÄ«gi par to, kas notiek nepareizi Ŕī uzņēmuma IT sistēmās. Britu parlamentārieÅ”i to skaidroja Ŕādi: "Kad jÅ«s esat personÄ«gi atbildÄ«gs un varat bankrotēt vai nonākt cietumā, tas ievērojami mainÄ«s attieksmi pret darbu, tostarp palielināsies uzticamÄ«bas un droŔības jautājumam veltÄ«tais laiks."

Rezultāti

Katrs atjauninājums un ielāps ir saistÄ«ts ar riska pārvaldÄ«bu, it Ä«paÅ”i, ja ir iesaistÄ«ti simtiem miljonu dolāru. Galu galā, ja kaut kas noiet greizi, tas var dārgi izmaksāt naudas un reputācijas ziņā. Å Ä·iet paÅ”saprotamas lietas. Un bankas neveiksmei migrācijas laikā vajadzēja viņiem daudz iemācÄ«t.

Bija. Bet viņŔ mani nemācÄ«ja. 2019. gada novembrÄ« TSB, kas atkal sasniedza rentabilitāti un lēnām uzlaboja savu reputāciju, ā€œiepriecinājaā€ klientus jauna neveiksme informācijas tehnoloÄ£iju jomā. Otrs trieciens bankai nozÄ«mēja, ka 82. gadā tā bÅ«s spiesta slēgt 2020 filiāles, lai samazinātu izmaksas. Vai arÄ« viņŔ vienkārÅ”i nevarēja ietaupÄ«t uz IT speciālistiem.

Skopums ar IT galu galā maksā. TSB 134. gadā ziņoja par zaudējumiem 2018 miljonu ASV dolāru apmērā, salÄ«dzinot ar 206 miljonu ASV dolāru peļņu 2017. gadā. Pēcmigrācijas izmaksas, tostarp klientu kompensācijas, krāpniecisku darÄ«jumu laboÅ”ana (kas krasi pieauga banku haosa laikā) un treÅ”o puÅ”u palÄ«dzÄ«ba, sasniedza 419 miljonus ASV dolāru. ArÄ« bankas IT pakalpojumu sniedzējam tika iekasēti 194 miljoni ASV dolāru par savu lomu krÄ«zē.

Tomēr neatkarÄ«gi no tā, kādas mācÄ«bas tiek gÅ«tas no TSB bankas bankrota, traucējumi joprojām bÅ«s. Tie ir neizbēgami. Taču ar testÄ“Å”anu un labu kodu avārijas un dÄ«kstāves var ievērojami samazināt. Cloud4Y, kas bieži palÄ«dz lieliem uzņēmumiem migrēt uz mākoņa infrastruktÅ«ru, saprot, cik svarÄ«gi ir ātri pāriet no vienas sistēmas uz citu. Tāpēc mēs varam veikt slodzes testÄ“Å”anu un izmantot daudzlÄ«meņu rezerves sistēmu, kā arÄ« citas iespējas, kas ļauj pārbaudÄ«t visu iespējamo pirms migrācijas uzsākÅ”anas.

Ko vēl var lasīt emuārā? Cloud4Y

ā†’ Sāļā saules enerÄ£ija
ā†’ Pentestētāji kiberdroŔības priekÅ”galā
ā†’ Lielās sniegpārslas teorija
ā†’ Internets uz baloniem
ā†’ Vai datu centrā ir nepiecieÅ”ami spilveni?

Abonējiet mūsu Telegram-kanāls, lai nepalaistu garām nākamo rakstu! Mēs rakstām ne biežāk kā divas reizes nedēļā un tikai darba kārtībā.

Avots: www.habr.com

Pievieno komentāru