NeveiksmÄ«gas IT infrastruktÅ«ras migrÄcijas rezultÄtÄ tika sabojÄti 1,3 miljardi banku klientu ierakstu. Tas viss bija saistÄ«ts ar nepietiekamu testÄÅ”anu un vieglprÄtÄ«gu attieksmi pret sarežģītÄm IT sistÄmÄm. Cloud4Y stÄsta, kÄ tas notika.
2018. gadÄ angļu valodÄ
Tikai dažiem cilvÄkiem patÄ«k maksÄt naudu saviem bijuÅ”ajiem, tÄpÄc 22. gada 2018. aprÄ«lÄ« pulksten 18:00 TSB sÄka pÄdÄjo 18 mÄneÅ”u plÄna posmu, kam vajadzÄja visu mainÄ«t. Bija plÄnots miljardiem klientu ierakstu pÄrsÅ«tÄ«t uz SpÄnijas uzÅÄmuma Banco Sabadell IT sistÄmu, kas vÄl 2,2. gadÄ iegÄdÄjÄs TSB par 2015 miljardiem dolÄru.
Banco Sabadell izpilddirektors HosÄ Olu runÄja par gaidÄmo pasÄkumu 2 nedÄļas pirms 2017. gada ZiemassvÄtkiem svinÄ«gÄ personÄla sanÄksmÄ prestiÅ¾Ä konferenÄu zÄlÄ BarselonÄ. VissvarÄ«gÄkais migrÄcijas rÄ«ks bija Banco Sabadell izstrÄdÄtÄ jaunÄ sistÄmas versija: Proteo. Tas pat tika pÄrdÄvÄts par Proteo4UK Ä«paÅ”i TSB migrÄcijas projektam.
Proteo4UK prezentÄcijÄ Banco Sabadell izpilddirektors Džeimss Gvardiola Romojaro lepojÄs, ka jaunÄ sistÄma ir liela mÄroga projekts, kam EiropÄ nav analogu un pie kura strÄdÄja vairÄk nekÄ 1000 speciÄlistu. Un ka tÄ ievieÅ”ana ievÄrojami veicinÄs Banco Sabadell izaugsmi ApvienotajÄ KaralistÄ.
22. gada 2018. aprÄ«lis tika noteikts kÄ migrÄcijas diena. Bija kluss pavasara vidus svÄtdienas vakars. Bankas IT sistÄmas nedarbojÄs, jo ieraksti tika pÄrsÅ«tÄ«ti no vienas sistÄmas uz otru. TÄ kÄ svÄtdien vÄlu vakarÄ tika atjaunota publiska piekļuve banku kontiem, varÄtu sagaidÄ«t, ka banka lÄnÄm un vienmÄrÄ«gi atsÄks darboties.
Bet, kamÄr Olju un Gvardiola Romojaro no skatuves priecÄ«gi raidÄ«ja par Proteo4UK projekta Ä«stenoÅ”anu, par migrÄcijas procesu atbildÄ«gie darbinieki bija ļoti nervozi. Projekts, kura pabeigÅ”ana prasÄ«ja 18 mÄneÅ”us, nopietni atpalika no grafika un pÄrsniedza budžetu. Nebija laika veikt papildu pÄrbaudes. TaÄu visu uzÅÄmuma datu (kas, atcerieties, ir miljardiem ierakstu) pÄrsÅ«tÄ«Å”ana uz citu sistÄmu ir Herkules uzdevums.
IzrÄdÄ«jÄs, ka inženieri bija nervozi pamatota iemesla dÄļ.
VietnÄ esoÅ”s kļūda, ko klienti redzÄja pÄrÄk ilgi
20 minÅ«tes pÄc tam, kad TSB atvÄra piekļuvi kontiem, bÅ«dams pilnÄ«bÄ pÄrliecinÄts, ka migrÄcija noritÄja raiti, pienÄca pirmie ziÅojumi par problÄmÄm.
CilvÄku ietaupÄ«jumi pÄkÅ”Åi pazuda no kontiem. NenozÄ«mÄ«gu summu pirkumi kļūdaini tika ierakstÄ«ti kÄ daudztÅ«kstoÅ” dolÄru izdevumi. Daži cilvÄki pieteicÄs savos personÄ«gajos kontos un redzÄja nevis savus bankas kontus, bet gan pavisam citu cilvÄku kontus.
21:00 TSB pÄrstÄvji informÄja vietÄjo finanÅ”u regulatoru (UK Financial Conduct Authority, FCA), ka bankai ir problÄmas. Bet FCA jau ir pamanÄ«jusi: TSB patieÅ”Äm ir slikti sabojÄjies, un klienti ir padarÄ«ti par muļķiem. Un, protams, viÅi sÄka sÅ«dzÄties
Jau krietni pÄc pusnakts viÅiem izdevÄs tikt cauri vienam no bankas pÄrstÄvjiem. Un uzdodiet viÅiem vienÄ«go jautÄjumu: "Kas pie velna notiek?"
Bija vajadzÄ«gs laiks, lai saprastu traÄ£Ädijas mÄrogu, taÄu tagad mÄs zinÄm, ka migrÄcijas laikÄ tika sabojÄti 1,3 miljardi 5,4 miljonu klientu ierakstu. Vismaz nedÄļu klienti nevarÄja pÄrvaldÄ«t savu naudu no datoriem vai mobilajÄm ierÄ«cÄm. ViÅi nespÄja samaksÄt kredÄ«tu, un daudzi banku klienti saÅÄma traipu uz kredÄ«tvÄsturi, kÄ arÄ« kavÄjuma naudu.
TÄ izskatÄ«jÄs TSB klientu internetbanka
Kad kļūmes sÄka parÄdÄ«ties, gandrÄ«z uzreiz pÄc tam, bankas pÄrstÄvji uzstÄja, ka problÄmas ir "intermitÄjoÅ”as". TrÄ«s dienas vÄlÄk tika izdots paziÅojums, ka visas sistÄmas ir normÄlas. TaÄu klienti turpinÄja ziÅot par problÄmÄm. Tikai 26. gada 2018. aprÄ«lÄ« bankas izpilddirektors Pols Pesters atzina, ka TSB bija uz ceļiem, jo āābankas IT infrastruktÅ«rÄ joprojÄm bija "joslas platuma problÄma", kas neļÄva aptuveni miljonam klientu piekļūt tieÅ”saistes banku pakalpojumiem.
Divas nedÄļas pÄc migrÄcijas joprojÄm tika ziÅots, ka tieÅ”saistes bankas lietojumprogrammÄ ir iekÅ”Äjas kļūdas saistÄ«bÄ ar SQL datu bÄzi.
MaksÄjumu grÅ«tÄ«bas, Ä«paÅ”i saistÄ«bÄ ar biznesa un hipotÄkas rÄÄ·iniem, turpinÄjÄs lÄ«dz ÄetrÄm nedÄļÄm. Un visuresoÅ”ie žurnÄlisti uzzinÄja, ka TSB noraidÄ«ja Lloyds Banking Group palÄ«dzÄ«bas piedÄvÄjumu jau paÅ”Ä migrÄcijas krÄ«zes sÄkumÄ. KopumÄ problÄmas, kas saistÄ«tas ar pieteikÅ”anos tieÅ”saistes servisos un iespÄju pÄrskaitÄ«t naudu, tika novÄrotas lÄ«dz 3. septembrim.
Nedaudz vÄstures
Pirmais bankomÄts tika atvÄrts 27. gada 1967. jÅ«nijÄ netÄlu no Barclays EnfÄ«ldÄ
Banku IT sistÄmas kļūst arvien sarežģītÄkas, pieaugot klientu vajadzÄ«bÄm un cerÄ«bÄm no bankas. ApmÄram pirms 40ā60 gadiem mÄs bÅ«tu labprÄt apmeklÄjuÅ”i mÅ«su vietÄjo bankas filiÄli darba laikÄ, lai iemaksÄtu skaidru naudu vai izÅemtu to ar kases starpniecÄ«bu.
Naudas summa kontÄ bija tieÅ”i saistÄ«ta ar skaidru naudu un monÄtÄm, ko nodevÄm bankai. MÅ«su mÄjas grÄmatvedÄ«bu varÄja izsekot ar pildspalvu un papÄ«ru, un datorsistÄmas klientiem nebija pieejamas. Bankas darbinieki ievietoja datus no norÄÄ·inu grÄmatiÅÄm un citiem datu nesÄjiem ierÄ«cÄs, kas skaitÄ«ja naudu.
Bet 1967. gadÄ Londonas ziemeļos pirmo reizi
BankomÄti bija tikai sÄkums. DrÄ«z vien cilvÄki varÄja izvairÄ«ties no rindas pie kases, vienkÄrÅ”i piezvanot bankai pa tÄlruni. Tam bija nepiecieÅ”amas Ä«paÅ”as kartes, kas tika ievietotas lasÄ«tÄjÄ, kas spÄj atÅ”ifrÄt divu toÅu daudzfrekvenÄu (DTMF) signÄlus, kas tika pÄrraidÄ«ti, kad lietotÄjs nospiež taustiÅu ā1ā (naudas izÅemÅ”ana) vai ā2ā (noguldÄ«juma lÄ«dzekļi).
Internets un mobilÄ banka ir tuvinÄjuÅ”i klientus galvenajÄm sistÄmÄm, kuras darbina bankas. Neskatoties uz to dažÄdajiem ierobežojumiem un iestatÄ«jumiem, visÄm Ŕīm sistÄmÄm ir efektÄ«vi jÄsadarbojas savÄ starpÄ un ar galveno lieldatoru, veicot konta bilances pÄrbaudes, veicot naudas pÄrskaitÄ«jumus utt.
Reti kurÅ” klients aizdomÄjas par to, cik sarežģīts ir informÄcijas ceļŔ, kad, piemÄram, ielogojaties internetbankÄ, lai apskatÄ«tu vai atjauninÄtu informÄciju par naudu savÄ kontÄ. Kad jÅ«s piesakÄties, Å”ie dati tiek nodoti caur serveru kopu; veicot darÄ«jumu, sistÄma dublÄ Å”os datus aizmugursistÄmas infrastruktÅ«rÄ, kas pÄc tam veic smago darbu ā pÄrskaita naudu no viena konta uz citu, lai apmaksÄtu rÄÄ·inus, maksÄjumus un turpinÄt abonÄÅ”anu.
Tagad reiziniet Å”o procesu ar vairÄkiem miljardiem. SaskaÅÄ ar datiem, ko Pasaules Banka apkopojusi ar Bila un Melindas Geitsu fonda palÄ«dzÄ«bu,
Daudzas vienas bankas iekÅ”ÄjÄs IT sistÄmas (mobilÄ banka, bankomÄti utt.) nedrÄ«kst vienkÄrÅ”i mijiedarboties savÄ starpÄ. ViÅiem ir jÄsadarbojas ar citÄm banku sistÄmÄm BrazÄ«lijÄ, ĶīnÄ un VÄcijÄ. FranÄu bankomÄtam vajadzÄtu bÅ«t iespÄjai izsniegt naudu, kas atrodas uz bankas kartes, kas izdota kaut kur BolÄ«vijÄ.
Nauda vienmÄr ir bijusi globÄla, taÄu nekad agrÄk sistÄma nav bijusi tik sarežģīta. Banku IT sistÄmu izmantoÅ”anas veidu skaits pieaug, taÄu joprojÄm tiek izmantoti vecie veidi. Bankas veiksme lielÄ mÄrÄ ir atkarÄ«ga no tÄ, cik āuzturamaā ir tÄs IT infrastruktÅ«ra un cik efektÄ«vi banka spÄj tikt galÄ ar pÄkÅ”Åu kļūmi, kuras dÄļ sistÄma bÅ«s dÄ«kstÄvÄ.
Bez pÄrbaudÄm ā sagatavojieties problÄmÄm
Banco de Sabadell izpilddirektors Džeimss Gvardiola (pa kreisi) bija pÄrliecinÄts, ka viss noritÄs gludi. NeizdevÄs.
TSB datorsistÄmas nebija pÄrÄk labas, lai Ätri atrisinÄtu problÄmas. ProgrammatÅ«ras kļūmes, protams, bija, taÄu patiesÄ«bÄ banka āsalÅ«zaā IT sistÄmu pÄrlieku sarežģītÄ«bas dÄļ. SaskaÅÄ ar ziÅojumu, kas tika sagatavots masveida pÄrtraukuma pirmajÄs dienÄs, "jaunu lietojumprogrammu kombinÄcija, palielinÄta mikropakalpojumu izmantoÅ”ana kopÄ ar divu aktÄ«vo/aktÄ«vo datu centru izmantoÅ”anu radÄ«ja sarežģītu risku ražoÅ”anÄ."
Dažas bankas, piemÄram, HSBC, darbojas globÄli, un tÄpÄc tÄm ir arÄ« ļoti sarežģītas, savstarpÄji saistÄ«tas sistÄmas. TaÄu tie tiek regulÄri pÄrbaudÄ«ti, migrÄti un atjauninÄti, norÄda viens HSBC IT vadÄ«tÄjs LankasterÄ. ViÅÅ” uzskata, ka HSBC ir paraugs tam, kÄ citÄm bankÄm vajadzÄtu pÄrvaldÄ«t savas IT sistÄmas: veltot personÄlu un tÄrÄjot savu laiku. TaÄu vienlaikus viÅÅ” atzÄ«st, ka mazÄkai bankai, Ä«paÅ”i tai, kurai nav migrÄcijas pieredzes, pareizi to izdarÄ«t ir ļoti grÅ«ts uzdevums.
TSB migrÄcija bija sarežģīta. Un, pÄc ekspertu domÄm, bankas darbinieki vienkÄrÅ”i nevarÄja sasniegt Å”o sarežģītÄ«bas lÄ«meni kvalifikÄcijas ziÅÄ. TurklÄt viÅi pat neuztraucÄs pÄrbaudÄ«t savu risinÄjumu vai iepriekÅ” pÄrbaudÄ«t migrÄciju.
Uzrunas laikÄ LielbritÄnijas parlamentÄ par banku problÄmÄm FCA izpilddirektors EndrjÅ« Beilijs apstiprinÄja Ŕīs aizdomas. Slikts kods, iespÄjams, izraisÄ«ja tikai sÄkotnÄjÄs problÄmas TSB, taÄu globÄlÄ finanÅ”u tÄ«kla savstarpÄji saistÄ«tÄs sistÄmas nozÄ«mÄja, ka tÄ kļūdas tika iemūžinÄtas un neatgriezeniskas. Banka turpinÄja redzÄt negaidÄ«tas kļūdas citviet savÄ IT arhitektÅ«rÄ. Klienti saÅÄma ziÅojumus, kas bija bezjÄdzÄ«gi vai nebija saistÄ«ti ar viÅu problÄmÄm.
Regresijas testÄÅ”ana varÄtu palÄ«dzÄt novÄrst katastrofas, notverot sliktu kodu pirms tÄ izlaiÅ”anas ražoÅ”anÄ un radot bojÄjumus, radot kļūdas, kuras nevarÄja atsaukt. TaÄu banka nolÄma izskriet cauri mÄ«nu laukam, par kuru tÄ pat nezinÄja. Sekas bija paredzamas. VÄl viena problÄma bija izmaksu āoptimizÄcijaā. KÄ tas izpaudÄs? Fakts ir tÄds, ka iepriekÅ” tika nolemts atteikties no Lloyds glabÄtajÄm rezerves kopijÄm, jo āātÄs āapÄdaā pÄrÄk daudz naudas.
LielbritÄnijas bankas (un arÄ« citas) cenÅ”as sasniegt Äetru deviÅu pieejamÄ«bas lÄ«meni, tas ir, 99,99%. PraksÄ tas nozÄ«mÄ, ka IT sistÄmai jÄbÅ«t pieejamai visu laiku, ar dÄ«kstÄves laiku lÄ«dz 52 minÅ«tÄm gadÄ. SistÄma "trÄ«s deviÅi" no pirmÄ acu uzmetiena 99,9% daudz neatŔķiras. Bet patiesÄ«bÄ tas nozÄ«mÄ, ka dÄ«kstÄves laiks sasniedz 8 stundas gadÄ. Bankai āÄetri deviÅiā ir labi, bet ātrÄ«s deviÅiā ne.
TaÄu katru reizi, kad uzÅÄmums veic izmaiÅas IT infrastruktÅ«rÄ, tas uzÅemas risku. Galu galÄ kaut kas var noiet greizi. IzmaiÅu samazinÄÅ”ana var palÄ«dzÄt izvairÄ«ties no problÄmÄm, savukÄrt nepiecieÅ”amÄs izmaiÅas ir rÅ«pÄ«gi jÄpÄrbauda. Un LielbritÄnijas regulatori ir pievÄrsuÅ”i uzmanÄ«bu Å”im jautÄjumam.
IespÄjams, vienkÄrÅ”Äkais veids, kÄ izvairÄ«ties no dÄ«kstÄves, ir vienkÄrÅ”i veikt mazÄk izmaiÅu. TaÄu katra banka, tÄpat kÄ jebkura cita kompÄnija, ir spiesta ieviest arvien vairÄk klientiem un savam biznesam noderÄ«gÄkas iespÄjas, lai saglabÄtu konkurÄtspÄju. TajÄ paÅ”Ä laikÄ bankÄm joprojÄm ir pienÄkums rÅ«pÄties par saviem klientiem, aizsargÄjot viÅu uzkrÄjumus un personas datus, nodroÅ”inot Ärtus pakalpojumu izmantoÅ”anas apstÄkļus. IzrÄdÄs, ka organizÄcijas ir spiestas tÄrÄt daudz laika un naudas, lai uzturÄtu savu IT infrastruktÅ«ras veselÄ«bu, vienlaikus piedÄvÄjot jaunus pakalpojumus.
SaskaÅÄ ar ApvienotÄs Karalistes FinanÅ”u uzraudzÄ«bas iestÄdes publicÄtajiem datiem, ziÅoto tehnoloÄ£iju kļūmju skaits finanÅ”u pakalpojumu nozarÄ ApvienotajÄ KaralistÄ laika posmÄ no 187. lÄ«dz 2017. gadam palielinÄjÄs par 2018 procentiem. VisbiežÄk kļūmju cÄlonis ir problÄmas jaunas funkcionalitÄtes darbÄ«bÄ. TajÄ paÅ”Ä laikÄ bankÄm ir ļoti svarÄ«gi nodroÅ”inÄt visu pakalpojumu nepÄrtrauktu nepÄrtrauktu darbÄ«bu un gandrÄ«z tÅ«lÄ«tÄju darÄ«jumu atskaiti. Klienti vienmÄr ir nervozi, kad viÅu nauda kaut kur karÄjas. Un klients, kurÅ” nervozÄ par naudu, vienmÄr liecina par nepatikÅ”anÄm.
Dažus mÄneÅ”us pÄc neveiksmes TSB (lÄ«dz tam bankas izpilddirektors bija atkÄpies no amata), ApvienotÄs Karalistes finanÅ”u regulatori un Anglijas Banka
DokumentÄ tika ierosinÄtas arÄ« izmaiÅas tiesÄ«bu aktos. Tas bija par to, lai cilvÄki uzÅÄmumÄ bÅ«tu atbildÄ«gi par to, kas notiek nepareizi Ŕī uzÅÄmuma IT sistÄmÄs. Britu parlamentÄrieÅ”i to skaidroja Å”Ädi: "Kad jÅ«s esat personÄ«gi atbildÄ«gs un varat bankrotÄt vai nonÄkt cietumÄ, tas ievÄrojami mainÄ«s attieksmi pret darbu, tostarp palielinÄsies uzticamÄ«bas un droŔības jautÄjumam veltÄ«tais laiks."
RezultÄti
Katrs atjauninÄjums un ielÄps ir saistÄ«ts ar riska pÄrvaldÄ«bu, it Ä«paÅ”i, ja ir iesaistÄ«ti simtiem miljonu dolÄru. Galu galÄ, ja kaut kas noiet greizi, tas var dÄrgi izmaksÄt naudas un reputÄcijas ziÅÄ. Å Ä·iet paÅ”saprotamas lietas. Un bankas neveiksmei migrÄcijas laikÄ vajadzÄja viÅiem daudz iemÄcÄ«t.
Bija. Bet viÅÅ” mani nemÄcÄ«ja. 2019. gada novembrÄ« TSB, kas atkal sasniedza rentabilitÄti un lÄnÄm uzlaboja savu reputÄciju, āiepriecinÄjaā klientus
Skopums ar IT galu galÄ maksÄ. TSB 134. gadÄ ziÅoja par zaudÄjumiem 2018 miljonu ASV dolÄru apmÄrÄ, salÄ«dzinot ar 206 miljonu ASV dolÄru peļÅu 2017. gadÄ. PÄcmigrÄcijas izmaksas, tostarp klientu kompensÄcijas, krÄpniecisku darÄ«jumu laboÅ”ana (kas krasi pieauga banku haosa laikÄ) un treÅ”o puÅ”u palÄ«dzÄ«ba, sasniedza 419 miljonus ASV dolÄru. ArÄ« bankas IT pakalpojumu sniedzÄjam tika iekasÄti 194 miljoni ASV dolÄru par savu lomu krÄ«zÄ.
TomÄr neatkarÄ«gi no tÄ, kÄdas mÄcÄ«bas tiek gÅ«tas no TSB bankas bankrota, traucÄjumi joprojÄm bÅ«s. Tie ir neizbÄgami. TaÄu ar testÄÅ”anu un labu kodu avÄrijas un dÄ«kstÄves var ievÄrojami samazinÄt. Cloud4Y, kas bieži palÄ«dz lieliem uzÅÄmumiem migrÄt uz mÄkoÅa infrastruktÅ«ru, saprot, cik svarÄ«gi ir Ätri pÄriet no vienas sistÄmas uz citu. TÄpÄc mÄs varam veikt slodzes testÄÅ”anu un izmantot daudzlÄ«meÅu rezerves sistÄmu, kÄ arÄ« citas iespÄjas, kas ļauj pÄrbaudÄ«t visu iespÄjamo pirms migrÄcijas uzsÄkÅ”anas.
Ko vÄl var lasÄ«t emuÄrÄ?
ā
ā
ā
ā
ā
AbonÄjiet mÅ«su
Avots: www.habr.com