Ang isang nabigong paglilipat ng imprastraktura ng IT ay nagresulta sa katiwalian ng 1,3 bilyong rekord ng customer ng bangko. Ang lahat ng ito ay dahil sa hindi sapat na pagsubok at isang walang kabuluhang saloobin patungo sa mga kumplikadong sistema ng IT. Sinasabi ng Cloud4Y kung paano ito nangyari.
Sa 2018 English napagtanto na ang kanyang dalawang taong gulang na "diborsyo" sa Lloyds banking group (parehong kumpanya ay pinagsama noong 1995) ay masyadong mahal. Ang TSB ay nakatali pa rin sa dati nitong kasosyo sa pamamagitan ng dali-daling na-clone na mga Lloyds IT system. Pinakamasama sa lahat, ang bangko ay kailangang magbayad ng "alimony," isang $127 milyon taunang bayad sa paglilisensya.
Ilang tao ang gustong magbayad ng pera sa kanilang mga ex, kaya noong Abril 22, 2018 sa 18:00 TSB ay nagsimula ang huling yugto ng isang 18-buwan na plano na dapat na baguhin ang lahat. Pinlano nitong ilipat ang bilyun-bilyong mga rekord ng customer sa IT system ng kumpanyang Espanyol na Banco Sabadell, na bumili ng TSB sa halagang $2,2 bilyon noong 2015.
Nagsalita ang Banco Sabadell CEO JosΓ© Olu tungkol sa paparating na kaganapan 2 linggo bago ang Pasko 2017 sa isang festive staff meeting sa isang prestihiyosong conference hall sa Barcelona. Ang pinakamahalagang tool sa paglipat ay ang maging isang bagong bersyon ng system na binuo ng Banco Sabadell: Proteo. Pinalitan pa ito ng pangalan na Proteo4UK partikular para sa proyekto ng paglilipat ng TSB.
Sa pagtatanghal ng Proteo4UK, ipinagmalaki ng executive director ng Banco Sabadell na si Jaime Guardiola Romojaro na ang bagong sistema ay isang malakihang proyekto na walang mga analogue sa Europa, kung saan mahigit 1000 mga espesyalista ang nagtrabaho. At ang pagpapatupad nito ay magbibigay ng makabuluhang tulong sa paglago ng Banco Sabadell sa UK.
Ang Abril 22, 2018 ay itinakda bilang araw ng paglilipat. Ito ay isang tahimik na Linggo ng gabi sa kalagitnaan ng tagsibol. Ang mga IT system ng bangko ay bumaba habang ang mga rekord ay inililipat mula sa isang sistema patungo sa isa pa. Sa pampublikong pag-access sa mga bank account na naibalik nang huli sa Linggo, aasahan ng isang tao na dahan-dahan at maayos na bumalik sa serbisyo ang bangko.
Ngunit habang sina Olyu at Guardiola Romojaro ay masayang nagbo-broadcast mula sa entablado tungkol sa pagpapatupad ng proyektong Proteo4UK, ang mga empleyado na responsable para sa proseso ng paglipat ay labis na kinakabahan. Ang proyekto, na inabot ng 18 buwan upang makumpleto, ay seryosong huli sa iskedyul at lampas sa badyet. Walang oras upang magsagawa ng mga karagdagang pagsusuri. Ngunit ang paglilipat ng lahat ng data ng kumpanya (na, tandaan, ay bilyun-bilyong talaan) sa ibang sistema ay isang Herculean na gawain.
Kinakabahan pala ang mga engineer sa magandang dahilan.
Isang stub sa site na masyadong matagal na nakita ng mga customer
20 minuto pagkatapos buksan ng TSB ang access sa mga account, dahil lubos na nagtitiwala na maayos ang paglipat, dumating ang mga unang ulat ng mga problema.
Ang ipon ng mga tao ay biglang nawala sa kanilang mga account. Ang mga pagbili ng hindi gaanong halaga ay maling naitala bilang multi-thousand-dollar na gastos. Ang ilang mga tao ay nag-log in sa kanilang mga personal na account at hindi nakita ang kanilang mga bank account, ngunit ang mga account ng ganap na magkakaibang mga tao.
Sa 21:00, ipinaalam ng mga kinatawan ng TSB sa lokal na regulator ng pananalapi (ang UK Financial Conduct Authority, FCA) na may problema ang bangko. Ngunit napansin na ng FCA: Talagang nasiraan ng loob ang TSB, at ginawang tanga ang mga customer. At, siyempre, nagsimula silang magreklamo (at sa ngayon, ang pag-drop ng ilang linya sa Twitter o Facebook ay hindi partikular na mahirap). Sa 23:30 p.m., ang FCA ay nakipag-ugnayan sa pamamagitan ng isa pang regulator ng pananalapi, ang Prudential Regulation Authority (PRA), na naramdaman ding may mali.
Makalipas ang hatinggabi ay nakarating na sila sa isa sa mga kinatawan ng bangko. At itanong sa kanila ang tanging tanong: "ano ang nangyayari?"
Kinailangan ng oras upang maunawaan ang laki ng trahedya, ngunit alam na natin ngayon na 1,3 bilyong talaan ng 5,4 milyong customer ang nasira sa panahon ng paglipat. Sa loob ng kahit isang linggo, hindi nagawang pamahalaan ng mga kliyente ang kanilang pera mula sa kanilang mga computer o mobile device. Hindi nila nabayaran ang utang, at maraming kliyente sa bangko ang nakatanggap ng dungis sa kanilang kasaysayan ng kredito, pati na rin ang mga nahuling bayarin.
Ito ang hitsura ng TSB customer online bank
Nang magsimulang lumitaw ang mga aberya, halos kaagad pagkatapos, iginiit ng mga kinatawan ng bangko na ang mga problema ay "paputol-putol." Pagkalipas ng tatlong araw, isang pahayag ang inilabas na ang lahat ng mga sistema ay normal. Ngunit patuloy na nag-ulat ng mga problema ang mga customer. Noong Abril 26, 2018, inamin ng punong ehekutibo ng bangko, si Paul Pester, na "nakaluhod" ang TSB habang patuloy na mayroong "isyu sa bandwidth" ang IT infrastructure ng bangko na pumipigil sa humigit-kumulang isang milyong customer na ma-access ang mga serbisyo sa online banking.
Dalawang linggo sa paglipat, ang online banking application ay naiulat pa rin na nakakaranas ng mga panloob na error na may kaugnayan sa SQL database.
Ang mga paghihirap sa pagbabayad, lalo na sa mga bayarin sa negosyo at mortgage, ay nagpatuloy hanggang apat na linggo. At nalaman ng lahat ng mga mamamahayag na tinanggihan ng TSB ang isang alok ng tulong mula sa Lloyds Banking Group sa simula pa lamang ng krisis sa paglilipat. Sa pangkalahatan, ang mga problemang nauugnay sa pag-log in sa mga online na serbisyo at ang kakayahang maglipat ng pera ay naobserbahan hanggang Setyembre 3.
Ang isang maliit na kasaysayan
Ang unang ATM ay binuksan noong 27 Hunyo 1967 malapit sa Barclays sa Enfield
Ang mga sistema ng IT sa pagbabangko ay nagiging mas kumplikado habang ang mga pangangailangan at inaasahan ng customer mula sa pagtaas ng bangko. Mga 40-60 taon na ang nakalilipas, masaya sana kaming bumisita sa aming lokal na sangay ng bangko sa mga oras ng negosyo upang magdeposito ng pera o mag-withdraw nito sa pamamagitan ng teller.
Ang halaga ng pera sa account ay direktang nauugnay sa cash at mga barya na ibinigay namin sa bangko. Ang aming home accounting ay maaaring masubaybayan gamit ang panulat at papel, at ang mga computer system ay hindi naa-access ng mga kliyente. Ang mga empleyado ng bangko ay naglagay ng data mula sa mga passbook at iba pang media sa mga device na nagbibilang ng pera.
Ngunit noong 1967 sa hilagang London sa unang pagkakataon isang ATM na hindi matatagpuan sa lugar ng bangko. At binago ng kaganapang ito ang pagbabangko. Ang kaginhawahan ng gumagamit ay naging isang benchmark para sa pagpapaunlad ng mga institusyong pampinansyal. At nakatulong ito sa mga bangko na maging mas sopistikado sa mga tuntunin ng pakikipagtulungan sa mga kliyente at sa kanilang pera. Pagkatapos ng lahat, habang ang mga computer system ay magagamit lamang sa mga empleyado ng bangko, sila ay nasiyahan sa lumang, "papel" na paraan ng pakikipag-ugnayan sa mga kliyente. Sa pagdating lamang ng mga ATM at pagkatapos ay online banking na ang pangkalahatang publiko ay nakakuha ng direktang access sa mga bank IT system.
Ang mga ATM ay simula pa lamang. Hindi nagtagal ay naiwasan ng mga tao ang linya sa cash register sa pamamagitan lamang ng pagtawag sa bangko sa pamamagitan ng telepono. Nangangailangan ito ng mga espesyal na card na ipinasok sa isang reader na may kakayahang mag-decipher ng mga dual-tone multi-frequency (DTMF) signal na ipinadala kapag pinindot ng user ang "1" (withdraw ng pera) o "2" (deposit funds) key.
Ang Internet at mobile banking ay naglalapit sa mga customer sa mga pangunahing sistema na nagpapalakas sa mga bangko. Sa kabila ng kanilang iba't ibang limitasyon at setting, ang lahat ng mga system na ito ay dapat na epektibong makipag-ugnayan sa isa't isa at sa mainframe, pagsasagawa ng mga pagsusuri sa balanse ng account, paggawa ng mga paglilipat ng pera, at iba pa.
Ilang mga kliyente ang nag-iisip tungkol sa kung gaano kakumplikado ang landas ng impormasyon kapag ikaw, halimbawa, ay nag-log in sa isang online na bangko upang tingnan o i-update ang impormasyon tungkol sa pera sa iyong account. Kapag nag-log in ka, ang data na ito ay ipinapasa sa isang hanay ng mga server; kapag gumawa ka ng isang transaksyon, kino-duplicate ng system ang data na ito sa imprastraktura ng backend, na pagkatapos ay gumagawa ng mabigat na pag-aangatβpaglilipat ng pera mula sa isang account patungo sa isa pa para magbayad ng mga bill, gumawa mga pagbabayad, at magpatuloy sa mga subscription.
Ngayon i-multiply ang prosesong ito ng ilang bilyon. Ayon sa datos na naipon ng World Bank sa tulong ng Bill and Melinda Gates Foundation, may bank account ang mga matatanda sa buong mundo. Ang bawat isa sa mga taong ito ay may mga bayarin na babayaran. May nagbabayad ng mortgage o naglilipat ng pera para sa mga club ng mga bata, may nagbabayad para sa isang subscription sa Netflix o nagrenta ng cloud server. At lahat ng mga taong ito ay gumagamit ng higit sa isang bangko.
Maraming mga panloob na sistema ng IT ng isang bangko (mobile banking, ATM, atbp.) ay hindi dapat makipag-ugnayan lamang sa isa't isa. Kailangan nilang makipag-ugnayan sa iba pang sistema ng pagbabangko sa Brazil, China, at Germany. Ang isang French ATM ay dapat na makapagbigay ng pera na nasa isang bank card na ibinigay sa isang lugar sa Bolivia.
Ang pera ay palaging pandaigdigan, ngunit hindi kailanman naging ganito kakomplikado ang sistema. Ang bilang ng mga paraan upang gamitin ang mga bank IT system ay dumarami, ngunit ang mga lumang paraan ay ginagamit pa rin. Ang tagumpay ng isang bangko ay higit na nakadepende sa kung gaano "mapapanatili" ang imprastraktura ng IT nito, at kung gaano kabisang makakayanan ng bangko ang isang biglaang pagkabigo dahil sa kung saan ang system ay magiging idle.
Walang mga pagsubok - maghanda para sa mga problema
Tiwala ang CEO ng Banco de Sabadell na si Jaime Guardiola (kaliwa) na magiging maayos ang lahat. Hindi nag work out.
Ang mga computer system ng TSB ay hindi masyadong mahusay sa mabilis na paglutas ng mga problema. Siyempre, mayroong mga problema sa software, ngunit sa katotohanan ang bangko ay "nasira" dahil sa labis na pagiging kumplikado ng mga IT system nito. Ayon sa ulat, na inihanda sa mga unang araw ng napakalaking outage, "ang kumbinasyon ng mga bagong application, ang pagtaas ng paggamit ng mga microservice kasama ang paggamit ng dalawang Active/Active data center ay humantong sa kumplikadong panganib sa produksyon."
Ang ilang mga bangko, tulad ng HSBC, ay nagpapatakbo sa buong mundo at samakatuwid ay mayroon ding napakasalimuot, magkakaugnay na mga sistema. Ngunit sila ay regular na sinusubok, inilipat at ina-update, ayon sa isang HSBC IT manager sa Lancaster. Nakikita niya ang HSBC bilang isang modelo kung paano dapat pangasiwaan ng ibang mga bangko ang kanilang mga IT system: sa pamamagitan ng paglalaan ng mga kawani at paggugol ng kanilang oras. Ngunit sa parehong oras inamin niya na para sa isang mas maliit na bangko, lalo na ang isa na walang karanasan sa paglilipat, ang paggawa nito ng tama ay isang napakahirap na gawain.
Ang TSB migration ay mahirap. At, ayon sa mga eksperto, ang mga kawani ng bangko ay hindi maaaring maabot ang antas ng pagiging kumplikado sa mga tuntunin ng mga kwalipikasyon. Bilang karagdagan, hindi sila nag-abala na suriin ang kanilang solusyon o subukan ang paglipat nang maaga.
Sa isang talumpati sa British Parliament sa mga problema sa pagbabangko, kinumpirma ni Andrew Bailey, punong ehekutibo ng FCA, ang hinalang ito. Ang masamang code ay malamang na nagdulot lamang ng mga unang problema sa TSB, ngunit ang mga magkakaugnay na sistema ng pandaigdigang network ng pananalapi ay nangangahulugan na ang mga pagkakamali nito ay nagpapatuloy at hindi na maibabalik. Ang bangko ay patuloy na nakakita ng mga hindi inaasahang error sa ibang lugar sa IT architecture nito. Nakatanggap ang mga customer ng mga mensahe na walang kahulugan o walang kaugnayan sa kanilang mga problema.
Maaaring makatulong ang pagsusuri ng regression na maiwasan ang sakuna sa pamamagitan ng pagkuha ng masamang code bago ito ilabas sa produksyon at magdulot ng pinsala sa pamamagitan ng paggawa ng mga bug na hindi na maibabalik. Ngunit nagpasya ang bangko na tumakbo sa isang minefield na hindi nito alam. Ang mga kahihinatnan ay predictable. Ang isa pang problema ay ang "pag-optimize" ng mga gastos. Paano ito nagpakita ng sarili? Ang katotohanan ay dati nang napagpasyahan na tanggalin ang mga backup na kopya na nakaimbak sa Lloyds, dahil sila ay "kumain" ng masyadong maraming pera.
Ang mga bangko sa Britanya (at iba pa) ay nagsusumikap na makamit ang isang apat na siyam na antas ng kakayahang magamit, iyon ay, 99,99%. Sa pagsasagawa, nangangahulugan ito na ang IT system ay dapat na available sa lahat ng oras, na may hanggang 52 minuto ng downtime bawat taon. Ang "tatlong siyam" na sistema, 99,9%, sa unang tingin ay hindi gaanong naiiba. Ngunit sa katotohanan, nangangahulugan ito na ang downtime ay umaabot sa 8 oras bawat taon. Para sa bangko, ang "four nines" ay mabuti, ngunit ang "three nines" ay hindi.
Ngunit sa tuwing gumagawa ang isang kumpanya ng mga pagbabago sa imprastraktura ng IT nito, nanganganib ito. Pagkatapos ng lahat, maaaring magkamali. Ang pagbabawas ng mga pagbabago ay maaaring makatulong na maiwasan ang mga problema, habang ang mga kinakailangang pagbabago ay nangangailangan ng maingat na pagsubok. At ang mga regulator ng Britanya ay nakatuon ang kanilang pansin sa puntong ito.
Marahil ang pinakamadaling paraan upang maiwasan ang downtime ay ang gumawa lamang ng mas kaunting mga pagbabago. Ngunit ang bawat bangko, tulad ng iba pang kumpanya, ay napipilitang magpakilala ng higit at higit pang mga kapaki-pakinabang na tampok para sa mga kliyente at sarili nitong negosyo upang manatiling mapagkumpitensya. Kasabay nito, obligado pa rin ang mga bangko na pangalagaan ang kanilang mga kliyente, protektahan ang kanilang mga impok at personal na data, na nagbibigay ng komportableng kondisyon para sa paggamit ng mga serbisyo. Lumalabas na ang mga organisasyon ay napipilitang gumugol ng maraming oras at pera sa pagpapanatili ng kalusugan ng kanilang imprastraktura ng IT, habang sabay na nag-aalok ng mga bagong serbisyo.
Ang bilang ng mga naiulat na pagkabigo sa teknolohiya sa sektor ng mga serbisyo sa pananalapi sa UK ay tumaas ng 187 porsiyento sa pagitan ng 2017 at 2018, ayon sa data na inilabas ng Financial Conduct Authority ng UK. Kadalasan, ang sanhi ng mga pagkabigo ay mga problema sa pagpapatakbo ng bagong pag-andar. Kasabay nito, kritikal para sa mga bangko na tiyakin ang patuloy na walang patid na operasyon ng lahat ng serbisyo at halos madalian na pag-uulat ng mga transaksyon. Ang mga kliyente ay palaging kinakabahan kapag ang kanilang pera ay nakatambay sa isang lugar. At ang isang kliyente na kinakabahan tungkol sa pera ay palaging tanda ng problema.
Ilang buwan pagkatapos ng pagkabigo sa TSB (sa panahong nagbitiw na ang CEO ng bangko), mga regulator ng pananalapi sa UK at ang Bank of England para sa talakayan sa mga isyu sa pagpapanatili ng pagpapatakbo. Kaya sinubukan nilang itaas ang tanong kung gaano kalalim ang mga bangko sa pagtugis ng pagbabago, at kung maaari nilang garantiya ang matatag na operasyon ng system na mayroon sila ngayon.
Ang dokumento ay nagmungkahi din ng mga pagbabago sa batas. Ito ay tungkol sa pagpapanagot sa mga tao sa loob ng kumpanya para sa kung ano ang mali sa mga IT system ng kumpanyang iyon. Ipinaliwanag ito ng mga parlyamentaryo ng Britanya sa ganitong paraan: βKapag ikaw ay personal na may pananagutan, at maaari kang mabangkarote o mabilanggo, ito ay lubos na magbabago sa saloobin sa trabaho, kabilang ang pagtaas ng dami ng oras na iniukol sa isyu ng pagiging maaasahan at kaligtasan.β
Mga resulta ng
Ang bawat pag-update at patch ay bumaba sa pamamahala ng panganib, lalo na kapag daan-daang milyong dolyar ang kasangkot. Pagkatapos ng lahat, kung may nangyaring mali, maaari itong magastos sa mga tuntunin ng pera at reputasyon. Ito ay tila malinaw na mga bagay. At ang pagkabigo ng bangko sa panahon ng migration ay dapat na nagturo sa kanila ng maraming.
Nagkaroon. Pero hindi niya ako tinuruan. Noong Nobyembre 2019, ang TSB, na muling nakamit ang kakayahang kumita at dahan-dahang pinapabuti ang reputasyon nito, "natutuwa" sa mga customer sa larangan ng teknolohiya ng impormasyon. Ang pangalawang suntok sa bangko ay nangangahulugan na mapipilitan itong isara ang 82 na sangay sa 2020 upang mabawasan ang mga gastos nito. O hindi lang siya makakatipid sa mga espesyalista sa IT.
Ang pagiging maramot sa IT sa huli ay may halaga. Iniulat ng TSB ang pagkawala ng $134 milyon noong 2018, kumpara sa kita na $206 milyon noong 2017. Ang mga gastos sa post-migration, kabilang ang kompensasyon sa customer, pagwawasto sa mga mapanlinlang na transaksyon (na tumaas nang husto sa panahon ng kaguluhan sa pagbabangko), at tulong ng third-party, ay umabot ng $419 milyon. Ang IT provider ng bangko ay sinisingil din ng $194 milyon para sa papel nito sa krisis.
Gayunpaman, anuman ang mga aral na natutunan mula sa pagkabigo ng TSB bank, magkakaroon pa rin ng mga pagkagambala. Sila ay hindi maiiwasan. Ngunit sa pagsubok at magandang code, ang mga pag-crash at downtime ay maaaring lubos na mabawasan. Naiintindihan ng Cloud4Y, na kadalasang tumutulong sa malalaking kumpanya na lumipat sa imprastraktura ng ulap, ang kahalagahan ng mabilis na paglipat mula sa isang system patungo sa isa pa. Samakatuwid, maaari kaming magsagawa ng pagsubok sa pagkarga at gumamit ng isang multi-level na backup system, pati na rin ang iba pang mga opsyon na nagbibigay-daan sa iyong suriin ang lahat ng posible bago simulan ang paglipat.
Ano pa ang mababasa mo sa blog?
β
β
β
β
β
Mag-subscribe sa aming -channel, para hindi makaligtaan ang susunod na artikulo! Nagsusulat kami ng hindi hihigit sa dalawang beses sa isang linggo at sa negosyo lamang.
Pinagmulan: www.habr.com