Неуспела миграција ИТ инфраструктуре резултирала је корупцијом 1,3 милијарде банкарских података о клијентима. Све то због недовољног тестирања и неозбиљног односа према сложеним ИТ системима. Цлоуд4И говори како се то догодило.
У 2018. енглески схватио да је његов двогодишњи „развод“ са банкарском групом Ллоидс (обе компаније спојене 1995.) прескуп. ТСБ је и даље био везан за свог бившег партнера преко на брзину клонираних Ллоидс ИТ система. Најгоре од свега, банка је морала да плати „алиментацију“, годишњу накнаду за лиценцирање од 127 милиона долара.
Мало ко воли да уплаћује новац својим бившим, па је 22. априла 2018. у 18:00 ТСБ започео завршну фазу 18-месечног плана који је требало да промени све. Планирано је да се милијарде података о корисницима пренесу у ИТ систем шпанске компаније Банцо Сабаделл, која је купила ТСБ за 2,2 милијарде долара још 2015. године.
Извршни директор Банцо Сабаделл Хосе Олу говорио је о предстојећем догађају 2 недеље пре Божића 2017. током свечаног састанка особља у престижној конференцијској сали у Барселони. Најважнији алат за миграцију требало је да буде нова верзија система коју је развио Банцо Сабаделл: Протео. Чак је преименован у Протео4УК посебно за пројекат миграције ТСБ-а.
На представљању Протео4УК, извршни директор Банцо Сабаделл Хаиме Гуардиола Ромојаро похвалио се да је нови систем пројекат великих размера који нема аналога у Европи, на којем је радило преко 1000 стручњака. И да ће његова имплементација пружити значајан подстицај расту Банцо Сабаделл у Великој Британији.
За дан миграције одређен је 22. април 2018. године. Било је тихо недељно вече средином пролећа. ИТ системи банке су били у квару јер се евиденција преносила са једног система на други. С обзиром да је јавни приступ банковним рачунима обновљен касно у недељу, очекивало би се да ће се банка полако и глатко вратити у рад.
Али док су Ољу и Гвардиола Ромојаро радосно преносили са бине имплементацију пројекта Протео4УК, запослени одговорни за процес миграције били су веома нервозни. Пројекат, за који је било потребно 18 месеци да се заврши, озбиљно је каснио и премашио буџет. Није било времена за спровођење додатних тестова. Али преношење свих података компаније (који, запамтите, представљају милијарде записа) на други систем је херкуловски задатак.
Испоставило се да су инжењери били нервозни са добрим разлогом.
Стуб на сајту који су купци видели предуго
20 минута након што је ТСБ отворио приступ налозима, потпуно уверен да је миграција протекла без проблема, стигли су први извештаји о проблемима.
Људска уштеђевина изненада је нестала са њихових рачуна. Куповине безначајних износа су погрешно евидентиране као расходи од више хиљада долара. Неки људи су се улоговали на своје личне налоге и видели не своје банковне рачуне, већ рачуне потпуно других људи.
У 21:00, представници ТСБ-а су обавестили локалног финансијског регулатора (Управу за финансијско понашање Велике Британије, ФЦА) да је банка у проблемима. Али ФЦА је већ приметила: ТСБ је заиста гадно зезнуо, а купци су направљени будале. И, наравно, почели су да се жале (а данас, испуштање неколико редака на Твиттер или Фацебоок није посебно тешко). У 23:30, ФЦА је контактирао други финансијски регулатор, Агенција за пруденциалну регулативу (ПРА), која је такође осетила да нешто није у реду.
Већ доста после поноћи успели су да дођу до једног од представника банке. И поставите им једино питање: "шта се дођавола дешава?"
Требало је времена да се разуме размера трагедије, али сада знамо да је 1,3 милијарде записа о 5,4 милиона купаца оштећено током миграције. Најмање недељу дана клијенти нису могли да управљају својим новцем са својих рачунара или мобилних уређаја. Нису били у могућности да отплате кредит, а многи клијенти банака су добили мрљу на својој кредитној историји, као и накнаде за кашњење.
Овако је изгледала ТСБ клијентска онлајн банка
Када су кварови почели да се појављују, скоро одмах након тога, представници банке су инсистирали да су проблеми „повремени“. Три дана касније издато је саопштење да су сви системи нормални. Али купци су наставили да пријављују проблеме. Тек 26. априла 2018. извршни директор банке, Пол Пестер, признао је да је ТСБ „на коленима“ јер је ИТ инфраструктура банке и даље имала „проблем са пропусним опсегом“ који спречава око милион клијената да приступе услугама онлајн банкарства.
Две недеље након миграције, пријављено је да апликација за онлајн банкарство још увек има интерне грешке у вези са СКЛ базом података.
Потешкоће у плаћању, посебно код пословних и хипотекарних рачуна, настављене су и до четири недеље. А свеприсутни новинари су сазнали да је ТСБ на самом почетку миграционе кризе одбио понуду за помоћ Ллоидс Банкинг Гроуп. Генерално, проблеми повезани са пријављивањем на онлајн услуге и могућношћу преноса новца примећени су до 3. септембра.
Мало историје
Први банкомат отворен је 27. јуна 1967. у близини Барклиса у Енфилду
Банкарски ИТ системи постају све сложенији како се потребе клијената и очекивања од банке повећавају. Пре отприлике 40-60 година, радо бисмо посетили нашу локалну филијалу банке током радног времена да уплатимо готовину или је подигнемо преко благајне.
Количина новца на рачуну била је директно повезана са готовином и новчићима које смо дали банци. Наше кућно рачуноводство се могло пратити оловком и папиром, а компјутерски системи нису били доступни клијентима. Запослени у банци стављали су податке из књижица и других медија у уређаје који су бројали новац.
Али 1967. први пут у северном Лондону банкомат који се није налазио у просторијама банке. И овај догађај је променио банкарство. Погодност корисника постала је мерило за развој финансијских институција. А то је помогло банкама да постану софистицираније у погледу рада са клијентима и њиховим новцем. На крају крајева, док су компјутерски системи били доступни само запосленима у банкама, они су били задовољни старим, „папирним” начином интеракције са клијентима. Тек са појавом банкомата, а потом и онлајн банкарства, шира јавност је добила директан приступ банкарским ИТ системима.
Банкомати су били само почетак. Убрзо су људи могли да избегну ред на каси тако што су једноставно позвали банку телефоном. За то су биле потребне посебне картице уметнуте у читач који је способан да дешифрује двотонске вишефреквентне (ДТМФ) сигнале који се преносе када корисник притисне тастер „1“ (подизање новца) или „2“ (депозит средстава).
Интернет и мобилно банкарство приближили су клијенте основним системима који покрећу банке. Упркос различитим ограничењима и подешавањима, сви ови системи морају ефикасно да комуницирају једни са другима и са главним рачунаром, вршећи проверу стања рачуна, вршећи трансфере новца итд.
Мало клијената размишља о томе колико је сложен пут информација када се, на пример, пријавите у онлајн банку да бисте видели или ажурирали информације о новцу на свом рачуну. Када се пријавите, ови подаци се прослеђују кроз скуп сервера; када извршите трансакцију, систем дуплира ове податке у позадинској инфраструктури, која онда обавља тежак посао — преноси новац са једног налога на други за плаћање рачуна, плаћања и наставите са претплатом.
Сада помножите овај процес са неколико милијарди. Према подацима које је прикупила Светска банка уз помоћ Фондације Била и Мелинде Гејтс, одрасли широм света имају банковни рачун. Свако од ових људи мора да плати рачуне. Неко плаћа хипотеку или преноси новац за дечије клубове, неко плаћа претплату на Нетфликс или изнајмљивање сервера у облаку. И сви ови људи користе више од једне банке.
Бројни интерни ИТ системи једне банке (мобилно банкарство, банкомати, итд.) не смеју једноставно да комуницирају једни са другима. Они морају да комуницирају са другим банкарским системима у Бразилу, Кини и Немачкој. Француски банкомат би требало да буде у могућности да изда новац који се налази на банковној картици издатој негде у Боливији.
Новац је одувек био глобалан, али никада раније систем није био тако сложен. Број начина коришћења банкарских ИТ система се повећава, али стари начини су и даље у употреби. Успех банке у великој мери зависи од тога колико је њена ИТ инфраструктура „одржива“ и колико ефикасно банка може да се носи са изненадним кваром због којег ће систем бити неактиван.
Без тестова - припремите се за проблеме
Извршни директор Банцо де Сабаделл Хаиме Гуардиола (лево) био је уверен да ће све проћи глатко. Није успело.
ТСБ-ови компјутерски системи нису били баш добри у брзом решавању проблема. Било је, наравно, софтверских грешака, али у стварности банка је „пукла“ због превелике сложености њених ИТ система. Према извештају, који је припремљен у раним данима масовног прекида рада, „комбинација нових апликација, повећана употреба микросервиса у комбинацији са употребом два активна (активна/активна) дата центра довела је до сложеног ризика у производњи.
Неке банке, као што је ХСБЦ, послују глобално и стога имају веома сложене, међусобно повезане системе. Али они се редовно тестирају, мигрирају и ажурирају, према једном ИТ менаџеру ХСБЦ-а у Ланкастеру. Он види ХСБЦ као модел како друге банке треба да управљају својим ИТ системима: посвећујући особље и трошећи своје време. Али у исто време признаје да је за мању банку, посебно ону која нема миграционог искуства, веома тежак задатак да то уради како треба.
ТСБ миграција је била тешка. А, према експертима, особље банке једноставно не би могло да достигне овај ниво сложености у смислу квалификација. Поред тога, нису се чак ни потрудили да унапред провере своје решење или тестирају миграцију.
Током говора у британском парламенту о банкарским проблемима, Ендрју Бејли, извршни директор ФЦА, потврдио је ову сумњу. Лош код је вероватно изазвао само почетне проблеме у ТСБ-у, али су међусобно повезани системи глобалне финансијске мреже значили да су се његове грешке овековечиле и да су неповратне. Банка је наставила да виђа неочекиване грешке на другим местима у својој ИТ архитектури. Корисници су добијали поруке које су биле бесмислене или нису биле повезане са њиховим проблемима.
Регресионо тестирање би могло да помогне у спречавању катастрофе тако што ће ухватити лош код пре него што је пуштен у производњу и проузроковати штету стварањем грешака које се не могу вратити. Али банка је одлучила да прође кроз минско поље за које није ни знала. Последице су биле предвидиве. Други проблем је била „оптимизација“ трошкова. Како се то манифестовало? Чињеница је да је раније одлучено да се укину резервне копије које се чувају у Ллоидс-у, јер су „појеле“ превише новца.
Британске банке (и друге такође) настоје да постигну ниво расположивости четири деветке, односно 99,99%. У пракси, то значи да ИТ систем мора бити доступан у сваком тренутку, са до 52 минута застоја годишње. Систем „три деветке“, 99,9%, на први поглед се не разликује много. Али у стварности то значи да застоји достижу 8 сати годишње. За банку је „четири деветке“ добро, али „три деветке“ није.
Али сваки пут када компанија направи промене у својој ИТ инфраструктури, она преузима ризик. На крају крајева, нешто може поћи наопако. Смањење промена може помоћи да се избегну проблеми, док потребне промене захтевају пажљиво тестирање. Британски регулатори су усредсредили своју пажњу на ову тачку.
Можда је најлакши начин да избегнете застоје да једноставно направите мање промена. Али свака банка, као и свака друга компанија, принуђена је да уводи све више корисних функција за клијенте и сопствено пословање како би остала конкурентна. Истовремено, банке су и даље у обавези да брину о својим клијентима, штитећи њихову штедњу и личне податке, обезбеђујући угодне услове за коришћење услуга. Испоставило се да су организације принуђене да троше много времена и новца на одржавање здравља своје ИТ инфраструктуре, док истовремено нуде нове услуге.
Број пријављених технолошких кварова у сектору финансијских услуга у Великој Британији порастао је за 187 одсто између 2017. и 2018. године, према подацима које је објавила британска Управа за финансијско понашање. Најчешће, узрок кварова су проблеми у раду нове функционалности. Истовремено, за банке је од кључне важности да обезбеде константан несметан рад свих услуга и готово тренутно извештавање о трансакцијама. Клијенти су увек нервозни када им новац негде виси. А клијент који је нервозан због новца увек је знак невоље.
Неколико месеци након неуспеха у ТСБ-у (до тада је извршни директор банке дао оставку), британски финансијски регулатори и Банка Енглеске за дискусију о питањима оперативне одрживости. Тако су покушали да поставе питање колико су банке дубоко отишле у потрази за иновацијама и да ли могу да гарантују стабилан рад система који сада имају.
У документу су такође предложене измене закона. Радило се о томе да људи унутар компаније буду одговорни за оно што пође по злу у ИТ системима те компаније. Британски парламентарци су то објаснили овако: „Када сте лично одговорни, а можете банкротирати или отићи у затвор, то ће умногоме променити однос према послу, укључујући и повећање количине времена посвећеног питању поузданости и безбедности.
Резултати
Свако ажурирање и закрпа се своде на управљање ризиком, посебно када се ради о стотинама милиона долара. На крају крајева, ако нешто крене наопако, то може бити скупо у смислу новца и репутације. Чинило би се очигледним стварима. А неуспех банке током миграције требало је много да их научи.
Хад. Али он ме није научио. У новембру 2019. ТСБ, који је поново постигао профитабилност и полако поправљао своју репутацију, „одушевио“ је купце у области информационих технологија. Други удар на банку значио је да ће бити принуђена да затвори 82 филијале 2020. како би смањила своје трошкове. Или једноставно није могао да уштеди на ИТ стручњацима.
Шкртост са ИТ на крају има цену. ТСБ је пријавио губитак од 134 милиона долара у 2018, у поређењу са профитом од 206 милиона долара у 2017. Трошкови након миграције, укључујући компензацију клијентима, исправљање лажних трансакција (које су нагло порасле током банкарског хаоса) и помоћ треће стране, износили су 419 милиона долара. ИТ провајдеру банке је такође наплаћено 194 милиона долара за своју улогу у кризи.
Међутим, без обзира на поуке из пропасти ТСБ банке, поремећаји ће и даље бити. Они су неизбежни. Али уз тестирање и добар код, рушења и застоји могу бити знатно смањени. Цлоуд4И, који често помаже великим компанијама да пређу на инфраструктуру облака, разуме важност брзог преласка са једног система на други. Због тога можемо да спроведемо тестирање оптерећења и користимо систем резервних копија на више нивоа, као и друге опције које вам омогућавају да проверите све што је могуће пре него што започнете миграцију.
Шта још можете прочитати на блогу?
→
→
→
→
→
Претплатите се на наш -канал, да не пропустите следећи чланак! Пишемо не више од два пута недељно и само пословно.
Извор: ввв.хабр.цом