Сәтсіз АТ-инфрақұрылым көші-қоны 1,3 миллиард банктік клиент жазбаларының бүлінуіне әкелді. Мұның бәрі тестілеудің жеткіліксіздігі мен күрделі АТ жүйелеріне немқұрайлы көзқарастың салдарынан болды. Cloud4Y оның қалай болғанын айтып береді.
2018 жылы ағылшын тілінде оның Lloyds банк тобымен (екі компания 1995 жылы біріктірілген) екі жасар «ажырасуы» тым қымбат екенін түсінді. TSB бұрынғы серіктесімен асығыс клондалған Lloyds IT жүйелері арқылы әлі де байланысты болды. Ең сорақысы, банк «алимент» төлеуге мәжбүр болды, бұл лицензиялық жыл сайынғы 127 миллион доллар.
Бұрынғыларына ақша төлеуді ұнататын адамдар аз, сондықтан 22 жылдың 2018 сәуірінде сағат 18:00 TSB барлығын өзгертуі керек болатын 18 айлық жоспардың соңғы кезеңі басталды. 2,2 жылы TSB-ті 2015 миллиард долларға сатып алған испаниялық Banco Sabadell компаниясының IT жүйесіне миллиардтаған тұтынушы жазбаларын беру жоспарланған болатын.
Banco Sabadell бас директоры Хосе Олу Барселонадағы беделді конференц-залда қызметкерлердің мерекелік жиналысында 2 жылғы Рождествоға 2017 апта қалғанда алдағы оқиға туралы айтты. Ең маңызды көші-қон құралы Banco Sabadell әзірлеген жүйенің жаңа нұсқасы болды: Proteo. Ол тіпті TSB көші-қон жобасы үшін арнайы Proteo4UK деп өзгертілді.
Proteo4UK тұсаукесерінде Banco Sabadell атқарушы директоры Хайме Гвардиола Роможаро жаңа жүйенің 1000-нан астам маман жұмыс істеген Еуропада теңдесі жоқ ауқымды жоба екенін мақтан етті. Оның іске асырылуы Ұлыбританиядағы Banco Sabadell-тің өсуіне айтарлықтай серпін береді.
22 жылдың 2018 сәуірі көші-қон күні болып белгіленді. Бұл көктемнің ортасында тыныш жексенбілік кеш болды. Жазбалар бір жүйеден екінші жүйеге ауысқан кезде банктің IT жүйелері істен шықты. Жексенбі күні кешке банктік шоттарға қолжетімділік қалпына келтірілсе, банк баяу және біркелкі қызмет көрсетуге оралады деп күтуге болады.
Бірақ Олю мен Гвардиола Роможаро сахнадан Proteo4UK жобасының жүзеге асуы туралы қуана хабар беріп жатқанда, көші-қон процесіне жауапты қызметкерлер қатты қобалжыды. Аяқталуы 18 айға созылған жоба жоспардан айтарлықтай артта қалды және бюджетті асып түсті. Қосымша сынақтар өткізуге уақыт болмады. Бірақ компанияның барлық деректерін (есіңізде болсын, бұл миллиардтаған жазбалар) басқа жүйеге ауыстыру - бұл Геркулалық тапсырма.
Инженерлер себепсіз қобалжығаны белгілі болды.
Клиенттер тым ұзақ көрген сайттағы түйіндеме
TSB тіркелгілерге қол жеткізуді ашқаннан кейін 20 минуттан кейін көші-қонның біркелкі өткеніне сенімді бола отырып, проблемалар туралы алғашқы хабарламалар келді.
Халықтың ақшасы кенет шоттарынан жоғалып кетті. Елеусіз сомаға сатып алулар көп мың долларлық шығындар ретінде қате есепке алынды. Кейбір адамдар жеке шоттарына кіріп, олардың банктік шоттарын емес, мүлде басқа адамдардың есепшоттарын көрді.
Сағат 21:00-де TSB өкілдері жергілікті қаржылық реттеушіге (Ұлыбританияның қаржылық бақылау органы, FCA) банкте қиындыққа тап болғаны туралы хабарлады. Бірақ FCA қазірдің өзінде байқады: TSB шынымен нашар болды, ал тұтынушылар ақымақ болды. Және, әрине, олар шағымдана бастады (және қазіргі уақытта Twitter немесе Facebook-те бірнеше жолды тастау өте қиын емес). Сағат 23:30-да FCA-ға басқа қаржылық реттеуші, Пруденциалды реттеу органы (PRA) хабарласты, ол да бірдеңе дұрыс емес екенін сезді.
Түн ортасынан кейін олар банк өкілдерінің біріне хабарласып үлгерді. Және оларға жалғыз сұрақ қойыңыз: «Не болып жатыр?»
Қайғылы оқиғаның ауқымын түсіну үшін уақыт қажет болды, бірақ біз қазір көші-қон кезінде 1,3 миллион клиенттің 5,4 миллиард жазбасы бүлінгенін білеміз. Кем дегенде бір апта бойы клиенттер өз ақшаларын компьютерлер мен мобильді құрылғылардан басқара алмады. Олар несиені төлей алмады, және көптеген банк клиенттері несие тарихында дақ болды, сондай-ақ кешіктірілген комиссиялар алды.
TSB клиенттік онлайн банкі осылай көрінді
Ақаулар бірден пайда бола бастағанда, банк өкілдері проблемалардың «үзіліссіз» екенін айтты. Үш күннен кейін барлық жүйелер қалыпты деген мәлімдеме жасалды. Бірақ тұтынушылар проблемалар туралы хабарлауды жалғастырды. 26 жылдың 2018 сәуіріне дейін банктің бас атқарушы директоры Пол Пестер TSB «тізе бүккенін» мойындады, өйткені банктің IT инфрақұрылымында миллионға жуық клиенттің онлайн-банкинг қызметтеріне қол жеткізуіне кедергі келтіретін «өткізу қабілеті мәселесі» жалғасуда.
Тасымалдауға екі апта өтсе де, онлайн-банкинг қолданбасы әлі де SQL дерекқорына қатысты ішкі қателерге тап болды деп хабарланды.
Төлемдегі қиындықтар, әсіресе бизнес және ипотекалық шоттармен, төрт аптаға дейін жалғасты. Кез келген журналистер TSB көші-қон дағдарысының басында Lloyds Banking Group-тың көмек ұсынысынан бас тартқанын анықтады. Жалпы, онлайн қызметтерге кіруге және ақша аудару мүмкіндігіне байланысты мәселелер 3 қыркүйекке дейін байқалды.
Біраз тарих
Бірінші банкомат 27 жылы 1967 маусымда Энфилдтегі Barclays маңында ашылды
Банктік IT жүйелері клиенттердің қажеттіліктері мен банктен күтулері артқан сайын күрделене түсуде. Шамамен 40-60 жыл бұрын біз қолма-қол ақшаны енгізу немесе кассир арқылы алу үшін жұмыс уақытында жергілікті банк бөлімшесіне баруға қуанышты болар едік.
Шоттағы ақша сомасы банкке берген қолма-қол ақша мен монеталарға тікелей қатысты болды. Біздің үйдегі есептерді қалам мен қағазбен бақылауға болады, ал компьютерлік жүйелер клиенттерге қол жетімді болмады. Банк қызметкерлері есеп кітапшалары мен басқа ақпарат құралдарындағы деректерді ақшаны санайтын құрылғыларға орналастырды.
Бірақ 1967 жылы солтүстік Лондонда алғаш рет банк ғимаратында болмаған банкомат. Ал бұл оқиға банк ісін өзгертті. Пайдаланушыларға ыңғайлылық қаржы институттарының дамуының эталоны болды. Бұл банктерге клиенттермен және олардың ақшаларымен жұмыс істеу тұрғысынан күрделірек болуына көмектесті. Өйткені, компьютерлік жүйелер тек банк қызметкерлеріне ғана қолжетімді болса, олар клиенттермен қарым-қатынас жасаудың ескі, «қағаз» әдісіне қанағаттанған. Банкоматтардың, содан кейін онлайн-банкингтің пайда болуымен ғана қалың жұртшылық банктің IT жүйелеріне тікелей қол жеткізе алды.
Банкоматтар тек бастамасы болды. Көп ұзамай адамдар банкке телефон арқылы қоңырау шалу арқылы кассаға кезекке тұрудан құтылды. Ол үшін пайдаланушы «1» (ақшаны алу) немесе «2» (депозиттік қаражат) пернесін басқан кезде берілетін қос тонды көп жиілікті (DTMF) сигналдарын шешуге қабілетті оқырманға салынған арнайы карталар қажет болды.
Интернет және мобильді банкинг клиенттерді банктерді қуаттандыратын негізгі жүйелерге жақындатты. Әртүрлі шектеулер мен параметрлерге қарамастан, бұл жүйелердің барлығы бір-бірімен және негізгі негізгі компьютермен тиімді әрекеттесуі, шот балансын тексеруді, ақша аударымдарын жасауды және т.б.
Сіз, мысалы, шотыңыздағы ақша туралы ақпаратты көру немесе жаңарту үшін онлайн-банкке кірген кезде, аз клиенттер ақпарат жолының қаншалықты күрделі екендігі туралы ойлайды. Жүйеге кірген кезде бұл деректер серверлер жинағы арқылы беріледі; транзакция жасаған кезде жүйе бұл деректерді серверлік инфрақұрылымда көшіреді, содан кейін ол ауыр жүктерді көтереді — шоттарды төлеу үшін ақшаны бір шоттан екіншісіне аудару, төлемдер және жазылымдарды жалғастырыңыз.
Енді бұл процесті бірнеше миллиардқа көбейтіңіз. Билл және Мелинда Гейтс қорының көмегімен Дүниежүзілік банк жасаған мәліметтерге сәйкес, бүкіл әлем бойынша ересектердің банктік шоты бар. Бұл адамдардың әрқайсысының төлеуге тиісті шоттары бар. Біреу ипотека төлейді немесе балалар клубтары үшін ақша аударады, біреу Netflix жазылымы немесе бұлттық серверді жалға алу үшін төлейді. Және бұл адамдардың барлығы бірнеше банкті пайдаланады.
Бір банктің көптеген ішкі ІТ жүйелері (мобильді банкинг, банкоматтар және т.б.) бір-бірімен жай ғана әрекеттеспеу керек. Олар Бразилиядағы, Қытайдағы және Германиядағы басқа банк жүйелерімен өзара әрекеттесуі керек. Француз банкоматы Боливияның бір жерінде шығарылған банк картасындағы ақшаны бере алуы керек.
Ақша әрқашан жаһандық болды, бірақ бұрын ешқашан жүйе соншалықты күрделі болған емес. Банктік IT-жүйелерді пайдалану тәсілдерінің саны артып келеді, бірақ ескі әдістер әлі де қолданылуда. Банктің жетістігі көбінесе оның АТ-инфрақұрылымының қаншалықты «қолдануға болатынына» және банктің кенеттен орын алған сәтсіздікке қаншалықты тиімді төтеп бере алатындығына байланысты, соның салдарынан жүйе тоқтап қалады.
Тесттер жоқ - проблемаларға дайындалыңыз
Banco de Sabadell бас директоры Хамес Гвардиола (сол жақта) бәрі ойдағыдай болатынына сенімді болды. Болмады.
TSB компьютерлік жүйелері есептерді тез шешуде онша жақсы болмады. Әрине, бағдарламалық жасақтаманың ақаулары болды, бірақ іс жүзінде банк IT жүйелерінің шамадан тыс күрделілігіне байланысты «бұзды». Жаппай үзілістің алғашқы күндерінде дайындалған баяндамаға сәйкес, «жаңа қосымшалардың тіркесімі, екі Белсенді/Белсенді деректер орталықтарын пайдаланумен біріктірілген микросервистерді пайдаланудың артуы өндірісте күрделі тәуекелге әкелді».
Кейбір банктер, мысалы, HSBC, жаһандық деңгейде жұмыс істейді, сондықтан да өте күрделі, өзара байланысты жүйелері бар. Ланкастердегі HSBC IT менеджерінің айтуынша, олар үнемі тексеріліп, тасымалданып, жаңартылып отырады. Ол HSBC-ті басқа банктер өздерінің IT жүйелерін қалай басқаруы керек екенін көрсететін үлгі ретінде көреді: қызметкерлерді арнау және олардың уақытын өткізу. Бірақ сонымен бірге ол кішігірім банк үшін, әсіресе көші-қон тәжірибесі жоқ банк үшін мұны дұрыс жасау өте қиын міндет екенін мойындайды.
TSB көші-қоны қиын болды. Ал, сарапшылардың пікірінше, банк қызметкерлері біліктілік тұрғысынан мұндай күрделілік деңгейіне жете алмады. Бұған қоса, олар өздерінің шешімін тексеруге немесе көші-қонды алдын ала сынауға да алаңдамады.
Британ парламентінде банктік проблемалар туралы сөз сөйлеген кезде FCA бас директоры Эндрю Бэйли бұл күдікті растады. Нашар код TSB-дегі бастапқы проблемаларды ғана тудырған болуы мүмкін, бірақ жаһандық қаржылық желінің өзара байланысқан жүйелері оның қателіктерінің мәңгілік және қайтымсыз екенін білдірді. Банк IT архитектурасының басқа жерлерінде күтпеген қателерді көруді жалғастырды. Тұтынушылар мағынасыз немесе олардың мәселелеріне қатысы жоқ хабарламаларды алды.
Регрессиялық тестілеу өндіріске шығарылғанға дейін нашар кодты ұстау арқылы апатты болдырмауға көмектеседі және кері қайтарылмайтын қателерді жасау арқылы зиян келтіреді. Бірақ банк өзі білмейтін мина алаңынан өтуге шешім қабылдады. Оның салдары болжамды болды. Тағы бір мәселе шығындарды «оңтайландыру» болды. Ол өзін қалай көрсетті? Өйткені, бұрын Lloyds-те сақталған резервтік көшірмелерді жою туралы шешім қабылданған, өйткені олар тым көп ақшаны «жеп қойған».
Британдық банктер (және басқалары да) төрт-тоғыз қолжетімділік деңгейіне жетуге тырысуда, яғни 99,99%. Іс жүзінде бұл АТ жүйесі жылына 52 минутқа дейін үзіліспен кез келген уақытта қолжетімді болуы керек дегенді білдіреді. «Үш тоғыз» жүйесі, 99,9%, бір қарағанда онша ерекшеленбейді. Бірақ іс жүзінде бұл тоқтап қалу жылына 8 сағатқа жетеді дегенді білдіреді. Банк үшін «төрт тоғыз» жақсы, бірақ «үш тоғыз» емес.
Бірақ компания IT-инфрақұрылымына өзгерістер енгізген сайын тәуекелге барады. Өйткені, бірдеңе дұрыс емес болуы мүмкін. Өзгерістерді азайту проблемаларды болдырмауға көмектеседі, ал қажетті өзгертулер мұқият тексеруді қажет етеді. Британдық реттеушілер де осы мәселеге назар аударды.
Тоқтауларды болдырмаудың ең оңай жолы - жай ғана өзгерістерді азайту. Бірақ кез келген банк, кез келген басқа компания сияқты, бәсекеге қабілетті болып қалу үшін клиенттер мен өз бизнесі үшін көбірек пайдалы мүмкіндіктерді енгізуге мәжбүр. Сонымен қатар, банктер бұрынғысынша өз клиенттеріне қамқорлық жасауға, олардың жинақтары мен жеке деректерін қорғауға, қызметтерді пайдалану үшін қолайлы жағдайлар жасауға міндетті. Ұйымдар бір уақытта жаңа қызметтерді ұсына отырып, IT-инфрақұрылымының денсаулығын сақтауға көп уақыт пен ақша жұмсауға мәжбүр болады.
Біріккен Корольдіктің Қаржылық бақылау органы жариялаған мәліметтерге сәйкес, Ұлыбританиядағы қаржылық қызметтер секторындағы хабарланған технологиялық ақаулардың саны 187 және 2017 жылдар арасында 2018 пайызға өсті. Көбінесе сәтсіздіктердің себебі - жаңа функцияның жұмысындағы ақаулар. Бұл ретте банктер үшін барлық қызметтердің тұрақты үздіксіз жұмысын және транзакциялар туралы дерлік есеп беруді қамтамасыз ету өте маңызды. Клиенттер ақшасы бір жерде ілулі тұрғанда үнемі қобалжиды. Ал ақшаға қобалжыған клиент әрқашан қиындықтың белгісі.
TSB-дегі сәтсіздіктен бірнеше ай өткен соң (осы кезде банктің бас директоры отставкаға кетті), Ұлыбританияның қаржылық реттеушілері мен Англия банкі операциялық тұрақтылық мәселелерін талқылау үшін. Сондықтан олар банктер инновацияға қаншалықты тереңдеп кетті және олар қазіргі жүйенің тұрақты жұмысына кепілдік бере ала ма деген сұрақты көтеруге тырысты.
Құжатта заңнамаға өзгерістер енгізу де ұсынылды. Бұл компанияның IT жүйелеріндегі қателіктер үшін компания ішіндегі адамдарды жауапкершілікке тарту туралы болды. Британдық парламентарийлер мұны былай түсіндірді: «Сіз жеке жауапты болсаңыз және сіз банкротқа ұшырай аласыз немесе түрмеге түсе аласыз, бұл жұмысқа деген көзқарасты айтарлықтай өзгертеді, оның ішінде сенімділік пен қауіпсіздік мәселесіне бөлінген уақыт көлемін арттырады».
Нәтижелері
Әрбір жаңарту мен патч тәуекелдерді басқаруға түседі, әсіресе жүздеген миллион доллар тартылған кезде. Өйткені, егер бірдеңе дұрыс болмаса, ақша мен беделге байланысты шығын болуы мүмкін. Бұл анық нәрселер болып көрінетін. Ал банктің көші-қон кезіндегі сәтсіздігі оларға көп нәрсені үйретуі керек еді.
болды. Бірақ ол маған үйреткен жоқ. 2019 жылдың қарашасында тағы да кірістілікке қол жеткізген және өзінің беделін баяу жақсарта бастаған TSB тұтынушыларды «қуантты» ақпараттық технологиялар саласында. Банкке екінші соққы оның шығындарын азайту үшін 82 жылы 2020 филиалын жабуға мәжбүр болатынын білдірді. Немесе ол IT мамандарын үнемдей алмады.
АТ-ға деген сараңдық, сайып келгенде, қымбатқа түседі. TSB 134 жылы 2018 миллион доллар пайдамен салыстырғанда 206 жылы 2017 миллион доллар шығынға ұшырағанын хабарлады. Көші-қоннан кейінгі шығындар, соның ішінде клиенттерге өтемақы төлеу, жалған транзакцияларды түзету (банктік тәртіпсіздік кезінде күрт өсті) және үшінші тараптың көмегі 419 миллион долларды құрады. Банктің IT провайдерінен дағдарыстағы рөлі үшін де 194 миллион доллар төленді.
Дегенмен, TSB банкінің сәтсіздігінен қандай сабақ алынса да, үзілістер әлі де болады. Олар сөзсіз. Бірақ тестілеу мен жақсы кодтың көмегімен бұзылулар мен тоқтау уақытын айтарлықтай азайтуға болады. Ірі компанияларға бұлтты инфрақұрылымға көшуге жиі көмектесетін Cloud4Y бір жүйеден екіншісіне жылдам көшудің маңыздылығын түсінеді. Сондықтан, біз жүктеуді тестілеуді жүргізе аламыз және көп деңгейлі сақтық көшірме жүйесін, сондай-ақ тасымалдауды бастамас бұрын мүмкін болатынның бәрін тексеруге мүмкіндік беретін басқа опцияларды пайдалана аламыз.
Блогта тағы не оқуға болады?
→
→
→
→
→
Біздің жазылым Келесі мақаланы жіберіп алмау үшін арна! Біз аптасына екі реттен көп емес және тек бизнес бойынша жазамыз.
Ақпарат көзі: www.habr.com