Неуспешна миграция на ИТ инфраструктура доведе до повреда на записи на 1,3 милиарда банкови клиенти. Всичко това се дължи на недостатъчно тестване и несериозно отношение към сложните ИТ системи. Cloud4Y разказва как се е случило.
През 2018 г. английски осъзна, че неговият двегодишен „развод“ с банковата група Lloyds (и двете компании се сляха през 1995 г.) е твърде скъп. TSB все още беше свързан с бившия си партньор чрез набързо клонирани ИТ системи на Lloyds. Най-лошото от всичко е, че банката трябваше да плати „издръжка“, годишна такса за лиценз от 127 милиона долара.
Малко хора обичат да плащат пари на бившите си, така че на 22 април 2018 г. в 18:00 TSB започна последния етап от 18-месечен план, който трябваше да промени всичко. Беше планирано да се прехвърлят милиарди клиентски записи в ИТ системата на испанската компания Banco Sabadell, която купи TSB за 2,2 милиарда долара през 2015 г.
Изпълнителният директор на Banco Sabadell Хосе Олу говори за предстоящото събитие 2 седмици преди Коледа 2017 г. по време на празнична среща на персонала в престижна конферентна зала в Барселона. Най-важният инструмент за миграция трябваше да бъде нова версия на системата, разработена от Banco Sabadell: Proteo. Той дори беше преименуван на Proteo4UK специално за проекта за миграция на TSB.
На представянето на Proteo4UK изпълнителният директор на Banco Sabadell Хайме Гуардиола Ромохаро се похвали, че новата система е мащабен проект, който няма аналог в Европа, по който са работили над 1000 специалисти. И че прилагането му ще даде значителен тласък на растежа на Banco Sabadell в Обединеното кралство.
22 април 2018 г. беше определен за ден на миграцията. Беше тиха неделна вечер в средата на пролетта. ИТ системите на банката не работят, тъй като записите се прехвърлят от една система в друга. С възстановяването на публичния достъп до банковите сметки късно в неделя, може да се очаква банката бавно и плавно да се върне в експлоатация.
Но докато Олю и Гуардиола Ромохаро щастливо излъчваха от сцената за изпълнението на проекта Proteo4UK, служителите, отговорни за процеса на миграция, бяха много нервни. Проектът, чието изпълнение отне 18 месеца, изоставаше сериозно от графика и надхвърляше бюджета. Нямаше време за провеждане на допълнителни тестове. Но прехвърлянето на всички данни на компанията (които, не забравяйте, са милиарди записи) към друга система е херкулесова задача.
Оказа се, че инженерите са нервни с основателна причина.
Мъниче в сайта, което клиентите са виждали твърде дълго
20 минути след като TSB отвори достъп до акаунтите, като беше напълно уверен, че миграцията е преминала гладко, пристигнаха първите съобщения за проблеми.
Спестяванията на хората внезапно изчезнаха от сметките им. Покупките на незначителни суми бяха погрешно записани като разходи за много хиляди долари. Някои хора влизаха в личните си акаунти и виждаха не своите банкови сметки, а сметките на съвсем други хора.
В 21:00 часа представители на TSB информираха местния финансов регулатор (UK Financial Conduct Authority, FCA), че банката е в затруднение. Но FCA вече обърна внимание: TSB наистина се прецака лошо и клиентите бяха направени на глупаци. И, разбира се, те започнаха да се оплакват (и в днешно време пускането на няколко реда в Twitter или Facebook не е особено трудно). В 23:30 ч. FCA се свърза с друг финансов регулатор, Надзорният регулаторен орган (PRA), който също усети, че нещо не е наред.
Вече доста след полунощ успяват да се свържат с един от представителите на банката. И им задайте единствения въпрос: „Какво, по дяволите, става?“
Отне време, за да разберем мащаба на трагедията, но сега знаем, че 1,3 милиарда записа на 5,4 милиона клиенти са били повредени по време на миграцията. Най-малко една седмица клиентите не можеха да управляват парите си от своите компютри или мобилни устройства. Те не успяха да изплатят заема и много клиенти на банката получиха петно върху кредитната си история, както и такси за забава.
Ето как изглеждаше клиентската онлайн банка на TSB
Когато проблемите започнаха да се появяват, почти веднага след това, представители на банката настояха, че проблемите са „периодични“. Три дни по-късно излезе изявление, че всички системи са в норма. Но клиентите продължиха да съобщават за проблеми. Едва на 26 април 2018 г. главният изпълнителен директор на банката, Пол Пестър, призна, че TSB е „на колене“, тъй като ИТ инфраструктурата на банката продължава да има „проблем с честотната лента“, пречейки на около милион клиенти от достъп до онлайн банкови услуги.
Две седмици след миграцията все още се съобщаваше, че приложението за онлайн банкиране изпитва вътрешни грешки, свързани с SQL базата данни.
Трудностите с плащанията, особено с бизнес и ипотечните сметки, продължиха до четири седмици. И вездесъщите журналисти разбраха, че TSB е отхвърлила предложение за помощ от Lloyds Banking Group в самото начало на миграционната криза. Като цяло проблемите, свързани с влизането в онлайн услугите и възможността за прехвърляне на пари, бяха наблюдавани до 3 септември.
Малко история
Първият банкомат отваря врати на 27 юни 1967 г. близо до Barclays в Enfield
Банковите ИТ системи стават все по-сложни, тъй като нуждите и очакванията на клиентите от банката нарастват. Преди около 40-60 години щяхме да се радваме да посетим местния банков клон в работно време, за да депозираме пари в брой или да ги изтеглим чрез касата.
Паричната сума в сметката беше пряко свързана с парите и монетите, които дадохме на банката. Нашето домашно счетоводство можеше да се проследява с писалка и хартия, а компютърните системи не бяха достъпни за клиентите. Банкови служители поставят данни от банкови книжки и други носители в устройства, които броят парите.
Но през 1967 г. в северен Лондон за първи път банкомат, който не се намира в сградата на банката. И това събитие промени банкирането. Удобството за потребителите се превърна в еталон за развитието на финансовите институции. И това помогна на банките да станат по-сложни по отношение на работата с клиенти и техните пари. В крайна сметка, докато компютърните системи бяха достъпни само за банковите служители, те бяха доволни от стария, „хартиен“ начин за взаимодействие с клиентите. Едва с появата на банкоматите и след това на онлайн банкирането широката общественост получи директен достъп до банковите ИТ системи.
Банкоматите бяха само началото. Скоро хората успяха да избегнат опашката пред касата, като просто се обадиха на банката по телефона. Това изисква специални карти, поставени в четец, способен да дешифрира двутоналните многочестотни (DTMF) сигнали, предавани, когато потребителят натисне клавиша „1“ (теглене на пари) или „2“ (депозиране на средства).
Интернет и мобилното банкиране доближиха клиентите до основните системи, които захранват банките. Въпреки техните различни ограничения и настройки, всички тези системи трябва да взаимодействат ефективно помежду си и с главния мейнфрейм, като извършват проверки на баланса на сметката, извършват парични преводи и т.н.
Малко клиенти се замислят колко сложен е пътят на информацията, когато например влезете в онлайн банка, за да видите или актуализирате информация за парите по сметката си. Когато влезете, тези данни се предават през набор от сървъри; когато правите транзакция, системата дублира тези данни в бекенд инфраструктурата, която след това извършва тежката работа - прехвърля пари от една сметка в друга, за да плащате сметки, да правите плащания и продължаване на абонаментите.
Сега умножете този процес по няколко милиарда. Според данни, събрани от Световната банка с помощта на фондацията на Бил и Мелинда Гейтс, възрастните по целия свят имат банкова сметка. Всеки от тези хора има сметки за плащане. Някой плаща ипотека или прехвърля пари за детски клубове, някой плаща за абонамент за Netflix или наема облачен сървър. И всички тези хора използват повече от една банка.
Множеството вътрешни ИТ системи на една банка (мобилно банкиране, банкомати и др.) не трябва просто да взаимодействат помежду си. Те трябва да взаимодействат с други банкови системи в Бразилия, Китай и Германия. Френски банкомат трябва да може да издава пари, които са на банкова карта, издадена някъде в Боливия.
Парите винаги са били глобални, но никога досега системата не е била толкова сложна. Броят на начините за използване на банковите ИТ системи се увеличава, но старите начини все още се използват. Успехът на една банка до голяма степен зависи от това колко „поддържана” е нейната ИТ инфраструктура и колко ефективно банката може да се справи с внезапен срив, поради който системата ще бъде неактивна.
Без тестове - подгответе се за проблеми
Изпълнителният директор на Banco de Sabadell Хайме Гуардиола (вляво) беше уверен, че всичко ще мине гладко. Не се получи.
Компютърните системи на TSB не бяха много добри в бързото решаване на проблеми. Имаше, разбира се, софтуерни проблеми, но в действителност банката се „счупи“ поради прекомерната сложност на нейните ИТ системи. Според доклада, който беше изготвен в първите дни на масовото прекъсване, „комбинацията от нови приложения, увеличеното използване на микроуслуги, съчетано с използването на два активни/активни центъра за данни, доведе до сложен риск в производството.“
Някои банки, като HSBC, оперират глобално и следователно също имат много сложни, взаимосвързани системи. Но те се тестват редовно, мигрират и актуализират, според един ИТ мениджър на HSBC в Ланкастър. Той вижда HSBC като модел за това как другите банки трябва да управляват своите ИТ системи: като посвещават персонала и отделят времето си. Но в същото време той признава, че за по-малка банка, особено такава, която няма опит в миграцията, да направи това правилно е много трудна задача.
Миграцията на TSB беше трудна. И според експерти банковият персонал просто не би могъл да достигне това ниво на сложност по отношение на квалификацията. Освен това те дори не си направиха труда да проверят решението си или да тестват миграцията предварително.
По време на реч в британския парламент за банковите проблеми Андрю Бейли, главен изпълнителен директор на FCA, потвърди това подозрение. Лошият код вероятно е причинил само първоначалните проблеми в TSB, но взаимосвързаните системи на глобалната финансова мрежа означават, че нейните грешки са увековечени и необратими. Банката продължи да вижда неочаквани грешки на други места в своята ИТ архитектура. Клиентите получиха съобщения, които бяха безсмислени или несвързани с техните проблеми.
Регресионното тестване може да помогне за предотвратяване на бедствие, като улови лош код, преди да бъде пуснат в производство и причини щети чрез създаване на грешки, които не могат да бъдат отменени. Но банката реши да премине през минно поле, за което дори не подозираше. Последствията бяха предвидими. Друг проблем беше „оптимизирането“ на разходите. Как се прояви? Факт е, че преди това беше решено да се премахнат резервните копия, съхранявани в Lloyds, тъй като те „изядоха“ твърде много пари.
Британските банки (и други също) се стремят да постигнат ниво на наличност четири деветки, тоест 99,99%. На практика това означава, че ИТ системата трябва да бъде на разположение по всяко време, с до 52 минути престой годишно. Системата "три деветки", 99,9%, на пръв поглед не се различава много. Но в действителност това означава, че престоят достига 8 часа годишно. За банката „четири деветки“ е добре, но „три деветки“ не е.
Но всеки път, когато една компания прави промени в своята ИТ инфраструктура, тя поема рискове. Все пак нещо може да се обърка. Намаляването на промените може да помогне за избягване на проблеми, докато необходимите промени се нуждаят от внимателно тестване. И британските регулатори са съсредоточили вниманието си върху тази точка.
Може би най-лесният начин да избегнете прекъсване е просто да правите по-малко промени. Но всяка банка, както всяка друга компания, е принудена да въвежда все повече и повече полезни функции за клиентите и собствения си бизнес, за да остане конкурентоспособна. В същото време банките все още са длъжни да се грижат за своите клиенти, защитавайки техните спестявания и лични данни, осигурявайки комфортни условия за използване на услугите. Оказва се, че организациите са принудени да отделят много време и пари, за да поддържат изправността на своята ИТ инфраструктура, като същевременно предлагат нови услуги.
Броят на докладваните технологични повреди в сектора на финансовите услуги в Обединеното кралство се е увеличил със 187 процента между 2017 и 2018 г., според данни, публикувани от Службата за финансово поведение на Обединеното кралство. Най-често причината за неуспехите са проблеми в работата на новата функционалност. В същото време за банките е изключително важно да осигурят постоянна непрекъсната работа на всички услуги и почти моментално отчитане на транзакциите. Клиентите винаги са нервни, когато парите им висят някъде. А клиент, който е нервен за пари, винаги е знак за проблеми.
Няколко месеца след провала на TSB (по това време главният изпълнителен директор на банката беше подал оставка), финансовите регулатори на Обединеното кралство и Bank of England за обсъждане на проблемите на оперативната устойчивост. Така те се опитаха да повдигнат въпроса колко дълбоко са стигнали банките в преследването на иновациите и дали могат да гарантират стабилната работа на системата, която имат сега.
Документът предлага и промени в законодателството. Ставаше въпрос за държане на хората в компанията отговорни за това, което се обърка в ИТ системите на тази компания. Британските парламентаристи го обясниха по следния начин: „Когато носите лична отговорност и можете да фалирате или да отидете в затвора, това значително ще промени отношението към работата, включително увеличаване на времето, посветено на въпроса за надеждността и безопасността.“
Резултати от
Всяка актуализация и корекция се свежда до управление на риска, особено когато са включени стотици милиони долари. В крайна сметка, ако нещо се обърка, това може да струва скъпо от гледна точка на пари и репутация. Изглеждат очевидни неща. И фалитът на банката по време на миграцията трябваше да ги научи на много.
Имах. Но той не ме научи. През ноември 2019 г. TSB, която отново постигна доходност и бавно подобряваше репутацията си, „зарадва“ клиентите в областта на информационните технологии. Вторият удар върху банката означава, че тя ще бъде принудена да затвори 82 клона през 2020 г., за да намали разходите си. Или просто не можеше да спести от ИТ специалисти.
Скъперничеството с ИТ в крайна сметка си има цена. TSB отчете загуба от 134 милиона долара през 2018 г. в сравнение с печалба от 206 милиона долара през 2017 г. Разходите след миграцията, включително компенсации на клиенти, коригиране на измамни транзакции (които се увеличиха рязко по време на банковия хаос) и помощ от трети страни, възлизат на 419 милиона долара. ИТ доставчикът на банката също получи 194 милиона долара за ролята си в кризата.
Въпреки това, без значение какви поуки са извлечени от фалита на банката TSB, смущения все пак ще има. Те са неизбежни. Но с тестване и добър код сривовете и времето на престой могат да бъдат значително намалени. Cloud4Y, който често помага на големи компании да мигрират към облачна инфраструктура, разбира важността на бързото преминаване от една система към друга. Следователно можем да проведем тестове за натоварване и да използваме многостепенна система за архивиране, както и други опции, които ви позволяват да проверите всичко възможно, преди да започнете миграцията.
Какво друго можете да прочетете в блога?
→
→
→
→
→
Абонирайте се за нашите -канал, за да не пропуснете следващата статия! Пишем не повече от два пъти седмично и само по работа.
Източник: www.habr.com