Muvaffaqiyatsiz IT infratuzilmasi migratsiyasi 1,3 milliard bank mijozlari yozuvlarining buzilishiga olib keldi. Bularning barchasi sinovlarning etarli darajada o'tkazilmaganligi va murakkab IT tizimlariga beparvo munosabat tufayli edi. Cloud4Y bu qanday sodir bo'lganini aytib beradi.
2018 yilda ingliz tilida Lloyds bank guruhi bilan ikki yillik "ajrashish" (har ikki kompaniya 1995 yilda birlashtirilgan) juda qimmat ekanligini tushundi. TSB hali ham o'zining sobiq hamkori bilan tezda klonlangan Lloyds IT tizimlari orqali bog'langan edi. Eng yomoni, bank "aliment" to'lashi kerak edi, bu yiliga 127 million dollarlik litsenziya to'lovi.
Kam odam o'z eskilariga pul to'lashni yaxshi ko'radi, shuning uchun 22 yil 2018 aprel soat 18:00 da TSB hamma narsani o'zgartirishi kerak bo'lgan 18 oylik rejaning yakuniy bosqichini boshladi. 2,2 yilda TSBni 2015 milliard dollarga sotib olgan Ispaniyaning Banco Sabadell kompaniyasining IT tizimiga milliardlab mijozlar yozuvlarini o'tkazish rejalashtirilgan edi.
Banco Sabadell bosh direktori Xose Olu Barselonadagi nufuzli konferentsiya zalida bo'lib o'tgan bayramona xodimlar yig'ilishida 2 yilgi Rojdestvodan 2017 hafta oldin bo'lajak voqea haqida gapirdi. Eng muhim migratsiya vositasi Banco Sabadell: Proteo tomonidan ishlab chiqilgan tizimning yangi versiyasi bo'lishi kerak edi. Hatto TSB migratsiya loyihasi uchun maxsus Proteo4UK nomini oldi.
Proteo4UK taqdimotida Banco Sabadell ijrochi direktori Xayme Gvardiola Romojaro yangi tizim Yevropada o‘xshashi bo‘lmagan, 1000 dan ortiq mutaxassislar ishlagan yirik loyiha ekanligi haqida maqtandi. Va uning amalga oshirilishi Buyuk Britaniyada Banco Sabadell o'sishiga sezilarli turtki beradi.
22 yil 2018 aprel migratsiya kuni etib belgilandi. Bu bahorning o'rtalarida sokin yakshanba oqshomi edi. Yozuvlar bir tizimdan ikkinchisiga o‘tkazilayotganda bankning IT tizimlari ishlamay qolgan. Yakshanba kuni kechki payt bank hisoblariga jamoatchilik kirishi tiklangani sababli, bank asta-sekin va muammosiz xizmatga qaytishini kutish mumkin.
Ammo Olyu va Gvardiola Romojaro Proteo4UK loyihasining amalga oshirilishi haqida sahnadan xursandchilik bilan translyatsiya qilishayotgan bir paytda, migratsiya jarayoniga mas'ul xodimlar juda asabiy edi. 18 oy davomida amalga oshirilgan loyiha rejadan jiddiy ortda qoldi va byudjetdan oshib ketdi. Qo'shimcha testlarni o'tkazish uchun vaqt yo'q edi. Ammo kompaniyaning barcha ma'lumotlarini (esda tutingki, milliardlab yozuvlar) boshqa tizimga o'tkazish Herkulning vazifasidir.
Ma'lum bo'lishicha, muhandislar yaxshi sabablarga ko'ra asabiylashgan.
Mijozlar uzoq vaqt davomida ko'rgan saytdagi stub
TSB hisoblarga kirishni ochganidan 20 daqiqa o'tgach, migratsiya muammosiz o'tganiga to'liq ishonch hosil qilgan holda, muammolar haqida birinchi xabarlar keldi.
Odamlarning omonatlari birdan hisoblaridan g‘oyib bo‘ldi. Arzimagan summadagi xaridlar xatolik bilan ko'p ming dollarlik xarajatlar sifatida qayd etilgan. Ba'zi odamlar o'zlarining shaxsiy hisoblariga kirib, bank hisoblarini emas, balki butunlay boshqa odamlarning hisoblarini ko'rishdi.
Soat 21:00 da TSB vakillari mahalliy moliyaviy regulyatorga (Buyuk Britaniyaning Financial Conduct Authority, FCA) bank muammoga duch kelgani haqida xabar berishdi. Ammo FCA allaqachon e'tiborga olgan: TSB haqiqatan ham yomon ahvolga tushib qoldi va mijozlarni ahmoq qilishdi. Va, albatta, ular shikoyat qila boshladilar (va bugungi kunda Twitter yoki Facebook-da bir nechta satrlarni tashlash juda qiyin emas). Soat 23:30 da FCA boshqa moliyaviy regulyator, Prudensial tartibga solish organi (PRA) bilan bog'landi, u ham biror narsa noto'g'ri ekanligini sezdi.
Yarim tundan keyin ular bank vakillaridan birining oldiga borishga muvaffaq bo'lishdi. Va ularga bitta savol bering: "Nima bo'lyapti?"
Fojia ko‘lamini tushunish uchun vaqt kerak bo‘ldi, ammo biz endi bilamizki, migratsiya paytida 1,3 million mijozning 5,4 milliard yozuvi shikastlangan. Kamida bir hafta davomida mijozlar o'z pullarini kompyuterlari yoki mobil qurilmalaridan boshqara olmadilar. Ular kreditni to'lay olmadilar va ko'plab bank mijozlari kredit tarixida nuqsonlar, shuningdek, kechiktirilgan to'lovlarni oldilar.
TSB mijoz onlayn-banki shunday ko'rinishga ega edi
Xatolar paydo bo'la boshlaganda, deyarli darhol bank vakillari muammolar "vaqti-vaqti bilan" ekanligini ta'kidladilar. Uch kundan keyin barcha tizimlar normal ekanligi haqida bayonot berildi. Ammo mijozlar muammolar haqida xabar berishda davom etishdi. 26-yilning 2018-apreliga qadar bank bosh direktori Pol Pester TSB “tizza cho‘kkanini” tan oldi, chunki bankning IT infratuzilmasi “o‘tkazish qobiliyati muammosi”ga ega bo‘lib, millionga yaqin mijozlarning onlayn-banking xizmatlaridan foydalanishiga to‘sqinlik qilmoqda.
Migratsiyadan ikki hafta o'tgach, onlayn-banking ilovasi hali ham SQL ma'lumotlar bazasi bilan bog'liq ichki xatolarga duch kelayotgani xabar qilindi.
To'lovlar, ayniqsa biznes va ipoteka to'lovlari bilan bog'liq qiyinchiliklar to'rt haftagacha davom etdi. Va hamma joyda bo'lgan jurnalistlar TSB migratsiya inqirozining boshida Lloyds Banking Groupning yordam taklifini rad etganini aniqladilar. Umuman olganda, onlayn xizmatlarga kirish va pul o'tkazish imkoniyati bilan bog'liq muammolar 3 sentyabrgacha kuzatildi.
Biroz tarix
Birinchi bankomat 27 yil 1967 iyunda Enfilddagi Barclays yaqinida ochildi
Mijozlarning ehtiyojlari va bankdan kutishlari ortib borayotganligi sababli bank IT tizimlari tobora murakkablashib bormoqda. Taxminan 40-60 yil muqaddam naqd pul qo'yish yoki kassa orqali olish uchun ish vaqtida mahalliy bank filialimizga tashrif buyurishdan mamnun bo'lardik.
Hisobdagi pul miqdori biz bankka bergan naqd pul va tangalar bilan bevosita bog'liq edi. Bizning uy hisobimizni qog'oz va qalam bilan kuzatish mumkin edi va kompyuter tizimlari mijozlar uchun ochiq emas edi. Bank xodimlari hisob kitoblari va boshqa ommaviy axborot vositalaridagi ma'lumotlarni pulni hisoblaydigan qurilmalarga joylashtirdilar.
Ammo 1967 yilda Shimoliy Londonda birinchi marta bank binosida bo'lmagan bankomat. Va bu voqea bank faoliyatini o'zgartirdi. Foydalanuvchilar uchun qulaylik moliya institutlari rivojlanishining mezoniga aylandi. Bu esa banklarga mijozlar va ularning pullari bilan ishlash nuqtai nazaridan yanada murakkab bo‘lishiga yordam berdi. Axir, kompyuter tizimlari faqat bank xodimlari uchun mavjud bo'lsa-da, ular mijozlar bilan muloqot qilishning eski, "qog'oz" usulidan mamnun edilar. Bankomatlar, so‘ngra onlayn-banking paydo bo‘lishi bilangina keng jamoatchilik bank IT tizimlaridan to‘g‘ridan-to‘g‘ri foydalanish imkoniyatiga ega bo‘ldi.
Bankomatlar faqat boshlanishi edi. Ko‘p o‘tmay, odamlar bankka telefon orqali qo‘ng‘iroq qilib, kassadagi navbatdan qochib qutulishdi. Buning uchun foydalanuvchi “1” (pulni yechib olish) yoki “2” (depozit mablag‘lari) tugmachalarini bosganida uzatiladigan ikki tonli ko‘p chastotali (DTMF) signallarini shifrlash qobiliyatiga ega bo‘lgan o‘quvchiga maxsus kartalar o‘rnatilishi kerak edi.
Internet va mobil banking mijozlarni banklarni quvvatlaydigan asosiy tizimlarga yaqinlashtirdi. Turli xil cheklovlar va sozlamalarga qaramasdan, ushbu tizimlarning barchasi bir-biri bilan va asosiy asosiy kompyuter bilan samarali o'zaro ta'sir qilishi, hisob balansini tekshirish, pul o'tkazmalarini amalga oshirish va hokazo.
Siz, masalan, hisobingizdagi pul haqidagi ma'lumotlarni ko'rish yoki yangilash uchun onlayn bankka kirganingizda, bir nechta mijozlar ma'lumot yo'li qanchalik murakkab ekanligi haqida o'ylaydi. Tizimga kirganingizda, bu maʼlumotlar serverlar toʻplami orqali uzatiladi; tranzaktsiyani amalga oshirganingizda, tizim bu maʼlumotlarni backend infratuzilmasida takrorlaydi, keyin esa ogʻir yuklarni koʻtaradi – toʻlovlarni toʻlash uchun pulni bir hisobdan ikkinchisiga oʻtkazish, to'lovlarni amalga oshiring va obunani davom ettiring.
Endi bu jarayonni bir necha milliardga ko'paytiring. Jahon banki Bill va Melinda Geyts jamg'armasi yordamida tuzilgan ma'lumotlarga ko'ra, butun dunyo bo'ylab kattalar bank hisobiga ega. Bu odamlarning har birida to'lash uchun to'lovlar bor. Kimdir ipoteka to'laydi yoki bolalar klublari uchun pul o'tkazadi, kimdir Netflix obunasi yoki bulutli serverni ijaraga olish uchun to'laydi. Va bu odamlarning barchasi bir nechta banklardan foydalanadi.
Bitta bankning ko'plab ichki IT tizimlari (mobil banking, bankomatlar va boshqalar) bir-biri bilan shunchaki o'zaro ta'sir qilmasligi kerak. Ular Braziliya, Xitoy va Germaniyadagi boshqa bank tizimlari bilan o'zaro aloqada bo'lishlari kerak. Frantsiya bankomati Boliviyaning biron bir joyida chiqarilgan bank kartasidagi pulni berish imkoniyatiga ega bo'lishi kerak.
Pul har doim global bo'lgan, lekin tizim hech qachon bunchalik murakkab bo'lmagan. Bank IT tizimlaridan foydalanish usullari soni ortib bormoqda, ammo eski usullar hali ham qo'llanilmoqda. Bankning muvaffaqiyati ko'p jihatdan uning IT infratuzilmasi qanchalik "qo'llab-quvvatlanishi" va bankning to'satdan nosozlik bilan qanchalik samarali kurasha olishiga bog'liq, buning natijasida tizim ishlamay qoladi.
Sinovlar yo'q - muammolarga tayyorlaning
Banco de Sabadell bosh direktori Xayme Gvardiola (chapda) hammasi muammosiz ketishiga ishongan. Ishdan chiqmadi.
TSB ning kompyuter tizimlari muammolarni tezda hal qilishda unchalik yaxshi emas edi. Albatta, dasturiy ta'minotdagi nosozliklar bo'lgan, ammo aslida bank IT tizimlarining haddan tashqari murakkabligi tufayli "buzilgan". Ommaviy uzilishning dastlabki kunlarida tayyorlangan hisobotga ko'ra, "yangi ilovalarning kombinatsiyasi, ikkita Faol/Faol ma'lumot markazlaridan foydalanish bilan birgalikda mikroservislardan foydalanishning ko'payishi ishlab chiqarishda murakkab xavfga olib keldi".
HSBC kabi ba'zi banklar global miqyosda ishlaydi va shuning uchun ham juda murakkab, o'zaro bog'langan tizimlarga ega. Lankasterdagi HSBC IT-menejerining so'zlariga ko'ra, ular muntazam ravishda sinovdan o'tkaziladi, ko'chiriladi va yangilanadi. U HSBC ni boshqa banklar o‘z IT-tizimlarini qanday boshqarishi kerakligi uchun namuna sifatida ko‘radi: xodimlarni bag‘ishlash va vaqtlarini sarflash. Ammo shu bilan birga, u kichikroq, ayniqsa migratsiya tajribasiga ega bo'lmagan bank uchun buni to'g'ri bajarish juda qiyin ish ekanligini tan oladi.
TSB migratsiyasi qiyin edi. Mutaxassislarning fikriga ko'ra, bank xodimlari malaka jihatidan bunday murakkablik darajasiga erisha olmadilar. Bundan tashqari, ular o'zlarining echimlarini tekshirish yoki migratsiyani oldindan sinab ko'rishni ham bezovta qilishmadi.
Britaniya parlamentida bank muammolari bo'yicha nutq so'zlagan FCA bosh direktori Endryu Beyli bu shubhani tasdiqladi. Noto'g'ri kod TSBda faqat dastlabki muammolarni keltirib chiqargan bo'lishi mumkin, ammo global moliyaviy tarmoqning o'zaro bog'langan tizimlari uning xatolarini abadiy va qaytarib bo'lmaydiganligini anglatardi. Bank IT arxitekturasining boshqa joylarida kutilmagan xatolarni ko'rishda davom etdi. Mijozlar ma'nosiz yoki ularning muammolari bilan bog'liq bo'lmagan xabarlarni oldilar.
Regressiya testi ishlab chiqarishga chiqarilishidan oldin noto'g'ri kodni ushlash orqali falokatning oldini olishga yordam beradi va uni qaytarib bo'lmaydigan xatolar yaratish orqali zarar etkazishi mumkin. Ammo bank o'zi bilmagan mina maydonidan o'tishga qaror qildi. Buning oqibatlarini oldindan aytish mumkin edi. Yana bir muammo - xarajatlarni "optimallashtirish" edi. U qanday namoyon bo'ldi? Gap shundaki, avvalroq Lloyds-da saqlanadigan zaxira nusxalarini yo'q qilishga qaror qilingan, chunki ular juda ko'p pulni "yegan".
Britaniya banklari (va boshqalar ham) to'rt-to'qqizlik mavjudlik darajasiga, ya'ni 99,99% ga erishishga intilmoqda. Amalda, bu shuni anglatadiki, IT tizimi har doim mavjud bo'lishi kerak, yiliga 52 daqiqagacha ishlamay qoladi. "Uch to'qqiz" tizimi, 99,9%, birinchi qarashda unchalik farq qilmaydi. Lekin, aslida, bu ishlamay qolish yiliga 8 soatga etishini anglatadi. Bank uchun "to'rt to'qqiz" yaxshi, lekin "uch to'qqiz" emas.
Ammo har safar kompaniya o'zining IT infratuzilmasiga o'zgartirish kiritsa, u tavakkal qiladi. Axir, biror narsa noto'g'ri ketishi mumkin. O'zgarishlarni kamaytirish muammolarni oldini olishga yordam beradi, ammo kerakli o'zgarishlar sinchkovlik bilan tekshirilishi kerak. Va Britaniya regulyatorlari o'z e'tiborini shu nuqtaga qaratdi.
Ehtimol, ishlamay qolishning oldini olishning eng oson yo'li shunchaki kamroq o'zgartirishlar kiritishdir. Ammo har bir bank, boshqa kompaniyalar singari, raqobatbardoshlikni saqlab qolish uchun mijozlar va o'z biznesi uchun ko'proq va ko'proq foydali xususiyatlarni joriy etishga majbur. Shu bilan birga, banklar o'z mijozlariga g'amxo'rlik qilishlari, ularning jamg'armalari va shaxsiy ma'lumotlarini himoya qilishlari, xizmatlardan foydalanishlari uchun qulay shart-sharoitlarni ta'minlashlari shart. Ma'lum bo'lishicha, tashkilotlar bir vaqtning o'zida yangi xizmatlarni taklif qilish bilan birga, o'zlarining IT infratuzilmasi sog'lig'ini saqlash uchun ko'p vaqt va pul sarflashga majbur bo'ladi.
Buyuk Britaniyaning Moliyaviy xulq-atvor boshqarmasi tomonidan e’lon qilingan ma’lumotlarga ko‘ra, 187-2017 yillar davomida Buyuk Britaniyada moliyaviy xizmatlar sohasida qayd etilgan texnologik nosozliklar soni 2018 foizga oshgan. Ko'pincha, nosozliklar sababi yangi funktsiyalarning ishlashidagi muammolardir. Shu bilan birga, banklar uchun barcha xizmatlarning doimiy uzluksiz ishlashi va operatsiyalar bo‘yicha deyarli bir lahzada hisobot berilishini ta’minlash muhim ahamiyatga ega. Mijozlar pullari qayerdadir osilib turganda doim asabiylashadi. Puldan asabiylashgan mijoz esa har doim muammo belgisidir.
TSBdagi muvaffaqiyatsizlikdan bir necha oy o'tgach (bu vaqtga kelib bankning bosh direktori iste'foga chiqdi), Buyuk Britaniyaning moliyaviy regulyatorlari va Angliya Banki operatsion barqarorlik masalalarini muhokama qilish uchun. Shuning uchun ular banklar innovatsiyaga intilishda qanchalik chuqur ketganligi va ular hozirda mavjud bo'lgan tizimning barqaror ishlashini kafolatlay oladimi, degan savolni ko'tarishga harakat qilishdi.
Hujjatda qonunchilikka o‘zgartirishlar kiritish ham taklif qilingan. Bu kompaniya ichidagi odamlarni kompaniyaning IT tizimlarida sodir bo'layotgan xatolar uchun javobgarlikka tortish haqida edi. Britaniya parlamentarilari buni shunday izohladilar: "Agar siz shaxsan javobgar bo'lsangiz va siz bankrot bo'lishingiz yoki qamoqqa tushishingiz mumkin bo'lsa, bu ishga bo'lgan munosabatni sezilarli darajada o'zgartiradi, shu jumladan ishonchlilik va xavfsizlik masalasiga ajratilgan vaqt miqdorini oshiradi."
natijalar
Har bir yangilanish va yamoq, ayniqsa, yuzlab million dollarlar jalb qilinganda, xavflarni boshqarishga to'g'ri keladi. Axir, agar biror narsa noto'g'ri bo'lsa, pul va obro'-e'tibor jihatidan qimmatga tushishi mumkin. Bu aniq narsalarga o'xshab ko'rinadi. Bankning migratsiya davridagi nosozliklari esa ularga ko‘p narsani o‘rgatgan bo‘lishi kerak edi.
Bo `lishi kerak. Lekin u menga dars bermadi. 2019 yil noyabr oyida yana rentabellikka erishgan va obro'sini asta-sekin oshirib borayotgan TSB mijozlarni "hursand qildi" axborot texnologiyalari sohasida. Bankning ikkinchi zarbasi uning xarajatlarini kamaytirish uchun 82 yilda 2020 ta filialini yopishga majbur bo'lishini anglatadi. Yoki u IT mutaxassislarini tejashga qodir emas edi.
ITga ziqnalik oxir-oqibat qimmatga tushadi. TSB 134-yilda 2018 million dollarlik foyda bilan solishtirganda, 206-yilda 2017 million dollar zarar ko‘rgan. Migratsiyadan keyingi xarajatlar, jumladan, mijozlarning kompensatsiyasi, firibgarlik tranzaksiyalarini tuzatish (bankdagi tartibsizliklar davrida keskin oshdi) va uchinchi tomon yordami jami 419 million dollarni tashkil etdi. Bankning IT provayderidan inqirozdagi roli uchun ham 194 million dollar to‘langan.
Biroq, TSB bankining ishdan chiqishidan qanday saboqlar olinmasin, uzilishlar hali ham sodir bo'ladi. Ular muqarrar. Ammo sinov va yaxshi kod yordamida buzilishlar va ishlamay qolish vaqtlarini sezilarli darajada kamaytirish mumkin. Yirik kompaniyalarning bulutli infratuzilmaga ko‘chib o‘tishiga tez-tez yordam beradigan Cloud4Y bir tizimdan ikkinchisiga tez o‘tish muhimligini tushunadi. Shuning uchun biz yuk testini o'tkazishimiz va ko'p darajali zaxira tizimidan, shuningdek, migratsiyani boshlashdan oldin mumkin bo'lgan hamma narsani tekshirishga imkon beruvchi boshqa variantlardan foydalanishimiz mumkin.
Blogda yana nimani o'qishingiz mumkin?
→
→
→
→
→
Bizning kanalimizga obuna bo'ling Keyingi maqolani o'tkazib yubormaslik uchun kanal! Biz haftasiga ikki martadan ko'p bo'lmagan va faqat ish haqida yozamiz.
Manba: www.habr.com