Uğursuz İT infrastruktur miqrasiyası 1,3 milyard bank müştəri qeydinin korlanması ilə nəticələndi. Bütün bunlar qeyri-kafi sınaq və mürəkkəb İT sistemlərinə qeyri-ciddi münasibətlə bağlı idi. Cloud4Y bunun necə baş verdiyini izah edir.
2018-ci ildə ingilis dili Lloyds bank qrupu (hər iki şirkət 1995-ci ildə birləşdi) ilə iki illik "boşanmasının" çox baha olduğunu başa düşdü. TSB hələ də tələsik klonlaşdırılmış Lloyds İT sistemləri vasitəsilə keçmiş tərəfdaşına bağlı idi. Ən pisi odur ki, bank illik 127 milyon dollarlıq lisenziya haqqı olan “aliment” ödəməli idi.
Az adam keçmişlərinə pul ödəməyi xoşlayır, buna görə də 22 aprel 2018-ci il saat 18:00-da TSB hər şeyi dəyişdirməli olan 18 aylıq planın son mərhələsinə başladı. 2,2-ci ildə TSB-ni 2015 milyard dollara satın alan İspaniyanın Banco Sabadell şirkətinin İT sisteminə milyardlarla müştəri qeydinin ötürülməsi planlaşdırılırdı.
Banco Sabadell CEO-su José Olu Barselonanın nüfuzlu konfrans zalında keçirilən bayram işçi yığıncağı zamanı 2-ci il Milad bayramına 2017 həftə qalmış qarşıdan gələn hadisə haqqında danışıb. Ən mühüm miqrasiya vasitəsi Banco Sabadell: Proteo tərəfindən hazırlanmış sistemin yeni versiyası olmaq idi. Hətta TSB miqrasiya layihəsi üçün xüsusi olaraq Proteo4UK adlandırıldı.
Proteo4UK-un təqdimatında Banco Sabadell-in icraçı direktoru Xayme Qvardiola Romojaro yeni sistemin 1000-dən çox mütəxəssisin çalışdığı Avropada analoqu olmayan irimiqyaslı layihə olduğunu bildirib. Və onun həyata keçirilməsi Böyük Britaniyada Banco Sabadell-in böyüməsinə əhəmiyyətli təkan verəcək.
22 aprel 2018-ci il miqrasiya günü təyin edilib. Baharın ortasında sakit bir bazar axşamı idi. Qeydlər bir sistemdən digərinə ötürüldüyü üçün bankın İT sistemləri sıradan çıxdı. Bazar günü gec saatlarda bank hesablarına ictimai giriş bərpa olunduqda, bankın yavaş-yavaş və rəvan şəkildə xidmətə qayıtmasını gözləmək olardı.
Lakin Olyu və Qvardiola Romojaro səhnədən Proteo4UK layihəsinin həyata keçirilməsi ilə bağlı sevinclə yayımlar edərkən, miqrasiya prosesinə cavabdeh olan işçilər çox əsəbi idilər. Tamamlanması 18 ay çəkmiş layihə qrafikdən ciddi şəkildə geri qalmış və büdcədən artıq olmuşdur. Əlavə testlər keçirməyə vaxt yox idi. Ancaq şirkətin bütün məlumatlarını (bu, milyardlarla qeydlərdir) başqa bir sistemə köçürmək Herkulun işidir.
Məlum olub ki, mühəndislər yaxşı səbəbdən əsəbi olublar.
Müştərilərin çox uzun müddət gördükləri saytdakı qaralama
TSB hesablara girişi açdıqdan 20 dəqiqə sonra, köçün rahat getdiyinə tam əmin olaraq, problemlərin ilk hesabatları gəldi.
İnsanların əmanətləri birdən-birə hesablarından yoxa çıxdı. Əhəmiyyətsiz məbləğdə satınalmalar səhvən çoxminlik xərclər kimi qeydə alınıb. Bəzi insanlar şəxsi hesablarına daxil olub, bank hesablarını yox, tamam başqa şəxslərin hesablarını görüblər.
Saat 21:00-da TSB nümayəndələri yerli maliyyə tənzimləyicisinə (Böyük Britaniya Maliyyə Davranış Təşkilatı, FCA) bankın problemlə üzləşdiyi barədə məlumat verdilər. Ancaq FCA artıq xəbərdar oldu: TSB həqiqətən pisləşdi və müştəriləri axmaq etdilər. Və təbii ki, şikayət etməyə başladılar (və bu gün Twitter və ya Facebook-da bir neçə sətir atmaq xüsusilə çətin deyil). Saat 23:30-da FCA ilə başqa bir maliyyə tənzimləyicisi, Prudensial Tənzimləmə Təşkilatı (PRA) əlaqə saxladı, o da nəyinsə səhv olduğunu hiss etdi.
Artıq gecə yarısından sonra bank nümayəndələrindən birinə yaxınlaşa bildilər. Və onlara yeganə sualı verin: "Nə baş verir?"
Faciənin miqyasını anlamaq üçün vaxt lazım idi, lakin biz indi miqrasiya zamanı 1,3 milyon müştərinin 5,4 milyard qeydinin zədələndiyini bilirik. Ən azı bir həftə ərzində müştərilər pullarını kompüterlərindən və ya mobil cihazlarından idarə edə bilmirdilər. Onlar krediti ödəyə bilmədilər və bir çox bank müştəriləri kredit tarixçələrində ləkə, habelə gecikmə haqları aldılar.
TSB müştəri onlayn bankı belə görünürdü
Qüsurlar görünməyə başlayanda, demək olar ki, dərhal sonra, bank nümayəndələri problemlərin "fasiləli" olduğunu israr etdilər. Üç gündən sonra bütün sistemlərin normal olduğu barədə açıqlama verildi. Lakin müştərilər problemləri bildirməyə davam etdilər. Yalnız 26 aprel 2018-ci ildə bankın baş icraçı direktoru Pol Pester etiraf etdi ki, TSB “diz çöküb”, çünki bankın İT infrastrukturunda bir milyona yaxın müştərinin onlayn bankçılıq xidmətlərindən istifadəsinə mane olan “bant genişliyi problemi” davam edir.
Miqrasiyadan iki həftə keçsə də, onlayn bank tətbiqinin hələ də SQL verilənlər bazası ilə bağlı daxili xətalarla üzləşdiyi bildirilir.
Xüsusilə biznes və ipoteka borcları ilə bağlı ödəmə çətinlikləri dörd həftəyə qədər davam etdi. Və hər yerdə olan jurnalistlər, TSB-nin miqrasiya böhranının başlanğıcında Lloyds Banking Group-un kömək təklifini rədd etdiyini öyrəndilər. Ümumilikdə, onlayn xidmətlərə daxil olmaq və pul köçürmə imkanları ilə bağlı problemlər sentyabrın 3-dək müşahidə olunub.
Bir az tarixi
İlk bankomat 27 iyun 1967-ci ildə Enfilddəki Barclays yaxınlığında açıldı
Müştəri ehtiyacları və bankdan gözləntiləri artdıqca, bank İT sistemləri getdikcə mürəkkəbləşir. Təxminən 40-60 il əvvəl nağd pul qoymaq və ya kassa vasitəsi ilə çıxarmaq üçün iş saatları ərzində yerli bank filialımıza baş çəkməkdən məmnun olardıq.
Hesabdakı pulun məbləği banka verdiyimiz nağd pul və sikkələrlə birbaşa bağlı idi. Ev mühasibatlığımızı qələm və kağızla izləmək mümkün idi və kompüter sistemləri müştərilər üçün əlçatan deyildi. Bank işçiləri hesab kitabçalarından və digər mediadan məlumatları pulu sayan cihazlara yerləşdiriblər.
Lakin 1967-ci ildə Londonun şimalında ilk dəfə bankın ərazisində olmayan bankomat. Və bu hadisə bankçılığı dəyişdi. İstifadəçilərin rahatlığı maliyyə institutlarının inkişafı üçün meyar halına gəldi. Və bu, banklara müştərilər və onların pulları ilə işləmək baxımından daha təkmil olmağa kömək etdi. Axı kompüter sistemləri yalnız bank işçiləri üçün əlçatan olduğu halda, onlar müştərilərlə köhnə, “kağız” ünsiyyət üsulundan razı idilər. Yalnız bankomatların və sonra onlayn bankçılığın yaranması ilə geniş ictimaiyyət bank İT sistemlərinə birbaşa çıxış əldə etdi.
Bankomatlar yalnız başlanğıc idi. Tezliklə insanlar sadəcə telefonla banka zəng etməklə kassada növbədən yayına bildilər. Bunun üçün istifadəçi “1” (pul çıxarma) və ya “2” (depozit vəsaiti) düyməsini sıxdıqda ötürülən ikili tonlu çoxtezlikli (DTMF) siqnalları deşifrə edə bilən oxucuya xüsusi kartların daxil edilməsi tələb olunurdu.
İnternet və mobil bankçılıq müştəriləri bankları gücləndirən əsas sistemlərə yaxınlaşdırıb. Müxtəlif məhdudiyyətlərə və parametrlərə baxmayaraq, bu sistemlərin hamısı bir-biri ilə və əsas meynfreymlə effektiv qarşılıqlı əlaqədə olmalı, hesab balansının yoxlanılması, pul köçürmələri və s.
Siz, məsələn, hesabınızdakı pul haqqında məlumatı görmək və ya yeniləmək üçün onlayn banka daxil olduğunuz zaman, az sayda müştəri məlumat yolunun nə qədər mürəkkəb olduğunu düşünür. Daxil olduğunuz zaman bu məlumatlar bir sıra serverlər vasitəsilə ötürülür; siz tranzaksiya etdiyiniz zaman sistem bu məlumatları backend infrastrukturunda təkrarlayır, sonra isə ağır yükləri qaldırır - hesabları ödəmək üçün bir hesabdan digərinə pul köçürmək, ödənişlər edin və abunəliyə davam edin.
İndi bu prosesi bir neçə milyarda artırın. Dünya Bankının Bill və Melinda Qeyts Fondunun köməyi ilə tərtib etdiyi məlumatlara görə, bütün dünyada böyüklərin bank hesabı var. Bu insanların hər birinin ödəməli olduğu hesabları var. Kimsə ipoteka ödəyir və ya uşaq klubları üçün pul köçürür, kimsə Netflix abunəsi və ya bulud serverini icarəyə götürür. Və bütün bu insanlar birdən çox bankdan istifadə edirlər.
Bir bankın çoxsaylı daxili İT sistemləri (mobil bankçılıq, bankomatlar və s.) sadəcə olaraq bir-biri ilə qarşılıqlı əlaqədə olmamalıdır. Onlar Braziliya, Çin və Almaniyadakı digər bank sistemləri ilə qarşılıqlı əlaqədə olmalıdırlar. Fransız bankomatı Boliviyanın bir yerində verilmiş bank kartında olan pulu köçürə bilməlidir.
Pul həmişə qlobal olub, lakin heç vaxt sistem bu qədər mürəkkəb olmayıb. Bank İT sistemlərindən istifadə üsullarının sayı artır, lakin köhnə üsullar hələ də istifadə olunur. Bankın uğuru daha çox onun İT infrastrukturunun nə qədər “saxlanıla bilər” olmasından və bankın sistemin boş qalacağı ani uğursuzluğun öhdəsindən necə gələ biləcəyindən asılıdır.
Testlər yoxdur - problemlərə hazır olun
Banco de Sabadell baş direktoru Jaime Guardiola (solda) hər şeyin rəvan gedəcəyinə əmin idi. alınmadı.
TSB-nin kompüter sistemləri problemləri tez həll etməkdə çox yaxşı deyildi. Əlbəttə ki, proqram təminatı ilə bağlı nasazlıqlar var idi, lakin əslində bank İT sistemlərinin həddən artıq mürəkkəbliyi səbəbindən “sındırıldı”. Kütləvi kəsilmənin ilk günlərində hazırlanan hesabata görə, "yeni tətbiqlərin birləşməsi, iki Aktiv/Aktiv məlumat mərkəzinin istifadəsi ilə birlikdə mikroservislərdən istifadənin artması istehsalda mürəkkəb riskə səbəb oldu."
Bəzi banklar, məsələn, HSBC, qlobal miqyasda fəaliyyət göstərir və buna görə də çox mürəkkəb, bir-biri ilə əlaqəli sistemlərə malikdir. Lancasterdəki bir HSBC İT menecerinə görə, onlar müntəzəm olaraq sınaqdan keçirilir, köçürülür və yenilənir. O, HSBC-ni digər bankların öz İT sistemlərini necə idarə etməli olduqlarına dair bir model kimi görür: işçi heyətinə həsr etməklə və vaxtlarını sərf etməklə. Amma eyni zamanda etiraf edir ki, kiçik, xüsusən də miqrasiya təcrübəsi olmayan bank üçün bunu düzgün etmək çox çətin məsələdir.
TSB miqrasiyası çətin idi. Ekspertlərin fikrincə, bank işçiləri ixtisas baxımından bu mürəkkəblik səviyyəsinə sadəcə olaraq çata bilməyiblər. Bundan əlavə, onlar öz həllini yoxlamaq və ya köçü əvvəlcədən sınamaq üçün belə narahat olmadılar.
Britaniya parlamentində bank problemləri ilə bağlı çıxışı zamanı FCA-nın baş icraçı direktoru Endryu Beyli bu şübhəni təsdiqləyib. Bad kod yəqin ki, yalnız TSB-də ilkin problemlərə səbəb oldu, lakin qlobal maliyyə şəbəkəsinin bir-birinə bağlı sistemləri onun səhvlərinin davamlı və dönməz olması demək idi. Bank İT arxitekturasının başqa yerlərində gözlənilməz səhvləri görməyə davam etdi. Müştərilər mənasız və ya problemləri ilə əlaqəsi olmayan mesajlar alırdılar.
Reqressiya testi istehsala buraxılmamışdan əvvəl pis kodu tutaraq fəlakətin qarşısını almağa kömək edə bilər və geri qaytarıla bilməyən səhvlər yaradaraq zərər verir. Lakin bank heç bilmədiyi bir mina sahəsindən keçməyə qərar verdi. Nəticələri proqnozlaşdırıla bilən idi. Digər problem xərclərin “optimallaşdırılması” idi. Özünü necə göstərdi? Fakt budur ki, əvvəllər Lloyds-da saxlanılan ehtiyat nüsxələri ləğv etmək qərara alınmışdı, çünki onlar çox pul “yemişlər”.
Britaniya bankları (və digərləri də) dörd doqquz əlçatanlıq səviyyəsinə, yəni 99,99% nail olmağa çalışırlar. Praktikada bu o deməkdir ki, İT sistemi ildə 52 dəqiqəyə qədər fasilə ilə hər zaman mövcud olmalıdır. “Üç doqquz” sistemi, 99,9%, ilk baxışdan çox da fərqlənmir. Amma əslində bu o deməkdir ki, fasilələr ildə 8 saata çatır. Bank üçün "dörd doqquz" yaxşıdır, amma "üç doqquz" deyil.
Lakin şirkət hər dəfə öz İT infrastrukturunda dəyişiklik edəndə riskə gedir. Axı nəsə səhv gedə bilər. Dəyişikliklərin azaldılması problemlərin qarşısını almağa kömək edə bilər, halbuki tələb olunan dəyişikliklər diqqətli sınaq tələb edir. Və Britaniya tənzimləyiciləri diqqətlərini bu nöqtəyə yönəldiblər.
Ola bilsin ki, fasilələrdən qaçmağın ən asan yolu sadəcə daha az dəyişiklik etməkdir. Ancaq hər bir bank, hər hansı digər şirkət kimi, rəqabətə davamlı olmaq üçün müştərilər və öz biznesi üçün getdikcə daha çox faydalı xüsusiyyətlər təqdim etməyə məcburdur. Eyni zamanda, banklar hələ də müştərilərinin qayğısına qalmaq, onların əmanətlərini və şəxsi məlumatlarını qorumaq, xidmətlərdən istifadə etmək üçün rahat şərait yaratmağa borcludurlar. Belə çıxır ki, təşkilatlar eyni vaxtda yeni xidmətlər təklif etməklə yanaşı, öz İT infrastrukturunun sağlamlığını qorumaq üçün çox vaxt və pul xərcləməyə məcbur olurlar.
Böyük Britaniyanın Maliyyə Davranışı Təşkilatının açıqladığı məlumatlara görə, Böyük Britaniyada maliyyə xidmətləri sektorunda bildirilmiş texnologiya uğursuzluqlarının sayı 187-2017-ci illər arasında 2018 faiz artıb. Çox vaxt uğursuzluqların səbəbi yeni funksionallığın işləməsində problemlərdir. Eyni zamanda, banklar üçün bütün xidmətlərin daimi fasiləsiz işləməsini və əməliyyatların demək olar ki, ani hesabat verməsini təmin etmək vacibdir. Müştərilər hər zaman pulları hardasa əsəbləşirlər. Puldan əsəbiləşən müştəri isə həmişə bəla əlamətidir.
TSB-dəki uğursuzluqdan bir neçə ay sonra (bu vaxta qədər bankın baş direktoru istefa vermişdi), Böyük Britaniyanın maliyyə tənzimləyiciləri və İngiltərə Bankı əməliyyat davamlılığı məsələlərinin müzakirəsi üçün. Beləliklə, onlar bankların innovasiyalar arxasınca nə qədər dərinə getdikləri və indiki sistemin stabil işləməsinə zəmanət verə biləcəkləri sualını qaldırmağa çalışdılar.
Sənəddə qanunvericiliyə dəyişikliklər də təklif olunub. Söhbət şirkət daxilindəki insanları həmin şirkətin İT sistemlərində baş verən səhvlərə görə məsuliyyətə cəlb etməkdən ibarət idi. Britaniya parlamentariləri bunu belə izah etdilər: “Şəxsən məsuliyyət daşıdığınız zaman müflis ola və ya həbsxanaya düşə bilsəniz, bu, işə olan münasibəti, o cümlədən etibarlılıq və təhlükəsizlik məsələsinə ayrılan vaxtın həcmini artıracaq”.
Nəticələri
Hər bir yeniləmə və yamaq, xüsusən də yüz milyonlarla dollar cəlb edildikdə, risklərin idarə edilməsinə gəlir. Axı bir şey səhv olarsa, pul və reputasiya baxımından baha başa gələ bilər. Aydın şeylər görünəcək. Bankın miqrasiya zamanı uğursuzluğu isə onlara çox şey öyrətməli idi.
Var idi. Amma mənə öyrətmədi. 2019-cu ilin noyabrında yenidən gəlirliliyə nail olan və öz reputasiyasını yavaş-yavaş yüksəldən TSB müştərilərini “məmnun etdi” informasiya texnologiyaları sahəsində. Banka vurulan ikinci zərbə onun xərclərini azaltmaq üçün 82-ci ildə 2020 filialını bağlamaq məcburiyyətində qalması demək idi. Və ya sadəcə İT mütəxəssislərinə qənaət edə bilmədi.
İT ilə xəsislik son nəticədə baha başa gəlir. TSB, 134-ci ildəki 2018 milyon dollar mənfəətlə müqayisədə 206-ci ildə 2017 milyon dollar zərər verdiyini bildirdi. Müştərilərin kompensasiyası, saxta əməliyyatların korreksiyası (bank xaosu zamanı kəskin şəkildə artıb) və üçüncü tərəflərin köməyi də daxil olmaqla, miqrasiyadan sonrakı xərclər 419 milyon dollar təşkil edib. Böhrandakı roluna görə bankın İT provayderinə də 194 milyon dollar ödənilib.
Bununla belə, TSB bankının uğursuzluğundan hansı dərslər alınsa da, axsamalar yenə də baş verəcək. Onlar qaçılmazdır. Lakin sınaq və yaxşı kodla qəzaları və dayanma müddətini xeyli azaltmaq olar. Böyük şirkətlərə tez-tez bulud infrastrukturuna köçməyə kömək edən Cloud4Y bir sistemdən digərinə sürətlə keçməyin vacibliyini anlayır. Buna görə, biz yük testi keçirə və çoxsəviyyəli ehtiyat sistemdən, həmçinin köçə başlamazdan əvvəl mümkün olan hər şeyi yoxlamağa imkan verən digər variantlardan istifadə edə bilərik.
Bloqda başqa nə oxuya bilərsiniz?
→
→
→
→
→
Bizim kanalımıza abunə olun -növbəti yazını qaçırmamaq üçün kanal! Həftədə iki dəfədən çox olmayan və yalnız iş haqqında yazırıq.
Mənbə: www.habr.com