Epäonnistunut IT-infrastruktuurin siirto johti 1,3 miljardin pankkiasiakastietueen vioittumiseen. Tämä kaikki johtui riittämättömästä testauksesta ja kevytmielisestä asenteesta monimutkaisia IT-järjestelmiä kohtaan. Cloud4Y kertoo kuinka se tapahtui.
Vuonna 2018 Englanti tajusi, että hänen kaksi vuotta vanha "avioero" Lloyds-pankkiryhmästä (molemmat yhtiöt sulautuivat vuonna 1995) oli liian kallis. TSB oli edelleen sidottu entiseen kumppaniinsa hätäisesti kloonattujen Lloydsin IT-järjestelmien kautta. Kaikkein pahinta, pankin piti maksaa "elatusapu", 127 miljoonan dollarin vuotuinen lisenssimaksu.
Harvat ihmiset haluavat maksaa rahaa exilleen, joten 22 klo 2018 TSB aloitti 18 kuukauden suunnitelman viimeisen vaiheen, jonka piti muuttaa kaiken. Suunnitelmissa oli siirtää miljardeja asiakastietueita espanjalaisen Banco Sabadellin IT-järjestelmään, joka osti TSB:n 00 miljardilla dollarilla vuonna 18.
Banco Sabadellin toimitusjohtaja José Olu puhui tulevasta tapahtumasta 2 viikkoa ennen joulua 2017 juhlallisessa henkilökunnan kokouksessa arvostetussa Barcelonan konferenssisalissa. Tärkein siirtotyökalu oli Banco Sabadellin kehittämän järjestelmän uusi versio: Proteo. Se nimettiin jopa uudelleen Proteo4UK:ksi erityisesti TSB-siirtoprojektia varten.
Proteo4UK:n esittelyssä Banco Sabadellin toiminnanjohtaja Jaime Guardiola Romojaro kehui, että uusi järjestelmä on laajamittainen projekti, jolla ei ole analogeja Euroopassa ja jonka parissa työskenteli yli 1000 asiantuntijaa. Ja sen toteuttaminen antaa merkittävän sysäyksen Banco Sabadellin kasvulle Isossa-Britanniassa.
22 asetettiin muuttopäiväksi. Oli hiljainen sunnuntai-ilta puolivälissä kevättä. Pankin tietojärjestelmät olivat alhaalla, kun tietueita siirrettiin järjestelmästä toiseen. Kun julkinen pääsy pankkitileille palautettiin myöhään sunnuntaina, pankin voisi odottaa palaavan hitaasti ja sujuvasti palvelukseen.
Mutta kun Olyu ja Guardiola Romojaro esittelivät lavalta iloisina Proteo4UK-projektin toteuttamisesta, muuttoprosessista vastaavat työntekijät olivat hyvin hermostuneita. Projekti, joka kesti 18 kuukautta, oli pahasti aikataulusta jäljessä ja ylitti budjetin. Ei ollut aikaa tehdä lisäkokeita. Mutta yrityksen kaikkien tietojen (joka on muistaakseni miljardeja tietueita) siirtäminen toiseen järjestelmään on herkuleinen tehtävä.
Kävi ilmi, että insinöörit olivat hermostuneita hyvästä syystä.
Sivuston tynkä, jonka asiakkaat näkivät liian kauan
Ensimmäiset ongelmaraportit saapuivat 20 minuuttia sen jälkeen, kun TSB avasi pääsyn tileille ja oli täysin varma siitä, että siirto sujui ongelmitta.
Ihmisten säästöt katosivat yhtäkkiä heidän tileiltään. Merkittävien määrien ostot kirjattiin virheellisesti usean tuhannen dollarin kuluiksi. Jotkut ihmiset kirjautuivat henkilökohtaisille tileilleen ja eivät nähneet pankkitilejään, vaan täysin eri ihmisten tilejä.
Klo 21 TSB:n edustajat ilmoittivat paikalliselle rahoitusalan sääntelyviranomaiselle (UK Financial Conduct Authority, FCA), että pankilla oli ongelmia. Mutta FCA on jo huomannut: TSB on todellakin mennyt pahasti ja asiakkaista on tehty tyhmiä. Ja tietysti he alkoivat valittaa (ja nykyään muutaman rivin pudottaminen Twitteriin tai Facebookiin ei ole erityisen vaikeaa). Klo 23 virastoon otti yhteyttä toinen finanssialan sääntelyviranomainen, Prudential Regulation Authority (PRA), joka myös havaitsi, että jotain oli vialla.
Jo reilusti puolenyön jälkeen he onnistuivat pääsemään yhden pankin edustajan luo. Ja kysy heiltä ainoa kysymys: "mitä helvettiä on tekeillä?"
Kesti aikaa ymmärtää tragedian laajuus, mutta nyt tiedämme, että 1,3 miljardia 5,4 miljoonan asiakkaan tietuetta vaurioitui siirtymisen aikana. Ainakin viikkoon asiakkaat eivät pystyneet hallitsemaan rahojaan tietokoneillaan tai mobiililaitteillaan. He eivät kyenneet maksamaan lainaa, ja monet pankkiasiakkaat saivat likaa luottohistoriassaan sekä myöhästymiskuluja.
Tältä näytti TSB:n asiakkaan verkkopankki
Kun häiriöt alkoivat ilmaantua melkein välittömästi sen jälkeen, pankin edustajat väittivät, että ongelmat olivat "ajoittain". Kolme päivää myöhemmin annettiin lausunto, että kaikki järjestelmät olivat normaaleja. Mutta asiakkaat ilmoittivat edelleen ongelmista. Vasta 26. huhtikuuta 2018 pankin toimitusjohtaja Paul Pester myönsi, että TSB oli "polvillaan", koska pankin IT-infrastruktuurissa oli edelleen "kaistanleveysongelma", joka esti noin miljoona asiakasta pääsemästä verkkopankkipalveluihin.
Kaksi viikkoa siirtymisen jälkeen verkkopankkisovelluksessa ilmoitettiin edelleen olevan sisäisiä SQL-tietokantaan liittyviä virheitä.
Maksuvaikeudet, erityisesti yritys- ja asuntolainalaskuissa, jatkuivat jopa neljä viikkoa. Ja kaikkialla läsnä olevat toimittajat saivat selville, että TSB hylkäsi Lloyds Banking Groupin avuntarjouksen jo maahanmuuttokriisin alussa. Yleisesti ottaen verkkopalveluihin kirjautumiseen ja rahansiirtomahdollisuuksiin liittyviä ongelmia havaittiin syyskuun 3. päivään asti.
Vähän historiaa
Ensimmäinen pankkiautomaatti avattiin 27. kesäkuuta 1967 lähellä Barclaysia Enfieldissä
Pankkien IT-järjestelmät muuttuvat yhä monimutkaisemmiksi, kun asiakkaiden tarpeet ja odotukset pankilta lisääntyvät. Noin 40-60 vuotta sitten olisimme mielellämme käyneet paikallisessa pankkikonttorissa aukioloaikoina tallettamassa tai nostamassa käteistä kassan kautta.
Tilillä oleva rahamäärä liittyi suoraan käteiseen ja kolikoihin, jotka annoimme pankille. Kotikirjanpitoa voitiin seurata kynällä ja paperilla, eivätkä tietokonejärjestelmät olleet asiakkaiden käytettävissä. Pankin työntekijät laittoivat kirjat ja muut tiedot laitteisiin, jotka laskivat rahat.
Mutta vuonna 1967 Pohjois-Lontoossa ensimmäistä kertaa pankkiautomaatti, joka ei sijainnut pankin tiloissa. Ja tämä tapahtuma muutti pankkitoimintaa. Käyttömukavuudesta on tullut rahoituslaitosten kehityksen mittapuu. Ja tämä on auttanut pankkeja kehittymään entistä kehittyneemmiksi asiakkaiden ja heidän rahojensa kanssa työskentelyssä. Vaikka tietokonejärjestelmät olivat vain pankin työntekijöiden saatavilla, he olivat tyytyväisiä vanhaan, "paperilliseen" tapaan kommunikoida asiakkaiden kanssa. Vasta pankkiautomaattien ja sitten verkkopankkitoiminnan myötä suuri yleisö pääsi suoraan pankkien tietojärjestelmiin.
Pankkiautomaatit olivat vasta alkua. Pian ihmiset pystyivät välttämään jonot kassalla soittamalla pankkiin puhelimitse. Tämä vaati erityisiä kortteja, jotka asetettiin lukijaan, joka pystyi tulkitsemaan kaksiääniset monitaajuiset (DTMF) signaalit, jotka lähetettiin, kun käyttäjä painaa "1" (rahojen nosto) tai "2" (talletusvarat) -näppäintä.
Internet ja mobiilipankki ovat tuoneet asiakkaat lähemmäksi pankkien ydinjärjestelmiä. Huolimatta vaihtelevista rajoituksistaan ja asetuksistaan, kaikkien näiden järjestelmien on oltava tehokkaasti vuorovaikutuksessa keskenään ja keskuskoneen kanssa, suorittamalla tilin saldon tarkistuksia, suorittamalla rahansiirtoja ja niin edelleen.
Harvat asiakkaat ajattelevat, kuinka monimutkainen tietopolku on, kun kirjaudut esimerkiksi verkkopankkiin katsomaan tai päivittämään tietoja tililläsi olevista rahoista. Kun kirjaudut sisään, nämä tiedot välitetään palvelinjoukon kautta; kun suoritat tapahtuman, järjestelmä kopioi nämä tiedot taustainfrastruktuuriin, joka sitten tekee raskaan työn – siirtää rahaa tililtä toiselle laskujen maksamista varten. maksut ja jatka tilauksia.
Kerro nyt tämä prosessi useilla miljardeilla. Maailmanpankin Bill ja Melinda Gates Foundationin avulla keräämien tietojen mukaan aikuisilla kaikkialla maailmassa on pankkitili. Jokaisella näistä ihmisistä on laskuja maksettavana. Joku maksaa asuntolainan tai siirtää rahaa lastenkerhoille, joku maksaa Netflix-tilauksen tai pilvipalvelimen vuokrauksen. Ja kaikki nämä ihmiset käyttävät useampaa kuin yhtä pankkia.
Yhden pankin lukuisat sisäiset IT-järjestelmät (mobiilipankki, pankkiautomaatit jne.) eivät saa vain olla vuorovaikutuksessa keskenään. Niiden on oltava vuorovaikutuksessa muiden Brasilian, Kiinan ja Saksan pankkijärjestelmien kanssa. Ranskalaisen pankkiautomaatin pitäisi pystyä jakamaan rahaa, joka on jossain Boliviassa myönnetyllä pankkikortilla.
Raha on aina ollut globaalia, mutta järjestelmä ei ole koskaan ollut näin monimutkainen. Pankkien tietojärjestelmien käyttötapojen määrä lisääntyy, mutta vanhat tavat ovat edelleen käytössä. Pankin menestys riippuu pitkälti siitä, kuinka "ylläpidettävä" sen IT-infrastruktuuri on ja kuinka tehokkaasti pankki pystyy selviytymään äkillisestä häiriöstä, jonka seurauksena järjestelmä jää käyttämättömäksi.
Ei testejä – valmistaudu ongelmiin
Banco de Sabadellin toimitusjohtaja Jaime Guardiola (vasemmalla) luotti siihen, että kaikki sujuisi hyvin. Ei toiminut.
TSB:n tietokonejärjestelmät eivät olleet kovin hyviä ratkaisemaan ongelmia nopeasti. Ohjelmistohäiriöitä toki oli, mutta todellisuudessa pankki "rikki" IT-järjestelmiensä liian monimutkaisuuden vuoksi. Raportin mukaan, joka laadittiin massiivisen käyttökatkoksen alkuaikoina, "uusien sovellusten yhdistelmä, mikropalvelujen lisääntynyt käyttö yhdistettynä kahden Active/Active-palvelinkeskuksen käyttöön johti monimutkaiseen riskiin tuotannossa."
Jotkut pankit, kuten HSBC, toimivat maailmanlaajuisesti, ja siksi niillä on myös erittäin monimutkaisia, toisiinsa yhdistettyjä järjestelmiä. Mutta niitä testataan, siirretään ja päivitetään säännöllisesti, sanoo Lancasterissa toimiva HSBC:n IT-päällikkö. Hän näkee HSBC:n mallina, kuinka muiden pankkien tulisi hallita IT-järjestelmiään: omistamalla henkilöstöä ja käyttämään aikaa. Mutta samalla hän myöntää, että pienemmälle pankille, varsinkin sellaiselle, jolla ei ole siirtokokemusta, asian tekeminen oikein on erittäin vaikea tehtävä.
TSB-siirto oli vaikeaa. Asiantuntijoiden mukaan pankin henkilökunta ei yksinkertaisesti voinut saavuttaa tätä monimutkaisuutta pätevyyden suhteen. Lisäksi he eivät edes vaivautuneet tarkistamaan ratkaisuaan tai testaamaan migraatiota etukäteen.
FCA:n pääjohtaja Andrew Bailey vahvisti tämän epäilyn Britannian parlamentissa pitämässään puheessa pankkiongelmista. Huono koodi aiheutti luultavasti vain TSB:n alkuongelmat, mutta globaalin finanssiverkoston yhteenliitetyt järjestelmät tarkoittivat, että sen virheet jatkuivat ja peruuttamattomia. Pankki näki edelleen odottamattomia virheitä muualla IT-arkkitehtuurissaan. Asiakkaat saivat viestejä, jotka olivat merkityksettömiä tai eivät liittyneet heidän ongelmiinsa.
Regressiotestaus voisi auttaa estämään katastrofeja, koska se saa kiinni huonon koodin ennen kuin se otettiin käyttöön ja aiheutti vahinkoa luomalla bugeja, joita ei voitu palauttaa. Mutta pankki päätti juosta miinakentän läpi, josta se ei edes tiennyt. Seuraukset olivat ennakoitavissa. Toinen ongelma oli kustannusten "optimointi". Miten se ilmeni? Tosiasia on, että aiemmin päätettiin luopua Lloydsiin tallennetuista varmuuskopioista, koska ne "söivät" liikaa rahaa.
Brittipankit (ja muutkin) pyrkivät saavuttamaan neljän yhdeksän käytettävyystason eli 99,99 %. Käytännössä tämä tarkoittaa, että IT-järjestelmän on oltava käytettävissä koko ajan, jopa 52 minuuttia seisokkeja vuodessa. "Kolmen yhdeksän" järjestelmä, 99,9%, ensi silmäyksellä ei eroa paljon. Mutta todellisuudessa tämä tarkoittaa, että seisokit saavuttavat 8 tuntia vuodessa. Pankille "neljä yhdeksän" on hyvä, mutta "kolme yhdeksän" ei.
Mutta aina kun yritys tekee muutoksia IT-infrastruktuuriinsa, se ottaa riskejä. Loppujen lopuksi jotain voi mennä pieleen. Muutosten vähentäminen voi auttaa välttämään ongelmia, kun taas vaaditut muutokset vaativat huolellisen testauksen. Ja brittiläiset sääntelyviranomaiset ovat kiinnittäneet huomionsa tähän kohtaan.
Ehkä helpoin tapa välttää seisokit on yksinkertaisesti tehdä vähemmän muutoksia. Mutta jokaisen pankin, kuten minkä tahansa yrityksen, on pakko ottaa käyttöön yhä enemmän hyödyllisiä ominaisuuksia asiakkaille ja omalle liiketoiminnalleen pysyäkseen kilpailukykyisenä. Samalla pankit ovat edelleen velvollisia huolehtimaan asiakkaistaan, suojelemaan heidän säästöjään ja henkilötietojaan sekä tarjoamaan mukavat olosuhteet palveluiden käyttämiselle. Osoittautuu, että organisaatiot joutuvat käyttämään paljon aikaa ja rahaa ylläpitääkseen IT-infrastruktuurinsa kuntoa ja tarjotakseen samalla uusia palveluita.
Rahoituspalvelusektorilla raportoitujen teknologiavikojen määrä Isossa-Britanniassa kasvoi 187 prosenttia vuosina 2017–2018, Ison-Britannian Financial Conduct Authorityn julkaisemien tietojen mukaan. Useimmiten vikojen syynä ovat ongelmat uusien toimintojen toiminnassa. Samalla pankeille on kriittistä varmistaa kaikkien palveluiden jatkuva häiriötön toiminta ja lähes välitön tapahtumaraportointi. Asiakkaat ovat aina hermostuneita, kun heidän rahansa roikkuvat jossain. Ja rahasta hermostunut asiakas on aina merkki vaivasta.
Muutama kuukausi TSB:n epäonnistumisen jälkeen (johon mennessä pankin toimitusjohtaja oli eronnut), Yhdistyneen kuningaskunnan rahoitusalan sääntelyviranomaiset ja Englannin keskuspankki keskustelua toiminnan kestävyydestä. Niinpä he yrittivät nostaa esiin kysymyksen siitä, kuinka syvälle pankit ovat menneet innovaatioiden tavoittelussa ja voivatko ne taata nykyisen järjestelmän vakaan toiminnan.
Asiakirjassa ehdotettiin myös muutoksia lainsäädäntöön. Kyse oli yrityksen sisällä olevien ihmisten saamisesta vastuuseen siitä, mikä yrityksen IT-järjestelmissä menee pieleen. Britannian parlamentaarikot selittivät asian seuraavasti: "Kun olet henkilökohtaisesti vastuussa ja voit mennä konkurssiin tai vankilaan, tämä muuttaa suuresti asennetta työhön, mukaan lukien luotettavuuteen ja turvallisuuteen omistetun ajan lisääminen."
Tulokset
Jokainen päivitys ja korjaustiedosto liittyy riskienhallintaan, varsinkin kun kyseessä on satoja miljoonia dollareita. Loppujen lopuksi, jos jokin menee pieleen, se voi tulla kalliiksi rahan ja maineen kannalta. Näyttäisi ilmeisiltä asioilta. Ja pankin epäonnistumisen muuton aikana olisi pitänyt opettaa heille paljon.
Oli. Mutta hän ei opettanut minua. Marraskuussa 2019 jälleen kannattavuuden saavuttanut ja hitaasti mainettaan parantava TSB "ilahdutti" asiakkaita tietotekniikan alalla. Toinen isku pankille tarkoitti, että se joutuu sulkemaan 82 konttoria vuonna 2020 kustannusten leikkaamiseksi. Tai hän ei yksinkertaisesti voinut säästää IT-asiantuntijoilta.
IT:n niukkaus maksaa viime kädessä. TSB raportoi 134 miljoonan dollarin tappion vuonna 2018 verrattuna 206 miljoonan dollarin voittoon vuonna 2017. Siirron jälkeiset kulut, mukaan lukien asiakaskorvaukset, vilpillisten tapahtumien korjaaminen (jotka kasvoivat jyrkästi pankkikaaoksen aikana) ja kolmannen osapuolen apu, olivat yhteensä 419 miljoonaa dollaria. Pankin IT-toimittajalta laskutettiin myös 194 miljoonaa dollaria roolistaan kriisissä.
Riippumatta siitä, mitä TSB:n pankin kaatumisesta opitaan, häiriöitä esiintyy silti. Ne ovat väistämättömiä. Mutta testauksen ja hyvän koodin avulla kaatumisia ja seisokkeja voidaan vähentää huomattavasti. Cloud4Y, joka usein auttaa suuria yrityksiä siirtymään pilviinfrastruktuuriin, ymmärtää, kuinka tärkeää on siirtyä nopeasti järjestelmästä toiseen. Siksi voimme suorittaa kuormitustestauksen ja käyttää monitasoista varmuuskopiointijärjestelmää sekä muita vaihtoehtoja, joiden avulla voit tarkistaa kaiken mahdollisen ennen siirron aloittamista.
Mitä muuta voit lukea blogista?
→
→
→
→
→
Tilaa meidän -kanava, jotta et missaa seuraavaa artikkelia! Kirjoitamme korkeintaan kaksi kertaa viikossa ja vain työasioissa.
Lähde: will.com