IT odjel VTB-a morao je nekoliko puta da se nosi sa vanrednim situacijama u radu sistema, kada se opterećenje na njima višestruko povećalo. Stoga je postalo neophodno razviti i testirati model koji bi predvidio vršno opterećenje kritičnih sistema. Da bi to učinili, IT stručnjaci banke postavili su monitoring, analizirali podatke i naučili kako automatizirati prognoze. Koji su alati pomogli da se predvidi opterećenje i da li je uz njihovu pomoć bilo moguće optimizirati rad, reći ćemo u kratkom članku.
Problemi sa visoko opterećenim uslugama javljaju se u gotovo svim industrijama, ali su kritični za finansijski sektor. U satu X sve borbene jedinice morale su biti spremne, pa je bilo potrebno unaprijed znati šta se može dogoditi, pa čak i odrediti dan kada će opterećenje porasti i koji će se sistemi suočiti s njim. Kvarove treba rješavati i spriječiti, pa se o potrebi implementacije sistema prediktivne analitike nije ni razgovaralo. Sistemi su morali biti nadograđeni na osnovu podataka praćenja.
Analitika na kolenima
Platni projekat je jedan od najosjetljivijih u slučaju neuspjeha. To je najrazumljivije za prognoziranje, pa smo odlučili da počnemo s njim. Zbog visoke povezanosti u vrijeme vršnog opterećenja, drugi podsistemi također mogu imati problema, uključujući daljinsko bankarstvo (RB). Na primjer, kupci koji su bili oduševljeni SMS-om o primitku novca počeli su ih aktivno koristiti. U ovom slučaju, opterećenje bi moglo skočiti za više od reda veličine.
Prvi model predviđanja kreiran je ručno. Uzeli smo upload za prošlu godinu i izračunali kojim danima se očekuju maksimalni vrhovi: na primjer, 1., 15. i 25., kao i posljednjih dana u mjesecu. Ovaj model je zahtijevao ozbiljne troškove rada i nije dao tačnu prognozu. Ipak, identifikovala je uska grla gde je bilo potrebno dodati „gvožđe“ i dozvolila da optimizuje proces prenosa novca dogovarajući se sa sidrenim klijentima: kako se plate ne bi davale „u jednom gutljaju“, transakcije iz različitih regiona su raspoređene tokom vremena . Sada ih obrađujemo u delovima koje je IT infrastruktura banke u stanju da „prožvaće“ bez kvarova.
Dobivši prvi pozitivan rezultat, prešli smo na automatizaciju predviđanja, a još desetak kritičnih područja je čekalo na svoj red.
Sveobuhvatan pristup
VTB je implementirao sistem praćenja kompanije MicroFocus. Odatle smo preuzeli prikupljanje podataka za predviđanje, sistem skladištenja i sistem izveštavanja. Zapravo, monitoring je već postojao, ostalo je samo dodati metriku, modul za predviđanje i kreirati nove izvještaje. Ovo rješenje podržava eksterni izvođač radova Technoserv, tako da je glavni posao na implementaciji projekta pao na njegove stručnjake, ali smo model izgradili sami. Sistem predviđanja je napravljen na osnovu Poslanika - ovaj otvoreni proizvod je razvio Facebook. Jednostavan je za korištenje i lako se integrira s našim integriranim alatima za nadzor i Verticom. Grubo govoreći, sistem analizira raspored učitavanja i ekstrapolira ga na osnovu Fourierovog reda. Također je moguće dodati neke koeficijente za dane preuzete iz našeg modela. Metrike se uzimaju bez ljudske intervencije, jednom sedmično se prognoza automatski preračunava, novi izvještaji se šalju primaocima.
Ovaj pristup otkriva glavne cikluse, na primjer, godišnji, mjesečni, kvartalni i sedmični. Plate i akontacije, periodi godišnjih odmora, praznici i rasprodaje - sve to utiče na broj poziva u sisteme. Ispostavilo se, na primjer, da se neki ciklusi međusobno preklapaju, a glavno opterećenje (75%) na sisteme dolazi iz Centralnog federalnog okruga. Pravna i fizička lica se ponašaju različito. Ako je opterećenje od "fizičara" relativno ravnomerno raspoređeno po danima u nedelji (ima dosta malih transakcija), onda kompanije imaju 99,9% tokom radnog vremena, štaviše, transakcije mogu biti kratke, ili se mogu obraditi u roku od nekoliko minuta ili čak sati.
Na osnovu dobijenih podataka utvrđuju se dugoročni trendovi. Novi sistem je otkrio da ljudi masovno odlaze radi daljinskog bankarstva. To svi znaju, ali nismo očekivali toliki razmjer i u početku nismo vjerovali u njih: broj poziva u poslovnice banke izuzetno brzo opada, a za potpuno isti iznos raste i broj daljinskih transakcija. Shodno tome, raste i opterećenje sistema i nastavit će rasti. Sada predviđamo opterećenje do februara 2020. Normalni dani se mogu predvideti sa greškom od 3%, a vršni dani - sa greškom od 10%. Ovo je dobar rezultat.
zamke
Kao i obično, nije prošlo bez poteškoća. Mehanizam ekstrapolacije koji koristi Fourierov red ne prelazi dobro nulu - znamo da pravna lica generiraju malo transakcija tokom vikenda, ali modul predviđanja proizvodi vrijednosti koje su daleko od nule. Bilo ih je moguće nasilno ispraviti, ali štake nisu naša metoda. Osim toga, morali smo riješiti problem bezbolnog uklanjanja podataka iz izvornih sistema. Redovno prikupljanje informacija zahteva ozbiljne računarske resurse, tako da smo izgradili brze keš memorije koristeći replikaciju, poslovne podatke dobijamo već iz replika. Odsustvo dodatnog opterećenja na glavnim sistemima u takvim slučajevima je uslov za blokiranje.
Novi izazovi
Rešen je direktni zadatak predviđanja pikova: od maja ove godine u banci nije bilo kvarova uzrokovanih preopterećenjem, a u tome je važnu ulogu odigrao novi sistem predviđanja. Da, to nije bilo dovoljno, a sada banka želi da shvati koliko su pikovi opasni za nju. Potrebne su nam prognoze koje koriste metrike iz testiranja opterećenja, a za oko 30% kritičnih sistema to već funkcioniše, ostali su u procesu dobijanja prognoza. U sljedećoj fazi ćemo predvidjeti opterećenje sistema ne u poslovnim transakcijama, već u smislu IT infrastrukture, odnosno spustićemo se na sloj ispod. Osim toga, potrebno je u potpunosti automatizirati prikupljanje metrike i izradu prognoza na temelju njih, kako se ne bismo bavili istovarom. Nema ničeg izvanrednog u tome – samo ukrštamo praćenje i testiranje opterećenja u skladu sa najboljom svjetskom praksom.
izvor: www.habr.com