IT odjel VTB-a nekoliko se puta morao nositi s izvanrednim situacijama u radu sustava, kada se opterećenje na njima višestruko povećalo. Stoga se ukazala potreba za razvojem i testiranjem modela koji bi predvidio vršno opterećenje kritičnih sustava. Da bi to učinili, IT stručnjaci banke postavili su praćenje, analizirali podatke i naučili automatizirati predviđanja. U kratkom članku ćemo vam reći koji su alati pomogli u predviđanju opterećenja i jesu li pomogli u optimizaciji rada.
Problemi s opterećenim uslugama javljaju se u gotovo svim industrijama, ali su za financijski sektor kritični. U satu X sve borbene postrojbe moraju biti spremne i stoga je trebalo unaprijed znati što se može dogoditi pa čak i odrediti dan kada će opterećenje skočiti i koji će sustavi na to naići. Kvarove treba rješavati i prevenirati, pa se o potrebi implementacije sustava prediktivne analitike nije niti razgovaralo. Bilo je potrebno modernizirati sustave temeljene na podacima monitoringa.
Analitika na koljenima
Projekt obračuna plaća jedan je od najosjetljivijih u slučaju neuspjeha. Najrazumljiviji je za prognoziranje pa smo odlučili krenuti s njim. Zbog visoke povezanosti, drugi podsustavi, uključujući usluge daljinskog bankarstva (RBS), mogli bi imati problema u vrijeme vršnog opterećenja. Na primjer, klijenti koji su bili oduševljeni SMS-om o primitku novca počeli su ga aktivno koristiti. Opterećenje bi moglo skočiti za više od reda veličine.
Prvi model prognoze izrađen je ručno. Uzeli smo uploade za prošlu godinu i izračunali u koje dane se očekuju maksimalni vršci: na primjer, 1., 15. i 25., kao i zadnje dane u mjesecu. Ovaj je model zahtijevao značajne troškove rada i nije davao točnu prognozu. Unatoč tome, identificirao je uska grla gdje je bilo potrebno dodati hardver i omogućio optimizaciju procesa prijenosa novca dogovaranjem sa sidrenim klijentima: kako ne bi davali plaće u jednom gutljaju, transakcije iz različitih regija bile su razmaknute tijekom vremena. Sada ih obrađujemo u dijelovima koje IT infrastruktura banke može "sažvakati" bez greške.
Nakon prvog pozitivnog rezultata prešli smo na automatiziranje prognoze, a na red je čekalo još desetak kritičnih područja.
Složen pristup
VTB je implementirao sustav nadzora tvrtke MicroFocus. Odatle smo preuzeli prikupljanje podataka za predviđanje, sustav za pohranu i sustav za izvještavanje. Praćenje je zapravo već postojalo, preostalo je samo dodati metriku, modul predviđanja i izraditi nova izvješća. Ovu odluku podržava vanjski izvođač radova Technoserv, tako da je glavni posao na provedbi projekta pao na njegove stručnjake, ali mi smo sami izgradili model. Sustav predviđanja napravljen je na temelju Propheta, open source proizvoda kojeg je razvio Facebook. Jednostavan je za korištenje i lako se integrira s našim instaliranim integriranim alatima za praćenje i Verticom. Grubo rečeno, sustav analizira graf opterećenja i ekstrapolira ga na temelju Fourierovog niza. Također je moguće dodati određene koeficijente po danu, preuzete iz našeg modela. Mjerni podaci se uzimaju bez ljudske intervencije, prognoza se automatski preračunava jednom tjedno, a nova izvješća šalju se primateljima.
Ovaj pristup identificira glavne cikličnosti, na primjer, godišnje, mjesečne, tromjesečne i tjedne. Isplate plaća i akontacija, godišnji odmori, praznici i rasprodaje – sve to utječe na broj poziva prema sustavima. Pokazalo se, primjerice, da se neki ciklusi međusobno preklapaju, a glavno opterećenje (75%) na sustave dolazi iz Središnjeg saveznog okruga. Različito se ponašaju pravne i fizičke osobe. Ako je opterećenje "fizičara" relativno ravnomjerno raspoređeno po danima u tjednu (ovo je puno malih transakcija), tada se za tvrtke 99,9% troši na radno vrijeme, a transakcije mogu biti kratke ili se mogu obraditi unutar nekoliko minuta ili čak sati.
Na temelju dobivenih podataka utvrđuju se dugoročni trendovi. Novi sustav otkrio je da ljudi masovno prelaze na usluge daljinskog bankarstva. To svi znaju, ali nismo očekivali toliki razmjer i isprva nismo vjerovali u to: broj poziva u poslovnice banaka izuzetno brzo opada, a broj transakcija na daljinu raste upravo toliko. Sukladno tome raste i opterećenje sustava i dalje će rasti. Sada predviđamo opterećenje do veljače 2020. Normalni dani mogu se predvidjeti s pogreškom od 3%, a dani s najvećim udarom s pogreškom od 10%. Ovo je dobar rezultat.
Zamke
Kao i obično, nije prošlo bez poteškoća. Mehanizam ekstrapolacije pomoću Fourierovog niza ne prelazi dobro nulu - znamo da pravne osobe generiraju malo transakcija vikendom, ali modul predviđanja proizvodi vrijednosti koje su daleko od nule. Moglo ih se ispraviti nasilno, ali štake nisu naša metoda. Osim toga, morali smo riješiti problem bezbolnog dohvaćanja podataka iz izvornih sustava. Redovito prikupljanje informacija zahtijeva ozbiljne računalne resurse, stoga smo izgradili brze predmemorije koristeći replikaciju i primamo poslovne podatke iz replika. Odsutnost dodatnog opterećenja na glavnim sustavima u takvim je slučajevima zahtjev za blokiranje.
Novi izazovi
Jednostavan zadatak predviđanja vrhova je riješen: od svibnja ove godine u banci nije bilo kvarova uzrokovanih preopterećenjem, a novi sustav predviđanja odigrao je važnu ulogu u tome. Da, pokazalo se da to nije dovoljno, a sada banka želi shvatiti koliko su vrhovi opasni za nju. Potrebna su nam predviđanja pomoću metrike testiranja opterećenja, a za oko 30% kritičnih sustava to već radi, ostali su u procesu dobivanja predviđanja. U sljedećoj fazi ćemo predvidjeti opterećenje sustava ne u poslovnim transakcijama, već u smislu IT infrastrukture, odnosno ići ćemo jedan sloj niže. Osim toga, moramo u potpunosti automatizirati prikupljanje metrika i izradu prognoza na temelju njih, kako se ne bismo bavili preuzimanjima. Nema ništa posebno u vezi s tim - samo ukrštamo praćenje i testiranje opterećenja u skladu s najboljom globalnom praksom.
Izvor: www.habr.com