Mis-sena li għaddiet, il-kumpanija tagħna bdiet torganizza hackathons. L-ewwel kompetizzjoni bħal din kienet suċċess kbir, ktibna dwarha fi . It-tieni hackathon sar fi Frar 2019 u ma kellux inqas suċċess. Dwar l-għanijiet li jżommu dan tal-aħħar mhux daqshekk twil ilu organizzatur.
Il-parteċipanti ngħataw kompitu pjuttost interessanti b'libertà sħiħa fl-għażla ta 'munzell ta' teknoloġija għall-implimentazzjoni tiegħu. Kien meħtieġ li tiġi implimentata pjattaforma tat-teħid ta 'deċiżjonijiet għall-iskjerament konvenjenti ta' funzjonijiet ta 'punteġġ tal-klijenti li jistgħu jaħdmu bi fluss mgħaġġel ta' applikazzjonijiet, jifilħu tagħbijiet tqal, u s-sistema nnifisha kienet faċilment skalabbli.
Il-kompitu mhuwiex trivjali u jista 'jiġi solvut f'ħafna modi, kif konna konvinti minnu waqt id-dimostrazzjoni tal-preżentazzjonijiet finali tal-proġetti tal-parteċipanti. Kien hemm 6 timijiet ta '5 persuni fil-hackathon, il-parteċipanti kollha kellhom proġetti tajbin, iżda l-pjattaforma tagħna rriżulta li kienet l-aktar kompetittiva. Għandna proġett interessanti ħafna, li nixtieq nitkellem dwaru f'dan l-artiklu.
Is-soluzzjoni tagħna hija pjattaforma bbażata fuq arkitettura Serverless ġewwa Kubernetes, li tnaqqas iż-żmien li tieħu biex jinġiebu karatteristiċi ġodda għall-produzzjoni. Jippermetti lill-analisti jiktbu kodiċi f'ambjent konvenjenti għalihom u jużawh fil-produzzjoni mingħajr il-parteċipazzjoni ta 'inġiniera u żviluppaturi.
X'qed jiskorja
Tinkoff.ru, bħal ħafna kumpaniji moderni, għandu punteġġ tal-klijenti. Scoring hija sistema ta 'valutazzjoni tal-klijent ibbażata fuq metodi statistiċi ta' analiżi tad-dejta.
Pereżempju, klijent idur magħna b'talba biex joħroġlu self, jew tiftaħ kont ta 'intraprenditur individwali magħna. Jekk nippjanaw li noħorġulu self, allura rridu nevalwaw is-solvenza tiegħu, u jekk il-kont huwa intraprenditur individwali, allura rridu nkunu ċerti li l-klijent mhux se jwettaq tranżazzjonijiet frawdolenti.
Il-bażi biex jittieħdu deċiżjonijiet bħal dawn huma mudelli matematiċi li janalizzaw kemm id-dejta mill-applikazzjoni nnifisha kif ukoll id-dejta mill-ħażna tagħna. Minbarra l-punteġġ, metodi statistiċi simili jistgħu jintużaw ukoll fis-servizz li jiġġeneraw rakkomandazzjonijiet individwali għal prodotti ġodda għall-klijenti tagħna.
Il-metodu ta' valutazzjoni bħal din jista' jaċċetta varjetà ta' data input. U f'xi punt nistgħu nżidu parametru ġdid mal-input, li, ibbażat fuq ir-riżultati tal-analiżi fuq data storika, iżid ir-rata ta 'konverżjoni tal-użu tas-servizz.
Aħna nżommu minjiera ta 'dejta dwar ir-relazzjonijiet tal-klijenti, u l-volum ta' din l-informazzjoni qiegħed dejjem jikber. Biex il-punteġġ jaħdem, l-ipproċessar tad-dejta jeħtieġ ukoll regoli (jew mudelli matematiċi) li jippermettulek tiddeċiedi malajr min tapprova applikazzjoni, min tirrifjuta, u min toffri koppja aktar prodotti, filwaqt li tevalwa l-interess potenzjali tagħhom.
Għall-kompitu inkwistjoni, aħna diġà nużaw sistema speċjalizzata għat-teħid tad-deċiżjonijiet , li, abbażi tar-regoli stabbiliti minn analisti, teknoloġisti u żviluppaturi, tiddeċiedi jekk tapprovax jew tirrifjutax prodott bankarju partikolari lill-klijent.
Hemm ħafna soluzzjonijiet lesti fis-suq, kemm mudelli ta’ punteġġ kif ukoll sistemi ta’ teħid ta’ deċiżjonijiet infushom. Aħna nużaw waħda minn dawn is-sistemi fil-kumpanija tagħna. Iżda n-negozju qed jikber, jiddiversifika, kemm in-numru ta’ klijenti kif ukoll in-numru ta’ prodotti offruti qed jiżdiedu, u flimkien ma’ dan qed joħorġu ideat dwar kif jista’ jitjieb il-proċess eżistenti tat-teħid tad-deċiżjonijiet. Żgur li n-nies li jaħdmu mas-sistema eżistenti għandhom ħafna ideat dwar kif jagħmluha aktar sempliċi, aħjar, aktar konvenjenti, iżda kultant ideat minn barra jkunu utli. Il-Hackathon Ġdid ġie organizzat bil-għan li jinġabru ideat sodi.
Kompitu
Il-hackathon saret fit-23 ta’ Frar. Il-parteċipanti ġew offruti kompitu ta 'ġlied: li jiżviluppaw sistema ta' teħid ta 'deċiżjonijiet li kellha tissodisfa numru ta' kundizzjonijiet.
Qalulna kif taħdem is-sistema eżistenti u liema diffikultajiet jinqalgħu waqt it-tħaddim tagħha, kif ukoll liema għanijiet tan-negozju għandha ssegwi l-pjattaforma żviluppata. Is-sistema għandu jkollha time-to-market veloċi għall-iżvilupp tar-regoli sabiex il-kodiċi tax-xogħol tal-analisti jidħol fil-produzzjoni kemm jista 'jkun malajr. U għall-fluss ta 'applikazzjonijiet deħlin, il-ħin tat-teħid tad-deċiżjonijiet għandu tendenza li jkun minimu. Ukoll, is-sistema li qed tiġi żviluppata għandu jkollha kapaċitajiet ta 'bejgħ inkroċjat sabiex tagħti lill-klijent l-opportunità li jixtri prodotti oħra tal-kumpanija jekk ikunu approvati minna u jkollhom interess potenzjali mill-klijent.
Huwa ċar li huwa impossibbli li tikteb proġett lest biex jiġi rilaxxat mil-lum għal għada li ċertament se jidħol fil-produzzjoni, u huwa pjuttost diffiċli li tkopri s-sistema kollha, għalhekk ġejna mitluba nimplimentaw mill-inqas parti minnha. Ġew stabbiliti għadd ta 'rekwiżiti li l-prototip għandu jissodisfa. Kien possibbli li tipprova kemm tkopri r-rekwiżiti kollha fl-intier tagħhom, kif ukoll taħdem fid-dettall fuq sezzjonijiet individwali tal-pjattaforma li qed tiġi żviluppata.
Fir-rigward tat-teknoloġija, il-parteċipanti kollha ngħataw libertà sħiħa tal-għażla. Kien possibbli li tuża kwalunkwe kunċett u teknoloġija: Streaming tad-dejta, tagħlim bil-magni, sorsi ta 'avvenimenti, big data u oħrajn.
Is-soluzzjoni tagħna
Wara ftit brainstorming, iddeċidejna li soluzzjoni FaaS tkun ideali biex tlesti l-kompitu.
Għal din is-soluzzjoni, kien meħtieġ li jinstab qafas Serverless adattat biex jiġu implimentati r-regoli tas-sistema tat-teħid tad-deċiżjonijiet li qed tiġi żviluppata. Peress li Tinkoff juża b'mod attiv Kubernetes għall-ġestjoni tal-infrastruttura, ħaresna lejn diversi soluzzjonijiet lesti bbażati fuqha; ser ngħidlek aktar dwarha aktar tard.
Biex issib l-aktar soluzzjoni effettiva, ħares lejn il-prodott li qed jiġi żviluppat permezz tal-għajnejn tal-utenti tiegħu. L-utenti ewlenin tas-sistema tagħna huma analisti involuti fl-iżvilupp tar-regoli. Ir-regoli għandhom jiġu skjerati fis-server, jew, bħal fil-każ tagħna, skjerati fil-cloud, għat-teħid ta 'deċiżjonijiet sussegwenti. Mill-perspettiva ta 'analista, il-fluss tax-xogħol jidher bħal dan:
- L-analista jikteb skript, regola jew mudell ML ibbażat fuq data mill-maħżen. Bħala parti mill-hackathon, iddeċidejna li nużaw Mongodb, iżda l-għażla tas-sistema tal-ħażna tad-dejta mhix importanti hawnhekk.
- Wara li ttestja r-regoli żviluppati dwar id-dejta storika, l-analista jtella' l-kodiċi tiegħu fil-pannell tal-amministrazzjoni.
- Biex tiżgura l-verżjoni, il-kodiċi kollu se jmur għar-repożitorji Git.
- Permezz tal-pannell tal-amministrazzjoni se jkun possibbli li l-kodiċi jiġi skjerat fil-sħaba bħala modulu Serverless funzjonali separat.
Id-dejta inizjali mill-klijenti trid tgħaddi minn servizz ta’ Arrikkiment speċjalizzat iddisinjat biex jarrikkixxi t-talba inizjali b’dejta mill-maħżen. Kien importanti li dan is-servizz jiġi implimentat b'tali mod li jaħdem ma' repożitorju wieħed (li minnu l-analista jieħu d-dejta meta jiżviluppa r-regoli) biex iżżomm struttura tad-dejta unifikata.
Anke qabel l-hackathon, iddeċidejna dwar il-qafas Serverless li se nużaw. Illum hemm ħafna teknoloġiji fis-suq li jimplimentaw dan l-approċċ. L-aktar soluzzjonijiet popolari fi ħdan l-arkitettura Kubernetes huma Fission, Open FaaS u Kubeless. Hemm anke .
Wara li weżin il-vantaġġi u l-iżvantaġġi kollha, għażilna . Dan il-qafas Serverless huwa pjuttost faċli biex jimmaniġġja u jissodisfa r-rekwiżiti tal-kompitu.
Biex taħdem ma 'Fission, trid tifhem żewġ kunċetti bażiċi: il-funzjoni u l-ambjent. Funzjoni hija biċċa kodiċi miktuba f'waħda mil-lingwi li għalihom hemm ambjent ta 'Fission. jinkludi Python, JS, Go, JVM u ħafna lingwi u teknoloġiji popolari oħra.
Fissjoni hija kapaċi wkoll twettaq funzjonijiet maqsuma f'diversi fajls, ippakkjati minn qabel f'arkivju. It-tħaddim ta 'Fission fi cluster Kubernetes huwa żgurat minn imżiewed speċjalizzati, li huma ġestiti mill-qafas innifsu. Biex jinteraġixxi ma 'cluster pods, kull funzjoni trid tiġi assenjata r-rotta tagħha stess, u li għaliha tista' tgħaddi l-parametri GET jew il-korp tat-talba fil-każ ta 'talba POST.
Bħala riżultat, ippjanajna li niksbu soluzzjoni li tippermetti lill-analisti jużaw skripts ta 'regoli żviluppati mingħajr il-parteċipazzjoni ta' inġiniera u żviluppaturi. L-approċċ deskritt jelimina wkoll il-ħtieġa li l-iżviluppaturi jikteb mill-ġdid il-kodiċi tal-analista f'lingwa oħra. Pereżempju, għas-sistema attwali tat-teħid tad-deċiżjonijiet li nużaw, irridu niktbu regoli f'teknoloġiji u lingwi speċjalizzati ħafna, li l-ambitu tagħhom huwa estremament limitat, u hemm ukoll dipendenza qawwija fuq is-server tal-applikazzjoni, peress li l-abbozzi kollha tar-regoli bankarji. huma skjerati f'ambjent wieħed. Bħala riżultat, biex jiġu skjerati regoli ġodda huwa meħtieġ li s-sistema kollha tiġi rilaxxata.
Fis-soluzzjoni proposta tagħna, m'hemmx bżonn li nirrilaxxaw regoli; il-kodiċi jista 'jintuża faċilment bl-ikklikkja ta' buttuna. Ukoll, il-ġestjoni tal-infrastruttura f'Kubernetes tippermettilek li ma taħsibx dwar it-tagħbija u l-iskala; problemi bħal dawn jissolvew barra mill-kaxxa. U l-użu ta 'maħżen tad-dejta wieħed jelimina l-ħtieġa li titqabbel id-dejta f'ħin reali ma' dejta storika, li tissimplifika x-xogħol tal-analista.
Dak li ksibna
Peress li wasalna għall-hackathon b'soluzzjoni lesta (fil-fantasiji tagħna), kull ma kellna nagħmlu kien li nikkonverti l-ħsibijiet kollha tagħna f'linji ta 'kodiċi.
Iċ-ċavetta għas-suċċess fi kwalunkwe hackathon hija l-preparazzjoni u pjan miktub tajjeb. Għalhekk, l-ewwel ħaġa li għamilna kienet li niddeċiedu minn liema moduli se tkun tikkonsisti l-arkitettura tas-sistema tagħna u liema teknoloġiji se nużaw.
L-arkitettura tal-proġett tagħna kienet kif ġej:
Din id-dijagramma turi żewġ punti ta 'dħul, l-analista (l-utent ewlieni tas-sistema tagħna) u l-klijent.
Il-proċess tax-xogħol huwa strutturat hekk. L-analista jiżviluppa funzjoni ta 'regola u funzjoni ta' arrikkiment tad-dejta għall-mudell tiegħu, jaħżen il-kodiċi tiegħu f'repożitorju Git, u juża l-mudell tiegħu fis-sħab permezz tal-applikazzjoni tal-amministratur. Ejja nikkunsidraw kif se tissejjaħ il-funzjoni skjerata u nieħdu deċiżjonijiet dwar talbiet deħlin mill-klijenti:
- Il-klijent jimla formola fuq il-websajt u jibgħat it-talba tiegħu lill-kontrollur. Applikazzjoni li fuqha trid tittieħed deċiżjoni tasal għall-input tas-sistema u tiġi rreġistrata fid-database fil-forma oriġinali tagħha.
- Sussegwentement, it-talba mhux maħduma tintbagħat għall-arrikkiment, jekk meħtieġ. Tista' tissupplimenta t-talba inizjali b'dejta kemm minn servizzi esterni kif ukoll mill-ħażna. Il-mistoqsija arrikkita li tirriżulta hija wkoll maħżuna fid-database.
- Tiġi mnedija l-funzjoni tal-analista, li tieħu mistoqsija arrikkita bħala input u tipproduċi soluzzjoni, li tinkiteb ukoll fil-ħażna.
Iddeċidejna li nużaw MongoDB bħala ħażna fis-sistema tagħna minħabba l-ħażna tad-dejta orjentata lejn id-dokumenti fil-forma ta 'dokumenti JSON, peress li s-servizzi ta' arrikkiment, inkluża t-talba oriġinali, aggregaw id-dejta kollha permezz ta 'kontrolluri REST.
Għalhekk, kellna XNUMX siegħa biex nimplimentaw il-pjattaforma. Qassamna r-rwoli b'suċċess; kull membru tat-tim kellu l-qasam tar-responsabbiltà tiegħu fil-proġett tagħna:
- Pannelli ta 'amministrazzjoni ta' quddiem għax-xogħol ta 'l-analista, li permezz tagħhom huwa seta' tniżżel regoli mis-sistema ta 'kontroll tal-verżjoni ta' skripts miktuba, jagħżel għażliet biex tarrikkixxi d-dejta tal-input u jeditja skripts tar-regoli onlajn.
- Backend admin, inkluż REST API għall-faċċata u integrazzjoni ma 'VCS.
- It-twaqqif ta' infrastruttura fil-Google Cloud u l-iżvilupp ta' servizz għall-arrikkiment tad-dejta tas-sors.
- Modulu għall-integrazzjoni tal-applikazzjoni tal-amministrazzjoni mal-qafas Serverless għall-iskjerament sussegwenti tar-regoli.
- Skripts ta 'regoli għall-ittestjar tal-prestazzjoni tas-sistema kollha u l-aggregazzjoni ta' analitiċi fuq applikazzjonijiet deħlin (deċiżjonijiet meħuda) għad-dimostrazzjoni finali.
Nibdew bl-ordni.
Il-frontend tagħna nkiteb f'Angular 7 bl-użu tal-Banking UI Kit. Il-verżjoni finali tal-pannell tal-amministrazzjoni kienet bħal din:
Peress li kien hemm ftit ħin, ippruvajna nimplimentaw biss il-funzjonalità ewlenija. Biex tiskjera funzjoni fil-cluster Kubernetes, kien meħtieġ li jintgħażel avveniment (servizz li għalih trid tiġi skjerata regola fil-cloud) u l-kodiċi tal-funzjoni li timplimenta l-loġika tat-teħid tad-deċiżjonijiet. Għal kull skjerament ta’ regola għas-servizz magħżul, ktibna log ta’ dan l-avveniment. Fil-pannell tal-amministrazzjoni tista' tara r-reġistri tal-avvenimenti kollha.
Il-kodiċi tal-funzjoni kollu kien maħżun f'repożitorju Git remot, li kellu wkoll jiġi stabbilit fil-pannell tal-amministrazzjoni. Għall-verżjoni tal-kodiċi, il-funzjonijiet kollha ġew maħżuna f'fergħat differenti tar-repożitorju. Il-pannell tal-amministrazzjoni jipprovdi wkoll il-kapaċità li jagħmel aġġustamenti għall-iskripts bil-miktub, sabiex qabel ma tuża funzjoni għall-produzzjoni, tista 'mhux biss tiċċekkja l-kodiċi bil-miktub, iżda wkoll tagħmel il-bidliet meħtieġa.
Minbarra l-funzjonijiet tar-regoli, implimentajna wkoll il-kapaċità li gradwalment tarrikkixxi d-dejta tas-sors bl-użu ta 'funzjonijiet ta' Arrikkiment, li l-kodiċi tagħhom kien ukoll skripts li fihom kien possibbli li tmur fil-maħżen tad-dejta, issejjaħ servizzi ta 'partijiet terzi u twettaq kalkoli preliminari. . Biex nuru s-soluzzjoni tagħna, aħna kkalkulajna s-sinjal taż-żodijaku tal-klijent li ħalla t-talba u ddeterminajna l-operatur tal-mowbajl tiegħu billi juża servizz REST ta 'parti terza.
Il-backend tal-pjattaforma kien miktub f'Java u implimentat bħala applikazzjoni Spring Boot. Inizjalment ippjanajna li nużaw Postgres biex naħżnu d-dejta tal-amministrazzjoni, iżda, bħala parti mill-hackathon, iddeċidejna li nillimitaw ruħna għal H2 sempliċi sabiex niffrankaw il-ħin. Fuq il-backend, l-integrazzjoni ma 'Bitbucket ġiet implimentata għall-verżjoni tal-funzjonijiet ta' arrikkiment tal-mistoqsijiet u l-iskripts tar-regoli. Għall-integrazzjoni ma 'repożitorji Git remoti, użajna , li huwa tip ta 'tgeżwir fuq kmandi CLI, li jippermettilek tesegwixxi kwalunkwe istruzzjonijiet git billi tuża interface tas-softwer konvenjenti. Allura kellna żewġ repożitorji separati għal funzjonijiet u regoli ta 'arrikkiment, u l-iskripts kollha kienu maqsuma f'direttorji. Permezz tal-UI kien possibbli li jintgħażel l-aħħar impenn ta 'kitba ta' fergħa arbitrarja tar-repożitorju. Meta saru bidliet fil-kodiċi permezz tal-pannell tal-amministrazzjoni, inħolqu impenji tal-kodiċi mibdul f'repożitorji remoti.
Biex nimplimentaw l-idea tagħna, kellna bżonn infrastruttura xierqa. Iddeċidejna li niskjeraw il-cluster Kubernetes tagħna fil-cloud. L-għażla tagħna kienet Google Cloud Platform. Il-qafas fissjoni serverless ġie installat fuq cluster Kubernetes, li aħna skjerati f'Gcloud. Inizjalment, is-servizz ta' arrikkiment tad-dejta tas-sors ġie implimentat bħala applikazzjoni Java separata mgeżwra f'Pod ġewwa l-cluster k8s. Iżda wara dimostrazzjoni preliminari tal-proġett tagħna fin-nofs tal-hackathon, ġejna rrakkomandati li nagħmlu s-servizz ta 'Arrikkiment aktar flessibbli biex nipprovdu l-opportunità li tagħżel kif tarrikkixxi d-dejta mhux ipproċessata tal-applikazzjonijiet deħlin. U ma kellna l-ebda għażla ħlief li nagħmlu s-servizz ta' arrikkiment ukoll Serverless.
Biex naħdmu ma 'Fission, użajna l-Fission CLI, li trid tkun installata fuq il-Kubernetes CLI. L-iskjerament tal-funzjonijiet fi cluster k8s huwa pjuttost sempliċi; għandek bżonn biss tassenja rotta interna u tidħol fil-funzjoni biex tippermetti t-traffiku deħlin jekk ikun meħtieġ aċċess barra l-cluster. L-iskjerament ta' funzjoni waħda tipikament ma jieħux aktar minn 10 sekondi.
Preżentazzjoni finali tal-proġett u sommarju
Biex nuru kif taħdem is-sistema tagħna, poġġiejna formola sempliċi fuq server remot fejn tista’ tissottometti applikazzjoni għal wieħed mill-prodotti tal-bank. Biex titlob, kellek iddaħħal l-inizjali, id-data tat-twelid u n-numru tat-telefon tiegħek.
Id-dejta mill-formola tal-klijent marret għand il-kontrollur, li fl-istess ħin bagħat talbiet għar-regoli kollha disponibbli, wara li qabel arrikkit id-dejta skont il-kundizzjonijiet speċifikati, u ssejvjahom f'ħażna komuni. B'kollox, użajna tliet funzjonijiet li jieħdu deċiżjonijiet dwar applikazzjonijiet deħlin u 4 servizzi ta' arrikkiment tad-dejta. Wara li ssottometta l-applikazzjoni, il-klijent irċieva d-deċiżjoni tagħna:
Minbarra r-rifjut jew l-approvazzjoni, il-klijent irċieva wkoll lista ta 'prodotti oħra, talbiet li bgħatna b'mod parallel. Hekk urejna l-possibbiltà ta’ cross-sale fil-pjattaforma tagħna.
Kien hemm total ta' 3 prodotti bankarji fittizji disponibbli:
- Kreditu.
- Ġugarelli
- Ipoteki.
Matul id-dimostrazzjoni, skjerajna funzjonijiet ippreparati u skripts ta' arrikkiment għal kull servizz.
Kull regola kienet teħtieġ is-sett tad-dejta tal-input tagħha stess. Allura, biex napprova ipoteka, aħna kkalkulajna s-sinjal taż-żodijaku tal-klijent u konnessjna dan mal-loġika tal-kalendarju Lunar. Biex napprovaw ġugarell, iċċekkajna li l-klijent kien laħaq l-età tal-maġġoranza, u biex joħroġ self, bgħatna talba lil servizz miftuħ estern biex jiġi ddeterminat l-operatur ċellulari, u ttieħdet deċiżjoni dwarha.
Ippruvajna nagħmlu d-dimostrazzjoni tagħna interessanti u interattiva, kull min preżenti seta’ jmur fil-formola tagħna u jiċċekkja d-disponibbiltà tas-servizzi fittizji tagħna għalihom. U fl-aħħar nett tal-preżentazzjoni, urejna l-analiżi tal-applikazzjonijiet riċevuti, li wrew kemm nies użaw is-servizz tagħna, in-numru ta 'approvazzjonijiet, u rifjuti.
Biex niġbru l-analitiċi online, aħna wkoll użajna għodda BI ta’ sors miftuħ u invitat lill-unità tal-ħażna tagħna. Metabase jippermettilek tibni skrins b'analitiċi fuq id-dejta li tinteressana; għandek bżonn biss tirreġistra konnessjoni mad-database, tagħżel tabelli (fil-każ tagħna, kollezzjonijiet tad-dejta, peress li użajna MongoDB), u tispeċifika l-oqsma ta 'interess għalina .
Bħala riżultat, aħna ltqajna prototip tajjeb ta 'pjattaforma tat-teħid ta' deċiżjonijiet, u matul id-dimostrazzjoni, kull semmiegħ seta 'jivverifika personalment il-prestazzjoni tiegħu. Soluzzjoni interessanti, prototip lest u dimostrazzjoni ta’ suċċess ppermettewlna nirbħu, minkejja kompetizzjoni qawwija minn timijiet oħra. Jiena ċert li jista’ wkoll jinkiteb artiklu interessanti fuq il-proġett ta’ kull tim.
Sors: www.habr.com