Sber.DS — platvorm, mis võimaldab luua ja rakendada mudeleid isegi ilma koodita.

Igapäevaselt tekivad erineva suurusega ettevõtetes ideid ja kohtumisi, kuidas veel protsesse automatiseerida. Kuid lisaks sellele, et mudeli loomine võib võtta palju aega, tuleb kulutada aega ka selle hindamisele ja kontrollimisele, et saadud tulemus ei oleks juhuslik. Pärast rakendamist tuleb igat mudelit jälgida ja perioodiliselt kontrollida.

Need on kõik etapid, mis tuleb läbida igas ettevõttes, sõltumata selle suurusest. Kui räägime Sberbankist ja selle suurusest, siis nüansside arv kasvab mitmekordselt. 2019. aasta lõpuks kasutati Sberis juba üle 2000 mudeli. Mudeli lihtsalt väljatöötamine ei piisa; vajalik on integreeruda tööstussüsteemidega, arendada andmete vitriine mudelite loomiseks ja tagada selle töö hindamine klastris.

Meie meeskond arendab platvormi Sber.DS. See aitab lahendada masinõppe ülesandeid, kiirendab hüpoteeside kontrollimise protsessi, lihtsustab põhimõtteliselt arendamise ja valideerimise protsessi ning jälgib mudeli töö tulemust PROMis.

Kuna ma ei soovi teie ootusi petta, tahan ette öelda, et see postitus on sissejuhatav ning allpool räägime esmalt sellest, mis põhimõtteliselt platvormi Sber.DS aluseks on. Mudeli elutsüklist alates loomise kuni rakendamiseni räägime eraldi.

Sber.DS koosneb mitmest komponendist, milleks on peamised raamatukogu, arendussüsteem ja mudelite täitmise süsteem.

Raamatukogu juhib mudeli elutsüklit idee tekkimisest kuni rakendamiseni PROMis, jälgimise seadistamiseni ja väljaarvamiseni kasutusest. Raamatukogu paljusid võimalusi dikteerivad järelvalt väljaandjad, näiteks aruandlus ja koolitus- ja valideerimistulemuste säilitamine. Tegelikult on see meie mudelite registri register.

Arendussüsteem on mõeldud mudelite ja valideerimismeetodite visuaalseks arendamiseks. Arendatud mudelid läbivad esialgse valideerimise ja edastatakse täitmise süsteemi oma äritegevuse funktsioonide täitmiseks. Samuti võib täitmise süsteemis mudel olla seadistatud monitooringuks, et perioodiliselt käivitada valideerimismeetodeid oma töö jälgimiseks.

Süsteemis on mitu tüüpi sõlmi. Ühed on mõeldud ühendamiseks erinevate andmeallikatega, teised aga lähteandmete transformeerimiseks ja nende rikastamiseks (märgistamiseks). On palju sõlmi erinevate mudelite koostamiseks ja valideerimiseks. Arendaja saab laadida andmeid mis tahes allikatest, neid muuta, filtreerida, visualiseerida vaheandmeid ning jagada neid osadeks.

Platvorm sisaldab ka juba valmis mooduleid, mida saab lohistada projektialale. Kõik toimingud tehakse visualiseeritud liidese kaudu. Tegelikult on võimalik probleem lahendada ilma üheainsa koodirea kirjutamiseta.

Kui sisseehitatud võimalused ei ole piisavad, pakub süsteem võimalust kiiresti luua oma mooduleid. Oleme integreeritud arenduse režiimi teinud põhjal Jupyter Kernel Gateway neile, kes loovad uusi mooduleid "nullist".

Sber.DS arhitektuur põhineb mikroteenustel. Mikroteenuste kohta on palju arvamusi. Mõned usuvad, et piisab monoliitse koodi jagamisest osadeks, kuid nad kasutavad ikkagi ühte ja sama andmebaasi. Meil peab mikroteenus suhtlema teise mikroteenusega ainult REST API kaudu. Otsest andmebaasi juurdepääsu pole lubatud.

Püüame vältida, et teenused muutuksid väga suurteks ja kohmakateks: üks eksemplar ei tohi kasutada rohkem kui 4–8 gigabaiti RAM-i ja peab võimaldama horisontaalset skaleerimist, käivitades uusi eksemplare. Iga teenus suhtleb teistega ainult REST API kaudu (Open API). Teenuse eest vastutav meeskond peab säilitama API tagurpidi ühilduvuse viimase kliendini, kes seda kasutab.

Rakenduse südamik on kirjutatud Java-s, kasutades Spring Frameworki. Lahendus oli algselt kavandatud kiireks juurutamiseks pilveinfrastruktuuris, mistõttu on rakendus loodud konteinerite haldamise süsteemi kasutades. Red Hat OpenShift (Kubernetes). Platvorm areneb pidevalt, lisades nii äritegevuse funktsioone (uued ühendajad, AutoML) kui ka tehnolooge tõhusust.

Üks meie platvormi „spetsialiteete“ on see, et saame käitada visuaalses liideses arendatud koodi Sberbanki mudelite igasugustes käitussüsteemides. Hetkel on neid juba kaks: üks Hadoopil, teine — OpenShiftis (Docker). Me ei kavatse sellega piirduda ja loome integreerimisvõimalusi koodi käitamiseks igasugustes infrastruktuurides, sealhulgas kohapeal ja pilves. Mis puutub Sberbanki ökosüsteemi tõhusasse integreerimisse, siis plaanime toetada ka olemasolevate käituskeskkondade kasutamist. Tulevikus saab lahendust paindlikult integreerida „välja pakitud“ mis tahes organisatsiooni maastikku.

Need to manage a Python solution running on Hadoop in a production environment know that it's not just about preparing and delivering a user-specific Python environment to each data node. The vast number of C/C++ libraries for machine learning that utilize Python modules won't let you rest easy. It’s essential to keep packages updated when adding new libraries or servers while maintaining backward compatibility with the existing model code.

There are several approaches to achieve this. For instance, you can pre-prepare some commonly used libraries and integrate them into the production environment. In Cloudera's Hadoop distribution, this is typically done using parcel. Additionally, the ability to run docker-containers is now being introduced in Hadoop. In some straightforward cases, you can deliver the code together with the package python.eggs.

The bank takes the security of running third-party code very seriously, so we maximally utilize new kernel capabilities of Linux, where the process running in an isolated environment Linux namespace, on võimalik piirata näiteks juurdepääsu võrgule ja lokaalsetele ketastele, mis oluliselt vähendab pahavara võimalusi. Iga osakonna andmevaldkonnad on kaitstud ja ligipääsetavad ainult nende andmete omanikele. Platvorm garanteerib, et andmed ühest valdkonnast saavad teise valdkonda liikuda ainult andmete avaldamise protsessi kaudu, mille käigus kontrollitakse kõiki etappe alates juurdepääsust allikatele kuni andmete jõudmiseni sihtvitriini.

Sel aastal plaanime lõpetada MVP lansseerimise mudelitele, mis on kirjutatud Pythonis/Ris/Java Hadoopil. Oleme endale seadnud ambitsioonika eesmärgi õppida käivitama igasuguseid kohandatud keskkondi Hadoopil, et meie platvormi kasutajatel ei oleks kitsendusi.

Lisaks selgus, et paljud DS-spetsialistid tunnevad hästi matemaatikat ja statistikat, loovad lahedaid mudeleid, kuid ei tea suurte andmete transformatsioonist väga palju ning vajavad meie andmeinseneride abi koolitusvalimite ettevalmistamisel. Otsustasime aidata kolleege ja luua mugavad moodulid tüüpiliseks transformatsiooniks ja funktsioonide ettevalmistamiseks mudelite jaoks Spark-mootoril. See võimaldab rohkem aega modelleerimisele pühendada ning ei pea ootama, kuni andmeinsenerid uut andmestikku ette valmistavad.

Meie juures töötavad inimesed, kellel on teadmised erinevates valdkondades: Linux ja DevOps, Hadoop ja Spark, Java ja Spring, Scala ja Akka, OpenShift ja Kubernetes. Järgmises osas räägime mudelite raamatukogust, kuidas mudel läbib eluiga ettevõttes, kuidas toimub valideerimine ja rakendamine.

Allikas: habr.com