{"id":70862,"date":"2020-02-22T06:40:55","date_gmt":"2020-02-22T03:40:55","guid":{"rendered":"https:\/\/prohoster.info\/blog\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda"},"modified":"2020-03-03T16:14:35","modified_gmt":"2020-03-03T13:14:35","slug":"sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","title":{"rendered":"Sber.DS \u2013 platforma, ki omogo\u010da razvijanje in uvajanje modelov tudi brez kode","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ideje i sastanci o tome koje jo\u0161 procese mo\u017eemo automatizirati, pojavljuju se u poslovanju razli\u010ditih razmjera svakodnevno. Osim toga, vrijeme koje se tro\u0161i na izradu modela mora se iskoristiti i za njegovo vrednovanje i provjeru da li je rezultat koji dobijamo slu\u010dajan. Nakon implementacije, svaki model potrebno je staviti pod nadzor i povremeno provjeravati.<\/p>\n

<\/p>\n

I to su sve faze koje je potrebno pro\u0107i u svakoj kompaniji, bez obzira na njezinu veli\u010dinu. Ako govorimo o razmjerima i legacy sustavu Sberbanka, broj finih pode\u0161avanja raste nekoliko puta. Do kraja 2019. godine, u Sberu je ve\u0107 bilo kori\u0161teno vi\u0161e od 2000 modela. Nije dovoljno samo razviti model, potrebno je integrirati se s industrijskim sustavima, razviti data vitrine za izgradnju modela, osigurati kontrolu njegovog rada na klasteru.<\/p>\n

\"Sber.DS<\/a><\/noindex><\/p>\n

Na\u0161 tim razvija platformu Sber.DS. Ona omogu\u0107ava rje\u0161avanje problema strojnog u\u010denja, ubrzava proces provjere hipoteza, u su\u0161tini olak\u0161ava proces razvoja i validacije modela, kao i kontrolira rezultat rada modela u PROM-u.<\/p>\n

<\/p>\n

Kako ne bih prevario va\u0161a o\u010dekivanja, \u017eelim unaprijed re\u0107i da je ovaj post uvodnog karaktera, i ispod u nastavku se pri\u010da o tome \u0161to zapravo le\u017ei ispod haube platforme Sber.DS. Pri\u010du o \u017eivotnom ciklusu modela od stvaranja do implementacije ispri\u010dat \u0107emo odvojeno. <\/p>\n

\n<\/a><\/noindex><\/p>\n

Sber.DS sastoji se od nekoliko komponenti, me\u0111u kojima su klju\u010dne biblioteka, sustav razvoja i sustav izvr\u0161avanja modela. <\/p>\n

\n\"Sber.DS
\n<\/p>\n

Biblioteka kontrolira \u017eivotni ciklus modela od trenutka kad se pojavi ideja za njegovu izradu do implementacije u PROM, stavljanja pod nadzor i povla\u010denja iz upotrebe. Mnoge mogu\u0107nosti biblioteke proiza\u0161le su iz pravila regulatora, kao \u0161to su izvje\u0161tavanje i \u010duvanje obrazaca za u\u010denje i validaciju. U su\u0161tini, to je registar svih na\u0161ih modela.<\/p>\n

<\/p>\n

Sustav razvoja namijenjen je vizualnom razvoju modela i validacijskih metoda. Razvijeni modeli prolaze primarnu validaciju i \u0161alju se u sustav izvr\u0161avanja za obavljanje svojih poslovnih funkcija. Tako\u0111er, u sustavu izvr\u0161avanja model mo\u017ee biti postavljen na monitor s ciljem povremenog pokretanja validacijskih metoda za kontrolu njegova rada. <\/p>\n

<\/p>\n

V sistemu je ve\u010d tipov vozli\u0161\u010d. Nekatera so namenjena povezovanju z razli\u010dnimi viri podatkov, druga pa za transformacijo izvornih podatkov in njihovo obogatitev (ozna\u010devanje). Obstaja veliko vozli\u0161\u010d za gradnjo razli\u010dnih modelov in vozli\u0161\u010d za njihovo validacijo. Razvijalec lahko nalaga podatke iz kakr\u0161nih koli virov, jih prenese, filtrira, vizualizira vmesne podatke ter jih razdeli na dele.<\/p>\n

<\/p>\n

Poleg tega platforma vsebuje \u017ee pripravljene module, ki jih je mogo\u010de povle\u010di na projektno obmo\u010dje. Vse akcije se izvajajo z uporabo vizualiziranega vmesnika. Dejansko je mogo\u010de re\u0161iti nalogo brez ene same vrstice kode.<\/p>\n

<\/p>\n

\u010ce vgrajenih mo\u017enosti ni dovolj, sistem omogo\u010da hitro ustvarjanje lastnih modulov. Uvedli smo na\u010din integrirane razvoja na osnovi Jupyter Kernel Gateway<\/a><\/noindex> za tiste, ki ustvarjajo nove module \"od za\u010detka\".<\/p>\n

\n\"Sber.DS
\n<\/p>\n

Arhitektura Sber.DS je zgrajena na mikroservisih. Obstaja veliko mnenj o tem, kaj so mikroservisi. Nekateri menijo, da je dovolj razdeliti monolitno kodo na dele, vendar se kljub temu povezujeta z isto bazo podatkov. Pri nas mora mikroservis komunicirati z drugim mikroservisom le preko REST API. Nobenih obvodnih poti do baze podatkov neposredno.<\/p>\n

<\/p>\n

Trudimo se, da storitve ne postanejo zelo velike in okorne: en primer ne sme porabiti ve\u010d kot 4-8 gigabajtov operativne pomnilnika in mora zagotavljati mo\u017enost horizontalnega skaliranja poizvedb z zagonom novih primerov. Vsaka storitev komunicira z drugimi le preko REST API (Open API<\/a><\/noindex>). Ekipa, odgovorna za storitev, mora ohranjati zdru\u017eljivost API do zadnjega odjemalca, ki jo uporablja.<\/p>\n

<\/p>\n

Jedro aplikacije je napisano v Javi z uporabo Spring Framework. Re\u0161itev je bila prvotno zasnovana za hitro uvajanje v obla\u010dno infrastrukturo, zato je aplikacija zgrajena z uporabo sistema kontejnerizacije Red Hat OpenShift<\/a><\/noindex> (Kubernetes<\/a><\/noindex>). Platforma se nenehno razvija, tako na podro\u010dju pove\u010danja poslovne funkcionalnosti (dodajajo se novi povezovalci, AutoML), kot tudi na podro\u010dju tehnolo\u0161ke u\u010dinkovitosti. <\/p>\n

<\/p>\n

Ena od zna\u010dilnosti na\u0161e platforme je, da lahko izvajamo kodo, razvito v vizualnem vmesniku, na katerem koli sistemu za izvajanje modelov Sberbank. Zdaj so na voljo \u017ee dve: ena na Hadoopu, druga pa na OpenShiftu (Docker). Na tem ne bomo ostali in ustvarjamo integracijske module za zagon kode na kateri koli infrastrukturi, vklju\u010dno z on-premise in v oblaku. Kar se ti\u010de mo\u017enosti u\u010dinkovitega vgrajevanja v ekosistem Sberbank, na\u010drtujemo tudi podporo za obstoje\u010de okolja za izvajanje. V prihodnosti bi lahko re\u0161itev fleksibilno vgradili \u00bbiz \u0161katle\u00ab v katero koli okolje katere koli organizacije.<\/p>\n

<\/p>\n

Tisti, ki so kdajkoli poskusili vzdr\u017eevati re\u0161itev, ki izvaja Python na Hadoopu v PROM, vedo, da malo pomaga pripraviti in dostaviti uporabni\u0161ko okolje Pythona na vsak nod podatkov. Ogromno \u0161tevilo C\/C++ knji\u017enic za strojno u\u010denje, ki uporabljajo Python module, vam ne bo omogo\u010dilo mirnega spanca. Ne pozabite posodabljati paketov ob dodajanju novih knji\u017enic ali stre\u017enikov, pri \u010demer ohranjate nazaj zdru\u017eljivost z \u017ee implementirano kodo modelov.<\/p>\n

<\/p>\n

Obstaja ve\u010d pristopov k temu, kako to narediti. Na primer, vnaprej pripraviti nekaj pogosto uporabljenih knji\u017enic in jih vklju\u010diti v PROM. V distribuciji Hadoop od Cloudera se za to obi\u010dajno uporablja parcel<\/a><\/noindex>. Prav tako se zdaj v Hadoopu pojavlja mo\u017enost zagona docker<\/a><\/noindex>-kontejnerjev. V nekaterih preprostih primerih je mogo\u010de dostaviti kodo skupaj s paketom python.eggs<\/a><\/noindex>.<\/p>\n

<\/p>\n

Banka zelo resno obravnava varnost izvajanja zunanje kode, zato kar se da izkori\u0161\u010damo nove mo\u017enosti jedra Linux, kjer je mogo\u010de procesu, ki se izvaja v izoliranem okolju Linux namespace<\/a><\/noindex>, omejiti, na primer, dostop do omre\u017eja in lokalnega diska, kar znatno zmanj\u0161uje mo\u017enosti zlonamerne kode. Podro\u010dja podatkov vsakega oddelka so za\u0161\u010ditena in dostopna le lastnikom teh podatkov. Platforma zagotavlja, da podatki iz enega podro\u010dja lahko preidejo v drugo podro\u010dje le preko postopka objave podatkov s kontrolo na vseh stopnjah, od dostopa do virov do prenosa podatkov v ciljno vitrino.<\/p>\n

\n\"Sber.DS
\n<\/p>\n

V tem letu nameravamo dokon\u010dati MVP zagon modelov, napisanih v Pythonu\/R\/Javi na Hadoopu. Postavili smo si ambiciozen cilj, da se nau\u010dimo zagnati katero koli uporabni\u0161ko okolje na Hadoopu, da ne omejujemo uporabnikov na\u0161e platforme.<\/p>\n

<\/p>\n

Poleg tega se je izkazalo, da mnogi DS-specialisti odli\u010dno poznajo matematiko in statistiko, ustvarjajo izvrstne modele, vendar se ne spoznajo najbolje na transformacije velikih podatkov, zato potrebujejo pomo\u010d na\u0161ih podatkovnih in\u017eenirjev pri pripravi u\u010dnih vzorcev. Odlo\u010dili smo se, da bomo kolegom pomagali in ustvarili priro\u010dne module za standardno transformacijo in pripravo funkcij za modele na Spark motorju. To bo omogo\u010dilo, da bomo ve\u010d \u010dasa posvetili razvoju modelov in ne \u010dakali, da podatkovni in\u017eenirji pripravijo nov nabor podatkov.<\/p>\n

<\/p>\n

Pri nas delajo ljudje z znanji na razli\u010dnih podro\u010djih: Linux in DevOps, Hadoop in Spark, Java in Spring, Scala in Akka, OpenShift in Kubernetes. V naslednjem delu bomo govorili o knji\u017enici modelov, o tem, kako model potuje skozi \u017eivljenjski cikel znotraj podjetja, kako poteka validacija in implementacija.<\/p>\n

Izvor: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0418\u0434\u0435\u0438 \u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0435\u0449\u0451 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043c\u043e\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0432 \u0431\u0438\u0437\u043d\u0435\u0441\u0435 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e. \u041d\u043e \u043f\u043e\u043c\u0438\u043c\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043c\u043e\u0436\u0435\u0442 \u0443\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0430 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0442\u044c \u0435\u0433\u043e \u043d\u0430 \u0435\u0451 \u043e\u0446\u0435\u043d\u043a\u0443 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c. \u041f\u043e\u0441\u043b\u0435 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f \u043b\u044e\u0431\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0430 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u0438 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c. \u0418 \u044d\u0442\u043e […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":70863,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-70862","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Sber.DS \u2014 platforma, ki omogo\u010da ustvarjanje in implementacijo modelov celo brez kode | ProHoster","description":"Ideje in sestanki o tem, katere procese bi bilo \u0161e mogo\u010de avtomatizirati, se dnevno pojavljajo v podjetjih razli\u010dnih velikosti.","canonical_url":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"sl_SI","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Sber.DS \u2014 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0438 \u0432\u043d\u0435\u0434\u0440\u044f\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0430\u0436\u0435 \u0431\u0435\u0437 \u043a\u043e\u0434\u0430 | ProHoster","og:description":"\u0418\u0434\u0435\u0438 \u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0435\u0449\u0451 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043c\u043e\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0432 \u0431\u0438\u0437\u043d\u0435\u0441\u0435 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e.","og:url":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-02-22T03:40:55+00:00","article:modified_time":"2020-03-03T13:14:35+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"70862","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:12:23","updated":"2022-09-28 08:13:26","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts\/70862","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/comments?post=70862"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts\/70862\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/media\/70863"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/media?parent=70862"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/categories?post=70862"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/tags?post=70862"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}