{"id":70862,"date":"2020-02-22T06:40:55","date_gmt":"2020-02-22T03:40:55","guid":{"rendered":"https:\/\/prohoster.info\/blog\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda"},"modified":"2020-03-03T16:14:35","modified_gmt":"2020-03-03T13:14:35","slug":"sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","title":{"rendered":"Sber.DS \u2014 platvorm, mis v\u00f5imaldab mudeleid luua ja rakendada isegi ilma koodita","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\u00c4ri eri suurustes toimub iga p\u00e4ev ideede ja kohtumiste vahetus, et arutada, milliseid protsesse saaks automatiseerida. Kuid peale selle, et mudeli loomine v\u00f5ib v\u00f5tta palju aega, tuleb seda hinnata ja kontrollida, et saadud tulemus ei oleks juhuslik. P\u00e4rast juurutamist tuleb igat mudelit j\u00e4lgida ning perioodiliselt kontrollida.<\/p>\n

<\/p>\n

Need k\u00f5ik on etapid, mis tuleb l\u00e4bida igas ettev\u00f5ttes, s\u00f5ltumata selle suurusest. Kui r\u00e4\u00e4gime Sberbanki ulatusest ja p\u00e4randist, suureneb peene seadistamise arv kordi. 2019. aasta l\u00f5puks kasutati Sberis juba enam kui 2000 mudelit. Lihtsalt mudeli v\u00e4ljat\u00f6\u00f6tamine ei ole piisav; tuleb integreeruda t\u00f6\u00f6stuslike s\u00fcsteemidega, arendada andmesildu mudelite loomiseks ning tagada mudeli t\u00f6\u00f6 kontroll klastris.<\/p>\n

\"Sber.DS<\/a><\/noindex><\/p>\n

Meie meeskond arendab platvormi Sber.DS. See v\u00f5imaldab lahendada masin\u00f5ppe \u00fclesandeid, kiirendab h\u00fcpoteeside kontrollimise protsessi ning lihtsustab mudelite arendamist ja valideerimist, samuti kontrollib mudeli t\u00f6\u00f6d PROMis.<\/p>\n

<\/p>\n

Kuna ma ei taha teie ootusi petta, tahaksin eelnevalt \u00f6elda, et see postitus on sissejuhatav ning platvormi Sber.DS struktuurist r\u00e4\u00e4gitakse esmalt. Mudeli eluts\u00fcklist alates loomisest kuni juurutamiseni r\u00e4\u00e4gime eraldi. <\/p>\n

\n<\/a><\/noindex><\/p>\n

Sber.DS koosneb mitmetest komponentidest, milleks on peamised raamatukogu, arenduss\u00fcsteem ja mudelite t\u00e4itmise s\u00fcsteem. <\/p>\n

\n\"Sber.DS
\n<\/p>\n

Raamatukogu kontrolib mudeli eluiga idee tekkimisest kuni juurutamiseni PROMis, j\u00e4lgimise seadistamiseni ja kasutusest k\u00f5rvaldamiseni. Raamatukogu paljusid v\u00f5imalusi dikteerivad regulatiivsed reeglid, n\u00e4iteks aruandlus ja koolitus- ja valideerimisvalimite s\u00e4ilitamine. Tegelikult on see meie mudelite register.<\/p>\n

<\/p>\n

Arenduss\u00fcsteem on m\u00f5eldud mudelite ja valideerimismeetodite visuaalseks v\u00e4ljat\u00f6\u00f6tamiseks. V\u00e4ljat\u00f6\u00f6tatud mudelid l\u00e4bivad esialgse valideerimise ning edastatakse t\u00e4itmise s\u00fcsteemi oma \u00e4ritegevuse funktsioonide t\u00e4itmiseks. Samuti v\u00f5ib t\u00e4itmise s\u00fcsteemis mudel minna j\u00e4lgimisele, et perioodiliselt k\u00e4ivitada valideerimismeetodeid oma t\u00f6\u00f6 kontrollimiseks. <\/p>\n

<\/p>\n

S\u00fcsteemis on mitu erinevat s\u00f5lme. \u00dched on m\u00f5eldud erinevate andmeallikate \u00fchendamiseks, teised aga l\u00e4hteteabe transformeerimiseks ja selle rikastamiseks (markeerimiseks). On palju s\u00f5lmi, mis aitavad luua erinevaid mudeleid ja neid valideerida. Arendaja saab laadida andmeid mistahes allikatest, neid t\u00f6\u00f6delda, filtreerida, vaadata vaheandmeid ja jagada neid osadeks.<\/p>\n

<\/p>\n

Platvorm sisaldab ka valmis mooduleid, mida saab projektialale lohistada. K\u00f5ik toimingud tehakse visualiseeritud liidese kaudu. Tegelikult saab \u00fclesande lahendada ilma \u00fchegi koodijooneta.<\/p>\n

<\/p>\n

Kui sisseehitatud v\u00f5imalustest ei piisa, siis annab s\u00fcsteem v\u00f5imaluse kiiresti luua oma mooduleid. Oleme loonud integreeritud arenduse re\u017eiimi p\u00f5hjal Jupyter Kernel Gateway<\/a><\/noindex> neile, kes loovad uusi mooduleid \u201enullist\u201d.<\/p>\n

\n\"Sber.DS
\n<\/p>\n

Sber.DS arhitektuur p\u00f5hineb mikroteenustel. Mikroteenuste m\u00e4\u00e4ratlemise kohta on palju arvamusi. M\u00f5ned arvavad, et piisab monol\u00fc\u00fctilise koodi jagamisest osadeks, kuid nad kasutavad siiski \u00fchte ja sama andmebaasi. Meie mikroteenused peavad suhtlema \u00fcksteisega ainult REST API kaudu. Otse andmebaasile ei ole mingit l\u00fcket.<\/p>\n

<\/p>\n

P\u00fc\u00fcame, et teenused ei muutuks liiga suurteks ja kohmakateks: \u00fcks eksemplar ei tohi kasutada rohkem kui 4-8 gigabaiti t\u00f6\u00f6m\u00e4lu ja peab v\u00f5imaldama horisontaalset skaleerimist, k\u00e4ivitades uusi eksemplare. Iga teenus suhtleb teistega ainult REST API kaudu (Open API<\/a><\/noindex>). Teenuse eest vastutav meeskond peab s\u00e4ilitama API tagasip\u00f6\u00f6rdumise \u00fchilduvuse kuni viimase kliendini, kes seda kasutab.<\/p>\n

<\/p>\n

Rakenduse tuum on kirjutatud Java-s, kasutades Spring Framework'i. Lahendus projekteeriti algselt kiireks juurutamiseks pilvinfra, seega on rakendus ehitatud konteineriseerimiss\u00fcsteemi p\u00f5hjal Red Hat OpenShift<\/a><\/noindex> (Kubernetes<\/a><\/noindex>). Platvorm areneb pidevalt, nii \u00e4rifunktsionaalsuse suurendamise (uued konektorid, AutoML) kui ka tehnoloogilise efektiivsuse osas. <\/p>\n

<\/p>\n

\u00dcks meie platvormi \u00abn\u00e4ituse\u00bb omadusi on see, et me saame k\u00e4ivitada visuaalses liideses v\u00e4lja t\u00f6\u00f6tatud koodi Sberbanki mudelide t\u00e4itmiss\u00fcsteemides. Praegu on neid juba kaks: \u00fcks Hadoopis, teine \u2013 OpenShiftis (Docker). Me ei j\u00e4\u00e4 siin peatuma, vaid loome integreerimisvorme koodi k\u00e4itamiseks igasugustes infrastruktuurides, sealhulgas kohapeal ja pilves. Seoses Sberbanki \u00f6kos\u00fcsteemi t\u00f5husate integreerimisv\u00f5imalustega plaanime samuti toetada olemasolevate t\u00e4itmisvormide kasutamist. Tulevikus saab lahendust paindlikult integreerida \u00abkarbist\u00bb igasse organisatsiooni maastikku.<\/p>\n

<\/p>\n

Need, kes on kunagi proovinud toetada lahendust, mis k\u00e4ivitab Pythonit Hadoopis PROMil, teavad, et ei piisa lihtsalt kasutaja Python keskkonna ette valmistamisest ja kehtestamisest iga andmepunkti jaoks. Suur hulk C\/C++ teeke, mida masin\u00f5ppe jaoks kasutatakse Python modulis, ei lase teil rahulikult magada. Peate meeles pidama pakettide v\u00e4rskendamist uute teekide v\u00f5i serverite lisamisel, s\u00e4ilitades samas \u00fchilduvuse juba rakendatud mudelikoodiga.<\/p>\n

<\/p>\n

On mitmeid l\u00e4henemisviise, kuidas seda teha. N\u00e4iteks ette valmistada m\u00f5ned sageli kasutatavad teegid ja sisestada need PROMi. Cloudera Hadoopi distributsioonis kasutatakse selleks tavaliselt parcel<\/a><\/noindex>. Samuti on Hadoopis n\u00fc\u00fcd v\u00f5imalik k\u00e4ivitada docker<\/a><\/noindex>-konteinereid. M\u00f5nedes lihtsates juhtumites saab koodi tarnida koos pakiga python.eggs<\/a><\/noindex>.<\/p>\n

<\/p>\n

Pank l\u00e4heneb t\u00f5siselt kolmandate osapoolte koodi k\u00e4itamise turvalisusele, seega kasutame maksimaalselt uusi Linuxi tuuma v\u00f5imalusi, kus isoleeritud keskkonnas k\u00e4ivitatud protsessile Linux namespace<\/a><\/noindex>, saab piirata n\u00e4iteks juurdep\u00e4\u00e4su v\u00f5rku ja lokaalsesse ketasse, mis v\u00e4hendab oluliselt pahatahtliku koodi v\u00f5imalusi. Iga osakonna andmepiirkonnad on kaitstud ja ligip\u00e4\u00e4setavad ainult nende andmete omanikele. Platvorm tagab, et andmed \u00fchest piirkonnast saavad teise alasse liikuda ainult l\u00e4bi andmete avaldamise protsessi, mille kontroll toimub k\u00f5igil etappidel alates ligip\u00e4\u00e4sust allikatele kuni andmete viimisega sihtkohta.<\/p>\n

\n\"Sber.DS
\n<\/p>\n

Sel aastal plaanime l\u00f5petada MVP k\u00e4ivitamise mudelite kohta, mis on kirjutatud Pythonis\/R\/Java Hadoopis. Oleme endale seadnud ambitsioonika eesm\u00e4rgi \u00f5ppida k\u00e4ivitama igasuguseid kasutaja keskkondi Hadoopis, et mitte piirata meie platvormi kasutajate v\u00f5imalusi.<\/p>\n

<\/p>\n

Lisaks selgus, et paljudel DS-spetsialistidel on suurep\u00e4rased teadmatuse ja statistika teadmised, nad loovad suurep\u00e4raseid mudeleid, kuid ei tunne v\u00e4ga h\u00e4sti suurandmete transformatsioone ning vajavad meie andmeinseneride abi koolitusvalimite ettevalmistamisel. Otsustasime aidata kolleegi ja luua mugavad moodulid t\u00fc\u00fcpiliste transformatsioonide ja mudelite funktsioneerimise ettevalmistamiseks Spark-mootoris. See v\u00f5imaldab rohkem aega p\u00fchendada mudelite arendamisele ning mitte oodata, kuni andmeinsenerid uue andmestiku ette valmivad.<\/p>\n

<\/p>\n

Meie juures t\u00f6\u00f6tavad inimesed, kellel on teadmised erinevates valdkondades: Linux ja DevOps, Hadoop ja Spark, Java ja Spring, Scala ja Akka, OpenShift ja Kubernetes. J\u00e4rgmine kord r\u00e4\u00e4gime mudelite raamatukogust, sellest, kuidas mudel l\u00e4bib ettev\u00f5ttes eluts\u00fckli, ning kuidas toimub valideerimine ja juurutamine.<\/p>\n

Allikas: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0418\u0434\u0435\u0438 \u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0435\u0449\u0451 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043c\u043e\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0432 \u0431\u0438\u0437\u043d\u0435\u0441\u0435 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e. \u041d\u043e \u043f\u043e\u043c\u0438\u043c\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043c\u043e\u0436\u0435\u0442 \u0443\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0430 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0442\u044c \u0435\u0433\u043e \u043d\u0430 \u0435\u0451 \u043e\u0446\u0435\u043d\u043a\u0443 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c. \u041f\u043e\u0441\u043b\u0435 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f \u043b\u044e\u0431\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0430 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u0438 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c. \u0418 \u044d\u0442\u043e […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":70863,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-70862","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Sber.DS \u2014 platvorm, mis v\u00f5imaldab luua ja juurutada mudeleid isegi ilma koodita | ProHoster","description":"Ideid ja kohtumisi selle kohta, milliseid protsesse saaks veel automatiseerida, tekib erineva suurusega ettev\u00f5tetes iga p\u00e4ev.","canonical_url":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"et_EE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Sber.DS \u2014 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0438 \u0432\u043d\u0435\u0434\u0440\u044f\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0430\u0436\u0435 \u0431\u0435\u0437 \u043a\u043e\u0434\u0430 | ProHoster","og:description":"\u0418\u0434\u0435\u0438 \u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0435\u0449\u0451 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043c\u043e\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0432 \u0431\u0438\u0437\u043d\u0435\u0441\u0435 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e.","og:url":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-02-22T03:40:55+00:00","article:modified_time":"2020-03-03T13:14:35+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"70862","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:12:23","updated":"2022-09-28 08:13:26","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/70862","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/comments?post=70862"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/70862\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/media\/70863"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/media?parent=70862"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/categories?post=70862"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/tags?post=70862"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}