{"id":70862,"date":"2020-02-22T06:40:55","date_gmt":"2020-02-22T03:40:55","guid":{"rendered":"https:\/\/prohoster.info\/blog\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda"},"modified":"2020-03-03T16:14:35","modified_gmt":"2020-03-03T13:14:35","slug":"sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","title":{"rendered":"Sber.DS \u2014 en plattform som g\u00f6r det m\u00f6jligt att skapa och implementera modeller \u00e4ven utan kod.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Id\u00e9er och m\u00f6ten om vilka andra processer som kan automatiseras uppst\u00e5r i f\u00f6retag av olika storlekar varje dag. Men f\u00f6rutom att mycket tid kan g\u00e5 \u00e5t till att skapa en modell, m\u00e5ste man ocks\u00e5 investera tid i att utv\u00e4rdera den och kontrollera att den erh\u00e5llna resultaten inte \u00e4r slumpm\u00e4ssiga. Efter implementeringen m\u00e5ste varje modell \u00f6vervakas och kontrolleras periodiskt.<\/p>\n

<\/p>\n

Och detta \u00e4r alla steg som m\u00e5ste genomg\u00e5s i vilket f\u00f6retag som helst, oavsett dess storlek. N\u00e4r vi talar om storleken och legacy-systemen hos Sberbank \u00f6kar antalet finjusteringar m\u00e5ngfalt. I slutet av 2019 anv\u00e4ndes redan \u00f6ver 2000 modeller i Sber. Det r\u00e4cker inte med att bara utveckla en modell; det \u00e4r n\u00f6dv\u00e4ndigt att integrera med industriella system, utveckla datavitriner f\u00f6r att bygga modeller, och s\u00e4kerst\u00e4lla kontroll \u00f6ver modellens prestanda i klustret.<\/p>\n

\"Sber.DS<\/a><\/noindex><\/p>\n

V\u00e5rt team utvecklar plattformen Sber.DS. Den g\u00f6r det m\u00f6jligt att l\u00f6sa problem med maskininl\u00e4rning, p\u00e5skyndar processen f\u00f6r hypotespr\u00f6vning, f\u00f6renklar i allm\u00e4nhet utvecklings- och valideringsprocessen f\u00f6r modeller samt kontrollerar resultatet av modellens arbete i PROB.<\/p>\n

<\/p>\n

F\u00f6r att inte lura era f\u00f6rv\u00e4ntningar vill jag redan nu s\u00e4ga att detta inl\u00e4gg \u00e4r en introduktion, och nedan ber\u00e4ttas f\u00f6rst om vad som egentligen finns under huven av plattformen Sber.DS. Ber\u00e4ttelsen om modellens livscykel fr\u00e5n skapelse till implementering kommer vi att ber\u00e4tta separat. <\/p>\n

\n<\/a><\/noindex><\/p>\n

Sber.DS best\u00e5r av flera komponenter, d\u00e4r nyckelelementen \u00e4r bibliotek, utvecklingssystem och system f\u00f6r modellgenomf\u00f6rande. <\/p>\n

\n\"Sber.DS
\n<\/p>\n

Biblioteket kontrollerar livscykeln f\u00f6r modellen fr\u00e5n id\u00e9n till utveckling, implementering i PROB, \u00f6vervakning och avveckling. M\u00e5nga av bibliotekets funktioner dikteras av regulatorernas regler, s\u00e5som rapportering och lagring av utbildnings- och valideringsdata. I praktiken \u00e4r detta ett register \u00f6ver alla v\u00e5ra modeller.<\/p>\n

<\/p>\n

Utvecklingssystemet \u00e4r avsett f\u00f6r visuell utveckling av modeller och valideringsmetoder. De utvecklade modellerna genomg\u00e5r en initial validering och levereras till k\u00f6rsystemet f\u00f6r att utf\u00f6ra sina aff\u00e4rsfunktioner. I k\u00f6rsystemet kan modellen ocks\u00e5 st\u00e4llas in p\u00e5 en sk\u00e4rm f\u00f6r regelbunden k\u00f6rning av valideringsmetoder f\u00f6r att \u00f6vervaka dess funktion. <\/p>\n

<\/p>\n

Systemet har flera typer av noder. Vissa \u00e4r avsedda f\u00f6r att koppla upp mot olika datak\u00e4llor, andra f\u00f6r att transformera r\u00e5data och berika dem (tagga). Det finns m\u00e5nga noder f\u00f6r att bygga olika modeller och noder f\u00f6r deras validering. Utvecklaren kan ladda ner data fr\u00e5n valfria k\u00e4llor, omformatera, filtrera och visualisera mellanliggande data, samt dela upp dem i delar.<\/p>\n

<\/p>\n

Plattformen inneh\u00e5ller \u00e4ven f\u00e4rdiga moduler som kan dras och sl\u00e4ppas p\u00e5 projektomr\u00e5det. Alla \u00e5tg\u00e4rder utf\u00f6rs med hj\u00e4lp av ett visualiserat gr\u00e4nssnitt. Det \u00e4r faktiskt m\u00f6jligt att l\u00f6sa uppgiften utan en enda rad kod.<\/p>\n

<\/p>\n

Om de inbyggda funktionerna inte r\u00e4cker till, erbjuder systemet m\u00f6jlighet att snabbt skapa sina egna moduler. Vi har skapat ett l\u00e4ge f\u00f6r integrerad utveckling baserat p\u00e5 Jupyter Kernel Gateway<\/a><\/noindex> f\u00f6r dem som skapar nya moduler \"fr\u00e5n grunden\".<\/p>\n

\n\"Sber.DS
\n<\/p>\n

Sber.DS-arkitekturen \u00e4r byggd p\u00e5 mikrotj\u00e4nster. Det finns m\u00e5nga \u00e5sikter om vad mikrotj\u00e4nster \u00e4r. Vissa anser att det \u00e4r tillr\u00e4ckligt att dela upp monolitisk kod i delar, men de arbetar fortfarande med samma databas. V\u00e5r mikrotj\u00e4nst m\u00e5ste kommunicera med en annan mikrotj\u00e4nst endast via REST API. Ingen direkt \u00e5tkomst till databasen \u00e4r till\u00e5ten.<\/p>\n

<\/p>\n

Vi str\u00e4var efter att se till att tj\u00e4nsterna inte blir f\u00f6r stora och klumpiga: en instans b\u00f6r inte konsumera mer \u00e4n 4-8 gigabyte RAM och m\u00e5ste m\u00f6jligg\u00f6ra horisontell skalning av beg\u00e4rningar genom att starta nya instanser. Varje tj\u00e4nst kommunicerar med andra endast via REST API (Open API<\/a><\/noindex>). Teamet som ansvarar f\u00f6r tj\u00e4nsten \u00e4r skyldig att beh\u00e5lla bak\u00e5tkompatibiliteten f\u00f6r API:et till den senaste klienten som anv\u00e4nder det.<\/p>\n

<\/p>\n

Applikationsk\u00e4rnan \u00e4r skriven i Java med hj\u00e4lp av Spring Framework. L\u00f6sningen designades ursprungligen f\u00f6r snabb distribatering i molninfrastruktur, d\u00e4rf\u00f6r \u00e4r applikationen byggd med hj\u00e4lp av ett containeriseringssystem Red Hat OpenShift<\/a><\/noindex> (Kubernetes<\/a><\/noindex>). Plattformen utvecklas st\u00e4ndigt, b\u00e5de n\u00e4r det g\u00e4ller att \u00f6ka aff\u00e4rsfunktionaliteten (nya anslutningar, AutoML l\u00e4ggs till) och n\u00e4r det g\u00e4ller teknisk effektivitet. <\/p>\n

<\/p>\n

En av v\u00e5ra plattformsunika funktioner \u00e4r att vi kan k\u00f6ra kod utvecklad i det visuella gr\u00e4nssnittet p\u00e5 vilket system som helst f\u00f6r Sberbanks modellk\u00f6rning. Just nu finns det tv\u00e5: en p\u00e5 Hadoop och en annan p\u00e5 OpenShift (Docker). Vi stannar inte h\u00e4r utan skapar integrationsmoduler f\u00f6r att k\u00f6ra kod p\u00e5 vilken infrastruktur som helst, inklusive on-premise och i molnet. N\u00e4r det g\u00e4ller m\u00f6jligheterna f\u00f6r effektiv integrering i Sberbanks ekosystem planerar vi ocks\u00e5 att st\u00f6dja arbete med befintliga k\u00f6rmilj\u00f6er. I framtiden kan l\u00f6sningen flexibelt integreras \"rakt ur l\u00e5dan\" i vilket landskap som helst av vilken organisation som helst.<\/p>\n

<\/p>\n

De som n\u00e5gon g\u00e5ng har f\u00f6rs\u00f6kt st\u00f6dja en l\u00f6sning som k\u00f6r Python p\u00e5 Hadoop i PROG vet att det handlar om mer \u00e4n att bara f\u00f6rbereda och leverera anv\u00e4ndarmilj\u00f6n f\u00f6r Python till varje datanod. En stor m\u00e4ngd C\/C++-bibliotek f\u00f6r maskininl\u00e4rning som anv\u00e4nder Python-moduler ger dig ingen ro. Man m\u00e5ste ocks\u00e5 komma ih\u00e5g att uppdatera paketen n\u00e4r nya bibliotek eller servrar tillkommer och beh\u00e5lla bak\u00e5tkompatibilitet med redan implementerad kod f\u00f6r modeller.<\/p>\n

<\/p>\n

Det finns flera metoder f\u00f6r hur man g\u00f6r detta. Till exempel kan man f\u00f6rbereda n\u00e5gra vanliga bibliotek och implementera dem i PROG. I Hadoop-distributionen fr\u00e5n Cloudera anv\u00e4nds vanligtvis parcel<\/a><\/noindex>. Dessutom finns det nu m\u00f6jlighet att k\u00f6ra docker<\/a><\/noindex>-containrar i Hadoop. I vissa enkla fall kan man leverera koden tillsammans med paketet python.eggs<\/a><\/noindex>.<\/p>\n

<\/p>\n

Banken \u00e4r mycket seri\u00f6s n\u00e4r det g\u00e4ller s\u00e4kerheten f\u00f6r att k\u00f6ra tredjepartskod, d\u00e4rf\u00f6r utnyttjar vi i st\u00f6rsta m\u00f6jliga utstr\u00e4ckning de nya m\u00f6jligheterna i Linux-k\u00e4rnan, d\u00e4r processen k\u00f6rs i en isolerad milj\u00f6 Linux namespace<\/a><\/noindex>, kan begr\u00e4nsa, till exempel, \u00e5tkomst till n\u00e4tverket och lokala diskar, vilket avsev\u00e4rt minskar m\u00f6jligheterna f\u00f6r skadlig kod. Dataomr\u00e5dena f\u00f6r varje avdelning \u00e4r skyddade och endast tillg\u00e4ngliga f\u00f6r \u00e4garna av dessa data. Plattformen garanterar att data fr\u00e5n ett omr\u00e5de kan n\u00e5 ett annat omr\u00e5de, endast genom datapubliceringsprocessen med kontroll vid alla steg fr\u00e5n \u00e5tkomst till k\u00e4llor till landning av data i m\u00e5lvitrinen.<\/p>\n

\n\"Sber.DS
\n<\/p>\n

I \u00e5r planerar vi att avsluta MVP-lanseringen av modeller skrivna i Python\/R\/Java p\u00e5 Hadoop. Vi har satt oss en ambiti\u00f6s uppgift att l\u00e4ra oss att k\u00f6ra vilken anv\u00e4ndarmilj\u00f6 som helst p\u00e5 Hadoop, f\u00f6r att inte begr\u00e4nsa anv\u00e4ndarna av v\u00e5r plattform.<\/p>\n

<\/p>\n

Dessutom visar det sig att m\u00e5nga data scientist-specialister \u00e4r utm\u00e4rkta p\u00e5 matematik och statistik, skapar fantastiska modeller, men inte \u00e4r s\u00e5 kunniga i transformationer av stora data, och de beh\u00f6ver hj\u00e4lp av v\u00e5ra dataingenj\u00f6rer f\u00f6r att f\u00f6rbereda tr\u00e4ningsdataset. Vi har beslutat att hj\u00e4lpa v\u00e5ra kollegor och skapa anv\u00e4ndarv\u00e4nliga moduler f\u00f6r standardtransformation och beredning av funktioner f\u00f6r modeller p\u00e5 Spark-motorn. Detta g\u00f6r att mer tid kan \u00e4gnas \u00e5t utvecklingen av modeller och att man inte beh\u00f6ver v\u00e4nta p\u00e5 att dataingenj\u00f6rerna ska f\u00f6rbereda en ny dataset.<\/p>\n

<\/p>\n

Vi har m\u00e4nniskor med kunskaper inom olika omr\u00e5den: Linux och DevOps, Hadoop och Spark, Java och Spring, Scala och Akka, OpenShift och Kubernetes. N\u00e4sta g\u00e5ng kommer vi att ber\u00e4tta om modellbiblioteket, hur en modell g\u00e5r igenom livscykeln inom f\u00f6retaget och hur validering och implementering g\u00e5r till.<\/p>\n

K\u00e4lla: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0418\u0434\u0435\u0438 \u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0435\u0449\u0451 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043c\u043e\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0432 \u0431\u0438\u0437\u043d\u0435\u0441\u0435 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e. \u041d\u043e \u043f\u043e\u043c\u0438\u043c\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043c\u043e\u0436\u0435\u0442 \u0443\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0430 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0442\u044c \u0435\u0433\u043e \u043d\u0430 \u0435\u0451 \u043e\u0446\u0435\u043d\u043a\u0443 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c. \u041f\u043e\u0441\u043b\u0435 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f \u043b\u044e\u0431\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0430 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u0438 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c. \u0418 \u044d\u0442\u043e […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":70863,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-70862","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Sber.DS \u2014 en plattform som m\u00f6jligg\u00f6r skapande och implementering av modeller \u00e4ven utan kod | ProHoster","description":"Id\u00e9er och m\u00f6ten om vilka ytterligare processer som kan automatiseras, uppst\u00e5r i f\u00f6retag av olika storlekar varje dag.","canonical_url":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"sv_SE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Sber.DS \u2014 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0438 \u0432\u043d\u0435\u0434\u0440\u044f\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0430\u0436\u0435 \u0431\u0435\u0437 \u043a\u043e\u0434\u0430 | ProHoster","og:description":"\u0418\u0434\u0435\u0438 \u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0435\u0449\u0451 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043c\u043e\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0432 \u0431\u0438\u0437\u043d\u0435\u0441\u0435 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e.","og:url":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-02-22T03:40:55+00:00","article:modified_time":"2020-03-03T13:14:35+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"70862","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:12:23","updated":"2022-09-28 08:13:26","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/70862","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/comments?post=70862"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/70862\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/media\/70863"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/media?parent=70862"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/categories?post=70862"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/tags?post=70862"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}