{"id":70862,"date":"2020-02-22T06:40:55","date_gmt":"2020-02-22T03:40:55","guid":{"rendered":"https:\/\/prohoster.info\/blog\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda"},"modified":"2020-03-03T16:14:35","modified_gmt":"2020-03-03T13:14:35","slug":"sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","title":{"rendered":"Sber.DS \u2014 en platform, der g\u00f8r det muligt at skabe og implementere modeller selv uden kode","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Id\u00e9er og m\u00f8der om, hvilke yderligere processer der kan automatiseres, opst\u00e5r dagligt i virksomheder af forskellige st\u00f8rrelser. Men udover at der kan g\u00e5 meget tid p\u00e5 at skabe en model, skal man ogs\u00e5 investere tid i at evaluere og kontrollere, at det opn\u00e5ede resultat ikke er tilf\u00e6ldigt. Efter implementeringen er det n\u00f8dvendigt at overv\u00e5ge enhver model og j\u00e6vnligt kontrollere dens ydeevne.<\/p>\n

<\/p>\n

Og det er alle trin, der skal gennemf\u00f8res i enhver virksomhed, uanset st\u00f8rrelse. Hvis vi taler om skalaen og legacy Sberbank, stiger antallet af fine justeringer mange gange. Ved udgangen af 2019 blev der allerede brugt over 2000 modeller i Sber. Det er ikke nok blot at udvikle en model; det er n\u00f8dvendigt at integrere med industrielle systemer, udvikle datavitriner til modelopbygning og sikre kontrol over dens drift i klyngen.<\/p>\n

\"Sber.DS<\/a><\/noindex><\/p>\n

Vores team udvikler platformen Sber.DS. Den muligg\u00f8r l\u00f8sning af maskinl\u00e6ringsopgaver, fremskynder processen for hypotesetestning, forenkler generelt udviklingen og valideringen af modeller samt overv\u00e5ger resultaterne af modellens arbejde i \u041f\u0420\u041e\u041c.<\/p>\n

<\/p>\n

For ikke at undlade at opfylde dine forventninger vil jeg p\u00e5 forh\u00e5nd sige, at dette indl\u00e6g er en introduktion, og hvad der kommer under l\u00e6sningen beskriver, hvad der grundl\u00e6ggende er under motorhjelmen p\u00e5 platformen Sber.DS. Historien om modellens livscyklus fra oprettelse til implementering vil vi fort\u00e6lle separat. <\/p>\n

\n<\/a><\/noindex><\/p>\n

Sber.DS best\u00e5r af flere komponenter, hvoraf de centrale er biblioteket, udviklingssystemet og systemet til udf\u00f8relse af modeller. <\/p>\n

\n\"Sber.DS
\n<\/p>\n

Biblioteket overv\u00e5ger livscyklussen for modellen fra id\u00e9en til udviklingen til implementering i \u041f\u0420\u041e\u041c, overv\u00e5gning og udfasning. Mange af bibliotekets funktioner er dikteret af reguleringens krav, s\u00e5som rapportering og opbevaring af tr\u00e6nings- og valideringss\u00e6t. I realiteten er det et register over alle vores modeller.<\/p>\n

<\/p>\n

Udviklingssystemet er designet til visuel udvikling af modeller og valideringsmetoder. De udviklede modeller gennemg\u00e5r en indledende validering og leveres til udf\u00f8relsessystemet for at udf\u00f8re deres forretningsfunktioner. I systemet til udf\u00f8relse kan modellen ogs\u00e5 s\u00e6ttes p\u00e5 monitor for periodisk at aktivere valideringsmetoder til kontrol af dens drift. <\/p>\n

<\/p>\n

Systemet har flere typer noder. Nogle er designet til at forbinde til forskellige datakilder, mens andre er til at transformere og berige de originale data (m\u00e6rkning). Der er mange noder til opbygning af forskellige modeller og noder til deres validering. Udvikleren kan indl\u00e6se data fra enhver kilde, konvertere, filtrere, visualisere mellemdatas\u00e6t og opdele dem i dele.<\/p>\n

<\/p>\n

Platformen indeholder ogs\u00e5 f\u00e6rdige moduler, som kan tr\u00e6kkes ind i projektomr\u00e5det. Alle handlinger udf\u00f8res ved hj\u00e6lp af et visualiseret interface. Faktisk kan opgaven l\u00f8ses uden en eneste linje kode.<\/p>\n

<\/p>\n

Hvis de indbyggede funktioner ikke er tilstr\u00e6kkelige, giver systemet muligheder for hurtigt at oprette sine egne moduler. Vi har skabt en integreret udviklingsmulighed baseret p\u00e5 Jupyter Kernel Gateway<\/a><\/noindex> for dem, der opretter nye moduler 'fra bunden'.<\/p>\n

\n\"Sber.DS
\n<\/p>\n

Sber.DS's arkitektur er bygget p\u00e5 mikrotjenester. Der er mange meninger om, hvad mikrotjenester er. Nogle mener, at det er tilstr\u00e6kkeligt at dele monolitisk kode op i dele, men de bruger stadig den samme database. Vores mikrotjeneste skal kommunikere med en anden mikrotjeneste udelukkende via REST API. Ingen omg\u00e5else af direkte databaseadgang.<\/p>\n

<\/p>\n

Vi str\u00e6ber efter, at tjenesterne ikke bliver for store og klodsede: en instans m\u00e5 ikke forbruge mere end 4-8 gigabyte RAM og skal sikre mulighed for horisontal skalering af foresp\u00f8rgsler ved at starte nye instanser. Hver tjeneste kommunikerer kun med andre via REST API (Open API<\/a><\/noindex>). Teamet ansvarligt for tjenesten skal bevare bagudkompatibiliteten af API til den sidste klient, der bruger den.<\/p>\n

<\/p>\n

Kernen af applikationen er skrevet i Java med brug af Spring Framework. L\u00f8sningen blev oprindeligt designet til hurtig implementering i cloud-infrastruktur, derfor er applikationen bygget ved hj\u00e6lp af et containeriseringssystem Red Hat OpenShift<\/a><\/noindex> (Kubernetes<\/a><\/noindex>). Platformen udvikler sig konstant, b\u00e5de hvad ang\u00e5r tilf\u00f8jelse af forretningsfunktionalitet (nye tilslutninger, AutoML), og hvad ang\u00e5r teknologisk effektivitet. <\/p>\n

<\/p>\n

En af de store fordele ved vores platform er, at vi kan k\u00f8re kode udviklet i et visuelt interface p\u00e5 ethvert system til udf\u00f8relse af modeller i Sberbank. I \u00f8jeblikket er der allerede to: en p\u00e5 Hadoop og en anden p\u00e5 OpenShift (Docker). Vi stopper ikke her og opretter integrationsmoduler til at k\u00f8re kode p\u00e5 hvilken som helst infrastruktur, herunder on-premise og i skyen. Hvad ang\u00e5r mulighederne for effektiv integration i Sberbanks \u00f8kosystem, planl\u00e6gger vi ogs\u00e5 at underst\u00f8tte arbejdet med de eksisterende udf\u00f8relsesmilj\u00f8er. P\u00e5 sigt kan l\u00f8sningen fleksibelt integreres<\/p>\n

<\/p>\n

De, der nogensinde har pr\u00f8vet at vedligeholde en l\u00f8sning, der k\u00f8rer Python p\u00e5 Hadoop i PRO-M, ved, at det ikke er nok bare at forberede og levere et brugerdefineret Python-milj\u00f8 til hver datanode. Et stort antal C\/C++ biblioteker til maskinl\u00e6ring, som bruger Python-moduler, vil ikke lade dig hvile let. Man skal huske at opdatere pakkerne, n\u00e5r der tilf\u00f8jes nye biblioteker eller servere, for at holde tilbagekompatibiliteten med den allerede implementerede modelkode.<\/p>\n

<\/p>\n

Der er flere tilgange til, hvordan dette kan g\u00f8res. For eksempel kan man p\u00e5 forh\u00e5nd forberede flere ofte brugte biblioteker og implementere dem i PRO-M. I Clouderas Hadoop-distribution bruges der normalt parcel<\/a><\/noindex>. Derudover er der nu mulighed for at k\u00f8re docker<\/a><\/noindex>-containere i Hadoop. I nogle enkle tilf\u00e6lde kan man levere koden sammen med pakken python.eggs<\/a><\/noindex>.<\/p>\n

<\/p>\n

Banken tager sikkerheden ved at k\u00f8re tredjepartkode meget seri\u00f8st, derfor udnytter vi i videst muligt omfang de nye muligheder i Linux-kernen, hvor processen, der k\u00f8rer i et isoleret milj\u00f8, Linux namespace<\/a><\/noindex>, kan begr\u00e6nses, for eksempel med hensyn til adgang til netv\u00e6rk og lokal disk, hvilket betydeligt reducerer mulighederne for ondsindet kode. Dataomr\u00e5derne for hver afdeling er beskyttede og kun tilg\u00e6ngelige for ejere af disse data. Plattformen garanterer, at data fra et omr\u00e5de kun kan komme ind i et andet omr\u00e5de via en datapubliceringsproces med kontrol p\u00e5 alle trin fra adgang til kilder til landing af data i det m\u00e5lrettede showcase.<\/p>\n

\n\"Sber.DS
\n<\/p>\n

I \u00e5r planl\u00e6gger vi at afslutte MVP-lanceringen af modeller skrevet i Python\/R\/Java p\u00e5 Hadoop. Vi har sat os det ambiti\u00f8se m\u00e5l at l\u00e6re at k\u00f8re ethvert brugerdefineret milj\u00f8 p\u00e5 Hadoop, s\u00e5 vi ikke begr\u00e6nser brugerne af vores platform.<\/p>\n

<\/p>\n

Desuden viser det sig, at mange DS-specialister har en god forst\u00e5else for matematik og statistik, laver fantastiske modeller, men ikke har s\u00e5 meget erfaring med transformation af store data, og de har brug for hj\u00e6lp fra vores dataingeni\u00f8rer til at forberede tr\u00e6ningsdatas\u00e6t. Vi har besluttet at hj\u00e6lpe vores kolleger og skabe brugervenlige moduler til typisk transformation og forberedelse af funktioner til modeller p\u00e5 Spark-motoren. Dette vil give dem mere tid til at fokusere p\u00e5 modeludvikling og slippe for at vente p\u00e5, at dataingeni\u00f8rerne forbereder et nyt datas\u00e6t.<\/p>\n

<\/p>\n

Vi har folk, der har viden inden for forskellige omr\u00e5der: Linux og DevOps, Hadoop og Spark, Java og Spring, Scala og Akka, OpenShift og Kubernetes. I n\u00e6ste gang vil vi tale om modelbiblioteket, hvordan en model gennemg\u00e5r livscyklussen inde i virksomheden, samt hvordan validering og implementering foreg\u00e5r.<\/p>\n

Kilde: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0418\u0434\u0435\u0438 \u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0435\u0449\u0451 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043c\u043e\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0432 \u0431\u0438\u0437\u043d\u0435\u0441\u0435 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e. \u041d\u043e \u043f\u043e\u043c\u0438\u043c\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043c\u043e\u0436\u0435\u0442 \u0443\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0430 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0442\u044c \u0435\u0433\u043e \u043d\u0430 \u0435\u0451 \u043e\u0446\u0435\u043d\u043a\u0443 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c. \u041f\u043e\u0441\u043b\u0435 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f \u043b\u044e\u0431\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0430 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u0438 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c. \u0418 \u044d\u0442\u043e […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":70863,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-70862","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Sber.DS \u2014 en platform, der muligg\u00f8r oprettelse og implementering af modeller selv uden kode | ProHoster","description":"Ideer og m\u00f8der om, hvilke andre processer der kan automatiseres, opst\u00e5r dagligt i virksomheder af forskellige st\u00f8rrelser.","canonical_url":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"da_DK","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Sber.DS \u2014 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0438 \u0432\u043d\u0435\u0434\u0440\u044f\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0430\u0436\u0435 \u0431\u0435\u0437 \u043a\u043e\u0434\u0430 | ProHoster","og:description":"\u0418\u0434\u0435\u0438 \u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0435\u0449\u0451 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043c\u043e\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0432 \u0431\u0438\u0437\u043d\u0435\u0441\u0435 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e.","og:url":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-02-22T03:40:55+00:00","article:modified_time":"2020-03-03T13:14:35+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"70862","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:12:23","updated":"2022-09-28 08:13:26","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/70862","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/comments?post=70862"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/70862\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/media\/70863"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/media?parent=70862"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/categories?post=70862"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/tags?post=70862"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}