{"id":70862,"date":"2020-02-22T06:40:55","date_gmt":"2020-02-22T03:40:55","guid":{"rendered":"https:\/\/prohoster.info\/blog\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda"},"modified":"2020-03-03T16:14:35","modified_gmt":"2020-03-03T13:14:35","slug":"sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","title":{"rendered":"Sber.DS \u2014 una piattaforma che consente di creare e implementare modelli anche senza programmazione","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ogni giorno nascono idee e discussioni su quali ulteriori processi possano essere automatizzati nelle aziende di diverse dimensioni. Tuttavia, oltre al tempo necessario per creare un modello, \u00e8 fondamentale dedicare tempo alla sua valutazione e verificare che il risultato ottenuto non sia casuale. Dopo l'implementazione, \u00e8 necessario monitorare il modello e controllarlo periodicamente.<\/p>\n

<\/p>\n

Questi sono tutti passaggi che devono essere seguiti in qualsiasi azienda, indipendentemente dalle sue dimensioni. Parlando delle dimensioni e dell'eredit\u00e0 di Sberbank, il numero di impostazioni dettagliate aumenta considerevolmente. Entro la fine del 2019, Sber utilizzava gi\u00e0 oltre 2000 modelli. Non basta semplicemente sviluppare un modello; \u00e8 necessario integrarsi con i sistemi industriali, creare vetrine dati per la costruzione dei modelli e garantire il controllo del suo funzionamento nel cluster.<\/p>\n

\"Sber.DS<\/a><\/noindex><\/p>\n

Il nostro team sta sviluppando la piattaforma Sber.DS. Questa piattaforma consente di risolvere le sfide del machine learning, accelera il processo di verifica delle ipotesi, semplifica lo sviluppo e la validazione dei modelli e monitora i risultati ottenuti dai modelli nel settore.<\/p>\n

<\/p>\n

Per non deludere le vostre aspettative, voglio dire in anticipo che questo post \u00e8 introduttivo, e sotto trovate una panoramica di ci\u00f2 che si cela dietro la piattaforma Sber.DS. Racconteremo separatamente la storia del ciclo di vita del modello dalla creazione all'implementazione. <\/p>\n

\n<\/a><\/noindex><\/p>\n

Sber.DS \u00e8 composto da diversi componenti, tra cui la libreria, il sistema di sviluppo e il sistema di esecuzione dei modelli. <\/p>\n

\n\"Sber.DS
\n<\/p>\n

La libreria gestisce il ciclo di vita del modello dall'idea iniziale fino all'implementazione nel settore, alla fase di monitoraggio e dismissione. Molte funzionalit\u00e0 della libreria sono dettate dalle normative, come la reportistica e la conservazione dei set di dati di addestramento e validazione. In sostanza, \u00e8 un registro di tutti i nostri modelli.<\/p>\n

<\/p>\n

Il sistema di sviluppo \u00e8 progettato per la creazione visiva di modelli e metodologie di validazione. I modelli sviluppati passano attraverso una validazione iniziale e vengono forniti al sistema di esecuzione per svolgere le loro funzioni aziendali. Inoltre, nel sistema di esecuzione, il modello pu\u00f2 essere impostato su un monitor per l'avvio periodico delle metodologie di validazione al fine di controllarne il funzionamento. <\/p>\n

<\/p>\n

Nel sistema ci sono diversi tipi di nodi. Alcuni sono destinati a collegarsi a varie fonti di dati, mentre altri servono per trasformare i dati di origine e per arricchirli (etichettatura). Ci sono molti nodi per costruire vari modelli e nodi per la loro validazione. Gli sviluppatori possono caricare dati da qualsiasi fonte, trasformarli, filtrarli, visualizzare dati intermedi e suddividerli in parti.<\/p>\n

<\/p>\n

La piattaforma contiene anche moduli gi\u00e0 pronti che possono essere trascinati nell'area di progetto. Tutte le operazioni vengono eseguite utilizzando un'interfaccia visualizzata. In effetti, \u00e8 possibile risolvere un compito senza scrivere nemmeno una riga di codice.<\/p>\n

<\/p>\n

Se le funzionalit\u00e0 integrate non sono sufficienti, il sistema offre la possibilit\u00e0 di creare rapidamente i propri moduli. Abbiamo realizzato una modalit\u00e0 di sviluppo integrata basata su Jupyter Kernel Gateway<\/a><\/noindex> per coloro che creano nuovi moduli da zero.<\/p>\n

\n\"Sber.DS
\n<\/p>\n

L'architettura Sber.DS \u00e8 costruita su microservizi. Ci sono molte opinioni su cosa siano i microservizi. Alcuni ritengono che sia sufficiente dividere il codice monolitico in parti, ma poi continuano a utilizzare lo stesso database. Nel nostro caso, un microservizio deve comunicare con un altro microservizio solo tramite REST API. Nessuna via di accesso diretto al database.<\/p>\n

<\/p>\n

Ci impegniamo affinch\u00e9 i servizi non diventino troppo grandi e rigidi: un'istanza non deve consumare pi\u00f9 di 4-8 gigabyte di memoria RAM e deve garantire la possibilit\u00e0 di scalare orizzontalmente le richieste avviando nuove istanze. Ogni servizio comunica con gli altri solo tramite REST API (Open API<\/a><\/noindex>). Il team responsabile del servizio \u00e8 tenuto a mantenere la compatibilit\u00e0 retroattiva dell'API fino all'ultimo cliente che la utilizza.<\/p>\n

<\/p>\n

Il core dell'applicazione \u00e8 scritto in Java utilizzando il Spring Framework. La soluzione \u00e8 stata progettata fin dall'inizio per un rapido deployment in un'infrastruttura cloud, quindi l'applicazione \u00e8 costruita utilizzando un sistema di containerizzazione. Red Hat OpenShift<\/a><\/noindex> (Kubernetes<\/a><\/noindex>). La piattaforma \u00e8 in costante evoluzione, sia per quanto riguarda l'aumento delle funzionalit\u00e0 aziendali (sono aggiunti nuovi connettori, AutoML), sia per quanto riguarda l'efficienza tecnologica. <\/p>\n

<\/p>\n

Una delle caratteristiche distintive della nostra piattaforma \u00e8 che possiamo eseguire codice sviluppato nell'interfaccia visiva su qualsiasi sistema di esecuzione dei modelli di Sberbank. Attualmente, ce ne sono gi\u00e0 due: uno su Hadoop e l'altro su OpenShift (Docker). Non ci fermiamo qui e stiamo creando moduli di integrazione per eseguire codice su qualsiasi infrastruttura, sia on-premise che nel cloud. Per quanto riguarda le possibilit\u00e0 di integrazione efficace nell'ecosistema di Sberbank, prevediamo anche di supportare l'interazione con gli ambienti di esecuzione esistenti. In prospettiva, la soluzione pu\u00f2 essere integrata in modo flessibile \"out of the box\" in qualsiasi paesaggio di qualsiasi organizzazione.<\/p>\n

<\/p>\n

Chiunque abbia mai provato a mantenere una soluzione che esegue Python su Hadoop in PRODE, sa che non \u00e8 sufficiente preparare e consegnare un ambiente Python personalizzato a ciascun nodo dati. Un'enorme quantit\u00e0 di librerie C\/C++ per il machine learning che utilizzano moduli Python non ti permetter\u00e0 di rilassarti. \u00c8 fondamentale tenere aggiornati i pacchetti quando si aggiungono nuove librerie o server, mantenendo la retrocompatibilit\u00e0 con il codice delle modelli gi\u00e0 implementati.<\/p>\n

<\/p>\n

Ci sono diversi approcci per farlo. Ad esempio, si pu\u00f2 preparare in anticipo un insieme di librerie comunemente utilizzate e integrarle in PRODE. Nella distribuzione di Hadoop di Cloudera, di solito si utilizza parcel<\/a><\/noindex>. Inoltre, ora in Hadoop c'\u00e8 la possibilit\u00e0 di eseguire docker<\/a><\/noindex>-container. In alcuni casi semplici, \u00e8 possibile distribuire il codice insieme al pacchetto python.eggs<\/a><\/noindex>.<\/p>\n

<\/p>\n

La banca affronta con grande seriet\u00e0 la sicurezza nell'esecuzione di codice di terze parti, quindi sfruttiamo al massimo le nuove funzionalit\u00e0 del kernel Linux, dove il processo in esecuzione in un ambiente isolato Linux namespace<\/a><\/noindex>, \u00e8 possibile limitare, ad esempio, l'accesso alla rete e al disco locale, il che riduce notevolmente le possibilit\u00e0 di malware. Le aree dati di ciascun dipartimento sono protette e accessibili solo ai proprietari di tali dati. La piattaforma garantisce che i dati da un'area possano arrivare a un'altra area solo tramite un processo di pubblicazione dei dati con controlli in tutte le fasi, dall'accesso alle fonti all'arrivo dei dati nella vetrina di destinazione.<\/p>\n

\n\"Sber.DS
\n<\/p>\n

Quest'anno prevediamo di completare l'MVP del lancio dei modelli scritti in Python\/R\/Java su Hadoop. Abbiamo fissato per noi un obiettivo ambizioso: imparare a eseguire qualsiasi ambiente personalizzato su Hadoop, in modo da non limitare gli utenti della nostra piattaforma.<\/p>\n

<\/p>\n

Inoltre, come si \u00e8 rivelato, molti specialisti DS conoscono bene la matematica e la statistica, creano modelli fantastici, ma non sono molto esperti nelle trasformazioni dei big data e necessitano dell'aiuto dei nostri data engineer per preparare set di dati di addestramento. Abbiamo deciso di aiutare i colleghi creando moduli facili da usare per la trasformazione standard e la preparazione delle funzionalit\u00e0 per i modelli sulla piattaforma Spark. Questo permetter\u00e0 di dedicare pi\u00f9 tempo allo sviluppo dei modelli senza dover attendere che i data engineer preparino un nuovo dataset.<\/p>\n

<\/p>\n

Da noi lavorano persone con competenze in diverse aree: Linux e DevOps, Hadoop e Spark, Java e Spring, Scala e Akka, OpenShift e Kubernetes. La prossima volta parleremo della libreria di modelli, di come un modello attraversa il ciclo di vita all'interno dell'azienda, e del processo di validazione e implementazione.<\/p>\n

Fonte: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0418\u0434\u0435\u0438 \u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0435\u0449\u0451 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043c\u043e\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0432 \u0431\u0438\u0437\u043d\u0435\u0441\u0435 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e. \u041d\u043e \u043f\u043e\u043c\u0438\u043c\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043c\u043e\u0436\u0435\u0442 \u0443\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0430 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0442\u044c \u0435\u0433\u043e \u043d\u0430 \u0435\u0451 \u043e\u0446\u0435\u043d\u043a\u0443 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c. \u041f\u043e\u0441\u043b\u0435 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f \u043b\u044e\u0431\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0430 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u0438 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c. \u0418 \u044d\u0442\u043e […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":70863,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-70862","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Sber.DS \u2014 la piattaforma che consente di creare e implementare modelli anche senza codice | ProHoster","description":"Le idee e gli incontri su quali altri processi possono essere automatizzati sorgono quotidianamente nelle imprese di diverse dimensioni. Ma oltre al tempo necessario per creare un modello, \u00e8 fondamentale dedicare tempo alla sua valutazione e al controllo che il risultato ottenuto non sia casuale. Dopo l'implementazione, ogni modello deve essere sottoposto a monitoraggio e verifiche periodiche. E questo","canonical_url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"it_IT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Sber.DS \u2014 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0438 \u0432\u043d\u0435\u0434\u0440\u044f\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0430\u0436\u0435 \u0431\u0435\u0437 \u043a\u043e\u0434\u0430 | ProHoster","og:description":"\u0418\u0434\u0435\u0438 \u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0435\u0449\u0451 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043c\u043e\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0432 \u0431\u0438\u0437\u043d\u0435\u0441\u0435 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e. \u041d\u043e \u043f\u043e\u043c\u0438\u043c\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043c\u043e\u0436\u0435\u0442 \u0443\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0430 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0442\u044c \u0435\u0433\u043e \u043d\u0430 \u0435\u0451 \u043e\u0446\u0435\u043d\u043a\u0443 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c. \u041f\u043e\u0441\u043b\u0435 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f \u043b\u044e\u0431\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0430 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u0438 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c. \u0418 \u044d\u0442\u043e","og:url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-02-22T03:40:55+00:00","article:modified_time":"2020-03-03T13:14:35+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"70862","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:12:23","updated":"2022-09-28 08:13:26"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/70862","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/comments?post=70862"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/70862\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media\/70863"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media?parent=70862"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/categories?post=70862"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/tags?post=70862"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}