{"id":70862,"date":"2020-02-22T06:40:55","date_gmt":"2020-02-22T03:40:55","guid":{"rendered":"https:\/\/prohoster.info\/blog\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda"},"modified":"2020-03-03T16:14:35","modified_gmt":"2020-03-03T13:14:35","slug":"sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","title":{"rendered":"Sber.DS \u2014 una piattaforma che consente di creare e implementare modelli anche senza codice","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Idee e incontri su quali altri processi possono essere automatizzati nascono quotidianamente in aziende di diverse dimensioni. Tuttavia, oltre al tempo necessario per creare un modello, \u00e8 importante anche dedicare del tempo alla sua valutazione e al controllo che il risultato ottenuto non sia casuale. Dopo l'implementazione, \u00e8 necessario monitorare qualsiasi modello e controllarlo periodicamente.<\/p>\n

<\/p>\n

E questi sono tutti passaggi che devono essere compiuti in qualsiasi azienda, indipendentemente dalle sue dimensioni. Se parliamo della scala e dell'eredit\u00e0 di Sberbank, il numero di configurazioni sottili aumenta notevolmente. Entro la fine del 2019, in Sber erano gi\u00e0 utilizzati pi\u00f9 di 2000 modelli. Non \u00e8 sufficiente sviluppare un modello, \u00e8 necessario integrarsi con sistemi industriali, sviluppare vetrine di dati per la costruzione dei modelli e garantire il monitoraggio delle sue performance nel cluster.<\/p>\n

\"Sber.DS<\/a><\/noindex><\/p>\n

Il nostro team sta sviluppando la piattaforma Sber.DS. Essa consente di risolvere problemi di apprendimento automatico, accelera il processo di verifica delle ipotesi, semplifica in generale il processo di sviluppo e validazione dei modelli, e controlla i risultati del lavoro del modello in produzione.<\/p>\n

<\/p>\n

Per non deludere le vostre aspettative, desidero dire in anticipo che questo post \u00e8 introduttivo, e di seguito parleremo di cosa c'\u00e8 sotto il cofano della piattaforma Sber.DS. Racconteremo separatamente la storia del ciclo di vita del modello, dalla creazione all'implementazione. <\/p>\n

\n<\/a><\/noindex><\/p>\n

Sber.DS \u00e8 composto da diversi componenti, dei quali i principali sono una libreria, un sistema di sviluppo e un sistema di esecuzione dei modelli. <\/p>\n

\n\"Sber.DS
\n<\/p>\n

La libreria controlla il ciclo di vita del modello dal momento in cui nasce l'idea di svilupparlo fino all'implementazione in produzione, al monitoraggio e alla dismissione. Molte delle funzionalit\u00e0 della libreria sono dettate dalle regole del regolatore, come la reportistica e la conservazione dei campioni di addestramento e validazione. In effetti, si tratta di un registro di tutti i nostri modelli.<\/p>\n

<\/p>\n

Il sistema di sviluppo \u00e8 progettato per la creazione visiva di modelli e metodologie di validazione. I modelli sviluppati passano attraverso una validazione preliminare e vengono forniti al sistema di esecuzione per l'esecuzione delle proprie funzioni aziendali. Inoltre, nel sistema di esecuzione, il modello pu\u00f2 essere visualizzato su uno schermo con l'obiettivo di avviare periodicamente le metodologie di validazione per controllare il suo funzionamento. <\/p>\n

<\/p>\n

Nel sistema ci sono diversi tipi di nodi. Alcuni sono destinati a collegarsi a varie fonti di dati, altri - a trasformare i dati grezzi e arricchirli (tagging). Ci sono molti nodi per costruire vari modelli e nodi per la loro validazione. Lo sviluppatore pu\u00f2 caricare dati da qualsiasi fonte, trasformarli, filtrarli, visualizzare dati intermedi e suddividerli in parti.<\/p>\n

<\/p>\n

Inoltre, la piattaforma contiene gi\u00e0 moduli pronti che possono essere trascinati nell'area di progettazione. Tutte le operazioni avvengono tramite un'interfaccia visualizzata. In effetti, \u00e8 possibile risolvere il problema senza scrivere una sola riga di codice.<\/p>\n

<\/p>\n

Se le funzionalit\u00e0 integrate non sono sufficienti, il sistema offre la possibilit\u00e0 di creare rapidamente i propri moduli. Abbiamo implementato una modalit\u00e0 di sviluppo integrato basata su Jupyter Kernel Gateway<\/a><\/noindex> per coloro che creano nuovi moduli \"da zero\".<\/p>\n

\n\"Sber.DS
\n<\/p>\n

L'architettura Sber.DS \u00e8 costruita su microservizi. Ci sono molte opinioni su cosa siano i microservizi. Alcuni ritengono che sia sufficiente suddividere il codice monolitico in parti, ma che comunque accedano tutti alla stessa base di dati. Da noi, un microservizio deve comunicare con un altro microservizio solo tramite REST API. Niente vie di accesso alternative dirette al database.<\/p>\n

<\/p>\n

Ci sforziamo affinch\u00e9 i servizi non diventino troppo grandi e ingombranti: un'istanza non deve consumare pi\u00f9 di 4-8 gigabyte di memoria RAM e deve garantire la possibilit\u00e0 di scalabilit\u00e0 orizzontale delle richieste tramite l'avvio di nuove istanze. Ogni servizio comunica con gli altri solo tramite REST API (Open API<\/a><\/noindex>). Il team responsabile del servizio \u00e8 tenuto a mantenere la compatibilit\u00e0 retroattiva dell'API fino all'ultimo cliente che la utilizza.<\/p>\n

<\/p>\n

Il nucleo dell'applicazione \u00e8 scritto in Java utilizzando il Spring Framework. La soluzione \u00e8 stata inizialmente progettata per un rapido deployment nell'infrastruttura cloud, quindi l'applicazione \u00e8 costruita utilizzando un sistema di containerizzazione. Red Hat OpenShift<\/a><\/noindex> (Kubernetes<\/a><\/noindex>). La piattaforma \u00e8 in continua evoluzione, sia per quanto riguarda l'ampliamento delle funzionalit\u00e0 business (vengono aggiunti nuovi connettori, AutoML), sia per quanto riguarda l'efficienza tecnologica. <\/p>\n

<\/p>\n

Una delle \"caratteristiche\" della nostra piattaforma \u00e8 che possiamo eseguire codice sviluppato nell'interfaccia visiva su qualsiasi sistema di esecuzione dei modelli di Sberbank. Attualmente ce ne sono gi\u00e0 due: uno su Hadoop e l'altro su OpenShift (Docker). Non ci fermiamo qui e stiamo creando moduli di integrazione per eseguire codice su qualsiasi infrastruttura, inclusi sistemi on-premise e cloud. Per quanto riguarda le possibilit\u00e0 di integrazione efficace nell'ecosistema di Sberbank, prevediamo anche di supportare il funzionamento con ambienti di esecuzione esistenti. In prospettiva, la soluzione pu\u00f2 essere flessibilmente integrata \"out of the box\" in qualsiasi paesaggio di qualsiasi organizzazione.<\/p>\n

<\/p>\n

Chiunque abbia mai provato a mantenere una soluzione che esegue Python su Hadoop in produzione, sa che non basta preparare e fornire l'ambiente utente Python su ogni data node. L'enorme quantit\u00e0 di librerie C\/C++ per il machine learning che utilizzano moduli Python non vi permetter\u00e0 di rilassarvi. Non bisogna dimenticare di aggiornare i pacchetti quando si aggiungono nuove librerie o server, mantenendo la retrocompatibilit\u00e0 con il codice dei modelli gi\u00e0 implementato.<\/p>\n

<\/p>\n

Ci sono diversi approcci su come farlo. Per esempio, preparare in anticipo alcune librerie frequentemente utilizzate e integrarle in produzione. Nella distribuzione Hadoop di Cloudera, di solito si utilizza parcel<\/a><\/noindex>. Inoltre, ora in Hadoop sta emergendo la possibilit\u00e0 di eseguire docker<\/a><\/noindex>-container. In alcuni casi semplici, \u00e8 possibile fornire il codice insieme al pacchetto python.eggs<\/a><\/noindex>.<\/p>\n

<\/p>\n

La banca adotta un approccio molto serio alla sicurezza dell'esecuzione di codice di terze parti, quindi sfruttiamo il pi\u00f9 possibile le nuove funzionalit\u00e0 del kernel Linux, dove il processo, avviato in un ambiente isolato Linux namespace<\/a><\/noindex>, si pu\u00f2 limitare, ad esempio, l'accesso alla rete e al disco locale, il che riduce significativamente le capacit\u00e0 del codice dannoso. Le aree dati di ogni reparto sono protette e accessibili solo ai proprietari di quei dati. La piattaforma garantisce che i dati da un'area possano passare a un'altra area solo attraverso un processo di pubblicazione dei dati con controlli a tutti i livelli, dall'accesso alle fonti fino all'arrivo dei dati nella vetrina finale.<\/p>\n

\n\"Sber.DS
\n<\/p>\n

Quest'anno prevediamo di completare il lancio dell'MVP per i modelli scritti in Python\/R\/Java su Hadoop. Ci siamo posti un obiettivo ambizioso: imparare a eseguire qualsiasi ambiente personalizzato su Hadoop, per non limitare in alcun modo gli utenti della nostra piattaforma.<\/p>\n

<\/p>\n

Inoltre, come si \u00e8 scoperto, molti specialisti DS hanno ottime conoscenze in matematica e statistica, creano modelli interessanti, ma non sono molto esperti nelle trasformazioni di grandi dati e hanno bisogno dell'assistenza dei nostri data engineer per preparare i set di dati per l'addestramento. Abbiamo deciso di aiutare i colleghi e creare moduli pratici per la trasformazione standard e la preparazione delle feature per i modelli sul motore Spark. Questo permetter\u00e0 di dedicare pi\u00f9 tempo allo sviluppo dei modelli e di non dover aspettare che i data engineer preparino un nuovo set di dati.<\/p>\n

<\/p>\n

Abbiamo persone con competenze in vari settori: Linux e DevOps, Hadoop e Spark, Java e Spring, Scala e Akka, OpenShift e Kubernetes. La prossima volta parleremo della libreria dei modelli, di come un modello passa attraverso il ciclo di vita all'interno dell'azienda, di come avviene la validazione e l'implementazione.<\/p>\n

Fonte: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0418\u0434\u0435\u0438 \u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0435\u0449\u0451 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043c\u043e\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0432 \u0431\u0438\u0437\u043d\u0435\u0441\u0435 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e. \u041d\u043e \u043f\u043e\u043c\u0438\u043c\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043c\u043e\u0436\u0435\u0442 \u0443\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0430 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0442\u044c \u0435\u0433\u043e \u043d\u0430 \u0435\u0451 \u043e\u0446\u0435\u043d\u043a\u0443 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c. \u041f\u043e\u0441\u043b\u0435 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f \u043b\u044e\u0431\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0430 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u0438 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c. \u0418 \u044d\u0442\u043e […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":70863,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-70862","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Sber.DS \u2014 piattaforma che consente di creare e implementare modelli anche senza codice | ProHoster","description":"Idee e incontri su quali altri processi possono essere automatizzati nascono nel business di diverse dimensioni quotidianamente.","canonical_url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"it_IT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Sber.DS \u2014 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0438 \u0432\u043d\u0435\u0434\u0440\u044f\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0430\u0436\u0435 \u0431\u0435\u0437 \u043a\u043e\u0434\u0430 | ProHoster","og:description":"\u0418\u0434\u0435\u0438 \u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0435\u0449\u0451 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043c\u043e\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0432 \u0431\u0438\u0437\u043d\u0435\u0441\u0435 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e.","og:url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-02-22T03:40:55+00:00","article:modified_time":"2020-03-03T13:14:35+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"70862","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:12:23","updated":"2022-09-28 08:13:26","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/70862","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/comments?post=70862"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/70862\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media\/70863"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media?parent=70862"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/categories?post=70862"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/tags?post=70862"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}