{"id":70862,"date":"2020-02-22T06:40:55","date_gmt":"2020-02-22T03:40:55","guid":{"rendered":"https:\/\/prohoster.info\/blog\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda"},"modified":"2020-03-03T16:14:35","modified_gmt":"2020-03-03T13:14:35","slug":"sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","title":{"rendered":"Sber.DS \u2014 uma plataforma que permite criar e implementar modelos mesmo sem c\u00f3digo","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ideias e reuni\u00f5es sobre quais outros processos podem ser automatizados surgem em empresas de diferentes escalas diariamente. Mas al\u00e9m do tempo que pode ser gasto na cria\u00e7\u00e3o do modelo, \u00e9 necess\u00e1rio investir tempo na sua avalia\u00e7\u00e3o e na verifica\u00e7\u00e3o se o resultado obtido n\u00e3o \u00e9 aleat\u00f3rio. Ap\u00f3s a implementa\u00e7\u00e3o, qualquer modelo deve ser monitorado e periodicamente verificado.<\/p>\n

<\/p>\n

E essas s\u00e3o todas etapas que devem ser percorridas em qualquer empresa, independentemente de seu tamanho. Se falamos sobre a escala e a infraestrutura do Sberbank, o n\u00famero de ajustes finos aumenta exponencialmente. At\u00e9 o final de 2019, j\u00e1 havia mais de 2000 modelos em uso no Sber. N\u00e3o basta apenas desenvolver um modelo; \u00e9 preciso se integrar aos sistemas industriais, desenvolver data lakes para construir modelos e garantir o controle de suas opera\u00e7\u00f5es em cluster.<\/p>\n

\"Sber.DS<\/a><\/noindex><\/p>\n

Nossa equipe est\u00e1 desenvolvendo a plataforma Sber.DS. Ela permite resolver problemas de machine learning, acelera o processo de verifica\u00e7\u00e3o de hip\u00f3teses, simplifica, em geral, o processo de desenvolvimento e valida\u00e7\u00e3o de modelos, al\u00e9m de monitorar o resultado do trabalho do modelo em produ\u00e7\u00e3o.<\/p>\n

<\/p>\n

Para n\u00e3o frustrar suas expectativas, quero dizer antecipadamente que este post \u00e9 introdut\u00f3rio, e abaixo falaremos sobre o que, em ess\u00eancia, est\u00e1 por tr\u00e1s da plataforma Sber.DS. A hist\u00f3ria do ciclo de vida de um modelo, da cria\u00e7\u00e3o \u00e0 implementa\u00e7\u00e3o, ser\u00e1 contada separadamente. <\/p>\n

\n<\/a><\/noindex><\/p>\n

O Sber.DS \u00e9 composto por v\u00e1rios componentes, dos quais os principais s\u00e3o a biblioteca, o sistema de desenvolvimento e o sistema de execu\u00e7\u00e3o de modelos. <\/p>\n

\n\"Sber.DS
\n<\/p>\n

A biblioteca controla o ciclo de vida do modelo desde o momento em que a ideia de desenvolv\u00ea-lo surge at\u00e9 a implementa\u00e7\u00e3o em produ\u00e7\u00e3o, monitoramento e descontinua\u00e7\u00e3o. Muitas das capacidades da biblioteca s\u00e3o ditadas pelas regras do regulador, por exemplo, relat\u00f3rios e armazenamento de conjuntos de dados de treinamento e valida\u00e7\u00e3o. Na pr\u00e1tica, \u00e9 um registro de todos os nossos modelos.<\/p>\n

<\/p>\n

O sistema de desenvolvimento \u00e9 destinado ao desenvolvimento visual de modelos e metodologias de valida\u00e7\u00e3o. Os modelos desenvolvidos passam por uma valida\u00e7\u00e3o inicial e s\u00e3o enviados ao sistema de execu\u00e7\u00e3o para desempenhar suas fun\u00e7\u00f5es de neg\u00f3cio. Al\u00e9m disso, no sistema de execu\u00e7\u00e3o, o modelo pode ser colocado em monitoramento com o objetivo de executar periodicamente metodologias de valida\u00e7\u00e3o para controlar seu desempenho. <\/p>\n

<\/p>\n

O sistema possui v\u00e1rios tipos de n\u00f3s. Alguns s\u00e3o destinados a se conectar a diferentes fontes de dados, enquanto outros servem para transformar os dados brutos e enriquec\u00ea-los (com anota\u00e7\u00f5es). Existem muitos n\u00f3s para construir diferentes modelos e n\u00f3s para valida\u00e7\u00e3o. O desenvolvedor pode carregar dados de quaisquer fontes, transform\u00e1-los, filtr\u00e1-los, visualizar dados intermedi\u00e1rios e dividi-los em partes.<\/p>\n

<\/p>\n

A plataforma tamb\u00e9m cont\u00e9m m\u00f3dulos prontos que podem ser arrastados para a \u00e1rea do projeto. Todas as a\u00e7\u00f5es s\u00e3o realizadas utilizando uma interface visualizada. Na verdade, \u00e9 poss\u00edvel resolver a tarefa sem escrever uma \u00fanica linha de c\u00f3digo.<\/p>\n

<\/p>\n

Se as capacidades incorporadas n\u00e3o forem suficientes, o sistema oferece a possibilidade de criar rapidamente seus pr\u00f3prios m\u00f3dulos. Criamos um modo de desenvolvimento integrado baseado em Jupyter Kernel Gateway<\/a><\/noindex> para aqueles que est\u00e3o criando novos m\u00f3dulos \"do zero\".<\/p>\n

\n\"Sber.DS
\n<\/p>\n

A arquitetura Sber.DS \u00e9 constru\u00edda em microservi\u00e7os. H\u00e1 muitas opini\u00f5es sobre o que s\u00e3o microservi\u00e7os. Alguns acreditam que basta dividir um c\u00f3digo monol\u00edtico em partes, mas ainda assim todos acessam o mesmo banco de dados. Em nosso caso, um microservi\u00e7o deve se comunicar com outro microservi\u00e7o apenas atrav\u00e9s de REST API. Sem caminhos alternativos de acesso direto ao banco de dados.<\/p>\n

<\/p>\n

Nos esfor\u00e7amos para que os servi\u00e7os n\u00e3o se tornem muito grandes e pesados: uma inst\u00e2ncia n\u00e3o deve consumir mais de 4 a 8 gigabytes de mem\u00f3ria RAM e deve garantir a possibilidade de escalabilidade horizontal das requisi\u00e7\u00f5es iniciando novas inst\u00e2ncias. Cada servi\u00e7o se comunica com os outros apenas via REST API (Open API<\/a><\/noindex>). A equipe respons\u00e1vel pelo servi\u00e7o deve manter a compatibilidade retroativa da API at\u00e9 o \u00faltimo cliente que a utiliza.<\/p>\n

<\/p>\n

O n\u00facleo da aplica\u00e7\u00e3o \u00e9 escrito em Java utilizando o Spring Framework. A solu\u00e7\u00e3o foi projetada originalmente para um r\u00e1pido desdobramento na infraestrutura de nuvem, portanto o aplicativo \u00e9 constru\u00eddo utilizando um sistema de conteineriza\u00e7\u00e3o Red Hat OpenShift<\/a><\/noindex> (Kubernetes<\/a><\/noindex>). A plataforma est\u00e1 em constante evolu\u00e7\u00e3o, tanto no que diz respeito ao aumento da funcionalidade de neg\u00f3cios (novos conectores, AutoML) quanto em termos de efici\u00eancia tecnol\u00f3gica. <\/p>\n

<\/p>\n

Uma das caracter\u00edsticas da nossa plataforma \u00e9 que podemos executar c\u00f3digo desenvolvido na interface visual em qualquer sistema de execu\u00e7\u00e3o de modelos do Sberbank. Atualmente, existem dois sistemas: um baseado em Hadoop e outro em OpenShift (Docker). N\u00e3o paramos por aqui e estamos criando m\u00f3dulos de integra\u00e7\u00e3o para implementar c\u00f3digo em qualquer infraestrutura, incluindo on-premise e na nuvem. Em termos de capacidade de integra\u00e7\u00e3o na ecossistema do Sberbank, tamb\u00e9m planejamos suportar o uso de ambientes de execu\u00e7\u00e3o existentes. No futuro, a solu\u00e7\u00e3o poder\u00e1 ser facilmente integrada \"pronta para uso\" em qualquer infraestrutura de qualquer organiza\u00e7\u00e3o.<\/p>\n

<\/p>\n

Aqueles que j\u00e1 tentaram manter uma solu\u00e7\u00e3o que executa Python no Hadoop em PRO\u041c sabem que n\u00e3o \u00e9 suficiente apenas preparar e entregar o ambiente Python para cada node de dados. Um grande n\u00famero de bibliotecas C\/C++ para aprendizado de m\u00e1quina, que utilizam m\u00f3dulos Python, torna imposs\u00edvel relaxar. \u00c9 preciso lembrar de atualizar os pacotes ao adicionar novas bibliotecas ou servidores, garantindo compatibilidade com o c\u00f3digo de modelos j\u00e1 implementado.<\/p>\n

<\/p>\n

Existem v\u00e1rias abordagens para fazer isso. Por exemplo, preparar antecipadamente algumas das bibliotecas mais utilizadas e integr\u00e1-las no PRO\u041c. No pacote Hadoop da Cloudera, geralmente utiliza-se parcel<\/a><\/noindex>. Al\u00e9m disso, agora o Hadoop est\u00e1 permitindo a execu\u00e7\u00e3o de docker<\/a><\/noindex>-containers. Em alguns casos simples, \u00e9 poss\u00edvel entregar o c\u00f3digo junto com o pacote python.eggs<\/a><\/noindex>.<\/p>\n

<\/p>\n

O banco leva a seguran\u00e7a na execu\u00e7\u00e3o de c\u00f3digo de terceiros muito a s\u00e9rio, por isso utilizamos ao m\u00e1ximo os novos recursos do n\u00facleo do Linux, onde um processo executado em um ambiente isolado Linux namespace<\/a><\/noindex>, pode ser restrito, por exemplo, quanto ao acesso \u00e0 rede e ao disco local, o que reduz significativamente as possibilidades de c\u00f3digo malicioso. As \u00e1reas de dados de cada departamento s\u00e3o protegidas e acess\u00edveis apenas para os propriet\u00e1rios desses dados. A plataforma garante que os dados de uma \u00e1rea s\u00f3 possam entrar em outra \u00e1rea atrav\u00e9s de um processo de publica\u00e7\u00e3o de dados com controle em todas as etapas, desde o acesso \u00e0s fontes at\u00e9 a chegada dos dados na vitrine de destino.<\/p>\n

\n\"Sber.DS
\n<\/p>\n

Este ano, planeamos concluir o MVP do lan\u00e7amento de modelos escritos em Python\/R\/Java no Hadoop. Estabelecemos a ambiciosa meta de aprender a executar qualquer ambiente do usu\u00e1rio no Hadoop, para n\u00e3o limitar os usu\u00e1rios da nossa plataforma.<\/p>\n

<\/p>\n

Al\u00e9m disso, como se revelou, muitos especialistas em DS conhecem bem matem\u00e1tica e estat\u00edstica, criam \u00f3timos modelos, mas n\u00e3o t\u00eam muita familiaridade com transforma\u00e7\u00f5es de grandes dados, e precisam da ajuda de nossos engenheiros de dados para preparar conjuntos de dados para treinamento. Decidimos ajudar nossos colegas e criar m\u00f3dulos pr\u00e1ticos para transforma\u00e7\u00f5es padr\u00e3o e prepara\u00e7\u00e3o de recursos para modelos no mecanismo Spark. Isso permitir\u00e1 dedicar mais tempo ao desenvolvimento de modelos sem esperar que os engenheiros de dados preparem um novo conjunto de dados.<\/p>\n

<\/p>\n

Temos pessoas com conhecimentos em diversas \u00e1reas: Linux e DevOps, Hadoop e Spark, Java e Spring, Scala e Akka, OpenShift e Kubernetes. Na pr\u00f3xima vez, falaremos sobre a biblioteca de modelos, sobre como o modelo passa pelo ciclo de vida dentro da empresa, como ocorre a valida\u00e7\u00e3o e a implementa\u00e7\u00e3o.<\/p>\n

Fonte: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0418\u0434\u0435\u0438 \u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0435\u0449\u0451 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043c\u043e\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0432 \u0431\u0438\u0437\u043d\u0435\u0441\u0435 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e. \u041d\u043e \u043f\u043e\u043c\u0438\u043c\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043c\u043e\u0436\u0435\u0442 \u0443\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0430 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0442\u044c \u0435\u0433\u043e \u043d\u0430 \u0435\u0451 \u043e\u0446\u0435\u043d\u043a\u0443 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c. \u041f\u043e\u0441\u043b\u0435 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f \u043b\u044e\u0431\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0430 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u0438 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c. \u0418 \u044d\u0442\u043e […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":70863,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-70862","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Sber.DS \u2014 uma plataforma que permite criar e implementar modelos mesmo sem c\u00f3digo | ProHoster","description":"Ideias e reuni\u00f5es sobre quais processos adicionais podem ser automatizados surgem em neg\u00f3cios de diferentes tamanhos diariamente.","canonical_url":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pt_PT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Sber.DS \u2014 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0438 \u0432\u043d\u0435\u0434\u0440\u044f\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0430\u0436\u0435 \u0431\u0435\u0437 \u043a\u043e\u0434\u0430 | ProHoster","og:description":"\u0418\u0434\u0435\u0438 \u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0435\u0449\u0451 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043c\u043e\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0432 \u0431\u0438\u0437\u043d\u0435\u0441\u0435 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e.","og:url":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-02-22T03:40:55+00:00","article:modified_time":"2020-03-03T13:14:35+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"70862","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:12:23","updated":"2022-09-28 08:13:26","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts\/70862","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/comments?post=70862"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts\/70862\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/media\/70863"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/media?parent=70862"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/categories?post=70862"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/tags?post=70862"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}