{"id":70862,"date":"2020-02-22T06:40:55","date_gmt":"2020-02-22T03:40:55","guid":{"rendered":"https:\/\/prohoster.info\/blog\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda"},"modified":"2020-03-03T16:14:35","modified_gmt":"2020-03-03T13:14:35","slug":"sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","status":"publish","type":"post","link":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","title":{"rendered":"Sber.DS es una plataforma que permite crear e implementar modelos incluso sin c\u00f3digo.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Las ideas y reuniones sobre qu\u00e9 otros procesos se pueden automatizar surgen diariamente en negocios de diferentes tama\u00f1os. Pero adem\u00e1s del tiempo que puede llevar crear un modelo, tambi\u00e9n es necesario dedicar tiempo a su evaluaci\u00f3n y a verificar que el resultado obtenido no sea aleatorio. Despu\u00e9s de implementar, cualquier modelo debe ser monitoreado y revisado peri\u00f3dicamente.<\/p>\n

<\/p>\n

Y estas son todas etapas que deben atravesar las empresas, independientemente de su tama\u00f1o. Si hablamos de la magnitud y la herencia de Sberbank, la cantidad de configuraciones detalladas aumenta considerablemente. Para finales de 2019, ya se utilizaban m\u00e1s de 2000 modelos en Sber. No es suficiente con desarrollar un modelo, es necesario integrarse con sistemas industriales, crear vitrinas de datos para la construcci\u00f3n de modelos y asegurar el control de su funcionamiento en el cl\u00faster.<\/p>\n

\"Sber.DS<\/a><\/noindex><\/p>\n

Nuestro equipo est\u00e1 desarrollando la plataforma Sber.DS. Permite resolver problemas de aprendizaje autom\u00e1tico, acelera el proceso de verificaci\u00f3n de hip\u00f3tesis, simplifica b\u00e1sicamente el proceso de desarrollo y validaci\u00f3n de modelos, y tambi\u00e9n controla el resultado del trabajo del modelo en PROM.<\/p>\n

<\/p>\n

Para no decepcionar tus expectativas, quiero decir de antemano que esta publicaci\u00f3n es introductoria, y a continuaci\u00f3n se hablar\u00e1 sobre lo que hay en realidad bajo el cap\u00f3 de la plataforma Sber.DS. La historia sobre el ciclo de vida del modelo, desde su creaci\u00f3n hasta su implementaci\u00f3n, la contaremos por separado. <\/p>\n

\n<\/a><\/noindex><\/p>\n

Sber.DS consta de varios componentes, siendo los clave la biblioteca, el sistema de desarrollo y el sistema de ejecuci\u00f3n de modelos. <\/p>\n

\n\"Sber.DS
\n<\/p>\n

La biblioteca controla el ciclo de vida del modelo desde el momento en que surge la idea de desarrollarlo hasta su implementaci\u00f3n en PROM, su monitoreo y su retiro de servicio. Muchas de las capacidades de la biblioteca est\u00e1n dictadas por las normas del regulador, como la presentaci\u00f3n de informes y el almacenamiento de conjuntos de datos de entrenamiento y validaci\u00f3n. De hecho, es un registro de todos nuestros modelos.<\/p>\n

<\/p>\n

El sistema de desarrollo est\u00e1 destinado a la creaci\u00f3n visual de modelos y m\u00e9todos de validaci\u00f3n. Los modelos desarrollados pasan por una validaci\u00f3n inicial y se env\u00edan al sistema de ejecuci\u00f3n para cumplir con sus funciones comerciales. Adem\u00e1s, en el sistema de ejecuci\u00f3n, el modelo puede ser monitoreado con el fin de ejecutar peri\u00f3dicamente m\u00e9todos de validaci\u00f3n para controlar su rendimiento. <\/p>\n

<\/p>\n

El sistema tiene varios tipos de nodos. Algunos est\u00e1n destinados a conectarse a diversas fuentes de datos, otros son para transformar los datos originales y enriquecerlos (anotaci\u00f3n). Hay muchos nodos para construir diferentes modelos y nodos para su validaci\u00f3n. El desarrollador puede cargar datos de cualquier origen, transformarlos, filtrarlos, visualizar datos intermedios y dividirlos en partes.<\/p>\n

<\/p>\n

Adem\u00e1s, la plataforma contiene m\u00f3dulos ya listos que se pueden arrastrar a la zona de proyectos. Todas las acciones se llevan a cabo utilizando una interfaz visual. De hecho, se puede resolver un problema sin escribir una sola l\u00ednea de c\u00f3digo.<\/p>\n

<\/p>\n

Si las capacidades integradas no son suficientes, el sistema ofrece la posibilidad de crear r\u00e1pidamente sus propios m\u00f3dulos. Hemos implementado un modo de desarrollo integrado basado en Jupyter Kernel Gateway<\/a><\/noindex> para quienes crean nuevos m\u00f3dulos desde cero.<\/p>\n

\n\"Sber.DS
\n<\/p>\n

La arquitectura de Sber.DS est\u00e1 construida sobre microservicios. Existen muchas opiniones sobre qu\u00e9 son los microservicios. Algunos piensan que es suficiente dividir el c\u00f3digo monol\u00edtico en partes, pero a\u00fan as\u00ed acceden a la misma base de datos. Para nosotros, un microservicio debe comunicarse con otro microservicio solo a trav\u00e9s de REST API. No hay atajos para acceder directamente a la base de datos.<\/p>\n

<\/p>\n

Nos esforzamos por que los servicios no sean muy grandes y pesados: una instancia no debe consumir m\u00e1s de 4-8 gigabytes de memoria RAM y debe permitir el escalado horizontal de solicitudes mediante el lanzamiento de nuevas instancias. Cada servicio se comunica con los dem\u00e1s solo a trav\u00e9s de REST API (Open API<\/a><\/noindex>). El equipo responsable del servicio debe mantener la compatibilidad con versiones anteriores de la API hasta el \u00faltimo cliente que lo usa.<\/p>\n

<\/p>\n

El n\u00facleo de la aplicaci\u00f3n est\u00e1 escrito en Java utilizando Spring Framework. La soluci\u00f3n fue dise\u00f1ada inicialmente para un r\u00e1pido despliegue en la infraestructura en la nube, por lo que la aplicaci\u00f3n est\u00e1 construida utilizando un sistema de contenerizaci\u00f3n Red Hat OpenShift<\/a><\/noindex> (Kubernetes<\/a><\/noindex>). La plataforma est\u00e1 en constante desarrollo, tanto en el aumento de la funcionalidad comercial (se agregan nuevos conectores, AutoML), como en t\u00e9rminos de eficiencia tecnol\u00f3gica. <\/p>\n

<\/p>\n

Una de las caracter\u00edsticas de nuestra plataforma es que podemos ejecutar c\u00f3digo desarrollado en una interfaz visual en cualquier sistema de ejecuci\u00f3n de modelos de Sberbank. Actualmente hay dos: uno en Hadoop y otro en OpenShift (Docker). No nos detenemos aqu\u00ed y estamos creando m\u00f3dulos de integraci\u00f3n para ejecutar c\u00f3digo en cualquier infraestructura, incluyendo on-premise y en la nube. En cuanto a las posibilidades de integraci\u00f3n efectiva en el ecosistema de Sberbank, tambi\u00e9n planeamos soportar el trabajo con los entornos de ejecuci\u00f3n existentes. A largo plazo, la soluci\u00f3n puede integrarse de forma flexible \"listo para usar\" en cualquier paisaje organizativo.<\/p>\n

<\/p>\n

Aquellos que han intentado mantener una soluci\u00f3n que ejecuta Python en Hadoop en PROM saben que no basta con preparar y entregar el entorno de usuario de Python en cada nodo de datos. Una gran cantidad de bibliotecas C\/C++ para aprendizaje autom\u00e1tico que utilizan m\u00f3dulos de Python no te permitir\u00e1n descansar tranquilo. No se debe olvidar actualizar los paquetes al agregar nuevas bibliotecas o servidores, manteniendo la compatibilidad con el c\u00f3digo de modelos ya implementado.<\/p>\n

<\/p>\n

Hay varios enfoques para lograr esto. Por ejemplo, preparar con antelaci\u00f3n varias bibliotecas de uso com\u00fan y implementarlas en PROM. En la distribuci\u00f3n de Hadoop de Cloudera, normalmente se utiliza parcel<\/a><\/noindex>. Tambi\u00e9n ahora hay una posibilidad de ejecutar contenedores en Hadoop. En algunos casos simples, se puede entregar el c\u00f3digo junto con el paquete docker<\/a><\/noindex>python.eggs El banco toma muy en serio la seguridad de la ejecuci\u00f3n de c\u00f3digo de terceros, por lo que aprovechamos al m\u00e1ximo las nuevas funcionalidades del n\u00facleo de Linux, donde el proceso ejecutado en un entorno aislado<\/a><\/noindex>.<\/p>\n

<\/p>\n

Linux namespace , puede ser restringido, por ejemplo, en cuanto al acceso a la red y al disco local, lo que reduce significativamente las posibilidades del c\u00f3digo malicioso. Las \u00e1reas de datos de cada departamento est\u00e1n protegidas y solo son accesibles para los propietarios de esos datos. La plataforma garantiza que los datos de un \u00e1rea solo pueden pasar a otra \u00e1rea a trav\u00e9s de un proceso de publicaci\u00f3n de datos con control en todas las etapas, desde el acceso a las fuentes hasta el aterrizaje de los datos en el espacio de destino.<\/a><\/noindex>, se puede limitar, por ejemplo, el acceso a la red y al disco local, lo que reduce significativamente las capacidades del c\u00f3digo malicioso. Las \u00e1reas de datos de cada departamento est\u00e1n protegidas y son accesibles solo para los propietarios de esos datos. La plataforma garantiza que los datos de una \u00e1rea solo puedan pasar a otra \u00e1rea a trav\u00e9s de un proceso de publicaci\u00f3n de datos con control en todas las etapas desde el acceso a las fuentes hasta la llegada de los datos a la vitrina de destino.<\/p>\n

\n\"Sber.DS
\n<\/p>\n

Este a\u00f1o planeamos completar el lanzamiento del MVP de modelos escritos en Python\/R\/Java sobre Hadoop. Nos hemos fijado un objetivo ambicioso de aprender a ejecutar cualquier entorno personalizado en Hadoop, para no limitar a los usuarios de nuestra plataforma.<\/p>\n

<\/p>\n

Adem\u00e1s, como result\u00f3, muchos especialistas en DS conocen bien las matem\u00e1ticas y la estad\u00edstica, crean modelos geniales, pero no tienen mucha experiencia en transformaciones de grandes datos, y necesitan la ayuda de nuestros ingenieros de datos para preparar conjuntos de datos de entrenamiento. Decidimos ayudar a nuestros colegas y crear m\u00f3dulos convenientes para la transformaci\u00f3n est\u00e1ndar y preparaci\u00f3n de caracter\u00edsticas para modelos en el motor Spark. Esto permitir\u00e1 dedicar m\u00e1s tiempo al desarrollo de modelos y no tener que esperar a que los ingenieros de datos preparen un nuevo conjunto de datos.<\/p>\n

<\/p>\n

En nuestro equipo hay personas con conocimientos en diversas \u00e1reas: Linux y DevOps, Hadoop y Spark, Java y Spring, Scala y Akka, OpenShift y Kubernetes. La pr\u00f3xima vez hablaremos sobre la biblioteca de modelos, c\u00f3mo un modelo pasa por el ciclo de vida dentro de la empresa y c\u00f3mo se lleva a cabo la validaci\u00f3n y la implementaci\u00f3n.<\/p>\n

Fuente: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0418\u0434\u0435\u0438 \u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0435\u0449\u0451 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043c\u043e\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0432 \u0431\u0438\u0437\u043d\u0435\u0441\u0435 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e. \u041d\u043e \u043f\u043e\u043c\u0438\u043c\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043c\u043e\u0436\u0435\u0442 \u0443\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0430 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0442\u044c \u0435\u0433\u043e \u043d\u0430 \u0435\u0451 \u043e\u0446\u0435\u043d\u043a\u0443 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c. \u041f\u043e\u0441\u043b\u0435 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f \u043b\u044e\u0431\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0430 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u0438 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c. \u0418 \u044d\u0442\u043e […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":70863,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-70862","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Sber.DS \u2014 plataforma que permite crear e implementar modelos incluso sin c\u00f3digo | ProHoster","description":"Las ideas y las reuniones sobre qu\u00e9 otros procesos se pueden automatizar surgen en negocios de diferentes escalas a diario.","canonical_url":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"es_ES","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Sber.DS \u2014 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0438 \u0432\u043d\u0435\u0434\u0440\u044f\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0430\u0436\u0435 \u0431\u0435\u0437 \u043a\u043e\u0434\u0430 | ProHoster","og:description":"\u0418\u0434\u0435\u0438 \u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0435\u0449\u0451 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043c\u043e\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0432 \u0431\u0438\u0437\u043d\u0435\u0441\u0435 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e.","og:url":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-02-22T03:40:55+00:00","article:modified_time":"2020-03-03T13:14:35+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"70862","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:12:23","updated":"2022-09-28 08:13:26","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/posts\/70862","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/comments?post=70862"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/posts\/70862\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/media\/70863"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/media?parent=70862"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/categories?post=70862"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/tags?post=70862"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}