{"id":70862,"date":"2020-02-22T06:40:55","date_gmt":"2020-02-22T03:40:55","guid":{"rendered":"https:\/\/prohoster.info\/blog\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda"},"modified":"2020-03-03T16:14:35","modified_gmt":"2020-03-03T13:14:35","slug":"sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","title":{"rendered":"Sber.DS \u2013 eine Plattform, die es erm\u00f6glicht, Modelle sogar ohne Code zu erstellen und zu implementieren","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ideen und Treffen dar\u00fcber, welche Prozesse im Alltag unterschiedlicher Unternehmen weiter automatisiert werden k\u00f6nnen, entstehen t\u00e4glich. Aber neben der Tatsache, dass viel Zeit in die Erstellung eines Modells investiert werden kann, muss auch Zeit f\u00fcr die Bewertung und \u00dcberpr\u00fcfung aufgewendet werden, ob das erzielte Ergebnis zuf\u00e4llig ist oder nicht. Nach der Implementierung muss jedes Modell kontinuierlich \u00fcberwacht und regelm\u00e4\u00dfig \u00fcberpr\u00fcft werden.<\/p>\n

<\/p>\n

All diese Schritte m\u00fcssen in jedem Unternehmen unabh\u00e4ngig von seiner Gr\u00f6\u00dfe durchlaufen werden. Wenn wir \u00fcber den Umfang und das Erbe der Sberbank sprechen, nehmen die Anzahl der feinen Anpassungen erheblich zu. Bis Ende 2019 wurden in Sber bereits \u00fcber 2000 Modelle genutzt. Es ist nicht genug, lediglich ein Modell zu entwickeln; es ist notwendig, sich mit industriellen Systemen zu integrieren, Datensichten f\u00fcr die Modellerstellung zu entwickeln und die Kontrolle \u00fcber deren Funktion im Cluster zu gew\u00e4hrleisten.<\/p>\n

\"Sber.DS<\/a><\/noindex><\/p>\n

Unser Team entwickelt die Plattform Sber.DS. Diese erm\u00f6glicht die L\u00f6sung von Aufgaben des maschinellen Lernens, beschleunigt den Prozess der Hypothesen\u00fcberpr\u00fcfung, vereinfacht grunds\u00e4tzlich den Entwicklungs- und Validierungsprozess von Modellen und kontrolliert zudem das Ergebnis der Modellentwicklung in der PRODUKTION.<\/p>\n

<\/p>\n

Um Ihre Erwartungen nicht zu entt\u00e4uschen, m\u00f6chte ich im Voraus sagen, dass dieser Beitrag eine Einf\u00fchrungsnotiz ist und im Weiteren zun\u00e4chst erl\u00e4utert wird, was sich grunds\u00e4tzlich unter der Haube der Plattform Sber.DS verbirgt. Die Geschichte des Lebenszyklus eines Modells von der Erstellung bis zur Implementierung werden wir gesondert erz\u00e4hlen. <\/p>\n

\n<\/a><\/noindex><\/p>\n

Sber.DS besteht aus mehreren Komponenten, wobei die wichtigsten eine Bibliothek, ein Entwicklungssystem und ein Ausf\u00fchrungssystem f\u00fcr Modelle sind. <\/p>\n

\n\"Sber.DS
\n<\/p>\n

Die Bibliothek kontrolliert den Lebenszyklus eines Modells vom Moment der Idee seiner Entwicklung bis zur Implementierung in die PRODUKTION, der \u00dcberwachung und der Au\u00dferbetriebnahme. Viele Funktionen der Bibliothek sind durch die Vorschriften des Regulators diktiert, beispielsweise die Berichterstattung und die Speicherung von Trainings- und Validierungsdaten. Tats\u00e4chlich handelt es sich um ein Register all unserer Modelle.<\/p>\n

<\/p>\n

Das Entwicklungssystem dient der visuellen Entwicklung von Modellen und Validierungsmethoden. Die entwickelten Modelle durchlaufen eine erste Validierung und werden zur Ausf\u00fchrung \u00fcbermittelt, um ihre Gesch\u00e4ftsoperationen auszuf\u00fchren. Auch im Ausf\u00fchrungssystem kann das Modell auf einen Monitor gesetzt werden, um die regelm\u00e4\u00dfige Aktivierung von Validierungsmethoden zur Kontrolle seiner Funktionsweise sicherzustellen. <\/p>\n

<\/p>\n

Im System gibt es mehrere Arten von Knoten. Einige sind f\u00fcr die Verbindung mit verschiedenen Datenquellen vorgesehen, andere dienen der Transformation und Anreicherung der Ausgangsdaten (Tagging). Es gibt zahlreiche Knoten zum Erstellen verschiedener Modelle und Knoten zur Validierung dieser Modelle. Der Entwickler kann Daten aus beliebigen Quellen laden, sie transformieren, filtern, Zwischeninformationen visualisieren und in Teile zerlegen.<\/p>\n

<\/p>\n

Die Plattform enth\u00e4lt auch fertige Module, die per Drag & Drop in den Projektbereich gezogen werden k\u00f6nnen. Alle Aktionen werden \u00fcber eine visualisierte Schnittstelle durchgef\u00fchrt. Tats\u00e4chlich kann die Aufgabe ohne eine einzige Zeile Code gel\u00f6st werden.<\/p>\n

<\/p>\n

Wenn die integrierten Funktionen nicht ausreichen, bietet das System die M\u00f6glichkeit, schnell eigene Module zu erstellen. Wir haben den integrierten Entwicklungsmodus auf Basis von Jupyter Kernel Gateway<\/a><\/noindex> f\u00fcr diejenigen, die neue Module \u201evon Grund auf\u201c entwickeln.<\/p>\n

\n\"Sber.DS
\n<\/p>\n

Die Architektur von Sber.DS basiert auf Microservices. Es gibt viele Meinungen dar\u00fcber, was Microservices sind. Einige glauben, es reiche aus, monolithischen Code in Teile zu zerlegen, aber sie greifen immer noch auf dieselbe Datenbank zu. Bei uns sollte ein Microservice nur \u00fcber REST API mit einem anderen Microservice kommunizieren. Es gibt keine Umgehungsm\u00f6glichkeiten, um direkt auf die Datenbank zuzugreifen.<\/p>\n

<\/p>\n

Wir bem\u00fchen uns, dass die Dienste nicht zu gro\u00df und unhandlich werden: Eine Instanz sollte nicht mehr als 4-8 Gigabyte Arbeitsspeicher verbrauchen und die M\u00f6glichkeit der horizontalen Skalierung von Anfragen durch das Starten neuer Instanzen bieten. Jeder Dienst kommuniziert nur \u00fcber REST API (Open API<\/a><\/noindex>). Das Team, das f\u00fcr den Dienst verantwortlich ist, muss die R\u00fcckw\u00e4rtskompatibilit\u00e4t der API bis zum letzten Kunden, der sie nutzt, aufrechterhalten.<\/p>\n

<\/p>\n

Der Kern der Anwendung ist in Java unter Verwendung des Spring Framework geschrieben. Die L\u00f6sung wurde urspr\u00fcnglich f\u00fcr eine schnelle Bereitstellung in der Cloud-Infrastruktur konzipiert, daher wurde die Anwendung unter Verwendung eines Containerisierungssystems aufgebaut -Plattform bereitstellt. Weitere Informationen \u00fcber die Funktionsweise finden Sie<\/a><\/noindex> (Kubernetes<\/a><\/noindex>). Die Plattform entwickelt sich st\u00e4ndig weiter, sowohl in Bezug auf den Ausbau der Gesch\u00e4ftsfunktionalit\u00e4t (es werden neue Konnektoren, AutoML hinzugef\u00fcgt), als auch hinsichtlich der technologischen Effizienz. <\/p>\n

<\/p>\n

Eine der \u201eBesonderheiten\u201c unserer Plattform besteht darin, dass wir Code, der in einer visuellen Schnittstelle entwickelt wurde, auf jedem Ausf\u00fchrungssystem der Sberbank-Modelle ausf\u00fchren k\u00f6nnen. Derzeit gibt es bereits zwei: eines auf Hadoop, das andere auf OpenShift (Docker). Wir ruhen uns darauf nicht aus und entwickeln Integrationsmodule, um Code auf jeder Infrastruktur auszuf\u00fchren, einschlie\u00dflich On-Premise und in der Cloud. In Bezug auf die M\u00f6glichkeiten f\u00fcr eine effektive Integration in das \u00d6kosystem der Sberbank planen wir auch, die Arbeit mit bestehenden Ausf\u00fchrungsumgebungen zu unterst\u00fctzen. Perspektivisch kann die L\u00f6sung flexibel \u201eout of the box\u201c in jede Landschaft jeder Organisation integriert werden.<\/p>\n

<\/p>\n

Diejenigen, die jemals versucht haben, eine L\u00f6sung zu unterst\u00fctzen, die Python auf Hadoop in der Produktion ausf\u00fchrt, wissen, dass es nicht ausreicht, die Benutzerumgebung f\u00fcr Python auf jedem Datenknoten vorzubereiten und bereitzustellen. Eine gro\u00dfe Anzahl von C\/C++-Bibliotheken f\u00fcr maschinelles Lernen, die Python-Module nutzen, l\u00e4sst Ihnen keine Ruhe. Man darf nicht vergessen, die Pakete beim Hinzuf\u00fcgen neuer Bibliotheken oder Server zu aktualisieren, um die R\u00fcckw\u00e4rtskompatibilit\u00e4t mit bereits implementiertem Modellcode zu gew\u00e4hrleisten.<\/p>\n

<\/p>\n

Es gibt mehrere Ans\u00e4tze, um dies zu tun. Zum Beispiel kann man im Voraus mehrere h\u00e4ufig verwendete Bibliotheken vorbereiten und in die Produktion einf\u00fcgen. In der Hadoop-Distribution von Cloudera wird daf\u00fcr in der Regel verwendet parcel<\/a><\/noindex>. Auch in Hadoop gibt es jetzt die M\u00f6glichkeit, docker<\/a><\/noindex>-Container zu starten. In einigen einfachen F\u00e4llen kann man den Code zusammen mit dem Paket python.eggs<\/a><\/noindex>.<\/p>\n

<\/p>\n

Die Bank legt gro\u00dfen Wert auf die Sicherheit der Ausf\u00fchrung von fremdem Code, deshalb nutzen wir die neuen M\u00f6glichkeiten des Linux-Kerns, wo der in einer isolierten Umgebung gestartete Prozess Linux namespace<\/a><\/noindex>zum Beispiel im Hinblick auf den Zugriff auf das Netzwerk und die lokale Festplatte eingeschr\u00e4nkt werden kann, was die M\u00f6glichkeiten f\u00fcr sch\u00e4dlichen Code erheblich reduziert. Die Datenbereiche jeder Abteilung sind gesch\u00fctzt und nur f\u00fcr die Eigent\u00fcmer dieser Daten zug\u00e4nglich. Die Plattform garantiert, dass Daten aus einem Bereich nur durch einen Ver\u00f6ffentlichungsprozess mit Kontrolle in allen Phasen von der Zugriff auf die Datenquellen bis zum Platzieren der Daten in der Zielausstellung in einen anderen Bereich gelangen k\u00f6nnen.<\/p>\n

\n\"Sber.DS
\n<\/p>\n

In diesem Jahr planen wir, den MVP-Start von Modellen, die in Python\/R\/Java auf Hadoop geschrieben sind, abzuschlie\u00dfen. Wir haben uns das ehrgeizige Ziel gesetzt, jeden benutzerdefinierten Environment auf Hadoop zu starten, um unsere Plattformnutzern keine Einschr\u00e4nkungen zu auferlegen.<\/p>\n

<\/p>\n

Dar\u00fcber hinaus haben sich viele Data-Science-Spezialisten als sehr gut in Mathematik und Statistik erwiesen, sie erstellen gro\u00dfartige Modelle, sind jedoch nicht mit der Verarbeitung gro\u00dfer Datenmengen vertraut. Sie ben\u00f6tigen die Unterst\u00fctzung unserer Data Engineers zur Vorbereitung von Trainingsdatens\u00e4tzen. Wir haben beschlossen, unseren Kollegen zu helfen und benutzerfreundliche Module f\u00fcr die typische Transformation und Vorbereitung von Features f\u00fcr Modelle auf dem Spark-Framework zu erstellen. Dies wird es erm\u00f6glichen, mehr Zeit der Modellentwicklung zu widmen und nicht darauf zu warten, dass die Data Engineers einen neuen Datensatz vorbereiten.<\/p>\n

<\/p>\n

Bei uns arbeiten Menschen mit Kenntnissen in verschiedenen Bereichen: Linux und DevOps, Hadoop und Spark, Java und Spring, Scala und Akka, OpenShift und Kubernetes. Im n\u00e4chsten Mal werden wir \u00fcber die Modellbibliothek berichten, dar\u00fcber, wie ein Modell im Unternehmen den Lebenszyklus durchl\u00e4uft, wie die Validierung und Implementierung erfolgt.<\/p>\n

Quelle: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0418\u0434\u0435\u0438 \u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0435\u0449\u0451 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043c\u043e\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0432 \u0431\u0438\u0437\u043d\u0435\u0441\u0435 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e. \u041d\u043e \u043f\u043e\u043c\u0438\u043c\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043c\u043e\u0436\u0435\u0442 \u0443\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0430 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0442\u044c \u0435\u0433\u043e \u043d\u0430 \u0435\u0451 \u043e\u0446\u0435\u043d\u043a\u0443 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c. \u041f\u043e\u0441\u043b\u0435 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f \u043b\u044e\u0431\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0430 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u0438 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c. \u0418 \u044d\u0442\u043e […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":70863,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-70862","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Sber.DS \u2014 eine Plattform, die das Erstellen und Implementieren von Modellen auch ohne Programmierkenntnisse erm\u00f6glicht | ProHoster","description":"T\u00e4gliche Ideen und Treffen dar\u00fcber, welche Prozesse noch automatisiert werden k\u00f6nnen, entstehen in Unternehmen unterschiedlicher Gr\u00f6\u00dfenordnung.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Sber.DS \u2014 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0438 \u0432\u043d\u0435\u0434\u0440\u044f\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0430\u0436\u0435 \u0431\u0435\u0437 \u043a\u043e\u0434\u0430 | ProHoster","og:description":"\u0418\u0434\u0435\u0438 \u0438 \u0432\u0441\u0442\u0440\u0435\u0447\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0435\u0449\u0451 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043c\u043e\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0432 \u0431\u0438\u0437\u043d\u0435\u0441\u0435 \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e.","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/sber-ds-platforma-kotoraya-pozvolyaet-sozdavat-i-vnedryat-modeli-dazhe-bez-koda","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-02-22T03:40:55+00:00","article:modified_time":"2020-03-03T13:14:35+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"70862","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:12:23","updated":"2022-09-28 08:13:26","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/70862","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=70862"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/70862\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/70863"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=70862"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=70862"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=70862"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}