Сбер.ДС је платформа која вам омогућава да креирате и имплементирате моделе чак и без кода

Идеје и састанци о томе који други процеси се могу аутоматизовати свакодневно се јављају у предузећима различитих величина. Али поред чињенице да се много времена може потрошити на креирање модела, потребно је да га потрошите на процену и проверу да добијени резултат није случајан. Након имплементације, сваки модел се мора пратити и периодично проверавати.

И то су све фазе које треба да се заврши у било којој компанији, без обзира на њену величину. Ако говоримо о размерама и наслеђу Сбербанке, број финог подешавања се значајно повећава. До краја 2019. Сбер је већ користио више од 2000 модела. Није довољно једноставно развити модел, потребно је интегрисати се са индустријским системима, развити дата мартс за изградњу модела и обезбедити контролу његовог рада на кластеру.

Наш тим развија платформу Сбер.ДС. Омогућава вам да решавате проблеме машинског учења, убрзава процес тестирања хипотеза, у принципу поједностављује процес развоја и валидације модела, а такође контролише резултат модела у ПРОМ-у.

Да не бих обмањивао ваша очекивања, желим унапред да кажем да је овај пост уводни, а испод реза, за почетак, говоримо о томе шта се, у принципу, налази испод платформе Сбер.ДС. Посебно ћемо испричати причу о животном циклусу модела од креирања до имплементације.

Сбер.ДС се састоји од неколико компоненти, од којих су кључне библиотека, развојни систем и систем за извршавање модела.

Библиотека контролише животни циклус модела од тренутка када се појави идеја да се он развије до његове имплементације у ПРОМ, праћења и декомисије. Многе могућности библиотеке диктирају регулаторна правила, на пример, извештавање и чување узорака обуке и валидације. У ствари, ово је регистар свих наших модела.

Развојни систем је дизајниран за визуелни развој модела и техника валидације. Развијени модели пролазе иницијалну валидацију и достављају се извршном систему ради обављања својих пословних функција. Такође, у рунтиме систему, модел се може поставити на монитор у сврху периодичног покретања техника валидације за праћење његовог рада.

У систему постоји неколико типова чворова. Неки су дизајнирани да се повежу са различитим изворима података, други су дизајнирани да трансформишу изворне податке и обогате их (маркирање). Постоји много чворова за прављење различитих модела и чворова за њихову валидацију. Програмер може учитати податке из било ког извора, трансформисати, филтрирати, визуализовати међуподатке и разбити их на делове.

Платформа такође садржи готове модуле који се могу превући и спустити у област дизајна. Све радње се изводе помоћу визуелизованог интерфејса. У ствари, можете решити проблем без иједног реда кода.

Ако уграђене могућности нису довољне, систем пружа могућност брзог креирања сопствених модула. Направили смо интегрисани начин развоја заснован на Јупитер Кернел Гатеваи за оне који креирају нове модуле од нуле.

Архитектура Сбер.ДС-а је изграђена на микросервисима. Постоји много мишљења о томе шта су микросервисе. Неки људи мисле да је довољно да се монолитни код подели на делове, али у исто време и даље иду у исту базу података. Наш микросервис мора да комуницира са другом микросервисом само преко РЕСТ АПИ-ја. Нема решења за директан приступ бази података.

Трудимо се да услуге не постану веома велике и неспретне: једна инстанца не би требало да троши више од 4-8 гигабајта РАМ-а и мора да обезбеди могућност хоризонталног скалирања захтева покретањем нових инстанци. Свака услуга комуницира са другима само преко РЕСТ АПИ-ја (Отвори АПИ). Од тима одговорног за услугу се тражи да задржи АПИ компатибилан уназад до последњег клијента који га користи.

Језгро апликације је написано у Јави користећи Спринг Фрамеворк. Решење је првобитно било дизајнирано за брзу примену у инфраструктури облака, тако да је апликација направљена коришћењем система контејнеризације Ред Хат ОпенСхифт (Кубернетес). Платформа се стално развија, како у смислу повећања пословне функционалности (додају се нови конектори, АутоМЛ) тако и у погледу технолошке ефикасности.

Једна од карактеристика наше платформе је да можемо покренути код развијен у визуелном интерфејсу на било ком систему за извршавање модела Сбербанк. Сада их већ постоје два: један на Хадооп-у, други на ОпенСхифт (Доцкер). Не заустављамо се ту и креирамо интеграцијске модуле за покретање кода на било којој инфраструктури, укључујући локалну и у облаку. Што се тиче могућности ефективне интеграције у екосистем Сбербанке, такође планирамо да подржимо рад са постојећим окружењима за извршавање. У будућности, решење се може флексибилно интегрисати „из кутије“ у било који пејзаж било које организације.

Они који су икада покушали да подрже решење које покреће Питхон на Хадооп-у у ПРОМ-у знају да није довољно припремити и испоручити Питхон корисничко окружење сваком датаноду. Огроман број Ц/Ц++ библиотека за машинско учење које користе Питхон модуле неће вам омогућити да се опустите. Морамо запамтити да ажурирамо пакете када додајемо нове библиотеке или сервере, уз одржавање компатибилности уназад са већ имплементираним кодом модела.

Постоји неколико приступа како то учинити. На пример, припремите унапред неколико често коришћених библиотека и имплементирајте их у ПРОМ. У Цлоудериној Хадооп дистрибуцији обично користе парцела. Такође је сада у Хадооп-у могуће покренути доцкер-контејнери. У неким једноставним случајевима могуће је испоручити код заједно са пакетом питхон.еггс.

Банка веома озбиљно схвата безбедност покретања кода треће стране, тако да максимално користимо нове карактеристике Линук кернела, где се процес одвија у изолованом окружењу Линук именски простор, можете ограничити, на пример, приступ мрежи и локалном диску, што значајно смањује могућности злонамерног кода. Подручја података сваког одељења су заштићена и доступна само власницима ових података. Платформа осигурава да подаци из једне области могу доћи до друге области само кроз процес објављивања података са контролом у свим фазама од приступа изворима до слетања података у циљни излог.

Ове године планирамо да завршимо МВП покретања модела написаних у Питхон/Р/Јава на Хадооп-у. Поставили смо себи амбициозан задатак да научимо како да покренемо било које прилагођено окружење на Хадооп-у, како не бисмо на било који начин ограничавали кориснике наше платформе.

Поред тога, како се испоставило, многи ДС стручњаци су одлични у математици и статистици, праве цоол моделе, али нису баш добро упућени у трансформације великих података и потребна им је помоћ наших инжењера података да припреме узорке за обуку. Одлучили смо да помогнемо нашим колегама и креирамо згодне модуле за стандардну трансформацију и припрему карактеристика за моделе на Спарк мотору. Ово ће вам омогућити да проведете више времена у развоју модела и да не чекате да инжењери података припреме нови скуп података.

Запошљавамо људе са знањем из различитих области: Линук и ДевОпс, Хадооп и Спарк, Јава и Спринг, Сцала и Акка, ОпенСхифт и Кубернетес. Следећи пут ћемо причати о библиотеци модела, како модел пролази кроз животни циклус унутар компаније, како се валидација и имплементација дешавају.

Извор: ввв.хабр.цом