Ҳар рӯз ғояҳо ва вохӯриҳо дар бораи он, ки кадом равандҳои дигарро автоматӣ кардан мумкин аст, дар корхонаҳои андозаҳои гуногун ба миён меоянд. Аммо илова бар он, ки вақти зиёдеро барои сохтани модел сарф кардан мумкин аст, шумо бояд онро барои баҳодиҳии он ва тафтиш кардани он, ки натиҷаи ба даст овардашуда тасодуфӣ нест, сарф кунед. Пас аз татбиқ, ҳама гуна модел бояд назорат ва давра ба давра тафтиш карда шавад.
Ва ин ҳама марҳилаҳое мебошанд, ки бояд дар ҳама гуна ширкат, новобаста аз андозаи он, анҷом дода шаванд. Агар мо дар бораи миқёс ва мероси Сбербанк сухан ронем, шумораи танзимот ба таври назаррас меафзояд. То охири соли 2019, Сбер аллакай зиёда аз 2000 моделро истифода бурд. Фақат як моделро таҳия кардан кифоя нест, бо системаҳои саноатӣ ҳамгироӣ кардан, барои сохтани моделҳои маълумотҳо таҳия кардан ва назорати кори онро дар кластер таъмин кардан лозим аст.
Дастаи мо платформаи Sber.DS-ро таҳия мекунад. Он ба шумо имкон медиҳад, ки мушкилоти омӯзиши мошинро ҳал кунед, раванди санҷиши гипотезаҳоро суръат бахшед, аслан раванди таҳия ва тасдиқи моделҳоро содда мекунад ва инчунин натиҷаи моделро дар PROM назорат мекунад.
Барои он ки интизориҳои шуморо фиреб надиҳед, ман мехоҳам пешакӣ бигӯям, ки ин паём як муқаддима аст ва дар зери набуред, барои шурӯъкунандагон мо дар бораи он чизе ки, аслан, дар зери сарпӯши платформаи Sber.DS аст, сӯҳбат мекунем. Мо ҳикояро дар бораи давраи зиндагии модел аз офариниш то татбиқи алоҳида нақл хоҳем кард.
Sber.DS аз якчанд ҷузъҳо иборат аст, ки муҳимтаринҳо китобхона, системаи таҳия ва системаи иҷрои модел мебошанд.
Китобхона давраи зиндагии моделро аз лаҳзаи пайдо шудани идеяи таҳияи он то татбиқи он дар PROM, мониторинг ва аз кор баровардан назорат мекунад. Бисёр имкониятҳои китобхонаро қоидаҳои танзимкунанда муқаррар мекунанд, масалан, гузоришдиҳӣ ва нигоҳдории намунаҳои омӯзиш ва тасдиқ. Дар асл, ин феҳристи ҳамаи моделҳои мост.
Системаи таҳия барои таҳияи визуалии моделҳо ва усулҳои тасдиқкунӣ пешбинӣ шудааст. Моделҳои таҳияшуда аз санҷиши ибтидоӣ мегузаранд ва барои иҷрои вазифаҳои тиҷории худ ба системаи иҷроиш дода мешаванд. Инчунин, дар системаи вақти корӣ, моделро метавон дар монитор бо мақсади ба таври даврӣ оғоз кардани усулҳои тасдиқкунӣ барои назорати кори он ҷойгир кард.
Дар система якчанд намуди гиреҳҳо мавҷуданд. Баъзеҳо барои пайвастшавӣ ба манбаъҳои гуногуни додаҳо тарҳрезӣ шудаанд, дигарон барои табдил додани додаҳои манбаъ ва ғанӣ гардонидани он (марказкунӣ) тарҳрезӣ шудаанд. Гиреҳҳои зиёде барои сохтани моделҳои гуногун ва гиреҳҳо барои тасдиқи онҳо мавҷуданд. Таҳиягар метавонад маълумотро аз ҳама гуна манбаъ бор кунад, табдил диҳад, филтр кунад, маълумоти фосилавиро визуалӣ кунад ва ба қисмҳо тақсим кунад.
Платформа инчунин модулҳои тайёрро дар бар мегирад, ки онҳоро ба майдони тарҳ кашидан ва партофтан мумкин аст. Ҳама амалҳо бо истифода аз интерфейси визуалӣ иҷро карда мешаванд. Дар асл, шумо метавонед бе як сатри код мушкилотро ҳал кунед.
Агар имкониятҳои дарунсохт кофӣ набошанд, система имкон медиҳад, ки модулҳои худро зуд эҷод кунед. Мо як ҳолати ҳамгирошудаи рушдро дар асоси барои онҳое, ки модулҳои навро аз сифр эҷод мекунанд.
Меъмории Sber.DS дар микросервисҳо сохта шудааст. Дар бораи чӣ будани микросервисҳо андешаҳои зиёде мавҷуданд. Баъзе одамон чунин мешуморанд, ки коди монолитиро ба қисмҳо тақсим кардан кифоя аст, аммо дар айни замон онҳо ба ҳамон база мераванд. Микросервиси мо бояд бо хидматрасонии дигар танҳо тавассути REST API муошират кунад. Барои дастрасӣ ба пойгоҳи додаҳо ҳеҷ гуна роҳи ҳал нест.
Мо мекӯшем, ки хидматҳо хеле калон ва бесамар нашаванд: як нусха набояд аз 4-8 гигабайт RAM зиёд истеъмол кунад ва бояд қобилияти миқёси уфуқии дархостҳоро тавассути оғоз кардани нусхаҳои нав таъмин кунад. Ҳар як хидмат бо дигарон танҳо тавассути REST API (). Гурӯҳе, ки барои хидмат масъул аст, талаб карда мешавад, ки API-ро то муштарии охирине, ки онро истифода мебарад, ба ақиб нигоҳ дорад.
Асоси барнома дар Java бо истифода аз Framework Spring навишта шудааст. Ҳалли аввал барои густариши босуръат дар инфрасохтори абрӣ тарҳрезӣ шуда буд, бинобар ин барнома бо истифода аз системаи контейнерсозӣ сохта шудааст. (). Платформа ҳам аз ҷиҳати афзоиши функсияҳои тиҷоратӣ (пайвасткунакҳои нав, AutoML илова карда мешаванд) ва ҳам аз ҷиҳати самаранокии технологӣ доимо такмил меёбад.
Яке аз хусусиятҳои платформаи мо дар он аст, ки мо метавонем коди дар интерфейси визуалӣ таҳияшударо дар ҳама гуна системаи иҷрои модели Сбербанк иҷро кунем. Ҳоло дутои онҳо вуҷуд доранд: яке дар Hadoop, дигаре дар OpenShift (Docker). Мо дар ин ҷо таваққуф намекунем ва модулҳои ҳамгироиро барои иҷро кардани код дар ҳама гуна инфрасохтор, аз ҷумла дар дохили бино ва абр эҷод мекунем. Дар робита ба имкониятҳои ҳамгироии муассир ба экосистемаи Сбербанк, мо инчунин нақша дорем, ки корро бо муҳити мавҷудаи иҷро дастгирӣ кунем. Дар оянда, ҳалли онро метавон "аз қуттӣ" ба ҳама манзараи ҳар як созмон чандир ворид кард.
Онҳое, ки ягон бор кӯшиш карда буданд, ки ҳалли Python-ро дар Hadoop дар PROM-ро дастгирӣ кунанд, медонанд, ки омода кардан ва расонидани муҳити корбари Python ба ҳар як додаҳо кофӣ нест. Шумораи зиёди китобхонаҳои C/C++ барои омӯзиши мошинсозӣ, ки модулҳои Python-ро истифода мебаранд, ба шумо имкон намедиҳад, ки ором шавед. Мо бояд дар хотир дорем, ки ҳангоми илова кардани китобхонаҳо ё серверҳои нав бастаҳоро навсозӣ кунем ва ҳамзамон мутобиқати ақиб бо коди модели аллакай амалӣшударо нигоҳ дорем.
Якчанд равишҳо барои ин кор вуҷуд доранд. Масалан, якчанд китобхонаҳои зуд-зуд истифодашавандаро пешакӣ омода кунед ва онҳоро дар PROM татбиқ кунед. Дар тақсимоти Hadoop Cloudera, онҳо одатан истифода мебаранд . Инчунин ҳоло дар Hadoop кор кардан мумкин аст - контейнерҳо. Дар баъзе ҳолатҳои оддӣ мумкин аст, ки кодро дар якҷоягӣ бо баста интиқол диҳед .
Бонк ба амнияти иҷро кардани рамзи тарафи сеюм ҷиддӣ муносибат мекунад, аз ин рӯ мо аз хусусиятҳои нави ядрои Linux, ки дар он раванд дар муҳити ҷудогона кор мекунад, бештар истифода мебарем. , шумо метавонед, масалан, дастрасӣ ба шабака ва диски локалиро маҳдуд кунед, ки ин имкониятҳои коди зарароварро ба таври назаррас коҳиш медиҳад. Майдонҳои маълумоти ҳар як шӯъба ҳифз карда мешаванд ва танҳо ба соҳибони ин маълумот дастрасанд. Платформа кафолат медиҳад, ки маълумот аз як минтақа метавонад ба минтақаи дигар танҳо тавассути раванди интишори маълумот бо назорат дар ҳама марҳилаҳо аз дастрасӣ ба манбаъҳо то фуруд овардани маълумот дар дӯкони мақсаднок дастрас шавад.
Имсол мо нақша дорем, ки MVP-и оғоз кардани моделҳои дар Python/R/Java дар Hadoop навишташударо ба анҷом расонем. Мо дар назди худ вазифаи шӯҳратпараст гузоштаем, ки чӣ гуна идора кардани ҳама гуна муҳити фармоиширо дар Hadoop омӯзем, то корбарони платформаи моро ба ҳеҷ ваҷҳ маҳдуд накунем.
Илова бар ин, тавре маълум шуд, бисёре аз мутахассисони DS дар математика ва омор аъло ҳастанд, моделҳои олӣ месозанд, аммо дар табдилдиҳии додаҳои калон чандон хуб намедонанд ва онҳо барои омода кардани намунаҳои таълим ба кӯмаки муҳандисони маълумоти мо ниёз доранд. Мо тасмим гирифтем, ки ба ҳамкасбони худ кӯмак расонем ва модулҳои мувофиқро барои табдили стандартӣ ва омода кардани хусусиятҳо барои моделҳо дар муҳаррики Spark эҷод кунем. Ин ба шумо имкон медиҳад, ки вақти бештарро барои таҳияи моделҳо сарф кунед ва интизор нашавед, ки муҳандисони додаҳо маҷмӯи нави маълумотро омода кунанд.
Мо одамони дорои донишро дар соҳаҳои гуногун кор мекунем: Linux ва DevOps, Hadoop ва Spark, Java ва Spring, Scala ва Akka, OpenShift ва Kubernetes. Дафъаи дигар мо дар бораи китобхонаи намунавӣ сӯҳбат хоҳем кард, ки модел чӣ гуна давраи ҳаётро дар дохили ширкат мегузарад, тасдиқ ва татбиқ чӣ гуна сурат мегирад.
Манбаъ: will.com