Awọn imọran ati awọn ipade nipa kini awọn ilana miiran le ṣe adaṣe ni awọn iṣowo ti awọn titobi lọpọlọpọ lojoojumọ. Ṣugbọn ni afikun si otitọ pe ọpọlọpọ akoko le ṣee lo lori ṣiṣẹda awoṣe, o nilo lati lo lori iṣiro rẹ ati ṣayẹwo pe abajade ti o gba kii ṣe laileto. Lẹhin imuse, eyikeyi awoṣe gbọdọ wa ni abojuto ati ṣayẹwo lorekore.
Ati pe awọn wọnyi ni gbogbo awọn ipele ti o nilo lati pari ni eyikeyi ile-iṣẹ, laibikita iwọn rẹ. Ti a ba n sọrọ nipa iwọn ati ohun-ini ti Sberbank, nọmba ti iṣatunṣe itanran pọ si ni pataki. Ni opin ọdun 2019, Sber ti lo diẹ sii ju awọn awoṣe 2000 lọ. Ko to lati ṣe agbekalẹ awoṣe nirọrun; o jẹ dandan lati ṣepọ pẹlu awọn eto ile-iṣẹ, dagbasoke awọn ọja data fun awọn awoṣe kikọ, ati rii daju iṣakoso iṣẹ rẹ lori iṣupọ.
Ẹgbẹ wa n ṣe idagbasoke Syeed Sber.DS. O gba ọ laaye lati yanju awọn iṣoro ikẹkọ ẹrọ, ṣe iyara ilana ti awọn idawọle idanwo, ni ipilẹ simplifies ilana ti idagbasoke ati afọwọsi awọn awoṣe, ati tun ṣakoso abajade ti awoṣe ni PROM.
Ni ibere ki o má ba tan awọn ireti rẹ jẹ, Mo fẹ lati sọ tẹlẹ pe ifiweranṣẹ yii jẹ ifarahan, ati labẹ gige, fun awọn ibẹrẹ, a sọrọ nipa kini, ni opo, ti o wa labẹ hood ti Syeed Sber.DS. A yoo sọ itan naa nipa igbesi aye igbesi aye ti awoṣe lati ẹda si imuse lọtọ.
Sber.DS ni awọn paati pupọ, awọn bọtini ni ile-ikawe, eto idagbasoke ati eto ipaniyan awoṣe.
Ile-ikawe naa n ṣakoso igbesi aye igbesi aye ti awoṣe lati akoko ti imọran lati dagbasoke yoo han titi imuse rẹ ni PROM, ibojuwo ati imukuro. Ọpọlọpọ awọn agbara ile-ikawe ni a ti paṣẹ nipasẹ awọn ofin olutọsọna, fun apẹẹrẹ, ijabọ ati ibi ipamọ ti ikẹkọ ati awọn ayẹwo afọwọsi. Ni otitọ, eyi jẹ iforukọsilẹ ti gbogbo awọn awoṣe wa.
Eto eto idagbasoke jẹ apẹrẹ fun idagbasoke wiwo ti awọn awoṣe ati awọn imuposi afọwọsi. Awọn awoṣe ti o ni idagbasoke gba ifọwọsi akọkọ ati pe wọn pese si eto ipaniyan lati ṣe awọn iṣẹ iṣowo wọn. Paapaa, ninu eto asiko asiko, awoṣe naa le gbe sori ẹrọ atẹle fun idi ti ifilọlẹ awọn ilana afọwọsi lorekore lati ṣe atẹle iṣẹ rẹ.
Awọn oriṣi awọn apa oriṣiriṣi wa ninu eto naa. Diẹ ninu jẹ apẹrẹ lati sopọ si ọpọlọpọ awọn orisun data, awọn miiran jẹ apẹrẹ lati yi data orisun pada ati jẹ ki o pọ si (isamisi). Nibẹ ni o wa ọpọlọpọ awọn apa fun a Kọ o yatọ si dede ati apa fun a validating wọn. Olùgbéejáde le kojọpọ data lati orisun eyikeyi, yipada, ṣe àlẹmọ, wo data agbedemeji, ki o fọ si awọn apakan.
Syeed naa tun ni awọn modulu ti a ti ṣetan ti o le fa ati ju silẹ si agbegbe apẹrẹ. Gbogbo awọn iṣe ni a ṣe nipa lilo wiwo wiwo. Ni otitọ, o le yanju iṣoro naa laisi laini koodu kan.
Ti awọn agbara ti a ṣe sinu ko to, eto naa pese agbara lati ṣẹda awọn modulu tirẹ ni kiakia. A ṣe ohun ese idagbasoke mode da lori fun awon ti o ṣẹda titun modulu lati ibere.
Awọn faaji ti Sber.DS ti wa ni itumọ ti lori microservices. Nibẹ ni o wa ọpọlọpọ awọn ero nipa ohun ti microservices. Diẹ ninu awọn eniyan ro pe o to lati pin koodu monolithic si awọn apakan, ṣugbọn ni akoko kanna wọn tun lọ si ibi ipamọ data kanna. Microservice wa gbọdọ ṣe ibasọrọ pẹlu iṣẹ microservice miiran nikan nipasẹ REST API. Ko si awọn ọna iṣẹ lati wọle si ibi ipamọ data taara.
A gbiyanju lati rii daju pe awọn iṣẹ ko tobi pupọ ati ki o ṣoki: apẹẹrẹ kan ko yẹ ki o jẹ diẹ ẹ sii ju 4-8 gigabytes ti Ramu ati pe o gbọdọ pese agbara lati ṣe iwọn awọn ibeere petele nipasẹ ifilọlẹ awọn iṣẹlẹ tuntun. Iṣẹ kọọkan n ba awọn omiiran sọrọ nikan nipasẹ REST API (). Ẹgbẹ ti o ni iduro fun iṣẹ naa ni a nilo lati tọju API sẹhin ni ibamu titi alabara ti o kẹhin ti o lo.
Pataki ti ohun elo naa ni kikọ ni Java nipa lilo Ilana orisun omi. Ojutu naa ni akọkọ ti a ṣe apẹrẹ fun imuṣiṣẹ ni iyara ni awọn amayederun awọsanma, nitorinaa ohun elo naa ni a kọ nipa lilo eto imudani (). Syeed ti wa ni idagbasoke nigbagbogbo, mejeeji ni awọn ofin ti jijẹ iṣẹ ṣiṣe iṣowo (awọn asopọ tuntun, AutoML ti wa ni afikun) ati ni awọn ọna ṣiṣe ti imọ-ẹrọ.
Ọkan ninu awọn ẹya ara ẹrọ ti Syeed wa ni pe a le ṣiṣe koodu ni idagbasoke ni wiwo wiwo lori eyikeyi eto ipaniyan awoṣe Sberbank. Bayi meji ti wa tẹlẹ: ọkan lori Hadoop, ekeji lori OpenShift (Docker). A ko da duro nibẹ ati ṣẹda awọn modulu iṣọpọ lati ṣiṣẹ koodu lori eyikeyi amayederun, pẹlu lori-ile ati ninu awọsanma. Nipa awọn iṣeeṣe ti isọpọ ti o munadoko sinu ilolupo eda abemi Sberbank, a tun gbero lati ṣe atilẹyin iṣẹ pẹlu awọn agbegbe ipaniyan ti o wa. Ni ọjọ iwaju, ojutu naa le ṣepọ ni irọrun “lati inu apoti” sinu eyikeyi ala-ilẹ ti eyikeyi agbari.
Awọn ti o ti gbiyanju lati ṣe atilẹyin ojutu kan ti o nṣiṣẹ Python lori Hadoop ni PROM mọ pe ko to lati mura ati fi agbegbe olumulo Python kan si datanode kọọkan. Nọmba nla ti awọn ile-ikawe C / C ++ fun ikẹkọ ẹrọ ti o lo awọn modulu Python kii yoo gba ọ laaye lati sinmi ni irọrun. A gbọdọ ranti lati ṣe imudojuiwọn awọn idii nigba fifi awọn ile-ikawe titun tabi awọn olupin kun, lakoko ti o n ṣetọju ibamu sẹhin pẹlu koodu awoṣe ti a ti ṣe tẹlẹ.
Awọn ọna pupọ lo wa si bii o ṣe le ṣe eyi. Fun apẹẹrẹ, mura ọpọlọpọ awọn ile-ikawe nigbagbogbo ti a lo ni ilosiwaju ati ṣe wọn ni PROM. Ni Cloudera's Hadoop pinpin, wọn maa n lo . Tun bayi ni Hadoop o jẹ ṣee ṣe lati ṣiṣe -awọn apoti. Ni diẹ ninu awọn igba ti o rọrun o ṣee ṣe lati fi koodu ranṣẹ pẹlu package .
Ile-ifowopamọ gba aabo ti ṣiṣiṣẹ koodu ẹni-kẹta ni pataki, nitorinaa a ṣe pupọ julọ awọn ẹya tuntun ti ekuro Linux, nibiti ilana kan ti n ṣiṣẹ ni agbegbe ti o ya sọtọ. , o le se idinwo, fun apẹẹrẹ, wiwọle si nẹtiwọki ati agbegbe disk, eyi ti significantly din awọn agbara ti irira koodu. Awọn agbegbe data ti ẹka kọọkan jẹ aabo ati wiwọle si awọn oniwun data yii nikan. Syeed ṣe idaniloju pe data lati agbegbe kan le de agbegbe miiran nikan nipasẹ ilana titẹjade data pẹlu iṣakoso ni gbogbo awọn ipele lati iraye si awọn orisun si ibalẹ data ni ibi-itaja ibi-itaja ibi-afẹde.
Ni ọdun yii a gbero lati pari MVP ti awọn awoṣe ifilọlẹ ti a kọ sinu Python/R/Java lori Hadoop. A ti ṣeto ara wa ni iṣẹ-ṣiṣe ifẹ agbara ti kikọ ẹkọ bi a ṣe le ṣiṣe eyikeyi agbegbe aṣa lori Hadoop, ki a ma ṣe fi opin si awọn olumulo ti pẹpẹ wa ni ọna eyikeyi.
Ni afikun, bi o ti wa ni jade, ọpọlọpọ awọn alamọja DS dara julọ ni mathimatiki ati awọn iṣiro, ṣe awọn awoṣe tutu, ṣugbọn wọn ko ni oye daradara ni awọn iyipada data nla, ati pe wọn nilo iranlọwọ ti awọn onimọ-ẹrọ data wa lati mura awọn ayẹwo ikẹkọ. A pinnu lati ṣe iranlọwọ fun awọn ẹlẹgbẹ wa ati ṣẹda awọn modulu irọrun fun iyipada boṣewa ati igbaradi awọn ẹya fun awọn awoṣe lori ẹrọ Spark. Eyi yoo gba ọ laaye lati lo akoko diẹ sii ni idagbasoke awọn awoṣe ati ki o ma duro fun awọn ẹlẹrọ data lati mura ipilẹ data tuntun kan.
A gba awọn eniyan pẹlu imọ ni awọn agbegbe oriṣiriṣi: Lainos ati DevOps, Hadoop ati Spark, Java ati Orisun omi, Scala ati Akka, OpenShift ati Kubernetes. Nigbamii ti a yoo sọrọ nipa ile-ikawe awoṣe, bawo ni awoṣe ṣe lọ nipasẹ ọna igbesi aye laarin ile-iṣẹ naa, bawo ni afọwọsi ati imuse ṣe waye.
orisun: www.habr.com