Fikrado iyo shirar ku saabsan hababka kale ee si toos ah loo samayn karo ayaa ka soo baxa ganacsiyo kala duwan maalin kasta. Laakiin marka lagu daro xaqiiqda ah in waqti badan lagu bixin karo abuurista nooc, waxaad u baahan tahay inaad ku bixiso qiimeynteeda iyo hubinta in natiijada la helay aysan ahayn rankh. Dhaqangelinta ka dib, nooc kasta waa in la kormeero oo la hubiyaa xilliyada qaarkood.
Oo kuwani waa dhammaan marxaladaha loo baahan yahay in lagu dhammeeyo shirkad kasta, iyada oo aan loo eegin cabbirkeeda. Haddii aan ka hadlayno miisaanka iyo dhaxalka ee Sberbank, tirada hagaajinta hagaajinta ayaa si weyn u kordheysa. Dhamaadka 2019, Sber waxay horey u isticmaashay in ka badan 2000 nooc. Kuma filna in si fudud loo horumariyo moodal; waxaa lagama maarmaan ah in lagu dhex daro nidaamyada warshadaha, la horumariyo mashiinnada xogta si loo dhiso moodooyinka, iyo in la hubiyo xakamaynta hawlgalkeeda kutlada.
Kooxdayadu waxay horumarinayaan madal Sber.DS ah. Waxay kuu ogolaaneysaa inaad xalliso dhibaatooyinka barashada mashiinka, waxay dedejisaa habka tijaabinta mala-awaalka, mabda'a waxay fududeysaa habka horumarinta iyo xaqiijinta moodooyinka, iyo sidoo kale waxay xakameysaa natiijada qaabka PROM.
Si aan u khiyaanayn filashooyinkaaga, waxaan rabaa in aan horay u sheego in boostadani ay tahay mid hordhac ah, iyo hoos u dhigista, bilawga, waxaan ka hadalnaa waxa, mabda'a, hoos yimaada daboolka Sber.DS platform. Waxaan ka sheekayn doonaa sheekada ku saabsan meertada nolosha ee tusaalaha laga bilaabo abuurista ilaa fulinta si gooni ah.
Sber.DS waxay ka kooban tahay dhawr qaybood, kuwa ugu muhiimsan waa maktabadda, nidaamka horumarinta iyo nidaamka fulinta model.
Maktabadu waxay xakameysaa wareegga nolosha ee moodeelka laga bilaabo xilliga fikradda lagu horumarinayo waxay u muuqataa ilaa laga hirgeliyo PROM, kormeerka iyo joojinta. Awoodo badan oo maktabado ah ayaa lagu maamulaa xeerar, tusaale ahaan, ka warbixinta iyo kaydinta muunadaha tababarka iyo ansixinta. Dhab ahaantii, tani waa diiwaanka dhammaan noocyadayada.
Nidaamka horumarinta waxaa loogu talagalay horumarinta muuqaalka moodooyinka iyo farsamooyinka ansixinta. Moodooyinka la sameeyay waxay maraan ansaxinta bilowga ah waxaana la siiyaa nidaamka fulinta si ay u gutaan shaqadooda ganacsi. Sidoo kale, nidaamka runtime, moodeelka waxaa lagu dhejin karaa kormeeraha ujeeddada xilliyada qaarkood loo bilaabay farsamooyinka xaqiijinta si loola socdo hawl-galkiisa.
Waxaa jira dhowr nooc oo nood ah oo ku jira nidaamka. Qaar waxaa loo qaabeeyey inay ku xidhmaan ilo xogeedyo kala duwan, kuwo kalena waxa loo qaabeeyey inay beddelaan xogta isha oo ay tayeeyaan (calaamadeynta). Waxa jira noodhyo badan oo lagu dhisayo noocyo kala duwan iyo noodo si loo ansixiyo. Horumariyuhu wuxuu ka shuban karaa xogta il kasta, beddelo, shaandheeyo, sawiro xogta dhexe, oo u kala jebiyo qaybo.
Madalku waxa kale oo ka kooban qaybo diyaarsan oo la jiidi karo oo lagu ridi karo aagga naqshadaynta. Dhammaan ficillada waxaa lagu fuliyaa iyadoo la isticmaalayo interface muuqaal ah. Dhab ahaantii, waxaad xallin kartaa dhibaatada adigoon haysan hal xariiq oo kood ah.
Haddii awoodaha la dhisay aysan ku filneyn, nidaamku wuxuu bixiyaa awoodda si dhakhso ah u abuurto cutubyadaada. Waxaanu samaynay hab horumarineed oo isku dhafan oo ku salaysan kuwa abuura modules cusub meel eber ah.
Nashqadaynta Sber.DS waxay ku dhisan tahay adeegaha yaryar. Waxaa jira fikrado badan oo ku saabsan waxa ay yihiin adeegaha yar yar. Dadka qaarkiis waxay u maleynayaan in ay ku filan tahay in loo kala qaybiyo koodhka monolithic qaybo, laakiin isla mar ahaantaana waxay weli tagaan isla xogta. Adeegeena yar waa in uu kula xidhiidhaa adeeg yar oo kale iyada oo loo sii marayo REST API. Ma jirto wax ka qaban kara si toos ah xogta xogta loo galo
Waxaan isku dayeynaa inaan hubinno in adeegyadu aysan noqon kuwo aad u weyn oo qallafsan: hal tusaale waa inuusan cunin wax ka badan 4-8 gigabytes oo RAM ah waana inuu bixiyaa awoodda si siman loo cabbiro codsiyada iyadoo la bilaabayo xaalado cusub. Adeeg kastaa wuxuu kula xidhiidhaa kuwa kale kaliya REST API (). Kooxda mas'uulka ka ah adeegga waxaa looga baahan yahay inay API-ga dib ugu celiyaan mid la jaan qaadi kara ilaa macmiilka ugu dambeeya ee isticmaala.
Ubucda arjiga waxa lagu qoraa Java iyadoo la isticmaalayo Hab-dhismeedka Guga. Xalka waxaa markii hore loogu talagalay in si degdeg ah loo geeyo kaabayaasha daruuriga ah, sidaas darteed codsiga waxaa la dhisay iyadoo la adeegsanayo nidaamka weelka (). Madalku si joogto ah ayuu u kobcayaa, labadaba marka la eego kordhinta shaqeynta ganacsiga (xidhiidhiyayaasha cusub, AutoML ayaa lagu daray) iyo marka la eego waxtarka farsamada.
Mid ka mid ah sifooyinka madalkeena ayaa ah in aan ku socodsiin karno koodka lagu sameeyay interface muuqaal ah oo ku saabsan nidaamka fulinta model Sberbank. Hadda waxaa jiray laba ka mid ah: mid Hadoop, ka kalena OpenShift (Docker). Kuma joogsaneyno halkaas oo aan abuurno qaybo isdhexgalka si aan u socodsiino koodka kaabayaal kasta, oo ay ku jiraan dhismaha iyo daruuraha. Marka la eego suurtagalnimada isdhexgalka wax ku oolka ah ee nidaamka deegaanka ee Sberbank, waxaan sidoo kale qorsheyneynaa inaan taageerno shaqada deegaanka fulinta ee jira. Mustaqbalka, xalka ayaa si dabacsan loogu dhex dari karaa "ka baxsan sanduuqa" muuqaal kasta oo urur kasta.
Kuwa waligood isku dayay inay taageeraan xalka Python ku shaqeeya Hadoop ee PROM waxay og yihiin inaysan ku filnayn diyaarinta iyo gaarsiinta deegaanka isticmaale Python kasta datanode. Tirada badan ee maktabadaha C/C++ ee loogu talagalay barashada mashiinka ee adeegsada modules-yada Python kuma oggolaan doonaan inaad si fudud u nasato. Waa in aan xasuusannaa in aan cusboonaysiinno xirmooyinka marka aan ku darayno maktabado cusub ama adeegayaal, annagoo ilaalineyna ku-habboonaanta gadaal-u-eegidda koodka moodeelka ee horay loo hirgeliyay.
Waxaa jira dhowr habab oo sida tan loo sameeyo. Tusaale ahaan, horay u sii diyaari dhawr maktabadood oo inta badan la isticmaalo oo ku hirgeli PROM. Qaybinta Hadoop ee Cloudera, badanaa way isticmaalaan . Sidoo kale hadda Hadoop waa suurtagal in la ordo -koonteenarada. Xaaladaha fudud qaarkood waxaa suurtagal ah in la keeno koodka oo ay la socdaan xirmada .
Bangigu wuxuu si dhab ah u qaadaa amniga socodsiinta koodka qolo saddexaad, sidaa darteed waxaan ka faa'iidaysannaa sifada cusub ee kernel Linux, halkaas oo geeddi-socod ka socda deegaan go'doonsan. , waxaad xaddidi kartaa, tusaale ahaan, helitaanka shabakada iyo diskka deegaanka, taas oo si weyn u yaraynaysa awoodda code xaasidnimo. Meelaha xogta ee waax kasta waa la ilaaliyaa oo ay heli karaan oo keliya mulkiilayaasha xogtan. Madalku waxa uu xaqiijiyaa in xogta ka imanaysa aag kale ay ku gaadhi karto aag kale kaliya iyada oo loo marayo habka daabacaadda xogta iyada oo la xakameynayo dhammaan marxaladaha laga bilaabo helitaanka ilaha ilaa soo degista xogta ee bakhaarka bartilmaameedka.
Sannadkan waxa aanu qorshaynay in aanu dhamaystirno MVP ee moodooyinka bilawga ah ee ku qoran Python/R/Java ee Hadoop. Waxaan nafteena dejinay hawsha hamiga ah ee ah in aan barano sida loo socodsiiyo deegaan kasta oo caadada u ah Hadoop, si aan loo xaddidin isticmaaleyaasha madalkeenna sinaba.
Intaa waxaa dheer, sida ay soo baxday, qaar badan oo ku takhasusay DS waxay ku fiican yihiin xisaabta iyo tirakoobka, waxay sameeyaan moodallo wanaagsan, laakiin aad uma yaqaaniin isbeddelka xogta weyn, waxayna u baahan yihiin caawinta injineeradayada xogta si ay u diyaariyaan muunadaha tababarka. Waxaan go'aansanay inaan caawinno asxaabteena oo aan abuurno qaybo ku habboon isbeddelka caadiga ah iyo diyaarinta qaababka moodooyinka mashiinka Spark. Tani waxay kuu ogolaaneysaa inaad waqti badan ku bixiso sameynta moodooyinka oo aadan sugin injineerada xogta si ay u diyaariyaan xog cusub.
Waxaan shaqaaleysiinaa dadka aqoonta u leh meelo kala duwan: Linux iyo DevOps, Hadoop iyo Spark, Java iyo Spring, Scala iyo Akka, OpenShift iyo Kubernetes. Marka xigta waxaan ka hadli doonaa maktabadda moodeelka, sida qaabku u marayo wareegga nolosha ee shirkadda, sida ansixinta iyo hirgelinta u dhacdo.
Source: www.habr.com