Tagann smaointe agus cruinnithe faoi na próisis eile ar féidir a uathoibriú chun cinn i ngnólachtaí de mhéideanna éagsúla gach lá. Ach sa bhreis ar an bhfíric gur féidir go leor ama a chaitheamh ar mhúnla a chruthú, ní mór duit é a chaitheamh chun é a mheas agus a sheiceáil nach bhfuil an toradh a fhaightear randamach. Tar éis é a chur i bhfeidhm, ní mór monatóireacht a dhéanamh ar aon mhúnla agus é a sheiceáil go tréimhsiúil.
Agus is iad seo na céimeanna go léir is gá a chomhlánú in aon chuideachta, beag beann ar a mhéid. Má táimid ag caint faoi scála agus oidhreacht Sberbank, méadaíonn líon na mionchoigeartaithe go suntasach. Faoi dheireadh 2019, bhí níos mó ná 2000 samhail in úsáid ag Sber cheana féin. Ní leor múnla a fhorbairt go simplí; is gá comhtháthú le córais thionsclaíocha, margaí sonraí a fhorbairt le haghaidh samhlacha tógála, agus rialú a chinntiú ar a oibriú ar an mbraisle.
Tá ár bhfoireann ag forbairt ardán Sber.DS. Ligeann sé duit fadhbanna meaisínfhoghlama a réiteach, luasann sé an próiseas tástála hipitéisí, simplíonn sé i bprionsabal an próiseas chun samhlacha a fhorbairt agus a bhailíochtú, agus rialaíonn sé toradh an mhúnla i PROM freisin.
D'fhonn gan do chuid ionchais a mhealladh, ba mhaith liom a rá roimh ré gur post tosaigh é an post seo, agus faoin gearrtha, do thosaitheoirí, déanaimid labhairt faoi cad atá, i bprionsabal, faoi chochall ardán Sber.DS. Inseoidh muid an scéal faoi shaolré an mhúnla ó chruthú go cur i bhfeidhm ar leithligh.
Tá roinnt comhpháirteanna i Sber.DS, agus is iad na príomhchinn an leabharlann, an córas forbartha agus an córas forghníomhaithe samhlacha.
Rialaíonn an leabharlann saolré an mhúnla ón nóiméad a thagann an smaoineamh chun é a fhorbairt go dtí go gcuirtear i bhfeidhm é in PROM, monatóireacht agus díchoimisiúnú. Tá go leor cumais leabharlainne de réir rialacha an rialtóra, mar shampla, samplaí oiliúna agus bailíochtaithe a thuairisciú agus a stóráil. Go deimhin, is clár é seo dár múnlaí go léir.
Tá an córas forbartha deartha le haghaidh forbairt amhairc samhlacha agus teicnící bailíochtaithe. Déantar na samhlacha forbartha a bhailíochtú tosaigh agus soláthraítear iad don chóras forghníomhaithe chun a bhfeidhmeanna gnó a chomhlíonadh. Chomh maith leis sin, sa chóras am rite, is féidir an tsamhail a chur ar mhonatóir chun críche teicnící bailíochtaithe a sheoladh go tréimhsiúil chun monatóireacht a dhéanamh ar a oibriú.
Tá roinnt cineálacha nóid sa chóras. Tá cuid acu deartha chun nascadh le foinsí sonraí éagsúla, tá cinn eile deartha chun sonraí foinseacha a athrú agus iad a shaibhriú (marcáil). Tá go leor nóid ann chun samhlacha agus nóid éagsúla a thógáil chun iad a bhailíochtú. Is féidir leis an bhforbróir sonraí a luchtú ó fhoinse ar bith, sonraí idirmheánacha a athrú, a scagadh, a shamhlú, agus iad a bhriseadh ina gcodanna.
Tá modúil réamhdhéanta san ardán freisin ar féidir iad a tharraingt agus a scaoileadh isteach sa limistéar dearaidh. Déantar gach gníomh trí úsáid a bhaint as comhéadan léirshamhlaithe. Go deimhin, is féidir leat an fhadhb a réiteach gan líne amháin de chód.
Mura leor na cumais ionsuite, soláthraíonn an córas an cumas do mhodúil féin a chruthú go tapa. Rinneamar modh forbartha comhtháite bunaithe ar dóibh siúd a chruthaíonn modúil nua ón tús.
Tá ailtireacht Sber.DS tógtha ar mhicrisheirbhísí. Tá go leor tuairimí ann faoi cad iad na microservices. Síleann roinnt daoine go bhfuil sé go leor an cód monolithic a roinnt ina chodanna, ach ag an am céanna téann siad go dtí an bunachar sonraí céanna fós. Ní mór dár microservice cumarsáid a dhéanamh le microservice eile ach amháin trí REST API. Níl aon réitigh chun rochtain a fháil ar an mbunachar sonraí go díreach.
Déanaimid iarracht a chinntiú nach n-éiríonn seirbhísí an-mhór agus an-chorrlach: níor cheart go n-ídíonn cás amháin níos mó ná 4-8 ghigibheart de RAM agus ní mór dúinn an cumas a sholáthar chun iarratais a scála go cothrománach trí chásanna nua a sheoladh. Déanann gach seirbhís cumarsáid le daoine eile trí REST API amháin (). Ceanglaítear ar an bhfoireann atá freagrach as an tseirbhís an API a choinneáil comhoiriúnach siar go dtí an cliant deireanach a úsáideann é.
Tá croí an fheidhmchláir scríofa i Java ag baint úsáide as Creat an Earraigh. Dearadh an réiteach ar dtús le haghaidh imscaradh tapa sa bhonneagar scamall, agus mar sin tógadh an t-iarratas ag baint úsáide as córas coimeádaithe (). Tá an t-ardán ag athrú i gcónaí, i dtéarmaí feidhmiúlacht ghnó a mhéadú (cónaisc nua, AutoML á gcur leis) agus i dtéarmaí éifeachtacht teicneolaíochta.
Ceann de ghnéithe ár n-ardán ná gur féidir linn cód a forbraíodh i gcomhéadan amhairc a rith ar aon chóras forghníomhaithe samhail Sberbank. Anois tá dhá cheann acu cheana féin: ceann ar Hadoop, an ceann eile ar OpenShift (Docker). Ní stopaimid ansin agus cruthaímid modúil chomhtháthaithe chun cód a rith ar aon bhonneagar, lena n-áirítear ar an áitreabh agus sa scamall. Maidir leis na féidearthachtaí a bhaineann le comhtháthú éifeachtach in éiceachóras Sberbank, tá sé beartaithe againn freisin tacú le hobair leis na timpeallachtaí forghníomhaithe atá ann cheana féin. Sa todhchaí, is féidir an réiteach a chomhtháthú go solúbtha “as an bhosca” in aon tírdhreach in aon eagraíocht.
Tá a fhios acu siúd a rinne iarracht riamh tacú le réiteach a ritheann Python ar Hadoop i PROM nach bhfuil sé go leor timpeallacht úsáideora Python a ullmhú agus a sheachadadh chuig gach datanode. Ní cheadóidh an líon mór leabharlann C/C++ le haghaidh meaisínfhoghlama a úsáideann modúil Python duit scíth a ligean. Ní mór dúinn cuimhneamh ar phacáistí a nuashonrú agus leabharlanna nó freastalaithe nua á gcur leis, agus ag an am céanna comhoiriúnacht siar le cód samhla atá curtha i bhfeidhm cheana féin.
Tá roinnt cur chuige ann maidir le conas é seo a dhéanamh. Mar shampla, ullmhaigh roinnt leabharlann a úsáidtear go minic roimh ré agus cuir i bhfeidhm iad in PROM. I ndáileadh Hadoop Cloudera, úsáideann siad de ghnáth . Chomh maith leis sin anois i Hadoop is féidir a reáchtáil -coimeádáin. I roinnt cásanna simplí is féidir an cód a sheachadadh in éineacht leis an bpacáiste .
Glacann an banc an-dáiríre le slándáil an chóid tríú páirtí a rith, mar sin bainimid an leas is fearr as gnéithe nua an eithne Linux, áit a bhfuil próiseas á rith i dtimpeallacht iargúlta , is féidir leat rochtain ar an líonra agus ar an diosca áitiúil a theorannú, mar shampla, rud a laghdaíonn go mór cumais chód mailíseach. Tá réimsí sonraí gach roinne cosanta agus níl rochtain orthu ach ag úinéirí na sonraí seo. Cinntíonn an t-ardán nach féidir le sonraí ó limistéar amháin limistéar eile a bhaint amach ach trí phróiseas foilsithe sonraí a bhfuil smacht ag gach céim air ó rochtain ar fhoinsí go dtí cur i dtír sonraí ar aghaidh an stórais sprice.
I mbliana tá sé beartaithe againn an MVP de mhúnlaí seolta scríofa i Python/R/Java ar Hadoop a chríochnú. Tá an tasc uaillmhianach leagtha síos againn dúinn féin maidir le foghlaim conas aon timpeallacht saincheaptha a reáchtáil ar Hadoop, ionas nach gcuirfear teorainn ar bith ar úsáideoirí ár n-ardán.
Ina theannta sin, mar a d'éirigh sé amach, tá go leor speisialtóirí DS den scoth ag matamaitic agus staitisticí, déanann siad samhlacha fionnuara, ach níl siad an-eolach ar chlaochlú sonraí móra, agus tá cabhair ár n-innealtóirí sonraí ag teastáil uathu chun samplaí oiliúna a ullmhú. Shocraigh muid cabhrú lenár gcomhghleacaithe agus modúil áisiúla a chruthú le haghaidh claochlú caighdeánach agus ullmhú gnéithe le haghaidh samhlacha ar an inneall Spark. Ligfidh sé seo duit níos mó ama a chaitheamh ag forbairt samhlacha agus gan fanacht ar innealtóirí sonraí tacar sonraí nua a ullmhú.
Fostaimid daoine a bhfuil eolas acu i réimsí éagsúla: Linux agus DevOps, Hadoop and Spark, Java and Spring, Scala agus Akka, OpenShift agus Kubernetes. An chéad uair eile beimid ag caint faoin leabharlann mhúnla, conas a théann an tsamhail tríd an saolré laistigh den chuideachta, conas a tharlaíonn bailíochtú agus cur i bhfeidhm.
Foinse: will.com