Ra'ayoyi da tarurruka game da wasu hanyoyin da za a iya sarrafa su suna tasowa a cikin kasuwancin masu girma dabam dabam kowace rana. Amma ban da gaskiyar cewa za a iya kashe lokaci mai yawa don ƙirƙirar samfurin, kuna buƙatar kashe shi akan kimanta shi da kuma bincika cewa sakamakon da aka samu ba bazuwar ba ne. Bayan aiwatarwa, kowane samfurin dole ne a sa ido kuma a duba shi lokaci-lokaci.
Kuma waɗannan su ne duk matakan da ake buƙatar kammalawa a kowane kamfani, ba tare da la'akari da girmansa ba. Idan muna magana ne game da sikelin da gado na Sberbank, yawan ƙarar daidaitawa yana ƙaruwa sosai. A ƙarshen 2019, Sber ya riga ya yi amfani da samfuran sama da 2000. Bai isa kawai haɓaka samfuri ba; wajibi ne don haɗawa tare da tsarin masana'antu, haɓaka taswirar bayanai don ƙirar ƙira, da tabbatar da sarrafa ayyukan sa akan gungu.
Ƙungiyarmu tana haɓaka dandalin Sber.DS. Yana ba ku damar magance matsalolin ilmantarwa na na'ura, yana hanzarta aiwatar da matakan gwaji, bisa ga ka'ida yana sauƙaƙe tsarin haɓakawa da haɓaka samfuran, kuma yana sarrafa sakamakon samfurin a cikin PROM.
Don kada ku yaudari tsammanin ku, Ina so in faɗi a gaba cewa wannan matsayi shine gabatarwar, kuma a ƙarƙashin yanke, don farawa, muna magana game da abin da, bisa ga ka'ida, a ƙarƙashin tsarin dandalin Sber.DS. Za mu ba da labari game da yanayin rayuwa na samfurin daga halitta zuwa aiwatarwa daban.
Sber.DS ya ƙunshi abubuwa da yawa, mabuɗin shine ɗakin karatu, tsarin ci gaba da tsarin aiwatar da samfurin.
Laburaren yana sarrafa yanayin rayuwa na samfurin daga lokacin da ra'ayin bunkasa shi ya bayyana har sai an aiwatar da shi a cikin PROM, saka idanu da ƙaddamarwa. Yawancin damar ɗakin karatu ana yin umarni da ƙa'idodin gudanarwa, misali, bayar da rahoto da adana samfuran horo da tabbatarwa. A zahiri, wannan rajista ne na duk samfuran mu.
An tsara tsarin haɓakawa don haɓaka gani na samfuri da dabarun tabbatarwa. Samfuran da aka haɓaka suna fuskantar ingantaccen aiki na farko kuma ana kawo su ga tsarin aiwatarwa don aiwatar da ayyukan kasuwancin su. Hakanan, a cikin tsarin lokacin aiki, ana iya sanya samfurin akan na'ura mai saka idanu don manufar ƙaddamar da dabarun tabbatarwa lokaci-lokaci don sa ido kan ayyukansa.
Akwai nau'ikan nodes da yawa a cikin tsarin. Wasu an ƙera su don haɗawa zuwa maɓuɓɓugar bayanai daban-daban, wasu an tsara su don canza bayanan tushe da wadatar da su (markup). Akwai nodes da yawa don gina ƙira daban-daban da nodes don inganta su. Mai haɓakawa na iya loda bayanai daga kowane tushe, canzawa, tacewa, duba matsakaicin bayanai, kuma ya karya shi zuwa sassa.
Dandalin kuma yana ƙunshe da shirye-shiryen da aka ƙera waɗanda za'a iya ja da sauke su zuwa wurin ƙira. Ana yin duk ayyuka ta amfani da sigar gani. A zahiri, zaku iya magance matsalar ba tare da layin lamba ɗaya ba.
Idan ƙarfin da aka gina a ciki bai isa ba, tsarin yana ba da damar yin saurin ƙirƙirar samfuran ku. Mun yi wani hadedde ci gaban yanayin bisa ga waɗanda suka ƙirƙiri sababbin kayayyaki daga karce.
Gine-gine na Sber.DS an gina shi akan microservices. Akwai ra'ayoyi da yawa game da menene ƙananan sabis. Wasu mutane suna tunanin cewa ya isa a raba lambar monolithic zuwa sassa, amma a lokaci guda har yanzu suna zuwa rumbun adana bayanai iri ɗaya. Dole ne microservice ɗin mu ya sadarwa tare da wani microservice kawai ta REST API. Babu hanyoyin samun damar shiga bayanan kai tsaye.
Muna ƙoƙari don tabbatar da cewa sabis ɗin ba su zama babba da ƙulle-ƙulle ba: misali ɗaya bai kamata ya cinye fiye da 4-8 gigabytes na RAM ba kuma dole ne ya ba da damar buƙatun sikelin a kwance ta hanyar ƙaddamar da sabbin lokuta. Kowane sabis yana sadarwa tare da wasu ta hanyar REST API kawai (). Ana buƙatar ƙungiyar da ke da alhakin sabis don kiyaye API ɗin baya da jituwa har zuwa abokin ciniki na ƙarshe wanda ke amfani da shi.
An rubuta ainihin aikace-aikacen a cikin Java ta amfani da Tsarin bazara. An tsara maganin da farko don ƙaddamar da sauri a cikin kayan aikin girgije, don haka an gina aikace-aikacen ta amfani da tsarin kwantena (). Dandalin yana ci gaba da haɓakawa, duka dangane da haɓaka ayyukan kasuwanci (sabbin masu haɗawa, ana ƙara AutoML) kuma dangane da ingancin fasaha.
Ɗaya daga cikin fasalulluka na dandalin mu shine cewa za mu iya gudanar da lambar da aka haɓaka a cikin hanyar gani a kowane tsarin aiwatar da tsarin Sberbank. Yanzu akwai biyu daga cikinsu: ɗaya akan Hadoop, ɗayan akan OpenShift (Docker). Ba mu tsaya a can ba kuma mu ƙirƙiri ƙirar haɗin kai don gudanar da lamba akan kowane kayan aikin, gami da kan-gida da kuma cikin gajimare. Game da yuwuwar haɗin kai mai inganci a cikin yanayin yanayin Sberbank, muna kuma shirin tallafawa aiki tare da yanayin kisa na yanzu. A nan gaba, mafita za a iya haɗawa cikin sassauƙa "daga cikin akwatin" cikin kowane wuri na kowace ƙungiya.
Wadanda suka taɓa ƙoƙarin tallafawa wani bayani da ke gudanar da Python akan Hadoop a cikin PROM sun san cewa bai isa ba don shirya da isar da yanayin mai amfani da Python zuwa kowane datanode. Yawancin ɗakunan karatu na C/C++ don koyon injin da ke amfani da kayan aikin Python ba zai ba ku damar hutawa cikin sauƙi ba. Dole ne mu tuna sabunta fakitin lokacin ƙara sabbin ɗakunan karatu ko sabobin, yayin da muke riƙe dacewa ta baya tare da riga an aiwatar da lambar ƙirar.
Akwai hanyoyi da yawa don yin wannan. Misali, shirya ɗakunan karatu da yawa akai-akai a gaba kuma aiwatar da su a cikin PROM. A cikin rarraba Hadoop na Cloudera, yawanci suna amfani da su . Hakanan yanzu a Hadoop yana yiwuwa a gudu - kwantena. A wasu lokuta masu sauƙi yana yiwuwa a sadar da lambar tare da kunshin .
Bankin yana ɗaukar tsaro na gudanar da code na ɓangare na uku da mahimmanci, don haka muna yin amfani da mafi yawan sabbin fasalulluka na kernel na Linux, inda tsari ke gudana a cikin keɓantaccen yanayi. , zaku iya iyakance, alal misali, samun dama ga hanyar sadarwa da faifai na gida, wanda ke rage girman ikon code mara kyau. Wuraren bayanan kowane sashe suna da kariya kuma suna isa ga masu wannan bayanan kawai. Dandalin yana tabbatar da cewa bayanai daga wani yanki na iya isa wani yanki kawai ta hanyar tsarin buga bayanai tare da sarrafawa a kowane mataki daga samun dama ga tushe zuwa saukowar bayanai a cikin shagon da aka yi niyya.
A wannan shekara muna shirin kammala MVP na ƙaddamar da samfura da aka rubuta cikin Python/R/Java akan Hadoop. Mun sanya kanmu babban aiki na koyon yadda ake gudanar da kowane yanayi na al'ada akan Hadoop, don kada mu iyakance masu amfani da dandalinmu ta kowace hanya.
Bugu da kari, kamar yadda ya bayyana, ƙwararrun DS da yawa suna da kyau a fannin lissafi da ƙididdiga, suna yin samfura masu kyau, amma ba su da masaniya sosai kan manyan canje-canjen bayanai, kuma suna buƙatar taimakon injiniyoyinmu don shirya samfuran horo. Mun yanke shawarar taimaka wa abokan aikinmu da ƙirƙirar kayayyaki masu dacewa don daidaitaccen canji da shirye-shiryen fasali don samfura akan injin Spark. Wannan zai ba ku damar ciyar da ƙarin lokacin haɓaka samfura kuma kada ku jira injiniyoyin bayanai don shirya sabon saitin bayanai.
Muna ɗaukar mutane masu ilimi a wurare daban-daban: Linux da DevOps, Hadoop da Spark, Java da Spring, Scala da Akka, OpenShift da Kubernetes. Lokaci na gaba za mu yi magana game da ɗakin karatu na samfurin, yadda samfurin ke tafiya cikin yanayin rayuwa a cikin kamfanin, yadda tabbatarwa da aiwatarwa ke faruwa.
source: www.habr.com