Cov tswv yim thiab cov rooj sib tham txog dab tsi lwm cov txheej txheem tuaj yeem ua haujlwm tuaj yeem tshwm sim hauv kev lag luam ntawm ntau qhov ntau thiab tsawg txhua hnub. Tab sis ntxiv rau qhov tseeb tias ntau lub sijhawm tuaj yeem siv rau kev tsim qauv, koj yuav tsum tau siv nws los ntsuas nws thiab xyuas tias qhov txiaj ntsig tau txais tsis yog random. Tom qab ua tiav, txhua tus qauv yuav tsum tau saib xyuas thiab kuaj xyuas ib ntus.
Thiab cov no yog tag nrho cov theem uas yuav tsum tau ua kom tiav nyob rau hauv ib lub tuam txhab, tsis hais nws loj npaum li cas. Yog tias peb tab tom tham txog qhov ntsuas thiab keeb kwm ntawm Sberbank, tus naj npawb ntawm kev nplua zoo nce ntxiv. Thaum kawg ntawm 2019, Sber tau siv ntau dua 2000 tus qauv. Nws tsis txaus los tsim cov qauv yooj yim; nws yog ib qho tsim nyog los koom nrog cov tshuab kev lag luam, tsim cov ntaub ntawv marts rau cov qauv tsim, thiab xyuas kom muaj kev tswj hwm ntawm nws txoj haujlwm ntawm pawg.
Peb pab neeg tab tom tsim Sber.DS platform. Nws tso cai rau koj los daws cov teeb meem kev kawm tshuab, ua kom cov txheej txheem ntawm kev sim cov kev xav, hauv cov hauv paus ntsiab lus ua kom yooj yim cov txheej txheem ntawm kev tsim thiab siv tau cov qauv, thiab tseem tswj cov txiaj ntsig ntawm tus qauv hauv PROM.
Txhawm rau kom tsis txhob dag koj cov kev cia siab, Kuv xav hais ua ntej tias cov ntawv tshaj tawm no yog ib qho kev taw qhia, thiab hauv qab txiav, pib, peb tham txog dab tsi, hauv paus ntsiab lus, yog nyob rau hauv lub hood ntawm Sber.DS platform. Peb yuav qhia zaj dab neeg txog lub neej voj voog ntawm tus qauv los ntawm kev tsim mus rau kev siv nyias.
Sber.DS muaj ntau yam, cov tseem ceeb yog lub tsev qiv ntawv, kev txhim kho thiab kev ua qauv ua qauv.
Lub tsev qiv ntawv tswj lub neej voj voog ntawm tus qauv los ntawm lub sijhawm lub tswv yim los txhim kho nws tshwm sim kom txog rau thaum nws siv hauv PROM, saib xyuas thiab decommissioning. Ntau lub tsev qiv ntawv muaj peev xwm raug txiav txim los ntawm cov cai tswj hwm, piv txwv li, tshaj tawm thiab khaws cov kev qhia thiab cov qauv siv tau. Qhov tseeb, qhov no yog kev sau npe ntawm tag nrho peb cov qauv.
Txoj kev txhim kho yog tsim los rau kev tsim kho qhov muag ntawm cov qauv thiab cov txheej txheem siv tau. Cov qauv tsim tau dhau los ua pov thawj thawj zaug thiab tau muab nkag rau hauv kev ua haujlwm kom ua lawv txoj haujlwm ua lag luam. Tsis tas li ntawd, nyob rau hauv lub sijhawm ua haujlwm, tus qauv tuaj yeem muab tso rau ntawm lub monitor rau lub hom phiaj ntawm kev tsim cov txheej txheem siv sijhawm los saib xyuas nws cov haujlwm.
Muaj ntau hom nodes nyob rau hauv lub system. Qee qhov yog tsim los txuas rau ntau qhov chaw cov ntaub ntawv, lwm tus yog tsim los hloov cov ntaub ntawv thiab txhawb nws (markup). Muaj ntau cov nodes rau tsim cov qauv sib txawv thiab cov nodes rau validating lawv. Tus tsim tawm tuaj yeem thauj cov ntaub ntawv los ntawm txhua qhov chaw, hloov pauv, lim, pom cov ntaub ntawv nruab nrab, thiab tawg rau hauv qhov chaw.
Lub platform kuj muaj cov qauv npaj ua tiav uas tuaj yeem rub thiab nqis mus rau qhov chaw tsim. Txhua qhov kev txiav txim yog ua los ntawm kev siv lub ntsej muag pom. Qhov tseeb, koj tuaj yeem daws qhov teeb meem yam tsis muaj ib kab ntawm cov cai.
Yog tias lub peev xwm built-in tsis txaus, lub kaw lus muab lub peev xwm los tsim koj tus kheej modules sai sai. Peb tau ua ib qho kev txhim kho kev sib koom ua ke raws li rau cov uas tsim tshiab modules los ntawm kos.
Lub architecture ntawm Sber.DS yog tsim los ntawm microservices. Muaj ntau lub tswv yim hais txog dab tsi microservices. Qee tus neeg xav tias nws txaus los faib cov cai monolithic rau hauv qhov chaw, tab sis tib lub sijhawm lawv tseem mus rau tib lub database. Peb lub microservice yuav tsum sib txuas lus nrog lwm microservice nkaus xwb ntawm REST API. Tsis muaj workarounds kom nkag mus rau hauv database ncaj qha.
Peb sim ua kom ntseeg tau tias cov kev pabcuam tsis dhau los ua qhov loj thiab tsis txaus ntseeg: ib qho piv txwv yuav tsum tsis txhob haus ntau dua 4-8 gigabytes ntawm RAM thiab yuav tsum muab lub peev xwm los ntsuas kab rov tav los ntawm kev nthuav tawm cov xwm txheej tshiab. Txhua qhov kev pabcuam sib txuas lus nrog lwm tus tsuas yog ntawm REST API (). Pab neeg ua haujlwm lub luag haujlwm rau kev pabcuam yuav tsum ua kom API rov qab sib haum mus txog thaum tus neeg siv khoom kawg uas siv nws.
Lub hauv paus ntawm daim ntawv thov yog sau rau hauv Java siv Spring Framework. Qhov kev daws teeb meem tau pib tsim los rau kev xa tawm sai hauv huab cua, yog li daim ntawv thov tau tsim los siv lub thawv ntim khoom. (). Lub platform yog hloov zuj zus mus tas li, ob qho tib si ntawm kev ua lag luam nce ntxiv (cov khoom txuas tshiab, AutoML tau ntxiv) thiab hais txog kev ua haujlwm zoo.
Ib qho ntawm cov yam ntxwv ntawm peb lub platform yog tias peb tuaj yeem khiav cov lej tsim hauv qhov pom kev cuam tshuam ntawm txhua qhov kev ua haujlwm ntawm Sberbank. Tam sim no muaj ob ntawm lawv: ib qho ntawm Hadoop, lwm qhov ntawm OpenShift (Docker). Peb tsis tso tseg qhov ntawd thiab tsim cov kev sib koom ua ke los khiav cov cai ntawm txhua qhov kev tsim kho, suav nrog hauv tsev thiab hauv huab. Hais txog qhov ua tau zoo ntawm kev sib koom ua ke rau hauv Sberbank ecosystem, peb kuj npaj los txhawb kev ua haujlwm nrog cov kev ua haujlwm uas twb muaj lawm. Nyob rau hauv lub neej yav tom ntej, qhov kev daws teeb meem tuaj yeem hloov pauv tau "tawm ntawm lub thawv" rau hauv ib qho toj roob hauv pes ntawm txhua lub koom haum.
Cov neeg uas tau sim los txhawb kev daws teeb meem uas khiav Python ntawm Hadoop hauv PROM paub tias nws tsis txaus los npaj thiab xa Python tus neeg siv ib puag ncig rau txhua qhov datanode. Tus lej loj ntawm C / C ++ cov tsev qiv ntawv rau kev kawm tshuab uas siv Python modules yuav tsis tso cai rau koj so yooj yim. Peb yuav tsum nco ntsoov hloov cov pob khoom thaum ntxiv cov tsev qiv ntawv tshiab lossis cov servers, thaum tswj kev rov qab sib raug zoo nrog cov qauv uas twb muaj lawm.
Muaj ntau txoj hauv kev los ua qhov no. Piv txwv li, npaj ntau lub tsev qiv ntawv uas nquag siv ua ntej thiab siv lawv hauv PROM. Hauv Cloudera's Hadoop faib, feem ntau lawv siv . Tsis tas li ntawd tam sim no hauv Hadoop nws muaj peev xwm khiav - thawv. Hauv qee qhov yooj yim nws tuaj yeem xa cov lej nrog rau pob .
Lub txhab nyiaj siv qhov kev ruaj ntseg ntawm kev ua haujlwm thib peb tus lej tiag tiag, yog li peb ua qhov feem ntau ntawm cov yam ntxwv tshiab ntawm Linux ntsiav, qhov twg cov txheej txheem khiav hauv ib puag ncig kev sib cais. , koj tuaj yeem txwv, piv txwv li, nkag mus rau hauv lub network thiab hauv zos disk, uas txo cov peev txheej ntawm cov lej phem. Cov ntaub ntawv thaj chaw ntawm txhua lub tuam tsev raug tiv thaiv thiab siv tau rau cov tswv ntawm cov ntaub ntawv no nkaus xwb. Lub platform ua kom ntseeg tau tias cov ntaub ntawv los ntawm ib cheeb tsam tuaj yeem ncav cuag lwm thaj chaw tsuas yog los ntawm cov ntaub ntawv tshaj tawm cov txheej txheem nrog kev tswj hwm ntawm txhua theem los ntawm kev nkag mus rau qhov chaw mus rau tsaws ntawm cov ntaub ntawv hauv lub hom phiaj storefront.
Xyoo no peb npaj ua kom tiav MVP ntawm kev tsim qauv sau hauv Python / R / Java ntawm Hadoop. Peb tau teeb tsa peb tus kheej lub hom phiaj ntawm kev kawm yuav ua li cas khiav ib puag ncig kev cai ntawm Hadoop, yog li tsis txwv cov neeg siv ntawm peb lub platform hauv txhua txoj kev.
Tsis tas li ntawd, raws li nws tau muab tawm, ntau tus kws tshaj lij DS tau zoo heev ntawm kev ua lej thiab kev txheeb cais, ua cov qauv txias, tab sis tsis zoo heev hauv cov ntaub ntawv hloov pauv loj, thiab lawv xav tau kev pab los ntawm peb cov ntaub ntawv engineers los npaj cov qauv kev cob qhia. Peb txiav txim siab los pab peb cov npoj yaig thiab tsim cov qauv yooj yim rau kev hloov pauv tus qauv thiab kev npaj cov yam ntxwv rau cov qauv ntawm Spark engine. Qhov no yuav tso cai rau koj siv sijhawm ntau los tsim cov qauv thiab tsis txhob tos cov ntaub ntawv engineers los npaj cov ntaub ntawv tshiab.
Peb ntiav cov neeg muaj kev paub hauv ntau qhov chaw: Linux thiab DevOps, Hadoop thiab Spark, Java thiab Spring, Scala thiab Akka, OpenShift thiab Kubernetes. Tom ntej no peb yuav tham txog cov qauv tsev qiv ntawv, yuav ua li cas tus qauv mus txog lub neej voj voog nyob rau hauv lub tuam txhab, yuav ua li cas validation thiab kev siv tshwm sim.
Tau qhov twg los: www.hab.com