O manatu ma fonotaga e uiga i isi faiga e mafai ona otometi e tulaʻi mai i pisinisi o lapopoa eseese i aso uma. Ae i le faaopoopo atu i le mea moni o le tele o le taimi e mafai ona faʻaalu i le fatuina o se faʻataʻitaʻiga, e tatau ona e faʻaaluina i le iloiloga ma siaki o le iʻuga na maua e le o se mea faʻafuaseʻi. A maeʻa le faʻatinoga, soʻo se faʻataʻitaʻiga e tatau ona mataʻituina ma siaki i lea taimi ma lea taimi.
Ma o laasaga uma ia e manaʻomia ona faʻamaeʻaina i soʻo se kamupani, e tusa lava po o le a le tele. Afai tatou te talanoa e uiga i le fua ma le talatuu a Sberbank, o le numera o le faʻaleleia lelei e faʻatupulaia tele. I le faaiuga o le 2019, ua uma ona faʻaaogaina e Sber le sili atu ma le 2000 faʻataʻitaʻiga. E le lava le naʻo le atinaʻeina o se faʻataʻitaʻiga; e manaʻomia le tuʻufaʻatasia ma faiga faʻapisinisi, atiaʻe faʻamatalaga faʻatau mo faʻataʻitaʻiga faufale, ma faʻamautinoa le pulea o lona gaioiga i luga o le fuifui.
O lo'o atia'e e le matou 'au le fa'avae Sber.DS. E faʻatagaina oe e foia faʻafitauli o le aʻoaʻoina o masini, faʻavaveina le faagasologa o suʻega faʻataʻitaʻiga, i le mataupu faavae faʻafaigofie le faagasologa o le atinaʻeina ma le faʻamaoniaina o faʻataʻitaʻiga, ma faʻatonuina foi le taunuuga o le faʻataʻitaʻiga i le PROM.
Ina ia aua le faaseseina ou faamoemoega, ou te fia fai atu muamua o lenei pou o se folasaga, ma i lalo o le tipi, mo le amataga, matou te talanoa e uiga i le mea, i le mataupu faavae, i lalo o le pulou o le Sber.DS platform. O le a matou faʻamatalaina le tala e uiga i le taamilosaga o le olaga o le faʻataʻitaʻiga mai le foafoaga i le faʻatinoga eseese.
Sber.DS e aofia ai le tele o vaega, o mea autu o le faletusi, faiga atinaʻe ma faiga faʻataʻitaʻiga.
O le faletusi e pulea le taamilosaga o le olaga o le faʻataʻitaʻiga mai le taimi e faʻaalia ai le manatu e atiaʻe seia oʻo i lona faʻatinoina i le PROM, mataʻituina ma le faʻaumatia. O le tele o agava'a faletusi o lo'o fa'atonuina e tulafono fa'atonutonu, mo se fa'ata'ita'iga, lipoti ma le teuina o a'oa'oga ma fa'ata'ita'iga fa'amaonia. O le mea moni, o le resitala lea oa tatou faʻataʻitaʻiga uma.
O le faiga faʻavae ua mamanuina mo le atinaʻeina o ata o faʻataʻitaʻiga ma metotia faʻamaonia. O faʻataʻitaʻiga atiaʻe e faʻataʻitaʻiina muamua ma tuʻuina atu i le faiga faʻatinoina e faʻatino ai a latou galuega faʻapisinisi. E le gata i lea, i le taimi faʻatulagaina, o le faʻataʻitaʻiga e mafai ona tuʻuina i luga o se mataʻitu mo le faʻamoemoe o le faʻalauiloaina i lea taimi ma lea taimi auala faʻamaonia e mataʻituina ai lona gaioiga.
E tele ituaiga o nodes i le faiga. O nisi ua mamanuina e faʻafesoʻotaʻi i punaoa faʻamatalaga eseese, o isi ua mamanuina e suia ai faʻamatalaga faʻamatalaga ma faʻatamaoaigaina (faailoga). E tele nodes mo le fausiaina o faʻataʻitaʻiga eseese ma nodes mo le faʻamaoniaina. E mafai e le tagata atiaʻe ona utaina faʻamatalaga mai soʻo se punavai, suia, faamama, vaʻaia faʻamatalaga vaeluaga, ma vaevaeina i ni vaega.
O lo'o i ai fo'i i totonu o le fa'avae ni fa'aoga ua saunia e mafai ona toso ma pa'u i luga o le vaega o le mamanu. O gaioiga uma e fa'atinoina e fa'aoga ai se fa'aaliga va'aia. O le mea moni, e mafai ona e foia le faafitauli e aunoa ma se laina se tasi o code.
Afai e le lava le mafai ona fausia, o le faiga e maua ai le gafatia e vave fausia ai au lava modules. Na matou faia se faiga faʻavae faʻavae faʻavae i luga mo i latou e fatuina modules fou mai le sasa.
O le fausaga o le Sber.DS e fausia i luga o microservices. E tele manatu e uiga i microservices. O nisi tagata e manatu ua lava le vaevaeina o le monolithic code i ni vaega, ae i le taimi lava e tasi latou te o atu i le database lava e tasi. E tatau ona feso'ota'i la matou auaunaga laiti ma se isi auaunaga laiti e ala i le REST API. Leai ni auala e maua sa'o ai le database.
Matou te taumafai e faʻamautinoa o le a le tele naua ma faʻalavelave auʻaunaga: e tasi le faʻataʻitaʻiga e le tatau ona sili atu nai lo le 4-8 gigabytes o le RAM ma e tatau ona tuʻuina atu le mafai e faʻatatau i luga ole talosaga e ala i le faʻalauiloaina o mea fou. O au'aunaga ta'itasi e feso'ota'i ma isi e na'o le REST API (). O le 'au e nafa ma le 'au'aunaga e mana'omia e fa'atumauina le API i tua e fetaui se'ia o'o i le tagata mulimuli na te fa'aaogaina.
O le autu o le talosaga o loʻo tusia i Java e faʻaaoga ai le Spring Framework. O le fofo na muai fuafuaina mo le faʻapipiʻiina vave i totonu o le ao, o lea na fausia ai le talosaga e faʻaaoga ai se faiga faʻapipiʻi (). O loʻo faʻasolosolo pea le faʻavae, e le gata i le faʻatupulaia o galuega faʻapisinisi (fesoʻotaʻiga fou, AutoML o loʻo faʻaopoopoina) ma i tulaga o le faʻaogaina o tekinolosi.
O se tasi o foliga o la matou faʻavae o le mafai lea ona matou faʻatautaia le tulafono faʻavae i se faʻaaliga vaʻaia i luga o soʻo se faiga faʻataʻitaʻiga Sberbank. O lea ua lua nei: tasi i Hadoop, o le isi i OpenShift (Docker). Matou te le tu ai iina ma faia ni faʻaoga tuʻufaʻatasia e faʻatautaia ai tulafono i luga o soʻo se atinaʻe, e aofia ai i luga ole fale ma ile ao. E tusa ai ma avanoa o le tuʻufaʻatasia lelei i le Sberbank ecosystem, matou te fuafua foi e lagolago galuega ma siosiomaga faʻataunuʻu o loʻo i ai nei. I le lumanaʻi, o le fofo e mafai ona faʻafesoʻotaʻi faʻatasi "mai le pusa" i soʻo se laufanua o soʻo se faʻalapotopotoga.
O i latou na taumafai e lagolagoina se fofo e faʻaogaina le Python i Hadoop i le PROM latou te iloa e le lava le saunia ma le tuʻuina atu o se siosiomaga faʻaoga Python i datanode taʻitasi. Ole numera tele o faletusi C/C++ mo aʻoaʻoga masini e faʻaogaina le Python modules o le a le faʻatagaina oe e malolo faigofie. E tatau ona tatou manatua le faʻafouina o afifi pe a faʻaopoopoina faletusi fou poʻo sapalai, aʻo faʻatumauina le fetaui i tua ma le faʻataʻitaʻiga faʻataʻitaʻiga.
E tele auala e fai ai lenei mea. Mo se faʻataʻitaʻiga, saunia muamua ni faletusi e masani ona faʻaaogaina ma faʻatino i totonu PROM. I Cloudera's Hadoop tufatufa, latou masani ona faʻaaogaina . O lea foi i Hadoop e mafai ona tamoe -koneteina. I nisi tulaga faigofie e mafai ona tuʻuina atu le code faʻatasi ma le afifi .
O le faletupe e ave le saogalemu o le faʻaogaina o tulafono a le isi vaega e matua taua tele, o lea matou te faʻaogaina ai le tele o foliga fou o le fatu Linux, lea o loʻo faʻagasolo ai se faʻagasologa i se siosiomaga tuʻufua. , e mafai ona e faʻatapulaʻaina, mo se faʻataʻitaʻiga, avanoa i le fesoʻotaʻiga ma le tisiki i le lotoifale, lea e faʻaitiitia ai le malosi o tulafono leaga. O vaega o fa'amaumauga a matagaluega ta'itasi e puipuia ma e na'o ē e ana ia fa'amaumauga e mafai ona maua. E fa'amautinoa e le tulaga fa'amaumauga mai le tasi eria e mafai ona o'o atu i se isi eria e ala i se faiga fa'asalalau fa'amaumauga ma le fa'atonutonuina i la'asaga uma mai le avanoa i fa'apogai e tula'i mai ai fa'amaumauga i totonu o le fa'atau oloa.
O lenei tausaga matou te fuafua e faʻamaeʻa le MVP o le faʻalauiloaina o faʻataʻitaʻiga tusia i le Python / R / Java i luga o Hadoop. Ua matou setiina i matou lava le galuega mataʻutia o le aʻoaʻoina pe faʻafefea ona faʻatautaia soʻo se siosiomaga masani i luga o Hadoop, ina ia aua nei faʻatapulaaina tagata faʻaoga o la matou faʻavae i soʻo se auala.
E le gata i lea, e pei ona aliali mai, o le tele o tagata tomai faapitoa i le DS e sili ona lelei i le matematika ma fuainumera, faia ni faʻataʻitaʻiga manaia, ae e le o malamalama lelei i suiga tetele o faʻamatalaga, ma latou te manaʻomia le fesoasoani a tatou inisinia faʻamatalaga e saunia ai faʻataʻitaʻiga aʻoaʻoga. Na matou filifili e fesoasoani ia matou paaga ma faia ni faʻaoga talafeagai mo suiga masani ma le saunia o foliga mo faʻataʻitaʻiga i luga o le afi Spark. O le a fa'ataga ai oe e fa'aalu le tele o le taimi e atia'e ai fa'ata'ita'iga ae le fa'atali mo enisinia fa'amaumauga e saunia se fa'amaumauga fou.
Matou te faʻafaigaluegaina tagata e iai le poto i vaega eseese: Linux ma DevOps, Hadoop ma Spark, Java ma Spring, Scala ma Akka, OpenShift ma Kubernetes. O le isi taimi o le a tatou talanoa e uiga i le faletusi faʻataʻitaʻiga, pe faʻafefea le faʻataʻitaʻiga i le taamilosaga o le olaga i totonu o le kamupani, pe faʻafefea ona faʻamaonia ma faʻatinoina.
puna: www.habr.com