Mipoitra isan'andro ny hevitra sy ny fivoriana momba ny dingana hafa azo automatique amin'ny orinasa isan-karazany. Fa ankoatry ny zava-misy fa be dia be ny fotoana azo lany amin'ny famoronana modely, dia mila mandany izany fanombanana izany sy ny fanamarinana fa ny vokatra dia tsy kisendrasendra. Aorian'ny fampiharana, ny modely rehetra dia tsy maintsy araha-maso sy hojerena tsindraindray.
Ary ireo no dingana rehetra tokony halehanao amin'ny orinasa rehetra, na inona na inona habeny. Raha miresaka momba ny habeny sy ny lovan'ny Sberbank isika, dia mitombo be ny isan'ny fanitsiana tsara. Tamin'ny faran'ny taona 2019, Sberbank dia efa nampiasa modely mihoatra ny 2000. Tsy ampy fotsiny ny mamolavola modely, ilaina ny mitambatra amin'ny rafitra indostrialy, mamolavola toeram-pivarotana data ho an'ny fananganana modely, ary miantoka ny fanaraha-maso ny asany amin'ny cluster.
Mamolavola ny sehatra Sber.DS ny ekipanay. Izany dia ahafahanao mamaha ny olan'ny fianarana milina, manafaingana ny fizotran'ny fitsapana vinavina, amin'ny ankapobeny dia manamora ny fizotran'ny famolavolana sy ny fanamarinana modely, ary koa mifehy ny vokatry ny modely ao amin'ny PROM.
Mba tsy hamitahana ny andrasanao dia tiako ny milaza mialoha fa ity lahatsoratra ity dia fampidirana iray, ary eo ambanin'ny fanapahana, ho fanombohana, dia lazaina momba izay tena eo ambanin'ny saron'ny sehatra Sber.DS. Hilaza ny tantara momba ny tsingerin'ny fiainan'ny modely iray manomboka amin'ny famoronana ka hatramin'ny fampiharana isika.
Ny Sber.DS dia misy singa maromaro, ny lehibe indrindra dia ny tranomboky, ny rafitra fampandrosoana ary ny rafitra famonoana modely.
Ny tranomboky dia mifehy ny tsingerin'ny fiainan'ny modely manomboka amin'ny fotoana hisehoan'ny hevitra hampivelatra azy ka hatramin'ny fampiharana azy ao amin'ny PROM, ny fanaraha-maso ary ny fanafoanana. Ny endri-javatra maro ao amin'ny tranomboky dia voabaikon'ny fitsipiky ny mpandrindra, ohatra, ny tatitra sy ny fitahirizana ny santionany fanofanana sy fanamarinana. Raha ny marina dia rejisitry ny modely rehetra eto amintsika.
Ny rafitra fampandrosoana dia natao ho an'ny fampivoarana maso ny modely sy ny fomba fanamarinana. Ireo modely novolavolaina dia mandalo fanamarinana voalohany ary atolotra amin'ny rafitra famonoana mba hanatanterahana ny asany. Ary koa, ao amin'ny rafitra famonoana, ny modely dia azo apetraka eo amin'ny monitor mba hanombohana tsindraindray ny fomba fanamarinana hifehezana ny asany.
Misy karazana nodes maromaro ao amin'ny rafitra. Ny sasany dia natao hifandray amin'ny loharanom-baovao isan-karazany, ny hafa - mba hanova ny loharanon-kevitra sy hanatsara izany (markup). Misy nodes maro hanamboarana modely isan-karazany sy nodes ho an'ny fanamarinana azy ireo. Ny mpamorona dia afaka mameno ny angona avy amin'ny loharano rehetra, manova, manivana, mijery angon-drakitra manelanelana, mizara izany ho ampahany.
Ny sehatra ihany koa dia misy modules efa vita izay azo taritina mankany amin'ny faritry ny tetikasa. Ny hetsika rehetra dia atao amin'ny fampiasana interface tsara. Raha ny marina, afaka mamaha ny olana ianao raha tsy misy fehezan-dalΓ na tokana.
Raha tsy ampy ny fahaiza-manao naorina, ny rafitra dia manome fahafahana hamorona haingana ny modules anao manokana. Nanao fomba fampandrosoana mitambatra mifototra amin'ny ho an'ireo izay mamorona modules vaovao hatrany am-boalohany.
Ny maritrano Sber.DS dia naorina amin'ny microservices. Betsaka ny hevitra momba ny atao hoe microservice. Ny olona sasany dia mihevitra fa ampy ny manasaraka ny kaody monolithic ho ampahany, fa mbola mandeha any amin'ny tahiry iray ihany. Ny microservice dia tsy maintsy mifandray amin'ny microservice hafa raha tsy amin'ny alΓ lan'ny REST API. Tsy misy vahaolana ahafahana miditra mivantana amin'ny angon-drakitra.
Miezaka ny mitazona ny serivisy tsy ho lasa lehibe sy malaina izahay: ny tranga tokana dia tsy tokony handany mihoatra ny 4-8 gigabytes RAM ary tokony ho afaka manenjana ny fangatahana amin'ny alΓ lan'ny fandefasana tranga vaovao. Ny serivisy tsirairay dia mifandray amin'ny hafa amin'ny alΓ lan'ny REST API (). Ny ekipa tompon'andraikitra amin'ny serivisy dia takiana amin'ny fitazonana ny API mihemotra mandra-pahatongan'ny mpanjifa farany mampiasa azy.
Ny fototry ny fampiharana dia nosoratana tamin'ny Java mampiasa ny Spring Framework. Ny vahaolana dia natao tany am-boalohany ho an'ny fametrahana haingana ao amin'ny fotodrafitrasa rahona, ka ny fampiharana dia natsangana tamin'ny alΓ lan'ny rafitra containerization (). Tsy mitsaha-mivoatra ny sehatra, na eo amin'ny sehatry ny fampitomboana ny fampandehanan-draharaha (fampifandraisan-davitra vaovao, ampiana ny AutoML), na amin'ny lafiny fahombiazan'ny teknolojia.
Ny iray amin'ireo "chips" amin'ny sehatra misy antsika dia ny ahafahantsika mampandeha ny kaody novolavolaina amin'ny interface visual amin'ny rafitra famonoana modely Sberbank. Efa misy roa amin'izy ireo izao: ny iray ao amin'ny Hadoop, ny iray amin'ny OpenShift (Docker). Tsy mijanona eo izahay ary mamorona mΓ΄dΓ΄ fampidirana hampandeha ny kaody amin'ny fotodrafitrasa rehetra, ao anatin'izany ny eo an-toerana sy ny rahona. Mikasa ny hanohana ny asa miaraka amin'ny tontolon'ny fotoam-pivoriana efa misy ihany koa izahay raha ny amin'ny fahafaha-miditra mahomby amin'ny tontolo iainana Sberbank. Amin'ny ho avy, ny vahaolana dia azo ampidirina amin'ny fomba malefaka "avy amin'ny boaty" amin'ny tontolon'ny fikambanana rehetra.
Ireo izay efa nanandrana nitazona vahaolana mampandeha Python amin'ny Hadoop ao amin'ny PROM dia mahafantatra fa tsy ampy ny manomana sy manolotra tontolo python mahazatra ho an'ny datanode tsirairay. Betsaka ny tranomboky C / C ++ ho an'ny fianarana milina izay mampiasa maody Python dia tsy hamela anao hiala sasatra. Tsy tokony hohadinointsika ny manavao ny fonosana rehefa manampy tranomboky na lohamilina vaovao, ary mitazona ny mifanaraka aoriana amin'ny kaody modely efa nampiharina.
Misy fomba maro ahafahana manao izany. Ohatra, manomana trano famakiam-boky maro ampiasaina matetika ary ampiharo amin'ny PROM. Matetika ny fizarana Hadoop an'i Cloudera no ampiasaina . Amin'izao fotoana izao ao Hadoop dia misy fahafahana mihazakazaka - kaontenera. Amin'ny tranga tsotra dia azo atao ny manatitra ny kaody miaraka amin'ny fonosana .
Ny banky dia mandray tsara ny fiarovana amin'ny fampandehanana ny kaody antoko fahatelo, noho izany dia mampiasa ny ankamaroan'ny endri-javatra vaovao amin'ny kernel Linux izahay, izay misy dingana mandeha amin'ny tontolo mitokana. , azonao atao ny mametra, ohatra, ny fidirana amin'ny tambajotra sy ny kapila eo an-toerana, izay mampihena be ny mety hisian'ny kaody ratsy. Ny faritra misy angon-drakitra ao amin'ny departemanta tsirairay dia arovana ary azon'ny tompon'ny data ihany no azon'izy ireo. Ny sehatra dia miantoka fa ny angon-drakitra avy amin'ny sehatra iray dia tsy afaka miditra amin'ny sehatra hafa afa-tsy amin'ny alΓ lan'ny fizotran'ny famoahana angon-drakitra miaraka amin'ny fanaraha-maso amin'ny dingana rehetra manomboka amin'ny fidirana loharano mankany amin'ny fampidinana angona ao amin'ny tsena kendrena.
Amin'ity taona ity dia mikasa ny hamita ny MVP amin'ny modely mihazakazaka voasoratra amin'ny Python/R/Java ao amin'ny Hadoop izahay. Nametraka ny tenanay izahay ny asa fatra-paniry laza amin'ny fianarana ny fomba fitantanana ny tontolon'ny mpampiasa rehetra ao amin'ny Hadoop, mba tsy hamerana ny mpampiasa ny sehatray amin'ny fomba rehetra.
Ho fanampin'izay, araka ny hita, manam-pahaizana manokana momba ny DS maro no mahay matematika sy antontan'isa, manao maodely mangatsiatsiaka, nefa tsy dia mahay loatra amin'ny fanovana data lehibe, ary mila ny fanampian'ny injeniera momba ny angona izahay hanomana santionany fanofanana. Nanapa-kevitra ny hanampy ny mpiara-miasa izahay ary hamorona maody mety ho an'ny fanovana mahazatra sy ny fanomanana ny endri-javatra ho an'ny maodely amin'ny motera Spark. Izany dia hanome fotoana bebe kokoa hatokana amin'ny famolavolana modely ary tsy miandry ny injeniera data hanomana angona vaovao.
Manana olona manana fahalalana amin'ny sehatra samihafa izahay: Linux sy DevOps, Hadoop sy Spark, Java sy Spring, Scala sy Akka, OpenShift ary Kubernetes. Amin'ny manaraka dia hiresaka momba ny tranombokin'ny modely isika, ny fomba fandehanan'ny modely amin'ny tsingerin'ny fiainana ao anatin'ny orinasa, ny fomba fanatanterahana ny fanamarinana sy ny fampiharana.
Source: www.habr.com