Mehopolo le liboka mabapi le hore na ke lits'ebetso life tse ling tse ka iketsetsang li hlaha likhoebong tsa boholo bo fapaneng letsatsi le leng le le leng. Empa ho phaella tabeng ea hore nako e ngata e ka sebelisoa ho theha mohlala, u lokela ho e sebelisa ho e hlahloba le ho hlahloba hore na sephetho ha se iketsahalle feela. Ka mor'a ts'ebetsong, mohlala ofe kapa ofe o tlameha ho hlahlojoa le ho hlahlojoa nako le nako.
'Me tsena ke mekhahlelo eohle eo u hlokang ho feta ho eona k'hamphaning efe kapa efe, ho sa tsotelehe boholo ba eona. Haeba re bua ka tekanyo le lefa la Sberbank, palo ea ho lokisoa hantle e eketseha ka potlako. Qetellong ea 2019, Sberbank e ne e se e sebelisitse mefuta e fetang 2000. Ha hoa lekana feela ho hlahisa mohlala, hoa hlokahala ho kopanya le litsamaiso tsa indasteri, ho nts'etsapele marang-rang a data bakeng sa mehlala ea meaho, le ho netefatsa taolo ea ts'ebetso ea ona sehlopheng.
Sehlopha sa rona se nts'etsapele sethala sa Sber.DS. E u lumella ho rarolla mathata a ho ithuta ka mochini, ho potlakisa ts'ebetso ea tlhahlobo ea maikutlo, ha e le hantle e nolofatsa ts'ebetso ea ho nts'etsapele le ho netefatsa mehlala, hape e laola sephetho sa mohlala ho PROM.
E le hore u se ke ua thetsa litebello tsa hau, ke batla ho bolela esale pele hore poso ena ke selelekela, 'me tlas'a sehiloeng, ho qala, e bolelloa ka se hlileng se leng tlas'a sekoti sa sethala sa Sber.DS. Re tla pheta pale ka potoloho ea bophelo ea mohlala ho tloha pōpong ho isa ts'ebetsong ka thoko.
Sber.DS e na le likarolo tse 'maloa, tsa bohlokoa ke laeborari, sistimi ea nts'etsopele, le sistimi ea ts'ebetso ea mohlala.
Laeborari e laola nako ea bophelo ba mohlala ho tloha nakong eo mohopolo oa ho e nts'etsapele o hlahang ho fihlela ts'ebetsong ea eona ho PROM, ho beha leihlo le ho hlakola mosebetsi. Likarolo tse ngata tsa laebrari li laetsoe ke melao ea molaoli, mohlala, ho tlaleha le ho boloka lisampole tsa koetliso le netefatso. Ha e le hantle, ena ke rejisetara ea mehlala eohle ea rona.
Sistimi ea nts'etsopele e reretsoe nts'etsopele ea pono ea mehlala le mekhoa ea netefatso. Mehlala e ntlafalitsoeng e fumana netefatso ea mantlha mme e isoa tsamaisong ea ts'ebetso ho etsa mesebetsi ea bona ea khoebo. Hape, tsamaisong ea ts'ebetso, mohlala o ka behoa holim'a leihlo e le hore nako le nako o qale mekhoa ea ho netefatsa ho laola ts'ebetso ea oona.
Ho na le mefuta e 'maloa ea li-node tsamaisong. Tse ling li etselitsoe ho hokela mehloling e fapaneng ea data, tse ling - ho fetola data ea mohloli le ho e ntlafatsa (markup). Ho na le li-node tse ngata tsa ho aha mefuta e fapaneng le li-node bakeng sa netefatso ea tsona. Moqapi a ka kenya data ho tsoa mehloling efe kapa efe, a fetola, a sefa, a bone data ea mahareng, a e arole likarolo.
Sethala se boetse se na le li-module tse lokiselitsoeng tse ka huleloang sebakeng sa morero. Liketso tsohle li etsoa ho sebelisoa sebopeho se bonahalang. Ha e le hantle, u ka rarolla bothata ntle le mola o le mong oa khoutu.
Haeba bokhoni bo hahelletsoeng bo sa lekana, joale sistimi e fana ka bokhoni ba ho iketsetsa li-module tsa hau kapele. Re entse mokhoa o kopanetsoeng oa nts'etsopele o thehiloeng ho bakeng sa ba etsang li-module tse ncha ho tloha qalong.
Mohaho oa Sber.DS o hahiloe holim'a microservices. Ho na le maikutlo a mangata mabapi le hore na li-microservices ke eng. Batho ba bang ba nahana hore ho lekane ho arola khoutu ea monolithic ka likarolo, empa ba ntse ba ea ho database e tšoanang. Microservice ea rona e tlameha ho buisana le microservice e 'ngoe feela ka REST API. Ha ho na mekhoa ea ho fihlella database ka kotloloho.
Re leka ho thibela lits'ebeletso hore li se ke tsa e-ba kholo haholo le ho ba botsoa: mohlala o le mong ha oa lokela ho ja ho feta 4-8 gigabytes ea RAM 'me o lokela ho khona ho phahamisa likopo ka ho qala maemo a macha. Tšebeletso ka 'ngoe e buisana le ba bang feela ka REST API (). Sehlopha se ikarabellang bakeng sa ts'ebeletso se hlokoa ho boloka API e khutlela morao ho fihlela moreki oa ho qetela ea e sebelisang.
Moko oa kopo o ngotsoe ka Java ho sebelisoa Moralo oa Selemo. Tharollo qalong e ne e etselitsoe ho romelloa ka potlako litsing tsa motheo tsa leru, ka hona ts'ebeliso e hahiloe ho sebelisoa sistimi ea lisebelisoa. (). Sethala se lula se fetoha, ka bobeli mabapi le ts'ebetso e ntseng e eketseha ea khoebo (lihokelo tse ncha, AutoML li eketsoa), le mabapi le katleho ea theknoloji.
E 'ngoe ea "li-chips" tsa sethala sa rona ke hore re ka tsamaisa khoutu e hlahisitsoeng sebopeho sa pono ho sistimi efe kapa efe ea ts'ebetso ea mohlala oa Sberbank. Hona joale ho se ho na le tse peli tsa tsona: e 'ngoe e Hadoop, e' ngoe e ho OpenShift (Docker). Ha re emise moo 'me re theha li-module tsa ho kopanya ho tsamaisa khoutu ho lisebelisoa life kapa life, ho kenyeletsoa sebakeng sa marang-rang le marung. Mabapi le menyetla ea ho kopanya ka katleho ho Sberbank ecosystem, re boetse re rera ho tšehetsa mosebetsi le maemo a teng a nako ea ho sebetsa. Nakong e tlang, tharollo e ka kopanngoa ka mokhoa o feto-fetohang "ho tsoa lebokoseng" ho ea sebakeng leha e le sefe sa mokhatlo ofe kapa ofe.
Ba kileng ba leka ho boloka tharollo e tsamaisang Python ho Hadoop ho PROM ba tseba hore ha hoa lekana ho lokisetsa le ho fana ka tikoloho e tloaelehileng ea python ho datanode ka 'ngoe. Palo e kholo ea lilaebrari tsa C / C ++ bakeng sa ho ithuta ka mochini o sebelisang li-module tsa Python li ke ke tsa u tlohella hore u phomole ka khotso. Ha rea lokela ho lebala ho ntlafatsa liphutheloana ha re eketsa lilaebrari kapa li-server tse ncha, ha re ntse re boloka ho lumellana ka morao le khoutu ea mohlala e seng e kentsoe tšebetsong.
Ho na le mekhoa e mengata ea ho etsa sena. Ka mohlala, lokisetsa lilaebrari tse 'maloa tse sebelisoang khafetsa esale pele 'me u li sebelise ho PROM. Kabo ea Cloudera's Hadoop hangata e sebelisa . Hape hona joale Hadoop ho na le monyetla oa ho matha - lijana. Maemong a mang a bonolo hoa khoneha ho fana ka khoutu hammoho le sephutheloana .
Banka e nka ts'ireletso ea ho tsamaisa khoutu ea motho oa boraro ka botebo, kahoo re sebelisa hamolemo likarolo tse ncha tsa Linux kernel, moo ts'ebetso e sebetsang sebakeng se ka thoko. , o ka thibela, ka mohlala, ho fihlella marang-rang le disk ea sebakeng seo, e leng ho fokotsang haholo monyetla oa khoutu e kotsi. Libaka tsa data tsa lefapha ka leng li sirelelitsoe 'me li fumaneha feela ho beng ba data eo. Sethala se etsa bonnete ba hore data e tsoang sebakeng se le seng e ka kena sebakeng se seng feela ka mokhoa oa ho hatisa data ka taolo ka mekhahlelo eohle ho tloha mehloling ea ho fumana mehloli ho ea ho data ea ho lulisa sebakeng se lebeletsoeng.
Selemong sena re rera ho phethela MVP ea mehlala e sebetsang e ngotsoeng ka Python / R / Java ho Hadoop. Re ipehetse mosebetsi o matla oa ho ithuta ho tsamaisa tikoloho efe kapa efe ea mosebelisi ho Hadoop, e le hore re se ke ra fokotsa basebelisi ba sethala sa rona ka tsela efe kapa efe.
Ho phaella moo, joalokaha ho bile teng, litsebi tse ngata tsa DS li ipabola ka lipalo le lipalo-palo, li etsa mehlala e pholileng, empa ha li tsebe hantle ka liphetoho tse kholo tsa data, 'me li hloka thuso ea lienjiniere tsa rona tsa data ho lokisetsa mehlala ea koetliso. Re nkile qeto ea ho thusa basebetsi-'moho le rona le ho theha li-module tse bonolo bakeng sa phetoho e tloaelehileng le ho hlophisoa ha likarolo bakeng sa mehlala ea enjene ea Spark. Sena se tla lumella nako e ngata hore e sebelisoe ho nts'etsapele mehlala le ho se emele baenjiniere ba data ho lokisa datha e ncha.
Re na le batho ba nang le tsebo libakeng tse fapaneng: Linux le DevOps, Hadoop le Spark, Java le Spring, Scala le Akka, OpenShift le Kubernetes. Nakong e tlang re tla bua ka laebrari ea mehlala, hore na mohlala o feta joang bophelong ba k'hamphani, hore na ho netefatsa le ho kenya ts'ebetsong ho etsahala joang.
Source: www.habr.com