🥇Ho sebelisa khoutu e tlase sethaleng sa tlhahlobo

Babali ba ratehang, letsatsi le letle!

Mosebetsi oa ho aha li-platform tsa IT bakeng sa ho bokella le ho sekaseka lintlha kapele kapa hamorao o hlaha bakeng sa k'hamphani efe kapa efe eo khoebo ea eona e ipapisitseng le mohlala oa phano ea litšebeletso tse laoloang ka bohlale kapa tlhahiso ea lihlahisoa tse rarahaneng tsa tekheniki. Ho aha li-platform tsa tlhahlobo ke mosebetsi o rarahaneng le o nkang nako. Leha ho le joalo, mosebetsi ofe kapa ofe o ka nolofatsoa. Sehloohong sena ke batla ho arolelana phihlelo ea ka ea ho sebelisa lisebelisoa tse tlaase tsa khoutu ho thusa ho etsa litharollo tsa tlhahlobo. Phihlelo ena e ile ea fumanoa nakong ea ts'ebetsong ea merero e mengata ka tataiso ea Big Data Solutions ea k'hamphani ea Neoflex. Ho tloha 2005, tataiso ea Big Data Solutions ea Neoflex e 'nile ea sebetsana le litaba tsa ho haha libaka tsa polokelo ea data le matša, ho rarolla mathata a ho ntlafatsa lebelo la ts'ebetso ea tlhahisoleseding le ho sebetsa ka mokhoa oa ho laola boleng ba data.

Ha ho motho ea tla khona ho qoba ho bokella lintlha tse fokolang le/kapa tse hlophisitsoeng ka matla. Mohlomong le ha re bua ka likhoebo tse nyane. Ha e le hantle, ha a eketsa khoebo, mohoebi ea tšepisang o tla tobana le litaba tsa ho theha lenaneo la botšepehi, o tla batla ho hlahloba katleho ea lintlha tsa thekiso, o tla nahana ka papatso e lebisitsoeng, 'me o tla makatsoa ke tlhokahalo ea lihlahisoa tse tsamaeang le tsona. . Ho ea ho tekanyo ea pele, bothata bo ka rarolloa "ka lengole". Empa ha khoebo e ntse e hola, ho tla sethaleng sa tlhahlobo ho ntse ho sa qojoe.

Leha ho le joalo, ke maemong afe moo mesebetsi ea analytics ea data e ka bang mathata a sehlopha sa "Rocket Science"? Mohlomong hona joale ha re bua ka data e kholo haholo.
Ho nolofatsa Rocket Science, o ka ja tlou ka sengoathoana.

Ha lits'ebetso / lits'ebeletso / li-microservices tsa hau li le bonolo ebile li ikemela, ho tla ba bonolo ho uena, basebetsi-'moho le uena le khoebo eohle ho cheka tlou.

Hoo e ka bang bareki bohle ba rona ba ile ba tla molemong ona, ka mor'a hore ba tsosolose naha ho latela mekhoa ea boenjiniere ea lihlopha tsa DevOps.

Empa leha re e-na le "dijo tse arohaneng, tsa tlou", re na le monyetla o motle oa "oversaturation" ea sebaka sa IT. Ka nako ena ho loketse ho emisa, ho phefumoloha le ho sheba ka lehlakoreng sethala sa boenjiniere sa khoutu e tlase.

Bahlahisi ba bangata ba tšosoa ke tebello ea ho shoa ha bona mosebetsing oa bona ha ba tloha ho tloha ho ngola khoutu ka ho toba ho ea ho "hula" metsu ka har'a li-interface tsa UI tsa litsamaiso tsa khoutu e tlase. Empa ho fihla ha lisebelisoa tsa mochine ha hoa ka ha lebisa ho nyamela ha baenjiniere, empa ho ile ha tlisa mosebetsi oa bona boemong bo bocha!

A re bone lebaka.

Tlhahlobo ea data lebaleng la thepa, indasteri ea mehala, lipatlisiso tsa media, lekala la lichelete le lula le amahanngoa le lipotso tse latelang:

Lebelo la tlhahlobo ea othomathiki;
Bokhoni ba ho etsa liteko ntle le ho ama phallo e kholo ea tlhahiso ea data;
Ho tšepahala ha data e lokiselitsoeng;
Fetola tatellano le phetolelo;
Bopaki ba data, Lethathamo la data, CDC;
Phano e potlakileng ea likarolo tse ncha tikolohong ea tlhahiso;
Le tse tummeng hampe: litšenyehelo tsa nts'etsopele le ts'ehetso.

Ke hore, baenjiniere ba na le palo e kholo ea mesebetsi ea maemo a holimo, e ka phethoang ka katleho e lekaneng feela ka ho hlakola tsebo ea bona ea mesebetsi ea boemo bo tlase ba nts'etsopele.

Litlhoko tsa pele tsa hore bahlahisi ba fetele boemong bo bocha e ne e le ho iphetola ha lintho le ho etsa dijithale khoebong. Boleng ba moqapi le bona bo ntse bo fetoha: ho na le khaello e kholo ea batho ba ntlafatsang ba ka ikakhelang ka setotsoana mehopolong ea hore khoebo e iketsetsa eona.

Ha re etse papiso ka lipuo tsa maemo a tlase le tsa maemo a holimo. Phetoho ho tloha lipuong tsa boemo bo tlase ho ea ho tse maemong a holimo ke phetoho ea ho ngola "litaelo tse tobileng ka puo ea Hardware" ho ea ho "litaelo ka puo ea batho". Ke hore, ho eketsa karolo e itseng ea abstraction. Tabeng ena, ho fetela ho li-platform tse nang le mekhoa e tlaase ho tloha lipuong tsa maemo a holimo ke phetoho ho tloha "litaelo ka puo ea batho" ho ea ho "litaelo ka puo ea khoebo." Haeba ho na le bahlahisi ba utloisoang bohloko ke taba ena, joale ba utloile bohloko, mohlomong, ho tloha ha Java Script e tsoaloa, e sebelisang mesebetsi e mengata ea ho hlophisa. 'Me mesebetsi ena, ehlile, e na le ts'ebetso ea software tlasa hood ka mekhoa e meng ea lenaneo le ts'oanang la maemo a holimo.

Ka hona, khoutu e tlase ke ponahalo feela ea boemo bo bong ba ho ikhula.

Boiphihlelo bo sebelisitsoeng ho sebelisa khoutu e tlase

Sehlooho sa khoutu e tlase se pharaletse haholo, empa joale ke rata ho bua ka ts'ebeliso e sebetsang ea "likhopolo tse tlase" ke sebelisa mohlala oa e 'ngoe ea merero ea rona.

The Big Data Solutions karohano ea Neoflex e sebetsa ka ho khetheha lefapheng la lichelete tsa khoebo, ho haha libaka tsa polokelo ea boitsebiso le matša le ho iketsetsa litlaleho tse sa tšoaneng. Sebakeng sena, tšebeliso ea khoutu e tlase e se e le nako e telele e le mokhoa o tloaelehileng. Har'a lisebelisoa tse ling tse tlaase, re ka bua ka lisebelisoa tsa ho hlophisa mekhoa ea ETL: Informatica Power Center, IBM Datastage, Pentaho Data Integration. Kapa Oracle Apex, e sebetsang e le tikoloho bakeng sa nts'etsopele e potlakileng ea li-interfaces bakeng sa ho fihlella le ho hlophisa data. Leha ho le joalo, tšebeliso ea lisebelisoa tsa ntshetsopele ea khoutu e tlaase hase kamehla e kenyelletsang ho haha likopo tse lebisitsoeng haholo ho stack ea theknoloji ea khoebo e itšetlehileng ka ho hlaka ho morekisi.

U sebelisa li-platform tsa khoutu e tlase, u ka hlophisa ho hlophisoa ha phallo ea data, ho etsa li-platform tsa mahlale a data kapa, mohlala, li-module tsa ho hlahloba boleng ba data.

E 'ngoe ea mehlala e sebelisitsoeng ea phihlelo ea ho sebelisa lisebelisoa tsa ntlafatso ea khoutu e tlaase ke tšebelisano pakeng tsa Neoflex le Mediascope, e mong oa baeta-pele ba marakeng a lipatlisiso tsa mecha ea litaba ea Russia. E 'ngoe ea merero ea khoebo ea k'hamphani ena ke tlhahiso ea data motheong oa hore baphatlalatsi, li-platform tsa Inthanete, liteishene tsa TV, liteishene tsa seea-le-moea, mekhatlo ea papatso le lihlahisoa li etsa liqeto mabapi le ho reka lipapatso le ho rera lipuisano tsa bona tsa papatso.

Patlisiso ea mecha ea litaba ke sebaka sa khoebo se jereng theknoloji. Ho lemoha tatelano ea video, ho bokella lintlha ho lisebelisoa tse hlahlobang ho shebella, ho lekanya mesebetsi ho lisebelisoa tsa marang-rang - sena sohle se bolela hore k'hamphani e na le basebetsi ba bangata ba IT le phihlelo e kholo ea ho haha litharollo tsa tlhahlobo. Empa kholo e kholo ea palo ea tlhahisoleseling, palo le mefuta e fapaneng ea mehloli ea eona e qobella indasteri ea data ea IT hore e tsoele pele kamehla. Tharollo e bonolo ka ho fetisisa ea ho eketsa sethala sa tlhahlobo sa Mediascope se seng se ntse se sebetsa e ka ba ho eketsa basebetsi ba IT. Empa tharollo e sebetsang haholoanyane ke ho potlakisa ts'ebetso ea nts'etsopele. E 'ngoe ea mehato e etellang pele ntlheng ena e kanna ea ba ts'ebeliso ea li-platform tsa khoutu e tlase.

Ha morero o qala, k'hamphani e ne e se e ntse e na le tharollo ea sehlahisoa se sebetsang. Leha ho le joalo, ts'ebetsong ea tharollo ho MSSQL e ne e sitoa ho finyella ka botlalo litebello tsa ts'ebetso ea ho eketsa ts'ebetso ha ho ntse ho boloka litšenyehelo tse amohelehang tsa tsoelo-pele.

Mosebetsi o ka pele ho rona e ne e le takatso e matla - Neoflex le Mediascope ba ile ba tlameha ho theha tharollo ea indasteri ka nako e ka tlase ho selemo, ho itšetlehile ka ho lokolloa ha MVP nakong ea kotara ea pele ea letsatsi la ho qala.

Theknoloji ea Hadoop e khethiloe e le motheo oa ho aha sethala se secha sa data se thehiloeng ho komporo ea khoutu e tlase. HDFS e fetohile mokhoa oa ho boloka data ho sebelisa lifaele tsa parquet. Ho fihlella lintlha tse fumanehang sethaleng, Hive e sebelisitsoe, eo ho eona litoro tsohle tse fumanehang li hlahisoa ka mokhoa oa litafole tse kantle. Ho kenya data polokelong ho ile ha sebelisoa Kafka le Apache NiFi.

Sesebelisoa sa "Lowe-code" mohopolong ona se ile sa sebelisoa ho ntlafatsa mosebetsi o boima ka ho fetisisa oa ho aha sethala sa tlhahlobo - mosebetsi oa ho bala data.

Sesebelisoa sa datagram se tlase se khethiloe e le mokhoa o ka sehloohong oa ho etsa 'mapa oa data. Neoflex Datagram ke sesebelisoa sa ho ntlafatsa liphetoho le phallo ea data.
U sebelisa sesebelisoa sena, u ka etsa ntle le ho ngola khoutu ea Scala ka letsoho. Khoutu ea Scala e hlahisoa ka bo eona ho sebelisoa mokhoa oa Model Driven Architecture.

Molemo o totobetseng oa mokhoa ona ke ho potlakisa ts'ebetso ea tsoelo-pele. Leha ho le joalo, ntle le lebelo, ho boetse ho na le melemo e latelang:

Ho sheba litaba le sebopeho sa mehloli / baamoheli;
Ho latela tšimoloho ea lintho tsa phallo ea data ho masimo a motho ka mong (leloko);
Phethahatso e sa fellang ea liphetoho ka ho shebella liphetho tsa mahareng;
Ho hlahloba khoutu ea mohloli le ho e lokisa pele e etsoa;
Netefatso ea boiketsetso ea liphetoho;
Khoasolla data ka boits'oaro 1 ho 1.

Tšitiso ea ho kena litharollong tsa khoutu e tlase bakeng sa ho hlahisa liphetoho e tlase haholo: mohlahlami o hloka ho tseba SQL mme a be le boiphihlelo ba ho sebetsa ka lisebelisoa tsa ETL. Ho bohlokoa ho bolela hore lijenereithara tsa phetoho tse tsamaisoang ke khoutu ha se lisebelisoa tsa ETL ka kutloisiso e pharaletseng ea lentsoe. Lisebelisoa tsa likhoutu tse tlase li kanna tsa se be le tikoloho ea tsona ea ts'ebetso ea khoutu. Ke hore, khoutu e hlahisitsoeng e tla etsoa tikolohong e neng e le teng sehlopheng le pele ho kenya tharollo ea khoutu e tlaase. Mme mohlomong ena ke tlatsetso e 'ngoe bakeng sa karma ea khoutu e tlase. Kaha, ka ho tsamaisana le sehlopha sa khoutu e tlase, sehlopha sa "classic" se ka sebetsa se sebelisang ts'ebetso, mohlala, ka khoutu e hloekileng ea Scala. Ho tlisa lintlafatso tse tsoang lihlopheng ka bobeli tlhahisong ho tla ba bonolo ebile ho sa tsitsa.

Mohlomong ke habohlokoa ho hlokomela hore ho phaella ho khoutu e tlaase, ho boetse ho na le litharollo tse se nang khoutu. 'Me molemong oa bona, tsena ke lintho tse fapaneng. Khoutu e tlase e lumella moqapi ho kena-kenana le khoutu e hlahisitsoeng haholoanyane. Tabeng ea Datagram, hoa khoneha ho sheba le ho hlophisa khoutu ea Scala e hlahisitsoeng; no-code e ka 'na ea se ke ea fana ka monyetla o joalo. Phapang ena ke ea bohlokoa haholo eseng feela ka ho feto-fetoha ha tharollo, empa hape le ka matšeliso le tšusumetso mosebetsing oa baenjiniere ba data.

Mehaho ea tharollo

Ha re leke ho fumana hantle hore na sesebelisoa sa khoutu e tlase se thusa joang ho rarolla bothata ba ho ntlafatsa lebelo la ho nts'etsapele ts'ebetso ea lipalo tsa data. Taba ea pele, a re shebeng meralo ea ts'ebetso ea sistimi. Mohlala tabeng ena ke mohlala oa tlhahiso ea data bakeng sa lipatlisiso tsa mecha ea litaba.

Mehloli ea data molemong oa rona e fapane haholo ebile e fapane:

People metres (TV metres) ke lisebelisoa tsa software le hardware tse balang boitšoaro ba mosebedisi ho tsoa ho ba arabelang phanele ea thelevishene - hore na ke mang, neng le hore na kanale ea TV e shebelletsoe neng lelapeng le nkang karolo thutong. Lintlha tse fanoeng ke letoto la linako tsa ho shebella khaso tse amanang le sephutheloana sa media le sehlahisoa sa media. Lintlha tse sethaleng sa ho kenngoa Letšeng la Data li ka ntlafatsoa ka litšobotsi tsa batho, geostratification, sebaka sa nako le lintlha tse ling tse hlokahalang bakeng sa ho hlahloba ho shebella thelevishene ka sehlahisoa se itseng sa mecha ea litaba. Litekanyo tse nkiloeng li ka sebelisoa ho sekaseka kapa ho rera matšolo a papatso, ho lekola tšebetso le likhetho tsa bamameli, le ho hlophisa marang-rang a khaso;
Lintlha li ka tsoa lits'ebetsong tsa ho beha leihlo bakeng sa ho hasanya liphatlalatso tsa thelevishene le ho lekanya pono ea litaba tsa mehloli ea video ho Internet;
Lisebelisoa tsa ho metha tikolohong ea tepo, ho kenyeletsoa limithara tse bohareng ba sebaka sa marang-rang le tse bohareng ba basebelisi. Mofani oa data bakeng sa Data Lake e ka ba sebatli sa sebatli sa lipatlisiso le sesebelisoa sa mohala se nang le VPN e hahelletsoeng.
Lintlha li ka boela tsa tsoa libakeng tse kopanyang liphetho tsa ho tlatsa lipotso tsa inthaneteng le liphetho tsa lipuisano tsa thelefono liphuputsong tsa lik'hamphani;
Ntlafatso e eketsehileng ea letša la data e ka etsahala ka ho khoasolla tlhahisoleseling ho tsoa ho li-log tsa lik'hamphani tsa balekane.

Ts'ebetsong ea as is loading ho tloha lits'ebetsong tsa mohloli ho ea sethaleng sa mantlha sa data e tala e ka hlophisoa ka mekhoa e fapaneng. Haeba khoutu e tlase e sebelisetsoa merero ena, ho ka khoneha ho hlahisa mangolo a mangata a thehiloeng ho metadata. Tabeng ena, ha ho hlokahale hore u theohele boemong ba mohloli o tsoelang pele ho lebisa tlhokomelo ea 'mapa. Ho kenya ts'ebetsong ea ho jarolla ka mokhoa o itekanetseng, re hloka ho theha khokahanyo mohloling, ebe re hlalosa ka har'a sebopeho sa ho kenya lenane la mekhatlo e lokelang ho jarisoa. Sebopeho sa li-directory ho HDFS se tla bōptjoa ka mokhoa o ikemetseng 'me se tla lumellana le sebopeho sa polokelo ea data tsamaisong ea mohloli.

Leha ho le joalo, moelelong oa morero ona, re ile ra etsa qeto ea hore re se ke ra sebelisa tšobotsi ena ea sethaleng sa khoutu e tlaase ka lebaka la hore k'hamphani ea Mediascope e se e qalile ka boithaopo ho hlahisa tšebeletso e tšoanang ho sebelisa motsoako oa Nifi + Kafka.

Ke habohlokoa ho bontša hang-hang hore lisebelisoa tsena ha li fetohe, empa li tlatselletsana. Nifi le Kafka ba khona ho sebetsa ka bobeli ka kotloloho (Nifi -> Kafka) le ka morao (Kafka -> Nifi) khokahano. Bakeng sa sethaleng sa lipatlisiso tsa mecha ea litaba, ho ile ha sebelisoa phetolelo ea pele ea bongata.

Tabeng ea rona, NayFi o ne a hloka ho sebetsana le mefuta e fapaneng ea data ho tsoa litsing tsa mohloli ebe o e romela ho morekisi oa Kafka. Tabeng ena, melaetsa e rometsoe sehloohong se itseng sa Kafka ho sebelisoa li-processor tsa PublishKafka Nifi. Tlhophiso le tlhokomelo ea liphaephe tsena li etsoa ka sebopeho sa pono. Sesebelisoa sa Nifi le tšebeliso ea motsoako oa Nifi + Kafka e ka boela ea bitsoa mokhoa o tlaase oa khoutu ea tsoelo-pele, e nang le tšitiso e tlaase ea ho kena theknoloji ea Big Data le ho potlakisa ts'ebetso ea ntlafatso ea kopo.

Mohato o latelang ts'ebetsong ea morero e ne e le ho tlisa lintlha tse qaqileng ho sebopeho se le seng sa semantic layer. Haeba mokhatlo o na le litšobotsi tsa nalane, lipalo li etsoa ho latela karohano eo ho buuoang ka eona. Haeba mokhatlo e se oa histori, joale ho ka khoneha ho bala hape litaba tsohle tsa ntho, kapa ho hana ka ho feletseng ho bala ntho ena (ka lebaka la ho hloka liphetoho). Mothating ona, linotlolo li etsoa bakeng sa mekhatlo eohle. Linotlolo li bolokiloe ho li-directory tsa Hbase tse tsamaellanang le lintho tse hloahloa, tse nang le ngollano lipakeng tsa linotlolo sethaleng sa tlhahlobo le linotlolo tse tsoang lits'ebetsong tsa mohloli. Ho kopanngoa ha mekhatlo ea athomo ho tsamaisana le ho ntlafatsa ka liphello tsa ho balloa pele ha lintlha tsa tlhahlobo. Moralo oa ho bala data e ne e le Spark. Ts'ebetso e hlalositsoeng ea ho tlisa data ho semantics e le 'ngoe e ile ea boela ea kenngoa ts'ebetsong ho ipapisitse le limmapa tse tsoang sesebelisoa sa datagram sa khoutu e tlase.

Moralo o reriloeng o ne o hloka phihlello ea SQL ho data bakeng sa basebelisi ba khoebo. Hive e ne e sebelisetsoa khetho ena. Lintho li ngolisoa ho Hive ka bo eona ha u nolofalletsa khetho ea "Registr Hive Table" sesebelisoa sa khoutu e tlase.

Taolo ea phallo ea lipalo

Datagram e na le sebopeho sa ho theha meralo ea phallo ea mosebetsi. Limmapa li ka hlahisoa ho sebelisoa sehlophisi sa Oozie. Sehokelong sa stream developer, hoa khonahala ho theha merero bakeng sa liphetoho tsa data tse tšoanang, tse latellanang, kapa tse itšetlehileng ka ts'ebetso. Ho na le ts'ehetso ea li-shell scripts le mananeo a java. Hape hoa khoneha ho sebelisa seva sa Apache Livy. Apache Livy e sebelisoa ho tsamaisa lits'ebetso ka kotloloho ho tsoa tikolohong ea nts'etsopele.

Haeba k'hamphani e se e ntse e e-na le "orchestrator" ea eona, hoa khoneha ho sebelisa REST API ho kenya 'mapa ho phallo e teng. Mohlala, re bile le boiphihlelo bo atlehileng ba ho kenya 'mapa ho Scala ho libini tsa liletsa tse ngotsoeng ka PLSQL le Kotlin. REST API ea sesebelisoa sa khoutu e tlase e kenyelletsa ts'ebetso e kang ho hlahisa selemo se ka sebetsoang ho ipapisitsoe le moralo oa 'mapa, ho bitsa 'mapa, ho bitsa tatellano ea limmapa, 'me, ehlile, ho fetisa liparamente ho URL ho tsamaisa limmapa.

Hammoho le Oozie, hoa khoneha ho hlophisa phallo ea lipalo ho sebelisa Airflow. Mohlomong nke ke ka lula nako e telele papisong ea Oozie le Airflow, empa ke tla bolela feela hore moelelong oa mosebetsi oa morero oa lipatlisiso tsa mecha ea litaba, khetho e ile ea oela molemong oa Airflow. Likhang tsa mantlha nakong ena e ne e le sechaba se mafolofolo ho nts'etsapele sehlahisoa le sebopeho se ntlafalitsoeng haholoanyane + API.

Airflow e boetse e ntle hobane e sebelisa Python e ratoang ho hlalosa mekhoa ea lipalo. 'Me ka kakaretso, ha ho na liforomo tse ngata tse bulehileng tsa tsamaiso ea mosebetsi. Ho qala le ho lekola ts'ebetso ea lits'ebetso (ho kenyeletsoa le chate ea Gantt) ho eketsa lintlha feela ho karma ea Airflow.

Sebopeho sa faele sa tlhophiso bakeng sa ho qala limmapa tsa tharollo ea khoutu e tlase e se e le spark-submit. Sena se etsahetse ka mabaka a mabeli. Taba ea pele, spark-submit e u lumella ho tsamaisa faele ea nkho ka kotloloho ho tsoa ho console. Taba ea bobeli, e ka ba le tlhaiso-leseling eohle e hlokahalang ho hlophisa phallo ea mosebetsi (e etsang hore ho be bonolo ho ngola mangolo a hlahisang Dag).
Ntho e tloaelehileng ka ho fetisisa ea Airflow workflow molemong oa rona e ne e le SparkSubmitOperator.

SparkSubmitOperator e u lumella ho tsamaisa linkho - limmapa tsa Datagram tse pakiloeng tse nang le li-parameter tse kentsoeng esale pele bakeng sa tsona.

Ho bohlokoa ho bolela hore mosebetsi o mong le o mong oa Airflow o tsamaea ka khoele e arohaneng mme ha o tsebe letho ka mesebetsi e meng. Ka hona, tšebelisano lipakeng tsa mesebetsi e etsoa ho sebelisoa li-opereishene tsa taolo, joalo ka DummyOperator kapa BranchPythonOperator.

Ha li kopantsoe hammoho, tšebeliso ea tharollo ea khoutu e tlase ea Datagram hammoho le ho kopanya lifaele tsa tlhophiso (ho theha Dag) ho lebisitse ho potlakiso e kholo le ho nolofatsa mokhoa oa ho nts'etsapele phallo ea phallo ea data.

Pontšo ea lipalo

Mohlomong mohato o nang le kelello ka ho fetisisa tlhahisong ea lintlha tsa tlhahlobo ke mohato oa ho haha lipontšo. Boemong ba e 'ngoe ea lipalo tsa k'hamphani ea lipatlisiso e phallang, mothating ona, data e fokotsoa hore e be phatlalatso ea litšupiso, ho nahanoa ka litokiso bakeng sa libaka tsa nako le ho amahanngoa le marang-rang a phatlalatso. Hape hoa khoneha ho ikamahanya le marang-rang a khaso ea lehae (litaba tsa lehae le papatso). Har'a tse ling, mohato ona o senya nako ea ho shebella ho tsoelang pele ha lihlahisoa tsa mecha ea litaba ho latela tlhahlobo ea linako tsa ho shebella. Hang-hang, litekanyetso tsa ho shebella li "imetsoe" ho itšetlehile ka boitsebiso bo mabapi le bohlokoa ba tsona (palo ea ntlha ea tokiso).

Mohato o fapaneng oa ho hlophisa lipontšo ke netefatso ea data. Algorithm ea ho netefatsa e kenyelletsa tšebeliso ea mefuta e mengata ea mahlale a lipalo. Leha ho le joalo, ts'ebeliso ea sethala sa li-code tse tlase se u lumella ho senya algorithm e rarahaneng ho etsa limmapa tse ngata tse arohaneng tse ka baloang. E 'ngoe le e' ngoe ea limmapa e etsa mosebetsi o moqotetsane. Ka lebaka leo, ho ka khoneha ho rarolla mathata a mahareng, ho rengoa ha lifate le ho bona methati ea ho lokisoa ha data.

Ho ile ha etsoa qeto ea ho khetholla algorithm ea netefatso ka mekhahlelo e latelang:

Ho aha likhaello tsa lits'episo tsa ho shebella marang-rang a TV sebakeng se nang le pono ea marang-rang ohle sebakeng seo ka matsatsi a 60.
Palo ea masala a ithutoang (liphapang tsa boleng ba 'nete ho tsoa ho tse boletsoeng esale pele ke mohlala oa regression) bakeng sa lintlha tsohle tsa maemo le bakeng sa letsatsi le baliloeng.
Khetho ea li-pair tsa marang-rang tse makatsang, moo tekanyo ea baithuti ea letsatsi la ho lefa e fetang tloaelo (e boletsoeng ke litlhophiso tsa ts'ebetso).
Recalculation of corrected student residual for anomalous region-TV network pairs for each aanswered who watch the network in the region, thola monehelo oa mohanyetsi enoa (chelete ea phetoho ho masalla a seithuti) ha ho sa kenyeletsoe ho shejoa ha mohanyetsi enoa ho tsoa sampoleng. .
Batla bakhethoa bao ho tlosoa ha bona ho khutlisetsang tekanyo ea liithuti tsa letsatsi la moputso setloaeleng.

Mohlala o ka holimo o tiisa khopolo-taba ea hore moenjiniere oa data o se a ntse a e-na le lintho tse ngata haholo kelellong ea hae ... 'Me, haeba sena e hlile e le "moenjiniere" eseng "coder," joale tšabo ea ho senyeha ha setsebi ha a sebelisa lisebelisoa tse tlaase tsa khoutu. e tlameha ho ikhula qetellong.

Ke eng hape e ka etsang li-code tse tlase?

Bophahamo ba ts'ebeliso ea sesebelisoa sa khoutu e tlase bakeng sa batch le ho tsamaisa data ntle le tlhoko ea ho ngola khoutu ho Scala ha e felle moo.

Tšebeliso ea khoutu e tlase ho nts'etsopele ea datalake e se e fetohile tekanyetso ho rona. Mohlomong re ka re litharollo tse thehiloeng ho stack ea Hadoop li latela tsela ea nts'etsopele ea li-DWH tsa khale tse thehiloeng ho RDBMS. Lisebelisoa tsa khoutu e tlase ho stack ea Hadoop li ka rarolla mesebetsi e 'meli ea ts'ebetso ea data le mosebetsi oa ho aha li-interface tsa BI tsa ho qetela. Ho feta moo, hoa lokela ho hlokomeloa hore BI e ka bolela eseng feela setšoantšo sa data, empa hape le ho hlophisoa ha eona ke basebelisi ba khoebo. Hangata re sebelisa ts'ebetso ena ha re theha sethala sa tlhahlobo bakeng sa lekala la lichelete.

Har'a lintho tse ling, ho sebelisa khoutu e tlaase le, haholo-holo, Datagram, ho ka khoneha ho rarolla bothata ba ho latela tšimoloho ea lintho tse phallang ka athomo ho ea masimong ka bomong (leloko). Ho etsa sena, sesebelisoa sa khoutu e tlase se sebelisa sebopeho se nang le Apache Atlas le Cloudera Navigator. Ha e le hantle, moqapi o hloka ho ngolisa sehlopha sa lintho ka har'a dikishinari ea Atlas le ho supa lintho tse ngolisitsoeng ha a etsa 'mapa. Mochine oa ho latela tšimoloho ea data kapa ho hlahloba lintho tse itšetlehileng ka ntho e boloka nako e ngata ha ho hlokahala ho etsa lintlafatso ho li-algorithms tsa lipalo. Ka mohlala, ha u lokisetsa litlaleho tsa lichelete, tšobotsi ena e u lumella ho phela ka boiketlo nakong ea liphetoho tsa molao. Ntle le moo, ha re ntse re utloisisa hamolemo ho its'etleha ha li-inter-form moemong oa lintho tsa lera le qaqileng, re tla kopana le mefokolo "ka tšohanyetso" le ho fokotsa palo ea reworks.

Boleng ba data le khoutu e tlase

Mosebetsi o mong o kentsoeng ke sesebelisoa sa khoutu e tlase morerong oa Mediascope e bile mosebetsi oa sehlopha sa Data Quality. Tšobotsi e khethehileng ea ts'ebetsong ea phaephe ea ho netefatsa lintlha bakeng sa morero oa k'hamphani ea lipatlisiso e ne e le ho hloka tšusumetso ho ts'ebetsong le lebelo la phallo e kholo ea lipalo tsa data. Ho khona ho hlophisa phallo e ikemetseng ea netefatso ea data, ho ile ha sebelisoa Apache Airflow e seng e ntse e tloaelehile. Ha mohato o mong le o mong oa tlhahiso ea data o se o loketse, karolo e arohaneng ea pipeline ea DQ e ile ea qalisoa ka ho tšoana.

Ho nkoa e le mokhoa o motle oa ho shebella boleng ba data ho tloha ha e qala ho sethaleng sa ho hlahloba. Ho ba le tlhahisoleseding mabapi le metadata, re ka hlahloba ho lumellana le maemo a motheo ho tloha ha tlhahisoleseding e kena karolong e ka sehloohong - eseng lefeela, lithibelo, linotlolo tsa linaheng tse ling. Ts'ebetso ena e kengoa ts'ebetsong ho ipapisitsoe le limmapa tse itlhahetseng ka bo eona tsa lelapa la boleng ba data ho Datagram. Ho hlahisa khoutu tabeng ena ho boetse ho thehiloe metadata ea mohlala. Morerong oa Mediascope, sebopeho se entsoe ka metadata ea sehlahisoa sa Enterprise Architect.

Ka ho hokahanya sesebelisoa sa khoutu e tlase le Enterprise Architect, licheke tse latelang li ile tsa hlahisoa ka bo eona:

Ho lekola boteng ba boleng ba "null" masimong a nang le "not null" modifier;
Ho hlahloba boteng ba likopi tsa senotlolo sa mantlha;
Ho hlahloba senotlolo sa kantle ho naha sa setheo;
Ho hlahloba ho ikhetha ha khoele ho latela sete ea masimo.

Bakeng sa licheke tse rarahaneng tsa ho fumaneha ha data le ho ts'epahala, 'mapa o entsoe ka Scala Expression, e nkang e le ho kenya khoutu ea tlhahlobo ea Spark SQL e hlophisitsoeng ke bahlahlobisisi ba Zeppelin.

Ha e le hantle, ho iketsetsa licheke ho tlameha ho finyelloa butle-butle. Ka har'a moralo oa projeke e hlalositsoeng, sena se etelletsoe pele ke mehato e latelang:

DQ e kentsoeng libukeng tsa Zeppelin;
DQ e hahiloeng ka har'a 'mapa;
DQ ka sebopeho sa limmapa tse kholo tse arohaneng tse nang le licheke tse felletseng bakeng sa setheo se arohaneng;
Limmapa tsa DQ tsa Universal parameterized tse amohelang tlhahisoleseling mabapi le metadata le licheke tsa khoebo joalo ka tlhahiso.

Mohlomong molemo o ka sehloohong oa ho theha tšebeletso ea ho hlahloba parameterized ke ho fokotseha ha nako ea ho fana ka ts'ebetso tikolohong ea tlhahiso. Licheke tsa boleng bo bocha li ka feta mokhoa oa khale oa ho fana ka khoutu ka mokhoa o sa tobang ka nts'etsopele le tikoloho ea liteko:

Litlhahlobo tsohle tsa metadata li hlahisoa ka bo eona ha mohlala o fetoloa ho EA;
Litlhahlobo tsa ho fumaneha ha data (ho khetholla boteng ba data leha e le efe ka nako e itseng) e ka hlahisoa ho latela bukana e bolokang nako e lebeletsoeng ea ho hlaha ha karolo e latelang ea data ho latela maemo a lintho;
Litlhahlobo tsa netefatso ea data ea khoebo li entsoe ke bahlahlobisisi ba libuka tsa Zeppelin. Ho tloha moo li romeloa ka kotloloho ho litafole tsa ho seta module oa DQ tikolohong ea tlhahiso.

Ha ho na likotsi tsa ho romella mangolo ka kotloloho ho tlhahiso. Leha ho na le phoso ea syntax, boholo bo re sokelang ke ho hloleha ho etsa cheke e le 'ngoe, hobane phallo ea lipalo tsa data le phallo ea tlhahlobo ea boleng li arohane.

Ha e le hantle, tšebeletso ea DQ e sebetsa ka ho sa feleng tikolohong ea tlhahiso 'me e se e loketse ho qala mosebetsi oa eona hang ha karolo e latelang ea data e hlaha.

Ho e-na phetheha

Molemo oa ho sebelisa khoutu e tlase o hlakile. Bahlahisi ha ba hloke ho nts'etsapele ts'ebeliso ho tloha qalong. 'Me moqapi ea lokolotsoeng mesebetsing e meng o hlahisa litholoana kapele. Lebelo le lona le fana ka nako e eketsehileng ea ho rarolla mathata a ntlafatso. Ka hona, tabeng ena, o ka itšetleha ka tharollo e molemo le e potlakileng.

Ehlile, khoutu e tlase ha se panacea, mme boselamose bo ke ke ba etsahala ka bobona:

Indasteri ea mekhoa e tlaase e feta boemong ba "ho ba matla", 'me ha ho na litekanyetso tse tšoanang tsa indasteri;
Litharollo tse ngata tse tlaase ha li na mahala, 'me ho li reka e lokela ho ba mohato o hlokolosi, o lokelang ho etsoa ka kholiseho e feletseng melemo ea lichelete ea ho li sebelisa;
Litharollo tse ngata tsa khoutu e tlase ha li sebetse hantle ka GIT/SVN kamehla. Kapa ha li bonolo ho li sebelisa haeba khoutu e hlahisitsoeng e patiloe;
Ha u atolosa mohaho, ho ka 'na ha hlokahala hore u ntlafatse tharollo ea khoutu e tlaase - e leng eona e tsosang phello ea "ho khomarela le ho itšetleha" ho mofani oa tharollo ea khoutu e tlaase.
Boemo bo lekaneng ba ts'ireletso bo ka khoneha, empa ke mosebetsi o boima haholo 'me ho thata ho o kenya ts'ebetsong lienjineng tsa tsamaiso e tlaase. Li-platform tsa khoutu e tlase li lokela ho khethoa eseng feela ka molao-motheo oa ho batla melemo ho sebelisoa ha bona. Ha u khetha, ho bohlokoa ho botsa lipotso mabapi le boteng ba ts'ebetso bakeng sa taolo ea phihlello le phano / ho eketseha ha lintlha tsa boitsebahatso ho isa boemong ba sebaka sohle sa IT sa mokhatlo.

Leha ho le joalo, haeba mefokolo eohle ea tsamaiso e khethiloeng e tsejoa ho uena, 'me melemo ea tšebeliso ea eona, leha ho le joalo, e le ka bongata bo ka sehloohong, joale fetela ho khoutu e nyenyane ntle le tšabo. Ho feta moo, phetoho ho eona e ke ke ea qojoa - joalo ka ha ho iphetola ha lintho ho ke ke ha qojoa.

Haeba moqapi a le mong sethaleng sa khoutu e tlaase a etsa mosebetsi oa hae ka potlako ho feta bahlahisi ba babeli ba se nang khoutu e tlaase, joale sena se fa k'hamphani e qalang ka litsela tsohle. Monyako oa ho kena litharollong tsa mekhoa e tlaase o tlaase ho feta mekhoa ea "tloaelo" ea theknoloji, 'me sena se na le phello e ntle tabeng ea khaello ea basebetsi. Ha u sebelisa lisebelisoa tse tlaase tsa khoutu, hoa khoneha ho potlakisa tšebelisano pakeng tsa lihlopha tse sebetsang le ho etsa liqeto tse potlakileng mabapi le ho nepahala ha tsela e khethiloeng ea lipatlisiso tsa saense ea data. Li-platform tsa boemo bo tlase li ka tsamaisa phetoho ea dijithale ea mokhatlo hobane litharollo tse hlahisoang li ka utloisisoa ke litsebi tse seng tsa theknoloji (haholo-holo basebelisi ba khoebo).

Haeba u na le linako tse thata, mohopolo oa khoebo o imetsoeng, ho hloka tsebo ea theknoloji, 'me u hloka ho potlakisa nako ea hau ea ho rekisa, joale khoutu e tlase ke tsela e le' ngoe ea ho fihlela litlhoko tsa hau.

Ha ho na ho latola bohlokoa ba lisebelisoa tsa nts'etsopele ea setso, empa maemong a mangata, ho sebelisa tharollo ea khoutu e tlase ke tsela e molemohali ea ho eketsa katleho ea mesebetsi e rarolloang.

Source: www.habr.com

Tšebeliso ea khoutu e tlase ho li-platform tsa analytical