Lumelang bohle, lebitso la ka ke Alexander, 'me ke moenjiniere oa Data Quality ea hlahlobang lintlha tsa boleng ba tsona. Sengoliloeng sena se tla bua ka hore na ke fihletse sena joang le hore na ke hobaneng ka 2020 sebaka sena sa liteko se ne se le sehlohlolong sa leqhubu.
Mokhoa oa lefats'e
Lefatše la kajeno le na le phetoho e 'ngoe ea theknoloji, e 'ngoe ea eona e leng tšebeliso ea data e bokelletsoeng ke mefuta eohle ea lik'hamphani ho ntšetsa pele thekiso ea tsona, phaello le PR. Ho bonahala eka ho ba teng ha boitsebiso bo botle (boleng ba boleng), hammoho le boko bo nang le tsebo bo ka etsang chelete ho eona (ho sebetsa ka mokhoa o nepahetseng, ho bona ka mahlo, ho haha mehlala ea ho ithuta mochine, joalo-joalo), e fetohile senotlolo sa katleho ho ba bangata kajeno. Haeba lilemong tse 15-20 tse fetileng lik'hamphani tse kholo li ne li ameha haholo mosebetsing o matla ka ho bokella lintlha le ho etsa chelete, kajeno ke palo ea hoo e batlang e le batho bohle ba hlaphohetsoeng kelellong.
Tabeng ena, lilemong tse 'maloa tse fetileng, li-portal tsohle tse nehetsoeng ho batla mosebetsi lefatšeng ka bophara li ile tsa qala ho tlatsoa ka likheo bakeng sa Data Scientists, kaha e mong le e mong o ne a kholisehile hore, ha a se a hirile setsebi se joalo, ho ka khoneha ho haha supermodel ea ho ithuta mochine. , bolela esale pele bokamoso le ho etsa "quantum leap" bakeng sa k'hamphani. Ha nako e ntse e ea, batho ba ile ba hlokomela hore mokhoa ona ha ho mohla o sebetsang kae kapa kae, kaha hase lintlha tsohle tse oelang matsohong a litsebi tse joalo tse loketseng mehlala ea koetliso.
'Me likōpo tse tsoang ho Data Scientists li ile tsa qala: "Ha re reke lintlha tse ling ho tsena le tsa.....", "Ha re na data e lekaneng.....", "Re hloka boitsebiso bo bong, haholo-holo bo phahameng ...." . Ho ipapisitsoe le likopo tsena, litšebelisano tse ngata li qalile ho hahuoa lipakeng tsa lik'hamphani tse nang le data e le 'ngoe kapa tse ling. Ka tlhaho, sena se ne se hloka mokhatlo oa botekgeniki oa ts'ebetso ena - ho hokahanya mohloling oa data, ho e jarolla, ho hlahloba hore na e ne e laetsoe ka botlalo, joalo-joalo Palo ea mekhoa e joalo e ile ea qala ho hōla, 'me kajeno re na le tlhokahalo e kholo ea mofuta o mong. litsebi - Baenjiniere ba Boleng ba Data - ba neng ba tla beha leihlo phallo ea data tsamaisong (liphaephe tsa data), boleng ba data ho kenyelletso le tlhahiso, le ho fihlela liqeto mabapi le ho lekana ha bona, botšepehi le litšobotsi tse ling.
Mokhoa oa baenjiniere ba Boleng ba Data o ile oa tla ho rona ho tsoa USA, moo, har'a nako e matla ea bokhaphithaliste, ha ho motho ea ikemiselitseng ho lahleheloa ke ntoa ea data. Ka tlase ke fane ka li-screenshots tse tsoang libakeng tse peli tse tsebahalang haholo tsa ho batla mosebetsi US: и - e bonts'ang datha ho tloha ka la 17 Hlakubele 2020 mabapi le palo ea likheo tsa mesebetsi tse fumanoeng ho sebelisoa mantsoe a bohlokoa: Boleng ba Lintlha le Setsebi sa Boitsebiso.
Bo-rasaense ba data - likheo tsa 21416
Boleng ba data - likheo tsa 41104
Bo-rasaense ba data - likheo tse 404
Boleng ba data - 2020 likheo tsa mesebetsi
Ho hlakile hore liporofeshene tsena ho hang ha li qothisane lehlokoa le tse ling. Ka li-screenshots, ke ne ke batla feela ho bontša boemo ba hona joale 'marakeng oa basebetsi ho latela likopo tsa baenjiniere ba Boleng ba Data, bao hona joale ho hlokahalang haholo ho feta Bo-rasaense ba Data.
Ka Phuptjane 2019, EPAM, e arabela litlhoko tsa 'maraka oa sejoale-joale oa IT, e arolelitse Boleng ba Lintlha ka mokhoa o ikhethileng. Baenjineri ba boleng ba data, nakong ea mosebetsi oa bona oa letsatsi le letsatsi, ba laola data, ba lekola boitšoaro ba bona maemong a macha le lits'ebetso, ho lekola bohlokoa ba data, ho lekana le bohlokoa ba eona. Ka sena sohle, ka mokhoa o sebetsang, lienjiniere tsa boleng ba data li hlile li sebelisa nako e nyane ho etsa liteko tsa khale tsa ts'ebetso, NTHO sena se itšetlehile haholo ka morero (ke tla fana ka mohlala o ka tlase).
Boikarabello ba moenjineri oa boleng ba data ha bo felle feela ho licheke tse tloahelehileng tsa "nulls, counts and sums" litafoleng tsa database, empa li hloka kutloisiso e tebileng ea litlhoko tsa khoebo tsa moreki, ka hona, bokhoni ba ho fetola data e fumanehang hore e be. lintlha tsa bohlokoa tsa khoebo.
Khopolo ea Boleng ba Boitsebiso
E le hore u ka inahanela ka botlalo karolo ea moenjiniere ea joalo, a re boneng hore na Boleng ba Data ke eng ka khopolo.
Boleng ba data - e 'ngoe ea methati ea Tsamaiso ea Lintlha (lefatše lohle leo re tla le siela hore u ithute u le mong) mme o ikarabella ho sekaseka data ho latela lintlha tse latelang:
Ke nahana hore ha ho hlokahale ho hlalosa ntlha e 'ngoe le e' ngoe (ka khopolo-taba e bitsoa "litekanyo tsa data"), li hlalositsoe hantle setšoantšong. Empa ts'ebetso ea tlhahlobo ka boeona ha e bolele ho kopitsa likarolo tsena ka thata maemong a liteko le ho li hlahloba. Ho Boleng ba Lintlha, joalo ka mofuta ofe kapa ofe oa tlhahlobo, hoa hlokahala, pele ho tsohle, ho aha holim'a litlhoko tsa boleng ba data tseo ho lumellanoeng ka tsona le barupeluoa ba morero ba etsang liqeto tsa khoebo.
Ho ipapisitsoe le projeke ea Boleng ba Lintlha, moenjiniere a ka etsa mesebetsi e fapaneng: ho tloha ho motho ea tloaelehileng ea hlahlobang othomathike ea nang le tlhahlobo e kaholimo ea boleng ba data, ho ea ho motho ea etsang profiling e tebileng ea data ho latela lintlha tse kaholimo.
Tlhaloso e qaqileng haholo ea Tsamaiso ea Boitsebiso, Boleng ba Data le mekhoa e amanang le eona e hlalositsoe hantle bukeng e bitsoang "DAMA-DMBOK: Sehlopha sa Tsamaiso ea Boitsebiso: Khatiso ea 2". Ke khothaletsa haholo buka ena e le kenyelletso ea sehlooho sena (o tla fumana sehokelo ho eona qetellong ea sehlooho).
Pale ea ka
Lefapheng la IT, ke ile ka sebetsa ho tloha ho Junior tester lik'hamphaning tsa lihlahisoa ho ea ho Moenjineri oa Boleng ba Lintlha tsa Lead ho EPAM. Ka mor'a lilemo tse ka bang peli ke sebetsa ke le tester, ke ne ke e-na le kholiseho e tiileng ea hore ke entse liteko tsa mefuta eohle ka ho feletseng: ho fokotseha, ho sebetsa, khatello ea kelello, botsitso, ts'ireletso, UI, joalo-joalo - 'me ke lekile lisebelisoa tse ngata tsa tlhahlobo, e ne e sebetsa ka nako e le 'ngoe lipuong tse tharo tsa lenaneo: Java, Scala, Python.
Ha ke hetla morao, kea utloisisa hore na ke hobane'ng ha bokhoni ba ka bo ne bo fapane haholo-ke ne ke ameha mererong e tsamaisoang ke data, e meholo le e nyenyane. Sena ke sona se entseng hore ke be lefats'eng la lisebelisoa tse ngata le menyetla ea ho hōla.
Ho ananela lisebelisoa tse sa tšoaneng le menyetla ea ho fumana tsebo le tsebo e ncha, sheba feela setšoantšo se ka tlase, se bontšang tse ratoang ka ho fetisisa lefatšeng la "Data & AI".
Papiso ea mofuta ona e hlophisoa selemo le selemo ke e mong oa bo-ramatsete ba tummeng Matt Turck, ea tsoang ho nts'etsopele ea software. Mona ho blog ea hae le , moo a sebetsang e le molekane.
Ke ile ka hōla ka botsebi ka potlako haholo-holo ha ke ne ke le mong feela ea hlahlobang morero, kapa bonyane qalong ea morero. Ke nakong eo o tlamehang ho ikarabella bakeng sa ts'ebetso eohle ea tlhahlobo, 'me ha u na monyetla oa ho khutlela morao, ho ea pele feela. Qalong e ne e tšosa, empa joale melemo eohle ea teko e joalo e totobetse ho 'na:
- U qala ho buisana le sehlopha sohle ho feta leha e le neng pele, kaha ha ho na moemeli oa puisano: leha e le mookameli oa teko kapa bahlahlobi-'moho le uena.
- Ho qoelisoa ka har'a projeke ho ba botebo bo makatsang, 'me u na le leseli mabapi le likarolo tsohle, ka kakaretso le ka botlalo.
- Bahlahisi ha ba u nke e le "mohlankana ea tsoang litekong ea sa tsebeng seo a se etsang," empa e le motho ea lekanang le ea hlahisang melemo e makatsang bakeng sa sehlopha ka liteko tsa hae tsa boiketsetso le tebello ea liphoso tse hlahang karolong e itseng ea sehlahisoa.
- Ka lebaka leo, u sebetsa hantle haholoanyane, u tšoaneleha haholoanyane, 'me u batla ho feta.
Ha morero o ntse o hōla, ka 100% ea linyeoe ke ile ka ba moeletsi oa bahlahlobi ba bacha, ke ba ruta le ho fetisa tsebo eo ke ithutileng eona. Ka nako e ts'oanang, ho latela morero, ha se kamehla ke fumanang litsebi tse phahameng ka ho fetisisa tsa tlhahlobo ea likoloi ho tsoa ho batsamaisi 'me ho ne ho hlokahala hore ke ba koetlisetse ho iketsetsa (bakeng sa ba thahasellang) kapa ho theha lisebelisoa tse sebelisoang mesebetsing ea letsatsi le letsatsi (lisebelisoa). bakeng sa ho hlahisa data le ho e kenya tsamaisong , sesebelisoa sa ho etsa tlhahlobo ea mojaro / teko ea botsitso "kapele", joalo-joalo).
Mohlala oa morero o itseng
Ka bomalimabe, ka lebaka la boikarabelo ba ho se senole, ha ke khone ho bua ka ho qaqileng ka merero eo ke neng ke sebetsa ho eona, empa ke tla fana ka mehlala ea mesebetsi e tloaelehileng ea Moenjiniere oa Boleng ba Boitsebiso ho e 'ngoe ea merero.
Moko oa morero ke ho kenya ts'ebetsong sethala sa ho lokisa lintlha tsa ho koetlisa mekhoa ea ho ithuta ea mochini ho latela eona. Moreki e ne e le k'hamphani e kholo ea meriana e tsoang USA. Ka botsebi e ne e le sehlopha , ho phahama ho maemong, ka li-microservices tse 'maloa le morero oa Open Source oa EPAM - , e ikamahanyang le litlhoko tsa moreki ea itseng (hona joale morero o se o tsoaloa hape ho ). Mekhoa ea ETL e hlophisitsoe ho sebelisoa le ho tsamaisa data ho tloha tsamaiso ea bareki ka Linkho. Ka mor'a moo, setšoantšo sa Docker sa mohlala oa ho ithuta mochine se ile sa kenngoa sethaleng, se neng se koetliselitsoe ho data e ncha, 'me, ka ho sebelisa sebopeho sa REST API, sa hlahisa likhakanyo tse neng li thahasella khoebo le ho rarolla mathata a itseng.
Ka ponahalo, ntho e 'ngoe le e' ngoe e ne e shebahala tjena:
Ho ne ho e-na le liteko tse ngata tse sebetsang morerong ona, 'me ho fanoe ka lebelo la nts'etsopele ea likarolo le tlhokahalo ea ho boloka lebelo la potoloho ea tokollo (li-sprints tsa libeke tse peli), ho ne ho hlokahala hore hang-hang u nahane ka tlhahlobo ea automating ea likarolo tsa bohlokoa ka ho fetisisa. tsamaiso. Boholo ba sethala se thehiloeng ho Kubernetes ka boeona se ne se koahetsoe ke li-autotest tse kentsoeng tšebetsong + Python, empa ho ne ho boetse ho hlokahala ho li tšehetsa le ho li holisa. Ho phaella moo, bakeng sa boiketlo ba bareki, GUI e ile ea bōptjoa ho laola mekhoa ea ho ithuta ea mochine e rometsoeng sehlopheng, hammoho le bokhoni ba ho hlalosa hore na data e lokela ho fetisetsoa hokae bakeng sa ho koetlisa mehlala. Keketso ena e pharalletseng e kenyellelitse katoloso ea tlhahlobo ea ts'ebetso e ikemetseng, e neng e etsoa haholo ka mehala ea REST API le palo e nyane ea liteko tsa UI tsa pheletso ea 2. Ho potoloha equator ea motsamao ona kaofela, re ile ra kopanngoa ke mohlahlobi oa matsoho ea entseng mosebetsi o tsoileng matsoho ka tlhahlobo ea kamohelo ea liphetolelo tsa sehlahisoa le ho buisana le moreki mabapi le kamohelo ea tokollo e latelang. Ho phaella moo, ka lebaka la ho fihla ha setsebi se secha, re ile ra khona ho ngola mosebetsi oa rona le ho eketsa licheke tse 'maloa tsa bohlokoa haholo tse neng li le thata ho iketsetsa hang-hang.
'Me qetellong, ka mor'a hore re fumane botsitso ho tloha sethaleng le ho eketsa GUI holim'a eona, re ile ra qala ho haha liphaephe tsa ETL re sebelisa Apache Airflow DAGs. Ho hlahloba boleng ba data ka boiketsetso ho entsoe ka ho ngola li-DAG tse khethehileng tsa Airflow tse neng li lekola data ho latela liphetho tsa ts'ebetso ea ETL. E le karolo ea morero ona, re bile lehlohonolo 'me moreki o re file monyetla oa ho fumana lisebelisoa tsa data tse sa tsejoeng tseo re ileng ra leka ho tsona. Re ile ra hlahloba mohala oa data ka mola bakeng sa ho lumellana le mefuta, boteng ba data e robehileng, palo eohle ea litlaleho pele le ka morao, papiso ea liphetoho tse entsoeng ke mokhoa oa ETL bakeng sa ho kopanya, ho fetola mabitso a likholomo, le lintho tse ling. Ho phaella moo, licheke tsena li ne li lekanyelitsoe mehloling e fapaneng ea data, mohlala, ho phaella ho SalesForce, hape le MySQL.
Litlhahlobo tsa ho qetela tsa boleng ba data li ne li se li ntse li le boemong ba S3, moo li neng li bolokiloe 'me li se li loketse ho sebelisoa bakeng sa mehlala ea ho ithuta mochine oa koetliso. Ho fumana data ho tsoa faeleng ea ho qetela ea CSV e fumanehang ho S3 Bucket le ho e netefatsa, khoutu e ngotsoe ho sebelisoa .
Ho ne ho boetse ho e-na le tlhokahalo e tsoang ho moreki ho boloka karolo ea data ho S3 Bucket e le 'ngoe le karolo ho e' ngoe. Sena se ne se boetse se hloka hore ho ngoloe licheke tse eketsehileng ho lekola bonnete ba ho hlopha ho joalo.
Boiphihlelo bo akaretsang ho tsoa mererong e meng
Mohlala oa lenane le akaretsang la mesebetsi ea moenjiniere oa Boleng ba Lintlha:
- Lokisetsa lintlha tsa tlhahlobo (tse nyane tse kholo tse sa sebetseng) ka sesebelisoa se itirisang.
- Kenya data e lokiselitsoeng mohloling oa mantlha 'me u hlahlobe hore e se e loketse ho sebelisoa.
- Qala lits'ebetso tsa ETL bakeng sa ho sebetsana le sete ea data ho tloha polokelong ea mohloli ho ea polokelong ea ho qetela kapa ea mahareng u sebelisa sete e itseng ea litlhophiso (haeba ho khonahala, beha liparamente tse lokisehang bakeng sa mosebetsi oa ETL).
- Netefatsa lintlha tse sebetsitsoeng ke ts'ebetso ea ETL bakeng sa boleng ba eona le ho latela litlhoko tsa khoebo.
Ka nako e ts'oanang, sepheo se seholo sa licheke ha sea lokela ho ba feela tabeng ea hore phallo ea data tsamaisong, ha e le hantle, e sebelitse 'me e fihlile qetellong (e leng karolo ea tlhahlobo ea ts'ebetso), empa haholo-holo ho hlahloba le ho netefatsa lintlha tsa ho lumellana le litlhoko tse lebeletsoeng, ho hloaea liphapang le lintho tse ling.
Lisebelisoa
E 'ngoe ea mekhoa ea ho laola data e joalo e ka ba mokhatlo oa licheke tsa ketane sethaleng se seng le se seng sa ts'ebetso ea data, seo ho thoeng ke "ketane ea data" libukeng - taolo ea data ho tloha mohloling ho fihlela qetellong ea tšebeliso. Mefuta ena ea licheke hangata e sebelisoa ka ho ngola ho hlahloba lipotso tsa SQL. Ho hlakile hore lipotso tse joalo li lokela ho ba tse bobebe ka hohle kamoo ho ka khonehang 'me li hlahlobe likarolo tsa motho ka mong tsa boleng ba data (metadata ea litafole, mela e se nang letho, NULLs, Liphoso tsa syntax - litšobotsi tse ling tse hlokahalang bakeng sa ho hlahloba).
Tabeng ea teko ea ho khutlela morao, e sebelisang lisebelisoa tsa data tse lokiselitsoeng (tse sa fetoheng, tse feto-fetohang hanyenyane), khoutu ea autotest e ka boloka litempele tse lokiselitsoeng ho hlahloba lintlha bakeng sa ho lumellana le boleng (litlhaloso tsa metadata e lebelletsoeng ea tafole; lintho tsa mohlala tse ka bang e khethiloeng ka mokhoa o sa reroang nakong ea tlhahlobo, joalo-joalo).
Hape, nakong ea liteko, o tlameha ho ngola lits'ebetso tsa tlhahlobo ea ETL o sebelisa meralo e kang Apache Airflow, kapa esita le sesebelisoa sa mofuta oa leru le letšo , Joalo joalo. Maemo ana a qobella moenjiniere oa liteko hore a ikakhele ka setotsoana ho melao-motheo ea ts'ebetso ea lisebelisoa tse ka holimo mme ka mokhoa o atlehileng ka bobeli o etsa tlhahlobo ea ts'ebetso (mohlala, lits'ebetso tse teng tsa ETL morerong) le ho li sebelisa ho lekola data. Haholo-holo, Apache Airflow e na le li-operators tse itokiselitseng ho sebetsa le li-database tse tsebahalang tsa tlhahlobo, mohlala . Mohlala oa mantlha oa tšebeliso ea eona o se o hlalositsoe , kahoo nke ke ka ipheta.
Ntle le tharollo e lokiselitsoeng, ha ho motho ea u thibelang ho sebelisa mekhoa le lisebelisoa tsa hau. Sena se ke ke sa ba molemo bakeng sa morero feela, empa hape le ho Moenjiniere oa Boleng ba Boitsebiso ka boeena, eo ka tsela eo a tla ntlafatsa tsebo ea hae ea tekheniki le tsebo ea ho ngola.
E sebetsa joang morerong oa sebele
Papiso e ntle ea lirapa tsa ho qetela mabapi le "ketane ea data", ETL le licheke tse fumanehang hohle ke ts'ebetso e latelang ho tsoa ho o mong oa merero ea 'nete:
Mona, lintlha tse fapaneng (ka tlhaho, tse lokiselitsoeng ke rona) li kenya "funnel" ea tsamaiso ea rona: e sebetsang, e sa sebetseng, e tsoakiloeng, joalo-joalo, ebe e hloekisoa ebe e qetella e le polokelong ea bohareng, ebe e boetse e fetoha letoto la liphetoho. 'me li behiloe polokelong ea ho qetela , ho tloha moo, ho tla etsoa li-analytics, ho haha marang-rang le ho batla lintlha tsa khoebo. Tsamaisong e joalo, ntle le ho hlahloba ts'ebetso ea lits'ebetso tsa ETL, re tsepamisa maikutlo ho boleng ba data pele le ka mor'a liphetoho, hammoho le tlhahiso ho li-analytics.
Ho akaretsa tse ka holimo, ho sa tsotelehe libaka tseo ke neng ke sebetsa ho tsona, hohle moo ke neng ke ameha mererong ea Data e arolelanang lintlha tse latelang:
- Ke ka ho iketsetsa feela moo o ka lekang linyeoe tse ling le ho fihlela potoloho ea tokollo e amohelehang khoebong.
- Mohlahlobi oa morero o joalo ke e mong oa litho tse hlomphuoang ka ho fetisisa tsa sehlopha, kaha o tlisa melemo e mengata ho e mong le e mong oa barupeluoa (ho potlakisa tlhahlobo, lintlha tse ntle tse tsoang ho Data Scientist, ho tsebahatsa mefokolo mehatong ea pele).
- Ha ho na taba hore na u sebetsa ka lisebelisoa tsa hau tsa marang-rang kapa marung - lisebelisoa tsohle li hopoloa ka har'a sehlopha se kang Hortonworks, Cloudera, Mesos, Kubernetes, joalo-joalo.
- Merero e hahiloe holim'a mokhoa oa microservice, o ajoang le ho tsamaisana le komporo e tšoanang.
Ke rata ho hlokomela hore ha ho etsoa liteko lefapheng la Boleng ba Boitsebiso, setsebi sa tlhahlobo se fetola maikutlo a hae a setsebi ho khoutu ea sehlahisoa le lisebelisoa tse sebelisoang.
Likarolo tse ikhethileng tsa tlhahlobo ea boleng ba data
Ntle le moo, bakeng sa ka, ke khethile tse latelang (hang-hang ke tla etsa pehelo ea hore li VERY ka kakaretso le tse ikhethileng) likarolo tse ikhethileng tsa tlhahlobo mererong ea Data (Big Data) (litsamaiso) le libakeng tse ling:
likhokahano tse sebetsang
- Khopolo: .
- EPAM
- Lisebelisoa tse khothalelitsoeng ho qala moenjiniere oa Boleng ba Lintlha:
- Thuto ea mahala ho Stepik: .
- Mokhoa oa ho ithuta oa LinkedIn: .
- Lingoliloeng:
- ;
- ;
- ;
- Video:
- ;
- ;
fihlela qeto e
Boleng ba data ke tataiso e nyane haholo e tšepisang, ho ba karolo ea eona e bolelang ho ba karolo ea ho qala. Ha u se u le Boleng ba Lintlha, u tla qoelisoa ka bongata bo bongata ba theknoloji ea sejoale-joale, e batloang haholo, empa ho bohlokoa le ho feta, menyetla e mengata e tla u bulela ho hlahisa le ho kenya tšebetsong mehopolo ea hau. U tla khona ho sebelisa mokhoa o tsoelang pele oa ntlafatso eseng feela morerong, empa le bakeng sa hau, u ntse u tsoela pele ho ntlafatsa joalo ka setsebi.
Source: www.habr.com