Ho ea ka , moenjiniere oa data hona joale ke mosebetsi oo tlhokahalo ea oona e ntseng e hōla ka potlako ho feta leha e le efe. Moenjiniere oa boitsebiso o bapala karolo ea bohlokoa mokhatlong - ho theha le ho boloka liphaephe le li-database tse sebelisetsoang ho sebetsa, ho fetola le ho boloka boitsebiso. Ke litsebo life tseo baemeli ba mosebetsi ona ba li hlokang pele ho tsohle? Na lenane le fapane le se hlokoang ho bo-rasaense ba data? U tla ithuta ka sena sohle sehloohong sa ka.
Ke hlahlobile likheo tsa mesebetsi bakeng sa boemo ba moenjiniere oa data joalo ka ha li le ka Pherekhong 2020 ho utloisisa hore na ke litsebo life tsa theknoloji tse tsebahalang haholo. Eaba ke bapisa liphetho le lipalo-palo tsa likheo bakeng sa boemo ba rasaense oa data - mme ho ile ha hlaha liphapang tse ling tse khahlisang.
Ntle le selelekela se sengata, mona ke litheknoloji tse leshome tse holimo tse boleloang hangata liphaellong tsa mesebetsi:
Ho buuoa ka mahlale a likheo tsa mesebetsi bakeng sa boemo ba moenjiniere oa data ka 2020
Ha re e fumaneng.
Boikarabello ba moenjiniere oa data
Kajeno, mosebetsi oo baenjiniere ba data ba o etsang ke oa bohlokoa haholo bakeng sa mekhatlo - bana ke batho ba nang le boikarabelo ba ho boloka boitsebiso le ho bo tlisa ka mokhoa oo basebetsi ba bang ba ka sebetsang le bona. Baenjiniere ba datha ba theha lipeipi ho tsamaisa kapa ho kopanya data ho tsoa mehloling e mengata. Liphaephe li etsa ts'ebetso ea ho hula, ho fetola le ho kenya (ka mantsoe a mang, lits'ebetso tsa ETL), ho etsa hore data e be e loketseng haholoanyane bakeng sa tšebeliso e tsoelang pele. Kamora sena, data e romelloa ho bahlahlobisisi le bo-rasaense ba data bakeng sa ts'ebetso e tebileng. Qetellong, data e phethela leeto la eona ka li-dashboard, litlaleho, le mefuta ea ho ithuta ka mochini.
Ke ne ke batla lintlha tse tla ntumella ho fihlela qeto ea hore na ke theknoloji efe e batloang haholo mosebetsing oa moenjiniere oa data hajoale.
Mekhoa
Ke bokeletse lintlha libakeng tse tharo tsa ho batla mesebetsi − , и mme ra sheba hore na ke mantsoe afe a bohlokoa a kopaneng le "moenjiniere oa data" litemaneng tsa likheo tse lebisitsoeng ho baahi ba US. Bakeng sa mosebetsi ona ke sebelisitse lilaebrari tse peli tsa Python - и . Har'a mantsoe a sehlooho, ke kenyelelitse ka bobeli tse neng li kenyelelitsoe lethathamong le fetileng bakeng sa ho hlahloba likheo tsa mosebetsi bakeng sa boemo ba rasaense oa data, le tseo ke li khethileng ka letsoho ha ke ntse ke bala likopo tsa mosebetsi bakeng sa baenjiniere ba data. LinkedIn e ne e sa kenyelletsoa lethathamong la mehloli, kaha ke ne ke thibetsoe moo ka mor'a teko ea ka ea ho qetela ea ho bokella lintlha.
Bakeng sa lentsoe le leng le le leng la sehlooho, ke balile liphesente tse otlang ho tloha palo eohle ea litemana tse sebakeng se seng le se seng ka thoko, ebe ke bala karolelano ea mehloli e meraro.
Liphetho
Ka tlase ke mantsoe a mashome a mararo a boenjineri ba data ea tekheniki a nang le lintlha tse phahameng ho feta libaka tsohle tse tharo tsa mesebetsi.
Mona ke linomoro tse tšoanang, empa li hlahisoa ka mokhoa oa tafole:
Ha re tsamayeng ka tatellano.
Tlhahlobo ea liphetho
Ka bobeli SQL le Python li hlaha ho feta karolo ea bobeli ho tse tharo ea menyetla ea mesebetsi e hlahlobiloeng. Ke mahlale ana a mabeli a utloahalang ho ithuta pele. ke puo e tsebahalang haholo ea mananeo e sebelisetsoang ho sebetsa ka data, ho theha liwebsaete, le ho ngola mangolo. e emetse Structured Query Language; e kenyelletsa maemo a sebelisoang ke sehlopha sa lipuo mme e sebelisoa ho fumana lintlha ho tsoa ho database tsa likamano. E hlahile khale haholo 'me e ipakile e hanyetsa haholo.
Spark e boleloa hoo e ka bang halofo ea likheo. ke "enjene e kholo e kopaneng ea tlhahlobo ea data e nang le li-module tse hahelletsoeng ka har'a ho phallela, SQL, ho ithuta ka mochini le ho sebetsa kerafo." E tumme haholo har'a ba sebetsang ka li-database tse kholo.
AWS e hlaha hoo e ka bang 45% ea mesebetsi e behiloeng. Ke cloud computing platform e entsoeng ke Amazon; e na le karolo e kholo ea 'maraka har'a liforomo tsohle tsa maru.
Ka mor'a moo ho tla Java le Hadoop - chelete e fetang 40% bakeng sa mor'abo bona. ke puo e buuoang hohle, e lekiloeng ke ntoa eo e ile ea fuoa sebaka sa leshome har'a lipuo tse bakang tšabo har'a baetsi ba mananeo. Ka lehlakoreng le leng, Python e ne e le puo ea bobeli e ratoang ka ho fetisisa. Puo ea Java e tsamaisoa ke Oracle, 'me ntho e' ngoe le e 'ngoe eo u hlokang ho e tseba ka eona e ka utloisisoa ho tsoa setšoantšong sena sa leqephe la semmuso ho tloha ka Pherekhong 2020.
Ho tšoana le ho palama mochini oa nako
e sebelisa mokhoa oa ho etsa mananeo oa MapReduce o nang le lihlopha tsa seva bakeng sa data e kholo. Hona joale mohlala ona o ntse o lahloa ka ho eketsehileng.
Ebe re bona Hive, Scala, Kafka le NoSQL - e 'ngoe le e' ngoe ea theknoloji ena e boleloa karolong ea kotara ea likheo tse rometsoeng. Apache Hive ke software ea polokelo ea data e "etsang hore ho be bonolo ho bala, ho ngola, le ho laola li-database tse kholo tse lulang mabenkeleng a ajoang a sebelisa SQL." - puo ea lenaneo e sebelisoang ka mafolofolo ha o sebetsa le data e kholo. Haholo-holo, Spark e thehiloe Scala. Boemong bo seng bo boletsoe ba lipuo tse tšosang, Scala e boemong ba leshome le motso o mong. - sethala se ajoang bakeng sa ho sebetsana le melaetsa ea ho phallela. E tumme haholo e le mokhoa oa ho phallela data.
ba ipapisa le SQL. Li fapane ka hore ha li na kamano, ha li hlophisehe, ebile ha li na moeli. NoSQL e se e tumme, empa takatso ea mokhoa ona, ho fihlela boprofeteng ba hore e tla nkela SQL sebaka e le paradigm e ka sehloohong ea polokelo, e bonahala e felile.
Ha ho bapisoa le mantsoe a likheo tsa mahlale a data
Mona ke mantsoe a mashome a mararo a theknoloji a atileng haholo har'a bahiri ba mahlale a data. Ke fumane lenane lena ka tsela e ts'oanang le e hlalositsoeng ka holimo bakeng sa boenjiniere ba data.
Ho buuoa ka thekenoloji likheong tsa mosebetsi oa rasaense oa data ka 2020
Haeba re bua ka palo eohle, ha ho bapisoa le ho hiroa ho neng ho nahanoa pele, ho ne ho e-na le 28% ea mesebetsi e eketsehileng (12 khahlanong le 013). Ha re boneng hore na ke litheknoloji life tse sa tloahelehileng haholo mesebetsing ea bo-ramahlale ba data ho feta baenjineri ba data.
E tumme haholo ho boenjiniere ba data
Kerafo e ka tlase e bonts'a mantsoe a bohlokoa ka karolelano ea phapang e kholo ho feta 10% kapa ka tlase ho -10%.
Phapang e kholo ka ho fetisisa ea maqhubu a mantsoe a sehlooho pakeng tsa moenjiniere oa data le rasaense oa data
AWS e bonts'a keketseho e kholo ka ho fetisisa: ho boenjiniere ba data ho hlaha 25% khafetsa ho feta saenseng ea data (hoo e ka bang 45% le 20% ea palo eohle ea likheo, ka ho latellana). Phapano ea bonahala!
Mona ke data e ts'oanang ka nehelano e fapaneng hanyane - ho kerafo, liphetho tsa mantsoe a bohlokoa a tšoanang likheong tsa boemo ba moenjiniere oa data le rasaense oa data li fumaneha ka mahlakoreng.
Phapang e kholo ka ho fetisisa ea maqhubu a mantsoe a sehlooho pakeng tsa moenjiniere oa data le rasaense oa data
Tlolo e kholo e latelang eo ke e hlokometseng e ne e le Spark - moenjiniere oa data hangata o tlameha ho sebetsa ka data e kholo. hape e eketsehile ka 20%, ke hore, hoo e ka bang makhetlo a mane ha ho bapisoa le sephetho sa likheo tsa bo-rasaense ba data. Phetiso ea data ke e 'ngoe ea boikarabello ba bohlokoa ba moenjiniere oa data. Qetellong, palo ea ho buuoa e ne e le 15% e phahameng tšimong ea boenjiniere ba data bakeng sa Java, NoSQL, Redshift, SQL le Hadoop.
Ha e tuma haholo boenjiniere ba data
Joale ha re boneng hore na ke litheknoloji life tse sa tumang haholo likheong tsa boenjiniere ba data.
Ho fokotseha ho hoholo ha ho bapisoa le lefapha la mahlale a data ho etsahetse ho : moo o hlahile hoo e ka bang 56% ea likheo, mona - feela ka 17%. E tsotehang. R ke puo ea mananeo e ratoang ke bo-rasaense le litsebi tsa lipalo, 'me ke puo ea borobeli e tšosang ka ho fetisisa lefatšeng.
e boetse e fumanoa ka likheo bakeng sa boemo ba data moenjiniere haholo ka tlaase ho moo hangata - phapang ke 14%. SAS ke puo ea botho e etselitsoeng ho sebetsa ka lipalo-palo le data. Taba e khahlang: ho ahlola ka liphetho , e senyehile haholo morao tjena—ho feta theknoloji leha e le efe e ’ngoe.
Tlhokahalo ea boenjiniere ba data le mahlale a data
Ho lokela ho hlokomeloa hore maemo a robeli ho a leshome a pele a lihlopha ka bobeli aa tšoana. SQL, Python, Spark, AWS, Java, Hadoop, Hive le Scala li entse hore e be tse ka holimo ho tse leshome bakeng sa liindasteri tsa data engineering le data science. Ka graph e ka tlase u ka bona litheknoloji tse leshome le metso e mehlano tse tsebahalang haholo har'a bahiri ba lienjineri tsa data, 'me haufi le tsona ke sekhahla sa mosebetsi oa bo-rasaense ba data.
likhothaletso
Haeba u batla ho kena boenjinering ba data, ke tla u eletsa hore u tsebe mekhoa e latelang ea theknoloji - ke e thathamisa ka tatellano ea lintho tse tlang pele.
Ithute SQL. Ke sekametse ho PostgreSQL hobane ke mohloli o bulehileng, o tumme haholo sechabeng, 'me o boemong ba kholo. U ka ithuta ho sebelisa puo ho tsoa bukeng ea My Memorable SQL - mofuta oa eona oa sefofane oa fumaneha .
Master Python, leha e se maemong a thata ka ho fetesisa. My Memorable Python e etselitsoe ba qalang ka ho khetheha. E ka rekoa ka , kopi ea elektroniki kapa ea 'mele, khetho ea hau, kapa khoasolla ka mokhoa oa pdf kapa oa epub .
Ha u se u tloaelane le Python, fetela pele ho pandas, laebrari ea Python e sebelisetsoang ho hloekisa le ho sebetsana le data. Haeba u ikemiselitse ho sebetsa k'hamphaning e hlokang bokhoni ba ho ngola ka Python ('me ena ke bongata ba bona), u ka ba le bonnete ba hore tsebo ea li-pandas e tla nkoa ka ho sa feleng. Hajoale ke phethela tataiso ea selelekela ea ho sebetsa le li-panda - u ka khona e le hore o seke oa fetoa ke nako ea ho lokolloa.
Master AWS. Haeba u batla ho ba moenjiniere oa data, u ke ke ua etsa ntle le sethala sa leru ho stash, 'me AWS ke eona e tummeng ka ho fetisisa ho bona. Lithuto tseo li ile tsa nthusa haholo ha ke ntse ke ithuta , Ke nahana hore ba tla boela ba be le lisebelisoa tse ntle ho AWS.
Haeba u se u qetile lenane lena kaofela 'me u batla ho hola ho ea pele mahlong a bahiri joalo ka moenjiniere oa data, ke khothaletsa ho eketsa Apache Spark bakeng sa ho sebetsa ka data e kholo. Leha lipatlisiso tsa ka mabapi le likheo tsa bo-ramahlale ba data li bontšitse ho fokotseha ha thahasello, har'a baenjiniere ba data e ntse e hlaha hoo e batlang e le sekheo se seng le se seng sa bobeli.
Qetellong
Ke ts'epa hore o fumane kakaretso ena ea litheknoloji tse batloang haholo bakeng sa lienjiniere tsa data li le molemo. Haeba u ntse u ipotsa hore na mesebetsi ea analyst e ntse e tsoela pele joang, bala . Thabile boenjiniere!
Source: www.habr.com