Dapre , Enjenyè done se kounye a yon pwofesyon ki gen demann ap grandi pi vit pase nenpòt lòt. Yon enjenyè done jwe yon wòl enpòtan nan yon òganizasyon - kreye epi kenbe tiyo ak baz done yo itilize pou trete, transfòme ak estoke done yo. Ki konpetans reprezantan pwofesyon sa a bezwen anvan tout bagay? Èske lis la diferan de sa yo mande pou syantis done yo? Ou pral aprann sou tout bagay sa yo nan atik mwen an.
Mwen analize pòs ki vid pou pozisyon enjenyè done jan yo ye an janvye 2020 pou m konprann ki konpetans teknoloji ki pi popilè. Lè sa a, mwen konpare rezilta yo ak estatistik sou pòs ki vid pou pozisyon nan syantis done - ak kèk diferans enteresan parèt.
San yo pa anpil preambul, isit la se pi gwo dis teknoloji yo mansyone pi souvan nan afich travay:
Mansyone teknoloji nan pòs vid pou pozisyon enjenyè done an 2020
Ann figi l.
Responsablite yon enjenyè done
Jodi a, travay enjenyè done yo fè se yon gwo enpòtans pou òganizasyon yo - se moun sa yo ki responsab pou estoke enfòmasyon ak pote yo nan yon fòm konsa ke lòt anplwaye yo ka travay avèk li. Enjenyè done yo konstwi tiyo pou kouran oswa pakèt done ki soti nan plizyè sous. Pipelines Lè sa a, fè ekstraksyon, transfòmasyon, ak operasyon chaj (nan lòt mo, pwosesis ETL), fè done yo pi apwopriye pou plis itilize. Apre sa, done yo soumèt bay analis ak syantis done pou pi fon pwosesis. Finalman, done yo fini vwayaj li nan tablodbò, rapò, ak modèl aprantisaj machin.
Mwen t ap chèche enfòmasyon ki ta pèmèt mwen tire yon konklizyon sou ki teknoloji ki pi demann nan travay yon enjenyè done nan moman sa a.
Metòd
Mwen kolekte enfòmasyon nan twa sit rechèch travay − , и epi li te gade ki mo kle yo te rankontre an konjonksyon avèk "enjenyè done" nan tèks yo nan pòs vid ki vize a rezidan US. Pou travay sa a mwen te itilize de bibliyotèk Python - и . Pami mo kle yo, mwen te enkli tou de sa yo ki te enkli nan lis anvan an pou analize pòs ki vid pou pozisyon nan syantifik done yo, ak sa yo ke mwen te chwazi manyèlman pandan y ap li òf travay pou enjenyè done yo. LinkedIn pa te enkli nan lis la nan sous, depi mwen te entèdi la apre dènye tantativ mwen an kolekte done.
Pou chak mo kle, mwen kalkile pousantaj frape nan kantite total tèks sou chak sit separeman, ak Lè sa a, kalkile mwayèn pou twa sous yo.
Jwenn
Anba a se trant tèm jeni done teknik ak pi gwo nòt atravè tout twa sit travay yo.
Ak isit la se menm nimewo yo, men prezante nan fòm tab:
Ann ale nan lòd.
Revizyon rezilta yo
Tou de SQL ak Python parèt nan plis pase de tyè nan ouvèti travay yo revize. Se de teknoloji sa yo ki fè sans pou etidye an premye. se yon langaj pwogram trè popilè yo itilize pou travay ak done, kreye sit entènèt, ak ekri scripts. kanpe pou Structured Query Language; li enplike yon estanda aplike pa yon gwoup lang epi li itilize pou rekipere done ki soti nan baz done relasyon. Li te parèt depi lontan e li te pwouve tèt li trè rezistan.
Spark mansyone nan apeprè mwatye nan pòs vid yo. se yon "motè analiz gwo done inifye ak modil entegre pou difizyon, SQL, aprantisaj machin, ak pwosesis graf." Li espesyalman popilè nan mitan moun ki travay ak baz done gwo.
AWS parèt nan apeprè 45% nan afich travay. Li se yon platfòm cloud computing ki fabrike pa Amazon; li gen pi gwo pati nan mache nan mitan tout platfòm nwaj yo.
Next vini Java ak Hadoop - yon ti kras plis pase 40% pou frè yo. se yon lang ki pale anpil, ki teste batay la te bay dizyèm plas nan mitan lang ki lakòz laterè nan mitan pwogramè yo. Kontrèman, Python te dezyèm lang ki pi renmen an. Oracle dirije lang Java a, epi tout sa ou bezwen konnen sou li ka konprann nan ekran sa a nan paj ofisyèl la soti nan janvye 2020.
Se tankou monte nan yon machin tan
itilize modèl pwogramasyon MapReduce ak gwoup sèvè pou gwo done. Koulye a, modèl sa a se de pli zan pli abandone.
Lè sa a, nou wè Hive, Scala, Kafka ak NoSQL - chak nan teknoloji sa yo mansyone nan yon ka nan pòs vid yo soumèt. Apache Hive se yon lojisyèl depo done ki "fè li fasil pou li, ekri, ak jere gwo done ki abite nan magazen distribye lè l sèvi avèk SQL." – yon langaj pwogramasyon ki itilize aktivman lè w ap travay ak gwo done. An patikilye, Spark te kreye nan Scala. Nan klasman ki deja mansyone lang yo pè, Scala klase onzyèm. - yon platfòm distribye pou trete mesaj difizyon. Trè popilè kòm yon mwayen pou difizyon done.
diferansye tèt yo ak SQL. Yo diferan nan ke yo pa relasyon, san estrikti, ak orizontal évolutive. NoSQL te genyen kèk popilarite, men Angoman pou apwòch la, menm nan pwen an nan pwofesi ke li pral ranplase SQL kòm paradigm nan depo dominan, parèt yo dwe fini.
Konparezon ak tèm nan pòs vid syantifik done yo
Men trant tèm teknoloji ki pi komen nan mitan anplwayè syans done yo. Mwen te jwenn lis sa a nan menm fason an jan sa dekri pi wo a pou jeni done.
Mansyone teknoloji nan pòs vid pou pozisyon nan syantis done nan 2020
Si nou pale sou kantite total, konpare ak rekritman ki te konsidere anvan an, te gen 28% plis pòs vid (12 kont 013). Ann wè ki teknoloji ki mwens komen nan pòs ki vid pou syantis done pase pou enjenyè done.
Plis popilè nan jeni done
Grafik ki anba a montre mo kle yo ak yon diferans mwayèn ki pi gran pase 10% oswa mwens pase -10%.
Pi gwo diferans ki genyen nan frekans mo kle ant enjenyè done ak syantis done
AWS montre ogmantasyon ki pi enpòtan: nan jeni done li parèt 25% pi regilyèman pase nan syans done (apeprè 45% ak 20% nan kantite total pòs vid yo, respektivman). Diferans lan se aparan!
Isit la se menm done yo nan yon prezantasyon yon ti kras diferan - nan graf la, rezilta yo pou menm mo kle nan pòs ki vid yo pou pozisyon nan enjenyè done ak syantis done yo sitiye kòt a kòt.
Pi gwo diferans ki genyen nan frekans mo kle ant enjenyè done ak syantis done
Pwochen pi gwo so mwen te note se nan Spark - yon enjenyè done souvan gen pou travay ak gwo done. tou ogmante pa 20%, se sa ki, prèske kat fwa konpare ak rezilta a pou pòs vid syantifik done. Transfè done se youn nan responsablite kle yon enjenyè done. Finalman, kantite mansyone te 15% pi wo nan domèn jeni done pou Java, NoSQL, Redshift, SQL ak Hadoop.
Mwens popilè nan jeni done
Koulye a, ann wè ki teknoloji ki mwens popilè nan pòs vid enjenyè done yo.
Pi gwo bès konpare ak sektè syans done ki te fèt nan : gen li te parèt nan apeprè 56% nan pòs vid, isit la - sèlman nan 17%. Enpresyonan. R se yon langaj pwogram ki favorize pa syantis ak statistik, epi li se wityèm lang ki pi pè nan mond lan.
se tou yo te jwenn nan pòs ki vid pou pozisyon nan enjenyè done siyifikativman mwens souvan - diferans lan se 14%. SAS se yon lang pwopriyetè ki fèt pou travay ak estatistik ak done. Pwen enteresan: jije pa rezilta yo , li te pèdi anpil tè dènyèman-plis pase nenpòt lòt teknoloji.
Nan demann nan tou de jeni done ak syans done
Li ta dwe remake ke uit nan dis premye pozisyon yo nan tou de seri yo se menm bagay la. SQL, Python, Spark, AWS, Java, Hadoop, Hive ak Scala te fè li nan dis pi gwo pou tou de endistri jeni done ak syans done. Nan graf ki anba a ou ka wè kenz teknoloji ki pi popilè nan mitan anplwayè enjenyè done yo, epi tou pre yo se pousantaj pòs vid yo pou syantis done yo.
Rekòmandasyon
Si ou vle antre nan jeni done, mwen ta konseye w metrize teknoloji sa yo - mwen lis yo nan lòd priyorite apwoksimatif.
Aprann SQL. Mwen apiye sou PostgreSQL paske li se sous louvri, trè popilè nan kominote a, epi li nan yon faz kwasans. Ou ka aprann kijan pou itilize lang nan liv My Memorable SQL - vèsyon pilòt li disponib .
Mèt Python, menm si se pa nan nivo ki pi difisil. My Memorable Python fèt espesyalman pou débutan. Li ka achte nan , kopi elektwonik oswa fizik, chwa ou, oswa telechaje nan fòma pdf oswa epub .
Yon fwa ou abitye ak Python, ale nan panda, yon bibliyotèk Python ki itilize pou netwaye done ak pwosesis. Si w ap vize travay nan yon konpayi ki mande kapasite pou ekri nan Python (e sa a se majorite nan yo), ou ka asire w ke konesans nan panda yo pral sipoze pa default. Kounye a mwen ap fini yon gid entwodiksyon nan travay ak panda - ou kapab pou nou pa rate moman liberasyon an.
Mèt AWS. Si ou vle vin yon enjenyè done, ou pa ka fè san yo pa yon platfòm nwaj nan kachèt la, ak AWS se pi popilè nan yo. Kou yo te ede m anpil lè m t ap etidye , Mwen panse ke yo pral gen tou bon materyèl sou AWS.
Si ou te deja ranpli tout lis sa a epi ou vle grandi plis nan je anplwayè yo kòm yon enjenyè done, mwen sijere ajoute Apache Spark pou travay ak done gwo. Malgre ke rechèch mwen an sou pòs syantifik done yo te montre yon bès nan enterè, nan mitan enjenyè done li toujou parèt nan prèske chak dezyèm pòs vid.
Nan dènye
Mwen espere ou te jwenn apèsi sa a sou teknoloji ki pi demann pou enjenyè done itil. Si w ap mande ki jan travay analis yo ap mache, li . Ala bon sa bon jeni!
Sous: www.habr.com