Data Engineer ak Data Scientist: kisa yo ka fè ak konbyen yo touche

Ansanm ak Elena Gerasimova, chèf fakilte a "Syans done ak Analytics» nan Netoloji nou kontinye konprann ki jan yo kominike youn ak lòt ak ki jan Data Scientists ak Data Engineers diferan.

Nan premye pati yo te di sou diferans prensipal ki genyen ant Data Scientist ak Data Engineer.

Nan materyèl sa a nou pral pale sou ki konesans ak konpetans espesyalis yo ta dwe genyen, ki edikasyon anplwayè yo apresye, ki jan entèvyou yo fèt, ak konbyen enjenyè done ak syantis done yo touche. 

Ki sa syantifik ak enjenyè ta dwe konnen

Edikasyon espesyalize pou tou de espesyalis yo se Syans enfòmatik.

Data Engineer ak Data Scientist: kisa yo ka fè ak konbyen yo touche

Nenpòt syantis done—santis done oswa analis—dwe kapab pwouve konklizyon yo kòrèk. Pou sa ou pa ka fè san konesans statistik ak matematik de baz ki gen rapò ak estatistik.

Aprantisaj machin ak zouti analiz done yo endispansab nan mond modèn lan. Si zouti abityèl yo pa disponib, ou bezwen gen konpetans yo byen vit aprann nouvo zouti, kreye scripts senp pou otomatize travay yo.

Li enpòtan sonje ke syantis la done yo dwe efektivman kominike rezilta yo nan analiz la. Li pral ede l 'ak sa a vizyalizasyon done yo oswa rezilta rechèch ak tès ipotèz yo. Espesyalis yo dwe kapab kreye tablo ak graf, sèvi ak zouti vizyalizasyon, epi konprann epi eksplike done ki soti nan tablodbò.

Data Engineer ak Data Scientist: kisa yo ka fè ak konbyen yo touche

Pou yon enjenyè done, twa zòn vini nan devan an.

Algoritm ak estrikti done. Li enpòtan pou w byen ekri kòd epi itilize estrikti debaz ak algoritm:

  • analiz konpleksite algorithm,
  • kapasite pou ekri kòd klè, ki ka kenbe, 
  • pwosesis pakèt,
  • pwosesis an tan reyèl.

Baz done ak depo done, entèlijans biznis:

  • depo done ak pwosesis,
  • konsepsyon de sistèm konplè,
  • Enjèstyon done,
  • sistèm dosye distribye.

Hadoop ak gwo done. Gen plis ak plis done, ak sou orizon an nan 3-5 ane, teknoloji sa yo ap vin nesesè pou chak enjenyè. Plus:

  • Done Lakes
  • travay ak founisè nwaj yo.

Aprantisaj machin yo pral itilize toupatou, epi li enpòtan pou konprann ki pwoblèm biznis li pral ede rezoud. Li pa nesesè pou kapab fè modèl (syantifik done yo ka okipe sa a), men ou bezwen konprann aplikasyon yo ak kondisyon ki koresponn yo.

Konbyen enjenyè ak syantis yo touche?

Done Engineer Revni

Nan pratik entènasyonal salè kòmanse yo anjeneral $ 100 pou chak ane epi yo ogmante anpil ak eksperyans, dapre Glassdoor. Anplis de sa, konpayi yo souvan bay opsyon stock ak 000-5% bonis anyèl.

Nan Larisi nan kòmansman an nan yon karyè, salè a se nòmalman pa mwens pase 50 mil rubles nan rejyon yo ak 80 mil nan Moskou. Nan etap sa a, pa gen okenn eksperyans lòt pase fòmasyon konplete.

Apre 1-2 ane nan travay - yon fouchèt nan 90-100 mil rubles.

Fouchèt la ogmante a 120-160 mil nan 2-5 ane. Faktè tankou espesyalizasyon nan konpayi anvan yo, gwosè a nan pwojè, travay ak done gwo, elatriye yo ajoute.

Apre 5 ane travay, li pi fasil pou chèche pòs vid nan depatman ki gen rapò oswa aplike pou pozisyon trè espesyalize tankou:

  • Achitèk oswa pwomotè plon nan yon bank oswa telecom - sou 250 mil.

  • Pre-Lavant soti nan vandè a ki gen teknoloji ou te travay ak pi sere - 200 mil plis yon bonis posib (1-1,5 milyon dola rubles). 

  • Ekspè nan aplikasyon aplikasyon biznis Enterprise, tankou SAP - jiska 350 mil.

Revni nan syantis done yo

Rechèch mache nan analis nan konpayi an "Rechèch Nòmal" ak ajans la rekritman New.HR montre ke espesyalis Syans Done resevwa an mwayèn yon salè ki pi wo pase analis nan lòt espesyalite. 

Nan Larisi, salè a kòmanse nan yon syantis done ki gen jiska yon ane eksperyans nan soti nan 113 mil rubles. 

Konplete pwogram fòmasyon kounye a tou pran an kont kòm eksperyans travay.

Apre 1-2 ane, tankou yon espesyalis ka deja resevwa jiska 160 mil.

Pou yon anplwaye ki gen 4-5 ane eksperyans, fouchèt la ogmante a 310 mil.

Ki jan entèvyou yo fèt?

Nan Lwès la, gradye nan pwogram fòmasyon pwofesyonèl yo gen premye entèvyou yo an mwayèn 5 semèn apre yo fin gradye. Apeprè 85% jwenn yon travay apre 3 mwa.

Pwosesis entèvyou pou pozisyon enjenyè done ak syantifik done se nòmalman menm bagay la. Anjeneral konsiste de senk etap.

Rezime. Kandida ki gen eksperyans ki pa debaz anvan (pa egzanp, maketing) yo oblije prepare yon lèt kouvèti detaye pou chak konpayi oswa gen yon referans nan men yon reprezantan konpayi sa a.

Depistaj teknik. Li anjeneral pran plas nan telefòn nan. Konsiste de youn oubyen de kesyon konplèks ak anpil kesyon senp ki gen rapò ak pil aktyèl patwon an.

Entèvyou HR. Ka fè nan telefòn lan. Nan etap sa a, yo teste kandida a pou konpetans jeneral ak kapasite pou kominike.

Entèvyou teknik. Pi souvan li fèt an pèsòn. Nan diferan konpayi yo, nivo pozisyon yo nan tablo anplwaye yo diferan, epi pozisyon yo ka rele yon fason diferan. Se poutèt sa, nan etap sa a se konesans teknik ki teste.

Entèvyou ak CTO/Chief Architect. Enjenyè ak syantis yo se pozisyon estratejik, ak pou anpil konpayi yo tou nouvo. Li enpòtan ke manadjè a renmen kolèg potansyèl la ak dakò avè l 'nan opinyon li.

Ki sa ki pral ede syantis ak enjenyè nan kwasans karyè yo?

Byen anpil nouvo zouti pou travay ak done yo te parèt. Ak kèk moun ki egalman bon nan tout moun. 

Anpil konpayi yo pa pare pou anboche anplwaye san eksperyans travay. Sepandan, kandida ki gen yon background minim ak konesans de baz zouti popilè yo ka jwenn eksperyans ki nesesè si yo aprann epi devlope poukont yo.

Kalite itil pou yon enjenyè done ak yon syantis done

Dezi ak kapasite pou aprann. Ou pa bezwen imedyatman kouri dèyè eksperyans oswa chanje travay pou yon nouvo zouti, men ou bezwen dispoze chanje nan yon nouvo zòn.

Dezi a otomatize pwosesis woutin. Sa a enpòtan non sèlman pou pwodiktivite, men tou pou kenbe bon jan kalite done segondè ak vitès livrezon bay konsomatè a.

Atansyon ak konpreyansyon sou "sa ki anba kapo a" nan pwosesis. Yon espesyalis ki gen obsèvasyon ak bon jan konesans nan pwosesis yo pral rezoud pwoblèm nan pi vit.

Anplis de konesans ekselan nan algoritm, estrikti done ak tiyo, ou bezwen aprann panse nan pwodwi yo — wè achitekti ak solisyon biznis kòm yon foto sèl. 

Pou egzanp, li itil yo pran nenpòt sèvis byen li te ye ak vini ak yon baz done pou li. Lè sa a, panse sou ki jan yo devlope ETL ak DW ki pral ranpli li ak done, ki kalite konsomatè yo pral ak sa ki enpòtan pou yo konnen sou done yo, epi tou ki jan achtè kominike avèk aplikasyon: pou rechèch travay ak date, lokasyon machin. , aplikasyon podcast, platfòm edikasyon.

Pozisyon yon analis, yon syantis done ak yon enjenyè yo trè pre, kidonk, ou ka deplase soti nan yon direksyon nan yon lòt pi vit pase soti nan lòt zòn.

Nan nenpòt ka, li pral pi fasil pou moun ki gen nenpòt background IT pase pou moun ki pa genyen li. An mwayèn, adilt ki motive epi chanje travay chak 1,5–2 zan. Sa a pi fasil pou moun ki etidye nan yon gwoup ak yon konseye, konpare ak moun ki konte sèlman sou sous louvri.

Soti nan editè yo nan Netoloji

Si w ap gade pwofesyon enjenyè done oswa syantis done, nou envite w etidye pwogram kou nou yo:

Sous: www.habr.com

Add nouvo kòmantè