Pwofesyon Done Syantis ak Data Engineer yo souvan konfonn. Chak konpayi gen spesifik pwòp li yo nan travay ak done, diferan rezon pou analiz yo ak yon lide diferan sou ki espesyalis ta dwe fè fas ak ki pati nan travay la, Se poutèt sa chak gen kondisyon pwòp li yo.
Ann chèche konnen ki diferans ki genyen ant espesyalis sa yo, ki pwoblèm biznis yo rezoud, ki konpetans yo genyen ak konbyen lajan yo touche. Materyèl la te vin gwo, kidonk nou te divize l an de piblikasyon.
Nan premye atik la, Elena Gerasimova, chèf fakilte a "" nan Netoloji, di ki diferans ki genyen ant yon Syantis Done ak yon Enjenyè Done ak ki zouti yo travay ak.
Ki jan wòl enjenyè ak syantis yo diferan
Yon enjenyè done se yon espesyalis ki, sou yon bò, devlope, teste ak kenbe enfrastrikti done: baz done, depo ak sistèm pwosesis mas. Nan lòt men an, sa a se youn nan ki netwaye ak "penyen" done pou itilize pa analis ak syantis done, se sa ki, kreye tiyo pwosesis done.
Data Scientist kreye ak antrene modèl prediksyon (ak lòt) lè l sèvi avèk algoritm aprantisaj machin ak rezo neral, ede biznis jwenn modèl kache, predi devlopman ak optimize pwosesis biznis kle.
Diferans prensipal ant yon syantifik done ak yon enjenyè done se ke yo anjeneral gen objektif diferan. Tou de travay pou asire ke done yo aksesib ak bon jan kalite segondè. Men, yon syantifik done jwenn repons pou kesyon li yo ak tès ipotèz nan yon ekosistèm done (pa egzanp, ki baze sou Hadoop), epi yon enjenyè done kreye yon tiyo pou sèvis yon algorithm aprantisaj machin ekri pa yon syantis done nan yon gwoup Spark nan menm bagay la. ekosistèm.
Yon enjenyè done pote valè nan yon biznis lè li travay kòm yon pati nan yon ekip. Travay li se aji kòm yon lyen enpòtan ant patisipan diferan: soti nan devlopè nan konsomatè biznis nan rapò, ak ogmante pwodiktivite nan analis yo, soti nan maketing ak pwodwi nan BI.
Yon syantifik done, okontrè, pran yon pati aktif nan estrateji konpayi an ak èkstraksyon Sur, pran desizyon, mete ann aplikasyon algoritm automatisation, modèl ak jenere valè nan done yo.
Travay ak done se sijè a prensip GIGO (fatra antre - fatra soti): si analis yo ak syantis done yo fè fas ak done ki pa prepare ak potansyèlman kòrèk, Lè sa a, rezilta yo menm lè l sèvi avèk algoritm analiz ki pi sofistike yo pral kòrèk.
Enjenyè done yo rezoud pwoblèm sa a lè yo bati tiyo pou trete, netwaye ak transfòme done epi pèmèt syantis done yo travay ak bon jan kalite done.
Gen anpil zouti sou mache a pou travay ak done ki kouvri chak etap: soti nan aparans nan done nan pwodiksyon nan yon tablodbò pou konsèy la. Epi li enpòtan ke desizyon an pou sèvi ak yo pran pa yon enjenyè - pa paske li se alamòd, men paske li pral reyèlman ede travay la nan lòt patisipan yo nan pwosesis la.
Konvansyonèl: si yon konpayi bezwen fè BI ak ETL travay ansanm - chaje done ak mete ajou rapò, isit la se yon fondasyon eritaj tipik ke yon Enjenyè Done pral gen fè fas ak (li bon si gen tou yon achitèk nan ekip la).
Responsablite yon enjenyè done
- Devlopman, konstriksyon ak antretyen nan enfrastrikti pwosesis done.
- Manyen erè ak kreye tiyo tretman done serye.
- Pote done san estrikti ki soti nan divès sous dinamik nan fòm ki nesesè pou travay analis yo.
- Bay rekòmandasyon pou amelyore konsistans done ak kalite.
- Bay ak kenbe achitekti done yo itilize pa syantis done ak analis done yo.
- Pwosesis ak estoke done yo toujou ak efikasite nan yon gwoup distribye nan plizyè dizèn oswa dè santèn de serveurs.
- Evalye konpwomi teknik zouti yo pou kreye achitekti senp men solid ki ka siviv dezòd.
- Kontwòl ak sipò nan koule done ak sistèm ki gen rapò (mete kanpe siveyans ak alèt).
Gen yon lòt espesyalizasyon nan trajectoire Data Engineer - ML Engineer. Nan ti bout tan, enjenyè sa yo espesyalize nan pote modèl aprantisaj machin nan aplikasyon endistriyèl ak itilizasyon. Souvan, yon modèl resevwa nan men yon syantis done se yon pati nan yon etid epi li ka pa travay nan kondisyon konba.
Responsablite yon syantifik done
- Ekstrè karakteristik nan done pou aplike algoritm aprantisaj machin.
- Sèvi ak plizyè zouti aprantisaj machin pou predi ak klasifye modèl nan done yo.
- Amelyore pèfòmans ak presizyon nan algoritm aprantisaj machin pa ajiste ak optimize algoritm yo.
- Fòmasyon ipotèz "fò" an akò ak estrateji konpayi an ki bezwen teste.
Tou de Data Engineer ak Data Scientist pataje yon kontribisyon byen mèb nan devlopman yon kilti done, atravè ki yon konpayi ka jenere pwofi adisyonèl oswa diminye depans yo.
Ki lang ak zouti enjenyè ak syantis yo travay ak?
Jodi a, atant yo pou syantis done yo te chanje. Anvan sa, enjenyè te kolekte gwo demann SQL, manyèlman te ekri MapReduce ak trete done lè l sèvi avèk zouti tankou Informatica ETL, Pentaho ETL, Talend.
Nan 2020, yon espesyalis pa ka fè san konesans nan Python ak zouti modèn kalkil (pa egzanp, Airflow), konpreyansyon sou prensip yo nan travay ak platfòm nwaj (itilize yo pou konsève pou sou pyès ki nan konpitè, pandan y ap obsève prensip sekirite).
SAP, Oracle, MySQL, Redis se zouti tradisyonèl pou enjenyè done nan gwo konpayi yo. Yo bon, men pri a nan lisans yo tèlman wo ke aprann travay avèk yo sèlman gen sans nan pwojè endistriyèl. An menm tan an, gen yon altènatif gratis nan fòm lan nan Postgres - li gratis ak apwopriye pa sèlman pou fòmasyon.
Istorikman, demann pou Java ak Scala yo souvan jwenn, byenke kòm teknoloji ak apwòch devlope, lang sa yo fennen nan background nan.
Sepandan, Hardcore BigData: Hadoop, Spark ak rès la nan zou a se pa yon avantou ankò pou yon enjenyè done, men se yon kalite zouti pou rezoud pwoblèm ki pa ka rezoud pa ETL tradisyonèl yo.
Tandans la se sèvis pou sèvi ak zouti san yo pa konnen lang yo ekri (pa egzanp, Hadoop san yo pa konnen Java), osi byen ke bay sèvis pare pou trete done difizyon (rekonesans vwa oswa rekonesans imaj sou videyo). ).
Solisyon endistriyèl soti nan SAS ak SPSS yo popilè, pandan y ap Tableau, Rapidminer, Stata ak Julia yo tou lajman itilize pa syantis done pou travay lokal yo.
Kapasite pou konstwi tiyo tèt yo te parèt bay analis yo ak syantis done yo sèlman yon koup de ane de sa: pou egzanp, li deja posib voye done nan yon depo ki baze sou PostgreSQL lè l sèvi avèk scripts relativman senp.
Tipikman, itilizasyon tiyo ak estrikti done entegre rete responsablite enjenyè done yo. Men, jodi a, tandans pou espesyalis ki gen fòm T ak konpetans laj nan domèn ki gen rapò se pi fò pase tout tan, paske zouti yo toujou ap senplifye.
Poukisa Data Engineer ak Data Scientist travay ansanm
Lè yo travay kole kole ak enjenyè, Done Syantis yo ka konsantre sou bò rechèch la, kreye algoritm aprantisaj machin ki pare pou pwodiksyon an.
Ak enjenyè yo bezwen konsantre sou évolutivité, re-itilizasyon done, epi asire ke done antre ak pwodiksyon tiyo nan chak pwojè endividyèl konfòme yo ak achitekti mondyal la.
Separasyon responsablite sa a asire konsistans atravè ekip k ap travay sou diferan pwojè aprantisaj machin.
Kolaborasyon ede kreye nouvo pwodwi avèk efikasite. Vitès ak bon jan kalite yo reyalize atravè yon balans ant kreye yon sèvis pou tout moun (depo mondyal oswa entegrasyon nan tablodbò) ak aplike chak bezwen espesifik oswa pwojè (trè espesyalize tiyo, konekte sous ekstèn).
Travay kole kole ak syantifik done ak analis ede enjenyè devlope ladrès analyse ak rechèch pou ekri pi bon kòd. Pataje konesans pami itilizatè depo ak done lak amelyore, fè pwojè yo pi ajil epi bay rezilta alontèm ki pi dirab.
Nan konpayi ki vize devlope yon kilti travay ak done ak bati pwosesis biznis ki baze sou yo, Data Scientist ak Data Engineer konplete youn ak lòt epi kreye yon sistèm analiz done konplè.
Nan pwochen atik la nou pral pale sou ki kalite edikasyon yon Enjenyè Done ak Done Syantis ta dwe genyen, ki konpetans yo bezwen devlope ak ki jan mache a fonksyone.
Soti nan editè yo nan Netoloji
Si w ap gade pwofesyon enjenyè done oswa syantis done, nou envite w etidye pwogram kou nou yo:
- Pwofesyon"'.
- Pwofesyon"'.
Sous: www.habr.com