Cov hauj lwm ntawm Data Scientist thiab Data Engineer feem ntau tsis meej pem. Txhua lub tuam txhab muaj nws tus kheej tshwj xeeb ntawm kev ua haujlwm nrog cov ntaub ntawv, lub hom phiaj sib txawv rau lawv qhov kev tshuaj xyuas thiab ib lub tswv yim sib txawv ntawm cov kws tshwj xeeb yuav tsum tau ua nrog rau qhov twg ntawm txoj haujlwm, yog li txhua tus muaj nws tus kheej cov cai.
Cia peb txheeb xyuas qhov txawv ntawm cov kws tshaj lij no, cov teeb meem kev lag luam uas lawv daws tau, lawv muaj peev xwm dab tsi thiab lawv khwv tau npaum li cas. Cov ntaub ntawv tau dhau los ua qhov loj, yog li peb muab faib ua ob qhov kev tshaj tawm.
Nyob rau hauv thawj tsab xov xwm, Elena Gerasimova, tus thawj coj ntawm cov kws qhia ntawv "" hauv Netology, qhia qhov txawv ntawm Tus Kws Tshawb Fawb Cov Ntaub Ntawv thiab Tus Kws Tshawb Fawb Cov Ntaub Ntawv thiab cov cuab yeej twg lawv ua haujlwm nrog.
Lub luag haujlwm ntawm engineers thiab cov kws tshawb fawb txawv li cas
Tus kws tshaj lij cov ntaub ntawv yog tus kws tshaj lij uas, ntawm ib sab, tsim, sim thiab tswj cov ntaub ntawv hauv tsev: databases, khaws cia thiab kev ua haujlwm loj. Ntawm qhov tod tes, qhov no yog tus uas ntxuav thiab "combs" cov ntaub ntawv siv los ntawm cov kws tshuaj ntsuam thiab cov kws tshawb fawb cov ntaub ntawv, uas yog, tsim cov ntaub ntawv ua cov kav dej.
Tus Kws Tshawb Fawb Cov Ntaub Ntawv tsim thiab cob qhia kev kwv yees (thiab lwm yam) qauv siv tshuab kev kawm algorithms thiab neural networks, pab cov lag luam nrhiav cov qauv zais, kwv yees kev txhim kho thiab txhim kho cov txheej txheem kev lag luam tseem ceeb.
Qhov sib txawv tseem ceeb ntawm Tus Kws Tshawb Fawb Cov Ntaub Ntawv thiab Tus Kws Tshawb Fawb Cov Ntaub Ntawv yog tias lawv feem ntau muaj cov hom phiaj sib txawv. Ob leeg ua haujlwm los xyuas kom meej tias cov ntaub ntawv siv tau thiab zoo. Tab sis Tus Kws Tshawb Fawb Cov Ntaub Ntawv pom cov lus teb rau nws cov lus nug thiab ntsuas qhov kev xav hauv cov ntaub ntawv ecosystem (piv txwv li, raws li Hadoop), thiab Tus Kws Tshawb Fawb Cov Ntaub Ntawv tsim cov raj xa dej rau kev pabcuam lub tshuab kev kawm algorithm sau los ntawm tus kws tshawb fawb cov ntaub ntawv hauv Spark pawg hauv tib yam. ecosystem.
Tus engineer cov ntaub ntawv coj tus nqi rau kev lag luam los ntawm kev ua haujlwm ua ib feem ntawm pab pawg. Nws txoj haujlwm yog los ua qhov tseem ceeb ntawm kev sib txuas ntawm cov neeg koom nrog sib txawv: los ntawm cov neeg tsim khoom mus rau cov neeg siv khoom lag luam ntawm kev tshaj tawm, thiab ua kom cov khoom tsim tau zoo ntawm cov kws tshuaj ntsuam, los ntawm kev lag luam thiab cov khoom lag luam mus rau BI.
Tus Kws Tshawb Fawb Cov Ntaub Ntawv, ntawm qhov tsis sib xws, koom nrog kev koom tes hauv lub tuam txhab lub tswv yim thiab nthuav tawm kev nkag siab, txiav txim siab, siv cov automation algorithms, qauv thiab tsim cov nqi ntawm cov ntaub ntawv.
Kev ua haujlwm nrog cov ntaub ntawv yog raws li GIGO (khoom khib nyiab hauv - khib nyiab tawm) txoj hauv kev: yog tias cov kws tshuaj ntsuam thiab cov kws tshawb fawb cov ntaub ntawv cuam tshuam nrog cov ntaub ntawv tsis tau npaj thiab muaj peev xwm tsis raug, ces cov txiaj ntsig txawm siv cov kev soj ntsuam algorithms tshaj plaws yuav tsis raug.
Cov ntaub ntawv engineers daws qhov teeb meem no los ntawm kev tsim cov kav dej rau kev ua, tu thiab hloov cov ntaub ntawv thiab tso cai rau cov kws tshawb fawb cov ntaub ntawv ua haujlwm nrog cov ntaub ntawv zoo.
Muaj ntau ntau yam cuab yeej ntawm kev ua lag luam rau kev ua hauj lwm nrog cov ntaub ntawv uas npog txhua theem: los ntawm cov tsos ntawm cov ntaub ntawv tawm mus rau lub dashboard rau cov thawj coj ntawm lub rooj tsavxwm. Thiab nws yog ib qho tseem ceeb uas qhov kev txiav txim siab siv lawv yog tsim los ntawm ib tug engineer - tsis yog vim nws yog fashionable, tab sis vim hais tias nws yuav pab tau tiag tiag cov hauj lwm ntawm lwm tus neeg koom nyob rau hauv tus txheej txheem.
Conventionally: yog tias ib lub tuam txhab xav tau kev sib txuas ntawm BI thiab ETL - thauj cov ntaub ntawv thiab hloov kho cov ntaub ntawv, ntawm no yog lub hauv paus qub qub uas tus Data Engineer yuav tau ua nrog (nws zoo yog tias tseem muaj ib tus kws tsim qauv hauv pab pawg).
Lub luag haujlwm ntawm Data Engineer
- Kev tsim kho, kev tsim kho thiab kev saib xyuas cov ntaub ntawv ua cov txheej txheem.
- Kev ua yuam kev thiab tsim cov ntaub ntawv txhim khu kev qha ua cov kav dej.
- Nqa cov ntaub ntawv tsis tsim nyog los ntawm ntau qhov chaw dynamic mus rau daim ntawv tsim nyog rau kev ua haujlwm ntawm cov kws tshuaj ntsuam.
- Muab cov lus pom zoo los txhim kho cov ntaub ntawv sib xws thiab zoo.
- Muab thiab tswj cov ntaub ntawv architecture siv los ntawm cov kws tshawb fawb cov ntaub ntawv thiab cov kws tshuaj ntsuam xyuas cov ntaub ntawv.
- Txheej txheem thiab khaws cov ntaub ntawv tsis tu ncua thiab ua tau zoo nyob rau hauv ib pawg faib ntawm kaum lossis pua pua ntawm servers.
- Ntsuas cov kev lag luam tawm ntawm cov cuab yeej los tsim cov qauv yooj yim tab sis muaj zog uas tuaj yeem muaj kev cuam tshuam.
- Kev tswj thiab kev txhawb nqa ntawm cov ntaub ntawv ntws thiab cov kab ke ntsig txog (tsim kev saib xyuas thiab ceeb toom).
Muaj lwm qhov tshwj xeeb hauv Data Engineer trajectory - ML engineer. Nyob rau hauv luv luv, cov engineers tshwj xeeb hauv kev coj cov qauv kev kawm tshuab rau kev siv thiab siv. Feem ntau, tus qauv tau txais los ntawm tus kws tshawb fawb cov ntaub ntawv yog ib feem ntawm kev kawm thiab yuav tsis ua haujlwm hauv kev sib ntaus sib tua.
Lub luag haujlwm ntawm Tus Kws Tshawb Fawb Cov Ntaub Ntawv
- Extracting nta los ntawm cov ntaub ntawv los siv tshuab kawm algorithms.
- Siv ntau yam cuab yeej kawm tshuab los kwv yees thiab faib cov qauv hauv cov ntaub ntawv.
- Txhim kho qhov kev ua tau zoo thiab qhov tseeb ntawm tshuab kev kawm algorithms los ntawm kev kho kom zoo thiab ua kom zoo rau cov algorithms.
- Tsim kom muaj "muaj zog" kev xav raws li lub tuam txhab lub tswv yim uas yuav tsum tau sim.
Ob Tus Kws Tshawb Fawb Cov Ntaub Ntawv thiab Cov Kws Tshawb Fawb Cov Ntaub Ntawv sib koom ua ke rau kev txhim kho cov ntaub ntawv kab lis kev cai, dhau los ntawm lub tuam txhab tuaj yeem tsim cov txiaj ntsig ntxiv lossis txo cov nqi.
Cov lus thiab cov cuab yeej ua haujlwm li cas nrog cov engineers thiab cov kws tshawb fawb?
Niaj hnub no, qhov kev cia siab rau cov ntaub ntawv kws tshawb fawb tau hloov pauv. Yav dhau los, engineers tau sau cov lus nug loj SQL, manually sau MapReduce thiab ua cov ntaub ntawv siv cov cuab yeej xws li Informatica ETL, Pentaho ETL, Talend.
Xyoo 2020, tus kws tshaj lij tsis tuaj yeem ua tsis tau yam tsis muaj kev paub txog Python thiab cov cuab yeej suav niaj hnub (piv txwv li, Airflow), kev nkag siab txog cov hauv paus ntsiab lus ntawm kev ua haujlwm nrog huab platforms (siv lawv txuag ntawm hardware, thaum saib xyuas kev ruaj ntseg).
SAP, Oracle, MySQL, Redis yog cov cuab yeej ib txwm siv rau cov ntaub ntawv engineers hauv cov tuam txhab loj. Lawv yog cov zoo, tab sis tus nqi ntawm cov ntawv tso cai yog siab heev uas kawm ua hauj lwm nrog lawv tsuas yog ua rau kev txiav txim siab nyob rau hauv industrial tej yaam num. Nyob rau tib lub sijhawm, muaj lwm txoj hauv kev pub dawb hauv daim ntawv ntawm Postgres - nws yog dawb thiab tsim nyog tsis yog rau kev cob qhia xwb.
Keeb kwm, kev thov rau Java thiab Scala feem ntau pom, txawm hais tias raws li thev naus laus zis thiab kev txhim kho, cov lus no ploj mus rau hauv keeb kwm yav dhau.
Txawm li cas los xij, hardcore BigData: Hadoop, Spark thiab tus so ntawm lub vaj tsiaj tsis yog qhov yuav tsum tau ua ua ntej rau cov ntaub ntawv engineer, tab sis ib hom kev daws teeb meem uas tsis tuaj yeem daws tau los ntawm ETL ib txwm muaj.
Cov qauv no yog cov kev pabcuam rau kev siv cov cuab yeej tsis muaj kev paub txog cov lus uas lawv tau sau (piv txwv li, Hadoop tsis paub Java), nrog rau cov kev pabcuam npaj txhij rau kev ua cov ntaub ntawv streaming (lub suab paub lossis pom cov duab hauv video. ).
Cov kev daws teeb meem los ntawm SAS thiab SPSS yog nrov, thaum Tableau, Rapidminer, Stata thiab Julia kuj tau siv dav los ntawm cov kws tshawb fawb cov ntaub ntawv rau cov haujlwm hauv zos.
Lub peev xwm los tsim cov kav dej lawv tus kheej tau tshwm sim rau cov kws tshuaj ntsuam thiab cov kws tshawb fawb cov ntaub ntawv tsuas yog ob peb xyoos dhau los: piv txwv li, nws twb tau xa cov ntaub ntawv mus rau PostgreSQL-raws li cia siv cov ntawv yooj yim.
Feem ntau, kev siv cov kav dej thiab cov ntaub ntawv sib xyaw ua ke tseem yog lub luag haujlwm ntawm cov ntaub ntawv engineers. Tab sis niaj hnub no, tus qauv rau T-zoo li tus kws tshaj lij nrog cov peev txheej dav hauv cov haujlwm muaj txiaj ntsig zoo dua qub, vim tias cov cuab yeej niaj hnub ua kom yooj yim dua.
Vim li cas Data Engineer thiab Data Scientist ua hauj lwm ua ke
Los ntawm kev ua haujlwm ze nrog cov kws tshaj lij, Cov Kws Tshawb Fawb Cov Ntaub Ntawv tuaj yeem tsom mus rau kev tshawb fawb sab, tsim cov txheej txheem kev kawm npaj ua tshuab.
Thiab cov engineers yuav tsum tau tsom mus rau scalability, cov ntaub ntawv rov siv dua, thiab xyuas kom meej tias cov ntaub ntawv tawm tswv yim thiab cov kav dej hauv txhua qhov project ua raws li lub ntiaj teb architecture.
Qhov kev sib cais ntawm lub luag haujlwm no ua kom muaj kev sib luag ntawm cov pab pawg ua haujlwm ntawm cov haujlwm sib txawv ntawm lub tshuab.
Kev sib koom tes pab tsim cov khoom tshiab kom zoo. Kev ceev thiab kev ua tau zoo yog ua tiav los ntawm kev sib npaug ntawm kev tsim cov kev pabcuam rau txhua tus (lub ntiaj teb cia lossis kev sib koom ua ke ntawm cov dashboards) thiab siv txhua qhov kev xav tau lossis qhov project (cov kav dej tshwj xeeb, txuas nrog lwm qhov chaw).
Ua haujlwm ze nrog cov kws tshawb fawb cov ntaub ntawv thiab cov kws tshuaj ntsuam xyuas pab engineers txhim kho kev tshuaj xyuas thiab kev tshawb fawb kev txawj sau ntawv zoo dua. Kev paub txog kev sib koom ntawm cov tsev khaws khoom thiab cov ntaub ntawv pas dej cov neeg siv txhim kho, ua kom cov phiaj xwm nrawm dua thiab xa cov txiaj ntsig ntev mus ntev.
Hauv cov tuam txhab uas xav tsim kom muaj kab lis kev cai ntawm kev ua haujlwm nrog cov ntaub ntawv thiab tsim cov txheej txheem kev lag luam raws li lawv, Cov Kws Tshawb Fawb thiab Cov Ntaub Ntawv Kws Ua Haujlwm sib ntxiv ua ke thiab tsim kom tiav cov ntaub ntawv txheeb xyuas.
Nyob rau hauv tsab xov xwm tom ntej no peb yuav tham txog yam kev kawm zoo li cas tus Kws Tshawb Fawb Cov Ntaub Ntawv thiab Cov Kws Tshawb Fawb Cov Ntaub Ntawv yuav tsum muaj, lawv cov txuj ci dab tsi uas lawv xav tau los txhim kho thiab kev ua lag luam ua haujlwm li cas.
Los ntawm cov editors ntawm Netology
Yog tias koj tab tom saib txoj haujlwm ntawm Data Engineer lossis Data Scientist, peb caw koj los kawm peb cov kev kawm:
- Kev ua haujlwm "".
- Kev ua haujlwm "".
Tau qhov twg los: www.hab.com