🥇Data Engineer vs. Data Scientist: Phapano ke Efe?

Hangata litsebi tsa Data Scientist le Data Engineer li ferekanngoa. Khamphani e 'ngoe le e' ngoe e na le lintlha tsa eona tsa ho sebetsa ka data, lipheo tse fapaneng tsa tlhahlobo ea tsona le mehopolo e fapaneng mabapi le hore na ke litsebi life tse lokelang ho etsa karolo efe ea mosebetsi, kahoo e 'ngoe le e' ngoe e na le litlhoko tsa eona.

Re fumana hore na phapang ke efe lipakeng tsa litsebi tsena, hore na li rarolla mesebetsi efe ea khoebo, li na le litsebo life le hore na li fumana bokae. Boitsebiso bo ile ba bonahala bo le boholo, kahoo re ile ra bo arola ka lingoliloeng tse peli.

Sehloohong sa pele, Elena Gerasimova, hlooho ea lefapha la thuto,Data Science le Analytics» ho Netology, e hlalosa phapang pakeng tsa Data Scientist le Data Engineer le hore na ba sebetsa ka lisebelisoa life.

Kamoo mesebetsi ea baenjiniere le bo-rasaense e fapanang kateng

Moenjineri oa data ke setsebi seo, ka lehlakoreng le leng, se nts'etsang, se lekang le ho ts'ehetsa lits'ebetso tsa data: li-database, polokelo le litsamaiso tsa ts'ebetso ea bongata. Ka lehlakoreng le leng, ke eena ea hloekisang le ho "combs" data bakeng sa ho sebelisoa ke bahlahlobisisi le bo-rasaense ba data, ke hore, o etsa liphaephe tsa ts'ebetso ea data.

A Data Scientist e theha le ho koetlisa mehlala ea ho lepa (le e meng) e sebelisa li-algorithms tsa ho ithuta ka mochini le marang-rang a marang-rang, ho thusa likhoebo ho fumana mekhoa e patehileng, ho bolela se tlang pele, le ho ntlafatsa mekhoa ea bohlokoa ea khoebo.

Phapang e ka sehloohong pakeng tsa Data Scientist le Data Engineer ke hore hangata ba na le lipakane tse fapaneng. Ka bobeli li sebetsa ho netefatsa hore data e ea fumaneha le ea boleng bo holimo. Empa Data Scientist e fumana likarabo tsa lipotso tsa bona le liteko tse inahaneloang ho ecosystem ea data (mohlala, Hadoop), ha Moenjiniere oa Data a etsa phaephe bakeng sa ho fana ka algorithm ea ho ithuta mochine e ngotsoeng ke rasaense oa data sehlopheng sa Spark ka har'a ecosystem e tšoanang.

Moenjiniere oa data o tlisa boleng khoebong ka ho sebetsa ka sehlopha. Mosebetsi oa bona ke ho sebetsa e le sehokelo sa bohlokoa pakeng tsa barupeluoa ba fapaneng: ho tloha ho baetsi ba khoebo ho ea ho bareki ba tlaleho, le ho eketsa tlhahiso ea bahlahlobisisi - ho tloha ho papatso le sehlahisoa ho ea ho BI.

Ka lehlakoreng le leng, A Data Scientist, o nka karolo e mafolofolo leanong la k'hamphani le tlhahiso ea temohisiso, ho etsa liqeto, ho kenya tšebetsong li-algorithms tsa boiketsetso, ho etsa mohlala le ho hlahisa boleng ho tsoa ho data.

Ho sebetsa le data ho itšetlehile ka molao-motheo oa GIGO (litšila ka - litšila): haeba bahlahlobisisi le bo-rasaense ba data ba sebetsana le lintlha tse sa lokisoang le tse ka 'nang tsa e-ba tse fosahetseng, joale liphello, esita le ka li-algorithms tsa tlhahlobo tse rarahaneng ka ho fetisisa, li tla fosahetse.

Baenjiniere ba data ba rarolla bothata bona ka ho haha liphaephe bakeng sa ho sebetsa, ho hloekisa le ho fetola data le ho lumella rasaense oa data hore a sebetse ka lintlha tsa boleng bo phahameng.

Ho na le lisebelisoa tse ngata tsa data 'marakeng tse koahelang mohato o mong le o mong: ho tloha ho hlaha ha data ho isa tlhahiso ho boardroom dashboard. 'Me ke habohlokoa hore qeto ea ho li sebelisa e entsoe ke moenjiniere - eseng hobane e le feshene, empa hobane o tla thusa barupeluoa ba bang mosebetsing oa bona.

Ho ea ka maemo: haeba k'hamphani e hloka ho etsa metsoalle pakeng tsa BI le ETL - ho kenya data le ho tlaleha lintlafatso, ona ke motheo o tloaelehileng oa lefa oo Moenjiniere oa Boitsebiso a tla tlameha ho sebetsana le oona (ho molemo haeba sehlopha se kenyelletsa setsebi sa meralo).

Boikarabello ba Moenjiniere oa Boitsebiso

Ntlafatso, kaho le tlhokomelo ea meaho ea ts'ebetso ea data.
Ho sebetsana le liphoso le ho theha lipeipi tsa ts'ebetso ea data tse tšepahalang.
Ho tlisa data e sa hlophisoang ho tsoa mehloling e fapaneng e matla ka mokhoa o hlokahalang bakeng sa mosebetsi oa bahlahlobisisi.
Ho fana ka likhothaletso ho ntlafatsa ts'ebetso ea data le boleng.
Ho fana le ho tšehetsa meralo ea data e sebelisoang ke bo-ramahlale ba data le bahlahlobisisi ba data.
Sebetsa le ho boloka data ka mokhoa o tsitsitseng le ka bokhabane sehlopheng se ajoang sa li-server tse mashome kapa tse makholo.
Ho lekola tradeoffs ea lisebelisoa tsa lisebelisoa ho theha meralo e bonolo empa e le matla e ka pholohang liphoso.
Taolo le ts'ehetso ea phallo ea data le litsamaiso tse amanang le tsona (ho beha leihlo le tlhokomeliso).

Ho na le boits'oaro bo bong ka har'a "Data Engineer trajectory" - moenjiniere oa ML. Ka bokhutšoanyane, lienjiniere tse joalo li ikhethela ho tlisa mekhoa ea ho ithuta ka mochini ts'ebetsong le ts'ebelisong ea indasteri. Hangata, mohlala o fumanoang ho setsebi sa data ke karolo ea lipatlisiso 'me e ka' na ea se ke ea sebetsa maemong a ntoa.

Boikarabello ba Setsebi sa Boitsebiso

Ho ntša likarolo ho data ho sebelisa li-algorithms tsa ho ithuta ka mochini.
Ho sebelisa lisebelisoa tse fapaneng tsa ho ithuta ka mochini ho bolela esale pele le ho hlophisa lipaterone ho data.
Ho ntlafatsa ts'ebetso le ho nepahala ha li-algorithms tsa ho ithuta ka mochini ka ho hlophisa hantle le ho ntlafatsa li-algorithms.
Ho theha maikutlo a "matla" ho latela leano la k'hamphani le hlokang ho lekoa.

Ka bobeli Moenjiniere oa Boitsebiso le Setsebi sa Boitsebiso ba na le tlatsetso e tšoanang e bonahalang ho nts'etsopele ea setso sa data se ka thusang k'hamphani ho hlahisa phaello e eketsehileng kapa ho fokotsa litšenyehelo.

Ke lipuo le lisebelisoa life tseo baenjiniere le bo-ramahlale ba sebetsang ka tsona?

Kajeno, litebello tsa bo-rasaense ba data li fetohile. Pejana, baenjiniere ba ne ba bokella lipotso tse kholo tsa SQL, ba ngola ka letsoho MapReduce, 'me ba sebetsana le lintlha ka lisebelisoa tse kang Informatica ETL, Pentaho ETL, Talend.

Ka 2020, setsebi se ke ke sa etsa ntle le tsebo ea Python le lisebelisoa tsa sejoale-joale tsa komporo (mohlala, Airflow), ho utloisisa melao-motheo ea ho sebetsa le li-platform tsa maru (ho li sebelisa ho boloka lisebelisoa, ha u ntse u shebile melao-motheo ea ts'ireletso).

SAP, Oracle, MySQL, Redis ke lisebelisoa tsa setso bakeng sa baenjiniere ba data lik'hamphani tse kholo. Li ntle, empa litšenyehelo tsa laesense li phahame hoo ho ithuta ho sebetsa le tsona hoa utloahala mererong ea indasteri feela. Ka nako e ts'oanang, ho na le khetho e sa lefelloeng ka mokhoa oa Postgres - e lokolohile ebile e loketse eseng feela bakeng sa koetliso.

Ho tloha khale, ho bile le tlhokahalo e ngata ea Java le Scala, leha mahlale le mekhoa e ntse e fetoha, lipuo tsena li ntse li nyamela.

Leha ho le joalo, hardcore BigData: Hadoop, Spark le libaka tse ling tsa zoo ha e sa le ntho e hlokahalang bakeng sa moenjiniere oa data, empa ke mofuta oa lisebelisoa tsa ho rarolla mathata ao ETL ea setso e ke keng ea a rarolla.

Tloaelo ke ea lits'ebeletso tsa ho sebelisa lisebelisoa ntle le tsebo ea puo eo li ngotsoeng ka eona (mohlala, Hadoop ntle le tsebo ea Java), hammoho le ho fana ka litšebeletso tse lokiselitsoeng bakeng sa ho sebetsana le data ea ho phallela (ho tseba lentsoe kapa setšoantšo ho video).

Litharollo tsa indasteri tse tsoang ho SAS le SPSS li ratoa, athe Tableau, Rapidminer, Stata le Julia le tsona li sebelisoa haholo ke bo-rasaense ba data bakeng sa mesebetsi ea lehae.

Bokhoni ba ho iketsetsa liphaephe u le mong bo 'nile ba fumaneha feela ho bahlahlobisisi le bo-rasaense ba data ka lilemo tse' maloa: mohlala, hona joale hoa khoneha ho romela data ho polokelo ea PostgreSQL e thehiloeng ho sebelisa mangolo a bonolo.

Ka tloaelo, tšebeliso ea liphaephe le mekhoa e kopanetsoeng ea data e ntse e le boikarabelo ba baenjiniere ba data. Empa kajeno, mokhoa o lebisang ho litsebi tse nang le sebopeho sa T - tse nang le boiphihlelo bo pharaletseng libakeng tse amanang - o matla ho feta leha e le neng pele, kaha lisebelisoa li lula li nolofalloa.

Hobaneng ha Data Engineer le Data Scientist ba Sebelisana Hammoho

Ka ho sebetsa haufi-ufi le baenjiniere, Data Scientists e ka tsepamisa maikutlo lehlakoreng la lipatlisiso tsa lintho, ho theha li-algorithms tsa ho ithuta mochini o itokiselitseng tlhahiso.
'Me lienjineri li lokela ho tsepamisa maikutlo ho scalability, tšebeliso ea data hape, le ho netefatsa hore lipeipi tsa ho kenya le ho tsoa morerong o mong le o mong li tsamaellana le meralo ea lefatše.

Karohano ena ea boikarabello e netefatsa botsitso lipakeng tsa lihlopha tse sebetsang mererong e fapaneng ea ho ithuta ka mochini.

Tšebelisano 'moho e thusa ho theha lihlahisoa tse ncha ka katleho. Lebelo le boleng li fihlelleha ka ho leka-lekanya lipakeng tsa ho theha ts'ebeletso bakeng sa motho e mong le e mong (polokelo ea lefats'e kapa kopanyo ea dashboard) le ho kenya tšebetsong tlhoko e 'ngoe le e 'ngoe kapa projeke (peipi e ikhethang e ikhethileng, e hokahanyang mehloli ea kantle).

Ho sebetsa haufi-ufi le bo-rasaense ba data le bahlahlobisisi ho thusa baenjiniere ho ntlafatsa tsebo ea ho hlahloba le ho hlahloba ho ngola khoutu e betere. Ho arolelana tsebo pakeng tsa polokelo ea data le basebelisi ba letša la data ho ea ntlafala, ho etsa hore merero e be bonolo le ho fana ka liphetho tse tšoarellang tsa nako e telele.

Lik'hamphaning tse ikemiselitseng ho hlahisa setso sa data le ho haha mekhoa ea khoebo e thehiloeng ho eona, Data Scientist le Data Engineer lia tlatsana 'me li theha mokhoa o feletseng oa ho hlahloba lintlha.

Sehloohong se latelang, re tla bua ka mofuta oa thuto ea Baenjiniere ba Boitsebiso le Bo-rasaense ba Data, ke litsebo life tseo ba li hlokang ho ntlafatsa, le kamoo 'maraka o hlophisitsoeng kateng.