Data Engineer le Data Scientist: Phapano ke efe?

Hangata litsebi tsa Data Scientist le Data Engineer li ferekanngoa. Khamphani e 'ngoe le e' ngoe e na le lintlha tsa eona tsa ho sebetsa ka data, merero e fapaneng ea tlhahlobo ea bona le mohopolo o fapaneng oa hore na ke setsebi sefe se lokelang ho sebetsana le karolo efe ea mosebetsi, ka hona e 'ngoe le e' ngoe e na le litlhoko tsa eona. 

Ha re boneng hore na phapang ke efe lipakeng tsa litsebi tsena, hore na li rarolla mathata afe a khoebo, li na le litsebo life le hore na li fumana bokae. Litaba li ile tsa bonahala li le khōlō, kahoo re ile ra li arola ka lingoliloeng tse peli.

Sehloohong sa pele, Elena Gerasimova, hlooho ea lefapha ".Data Science le Analytics" ho Netology, e bolela hore na phapang ke efe pakeng tsa Data Scientist le Data Engineer le hore na ba sebetsa ka lisebelisoa life.

Kamoo mesebetsi ea baenjiniere le bo-rasaense e fapanang kateng

Moenjiniere oa data ke setsebi seo, ka lehlakoreng le leng, se hlahisang, se lekang le ho boloka lisebelisoa tsa data: li-database, polokelo le mekhoa ea ho sebetsa ka bongata. Ka lehlakoreng le leng, enoa ke eena ea hloekisang le ho "combs" data bakeng sa ho sebelisoa ke bahlahlobisisi le bo-rasaense ba data, ke hore, o etsa liphaephe tsa ho sebetsana le data.

Data Scientist e theha le ho koetlisa mehlala ea ho lepa (le e meng) ho sebelisa li-algorithms tsa ho ithuta ka mochini le marang-rang a marang-rang, ho thusa likhoebo ho fumana mekhoa e patiloeng, ho bolela esale pele tsoelo-pele le ho ntlafatsa lits'ebetso tsa bohlokoa tsa khoebo.

Phapang e ka sehloohong pakeng tsa Data Scientist le Data Engineer ke hore hangata ba na le lipakane tse fapaneng. Ka bobeli li sebetsa ho netefatsa hore data e ea fumaneha le ea boleng bo holimo. Empa A Data Scientist e fumana likarabo tsa lipotso tsa hae le ho etsa liteko ka ecosystem ea data (mohlala, e thehiloeng ho Hadoop), 'me Data Engineer e etsa pipeline bakeng sa ho sebetsana le algorithm ea ho ithuta mochine e ngotsoeng ke rasaense oa data sehlopheng sa Spark ka har'a eona. tikoloho. 

Moenjiniere oa data o tlisa boleng ho khoebo ka ho sebetsa e le karolo ea sehlopha. Mosebetsi oa eona ke ho sebetsa e le sehokelo sa bohlokoa lipakeng tsa barupeluoa ba fapaneng: ho tloha ho baetsi ba khoebo ho ea ho bareki ba tlaleho, le ho eketsa tlhahiso ea bahlahlobisisi, ho tloha ho mebaraka le sehlahisoa ho isa ho BI. 

Setsebi sa Boitsebiso, ho fapana le hoo, se nka karolo e mafolofolo leanong la k'hamphani le ho fumana lintlha, ho etsa liqeto, ho kenya tšebetsong li-algorithms tsa boiketsetso, ho etsa mohlala le ho hlahisa boleng ho tsoa ho data.


Ho sebetsa le data ho itšetlehile ka molao-motheo oa GIGO (litšila ka ntle): haeba bahlahlobisisi le bo-rasaense ba data ba sebetsana le lintlha tse sa lokisoang le tse ka 'nang tsa e-ba tse fosahetseng, joale liphello esita le ho sebelisa li-algorithms tsa tlhahlobo tse rarahaneng ka ho fetisisa li tla fosahetse. 

Baenjiniere ba data ba rarolla bothata bona ka ho haha ​​​​liphaephe bakeng sa ho sebetsa, ho hloekisa le ho fetola data le ho lumella bo-rasaense ba data ho sebetsa ka boitsebiso ba boleng bo phahameng. 

Ho na le lisebelisoa tse ngata 'marakeng bakeng sa ho sebetsa ka lintlha tse koahelang mohato o mong le o mong: ho tloha ponahalong ea data ho ea ho dashboard bakeng sa boto ea batsamaisi. 'Me ke habohlokoa hore qeto ea ho li sebelisa e entsoe ke moenjiniere - eseng hobane e le feshene, empa hobane o tla thusa mosebetsi oa barupeluoa ba bang ts'ebetsong. 

Ka mokhoa o ts'oanang: haeba k'hamphani e hloka ho etsa likhokahano lipakeng tsa BI le ETL - ho kenya data le litlaleho tsa ntlafatso, mona ke motheo o tloaelehileng oa lefa oo Moenjiniere oa Lintlha a tla tlameha ho sebetsana le ona (ho molemo haeba ho boetse ho na le setsebi sa meralo sehlopheng).

Boikarabello ba Moenjiniere oa Boitsebiso

• Ntlafatso, kaho le tlhokomelo ea meaho ea ts'ebetso ea data.
• Ho sebetsana le liphoso le ho theha lipeipi tsa ts'ebetso ea data tse tšepahalang.
• Ho tlisa data e sa hlophisoang ho tsoa mehloling e fapaneng e matla ho ea ka foromo e hlokahalang bakeng sa mosebetsi oa bahlahlobisisi.
• Ho fana ka likhothaletso ho ntlafatsa ts'ebetso ea data le boleng.
• Ho fana le ho boloka meralo ea data e sebelisoang ke bo-ramahlale ba data le bahlahlobi ba data.
• Sebetsa le ho boloka data ka mokhoa o tsitsitseng le ka bokhabane sehlopheng se ajoang sa li-server tse mashome kapa tse makholo.
• Lekola mekhoa ea tekheniki ea lisebelisoa ho theha meaho e bonolo empa e tiile e ka pholohang tšitiso.
• Taolo le ts'ehetso ea phallo ea data le litsamaiso tse amanang le tsona (ho beha leihlo le tlhokomeliso).

Ho na le boits'oaro bo bong ka har'a "Data Engineer trajectory" - moenjiniere oa ML. Ka bokhutšoanyane, baenjiniere bana ba sebetsa ka thata ho tlisa mekhoa ea ho ithuta ea mochini ts'ebetsong le ts'ebelisong ea indasteri. Hangata, mohlala o fumanoang ho setsebi sa data ke karolo ea thuto 'me e ka' na ea se ke ea sebetsa maemong a ntoa.

Boikarabello ba Setsebi sa Boitsebiso

• Ho ntša likarolo ho data ho sebelisa li-algorithms tsa ho ithuta ka mochini.
• Ho sebelisa lisebelisoa tse fapaneng tsa ho ithuta ka mochini ho bolela esale pele le ho hlophisa lipaterone ho data.
• Ho ntlafatsa ts'ebetso le ho nepahala ha li-algorithms tsa ho ithuta ka mochini ka ho hlophisa hantle le ho ntlafatsa li-algorithms.
• Ho thehoa ha maikutlo a "matla" ho latela leano la k'hamphani le hlokang ho lekoa.

Ka bobeli Data Engineer le Data Scientist ba arolelana tlatsetso e bonahalang ho nts'etsopele ea setso sa data, eo ka eona k'hamphani e ka hlahisang phaello e eketsehileng kapa ea fokotsa litšenyehelo.

Ke lipuo le lisebelisoa life tseo baenjiniere le bo-ramahlale ba sebetsang ka tsona?

Kajeno, litebello tsa bo-rasaense ba data li fetohile. Pejana, baenjiniere ba ne ba bokella lipotso tse kholo tsa SQL, ba ngola ka letsoho MapReduce le ho sebetsana le data ba sebelisa lisebelisoa tse kang Informatica ETL, Pentaho ETL, Talend. 

Ka 2020, setsebi se ke ke sa etsa ntle le tsebo ea Python le lisebelisoa tsa morao-rao tsa lipalo (mohlala, Airflow), kutloisiso ea melao-motheo ea ho sebetsa le li-platform tsa maru (ho li sebelisa ho boloka lisebelisoa, ha li ntse li boloka melao-motheo ea tšireletso).

SAP, Oracle, MySQL, Redis ke lisebelisoa tsa setso bakeng sa baenjiniere ba data lik'hamphani tse kholo. Li ntle, empa litšenyehelo tsa laesense li phahame hoo ho ithuta ho sebetsa le tsona ho utloahalang mererong ea indasteri. Ka nako e ts'oanang, ho na le khetho e sa lefelloeng ka mokhoa oa Postgres - e lokolohile ebile e loketse eseng feela bakeng sa koetliso. 

Ho latela nalane, likopo tsa Java le Scala hangata lia fumanoa, leha mahlale a morao-rao le mekhoa e ntse e hola, lipuo tsena li nyamela ka morao.

Leha ho le joalo, hardcore BigData: Hadoop, Spark le libaka tse ling tsa zoo ha e sa le ntho e hlokahalang bakeng sa moenjiniere oa data, empa ke mofuta oa lisebelisoa tsa ho rarolla mathata a ke keng a rarolloa ke ETL ea setso. 

Tloaelo ke lits'ebeletso tsa ho sebelisa lisebelisoa ntle le tsebo ea puo eo li ngotsoeng ka eona (mohlala, Hadoop ntle le tsebo ea Java), hammoho le ho fana ka lits'ebeletso tse lokiselitsoeng ho sebetsana le data ea phallo (ho tseba lentsoe kapa ho tseba litšoantšo ho video. ).

Litharollo tsa indasteri tse tsoang ho SAS le SPSS li ratoa, athe Tableau, Rapidminer, Stata le Julia le tsona li sebelisoa haholo ke bo-rasaense ba data bakeng sa mesebetsi ea lehae.

Bokhoni ba ho iketsetsa liphaephe ka botsona bo ile ba hlaha ho bahlahlobisisi le bo-rasaense ba data lilemong tse 'maloa tse fetileng: mohlala, ho se ho ntse ho khoneha ho romella data ho polokelo e thehiloeng ho PostgreSQL ho sebelisa mangolo a bonolo. 

Ka tloaelo, tšebeliso ea liphaephe le mekhoa e kopanetsoeng ea data e ntse e le boikarabelo ba baenjiniere ba data. Empa kajeno, mokhoa oa litsebi tse bōpehileng joaloka T tse nang le bokhoni bo pharaletseng litabeng tse amanang le tsona o matla ho feta leha e le neng pele, hobane lisebelisoa li lula li nolofatsoa.

Hobaneng ha Data Engineer le Data Scientist ba Sebelisana Hammoho

Ka ho sebetsa haufi-ufi le baenjiniere, Bo-rasaense ba Data ba ka tsepamisa maikutlo lehlakoreng la lipatlisiso, ba theha li-algorithms tsa ho ithuta tsa mochini tse lokiselitsoeng tlhahiso.
'Me lienjineri li hloka ho tsepamisa maikutlo ho scalability, tšebeliso ea data hape, le ho netefatsa hore liphaephe tsa ho kenya le ho ntša data morerong o mong le o mong li lumellana le meralo ea lefats'e.

Karohano ena ea boikarabello e netefatsa botsitso ho lihlopha tsohle tse sebetsang mererong e fapaneng ea ho ithuta ka mochini. 

Tšebelisano 'moho e thusa ho theha lihlahisoa tse ncha ka katleho. Lebelo le boleng li fihlelleha ka ho leka-lekana lipakeng tsa ho theha ts'ebeletso bakeng sa motho e mong le e mong (polokelo ea lefats'e kapa ho kopanngoa ha li-dashboards) le ho kenya tšebetsong tlhoko e 'ngoe le e 'ngoe kapa projeke (peipi e ikhethang haholo, e hokahanyang mehloli ea kantle). 

Ho sebetsa haufi-ufi le bo-rasaense ba data le bahlahlobisisi ho thusa baenjiniere ho ntlafatsa tsebo ea ho hlahloba le ho etsa lipatlisiso ho ngola khoutu e betere. Ho arolelana tsebo har'a sebaka sa polokelo le basebelisi ba letša la data ho ea ntlafala, ho etsa hore merero e be bonolo le ho fana ka liphetho tse tšoarellang tsa nako e telele.

Lik'hamphaning tse ikemiselitseng ho nts'etsapele setso sa ho sebetsa ka data le ho aha lits'ebetso tsa khoebo tse thehiloeng ho tsona, Data Scientist le Data Engineer lia tlatsana le ho theha sistimi e felletseng ea tlhahlobo ea data. 

Sehloohong se latelang re tla bua ka mofuta oa thuto eo Moenjiniere oa Boitsebiso le Bo-rasaense ba Data ba lokelang ho ba le bona, ke litsebo life tseo ba li hlokang ho ntlafatsa le kamoo 'maraka o sebetsang kateng.

Ho tsoa ho bahlophisi ba Netology

Haeba u sheba mosebetsi oa Moenjiniere oa Boitsebiso kapa Setsebi sa Boitsebiso, re u mema hore u ithute mananeo a rona a lithuto:

• Mosebetsi "Moenjiniere oa data".  
• Mosebetsi "Data Scientist".

Source: www.habr.com