Insinyur Data lan Ilmuwan Data: Apa bedane?

Profesi Ilmuwan Data lan Insinyur Data asring bingung. Saben perusahaan duwe spesifik dhewe kanggo nggarap data, tujuan sing beda kanggo analisis lan ide sing beda babagan spesialis sing kudu nangani bagean kerja, mula saben duwe syarat dhewe. 

Ayo ngerteni apa bedane antarane spesialis kasebut, masalah bisnis apa sing diatasi, katrampilan apa sing diduweni lan entuk bathi. Materi kasebut dadi gedhe, mula kita dibagi dadi rong publikasi.

Ing artikel pisanan, Elena Gerasimova, kepala fakultas "Ilmu Data lan Analisis" ing Netology, ngandhani apa bedane antarane Ilmuwan Data lan Insinyur Data lan alat apa sing digunakake.

Kepiye peran insinyur lan ilmuwan beda-beda

Insinyur data minangka spesialis sing, ing tangan siji, ngembangake, nguji lan njaga infrastruktur data: database, panyimpenan lan sistem pangolahan massa. Ing sisih liya, iki sing ngresiki lan "nyisir" data kanggo digunakake dening analis lan ilmuwan data, yaiku, nggawe pipa pangolahan data.

Data Scientist nggawe lan nglatih model prediktif (lan liyane) nggunakake algoritma pembelajaran mesin lan jaringan saraf, mbantu bisnis nemokake pola sing didhelikake, prédhiksi perkembangan lan ngoptimalake proses bisnis utama.

Bentenane utama antarane Ilmuwan Data lan Insinyur Data yaiku biasane duwe tujuan sing beda. Loro-lorone bisa kanggo mesthekake yen data bisa diakses lan kualitas dhuwur. Nanging Ilmuwan Data nemokake jawaban kanggo pitakonan lan nguji hipotesis ing ekosistem data (contone, adhedhasar Hadoop), lan Insinyur Data nggawe pipa kanggo nglayani algoritma pembelajaran mesin sing ditulis dening ilmuwan data ing kluster Spark ing wilayah sing padha. ekosistem. 

Insinyur data menehi nilai kanggo bisnis kanthi kerja minangka bagian saka tim. Tugase kanggo tumindak minangka link penting antarane peserta beda: saka pangembang kanggo konsumen bisnis saka nglaporake, lan kanggo nambah produktivitas analis, saka marketing lan produk kanggo BI. 

Ilmuwan Data, sebaliknya, melu aktif ing strategi perusahaan lan ngekstrak wawasan, nggawe keputusan, ngetrapake algoritma otomatisasi, nggawe model lan ngasilake nilai saka data.


Nggarap data tundhuk karo prinsip GIGO (sampah mlebu - sampah metu): yen analis lan ilmuwan data nangani data sing ora disiapake lan duweni potensi sing ora bener, mula asile malah nggunakake algoritma analisis sing paling canggih bakal ora bener. 

Insinyur data ngatasi masalah iki kanthi mbangun pipa kanggo ngolah, ngresiki lan ngowahi data lan ngidini para ilmuwan data bisa nggarap data kanthi kualitas dhuwur. 

Ana akeh alat ing pasar kanggo nggarap data sing nyakup saben tahapan: saka tampilan data nganti output menyang dashboard kanggo dewan direksi. Lan penting yen keputusan kanggo nggunakake digawe dening insinyur - ora amarga modis, nanging amarga dheweke bakal mbantu karya peserta liyane ing proses kasebut. 

Konvensional: yen perusahaan kudu nggawe sambungan antarane BI lan ETL - ngemot data lan nganyari laporan, iki minangka dhasar warisan khas sing kudu ditindakake dening Insinyur Data (luwih becik yen ana uga arsitek ing tim kasebut).

Tanggung jawab saka Data Engineer

• Pangembangan, konstruksi lan pangopènan infrastruktur pangolahan data.
• Nangani kesalahan lan nggawe pipa pangolahan data sing dipercaya.
• Nggawa data sing ora terstruktur saka macem-macem sumber dinamis menyang formulir sing dibutuhake kanggo karya analis.
• Nyedhiyakake rekomendasi kanggo nambah konsistensi lan kualitas data.
• Nyedhiyakake lan njaga arsitektur data sing digunakake dening ilmuwan data lan analis data.
• Proses lan nyimpen data kanthi konsisten lan efisien ing kluster sing disebarake puluhan utawa atusan server.
• Evaluasi alat-alat teknis kanggo nggawe arsitektur sing prasaja nanging mantep sing bisa slamet saka gangguan.
• Ngontrol lan ndhukung aliran data lan sistem sing gegandhengan (nyetel ngawasi lan tandha).

Ana spesialisasi liyane ing lintasan Data Engineer - insinyur ML. Singkatipun, insinyur kasebut khusus nggawa model pembelajaran mesin menyang implementasi lan panggunaan industri. Asring, model sing ditampa saka ilmuwan data minangka bagean saka studi lan bisa uga ora bisa digunakake ing kahanan pertempuran.

Tanggung Jawab Ilmuwan Data

• Ekstrak fitur saka data kanggo ngetrapake algoritma pembelajaran mesin.
• Nggunakake macem-macem alat machine learning kanggo prédhiksi lan klasifikasi pola ing data.
• Ningkatake kinerja lan akurasi algoritma pembelajaran mesin kanthi nyetel lan ngoptimalake algoritma.
• Pembentukan hipotesis "kuwat" sesuai karo strategi perusahaan sing kudu diuji.

Insinyur Data lan Ilmuwan Data nuduhake kontribusi nyata kanggo pangembangan budaya data, ing ngendi perusahaan bisa ngasilake bathi tambahan utawa nyuda biaya.

Apa basa lan alat sing digunakake para insinyur lan ilmuwan?

Dina iki, pangarepan kanggo ilmuwan data wis diganti. Sadurunge, insinyur ngumpulake pitakon SQL gedhe, nulis MapReduce kanthi manual lan ngolah data nggunakake alat kayata Informatica ETL, Pentaho ETL, Talend. 

Ing taun 2020, spesialis ora bisa nindakake tanpa kawruh Python lan alat pitungan modern (contone, Airflow), pangerten prinsip nggarap platform maya (nggunakake kanggo nyimpen hardware, nalika mirsani prinsip keamanan).

SAP, Oracle, MySQL, Redis minangka alat tradisional kanggo insinyur data ing perusahaan gedhe. Dheweke apik, nanging biaya lisensi dhuwur banget, mula sinau kerja bareng karo dheweke mung ana ing proyek industri. Ing wektu sing padha, ana alternatif gratis ing wangun Postgres - gratis lan cocok ora mung kanggo latihan. 

Secara historis, panjalukan kanggo Java lan Scala asring ditemokake, sanajan teknologi lan pendekatan berkembang, basa-basa kasebut ilang ing latar mburi.

Nanging, BigData hardcore: Hadoop, Spark lan kebon binatang liyane ora dadi prasyarat kanggo insinyur data, nanging minangka alat kanggo ngrampungake masalah sing ora bisa ditanggulangi dening ETL tradisional. 

Tren yaiku layanan kanggo nggunakake alat tanpa kawruh basa sing ditulis (contone, Hadoop tanpa kawruh babagan Jawa), uga nyedhiyakake layanan sing wis siap kanggo ngolah data streaming (pangenalan swara utawa pangenalan gambar ing video. ).

Solusi industri saka SAS lan SPSS populer, dene Tableau, Rapidminer, Stata lan Julia uga akeh digunakake dening ilmuwan data kanggo tugas lokal.

Kemampuan kanggo mbangun pipa dhewe katon kanggo analis lan ilmuwan data mung sawetara taun kepungkur: contone, wis bisa ngirim data menyang panyimpenan basis PostgreSQL nggunakake skrip sing relatif prasaja. 

Biasane, panggunaan pipa lan struktur data terintegrasi tetep dadi tanggung jawab insinyur data. Nanging saiki, tren kanggo spesialis T-shaped kanthi kompetensi sing wiyar ing bidang sing gegandhengan luwih kuwat tinimbang sadurunge, amarga alat terus disederhanakake.

Napa Insinyur Data lan Ilmuwan Data Makarya Bareng

Kanthi makarya kanthi rapet karo insinyur, Ilmuwan Data bisa fokus ing sisih riset, nggawe algoritma pembelajaran mesin sing siap produksi.
Lan insinyur kudu fokus ing skalabilitas, panggunaan data maneh, lan mesthekake yen input data lan pipa output ing saben proyek individu tundhuk karo arsitektur global.

Pemisahan tanggung jawab iki njamin konsistensi ing kabeh tim sing nggarap proyek pembelajaran mesin sing beda. 

Kolaborasi mbantu nggawe produk anyar kanthi efisien. Kacepetan lan kualitas digayuh liwat imbangan antarane nggawe layanan kanggo kabeh wong (panyimpenan global utawa integrasi dashboard) lan ngleksanakake saben kabutuhan utawa proyek tartamtu (pipeline khusus, nyambungake sumber eksternal). 

Makarya kanthi rapet karo ilmuwan data lan analis mbantu insinyur ngembangake katrampilan analitis lan riset kanggo nulis kode sing luwih apik. Nuduhake kawruh ing antarane pangguna gudang lan data lake nambah, nggawe proyek luwih lincah lan ngasilake asil jangka panjang sing luwih lestari.

Ing perusahaan sing ngarahake ngembangake budaya nggarap data lan mbangun proses bisnis adhedhasar kasebut, Ilmuwan Data lan Insinyur Data saling nglengkapi lan nggawe sistem analisis data sing lengkap. 

Ing artikel sabanjure kita bakal ngomong babagan pendidikan apa sing kudu diduweni Engineer Data lan Ilmuwan Data, katrampilan apa sing kudu dikembangake lan cara kerja pasar.

Saka editor saka Netology

Yen sampeyan nggoleki profesi Insinyur Data utawa Ilmuwan Data, kita ngajak sampeyan sinau program kursus:

• profesi"Data engineer".  
• profesi"Data Ilmuwan".

Source: www.habr.com