Injiniyan Bayanai da Masanin Kimiyyar Bayanai: menene bambanci?

Sana'o'in Masanin Kimiyyar Bayanai da Injiniyan Bayanai suna yawan rikicewa. Kowane kamfani yana da nasa ƙayyadaddun ƙayyadaddun aiki tare da bayanai, dalilai daban-daban don nazarin su da kuma ra'ayi daban-daban na wane ƙwararren ya kamata ya yi hulɗa da wani ɓangare na aikin, saboda haka kowanne yana da nasa bukatun. 

Bari mu gano menene bambanci tsakanin waɗannan ƙwararrun, menene matsalolin kasuwanci da suke warwarewa, waɗanne ƙwarewar da suke da su da kuma nawa suke samu. Kayan ya zama babba, don haka muka raba shi zuwa littattafai biyu.

A cikin labarin farko, Elena Gerasimova, shugaban sashen "Kimiyyar Bayanai da Bincike"a cikin Netology, yana faɗi menene bambanci tsakanin Masanin Kimiyyar Bayanai da Injiniyan Bayanai da irin kayan aikin da suke aiki da su.

Yadda aikin injiniyoyi da masana kimiyya suka bambanta

Injiniyan bayanai ƙwararre ne wanda, a gefe guda, yana haɓakawa, gwadawa da kuma kula da kayan aikin bayanai: rumbun adana bayanai, adanawa da tsarin sarrafa taro. A daya bangaren kuma, wannan shi ne wanda ke tsaftacewa da “taba” bayanai don amfani da manazarta da masana kimiyyar bayanai, wato, ke samar da bututun sarrafa bayanai.

Masanin kimiyyar bayanai yana ƙirƙira da horar da ƙididdiga (da sauran) samfura ta amfani da algorithms koyan inji da hanyoyin sadarwa na jijiyoyi, yana taimaka wa kasuwanci gano ɓoyayyun alamu, hasashen ci gaba da haɓaka mahimman hanyoyin kasuwanci.

Babban bambanci tsakanin masanin kimiyyar bayanai da injiniyan bayanai shine yawanci suna da manufa daban-daban. Dukansu biyu suna aiki don tabbatar da cewa bayanan suna samun dama kuma suna da inganci. Amma Masanin Kimiyyar Bayanai ya sami amsoshin tambayoyinsa kuma ya gwada hasashe a cikin tsarin yanayin bayanai (misali, bisa Hadoop), kuma Injiniyan Bayanai ya ƙirƙiro bututun don hidimar aikin koyon injin na'ura wanda masanin kimiyyar bayanai ya rubuta a cikin gungu na Spark a cikin guda ɗaya. yanayin muhalli. 

Injiniyan bayanai yana kawo ƙima ga kasuwanci ta hanyar aiki azaman ɓangare na ƙungiya. Ayyukansa shine yin aiki azaman hanyar haɗi mai mahimmanci tsakanin mahalarta daban-daban: daga masu haɓakawa zuwa masu amfani da kasuwanci na bayar da rahoto, da haɓaka haɓakar manazarta, daga tallace-tallace da samfur zuwa BI. 

Masanin Kimiyyar Bayanai, akasin haka, yana taka rawa sosai a cikin dabarun kamfani da fitar da fahimta, yanke shawara, aiwatar da algorithms na sarrafa kansa, ƙira da samar da ƙima daga bayanai.


Yin aiki tare da bayanai yana ƙarƙashin GIGO (datti a cikin datti) ka'idar: idan masu bincike da masana kimiyyar bayanai suna magance bayanan da ba a shirya ba kuma mai yuwuwa ba daidai ba, to sakamakon ko da ta yin amfani da mafi yawan ƙayyadaddun tsarin bincike zai zama kuskure. 

Injiniyoyin bayanai suna magance wannan matsala ta hanyar gina bututun mai don sarrafawa, tsaftacewa da canza bayanai tare da barin masana kimiyyar bayanai suyi aiki tare da bayanai masu inganci. 

Akwai kayan aiki da yawa a kasuwa don yin aiki tare da bayanan da ke rufe kowane mataki: daga bayyanar bayanai zuwa fitarwa zuwa dashboard don kwamitin gudanarwa. Kuma yana da mahimmanci cewa an yanke shawarar yin amfani da su ta hanyar injiniya - ba saboda yana da gaye ba, amma saboda zai taimaka da aikin sauran mahalarta a cikin tsari. 

A al'ada: idan kamfani yana buƙatar yin haɗin gwiwa tsakanin BI da ETL - loda bayanai da sabunta rahotanni, ga wani tushe na gado na yau da kullun wanda Injiniyan Bayanai zai yi aiki da su (yana da kyau idan kuma akwai mai zane a cikin ƙungiyar).

Nauyin Injiniya Data

• Haɓakawa, ginawa da kiyaye kayan aikin sarrafa bayanai.
• Gudanar da kurakurai da ƙirƙirar ingantaccen bututun sarrafa bayanai.
• Kawo bayanan da ba a tsara su ba daga maɓuɓɓuka masu ƙarfi daban-daban zuwa sigar da ake buƙata don aikin manazarta.
• Bayar da shawarwari don inganta daidaiton bayanai da inganci.
• Samar da kuma kiyaye tsarin gine-ginen bayanan da masana kimiyyar bayanai da masu nazarin bayanai ke amfani da su.
• Tsara da adana bayanai akai-akai da inganci a cikin gungu na dubun ko ɗaruruwan sabobin da aka rarraba.
• Ƙimar cinikin fasaha na kayan aikin don ƙirƙirar gine-gine masu sauƙi amma masu ƙarfi waɗanda zasu iya tsira daga rushewa.
• Sarrafa da goyan bayan kwararar bayanai da tsarin da ke da alaƙa (tsarin sa ido da faɗakarwa).

Akwai wani ƙwarewa a cikin yanayin Injiniyan Bayanai - Injiniya ML. A takaice, waɗannan injiniyoyi sun ƙware wajen kawo nau'ikan koyon injin zuwa aiwatarwa da amfani da masana'antu. Sau da yawa, samfurin da aka karɓa daga masanin kimiyyar bayanai wani ɓangare ne na binciken kuma maiyuwa baya aiki a cikin yanayin fama.

Nauyin Masanin Kimiyyar Bayanai

• Cire fasalulluka daga bayanai don amfani da algorithms na koyon inji.
• Yin amfani da kayan aikin koyan na'ura daban-daban don tsinkaya da rarraba alamu a cikin bayanai.
• Haɓaka aiki da daidaito na algorithms na koyon inji ta hanyar daidaitawa da haɓaka algorithms.
• Samar da ra'ayoyin "ƙarfi" daidai da dabarun kamfanin da ke buƙatar gwadawa.

Dukkanin Injiniyan Bayanai da Masanin Kimiyyar Bayanai suna ba da gudummawar gaske don haɓaka al'adun bayanai, ta yadda kamfani zai iya samar da ƙarin riba ko rage farashi.

Wadanne harsuna da kayan aiki injiniyoyi da masana kimiyya ke aiki da su?

A yau, tsammanin masana kimiyyar bayanai sun canza. A baya can, injiniyoyi sun tattara manyan tambayoyin SQL, da hannu sun rubuta MapReduce da sarrafa bayanai ta amfani da kayan aiki kamar Informatica ETL, Pentaho ETL, Talend. 

A cikin 2020, ƙwararren ba zai iya yin ba tare da sanin Python da kayan aikin lissafin zamani (misali, Airflow), fahimtar ka'idodin aiki tare da dandamali na girgije (amfani da su don adanawa akan kayan aiki, yayin kiyaye ka'idodin tsaro).

SAP, Oracle, MySQL, Redis kayan aikin gargajiya ne don injiniyoyin bayanai a cikin manyan kamfanoni. Suna da kyau, amma farashin lasisi yana da yawa cewa koyon yin aiki tare da su kawai yana da ma'ana a cikin ayyukan masana'antu. A lokaci guda, akwai madadin kyauta a cikin hanyar Postgres - yana da kyauta kuma ya dace ba kawai don horo ba. 

A tarihi, ana samun buƙatun Java da Scala sau da yawa, kodayake yayin da fasahohi da hanyoyin haɓakawa, waɗannan harsuna suna faɗuwa cikin bango.

Duk da haka, hardcore BigData: Hadoop, Spark da sauran gidan zoo ba su zama abin da ake buƙata don injiniyan bayanai ba, amma nau'in kayan aiki ne don magance matsalolin da ETL na gargajiya ba za su iya magance su ba. 

Tsarin shine sabis don amfani da kayan aiki ba tare da sanin yaren da aka rubuta su ba (misali, Hadoop ba tare da sanin Java ba), da kuma samar da shirye-shiryen da aka yi don sarrafa bayanan yawo (fitowar murya ko tantance hoto akan bidiyo). ).

Maganin masana'antu daga SAS da SPSS sun shahara, yayin da Tableau, Rapidminer, Stata da Julia suma masana kimiyyar bayanai suna amfani da su sosai don ayyukan gida.

Ikon gina bututun da kansu ya bayyana ga manazarta da masana kimiyyar bayanai shekaru biyu da suka gabata: alal misali, an riga an riga an aika da bayanai zuwa ma'ajiyar tushen PostgreSQL ta amfani da rubutun sassauƙa. 

Yawanci, yin amfani da bututun mai da kuma tsarin bayanan da aka haɗa ya kasance alhakin injiniyoyin bayanai. Amma a yau, yanayin ƙwararrun ƙwararrun T-dimbin yawa waɗanda ke da fa'ida a cikin fa'idodin da ke da alaƙa sun fi ƙarfi fiye da kowane lokaci, saboda ana sauƙaƙe kayan aikin koyaushe.

Me yasa Injiniyan Bayanai da Masanin Kimiyya ke Aiki Tare

Ta hanyar yin aiki tare da injiniyoyi, Masana Kimiyyar Bayanai na iya mai da hankali kan sashin bincike, ƙirƙirar algorithms na koyon injin na'ura.
Kuma injiniyoyi suna buƙatar mayar da hankali kan haɓakawa, sake amfani da bayanai, da tabbatar da shigar da bayanai da bututun fitarwa a cikin kowane aikin mutum ɗaya ya dace da tsarin gine-ginen duniya.

Wannan rabuwar nauyi yana tabbatar da daidaito tsakanin ƙungiyoyin da ke aiki akan ayyukan koyo na inji daban-daban. 

Haɗin kai yana taimakawa ƙirƙirar sabbin samfura da inganci. Ana samun saurin sauri da inganci ta hanyar daidaitawa tsakanin ƙirƙirar sabis ga kowa da kowa (ajiya ta duniya ko haɗawa da dashboards) da aiwatar da kowane takamaiman buƙatu ko aikin (bututun na musamman, haɗa tushen waje). 

Yin aiki tare da masana kimiyyar bayanai da manazarta yana taimaka wa injiniyoyi su haɓaka ƙwarewar nazari da bincike don rubuta mafi kyawun lamba. Rarraba ilimi tsakanin ma'ajin ajiya da masu amfani da tafkin bayanai yana inganta, yana sa ayyukan su zama masu fa'ida da kuma samar da sakamako mai dorewa na dogon lokaci.

A cikin kamfanonin da ke da niyyar haɓaka al'adar aiki tare da bayanai da gina hanyoyin kasuwanci bisa su, Masanin Kimiyya da Injiniyan Bayanai suna haɓaka juna tare da ƙirƙirar cikakken tsarin nazarin bayanai. 

A kasida ta gaba za mu yi magana ne kan irin ilimin da Injiniyan Data da Masana Kimiyya ya kamata su samu, wadanne irin fasahar da suke bukata don bunkasawa da kuma yadda kasuwar ke aiki.

Daga masu gyara Netology

Idan kuna kallon sana'ar Injiniya ko Masanin Kimiyyar Bayanai, muna gayyatar ku don yin nazarin shirye-shiryen kwas ɗinmu:

• Sana'a"Injiniyan bayanai".  
• Sana'a"Masanin kimiyya".

source: www.habr.com