Einnseanair Dàta agus Neach-saidheans Dàta: dè an diofar?

Bidh dreuchdan Neach-saidheans Dàta agus Einnseanair Dàta gu tric troimh-chèile. Tha a mion-fhiosrachadh fhèin aig gach companaidh mu bhith ag obair le dàta, diofar adhbharan airson an anailis agus beachd eadar-dhealaichte air dè an speisealaiche a bu chòir dèiligeadh ris dè am pàirt den obair, agus mar sin tha a riatanasan fhèin aig gach fear. 

Feuch an obraich sinn a-mach dè an diofar a tha eadar na h-eòlaichean sin, dè na duilgheadasan gnìomhachais a dh’ fhuasglas iad, dè na sgilean a th ’aca agus dè an ìre a tha iad a’ cosnadh. Thionndaidh an stuth gu bhith mòr, agus mar sin roinn sinn e ann an dà fhoillseachadh.

Anns a 'chiad artaigil, Elena Gerasimova, ceannard na roinne "Saidheans Dàta agus Analytics" ann an Netology, ag innse dè an diofar a th’ ann eadar Neach-saidheans Dàta agus Einnseanair Dàta agus dè na h-innealan leis a bheil iad ag obair.

Mar a tha dreuchdan innleadairean agus luchd-saidheans eadar-dhealaichte

Tha innleadair dàta na eòlaiche a bhios, air an aon làimh, a’ leasachadh, a’ dèanamh deuchainn agus a’ cumail suas bun-structar dàta: stòran-dàta, siostaman stòraidh agus mòr-ghiollachd. Air an làimh eile, is e seo an tè a bhios a 'glanadh agus a' "cìreadh" dàta airson a chleachdadh le luchd-anailis agus luchd-saidheans dàta, is e sin, a 'cruthachadh pìoban giollachd dàta.

Bidh Neach-saidheans Dàta a’ cruthachadh agus a’ trèanadh mhodalan ro-innseach (agus eile) a’ cleachdadh algoirmean ionnsachaidh inneal agus lìonraidhean neural, a’ cuideachadh ghnìomhachasan gus pàtrain falaichte a lorg, leasachaidhean a ro-innse agus prìomh phròiseasan gnìomhachais a bharrachadh.

Is e am prìomh eadar-dhealachadh eadar Neach-saidheans Dàta agus Einnseanair Dàta gu bheil amasan eadar-dhealaichte aca mar as trice. Bidh an dà chuid ag obair gus dèanamh cinnteach gu bheil dàta ruigsinneach agus de chàileachd àrd. Ach bidh Neach-saidheans Dàta a’ lorg fhreagairtean dha na ceistean aige agus a’ dèanamh deuchainn air barailean ann an eag-shiostam dàta (mar eisimpleir, stèidhichte air Hadoop), agus bidh Einnseanair Dàta a’ cruthachadh loidhne-phìoban airson a bhith a’ seirbheiseachadh algairim ionnsachaidh inneal air a sgrìobhadh le neach-saidheans dàta ann am brabhsair Spark taobh a-staigh an aon rud. eag-shiostam. 

Bheir innleadair dàta luach do ghnìomhachas le bhith ag obair mar phàirt de sgioba. Is e an obair aige a bhith na cheangal cudromach eadar diofar chom-pàirtichean: bho luchd-leasachaidh gu luchd-cleachdaidh gnìomhachais aithris, agus àrdachadh cinneasachd luchd-anailis, bho mhargaidheachd is toradh gu BI. 

Tha Neach-saidheans Dàta, air an làimh eile, a 'gabhail pàirt gnìomhach ann an ro-innleachd a' chompanaidh agus a 'toirt a-mach lèirsinn, a' dèanamh cho-dhùnaidhean, a 'cur an gnìomh algorithms fèin-ghluasaid, a' modaladh agus a 'cruthachadh luach bho dhàta.


Tha obrachadh le dàta fo smachd prionnsapal GIGO (sgudal a-steach - sgudal a-mach): ma bhios sgrùdaichean agus luchd-saidheans dàta a’ dèiligeadh ri dàta neo-ullaichte agus a dh’ fhaodadh a bhith ceàrr, bidh na toraidhean eadhon a ’cleachdadh na h-algorithms anailis as ionnsaichte ceàrr. 

Bidh innleadairean dàta a’ fuasgladh na duilgheadas seo le bhith a’ togail phìoban airson a bhith a’ giullachd, a’ glanadh agus ag atharrachadh dàta agus a’ leigeil le luchd-saidheans dàta obrachadh le dàta àrd-inbhe. 

Tha mòran innealan air a’ mhargaidh airson obrachadh le dàta a tha a’ còmhdach gach ìre: bho choltas dàta gu toradh gu deas-bhòrd airson a’ bhùird stiùiridh. Agus tha e cudromach gu bheil an co-dhùnadh airson an cleachdadh air a dhèanamh le innleadair - chan ann air sgàth gu bheil e fasanta, ach a chionn 's gu bheil e gu mòr a' cuideachadh obair chom-pàirtichean eile sa phròiseas. 

Gu gnàthach: ma dh’ fheumas companaidh ceanglaichean a dhèanamh eadar BI agus ETL - a’ luchdachadh dàta agus ag ùrachadh aithisgean, seo bunait dìleab àbhaisteach ris am feum Einnseanair Dàta dèiligeadh (tha e math ma tha ailtire air an sgioba cuideachd).

Dleastanasan innleadair dàta

• Leasachadh, togail agus cumail suas bun-structair giollachd dàta.
• A’ làimhseachadh mhearachdan agus a’ cruthachadh pìoban giullachd dàta earbsach.
• A’ toirt dàta neo-structaraichte bho dhiofar thùsan fiùghantach chun fhoirm a tha riatanach airson obair sgrùdairean.
• A’ toirt seachad molaidhean gus cunbhalachd agus càileachd dàta a leasachadh.
• A’ toirt seachad agus a’ cumail suas an ailtireachd dàta a bhios luchd-saidheans dàta agus luchd-anailis dàta a’ cleachdadh.
• Pròiseas agus stòradh dàta gu cunbhalach agus gu h-èifeachdach ann am buidheann sgaoilte de dheich no ceudan de luchd-frithealaidh.
• Dèan measadh air malairt theicnigeach innealan gus ailtirean sìmplidh ach làidir a chruthachadh a mhaireas buaireadh.
• Smachd agus taic do shruthan dàta agus siostaman co-cheangailte (a’ stèidheachadh sgrùdadh agus rabhaidhean).

Tha speisealachadh eile taobh a-staigh slighe Innleadair Dàta - innleadair ML. Ann an ùine ghoirid, tha na h-innleadairean sin gu sònraichte a’ toirt mhodalan ionnsachaidh innealan gu buileachadh agus cleachdadh gnìomhachais. Gu tric, bidh modail a gheibhear bho neach-saidheans dàta mar phàirt de sgrùdadh agus is dòcha nach obraich e ann an suidheachaidhean sabaid.

Dleastanasan neach-saidheans dàta

• A 'toirt a-mach feartan bho dhàta gus algorithms ionnsachadh innealan a chur an sàs.
• A’ cleachdadh diofar innealan ionnsachaidh inneal gus pàtrain ann an dàta a ro-innse agus a sheòrsachadh.
• Ag adhartachadh coileanadh agus neo-mhearachdachd algorithms ionnsachadh innealan le bhith a’ gleusadh agus a’ dèanamh an fheum as fheàrr de na h-algorithms.
• Cruthachadh barailean “làidir” a rèir ro-innleachd na companaidh a dh’ fheumar a dhearbhadh.

Bidh an dà chuid Einnseanair Dàta agus Neach-saidheans Dàta a’ cur gu mòr ri leasachadh cultar dàta, tron ​​​​urrainn do chompanaidh prothaidean a bharrachd a ghineadh no cosgaisean a lughdachadh.

Dè na cànanan agus innealan leis a bheil innleadairean agus luchd-saidheans ag obair?

An-diugh, tha na dùilean airson luchd-saidheans dàta air atharrachadh. Roimhe sin, chruinnich innleadairean ceistean mòra SQL, sgrìobh iad le làimh MapReduce agus giullachd dàta a’ cleachdadh innealan leithid Informatica ETL, Pentaho ETL, Talend. 

Ann an 2020, chan urrainn dha speisealaiche dèanamh gun eòlas air Python agus innealan àireamhachaidh ùr-nodha (mar eisimpleir, Airflow), tuigse air prionnsapalan obrachadh le àrd-ùrlaran sgòthan (gan cleachdadh gus sàbhaladh air bathar-cruaidh, fhad ‘s a tha iad a’ cumail ri prionnsapalan tèarainteachd).

Tha SAP, Oracle, MySQL, Redis nan innealan traidiseanta airson innleadairean dàta ann an companaidhean mòra. Tha iad math, ach tha cosgais cheadan cho àrd is nach eil ionnsachadh a bhith ag obair còmhla riutha a’ dèanamh ciall ach ann am pròiseactan gnìomhachais. Aig an aon àm, tha roghainn eile an-asgaidh ann an cruth Postgres - tha e an-asgaidh agus freagarrach chan ann a-mhàin airson trèanadh. 

Gu h-eachdraidheil, lorgar iarrtasan airson Java agus Scala gu tric, ged mar a bhios teicneòlasan agus dòighean-obrach a’ fàs, tha na cànanan sin a’ seargadh a-steach don chùl-raon.

Ach, chan eil cruaidh-chruaidh BigData: Hadoop, Spark agus an còrr den sù riatanach tuilleadh airson innleadair dàta, ach seòrsa de dh’ innealan airson fuasgladh fhaighinn air duilgheadasan nach gabh fhuasgladh le ETL traidiseanta. 

Is e an gluasad seirbheisean airson innealan a chleachdadh gun eòlas air a ’chànan anns a bheil iad sgrìobhte (mar eisimpleir, Hadoop gun eòlas air Java), a bharrachd air a bhith a’ toirt seachad seirbheisean deiseil airson a bhith a ’giullachd dàta sruthadh (aithneachadh guth no aithneachadh ìomhaigh air bhidio). ).

Tha fèill mhòr air fuasglaidhean gnìomhachais bho SAS agus SPSS, agus tha Tableau, Rapidminer, Stata agus Julia cuideachd air an cleachdadh gu farsaing le luchd-saidheans dàta airson gnìomhan ionadail.

Nochd an comas pìoban a thogail iad fhèin do luchd-anailis agus luchd-saidheans dàta dìreach bliadhna no dhà air ais: mar eisimpleir, tha e comasach mar-thà dàta a chuir gu stòr stèidhichte air PostgreSQL a ’cleachdadh sgriobtaichean an ìre mhath sìmplidh. 

Mar as trice, tha cleachdadh pìoban agus structaran dàta amalaichte fhathast an urra ri innleadairean dàta. Ach an-diugh, tha an gluasad airson eòlaichean cumadh T le comasan farsaing ann an raointean co-cheangailte nas làidire na bha e a-riamh, leis gu bheil innealan an-còmhnaidh air an sìmpleachadh.

Carson a bhios Einnseanair Dàta agus Neach-saidheans Dàta ag obair còmhla

Le bhith ag obair gu dlùth le innleadairean, faodaidh Luchd-saidheans Dàta fòcas a chuir air an taobh rannsachaidh, a’ cruthachadh algoirmean ionnsachaidh inneal deiseil airson cinneasachadh.
Agus feumaidh innleadairean fòcas a chuir air scalability, ath-chleachdadh dàta, agus dèanamh cinnteach gu bheil pìoban cuir a-steach agus toraidh dàta anns gach pròiseact fa leth a’ cumail ri ailtireachd na cruinne.

Tha an dealachadh seo de dhleastanasan a’ dèanamh cinnteach à cunbhalachd thar sgiobaidhean a tha ag obair air diofar phròiseactan ionnsachadh innealan. 

Bidh co-obrachadh a’ cuideachadh le bhith a’ cruthachadh thoraidhean ùra gu h-èifeachdach. Tha astar agus càileachd air an coileanadh tro chothromachadh eadar a bhith a’ cruthachadh seirbheis airson a h-uile duine (stòradh cruinne no amalachadh clàran-dannsa) agus a’ buileachadh gach feum no pròiseact sònraichte (loidhne-phìoban air leth sònraichte, a’ ceangal stòran taobh a-muigh). 

Le bhith ag obair gu dlùth le luchd-saidheans dàta agus luchd-anailis bidh innleadairean a’ leasachadh sgilean mion-sgrùdaidh agus rannsachaidh gus còd nas fheàrr a sgrìobhadh. Bidh roinneadh fiosrachaidh am measg luchd-cleachdaidh taigh-bathair agus lochan dàta a’ leasachadh, a’ dèanamh phròiseactan nas sùbailte agus a’ lìbhrigeadh toraidhean fad-ùine nas seasmhaiche.

Ann an companaidhean a tha ag amas air cultar a leasachadh de bhith ag obair le dàta agus a’ togail phròiseasan gnìomhachais stèidhichte orra, bidh Neach-saidheans Dàta agus Einnseanair Dàta a’ cur ri chèile agus a’ cruthachadh siostam sgrùdaidh dàta iomlan. 

Anns an ath artaigil bruidhnidh sinn mu dè an seòrsa foghlaim a bu chòir a bhith aig Einnseanair Dàta agus Luchd-saidheans Dàta, dè na sgilean a dh’ fheumas iad a leasachadh agus mar a tha a’ mhargaidh ag obair.

Bho luchd-deasachaidh Netology

Ma tha thu a’ coimhead air dreuchd Einnseanair Dàta no Neach-saidheans Dàta, tha sinn a’ toirt cuireadh dhut na prògraman cùrsa againn a sgrùdadh:

• Gairm"Einnseanair dàta".  
• Gairm"Eòlaiche-fiosrachaidh".

Source: www.habr.com