Bidh dreuchdan Neach-saidheans Dà ta agus Einnseanair Dà ta gu tric troimh-chèile. Tha a mion-fhiosrachadh fhèin aig gach companaidh mu bhith ag obair le dà ta, diofar adhbharan airson an anailis agus beachd eadar-dhealaichte air dè an speisealaiche a bu chòir dèiligeadh ris dè am pà irt den obair, agus mar sin tha a riatanasan fhèin aig gach fear.
Feuch an obraich sinn a-mach dè an diofar a tha eadar na h-eòlaichean sin, dè na duilgheadasan gnĂŹomhachais a dhâ fhuasglas iad, dè na sgilean a th âaca agus dè an ĂŹre a tha iad aâ cosnadh. Thionndaidh an stuth gu bhith mòr, agus mar sin roinn sinn e ann an dĂ fhoillseachadh.
Anns a 'chiad artaigil, Elena Gerasimova, ceannard na roinne "" ann an Netology, ag innse dè an diofar a thâ ann eadar Neach-saidheans DĂ ta agus Einnseanair DĂ ta agus dè na h-innealan leis a bheil iad ag obair.
Mar a tha dreuchdan innleadairean agus luchd-saidheans eadar-dhealaichte
Tha innleadair dĂ ta na eòlaiche a bhios, air an aon lĂ imh, aâ leasachadh, aâ dèanamh deuchainn agus aâ cumail suas bun-structar dĂ ta: stòran-dĂ ta, siostaman stòraidh agus mòr-ghiollachd. Air an lĂ imh eile, is e seo an tè a bhios a 'glanadh agus a' "cĂŹreadh" dĂ ta airson a chleachdadh le luchd-anailis agus luchd-saidheans dĂ ta, is e sin, a 'cruthachadh pĂŹoban giollachd dĂ ta.
Bidh Neach-saidheans DĂ ta aâ cruthachadh agus aâ trèanadh mhodalan ro-innseach (agus eile) aâ cleachdadh algoirmean ionnsachaidh inneal agus lĂŹonraidhean neural, aâ cuideachadh ghnĂŹomhachasan gus pĂ train falaichte a lorg, leasachaidhean a ro-innse agus prĂŹomh phròiseasan gnĂŹomhachais a bharrachadh.
Is e am prĂŹomh eadar-dhealachadh eadar Neach-saidheans DĂ ta agus Einnseanair DĂ ta gu bheil amasan eadar-dhealaichte aca mar as trice. Bidh an dĂ chuid ag obair gus dèanamh cinnteach gu bheil dĂ ta ruigsinneach agus de chĂ ileachd Ă rd. Ach bidh Neach-saidheans DĂ ta aâ lorg fhreagairtean dha na ceistean aige agus aâ dèanamh deuchainn air barailean ann an eag-shiostam dĂ ta (mar eisimpleir, stèidhichte air Hadoop), agus bidh Einnseanair DĂ ta aâ cruthachadh loidhne-phĂŹoban airson a bhith aâ seirbheiseachadh algairim ionnsachaidh inneal air a sgrĂŹobhadh le neach-saidheans dĂ ta ann am brabhsair Spark taobh a-staigh an aon rud. eag-shiostam.
Bheir innleadair dĂ ta luach do ghnĂŹomhachas le bhith ag obair mar phĂ irt de sgioba. Is e an obair aige a bhith na cheangal cudromach eadar diofar chom-pĂ irtichean: bho luchd-leasachaidh gu luchd-cleachdaidh gnĂŹomhachais aithris, agus Ă rdachadh cinneasachd luchd-anailis, bho mhargaidheachd is toradh gu BI.
Tha Neach-saidheans Dà ta, air an là imh eile, a 'gabhail pà irt gnÏomhach ann an ro-innleachd a' chompanaidh agus a 'toirt a-mach lèirsinn, a' dèanamh cho-dhÚnaidhean, a 'cur an gnÏomh algorithms fèin-ghluasaid, a' modaladh agus a 'cruthachadh luach bho dhà ta.
Tha obrachadh le dĂ ta fo smachd prionnsapal GIGO (sgudal a-steach - sgudal a-mach): ma bhios sgrĂšdaichean agus luchd-saidheans dĂ ta aâ dèiligeadh ri dĂ ta neo-ullaichte agus a dhâ fhaodadh a bhith ceĂ rr, bidh na toraidhean eadhon a âcleachdadh na h-algorithms anailis as ionnsaichte ceĂ rr.
Bidh innleadairean dĂ ta aâ fuasgladh na duilgheadas seo le bhith aâ togail phĂŹoban airson a bhith aâ giullachd, aâ glanadh agus ag atharrachadh dĂ ta agus aâ leigeil le luchd-saidheans dĂ ta obrachadh le dĂ ta Ă rd-inbhe.
Tha mòran innealan air aâ mhargaidh airson obrachadh le dĂ ta a tha aâ còmhdach gach ĂŹre: bho choltas dĂ ta gu toradh gu deas-bhòrd airson aâ bhĂšird stiĂširidh. Agus tha e cudromach gu bheil an co-dhĂšnadh airson an cleachdadh air a dhèanamh le innleadair - chan ann air sgĂ th gu bheil e fasanta, ach a chionn 's gu bheil e gu mòr a' cuideachadh obair chom-pĂ irtichean eile sa phròiseas.
Gu gnĂ thach: ma dhâ fheumas companaidh ceanglaichean a dhèanamh eadar BI agus ETL - aâ luchdachadh dĂ ta agus ag Ăšrachadh aithisgean, seo bunait dĂŹleab Ă bhaisteach ris am feum Einnseanair DĂ ta dèiligeadh (tha e math ma tha ailtire air an sgioba cuideachd).
Dleastanasan innleadair dĂ ta
- Leasachadh, togail agus cumail suas bun-structair giollachd dĂ ta.
- Aâ lĂ imhseachadh mhearachdan agus aâ cruthachadh pĂŹoban giullachd dĂ ta earbsach.
- Aâ toirt dĂ ta neo-structaraichte bho dhiofar thĂšsan fiĂšghantach chun fhoirm a tha riatanach airson obair sgrĂšdairean.
- Aâ toirt seachad molaidhean gus cunbhalachd agus cĂ ileachd dĂ ta a leasachadh.
- Aâ toirt seachad agus aâ cumail suas an ailtireachd dĂ ta a bhios luchd-saidheans dĂ ta agus luchd-anailis dĂ ta aâ cleachdadh.
- Pròiseas agus stòradh dà ta gu cunbhalach agus gu h-èifeachdach ann am buidheann sgaoilte de dheich no ceudan de luchd-frithealaidh.
- Dèan measadh air malairt theicnigeach innealan gus ailtirean sÏmplidh ach là idir a chruthachadh a mhaireas buaireadh.
- Smachd agus taic do shruthan dĂ ta agus siostaman co-cheangailte (aâ stèidheachadh sgrĂšdadh agus rabhaidhean).
Tha speisealachadh eile taobh a-staigh slighe Innleadair DĂ ta - innleadair ML. Ann an Ăšine ghoirid, tha na h-innleadairean sin gu sònraichte aâ toirt mhodalan ionnsachaidh innealan gu buileachadh agus cleachdadh gnĂŹomhachais. Gu tric, bidh modail a gheibhear bho neach-saidheans dĂ ta mar phĂ irt de sgrĂšdadh agus is dòcha nach obraich e ann an suidheachaidhean sabaid.
Dleastanasan neach-saidheans dĂ ta
- A 'toirt a-mach feartan bho dhĂ ta gus algorithms ionnsachadh innealan a chur an sĂ s.
- Aâ cleachdadh diofar innealan ionnsachaidh inneal gus pĂ train ann an dĂ ta a ro-innse agus a sheòrsachadh.
- Ag adhartachadh coileanadh agus neo-mhearachdachd algorithms ionnsachadh innealan le bhith aâ gleusadh agus aâ dèanamh an fheum as fheĂ rr de na h-algorithms.
- Cruthachadh barailean âlĂ idirâ a rèir ro-innleachd na companaidh a dhâ fheumar a dhearbhadh.
Bidh an dĂ chuid Einnseanair DĂ ta agus Neach-saidheans DĂ ta aâ cur gu mòr ri leasachadh cultar dĂ ta, tron ââââurrainn do chompanaidh prothaidean a bharrachd a ghineadh no cosgaisean a lughdachadh.
Dè na cà nanan agus innealan leis a bheil innleadairean agus luchd-saidheans ag obair?
An-diugh, tha na dĂšilean airson luchd-saidheans dĂ ta air atharrachadh. Roimhe sin, chruinnich innleadairean ceistean mòra SQL, sgrĂŹobh iad le lĂ imh MapReduce agus giullachd dĂ ta aâ cleachdadh innealan leithid Informatica ETL, Pentaho ETL, Talend.
Ann an 2020, chan urrainn dha speisealaiche dèanamh gun eòlas air Python agus innealan Ă ireamhachaidh Ăšr-nodha (mar eisimpleir, Airflow), tuigse air prionnsapalan obrachadh le Ă rd-Ăšrlaran sgòthan (gan cleachdadh gus sĂ bhaladh air bathar-cruaidh, fhad âs a tha iad aâ cumail ri prionnsapalan tèarainteachd).
Tha SAP, Oracle, MySQL, Redis nan innealan traidiseanta airson innleadairean dĂ ta ann an companaidhean mòra. Tha iad math, ach tha cosgais cheadan cho Ă rd is nach eil ionnsachadh a bhith ag obair còmhla riutha aâ dèanamh ciall ach ann am pròiseactan gnĂŹomhachais. Aig an aon Ă m, tha roghainn eile an-asgaidh ann an cruth Postgres - tha e an-asgaidh agus freagarrach chan ann a-mhĂ in airson trèanadh.
Gu h-eachdraidheil, lorgar iarrtasan airson Java agus Scala gu tric, ged mar a bhios teicneòlasan agus dòighean-obrach aâ fĂ s, tha na cĂ nanan sin aâ seargadh a-steach don chĂšl-raon.
Ach, chan eil cruaidh-chruaidh BigData: Hadoop, Spark agus an còrr den sĂš riatanach tuilleadh airson innleadair dĂ ta, ach seòrsa de dhâ innealan airson fuasgladh fhaighinn air duilgheadasan nach gabh fhuasgladh le ETL traidiseanta.
Is e an gluasad seirbheisean airson innealan a chleachdadh gun eòlas air a âchĂ nan anns a bheil iad sgrĂŹobhte (mar eisimpleir, Hadoop gun eòlas air Java), a bharrachd air a bhith aâ toirt seachad seirbheisean deiseil airson a bhith a âgiullachd dĂ ta sruthadh (aithneachadh guth no aithneachadh ĂŹomhaigh air bhidio). ).
Tha fèill mhòr air fuasglaidhean gnÏomhachais bho SAS agus SPSS, agus tha Tableau, Rapidminer, Stata agus Julia cuideachd air an cleachdadh gu farsaing le luchd-saidheans dà ta airson gnÏomhan ionadail.
Nochd an comas pĂŹoban a thogail iad fhèin do luchd-anailis agus luchd-saidheans dĂ ta dĂŹreach bliadhna no dhĂ air ais: mar eisimpleir, tha e comasach mar-thĂ dĂ ta a chuir gu stòr stèidhichte air PostgreSQL a âcleachdadh sgriobtaichean an ĂŹre mhath sĂŹmplidh.
Mar as trice, tha cleachdadh pÏoban agus structaran dà ta amalaichte fhathast an urra ri innleadairean dà ta. Ach an-diugh, tha an gluasad airson eòlaichean cumadh T le comasan farsaing ann an raointean co-cheangailte nas là idire na bha e a-riamh, leis gu bheil innealan an-còmhnaidh air an sÏmpleachadh.
Carson a bhios Einnseanair Dà ta agus Neach-saidheans Dà ta ag obair còmhla
Le bhith ag obair gu dlĂšth le innleadairean, faodaidh Luchd-saidheans DĂ ta fòcas a chuir air an taobh rannsachaidh, aâ cruthachadh algoirmean ionnsachaidh inneal deiseil airson cinneasachadh.
Agus feumaidh innleadairean fòcas a chuir air scalability, ath-chleachdadh dĂ ta, agus dèanamh cinnteach gu bheil pĂŹoban cuir a-steach agus toraidh dĂ ta anns gach pròiseact fa leth aâ cumail ri ailtireachd na cruinne.
Tha an dealachadh seo de dhleastanasan aâ dèanamh cinnteach Ă cunbhalachd thar sgiobaidhean a tha ag obair air diofar phròiseactan ionnsachadh innealan.
Bidh co-obrachadh aâ cuideachadh le bhith aâ cruthachadh thoraidhean Ăšra gu h-èifeachdach. Tha astar agus cĂ ileachd air an coileanadh tro chothromachadh eadar a bhith aâ cruthachadh seirbheis airson a h-uile duine (stòradh cruinne no amalachadh clĂ ran-dannsa) agus aâ buileachadh gach feum no pròiseact sònraichte (loidhne-phĂŹoban air leth sònraichte, aâ ceangal stòran taobh a-muigh).
Le bhith ag obair gu dlĂšth le luchd-saidheans dĂ ta agus luchd-anailis bidh innleadairean aâ leasachadh sgilean mion-sgrĂšdaidh agus rannsachaidh gus còd nas fheĂ rr a sgrĂŹobhadh. Bidh roinneadh fiosrachaidh am measg luchd-cleachdaidh taigh-bathair agus lochan dĂ ta aâ leasachadh, aâ dèanamh phròiseactan nas sĂšbailte agus aâ lĂŹbhrigeadh toraidhean fad-Ăšine nas seasmhaiche.
Ann an companaidhean a tha ag amas air cultar a leasachadh de bhith ag obair le dĂ ta agus aâ togail phròiseasan gnĂŹomhachais stèidhichte orra, bidh Neach-saidheans DĂ ta agus Einnseanair DĂ ta aâ cur ri chèile agus aâ cruthachadh siostam sgrĂšdaidh dĂ ta iomlan.
Anns an ath artaigil bruidhnidh sinn mu dè an seòrsa foghlaim a bu chòir a bhith aig Einnseanair DĂ ta agus Luchd-saidheans DĂ ta, dè na sgilean a dhâ fheumas iad a leasachadh agus mar a tha aâ mhargaidh ag obair.
Bho luchd-deasachaidh Netology
Ma tha thu aâ coimhead air dreuchd Einnseanair DĂ ta no Neach-saidheans DĂ ta, tha sinn aâ toirt cuireadh dhut na prògraman cĂšrsa againn a sgrĂšdadh:
- Gairm"".
- Gairm"".
Source: www.habr.com
