Heddiw dim ond pobl sydd heb unrhyw gysylltiadau allanol â'r byd tu allan sydd heb glywed am ddata mawr. Ar Habré, mae pwnc dadansoddeg Data Mawr a phynciau cysylltiedig yn boblogaidd. Ond ar gyfer y rhai nad ydynt yn arbenigwyr a hoffai ymroi i astudio Data Mawr, nid yw bob amser yn glir pa ragolygon sydd gan y maes hwn, lle gellir cymhwyso dadansoddeg Data Mawr a beth y gall dadansoddwr da ddibynnu arno. Gadewch i ni geisio ei chyfrifo.
Mae faint o wybodaeth a gynhyrchir gan bobl yn cynyddu bob blwyddyn. Erbyn 2020, bydd swm y data a storir yn cynyddu i 40-44 zettabytes (1 ZB ~ 1 biliwn GB). Erbyn 2025 - hyd at tua 400 zettabytes. Yn unol â hynny, mae rheoli data strwythuredig a distrwythur gan ddefnyddio technolegau modern yn faes sy'n dod yn fwyfwy pwysig. Mae gan gwmnïau unigol a gwledydd cyfan ddiddordeb mewn data mawr.
Gyda llaw, yn ystod y drafodaeth ar y ffyniant gwybodaeth a dulliau o brosesu data a gynhyrchir gan bobl y cododd y term Data Mawr. Credir iddo gael ei gynnig gyntaf yn 2008 gan olygydd y cyfnodolyn Nature, Clifford Lynch.
Ers hynny, mae'r farchnad Data Mawr wedi bod yn cynyddu'n flynyddol o sawl degau y cant. Ac mae'r duedd hon, yn ôl arbenigwyr, yn parhau. Felly, yn ôl amcangyfrifon cwmni yn 2021, bydd cyfanswm y farchnad dadansoddeg data mawr fyd-eang yn cynyddu i $67,2 biliwn. Bydd y twf blynyddol tua 35,9%.
Pam mae angen dadansoddeg data mawr arnom?
Mae'n eich galluogi i nodi gwybodaeth hynod werthfawr o setiau data strwythuredig neu anstrwythuredig. Diolch i hyn, gall busnes, er enghraifft, nodi tueddiadau, rhagweld perfformiad cynhyrchu a gwneud y gorau o'i gostau ei hun. Mae'n amlwg, er mwyn lleihau costau, bod cwmnïau'n barod i weithredu'r atebion diweddaraf.
Technolegau a dulliau dadansoddi a ddefnyddir i ddadansoddi Data Mawr:
- Cloddio Data;
- torfoli;
- cymysgu ac integreiddio data;
- dysgu peirianyddol;
- rhwydweithiau niwral artiffisial;
- adnabod patrwm;
- dadansoddeg ragfynegol;
- modelu efelychiad;
- dadansoddiad gofodol;
- dadansoddiad ystadegol;
- delweddu data dadansoddol.
Dadansoddeg Data Mawr yn y byd
Mae dadansoddeg data mawr bellach yn cael ei defnyddio gan fwy na 50% o gwmnïau ledled y byd. Er gwaethaf y ffaith mai dim ond 2015% oedd y ffigur hwn yn 17. Defnyddir Data Mawr yn fwyaf gweithredol gan gwmnïau sy'n gweithredu yn y sectorau telathrebu a gwasanaethau ariannol. Yna mae yna gwmnïau sy'n arbenigo mewn technoleg gofal iechyd. Defnydd lleiaf posibl o ddadansoddeg Data Mawr mewn cwmnïau addysgol: yn y rhan fwyaf o achosion, cyhoeddodd cynrychiolwyr y maes hwn eu bwriad i ddefnyddio technoleg yn y dyfodol agos.
Yn yr Unol Daleithiau, defnyddir dadansoddeg Data Mawr yn fwyaf gweithredol: mae mwy na 55% o gwmnïau o amrywiaeth o feysydd yn gweithio gyda'r dechnoleg hon. Yn Ewrop ac Asia, nid yw'r galw am ddadansoddeg data mawr yn llawer is - tua 53%.
Beth am yn Rwsia?
Yn ôl dadansoddwyr IDC,. Mae twf y farchnad ar gyfer atebion o'r fath yng Nghanolbarth a Dwyrain Ewrop yn eithaf gweithredol, mae'r ffigur hwn yn cynyddu 11% bob blwyddyn. Erbyn 2022, bydd yn cyrraedd $5,4 biliwn mewn termau meintiol.
Mewn sawl ffordd, mae'r datblygiad cyflym hwn yn y farchnad yn ganlyniad i dwf yr ardal hon yn Rwsia. Yn 2018, roedd refeniw o werthu atebion perthnasol yn Ffederasiwn Rwsia yn cyfateb i 40% o gyfanswm y buddsoddiad mewn technolegau prosesu Data Mawr yn y rhanbarth cyfan.
Yn Ffederasiwn Rwsia, cwmnïau o'r sectorau bancio a chyhoeddus, y diwydiant telathrebu a diwydiant sy'n gwario fwyaf ar brosesu Data Mawr.
Beth mae Dadansoddwr Data Mawr yn ei wneud a faint mae'n ei ennill yn Rwsia?
Mae dadansoddwr data mawr yn gyfrifol am archwilio llawer iawn o wybodaeth, yn lled-strwythuredig ac yn anstrwythuredig. Ar gyfer sefydliadau bancio, trafodion yw'r rhain, i weithredwyr - galwadau a thraffig, mewn manwerthu - ymweliadau cwsmeriaid a phryniannau. Fel y soniwyd uchod, mae dadansoddiad Data Mawr yn ein galluogi i ddarganfod cysylltiadau rhwng amrywiol ffactorau yn yr “hanes gwybodaeth amrwd”, er enghraifft, proses gynhyrchu neu adwaith cemegol. Yn seiliedig ar y data dadansoddi, datblygir dulliau ac atebion newydd mewn amrywiaeth o feysydd - o weithgynhyrchu i feddygaeth.
Y sgiliau sydd eu hangen ar gyfer dadansoddwr Data Mawr:
- Y gallu i ddeall yn gyflym nodweddion yr ardal y mae'r dadansoddiad yn cael ei wneud ar ei gyfer, ac i ymgolli mewn agweddau ar yr ardal a ddymunir. Gallai hyn fod yn fanwerthu, diwydiant olew a nwy, meddygaeth, ac ati.
- Gwybodaeth am ddulliau dadansoddi data ystadegol, llunio modelau mathemategol (rhwydweithiau niwral, rhwydweithiau Bayesaidd, clystyru, atchweliad, dadansoddiadau ffactor, amrywiant a chydberthynas, ac ati).
- Gallu echdynnu data o wahanol ffynonellau, ei drawsnewid i'w ddadansoddi, a'i lwytho i gronfa ddata ddadansoddol.
- Hyfedr yn SQL.
- Gwybodaeth o Saesneg ar lefel ddigonol i ddarllen dogfennaeth dechnegol yn hawdd.
- Gwybodaeth am Python (y pethau sylfaenol o leiaf), Bash (mae'n anodd iawn gwneud hebddo yn y broses o weithio), ac mae'n ddymunol gwybod hanfodion Java a Scala (sydd ei angen ar gyfer defnydd gweithredol o Spark, un o'r fframweithiau mwyaf poblogaidd ar gyfer gweithio gyda data mawr).
- Y gallu i weithio gyda Hadoop.
Wel, faint mae dadansoddwr Data Mawr yn ei ennill?
Mae arbenigwyr Data Mawr yn brin erbyn hyn; Mae hyn oherwydd bod busnes yn dod i ddealltwriaeth: mae datblygiad yn gofyn am dechnolegau newydd, ac mae angen arbenigwyr i ddatblygu technoleg.
Felly, Gwyddonydd Data a Dadansoddwr Data yn UDA yn ôl yr asiantaeth recriwtio Glassdoor. Mae cyflog cyfartalog yr arbenigwyr hyn yn America yn dechrau o $100 mil y flwyddyn.
Yn Rwsia, mae arbenigwyr dysgu peiriannau yn derbyn rhwng 130 a 300 mil rubles y mis, dadansoddwyr data mawr - o 73 i 200 mil rubles y mis. Mae'r cyfan yn dibynnu ar brofiad a chymwysterau. Wrth gwrs, mae yna swyddi gwag gyda chyflogau is, ac eraill gyda rhai uwch. Uchafswm y galw am ddadansoddwyr data mawr ym Moscow a St Petersburg. Moscow, nad yw'n syndod, yn cyfrif am tua 50% o swyddi gwag gweithredol (yn ôl hh.ru). Mae llawer llai o alw ym Minsk a Kyiv. Mae'n werth nodi bod rhai swyddi gwag yn cynnig oriau hyblyg a gwaith o bell. Ond yn gyffredinol, mae cwmnïau angen arbenigwyr sy'n gweithio yn y swyddfa.
Dros amser, gallwn ddisgwyl cynnydd yn y galw am ddadansoddwyr Data Mawr a chynrychiolwyr o arbenigeddau cysylltiedig. Fel y soniwyd uchod, nid yw'r prinder personél yn y sector technoleg wedi'i ganslo. Ond, wrth gwrs, er mwyn dod yn ddadansoddwr Data Mawr, mae angen i chi astudio a gweithio, gan wella'r sgiliau a restrir uchod a rhai ychwanegol. Un o'r cyfleoedd i gychwyn llwybr dadansoddwr Data Mawr yw a rhowch gynnig ar weithio gyda data mawr.
Ffynhonnell: hab.com