Mae llawer o awduron tramor yn cytuno bod cyfnod y Data Mawr wedi dod i ben. Ac yn yr achos hwn, mae'r term Data Mawr yn cyfeirio at dechnolegau sy'n seiliedig ar Hadoop. Gall llawer o awduron hyd yn oed enwi’n hyderus y dyddiad pan adawodd Data Mawr y byd hwn a’r dyddiad hwn yw 05.06.2019/XNUMX/XNUMX.
Beth ddigwyddodd ar y diwrnod arwyddocaol hwn?
Ar y diwrnod hwn, addawodd MAPR atal ei waith os na allai ddod o hyd i arian ar gyfer gweithredu pellach. Prynwyd MAPR yn ddiweddarach gan HP ym mis Awst 2019. Ond gan ddychwelyd i fis Mehefin, ni all rhywun helpu ond nodi trasiedi'r cyfnod hwn i'r farchnad Data Mawr. Y mis hwn gwelwyd cwymp ym mhrisiau stoc CLOUDERA, chwaraewr blaenllaw yn y farchnad, a unodd â HORTOWORKS cronig amhroffidiol ym mis Ionawr yr un flwyddyn. Roedd y cwymp yn eithaf sylweddol ac yn dod i 43%; yn y pen draw, gostyngodd cyfalafu CLOUDERA o 4,1 i 1,4 biliwn o ddoleri.
Mae'n amhosibl peidio â dweud bod sibrydion swigen ym maes technolegau Hadoop wedi bod yn cylchredeg ers mis Rhagfyr 2014, ond fe ddaliodd ymlaen yn ddewr am bron i bum mlynedd arall. Roedd y sibrydion hyn yn seiliedig ar wrthod Google, y cwmni lle tarddodd technoleg Hadoop, o'i ddyfais. Ond cymerodd y dechnoleg wreiddiau yn ystod y cyfnod pontio o gwmnïau i offer prosesu cwmwl a datblygiad cyflym deallusrwydd artiffisial. Felly, wrth edrych yn ôl, gallwn ddweud yn hyderus bod disgwyl y farwolaeth.
Felly, mae cyfnod y Data Mawr wedi dod i ben, ond yn y broses o weithio ar Ddata Mawr, mae cwmnïau wedi sylweddoli'r holl naws o weithio arno, y manteision y gall Data Mawr eu cynnig i fusnes, a hefyd wedi dysgu defnyddio artiffisial. cudd-wybodaeth i dynnu gwerth o ddata crai.
Y mwyaf diddorol yw'r cwestiwn o beth fydd yn disodli'r dechnoleg hon a sut y bydd technolegau dadansoddeg yn datblygu ymhellach.
Dadansoddeg Estynedig
Yn ystod y digwyddiadau a ddisgrifiwyd, ni wnaeth cwmnïau sy'n gweithio ym maes dadansoddi data eistedd yn llonydd. Yr hyn y gellir ei farnu ar sail gwybodaeth am drafodion a ddigwyddodd yn 2019. Eleni, cynhaliwyd y trafodiad mwyaf yn y farchnad - caffael y llwyfan dadansoddol Tableau gan Salesforce am $15,7 biliwn. Digwyddodd bargen lai rhwng Google a Looker. Ac wrth gwrs, ni all rhywun fethu â nodi caffaeliad y platfform data mawr Attunity gan Qlik.
Mae arweinwyr marchnad BI ac arbenigwyr Gartner yn cyhoeddi newid aruthrol mewn dulliau dadansoddi data; bydd y newid hwn yn dinistrio marchnad BI yn llwyr ac yn arwain at ddisodli BI ag AI. Yn y cyd-destun hwn, dylid nodi nad “Deallusrwydd artiffisial” yw’r talfyriad AI ond “Deallusrwydd Estynedig”. Gadewch i ni edrych yn agosach ar yr hyn sydd y tu ôl i'r geiriau "Augmented Analytics."
Mae dadansoddeg estynedig, fel realiti estynedig, yn seiliedig ar sawl rhagdybiaeth gyffredinol:
- y gallu i gyfathrebu gan ddefnyddio NLP (Natural Language Processing), h.y. mewn iaith ddynol;
- defnyddio deallusrwydd artiffisial, mae hyn yn golygu y bydd y data'n cael ei brosesu ymlaen llaw gan ddeallusrwydd peiriant;
- ac wrth gwrs, argymhellion sydd ar gael i ddefnyddiwr y system, a gynhyrchwyd gan ddeallusrwydd artiffisial.
Yn ôl gwneuthurwyr llwyfannau dadansoddol, bydd eu defnydd ar gael i ddefnyddwyr nad oes ganddynt sgiliau arbennig, megis gwybodaeth am SQL neu iaith sgriptio debyg, nad oes ganddynt hyfforddiant ystadegol neu fathemategol, nad oes ganddynt wybodaeth am ieithoedd poblogaidd. yn arbenigo mewn prosesu data a llyfrgelloedd cyfatebol. Rhaid i bobl o'r fath, a elwir yn "Gwyddonwyr Data Dinesydd", fod â chymwysterau busnes rhagorol yn unig. Eu tasg yw casglu mewnwelediadau busnes o'r awgrymiadau a'r rhagolygon y bydd deallusrwydd artiffisial yn eu rhoi iddynt, a gallant fireinio eu dyfaliadau gan ddefnyddio NLP.
Wrth ddisgrifio'r broses o ddefnyddwyr yn gweithio gyda systemau o'r dosbarth hwn, gellir dychmygu'r llun canlynol. Mae person, sy'n dod i'r gwaith ac yn lansio'r cymhwysiad cyfatebol, yn ychwanegol at y set arferol o adroddiadau a dangosfyrddau y gellir eu dadansoddi gan ddefnyddio dulliau safonol (didoli, grwpio, perfformio gweithrediadau rhifyddeg), yn gweld rhai awgrymiadau ac argymhellion, rhywbeth fel: “Yn er mwyn cyflawni DPA, nifer y gwerthiannau, dylech gymhwyso gostyngiad ar gynhyrchion o'r categori “Garddio”. Yn ogystal, gall person gysylltu â negesydd corfforaethol: Skype, Slack, ac ati. Yn gallu gofyn cwestiynau i'r robot, trwy neges destun neu lais: “Rhowch y pum cleient mwyaf proffidiol i mi.” Ar ôl cael yr ateb priodol, rhaid iddo wneud y penderfyniad gorau yn seiliedig ar ei brofiad busnes a dod ag elw i'r cwmni.
Os cymerwch gam yn ôl ac edrych ar gyfansoddiad y wybodaeth sy'n cael ei dadansoddi, ac ar yr adeg hon, gall cynhyrchion dadansoddeg estynedig wneud bywydau pobl yn haws. Yn ddelfrydol, rhagdybir mai dim ond pwyntio'r cynnyrch dadansoddol at ffynonellau'r wybodaeth a ddymunir y bydd angen i'r defnyddiwr ei wneud, a bydd y rhaglen ei hun yn gofalu am greu model data, tablau cysylltu a thasgau tebyg.
Dylai hyn oll, yn gyntaf oll, sicrhau “democrateiddio” data, h.y. Gall unrhyw berson ddadansoddi'r holl amrywiaeth o wybodaeth sydd ar gael i'r cwmni. Rhaid i'r broses benderfynu gael ei hategu gan ddulliau dadansoddi ystadegol. Dylai amser mynediad data fod yn fach iawn, felly nid oes angen ysgrifennu sgriptiau ac ymholiadau SQL. Ac wrth gwrs, gallwch arbed arian ar arbenigwyr Gwyddor Data sy'n talu'n fawr.
Yn ddamcaniaethol, mae technoleg yn cynnig rhagolygon disglair iawn i fusnes.
Beth sy'n disodli Data Mawr
Ond, mewn gwirionedd, dechreuais fy erthygl gyda Data Mawr. Ac ni allwn ddatblygu'r pwnc hwn heb daith fer i offer BI modern, y mae Data Mawr yn aml yn sail iddynt. Mae tynged data mawr bellach wedi'i bennu'n glir, a thechnoleg cwmwl ydyw. Canolbwyntiais ar drafodion a wnaed gyda gwerthwyr BI er mwyn dangos bod gan bob system ddadansoddol bellach storfa cwmwl y tu ôl iddo, a bod gan wasanaethau cwmwl BI fel y pen blaen.
Heb anghofio am bileri o'r fath ym maes cronfeydd data fel ORACLE a Microsoft, mae angen nodi eu dewis gyfeiriad datblygu busnes a dyma'r cwmwl. Gellir dod o hyd i'r holl wasanaethau a gynigir yn y cwmwl, ond nid yw rhai gwasanaethau cwmwl ar gael ar y safle mwyach. Maent wedi gwneud gwaith sylweddol ar ddefnyddio modelau dysgu peirianyddol, wedi creu llyfrgelloedd sydd ar gael i ddefnyddwyr, ac wedi ffurfweddu rhyngwynebau er mwyn hwyluso gweithio gyda modelau o'u dewis i osod yr amser cychwyn.
Mantais bwysig arall o ddefnyddio gwasanaethau cwmwl, sy'n cael ei lleisio gan weithgynhyrchwyr, yw argaeledd setiau data bron yn ddiderfyn ar unrhyw bwnc ar gyfer modelau hyfforddi.
Fodd bynnag, mae'r cwestiwn yn codi: pa mor bell y bydd technolegau cwmwl yn gwreiddio yn ein gwlad?
Ffynhonnell: hab.com