Մեծ տվյալների դարաշրջանի անկումը

Շատ օտարերկրյա հեղինակներ համաձայն են, որ Big Data-ի դարաշրջանն ավարտվել է: Եվ այս դեպքում Big Data տերմինը վերաբերում է Hadoop-ի վրա հիմնված տեխնոլոգիաներին։ Շատ հեղինակներ նույնիսկ կարող են վստահորեն նշել այն ամսաթիվը, երբ Big Data-ն լքեց այս աշխարհը, և այս ամսաթիվը 05.06.2019/XNUMX/XNUMX է:

Ի՞նչ տեղի ունեցավ այս նշանակալից օրը:

Այս օրը MAPR-ը խոստացավ դադարեցնել իր աշխատանքը, եթե միջոցներ չգտնի հետագա գործունեության համար: MAPR-ը հետագայում ձեռք է բերվել HP-ի կողմից 2019 թվականի օգոստոսին: Բայց վերադառնալով հունիս, չի կարելի չնկատել այս շրջանի ողբերգությունը Big Data շուկայի համար։ Այս ամիս նկատվեց շուկայի առաջատար խաղացող CLOUDERA-ի բաժնետոմսերի գների փլուզում, որը նույն տարվա հունվարին միավորվեց խրոնիկապես ոչ եկամտաբեր HORTOWORKS-ի հետ: Փլուզումը բավականին զգալի է եղել և կազմել 43%, ի վերջո CLOUDERA-ի կապիտալիզացիան 4,1-ից նվազել է մինչև 1,4 մլրդ դոլար։

Անհնար է չասել, որ Hadoop-ի վրա հիմնված տեխնոլոգիաների ոլորտում փուչիկի մասին լուրերը շրջանառվում էին 2014 թվականի դեկտեմբերից, բայց այն համարձակորեն պահպանվեց ևս գրեթե հինգ տարի։ Այս լուրերը հիմնված էին Google-ի` ընկերության, որտեղից առաջացել է Hadoop տեխնոլոգիան, հրաժարվել էր իր գյուտից: Սակայն տեխնոլոգիան արմատացավ ընկերությունների՝ ամպային մշակման գործիքներին անցնելու և արհեստական ​​ինտելեկտի արագ զարգացման ժամանակ: Ուստի, հետ նայելով, կարող ենք վստահորեն ասել, որ մահը սպասելի էր։

Այսպիսով, Big Data-ի դարաշրջանն ավարտվել է, բայց Big Data-ի վրա աշխատելու գործընթացում ընկերությունները գիտակցել են դրա վրա աշխատելու բոլոր նրբությունները, առավելությունները, որոնք Big Data-ն կարող է բերել բիզնեսին, ինչպես նաև սովորել են արհեստական ​​օգտագործել: հետախուզություն՝ չմշակված տվյալներից արժեք հանելու համար:

Առավել հետաքրքիր է դառնում այն ​​հարցը, թե ինչով կփոխարինի այս տեխնոլոգիան և ինչպես կզարգանան վերլուծական տեխնոլոգիաները։

Ընդլայնված վերլուծություն

Նկարագրված իրադարձությունների ժամանակ տվյալների վերլուծության ոլորտում աշխատող ընկերությունները տեղում չեն նստել։ Ինչ կարելի է դատել 2019 թվականին տեղի ունեցած գործարքների վերաբերյալ տեղեկատվության հիման վրա։ Այս տարի իրականացվել է շուկայում ամենամեծ գործարքը՝ Salesforce-ի կողմից Tableau վերլուծական հարթակի ձեռքբերումը 15,7 մլրդ դոլարով։ Ավելի փոքր գործարք է տեղի ունեցել Google-ի և Looker-ի միջև: Եվ իհարկե, չի կարելի չնկատել Qlik-ի կողմից Attunity մեծ տվյալների պլատֆորմի ձեռքբերումը։

BI շուկայի առաջատարները և Gartner-ի փորձագետները հայտարարում են տվյալների վերլուծության մոտեցումների մոնումենտալ փոփոխության մասին, այս տեղաշարժն ամբողջությամբ կկործանի BI շուկան և կհանգեցնի BI-ի փոխարինմանը AI-ով: Այս համատեքստում հարկ է նշել, որ AI հապավումը ոչ թե «Artificial Intelligence» է, այլ «Augmented Intelligence»: Եկեք մանրամասն նայենք, թե ինչ է թաքնված «Augmented Analytics» բառերի հետևում:

Ընդլայնված վերլուծությունը, ինչպես ընդլայնված իրականությունը, հիմնված է մի քանի ընդհանուր պոստուլատների վրա.

• NLP-ի (բնական լեզվի մշակման) միջոցով հաղորդակցվելու ունակություն, այսինքն. մարդկային լեզվով;
• արհեստական ​​ինտելեկտի օգտագործումը, սա նշանակում է, որ տվյալները նախապես կմշակվեն մեքենայական բանականությամբ.
• և, իհարկե, համակարգի օգտագործողին հասանելի առաջարկություններ, որոնք ստեղծվել են արհեստական ​​ինտելեկտի միջոցով:

Ըստ վերլուծական հարթակներ արտադրողների, դրանց օգտագործումը հասանելի կլինի այն օգտատերերին, ովքեր չունեն հատուկ հմտություններ, ինչպիսիք են SQL-ի կամ նմանատիպ սկրիպտային լեզվի իմացությունը, ովքեր չունեն վիճակագրական կամ մաթեմատիկական ուսուցում, ովքեր չունեն հայտնի լեզուների իմացություն: մասնագիտացած տվյալների մշակման և համապատասխան գրադարանների մեջ: Նման մարդիկ, որոնք կոչվում են «Քաղաքացի տվյալների գիտնականներ», պետք է ունենան միայն ակնառու բիզնես որակավորում։ Նրանց խնդիրն է գրավել բիզնեսի պատկերացումները այն խորհուրդներից և կանխատեսումներից, որոնք կտան արհեստական ​​ինտելեկտը, և նրանք կարող են կատարելագործել իրենց ենթադրությունները NLP-ի միջոցով:

Նկարագրելով այս դասի համակարգերով աշխատող օգտատերերի գործընթացը՝ կարելի է պատկերացնել հետևյալ պատկերը. Մարդը, գալով աշխատանքի և գործարկելով համապատասխան հավելվածը, բացի հաշվետվությունների և վահանակների սովորական շարքից, որոնք կարող են վերլուծվել ստանդարտ մոտեցումների միջոցով (տեսակավորում, խմբավորում, թվաբանական գործողություններ կատարելով), տեսնում է որոշակի խորհուրդներ և առաջարկություններ, ինչպիսիք են. KPI-ին, վաճառքների քանակին հասնելու համար դուք պետք է զեղչ կիրառեք «Այգեգործություն» կատեգորիայի ապրանքների վրա»: Բացի այդ, մարդը կարող է կապ հաստատել կորպորատիվ մեսենջերի հետ՝ Skype, Slack և այլն: Կարող է ռոբոտին հարցեր տալ տեքստով կամ ձայնով. «Տվեք ինձ հինգ ամենաշահութաբեր հաճախորդներին»: Ստանալով համապատասխան պատասխան՝ նա պետք է լավագույն որոշումը կայացնի՝ ելնելով իր բիզնես փորձից և շահույթ բերի ընկերությանը։

Եթե ​​մի քայլ հետ գնաք և նայեք վերլուծվող տեղեկատվության կազմին, և այս փուլում ընդլայնված վերլուծական արտադրանքները կարող են հեշտացնել մարդկանց կյանքը: Իդեալում, ենթադրվում է, որ օգտատերը պետք է միայն վերլուծական արտադրանքը մատնանշի ցանկալի տեղեկատվության աղբյուրներին, իսկ ծրագիրն ինքն է հոգալու տվյալների մոդելի ստեղծման, աղյուսակների միացման և նմանատիպ առաջադրանքների մասին:

Այս ամենն առաջին հերթին պետք է ապահովի տվյալների «ժողովրդավարացումը», այսինքն. Ցանկացած անձ կարող է վերլուծել ընկերությանը հասանելի տեղեկատվության ողջ զանգվածը: Որոշումների կայացման գործընթացը պետք է ապահովվի վիճակագրական վերլուծության մեթոդներով: Տվյալների հասանելիության ժամանակը պետք է լինի նվազագույն, այնպես որ կարիք չկա գրել սկրիպտներ և SQL հարցումներ: Եվ իհարկե, դուք կարող եք գումար խնայել տվյալների գիտության բարձր վարձատրվող մասնագետների վրա:

Հիպոթետիկորեն տեխնոլոգիան բիզնեսի համար շատ պայծառ հեռանկարներ է առաջարկում։

Ի՞նչն է փոխարինում Big Data-ին:

Բայց, փաստորեն, ես իմ հոդվածը սկսեցի Big Data-ով։ Եվ ես չէի կարող այս թեման զարգացնել առանց հակիրճ էքսկուրսիայի ժամանակակից BI գործիքների մեջ, որոնց հիմքը հաճախ Մեծ տվյալներն են: Մեծ տվյալների ճակատագիրն այժմ հստակորեն որոշված ​​է, և դա ամպային տեխնոլոգիան է։ Ես կենտրոնացա BI վաճառողների հետ կատարված գործարքների վրա՝ ցույց տալու համար, որ այժմ յուրաքանչյուր վերլուծական համակարգ իր հետևում ունի ամպային պահեստավորում, իսկ ամպային ծառայություններն ունեն BI՝ որպես առաջնամաս:

Չմոռանալով տվյալների բազաների ոլորտում այնպիսի հենասյուների մասին, ինչպիսիք են ORACLE-ը և Microsoft-ը, հարկ է նշել բիզնեսի զարգացման նրանց ընտրած ուղղությունը, և սա է ամպը: Բոլոր առաջարկվող ծառայությունները կարելի է գտնել ամպում, սակայն որոշ ամպային ծառայություններ այլևս հասանելի չեն տեղում: Նրանք զգալի աշխատանք են կատարել մեքենայական ուսուցման մոդելների օգտագործման ուղղությամբ, ստեղծել են գրադարաններ, որոնք հասանելի են օգտատերերին և կարգավորել միջերեսներ՝ մոդելների հետ աշխատելու համար՝ սկսած դրանց ընտրությունից մինչև մեկնարկի ժամանակը:

Ամպային ծառայությունների օգտագործման մեկ այլ կարևոր առավելություն, որը բարձրաձայնում են արտադրողները, վերապատրաստման մոդելների համար ցանկացած թեմայի վերաբերյալ տվյալների գրեթե անսահմանափակ հավաքածուների առկայությունն է:

Այնուամենայնիվ, հարց է առաջանում՝ որքանո՞վ են արմատավորվելու ամպային տեխնոլոգիաները մեր երկրում։

Source: www.habr.com