Այսօր մեծ տվյալների մասին չեն լսել միայն այն մարդիկ, ովքեր արտաքին կապեր չունեն արտաքին աշխարհի հետ։ Habré-ում հայտնի է Մեծ տվյալների վերլուծության և հարակից թեմաների թեման: Բայց ոչ մասնագետների համար, ովքեր կցանկանան իրենց նվիրել Big Data-ի ուսումնասիրությանը, միշտ չէ, որ պարզ է, թե ինչ հեռանկարներ ունի այս ոլորտը, որտեղ կարող է կիրառվել Big Data վերլուծությունը և ինչի վրա կարող է հույս դնել լավ վերլուծաբանը: Փորձենք դա պարզել:
Մարդկանց կողմից ստացվող տեղեկատվության քանակն ամեն տարի ավելանում է։ Մինչև 2020 թվականը պահվող տվյալների քանակը կավելանա մինչև 40-44 զետաբայթ (1 ԶԲ ~ 1 միլիարդ ԳԲ): Մինչև 2025 թվականը՝ մինչև մոտավորապես 400 զետաբայթ: Համապատասխանաբար, ժամանակակից տեխնոլոգիաների կիրառմամբ կառուցվածքային և չկառուցված տվյալների կառավարումն այն ոլորտն է, որը գնալով ավելի կարևոր է դառնում: Ինչպես առանձին ընկերությունները, այնպես էլ ամբողջ երկրները հետաքրքրված են մեծ տվյալների մեջ:
Ի դեպ, հենց տեղեկատվական բումի և մարդու կողմից ստեղծված տվյալների մշակման մեթոդների քննարկման ժամանակ առաջացավ Big Data տերմինը։ Ենթադրվում է, որ այն առաջին անգամ առաջարկվել է 2008 թվականին Nature ամսագրի խմբագիր Քլիֆորդ Լինչի կողմից։
Այդ ժամանակից ի վեր Big Data շուկան տարեկան աճում է մի քանի տասնյակ տոկոսով: Եվ այս միտումը, ըստ մասնագետների, կշարունակվի։ Այսպիսով, ընկերության գնահատականներով 2021 թվականին մեծ տվյալների վերլուծության ընդհանուր համաշխարհային շուկան կաճի մինչև 67,2 միլիարդ դոլար: Տարեկան աճը կկազմի մոտ 35,9%:
Ինչու՞ մեզ պետք է մեծ տվյալների վերլուծություն:
Այն թույլ է տալիս բացահայտել չափազանց արժեքավոր տեղեկատվությունը կառուցվածքային կամ չկառուցված տվյալների հավաքածուներից: Դրա շնորհիվ բիզնեսը կարող է, օրինակ, բացահայտել միտումները, կանխատեսել արտադրության արդյունավետությունը և օպտիմալացնել սեփական ծախսերը: Հասկանալի է, որ ծախսերը նվազեցնելու համար ընկերությունները պատրաստ են իրականացնել նորագույն լուծումները։
Տեխնոլոգիաներ և վերլուծության մեթոդներ, որոնք օգտագործվում են մեծ տվյալների վերլուծության համար.
- Տվյալների հանքարդյունաբերություն;
- crowdsourcing;
- տվյալների խառնուրդ և ինտեգրում;
- մեքենայական ուսուցում;
- արհեստական նյարդային ցանցեր;
- օրինակների ճանաչում;
- կանխատեսող վերլուծություն;
- սիմուլյացիոն մոդելավորում;
- տարածական վերլուծություն;
- Վիճակագրական վերլուծություն;
- վերլուծական տվյալների վիզուալիզացիա:
Մեծ տվյալների վերլուծություն աշխարհում
Մեծ տվյալների վերլուծությունն այժմ օգտագործվում է աշխարհի ընկերությունների ավելի քան 50%-ի կողմից: Չնայած այն հանգամանքին, որ 2015 թվականին այս ցուցանիշը կազմել է ընդամենը 17%։ Big Data-ն առավել ակտիվորեն օգտագործվում է հեռահաղորդակցության և ֆինանսական ծառայությունների ոլորտներում գործող ընկերությունների կողմից: Հետո կան ընկերություններ, որոնք մասնագիտանում են առողջապահական տեխնոլոգիաների ոլորտում: Big Data-ի վերլուծության նվազագույն օգտագործումը կրթական ընկերություններում. շատ դեպքերում այս ոլորտի ներկայացուցիչները հայտարարել են մոտ ապագայում տեխնոլոգիան օգտագործելու մտադրության մասին:
ԱՄՆ-ում Big Data-ի վերլուծությունն առավել ակտիվ է օգտագործվում. տարբեր ոլորտների ընկերությունների ավելի քան 55%-ն աշխատում է այս տեխնոլոգիայով: Եվրոպայում և Ասիայում մեծ տվյալների վերլուծության պահանջարկը շատ ավելի ցածր չէ՝ մոտ 53%:
Իսկ ի՞նչ կասեք Ռուսաստանում։
IDC-ի վերլուծաբանների կարծիքով.. Կենտրոնական և Արևելյան Եվրոպայում նման լուծումների շուկայի աճը բավականին ակտիվ է, այս ցուցանիշն ամեն տարի ավելանում է 11%-ով։ 2022 թվականին այն քանակական առումով կհասնի 5,4 միլիարդ դոլարի։
Շատ առումներով, շուկայի այս արագ զարգացումը պայմանավորված է Ռուսաստանում այս տարածքի աճով: 2018 թվականին Ռուսաստանի Դաշնությունում համապատասխան լուծումների վաճառքից ստացված հասույթը կազմել է ողջ տարածաշրջանում Big Data մշակման տեխնոլոգիաների ընդհանուր ներդրումների 40%-ը։
Ռուսաստանի Դաշնությունում բանկային և հանրային հատվածների, հեռահաղորդակցության ոլորտի և արդյունաբերության ընկերությունները ամենաշատն են ծախսում Մեծ տվյալների մշակման վրա:
Ի՞նչ է անում Big Data Analyst-ը և որքան է նա վաստակում Ռուսաստանում:
Մեծ տվյալների վերլուծաբանը պատասխանատու է հսկայական քանակությամբ տեղեկատվության հետազոտման համար՝ ինչպես կիսակառույց, այնպես էլ չկառուցված: Բանկային կազմակերպությունների համար դրանք գործարքներ են, օպերատորների համար՝ զանգեր և երթևեկություն, մանրածախ առևտրի համար՝ հաճախորդների այցելություններ և գնումներ: Ինչպես նշվեց վերևում, Մեծ տվյալների վերլուծությունը թույլ է տալիս մեզ կապեր հայտնաբերել «հում տեղեկատվության պատմության» տարբեր գործոնների միջև, օրինակ՝ արտադրության գործընթացի կամ քիմիական ռեակցիայի: Վերլուծության տվյալների հիման վրա մշակվում են նոր մոտեցումներ և լուծումներ տարբեր ոլորտներում` արտադրությունից մինչև բժշկություն:
Մեծ տվյալների վերլուծաբանի համար պահանջվող հմտություններ.
- Հնարավորություն արագ հասկանալու այն տարածքի առանձնահատկությունները, որոնց համար կատարվում է վերլուծություն, և խորասուզվելու ցանկալի տարածքի ասպեկտներում: Սա կարող է լինել մանրածախ առևտուր, նավթի և գազի արդյունաբերություն, բժշկություն և այլն:
- Վիճակագրական տվյալների վերլուծության, մաթեմատիկական մոդելների կառուցման մեթոդների իմացություն (նեյրոնային ցանցեր, բայեսյան ցանցեր, կլաստերավորում, ռեգրեսիա, գործոնային, շեղումների և հարաբերակցության վերլուծություններ և այլն):
- Կարողանալ արդյունահանել տվյալներ տարբեր աղբյուրներից, վերափոխել դրանք վերլուծության համար և բեռնել դրանք վերլուծական տվյալների բազայում:
- Տիրապետում է SQL-ին:
- Անգլերենի իմացություն այն մակարդակով, որը բավարար է տեխնիկական փաստաթղթերը հեշտությամբ կարդալու համար:
- Python-ի (առնվազն հիմունքների), Bash-ի իմացություն (աշխատանքի ընթացքում առանց դրա շատ դժվար է անել), գումարած՝ ցանկալի է իմանալ Java-ի և Scala-ի հիմունքները (անհրաժեշտ է Spark-ի ակտիվ օգտագործման համար, մեկը՝ մեծ տվյալների հետ աշխատելու ամենատարածված շրջանակները):
- Hadoop-ի հետ աշխատելու ունակություն։
Դե, ինչքա՞ն է վաստակում Big Data-ի վերլուծաբանը:
Big Data-ի մասնագետներն այժմ պակասում են, պահանջարկը գերազանցում է առաջարկին: Դա պայմանավորված է նրանով, որ բիզնեսը գալիս է փոխըմբռնման՝ զարգացումը պահանջում է նոր տեխնոլոգիաներ, իսկ տեխնոլոգիաների զարգացումը պահանջում է մասնագետներ։
Այսպիսով, տվյալների գիտնական և տվյալների վերլուծություն ԱՄՆ-ում ըստ հավաքագրման Glassdoor գործակալության: Ամերիկայում այդ մասնագետների միջին աշխատավարձը սկսվում է տարեկան $100 հազարից։
Ռուսաստանում մեքենայական ուսուցման մասնագետները ստանում են ամսական 130-ից 300 հազար ռուբլի, մեծ տվյալների վերլուծաբանները՝ ամսական 73-ից 200 հազար ռուբլի: Ամեն ինչ կախված է փորձից և որակավորումներից: Իհարկե, կան թափուր աշխատատեղեր՝ ավելի ցածր աշխատավարձով, իսկ մյուսները՝ ավելի բարձր։ Մոսկվայի և Սանկտ Պետերբուրգի խոշոր տվյալների վերլուծաբանների առավելագույն պահանջարկը. Մոսկվային, ինչը զարմանալի չէ, ակտիվ թափուր աշխատատեղերի մոտ 50%-ն է բաժին ընկնում (ըստ hh.ru-ի): Շատ ավելի քիչ պահանջարկ կա Մինսկում և Կիևում։ Հարկ է նշել, որ որոշ թափուր աշխատատեղեր առաջարկում են ճկուն ժամեր և հեռավար աշխատանք: Բայց ընդհանուր առմամբ ընկերություններին պետք են մասնագետներ, ովքեր աշխատում են գրասենյակում։
Ժամանակի ընթացքում մենք կարող ենք ակնկալել Big Data վերլուծաբանների և հարակից մասնագիտությունների ներկայացուցիչների պահանջարկի աճ։ Ինչպես նշվեց վերևում, տեխնոլոգիական ոլորտում կադրերի պակասը չի վերացվել։ Բայց, իհարկե, Big Data-ի վերլուծաբան դառնալու համար պետք է սովորել և աշխատել՝ կատարելագործելով ինչպես վերը թվարկված հմտությունները, այնպես էլ լրացուցիչ։ Big Data-ի վերլուծաբանի ուղին սկսելու հնարավորություններից է և փորձեք ձեր ուժերը մեծ տվյալների հետ աշխատելու գործում:
Source: www.habr.com