Имрӯз танҳо одамоне, ки бо ҷаҳони беруна робитаи беруна надоранд, дар бораи додаҳои бузург нашунидаанд. Дар Ҳабре, мавзӯи таҳлили Big Data ва мавзӯъҳои марбут маъмул аст. Аммо барои ғайримутахассисоне, ки мехоҳанд худро ба омӯзиши маълумотҳои калон бахшанд, на ҳама вақт маълум аст, ки ин соҳа чӣ дурнамо дорад, дар куҷо таҳлили Big Data татбиқ карда мешавад ва таҳлилгари хуб ба чӣ умед мебандад. Биёед кӯшиш кунем, ки онро фаҳмем.
Ҳаҷми иттилооте, ки аз ҷониби одамон тавлид мешавад, ҳар сол меафзояд. То соли 2020 ҳаҷми маълумоти захирашуда то 40-44 зеттабайт (1 ЗБ ~ 1 миллиард ГБ) афзоиш меёбад. То соли 2025 - то тақрибан 400 зеттабайт. Мувофиқи он, идоракунии додаҳои сохторӣ ва сохторнашуда бо истифода аз технологияҳои муосир як самтест, ки аҳамияти рӯзафзун пайдо мекунад. Ҳам ширкатҳои алоҳида ва ҳам кишварҳо ба додаҳои калон таваҷҷӯҳ доранд.
Воқеан, маҳз ҳангоми баррасии авҷи иттилоот ва усулҳои коркарди додаҳои аз ҷониби инсон тавлидшуда истилоҳи Big Data пайдо шуд. Гумон меравад, ки онро бори аввал дар соли 2008 муҳаррири маҷаллаи Nature Клиффорд Линч пешниҳод кардааст.
Аз он вақт инҷониб, бозори Big Data ҳамасола якчанд даҳҳо фоиз афзоиш меёбад. Ва ин раванд, ба гуфтаи коршиносон, идома хоҳад дод. Хамин тавр, мувофики хисобхои ширкат дар соли 2021, бозори умумии ҷаҳонии таҳлили додаҳои калон то 67,2 миллиард доллар афзоиш хоҳад ёфт ва афзоиши солона тақрибан 35,9% хоҳад буд.
Чаро мо ба таҳлили маълумоти калон ниёз дорем?
Он ба шумо имкон медиҳад, ки иттилооти хеле арзишмандро аз маҷмӯи додаҳои сохторӣ ё сохторнашуда муайян кунед. Ба шарофати ин, бизнес метавонад, масалан, тамоюлҳоро муайян кунад, нишондиҳандаҳои истеҳсолиро пешгӯӣ кунад ва хароҷоти худро оптимизатсия кунад. Маълум аст, ки бо максади кам кардани харочот корхонахо тайёранд, ки карорхои навтаринро чорй намоянд.
Технологияҳо ва усулҳои таҳлиле, ки барои таҳлили маълумоти калон истифода мешаванд:
- истихроҷи маълумот;
- краудсорсинг;
- омезиши маълумот ва ҳамгироӣ;
- омӯзиши мошинсозӣ;
- шабакаҳои нейронии сунъӣ;
- шинохти намуна;
- таҳлили пешгӯӣ;
- моделсозии моделиронӣ;
- таҳлили фазои;
- таҳлили оморӣ;
- визуализатсияи маълумоти таҳлилӣ.
Таҳлили маълумоти Big дар ҷаҳон
Таҳлили маълумоти калон ҳоло аз ҷониби зиёда аз 50% ширкатҳо дар саросари ҷаҳон истифода мешавад. Бо вуҷуди он, ки дар соли 2015 ин нишондод ҳамагӣ 17% буд. Big Data аз ҷониби ширкатҳое, ки дар бахшҳои телекоммуникатсия ва хадамоти молиявӣ фаъолият мекунанд, фаъолона истифода мешаванд. Он гоҳ ширкатҳое ҳастанд, ки дар технологияҳои тандурустӣ тахассус доранд. Истифодаи ҳадди ақали таҳлили Big Data дар ширкатҳои таълимӣ: дар аксари ҳолатҳо, намояндагони ин соҳа нияти истифодаи технологияро дар ояндаи наздик эълон карданд.
Дар Иёлоти Муттаҳида, таҳлили Big Data бештар фаъол истифода мешавад: зиёда аз 55% ширкатҳо аз соҳаҳои гуногун бо ин технология кор мекунанд. Дар Аврупо ва Осиё, талабот ба таҳлили маълумоти калон чандон камтар нест - тақрибан 53%.
Аммо дар бораи Россия чӣ?
Ба гуфтаи таҳлилгарони IDC,. Афзоиши бозори чунин қарорҳо дар Аврупои Марказӣ ва Шарқӣ хеле фаъол аст, ин рақам ҳар сол 11% меафзояд. То соли 2022 он аз рӯи миқдори миқдорӣ ба 5,4 миллиард доллар мерасад.
Аз бисёр ҷиҳат, ин рушди босуръати бозор ба афзоиши ин минтақа дар Русия вобаста аст. Дар соли 2018 даромад аз фурӯши қарорҳои дахлдор дар Федератсияи Русия 40% аз ҳаҷми умумии сармоягузорӣ ба технологияҳои коркарди маълумоти Big дар тамоми минтақаро ташкил дод.
Дар Федератсияи Русия ширкатҳо аз бахшҳои бонкӣ ва давлатӣ, саноати телекоммуникатсия ва саноат барои коркарди маълумоти калон бештар маблағ сарф мекунанд.
Таҳлилгари Big Data чӣ кор мекунад ва ӯ дар Русия чӣ қадар маош мегирад?
Таҳлилгари маълумоти калон барои баррасии миқдори зиёди иттилоот, ҳам нимсохтор ва ҳам сохторнашуда масъул аст. Барои ташкилотҳои бонкӣ ин транзаксияҳо, барои операторҳо - зангҳо ва трафик, дар чакана - боздид ва хариди муштариён мебошанд. Тавре ки дар боло зикр гардид, таҳлили Big Data ба мо имкон медиҳад, ки робитаи байни омилҳои мухталифи "таърихи иттилооти хом", масалан, раванди истеҳсолӣ ё реаксияи химиявиро кашф кунем. Дар асоси маълумоти таҳлил, равишҳо ва ҳалли нав дар соҳаҳои гуногун - аз истеҳсолот то тиб таҳия карда мешаванд.
Малакаҳое, ки барои таҳлилгари маълумоти калон лозиманд:
- Қобилияти зуд фаҳмидани хусусиятҳо дар минтақае, ки барои он таҳлил гузаронида мешавад ва ба ҷанбаҳои минтақаи дилхоҳ ғарқ шудан. Ин метавонад савдои чакана, саноати нафту газ, тиб ва ғайра бошад.
- Донистани усулҳои таҳлили маълумоти оморӣ, сохтани моделҳои математикӣ (шабакаҳои нейронӣ, шабакаҳои Байесӣ, кластеркунӣ, регрессия, омилҳо, таҳлилҳои дисперсия ва коррелятсия ва ғ.).
- Қобилияти истихроҷи маълумот аз сарчашмаҳои гуногун, табдил додани он барои таҳлил ва бор кардани он ба пойгоҳи таҳлилӣ.
- Мутахассиси SQL.
- Донистани забони англисӣ дар сатҳи кофӣ барои хондани ҳуҷҷатҳои техникӣ.
- Дониши Python (ҳадди ақал асосҳо), Bash (дар раванди кор бе он кор кардан хеле душвор аст), илова бар ин, донистани асосҳои Java ва Scala (барои истифодаи фаъоли Spark лозим аст, яке аз чаҳорчӯбаҳои маъмултарин барои кор бо додаҳои калон).
- Қобилияти кор бо Hadoop.
Хуб, як таҳлилгари Big Data чӣ қадар маош мегирад?
Мутахассисони Big Data ҳоло дар камчин ҳастанд; талабот аз пешниҳод зиёд аст. Ин аст, ки тиҷорат ба фаҳмиш меояд: рушд технологияҳои навро талаб мекунад ва рушди технология мутахассисонро талаб мекунад.
Ҳамин тавр, маълумотшинос ва таҳлили маълумот дар ИМА Мувофиқи агентии ҷалби Glassdoor. Музди миёнаи ин мутахассисон дар Амрико аз 100 ҳазор доллар дар як сол оғоз мешавад.
Дар Русия, мутахассисони омӯзиши мошинсозӣ дар як моҳ аз 130 то 300 ҳазор рубл, таҳлилгарони калон - аз 73 то 200 ҳазор рубл дар як моҳ мегиранд. Ин ҳама ба таҷриба ва тахассус вобаста аст. Албатта, чойхои холй хастанд, ки маошашон камтар аст ва дигарон бо маоши баланд. Максимум талабот ба таҳлилгарони маълумоти калон дар Маскав ва Санкт-Петербург. Маскав, ки тааҷҷубовар нест, тақрибан 50% ҷойҳои холии фаъолро ташкил медиҳад (мувофиқи hh.ru). Дар Минск ва Киев талабот хеле кам аст. Қобили зикр аст, ки баъзе ҷойҳои холӣ соатҳои чандир ва кори фосилавӣ пешниҳод мекунанд. Аммо дар маҷмӯъ, ширкатҳо ба мутахассисоне ниёз доранд, ки дар идора кор мекунанд.
Бо гузашти вақт, мо метавонем афзоиши талаботро ба таҳлилгарони Big Data ва намояндагони ихтисосҳои марбута интизор шавем. Тавре ки дар боло зикр гардид, норасоии кадрҳо дар соҳаи технологӣ бартараф карда нашудааст. Аммо, албатта, барои табдил шудан ба таҳлилгари Big Data, шумо бояд таҳсил кунед ва кор карда, ҳам малакаҳои дар боло номбаршуда ва ҳам малакаҳои иловагиро такмил диҳед. Яке аз имкониятҳо барои оғози роҳи таҳлилгари Big Data аст ва дасти худро дар кор бо маълумоти калон санҷед.
Манбаъ: will.com