Мноства замежных аўтараў сыходзяцца да таго, што эпоха Big Data падышла да канца. І ў дадзеным выпадку пад тэрмінам Big Data разумеюцца тэхналогіі, заснаваныя на Hadoop. Многія аўтары нават могуць з упэўненасцю назваць дату, калі Big Data пакінула гэты свет і гэтая дата — 05.06.2019.
Што ж адбылося ў гэты знамянальны дзень?
У гэты дзень кампанія MAPR абяцала прыпыніць сваю працу, калі не зможа знайсці сродкі для далейшага функцыянавання. Пазней, у жніўні 2019 года MAPR быў набыты кампаніяй HP. Але вяртаючыся да чэрвеня нельга не адзначыць, трагічнасць гэтага перыяду для рынка Big Data. У гэтым месяцы адбыўся абвал біржавых каціровак акцый кампаніі CLOUDERA - вядучага гульца на пазначаным рынку, якая зрабіла зліццё з хранічна непрыбытковым HORTOWORKS ў студзені гэтага ж года. Абвал быў вельмі істотны і склаў 43%, у канчатковым выніку капіталізацыя CLOUDERA знізілася з 4,1, 1,4 да XNUMX, XNUMX мільярда даляраў.
Немагчыма не сказаць, што чуткі аб надзіманні бурбалкі ў сферы тэхналогій, якія базуюцца на Hadoop, хадзілі яшчэ са снежня 2014 года, але ён мужна пратрымаўся яшчэ амаль пяць гадоў. Слых гэтыя засноўваліся на адмове Google, кампаніі ў якой зарадзілася тэхналогія Hadoop, ад свайго вынаходства. Але тэхналогія, прыжылася, на час пераходу кампаній да хмарных сродкаў апрацоўкі і бурнага развіцця штучнага інтэлекту. Таму, павярнуўшыся назад, можна з упэўненасцю сказаць, што скон быў чаканым.
Такім чынам, эра Big Data падышла да канца, але падчас прац над вялікімі дадзенымі кампаніі ўсвядомілі ўсе нюансы працы над імі, выгады, якія Big Data можа прынесці бізнэсу, а таксама навучыліся карыстацца штучным інтэлектам для вымання каштоўнасці з волкіх дадзеных.
Тым цікавейшым становіцца пытанне аб тым, што ж прыйдзе на змену гэтай тэхналогіі і як будуць далей развівацца тэхналогіі аналітыкі.
Дапоўненая аналітыка
Падчас апісваных падзей, кампаніі, якія працуюць у сферы аналізу дадзеных, не сядзелі на месцы. Аб чым можна меркаваць зыходзячы з інфармацыі аб здзелках, якія адбыліся ў 2019 годзе. У бягучым годзе была ажыццёўлена найбуйнейшая здзелка рынку - набыццё Salesforce аналітычнай платформы Tableau за 15,7 млрд. даляраў. Менш буйная здзелка адбылася паміж Google і Looker. Ну і вядома нельга не адзначыць набыццё кампаніяй Qlik – біг дата платформы Attunity.
Лідэры рынка BI і адмыслоўцы Gartner заяўляюць аб грандыёзным зруху ў падыходах да аналізу дадзеных гэты зрух цалкам разбурыць рынак BI і прывядзе да замены BI на AI. У дадзеным кантэксце неабходна адзначыць, што абрэвіятура AI гэта не "Artificial intelligence" а "Augmented Intelligence". Давайце бліжэй разгледзім, што хаваецца за словамі "Дапоўненая аналітыка".
Дапоўненая аналітыка, як і дапоўненая рэальнасць, грунтуецца на некалькіх агульных пастулатах:
- магчымасцю мець зносіны з выкарыстаннем NLP (Natural Language Processing), г.зн. на чалавечай мове;
- выкарыстанне штучнага інтэлекту, гэта значыць, што дадзеныя будуць папярэдне апрацаваны машынным інтэлектам;
- і вядома ж рэкамендацыі, даступныя карыстачу сістэмы, якія як раз-ткі згенераваў штучны інтэлект.
Па меркаванні вытворцаў аналітычных платформаў, іх выкарыстанне будзе даступна для карыстачоў не якія валодаюць адмысловымі навыкамі, такімі як веданне SQL ці падобнай скрыптовай мовы, не мелых статыстычнай або матэматычнай падрыхтоўкі, не што валодаюць ведамі ў вобласці папулярных моў, якія спецыялізуюцца на апрацоўцы дадзеных і адпаведных бібліятэк. Такія людзі, званыя "Citizen Data Scientist", павінны валодаць толькі выбітнай бізнэс кваліфікацыяй. Іх задача - улавіць бізнес-інсайты з падказак і прагнозаў, якія будзе даваць ім штучны інтэлект, а ўдакладняць свае здагадкі яны змогуць, выкарыстоўваючы NLP.
Апісваючы працэс працы карыстачоў з сістэмамі такога класа можна ўявіць сабе наступную карціну. Чалавек, прыходзячы на працу і запускаючы адпаведны дадатак акрамя звыклага набору справаздач і дэшбордаў, якія можна аналізаваць стандартнымі падыходамі (сартаванне, групоўка, выкананне арыфметычных дзеянняў) бачыць пэўныя падказкі і рэкамендацыі, нешта тыпу: «Для таго, каб дасягнуць KPI, па колькасць продажаў вам варта прымяніць скідку на прадукты з катэгорыі «Садоўніцтва»». Акрамя гэтага чалавек, можа звярнуцца да карпаратыўнага месэнджэра: Skype, Slack г.д. Можа задаць робату пытанні, тэкстам ці голасам: "Вывядзі мне пяць самых прыбытковых кліентаў". Атрымаўшы адпаведны адказ, ён павінен прыняць аптымальнае рашэнні, зыходзячы са свайго досведу ў бізнэсе і прынесці кампаніі прыбытак.
Калі зрабіць крок назад, і зірнуць на склад аналізаванай інфармацыі, і на гэтым этапе прадукты класа дапоўненай аналітыкі могуць спрасціць жыццё людзям. У ідэале мяркуецца, што карыстачу запатрабуецца толькі паказаць аналітычнаму прадукту на крыніцы жаданай інфармацыі, а праграма сама паклапоціцца аб стварэнні мадэлі дадзеных, звязку табліц і таму падобных задачах.
Усё гэта павінна, перш за ўсё, забяспечыць "дэмакратызацыю" дадзеных, г.зн. любы чалавек можа займацца аналізам усяго масіва наяўнай у кампаніі інфармацыі. Працэс прыняцця рашэнняў павінен быць падмацаваны метадамі статыстычнага аналізу. Час доступу да дадзеных павінна быць мінімальным, так не спатрэбіцца пісаць скрыпты і SQL запыты. Ну і вядома, можна будзе зэканоміць на высокааплатных Data Science спецыялістах.
Гіпатэтычна тэхналогіі адчыняюць вельмі вясёлкавыя далягляды для бізнэсу.
Што замяняе Big Data
Але, уласна, пачаў я свой артыкул з Big Data. І развіць гэтую тэму я не мог без кароткага экскурсу ў сучасныя BI інструменты, базай для якіх часта і служыць Big Data. Лёс вялікіх дадзеных зараз выразна прадвызначаны, і гэта хмарныя тэхналогіі. Я акцэнтаваў увагу на здзелкі, здзейсненыя з BI вытворцамі з мэтай дэманстрацыі, што зараз кожная аналітычная сістэма мае пад сабой хмарнае захоўванне, а хмарныя сэрвісы маюць BI у якасці front end.
Не забываючы аб такіх слупах у сферы баз дадзеных як ORACLE і Microsoft неабходна адзначыць абранае імі кірунак развіцця бізнэсу і гэтае воблака. Усе прапанаваныя сэрвісы можна знайсці ў воблаку, але некаторыя хмарныя сэрвісы ўжо нельга атрымаць on-premise. Імі праведзена значная работа па выкарыстанні мадэлей машыннага навучання, створаны бібліятэкі даступныя карыстальнікам, настроены інтэрфейсы для зручнасці работы з мадэлямі ад яе выбару да ўстаноўкі часу старту.
Яшчэ адной важнай перавагай выкарыстання хмарных сэрвісаў, якое агучваецца вытворцамі, з'яўляецца наяўнасць практычна неабмежаваных дата сэтаў па любой тэматыцы, для трэніроўкі мадэляў.
Аднак узнікае пытанне, наколькі хмарныя тэхналогіі прыжывуцца ў нашай краіне?
Крыніца: habr.com