Багато іноземних авторів сходяться до того, що епоха Big Data добігла кінця. І в цьому випадку під терміном Big Data розуміються технології, що базуються на Hadoop. Багато авторів навіть можуть з упевненістю назвати дату, коли Big Data залишила цей світ і ця дата — 05.06.2019.
Що ж сталося цього знаменного дня?
Цього дня компанія MAPR обіцяла призупинити свою роботу, якщо не зможе знайти кошти для подальшого функціонування. Пізніше, у серпні 2019 року MAPR було придбано компанією HP. Але повертаючись до червня не можна не відзначити трагічність цього періоду для ринку Big Data. Цього місяця стався обвал біржових котирувань акцій компанії CLOUDERA – провідного гравця на позначеному ринку, яка здійснила злиття з хронічно неприбутковим HORTOWORKS у січні цього ж року. Обвал був дуже суттєвий і склав 43%, зрештою капіталізація CLOUDERA знизилася з 4,1 до 1,4 мільярда доларів.
Неможливо не сказати, що чутки про надування міхура у сфері технологій, що базуються на Hadoop, ходили ще з грудня 2014 року, але він мужньо протримався ще майже п'ять років. Чутки ці ґрунтувалися на відмови Google, компанії в якій зародилася технологія Hadoop, від свого винаходу. Але технологія, прижилася, на час переходу компаній до хмарних засобів обробки та бурхливого розвитку штучного інтелекту. Тому, обертаючись назад, можна з упевненістю сказати, що смерть була очікуваною.
Таким чином, ера Big Data добігла кінця, але в процесі роботи над великими даними компанії усвідомили всі нюанси роботи над ними, вигоди, які Big Data може принести бізнесу, а також навчилися користуватися штучним інтелектом для отримання цінності із сирих даних.
Тим цікавішим стає питання про те, що ж прийде на зміну цієї технології і як далі розвиватимуться технології аналітики.
Доповнена аналітика
Під час описуваних подій компанії, що працюють у сфері аналізу даних, не сиділи на місці. Про що можна судити, виходячи з інформації про угоди, що відбулися у 2019 році. У поточному році було здійснено найбільшу угоду ринку – придбання Salesforce аналітичної платформи Tableau за 15,7 млрд доларів. Менш велика угода відбулася між Google та Looker. І звичайно не можна не відзначити придбання компанією Qlik - біг дата платформи Attunity.
Лідери ринку BI та фахівці Gartner заявляють про грандіозний зсув у підходах до аналізу даних, це зрушення повністю зруйнує ринок BI і призведе до заміни BI на AI. У цьому контексті слід зазначити, що абревіатура AI це не «Artificial intelligence», а «Augmented Intelligence». Давайте розглянемо ближче, що ховається за словами «Доповнена аналітика».
Доповнена аналітика, як і доповнена реальність, базується на кількох загальних постулатах:
- можливістю спілкуватися з допомогою NLP (Natural Language Processing), тобто. людською мовою;
- використання штучного інтелекту, це означає, що дані будуть попередньо оброблені машинним інтелектом;
- і звичайно ж рекомендації, доступні користувачеві системи, які саме згенерував штучний інтелект.
На думку виробників аналітичних платформ, їх використання буде доступне для користувачів, що не мають спеціальних навичок, таких як знання SQL або подібної скриптової мови, які не мають статистичної або математичної підготовки, не мають знань у галузі популярних мов, що спеціалізуються на обробці даних та відповідних бібліотек. Такі люди, звані Citizen Data Scientist, повинні мати лише видатну бізнес кваліфікацію. Їхнє завдання – вловити бізнес-інсайти з підказок та прогнозів, які даватиме їм штучний інтелект, а уточнювати свої здогади вони зможуть, використовуючи NLP.
Описуючи процес роботи користувачів із системами такого класу можна уявити таку картину. Людина, приходячи на роботу і запускаючи відповідний додаток крім звичного набору звітів і дешбордів, які можна аналізувати стандартними підходами (сортування, угруповання, виконання арифметичних дій) бачить певні підказки та рекомендації, щось на кшталт: «Для того, щоб досягти KPI, за кількість продажів вам слід застосувати знижку на продукти категорії «Садівництво». Крім цього людина може звернутися до корпоративного месенджера: Skype, Slack і т.д. Може задати роботу питанням, текстом чи голосом: «Виведи мені п'ять найприбутковіших клієнтів». Отримавши відповідну відповідь, вона має прийняти оптимальне рішення, виходячи зі свого досвіду в бізнесі та принести компанії прибуток.
Якщо зробити крок назад, і поглянути на склад аналізованої інформації, і цьому етапі продукти класу доповненої аналітики можуть спростити життя людям. В ідеалі передбачається, що користувачеві потрібно лише вказати аналітичному продукту на джерела бажаної інформації, а програма сама подбає про створення моделі даних, зв'язування таблиць тощо.
Усе це має, передусім, забезпечити «демократизацію» даних, тобто. Будь-яка людина може займатися аналізом всього масиву інформації, що є у компанії. Процес прийняття рішень має бути підкріплений методами статистичного аналізу. Час доступу до даних має бути мінімальним, тому не потрібно писати скрипти та SQL запити. Ну і звичайно, можна буде заощадити на високооплачуваних фахівцях Data Science.
Гіпотетично технології відкривають дуже райдужні перспективи бізнесу.
Що замінює Big Data
Але, власне, я почав свою статтю з Big Data. І розвинути цю тему я не міг без короткого екскурсу в сучасні BI інструменти, базою для яких часто і є Big Data. Доля великих даних тепер чітко вирішена наперед, і це хмарні технології. Я акцентував увагу на угодах, здійснених з BI виробниками з метою демонстрації, що тепер кожна аналітична система має під собою хмарне зберігання, а хмарні сервіси мають BI як front end.
Не забуваючи про такі стовпи у сфері баз даних як ORACLE та Microsoft необхідно відзначити обраний ними напрямок розвитку бізнесу і цю хмару. Всі сервіси, що пропонуються, можна знайти в хмарі, але деякі хмарні сервіси вже не можна отримати on-premise. Ними зроблена значна робота з використання моделей машинного навчання, створені бібліотеки доступні користувачам, налаштовані інтерфейси для зручності роботи з моделями від її вибору до встановлення часу старту.
Ще однією важливою перевагою використання хмарних сервісів, що озвучується виробниками, є наявність практично необмежених дата сетів з будь-якої тематики для тренування моделей.
Проте, постає питання, наскільки хмарні технології приживуться в нашій країні?
Джерело: habr.com