Залез на ерата на Big Data

Множество чуждестранни автори се обединяват около мнението, че ерата на Big Data приключи. В този контекст под термина Big Data се подразбират технологии, основани на Hadoop. Много от авторите дори с увереност могат да посочат датата, когато Big Data напусна този свят, а именно – 05.06.2019.

Какво се случи в този значителен ден?

В този ден компанията MAPR обеща да спре своята дейност, ако не намери средства за продължаване на функционирането си. По-късно, през август 2019 г., MAPR беше придобит от компанията HP. Но връщайки се назад към юни, не може да не се отбележи трагизмът на този период за пазара на Big Data. През този месец настъпи крах на борсовите котировки на акцията на CLOUDERA – водещ играч на посочения пазар, който извърши сливане с хронично нерентабилния HORTOWORKS през януари на същата година. Крахът беше съществени и възлиза на 43%, в крайна сметка капитализацията на CLOUDERA спадна от 4,1 до 1,4 милиарда долара.

Невъзможно е да не споменем, че слуховете за надуване на балона в сферата на технологиите, базирани на Hadoop, циркулираха още от декември 2014 г., но той мъжествено се задържа още почти пет години. Тези слухове се основаваха на отказа на Google, компанията, в която възникна технологията Hadoop, от своето творение. Но технологията се утвърди по време на прехода на компаниите към облачни средства за обработка и бурното развитие на изкуствения интелект. Поради това, обръщайки поглед назад, можем с увереност да кажем, че смъртта беше очаквана.

Таким образом, эрa на Big Data приключи, но в процеса на работа със значителни данни компаниите осъзнаха всички нюанси на работата с тях, ползите, които Big Data може да донесе на бизнеса, както и научиха как да използват изкуствен интелект за извличане на стойност от суровите данни.

Все по-интересен става въпросът за това, какво ще дойде на мястото на тази технология и как ще се развиват технологиите за анализ в бъдеще.

Допълнена аналитика

По време на описваните събития компаниите, работещи в сферата на анализа на данни, не стояха на едно място. Това може да се съди от информацията за сделките, които се случиха през 2019 година. През текущата година беше реализирана най-голямата сделка на пазара – придобиването на аналитичната платформа Tableau от Salesforce за 15,7 милиарда долара. По-малка сделка стана между Google и Looker. И, разбира се, не може да не споменем придобиването на платформата за големи данни Attunity от Qlik.

Лидерите на пазара на BI и експертите от Gartner твърдят, че се случва грандиозен преход в подходите към анализа на данни; този преход напълно ще разруши пазара на BI и ще доведе до замяната му с AI. В този контекст е необходимо да се отбележи, че абревиатурата AI не означава „Artificial Intelligence“, а „Augmented Intelligence“. Нека да разгледаме по-подробно какво се крие зад термина „Допълнена аналитика“.

Допълнената аналитика, подобно на допълнената реалност, се основава на няколко общи постулата:

• възможността за комуникация с използването на NLP (Natural Language Processing), т.е. на човешки език;
• използването на изкуствен интелект; това означава, че данните ще бъдат предварително обработени от машинен интелект;
• и конечно, предложенията, достъпни за потребителя на системата, които са генерирани от изкуствения интелект.

Според мнението на производителите на аналитични платформи, тяхното използване ще бъде достъпно за потребители, които нямат специализирани умения, като знание по SQL или подобни скриптови езици; те не разполагат със статистическа или математическа подготовка и нямат знания в областта на популярните езици, специализирани в обработката на данни и съответните библиотеки. Такива хора, наречени „Citizen Data Scientist“, трябва да имат само отлична бизнес квалификация. Тяхната задача е да уловят бизнес инсайти от подсказките и прогнозите, които им предоставя изкуственият интелект, а да уточнят своите предположения, те ще могат, използвайки NLP.

Описвайки процеса на работа на потребителите с системи от този клас, можем да представим следната картина. Човек, идвайки на работа и стартирайки съответното приложение, освен познатия набор от отчети и табла за управление, които могат да се анализират по стандартни методи (сортиране, групиране, изпълнение на аритметични операции), вижда определени подсказки и препоръки, нещо от рода на: "За да постигнете KPI за количеството продажби, трябва да приложите отстъпка на продуктите от категорията 'Градинарство'". Освен това човек може да се обърне към корпоративния мессенджър: Skype, Slack и т.н. Може да зададе на робота въпроси, текстово или гласово: "Изведи ми петте най-печеливши клиенти". Получавайки съответния отговор, той трябва да вземе оптимално решение, основавайки се на своя опит в бизнеса и да донесе печалба на компанията.

Ако направим крачка назад и погледнем състава на анализираната информация, на тази фаза продуктите от клас добавена аналитика могат да улеснят живота на хората. В идеалния случай се предполага, че на потребителя ще е необходимо само да посочи на аналитичния продукт източниците на желаната информация, а програмата сама ще се погрижи за създаването на модел на данните, свързването на таблиците и подобни задачи.

Всичко това трябва, преди всичко, да осигури 'демократизация' на данните, т.е. всеки човек може да извършва анализ на целия масив от информация, с която разполага компанията. Процесът на вземане на решения трябва да бъде подкрепен от методи на статистически анализ. Времето за достъп до данните трябва да бъде минимално, така че не е необходимо да се пишат скриптове и SQL заявки. И разбира се, ще може да се спести от високо платени специалисти по Data Science.

Хипотетично, технологиите откриват доста розови перспективи за бизнеса.

Какво замества Big Data

Но, всъщност, започнах своята статия с Big Data. И не можех да развия тази тема без кратко отклонение към съвременните BI инструменти, основата на които, често, е Big Data. Судбата на големите данни вече е ясно предопределена и това са облачните технологии. Подчертал съм вниманието си върху транзакциите, извършени с BI производители с цел да демонстрирам, че сега всяка аналитична система има зад себе си облачно съхранение, а облачните услуги имат BI като front end.

Не забравяйте за такива стълбове в сферата на базите данни като ORACLE и Microsoft, като е необходимо да се подчертае избраното от тях направление за развитие на бизнеса и облака. Всички предлагани услуги могат да се намерят в облака, но някои облачни услуги вече не могат да се получат on-premise. Извършена е значителна работа по използването на модели на машинно обучение, създадени са библиотеки, достъпни за потребителите, и са настроени интерфейси за удобство на работа с моделите от избора им до времето за инсталиране.

Още едно важно предимство на използването на облачни услуги, което производителите посочват, е наличието на практически неограничени набори от данни по всяка тема за обучение на модели.

Но възниква въпросът, доколко облачните технологии ще се утвърдят в нашата страна?

Източник: habr.com