Много чуждестранни автори са съгласни, че ерата на Big Data е към своя край. И в този случай терминът Big Data се отнася до технологии, базирани на Hadoop. Много автори дори могат уверено да назоват датата, когато Big Data напусна този свят и тази дата е 05.06.2019 г.
Какво се случи в този знаменателен ден?
На този ден MAPR обеща да спре работата си, ако не намери средства за по-нататъшна работа. MAPR по-късно беше придобит от HP през август 2019 г. Но връщайки се към юни, няма как да не отбележим трагедията на този период за пазара на Big Data. Този месец отбелязахме срив в цените на акциите на CLOUDERA, водещ играч на пазара, който се сля с хронично нерентабилната HORTOWORKS през януари същата година. Сривът беше доста значителен и възлизаше на 43%; в крайна сметка капитализацията на CLOUDERA намаля от 4,1 на 1,4 милиарда долара.
Невъзможно е да не се каже, че слуховете за балон в областта на Hadoop-базираните технологии се носят от декември 2014 г., но той смело се задържа още почти пет години. Тези слухове се основават на отказа на Google, компанията, от която произлиза технологията Hadoop, от нейното изобретение. Но технологията пусна корени по време на прехода на компаниите към инструменти за обработка на облаци и бързото развитие на изкуствения интелект. Следователно, поглеждайки назад, можем да кажем с увереност, че смъртта беше очаквана.
По този начин ерата на Big Data приключи, но в процеса на работа с Big Data компаниите осъзнаха всички нюанси на работа върху тях, ползите, които Big Data могат да донесат на бизнеса, а също така се научиха да използват изкуствени интелигентност за извличане на стойност от необработените данни.
Колкото по-интересен става въпросът какво ще замени тази технология и как аналитичните технологии ще се развиват по-нататък.
Разширен анализ
По време на описаните събития компаниите, работещи в областта на анализа на данни, не седяха неподвижни. Какво може да се прецени въз основа на информация за транзакции, извършени през 2019 г. Тази година беше осъществена най-голямата сделка на пазара - придобиването на аналитичната платформа Tableau от Salesforce за 15,7 милиарда долара. По-малка сделка се случи между Google и Looker. И разбира се, не може да не се отбележи придобиването от Qlik на платформата за големи данни Attunity.
Лидерите на BI пазара и експертите на Gartner обявяват монументална промяна в подходите към анализа на данни; тази промяна ще унищожи напълно BI пазара и ще доведе до замяната на BI с AI. В този контекст трябва да се отбележи, че съкращението AI не е „Artificial intelligence“, а „Augmented Intelligence“. Нека да разгледаме по-подробно какво се крие зад думите „Augmented Analytics“.
Разширеният анализ, подобно на разширената реалност, се основава на няколко общи постулата:
- способността да общувате с помощта на NLP (Natural Language Processing), т.е. на човешки език;
- използването на изкуствен интелект, това означава, че данните ще бъдат предварително обработени от машинен интелект;
- и разбира се, препоръки, достъпни за потребителя на системата, които са генерирани от изкуствен интелект.
Според производителите на аналитични платформи използването им ще бъде достъпно за потребители, които нямат специални умения, като познаване на SQL или подобен скриптов език, които нямат статистическо или математическо обучение, които нямат познания по популярни езици специализиране на обработка на данни и съответните библиотеки. Такива хора, наречени „Citizen Data Scientists“, трябва да имат само изключителни бизнес квалификации. Тяхната задача е да уловят бизнес прозрения от съветите и прогнозите, които изкуственият интелект ще им даде, и те могат да прецизират предположенията си с помощта на НЛП.
Описвайки процеса на работа на потребителите със системи от този клас, можете да си представите следната картина. Човек, който идва на работа и стартира съответното приложение, в допълнение към обичайния набор от отчети и табла за управление, които могат да бъдат анализирани чрез стандартни подходи (сортиране, групиране, извършване на аритметични операции), вижда определени съвети и препоръки, нещо като: „В за да постигнете KPI, брой продажби, трябва да приложите отстъпка за продукти от категория „Градинарство“. Освен това човек може да се свърже с корпоративен месинджър: Skype, Slack и др. Може да задава въпроси на робота чрез текст или глас: „Дайте ми петте най-печеливши клиенти.“ След като получи правилния отговор, той трябва да вземе най-доброто решение въз основа на своя бизнес опит и да донесе печалба на компанията.
Ако направите крачка назад и погледнете състава на информацията, която се анализира, и на този етап продуктите за разширен анализ могат да улеснят живота на хората. В идеалния случай се предполага, че потребителят ще трябва само да насочи аналитичния продукт към източниците на желаната информация, а самата програма ще се погрижи за създаването на модел на данни, свързването на таблици и подобни задачи.
Всичко това трябва преди всичко да осигури „демократизирането“ на данните, т.е. Всеки може да анализира целия масив от информация, с която разполага компанията. Процесът на вземане на решения трябва да бъде подкрепен от методи за статистически анализ. Времето за достъп до данни трябва да бъде минимално, така че няма нужда да пишете скриптове и SQL заявки. И разбира се, можете да спестите пари от високоплатени специалисти по Data Science.
Хипотетично технологията предлага много добри перспективи за бизнеса.
Какво замества Big Data?
Но всъщност започнах статията си с Big Data. И не бих могъл да развия тази тема без кратка екскурзия в съвременните BI инструменти, основата за които често са Big Data. Съдбата на големите данни вече е ясно определена и това е облачната технология. Фокусирах се върху транзакции, направени с доставчици на BI, за да покажа, че сега всяка аналитична система има облачно хранилище зад себе си, а облачните услуги имат BI като преден край.
Без да забравяме за такива стълбове в областта на базите данни като ORACLE и Microsoft, трябва да отбележим избраната от тях посока на развитие на бизнеса и това е облакът. Всички предлагани услуги могат да бъдат намерени в облака, но някои облачни услуги вече не са налични локално. Те свършиха значителна работа по използването на модели за машинно обучение, създадоха библиотеки, достъпни за потребителите, и конфигурираха интерфейси за улесняване на работата с модели от избирането им до настройването на началния час.
Друго важно предимство на използването на облачни услуги, което се изразява от производителите, е наличието на почти неограничени набори от данни по всяка тема за модели за обучение.
Възниква обаче въпросът докъде ще се вкоренят облачните технологии у нас?
Източник: www.habr.com