Wielu zagranicznych autorów zgadza się, że era Big Data dobiegła końca. I w tym przypadku termin Big Data odnosi się do technologii opartych na Hadoop. Wielu autorów może nawet śmiało podać datę opuszczenia tego świata przez Big Data i jest to 05.06.2019.
Co wydarzyło się tego ważnego dnia?
Tego dnia MAPR obiecała wstrzymanie prac w przypadku braku środków na dalszą działalność. MAPR został później przejęty przez HP w sierpniu 2019 r. Wracając jednak do czerwca, nie można nie zauważyć tragedii tego okresu dla rynku Big Data. W tym miesiącu nastąpił spadek cen akcji czołowego gracza na rynku CLOUDERA, który w styczniu tego samego roku połączył się z chronicznie nierentownym HORTOWORKS. Załamanie było dość znaczne i wyniosło 43%, ostatecznie kapitalizacja CLOUDERA spadła z 4,1 do 1,4 miliarda dolarów.
Nie da się nie powiedzieć, że pogłoski o bańce na technologiach opartych na Hadoopie krążą od grudnia 2014 roku, ale dzielnie utrzymywały się przez kolejne niemal pięć lat. Plotki te opierały się na odmowie Google, firmy, z której wywodzi się technologia Hadoop, na jej wynalazek. Jednak technologia zakorzeniła się w okresie przechodzenia firm na narzędzia do przetwarzania w chmurze i szybkiego rozwoju sztucznej inteligencji. Dlatego patrząc wstecz, możemy z całą pewnością powiedzieć, że spodziewano się śmierci.
Tym samym era Big Data dobiegła końca, ale w procesie pracy nad Big Data firmy zdały sobie sprawę ze wszystkich niuansów pracy nad nim, korzyści, jakie Big Data może przynieść biznesowi, a także nauczyły się wykorzystywać sztuczne inteligencja pozwalająca wyodrębnić wartość z surowych danych.
Tym bardziej interesujące staje się pytanie, co zastąpi tę technologię i w jaki sposób technologie analityczne będą się dalej rozwijać.
Rozszerzona analityka
W czasie opisywanych wydarzeń firmy zajmujące się analizą danych nie spoczywały w miejscu. Co można ocenić na podstawie informacji o transakcjach, które miały miejsce w 2019 roku. W tym roku doszło do największej transakcji na rynku – przejęcia platformy analitycznej Tableau przez Salesforce za 15,7 miliarda dolarów. Doszło do mniejszej transakcji pomiędzy Google i Looker. I oczywiście nie można nie zauważyć przejęcia przez Qlik platformy big data Attunity.
Liderzy rynku BI i eksperci Gartnera zapowiadają monumentalną zmianę w podejściu do analizy danych, która całkowicie zniszczy rynek BI i doprowadzi do zastąpienia BI przez AI. W tym kontekście należy zauważyć, że skrót AI nie oznacza „sztuczna inteligencja”, ale „rozszerzona inteligencja”. Przyjrzyjmy się bliżej, co kryje się za słowami „rozszerzona analityka”.
Analityka rozszerzona, podobnie jak rzeczywistość rozszerzona, opiera się na kilku ogólnych postulatach:
- umiejętność komunikowania się z wykorzystaniem NLP (Natural Language Processing), tj. w języku ludzkim;
- wykorzystanie sztucznej inteligencji, co oznacza, że dane będą wstępnie przetworzone przez inteligencję maszynową;
- i oczywiście rekomendacje dostępne dla użytkownika systemu, które wygenerowała sztuczna inteligencja.
Zdaniem producentów platform analitycznych korzystanie z nich będzie możliwe dla użytkowników, którzy nie posiadają specjalnych umiejętności, takich jak znajomość SQL lub podobnego języka skryptowego, nie mają przeszkolenia statystycznego czy matematycznego, nie posiadają znajomości popularnych języków specjalizująca się w przetwarzaniu danych i odpowiednich bibliotekach. Osoby takie, zwane „Citizen Data Scientist”, muszą posiadać jedynie wybitne kwalifikacje biznesowe. Ich zadaniem jest wychwytywanie spostrzeżeń biznesowych na podstawie wskazówek i prognoz, jakie daje im sztuczna inteligencja, a następnie mogą udoskonalić swoje domysły za pomocą NLP.
Opisując proces pracy użytkowników z systemami tej klasy, można sobie wyobrazić następujący obraz. Osoba przychodząc do pracy i uruchamiając odpowiednią aplikację, oprócz zwykłego zestawu raportów i dashboardów, które można analizować przy użyciu standardowych podejść (sortowanie, grupowanie, wykonywanie operacji arytmetycznych), widzi pewne wskazówki i rekomendacje, coś w rodzaju: „W aby osiągnąć KPI, liczbę sprzedaży, należy zastosować rabat na produkty z kategorii „Ogrodnictwo”. Dodatkowo można skontaktować się z komunikatorem firmowym: Skype, Slack itp. Potrafi zadawać robotowi pytania za pomocą tekstu lub głosu: „Podaj pięciu najbardziej dochodowych klientów”. Po otrzymaniu właściwej odpowiedzi musi podjąć najlepszą decyzję bazując na swoim doświadczeniu biznesowym i przynieść firmie zysk.
Jeśli cofniesz się o krok i przyjrzysz się składowi analizowanych informacji, to na tym etapie produkty z rozszerzoną analityką mogą ułatwić ludziom życie. Idealnie zakłada się, że użytkownik będzie musiał jedynie wskazać produktowi analitycznemu źródła pożądanych informacji, a program sam zajmie się stworzeniem modelu danych, połączeniem tabel i podobnymi zadaniami.
Wszystko to powinno przede wszystkim zapewnić „demokratyzację” danych, tj. Każdy może przeanalizować cały szereg informacji, którymi dysponuje firma. Proces decyzyjny musi być wspierany metodami analizy statystycznej. Czas dostępu do danych powinien być minimalny, aby nie było konieczności pisania skryptów i zapytań SQL. I oczywiście możesz zaoszczędzić pieniądze na wysoko opłacanych specjalistach Data Science.
Hipotetycznie technologia oferuje bardzo jasne perspektywy dla biznesu.
Co zastępuje Big Data?
Ale tak naprawdę zacząłem swój artykuł od Big Data. A nie mógłbym rozwinąć tego tematu bez krótkiej wycieczki po nowoczesne narzędzia BI, których podstawą często jest Big Data. Los big data jest teraz jasno przesądzony, a jest nim technologia chmurowa. Skoncentrowałem się na transakcjach zawieranych z dostawcami BI, aby wykazać, że obecnie każdy system analityczny ma za sobą przechowywanie w chmurze, a usługi chmurowe mają BI jako frontend.
Nie zapominając o takich filarach w obszarze baz danych jak ORACLE i Microsoft, należy zwrócić uwagę na obrany przez nich kierunek rozwoju biznesu, a jest nim chmura. Wszystkie oferowane usługi można znaleźć w chmurze, ale niektóre usługi w chmurze nie są już dostępne lokalnie. Wykonali znaczną pracę nad wykorzystaniem modeli uczenia maszynowego, stworzyli biblioteki dostępne dla użytkowników i skonfigurowali interfejsy ułatwiające pracę z modelami od ich wybrania po ustawienie czasu rozpoczęcia.
Kolejną ważną zaletą korzystania z usług chmurowych, na którą zwracają uwagę producenci, jest dostępność niemal nieograniczonych zbiorów danych na dowolny temat do modeli szkoleniowych.
Powstaje jednak pytanie: jak daleko technologie chmurowe zakorzenią się w naszym kraju?
Źródło: www.habr.com