Көптеген шетелдік авторлар Big Data дәуірі аяқталды деген пікірде. Және бұл жағдайда Big Data термині Hadoop негізіндегі технологияларға қатысты. Көптеген авторлар тіпті Big Data бұл дүниені тастап кеткен күнді сенімді түрде атай алады және бұл күн 05.06.2019 ж.
Осы айтулы күні не болды?
Бұл күні MAPR одан әрі жұмыс істеуге қаражат таба алмаса, жұмысын тоқтатуға уәде берді. MAPR кейінірек HP компаниясы 2019 жылдың тамыз айында сатып алынды. Бірақ маусымға оралсақ, бұл кезеңнің үлкен деректер нарығы үшін трагедиясын атап өтуге болмайды. Осы айда нарықтағы жетекші ойыншы болып табылатын CLOUDERA акцияларының бағалары құлдырады, ол сол жылдың қаңтарында созылмалы пайдасыз HORTOWORKS-пен біріктірілді. Құлау айтарлықтай болды және 43% құрады, CLOUDERA-ның капиталдандыруы 4,1-ден 1,4 миллиард долларға дейін төмендеді.
Hadoop негізіндегі технологиялар саласындағы көпіршік туралы қауесет 2014 жылдың желтоқсан айынан бері тарады деп айтпау мүмкін емес, бірақ ол тағы бес жыл бойы батылдықпен сақталды. Бұл қауесеттер Google компаниясының Hadoop технологиясын ойлап табудан бас тартуына негізделген. Бірақ технология компаниялардың бұлтты өңдеу құралдарына көшуі және жасанды интеллекттің қарқынды дамуы кезінде тамыр алды. Сондықтан, өткенге көз жүгіртсек, өлім күтілген деп сеніммен айта аламыз.
Осылайша, Big Data дәуірі аяқталды, бірақ Big Data бойынша жұмыс істеу барысында компаниялар онымен жұмыс істеудің барлық нюанстарын, Big Data бизнеске әкелетін пайдасын түсінді, сонымен қатар жасанды деректерді пайдалануды үйренді. бастапқы деректерден мән алу үшін интеллект.
Бұл технологияны не алмастырады және аналитикалық технологиялар одан әрі қалай дамиды деген сұрақ қызықтырақ.
Толықтырылған аналитика
Сипатталған оқиғалар кезінде деректерді талдау саласында жұмыс істейтін компаниялар бір орында отырған жоқ. 2019 жылы болған транзакциялар туралы ақпарат негізінде нені бағалауға болады. Биыл нарықтағы ең ірі мәміле жүзеге асырылды – Salesforce компаниясының Tableau аналитикалық платформасын 15,7 млрд долларға сатып алуы. Google мен Looker арасында кішірек мәміле болды. Әрине, Qlik компаниясының Attunity үлкен деректер платформасын сатып алуын атап өтуге болмайды.
BI нарығының көшбасшылары мен Gartner сарапшылары деректерді талдау тәсілдерінің монументалды өзгерісі туралы хабарлайды. Бұл тұрғыда AI аббревиатурасы «Жасанды интеллект» емес, «Толықтырылған интеллект» екенін атап өткен жөн. «Толықтырылған аналитика» сөздерінің артында не жатқанын егжей-тегжейлі қарастырайық.
Толықтырылған нақтылық сияқты кеңейтілген аналитика бірнеше жалпы постулаттарға негізделген:
- NLP (Natural Language Processing) көмегімен қарым-қатынас жасау мүмкіндігі, яғни. адам тілінде;
- жасанды интеллектті пайдалану, бұл деректердің машиналық интеллектпен алдын ала өңделетінін білдіреді;
- және, әрине, жасанды интеллект арқылы жасалған жүйені пайдаланушыға қолжетімді ұсыныстар.
Аналитикалық платформаларды өндірушілердің айтуынша, оларды пайдалану SQL немесе ұқсас сценарий тілін білу сияқты арнайы дағдылары жоқ, статистикалық немесе математикалық дайындығы жоқ, танымал тілдерді білмейтін пайдаланушыларға қолжетімді болады. деректерді өңдеуге және сәйкес кітапханаларға маманданған. «Азаматтардың мәліметтерін зерттеушілер» деп аталатын мұндай адамдар тек керемет іскерлік біліктілікке ие болуы керек. Олардың міндеті - жасанды интеллект беретін кеңестер мен болжамдардан іскерлік түсініктерді алу және олар NLP көмегімен өз болжамдарын нақтылай алады.
Пайдаланушылардың осы кластағы жүйелермен жұмыс істеу процесін сипаттай отырып, келесі суретті елестетуге болады. Жұмысқа келіп, сәйкес қосымшаны іске қосатын адам стандартты тәсілдермен (сұрыптау, топтау, арифметикалық операцияларды орындау) талдауға болатын әдеттегі есептер мен бақылау тақталарынан басқа, белгілі бір кеңестер мен ұсыныстарды көреді, мысалы: KPI, сатылымдар санына қол жеткізу үшін сіз «Бағбандық» санатындағы өнімдерге жеңілдік қолдануыңыз керек. Сонымен қатар, адам корпоративтік мессенджерге хабарласа алады: Skype, Slack және т.б. Роботқа мәтін немесе дауыс арқылы сұрақтар қоя алады: «Маған ең тиімді бес клиентті беріңіз». Тиісті жауап алған ол өзінің іскерлік тәжірибесіне сүйене отырып, ең дұрыс шешім қабылдауы және компанияға пайда әкелуі керек.
Егер сіз кері қадам жасап, талданатын ақпараттың құрамына қарасаңыз және осы кезеңде кеңейтілген аналитика өнімдері адамдардың өмірін жеңілдете алады. Ең дұрысы, пайдаланушы аналитикалық өнімді қажетті ақпарат көздеріне бағыттауы керек, ал бағдарламаның өзі деректер моделін құру, кестелерді және ұқсас тапсырмаларды байланыстырумен айналысады деп болжанады.
Мұның бәрі, ең алдымен, деректерді «демократизациялауды» қамтамасыз етуі керек, яғни. Кез келген адам компанияға қол жетімді барлық ақпарат массивін талдай алады. Шешім қабылдау процесі статистикалық талдау әдістерімен қамтамасыз етілуі керек. Деректерге қол жеткізу уақыты минималды болуы керек, сондықтан сценарийлер мен SQL сұрауларын жазудың қажеті жоқ. Әрине, сіз жоғары ақы төленетін Data Science мамандарына ақша үнемдей аласыз.
Гипотетикалық тұрғыдан алғанда, технология бизнес үшін өте жарқын перспективалар ұсынады.
Үлкен деректерді не алмастырады?
Бірақ, шын мәнінде, мен мақаламды Үлкен деректерден бастадым. Мен бұл тақырыпты қазіргі заманғы BI құралдарына қысқаша экскурсиясыз дамыта алмадым, оның негізі көбінесе үлкен деректер болып табылады. Үлкен деректердің тағдыры қазір анық анықталды және бұл бұлтты технология. Мен қазір әрбір аналитикалық жүйенің артында бұлтты сақтау орны бар екенін және бұлттық қызметтерде BI интерфейсі бар екенін көрсету үшін BI жеткізушілерімен жасалған мәмілелерге назар аудардым.
ORACLE және Microsoft сияқты деректер базасы саласындағы осындай тіректерді ұмытпай, олардың бизнесті дамытудың таңдаған бағытын атап өту керек және бұл бұлт. Ұсынылған барлық қызметтерді бұлтта табуға болады, бірақ кейбір бұлттық қызметтер енді жергілікті жерде қолжетімді емес. Олар машиналық оқыту үлгілерін пайдалану бойынша маңызды жұмыс атқарды, пайдаланушыларға қолжетімді кітапханалар жасады және модельдерді таңдаудан бастап басталу уақытын орнатуға дейін жұмыс істеуге ыңғайлы болу үшін интерфейстерді конфигурациялады.
Өндірушілер айтқан бұлттық қызметтерді пайдаланудың тағы бір маңызды артықшылығы - оқыту үлгілері үшін кез келген тақырып бойынша дерлік шексіз деректер жиынының болуы.
Дегенмен, бұлтты технологиялар біздің елде қаншалықты кеңейеді деген сұрақ туындайды.
Ақпарат көзі: www.habr.com