빅데이터 시대의 쇠퇴

많은 외국 저자들은 빅데이터 시대가 끝났다는 데 동의한다. 그리고 여기서 빅데이터라는 용어는 Hadoop 기반의 기술을 의미합니다. 많은 저자들은 빅 데이터가 이 세상을 떠난 날짜를 자신있게 말할 수 있으며 이 날짜는 05.06.2019년 XNUMX월 XNUMX일입니다.

이 중요한 날에 무슨 일이 일어났나요?

이날 MAPR은 추가 운영을 위한 자금을 확보하지 못할 경우 업무를 중단하겠다고 약속했습니다. MAPR은 이후 2019년 43월 HP에 인수되었습니다. 그러나 4,1월로 돌아가면 빅데이터 시장에서 이 시기의 비극을 주목하지 않을 수 없다. 이번 달에는 시장 선두주자인 CLOUDERA의 주가가 폭락했고, 같은 해 1,4월 만성적으로 수익성이 없는 HORTOWORKS와 합병되었습니다. 붕괴는 상당히 심각하여 XNUMX%에 이르렀으며, 궁극적으로 CLOUDERA의 자본금은 XNUMX억 달러에서 XNUMX억 달러로 감소했습니다.

2014년 XNUMX월부터 하둡 기반 기술 분야에서 버블설이 돌았다고 해도 과언이 아닌데, 그 소문은 XNUMX년 가까이 씩씩하게 버텼다. 이런 소문은 하둡 기술의 모태인 구글이 하둡 발명을 거부한데서 비롯됐다. 하지만 이 기술은 기업이 클라우드 처리 도구로 전환하고 인공지능이 급속히 발전하는 과정에서 뿌리를 내리게 되었습니다. 그러므로 돌이켜 보면 죽음이 예상되었다고 자신있게 말할 수 있습니다.

이로써 빅데이터 시대는 끝났지만, 빅데이터를 작업하는 과정에서 기업은 빅데이터 작업의 모든 뉘앙스와 빅데이터가 비즈니스에 가져올 수 있는 이점을 깨닫고 인공지능을 활용하는 방법도 배웠습니다. 원시 데이터에서 가치를 추출하는 인텔리전스.

이 기술을 대체할 것이 무엇인지, 분석 기술이 어떻게 더 발전할 것인지에 대한 질문이 더욱 흥미로워집니다.

증강 분석

설명된 이벤트 동안 데이터 분석 분야에서 일하는 회사들은 가만히 앉아 있지 않았습니다. 2019년에 발생한 거래정보를 토대로 판단할 수 있는 것. 올해에는 Salesforce가 분석 플랫폼 Tableau를 15,7억 달러에 인수하는 시장 최대 규모의 거래가 이루어졌습니다. Google과 Looker 사이에 소규모 거래가 발생했습니다. 물론 Qlik이 빅 데이터 플랫폼 Attunity를 인수했다는 사실도 빼놓을 수 없습니다.

BI 시장 리더들과 Gartner 전문가들은 데이터 분석 접근 방식의 획기적인 변화를 발표했습니다. 이러한 변화는 BI 시장을 완전히 파괴하고 BI를 AI로 대체하게 될 것입니다. 이런 맥락에서 AI의 약어는 '인공지능(Artificial Intelligence)'이 아니라 '증강지능(Augmented Intelligence)'이라는 점에 주목해야 한다. 증강 분석(Augmented Analytics)이라는 단어 뒤에 숨어 있는 내용을 자세히 살펴보겠습니다.

증강 현실과 같은 증강 분석은 다음과 같은 몇 가지 일반적인 가정을 기반으로 합니다.

• NLP(자연어 처리)를 사용하여 의사소통하는 능력, 즉 인간의 언어로;
• 인공 지능을 사용한다는 것은 데이터가 기계 지능에 의해 사전 처리된다는 것을 의미합니다.
• 물론 인공 지능에 의해 생성된 권장 사항도 시스템 사용자에게 제공됩니다.

분석 플랫폼 제조업체에 따르면 SQL 또는 유사한 스크립팅 언어에 대한 지식과 같은 특별한 기술이 없는 사용자, 통계 또는 수학적 교육을 받지 않은 사용자, 대중 언어에 대한 지식이 없는 사용자가 분석 플랫폼을 사용할 수 있습니다. 데이터 처리 및 해당 라이브러리를 전문으로 합니다. "시민 데이터 과학자"라고 불리는 이러한 사람들은 뛰어난 비즈니스 자격을 갖추어야 합니다. 이들의 임무는 인공 지능이 제공하는 팁과 예측에서 비즈니스 통찰력을 포착하고 NLP를 사용하여 추측을 구체화할 수 있는 것입니다.

이 클래스의 시스템으로 작업하는 사용자의 프로세스를 설명하면 다음 그림을 상상할 수 있습니다. 직장에 와서 해당 애플리케이션을 실행하는 사람은 표준 접근 방식(정렬, 그룹화, 산술 연산 수행)을 사용하여 분석할 수 있는 일반적인 보고서 및 대시보드 세트 외에도 다음과 같은 특정 팁과 권장 사항을 볼 수 있습니다. KPI, 판매량을 달성하려면 "원예" 카테고리의 제품에 할인을 적용해야 합니다." 또한 개인은 Skype, Slack 등 기업 메신저에 연락할 수 있습니다. 문자나 음성으로 로봇에게 질문할 수 있습니다. "가장 수익성이 높은 고객 5명을 알려주세요." 적절한 답변을 받은 그는 자신의 사업 경험을 바탕으로 최선의 결정을 내려 회사에 이익을 가져다 주어야 합니다.

한발 물러서서 분석되는 정보의 구성을 살펴보면, 이 단계에서 증강분석 제품은 사람들의 삶을 더욱 편리하게 만들어 줄 수 있습니다. 이상적으로는 사용자가 원하는 정보의 소스를 분석 제품으로 가리키기만 하면 되며 프로그램 자체가 데이터 모델 생성, 테이블 연결 및 유사한 작업을 처리한다고 가정합니다.

이 모든 것은 무엇보다도 먼저 데이터의 "민주화"를 보장해야 합니다. 누구나 회사에서 이용할 수 있는 전체 정보를 분석할 수 있습니다. 의사결정 과정은 통계 분석 방법으로 뒷받침되어야 합니다. 데이터 액세스 시간이 최소화되어야 하므로 스크립트 및 SQL 쿼리를 작성할 필요가 없습니다. 물론 고액의 데이터 과학 전문가를 고용하면 비용을 절약할 수 있습니다.

가정적으로 기술은 비즈니스에 매우 밝은 전망을 제공합니다.

빅데이터를 대체하는 것은 무엇인가?

하지만 사실 나는 빅데이터로 글을 시작했다. 그리고 빅 데이터의 기반이 되는 최신 BI 도구를 간략하게 살펴보지 않고서는 이 주제를 개발할 수 없었습니다. 이제 빅데이터의 운명은 확실하게 결정됐는데, 바로 클라우드 기술이다. 저는 이제 모든 분석 시스템 뒤에 클라우드 스토리지가 있고 클라우드 서비스에는 BI가 프런트 엔드로 있다는 것을 보여주기 위해 BI 공급업체와의 거래에 중점을 두었습니다.

ORACLE 및 Microsoft와 같은 데이터베이스 분야의 기둥을 잊지 말고 그들이 선택한 비즈니스 개발 방향에 주목할 필요가 있으며 이것이 바로 클라우드입니다. 제공되는 모든 서비스는 클라우드에서 찾을 수 있지만 일부 클라우드 서비스는 더 이상 온프레미스에서 사용할 수 없습니다. 그들은 기계 학습 모델 사용에 대해 상당한 작업을 수행했으며, 사용자가 사용할 수 있는 라이브러리를 생성하고, 모델 선택부터 시작 시간 설정까지 모델 작업을 쉽게 할 수 있도록 인터페이스를 구성했습니다.

제조업체가 주장하는 클라우드 서비스 사용의 또 다른 중요한 이점은 모델 교육을 위해 모든 주제에 대해 거의 무제한의 데이터 세트를 사용할 수 있다는 것입니다.

그러나 질문이 생깁니다. 클라우드 기술이 우리나라에 얼마나 뿌리를 내릴 수 있을까요?

출처 : habr.com