Moitos autores estranxeiros coinciden en que a era do Big Data chegou ao seu fin. E neste caso, o termo Big Data refírese a tecnoloxías baseadas en Hadoop. Moitos autores poden incluso indicar con confianza a data na que Big Data deixou este mundo e esta data é o 05.06.2019/XNUMX/XNUMX.
Que pasou neste día significativo?
Neste día, MAPR comprometeuse a suspender o seu traballo se non atopa fondos para seguir operando. MAPR foi posteriormente adquirido por HP en agosto de 2019. Pero volvendo a xuño, non se pode deixar de constatar a traxedia deste período para o mercado do Big Data. Este mes produciuse un colapso das cotizacións das accións de CLOUDERA, un dos principais actores do mercado, que se fusionou coa crónica pouco rendible HORTOWORKS en xaneiro do mesmo ano. O colapso foi bastante importante e ascendeu ao 43%; finalmente, a capitalización de CLOUDERA diminuíu de 4,1 a 1,4 millóns de dólares.
É imposible non dicir que os rumores dunha burbulla no campo das tecnoloxías baseadas en Hadoop están a circular desde decembro de 2014, pero aguantou con valentía case cinco anos máis. Estes rumores baseáronse na negativa de Google, a empresa onde se orixinou a tecnoloxía Hadoop, ao seu invento. Pero a tecnoloxía arraigou durante a transición das empresas ás ferramentas de procesamento na nube e o rápido desenvolvemento da intelixencia artificial. Por iso, mirando cara atrás, podemos dicir con seguridade que a morte era esperada.
Así, a era do Big Data chegou ao seu fin, pero no proceso de traballo sobre o Big Data, as empresas decatáronse de todos os matices de traballar nel, dos beneficios que o Big Data pode aportar ao negocio, e tamén aprenderon a utilizar o artificial. intelixencia para extraer valor dos datos brutos.
Canto máis interesante se fai a pregunta de que substituirá esta tecnoloxía e como se desenvolverán aínda máis as tecnoloxías analíticas.
Analítica aumentada
Durante os actos descritos, as empresas que traballan no ámbito da análise de datos non quedaron quietas. Que se pode xulgar en función da información sobre as transaccións que se produciron en 2019. Este ano levouse a cabo a maior transacción do mercado: a adquisición da plataforma analítica Tableau por parte de Salesforce por 15,7 millóns de dólares. Produciuse un acordo menor entre Google e Looker. E por suposto, non se pode deixar de notar a adquisición por parte de Qlik da plataforma de big data Attunity.
Os líderes do mercado de BI e os expertos de Gartner anuncian un cambio monumental nos enfoques da análise de datos; este cambio destruirá completamente o mercado de BI e levará á substitución da BI pola IA. Neste contexto, hai que sinalar que a abreviatura AI non é "intelixencia artificial" senón "intelixencia aumentada". Vexamos máis de cerca o que hai detrás das palabras "Analítica aumentada".
A analítica aumentada, como a realidade aumentada, baséase en varios postulados xerais:
- a capacidade de comunicarse mediante a PNL (Natural Language Processing), é dicir. en linguaxe humana;
- o uso da intelixencia artificial, isto significa que os datos serán preprocesados pola intelixencia de máquinas;
- e por suposto, recomendacións dispoñibles para o usuario do sistema, que foron xeradas pola intelixencia artificial.
Segundo os fabricantes de plataformas analíticas, o seu uso estará dispoñible para usuarios que non teñan habilidades especiais, como coñecementos de SQL ou unha linguaxe de script similar, que non teñan formación estatística ou matemática, que non teñan coñecementos de linguaxes populares. especializada en tratamento de datos e bibliotecas correspondentes. Esas persoas, chamadas "Citizen Data Scientists", só deben ter unhas cualificacións empresariais destacadas. A súa tarefa é captar coñecementos comerciais a partir dos consellos e previsións que lles dará a intelixencia artificial, e poden mellorar as súas suposicións usando a PNL.
Describindo o proceso dos usuarios que traballan con sistemas desta clase, pódese imaxinar a seguinte imaxe. Unha persoa, que chega ao traballo e inicia a aplicación correspondente, ademais do conxunto habitual de informes e paneis que se poden analizar mediante enfoques estándar (ordenar, agrupar, realizar operacións aritméticas), ve certos consellos e recomendacións, algo así como: “En para acadar o KPI, número de vendas, debes aplicar un desconto nos produtos da categoría "Xardinería". Ademais, unha persoa pode contactar cun mensaxeiro corporativo: Skype, Slack, etc. Pode facer preguntas ao robot, por texto ou por voz: "Dáme os cinco clientes máis rendibles". Unha vez recibida a resposta axeitada, debe tomar a mellor decisión en función da súa experiencia empresarial e obter beneficios para a empresa.
Se dás un paso atrás e miras a composición da información que se está a analizar e, nesta fase, os produtos de análise aumentada poden facilitar a vida das persoas. Idealmente, suponse que o usuario só precisará apuntar o produto analítico ás fontes da información desexada, e o propio programa encargarase de crear un modelo de datos, vincular táboas e tarefas similares.
Todo isto debería, en primeiro lugar, garantir a "democratización" dos datos, é dicir. Calquera persoa pode analizar toda a información dispoñible para a empresa. O proceso de toma de decisións debe apoiarse en métodos de análise estatística. O tempo de acceso aos datos debe ser mínimo, polo que non hai necesidade de escribir scripts nin consultas SQL. E, por suposto, podes aforrar cartos en especialistas en Data Science altamente remunerados.
Hipotéticamente, a tecnoloxía ofrece perspectivas moi brillantes para os negocios.
Que está a substituír o Big Data?
Pero, de feito, comecei o meu artigo con Big Data. E non podería desenvolver este tema sen unha breve excursión ás ferramentas modernas de BI, cuxa base adoita ser o Big Data. O destino do big data está agora claramente determinado, e é a tecnoloxía na nube. Centreime nas transaccións feitas con provedores de BI para demostrar que agora todos os sistemas analíticos teñen almacenamento na nube detrás e os servizos na nube teñen a BI como front-end.
Sen esquecernos de piares tales no ámbito das bases de datos como ORACLE e Microsoft, hai que sinalar a dirección escollida para o desenvolvemento do negocio e esta é a nube. Todos os servizos ofrecidos pódense atopar na nube, pero algúns servizos na nube xa non están dispoñibles en instalacións. Fixeron un traballo significativo sobre o uso de modelos de aprendizaxe automática, crearon bibliotecas dispoñibles para os usuarios e configuraron interfaces para facilitar o traballo con modelos desde a súa selección ata a configuración da hora de inicio.
Outra vantaxe importante do uso de servizos na nube, que son expresadas polos fabricantes, é a dispoñibilidade de conxuntos de datos case ilimitados sobre calquera tema para os modelos de adestramento.
Non obstante, xorde a pregunta: ata onde se arraigan as tecnoloxías na nube no noso país?
Fonte: www.habr.com