Muitos autores estrangeiros concordam que a era do Big Data chegou ao fim. E neste caso, o termo Big Data refere-se a tecnologias baseadas em Hadoop. Muitos autores podem até nomear com segurança a data em que o Big Data deixou este mundo e esta data é 05.06.2019/XNUMX/XNUMX.
O que aconteceu neste dia significativo?
Neste dia, o MAPR prometeu suspender os seus trabalhos caso não conseguisse fundos para continuar o funcionamento. A MAPR foi posteriormente adquirida pela HP em agosto de 2019. Mas voltando a junho, não se pode deixar de notar a tragédia deste período para o mercado de Big Data. Este mês assistiu-se a um colapso nos preços das ações da CLOUDERA, um player líder no mercado, que se fundiu com a cronicamente não lucrativa HORTOWORKS em janeiro do mesmo ano. O colapso foi bastante significativo e ascendeu a 43%; em última análise, a capitalização da CLOUDERA diminuiu de 4,1 para 1,4 mil milhões de dólares.
É impossível não dizer que rumores de uma bolha no campo das tecnologias baseadas em Hadoop circulam desde dezembro de 2014, mas ela resistiu corajosamente por quase mais cinco anos. Esses rumores foram baseados na recusa do Google, empresa onde se originou a tecnologia Hadoop, de sua invenção. Mas a tecnologia criou raízes durante a transição das empresas para ferramentas de processamento em nuvem e no rápido desenvolvimento da inteligência artificial. Portanto, olhando para trás, podemos afirmar com segurança que a morte era esperada.
Assim, a era do Big Data chegou ao fim, mas no processo de trabalhar o Big Data, as empresas perceberam todas as nuances de trabalhar nele, os benefícios que o Big Data pode trazer para os negócios, e também aprenderam a usar recursos artificiais. inteligência para extrair valor de dados brutos.
Mais interessante se torna a questão de saber o que substituirá esta tecnologia e como as tecnologias analíticas se desenvolverão ainda mais.
Análise Aumentada
Durante os eventos descritos, as empresas que atuam na área de análise de dados não ficaram paradas. O que pode ser julgado com base em informações sobre transações ocorridas em 2019. Este ano foi realizada a maior transação do mercado - a aquisição da plataforma analítica Tableau pela Salesforce por US$ 15,7 bilhões. Um acordo menor ocorreu entre o Google e o Looker. E claro, não se pode deixar de notar a aquisição pela Qlik da plataforma de big data Attunity.
Os líderes do mercado de BI e os especialistas do Gartner estão anunciando uma mudança monumental nas abordagens à análise de dados; esta mudança destruirá completamente o mercado de BI e levará à substituição do BI pela IA. Neste contexto, importa referir que a abreviatura AI não é “Inteligência Artificial” mas sim “Inteligência Aumentada”. Vamos dar uma olhada mais de perto no que está por trás das palavras “Augmented Analytics”.
A análise aumentada, assim como a realidade aumentada, é baseada em vários postulados gerais:
- a capacidade de se comunicar usando PNL (Processamento de Linguagem Natural), ou seja, em linguagem humana;
- o uso de inteligência artificial, isso significa que os dados serão pré-processados por inteligência de máquina;
- e claro, recomendações à disposição do usuário do sistema, que foram geradas por inteligência artificial.
Segundo os fabricantes de plataformas analíticas, a sua utilização estará disponível para utilizadores que não possuam competências especiais, como conhecimentos de SQL ou linguagem de script semelhante, que não possuam formação estatística ou matemática, que não possuam conhecimentos de linguagens populares especializada em processamento de dados e bibliotecas correspondentes. Essas pessoas, chamadas de “Cientistas de Dados Cidadãos”, devem ter apenas qualificações empresariais excepcionais. Sua tarefa é capturar insights de negócios a partir das dicas e previsões que a inteligência artificial lhes dará, e eles podem refinar suas suposições usando a PNL.
Descrevendo o processo de usuários que trabalham com sistemas desta classe, pode-se imaginar a seguinte imagem. Uma pessoa, chegando ao trabalho e lançando o aplicativo correspondente, além do habitual conjunto de relatórios e dashboards que podem ser analisados através de abordagens padrão (classificação, agrupamento, realização de operações aritméticas), vê algumas dicas e recomendações, algo como: “Em para atingir o KPI, número de vendas, você deve aplicar desconto nos produtos da categoria “Jardinagem”. Além disso, uma pessoa pode entrar em contato com um mensageiro corporativo: Skype, Slack, etc. Pode fazer perguntas ao robô, por texto ou voz: “Dê-me os cinco clientes mais lucrativos”. Tendo recebido a resposta adequada, ele deve tomar a melhor decisão com base em sua experiência empresarial e trazer lucro para a empresa.
Se você der um passo atrás e observar a composição das informações que estão sendo analisadas, e nesta fase, os produtos de análise aumentada podem facilitar a vida das pessoas. Idealmente, presume-se que o usuário precisará apenas apontar o produto analítico para as fontes das informações desejadas, e o próprio programa se encarregará de criar um modelo de dados, vincular tabelas e tarefas semelhantes.
Tudo isto deverá, antes de mais, garantir a “democratização” dos dados, ou seja, a Qualquer pessoa pode analisar todo o conjunto de informações à disposição da empresa. O processo de tomada de decisão deve ser apoiado por métodos de análise estatística. O tempo de acesso aos dados deve ser mínimo, portanto não há necessidade de escrever scripts e consultas SQL. E, claro, você pode economizar dinheiro com especialistas em ciência de dados bem pagos.
Hipoteticamente, a tecnologia oferece perspectivas muito brilhantes para os negócios.
O que está substituindo o Big Data?
Mas, na verdade, comecei meu artigo com Big Data. E eu não poderia desenvolver este tópico sem uma breve excursão pelas ferramentas modernas de BI, cuja base geralmente é o Big Data. O destino do big data está agora claramente determinado e trata-se da tecnologia em nuvem. Concentrei-me em acordos feitos com fornecedores de BI para demonstrar que agora todo sistema analítico tem armazenamento em nuvem por trás dele, e os serviços em nuvem têm BI como front-end.
Não esquecendo de pilares na área de bancos de dados como ORACLE e Microsoft, é necessário destacar a direção escolhida para o desenvolvimento de negócios e esta é a nuvem. Todos os serviços oferecidos podem ser encontrados na nuvem, mas alguns serviços em nuvem não estão mais disponíveis no local. Eles fizeram um trabalho significativo no uso de modelos de aprendizado de máquina, criaram bibliotecas disponíveis para os usuários e configuraram interfaces para facilitar o trabalho com modelos, desde sua seleção até a definição do horário de início.
Outra vantagem importante da utilização de serviços em nuvem, anunciada pelos fabricantes, é a disponibilidade de conjuntos de dados quase ilimitados sobre qualquer tema para modelos de treinamento.
No entanto, surge a questão: até que ponto as tecnologias de nuvem se enraizarão no nosso país?
Fonte: habr.com