Muitos autores estrangeiros concordam que a era do Big Data chegou ao fim. Neste caso, o termo Big Data refere-se a tecnologias baseadas em Hadoop. Muitos autores até podem afirmar com confiança a data em que o Big Data deixou este mundo: 05.06.2019.
O que aconteceu nesse dia marcante?
Nesse dia, a empresa MAPR prometeu interromper suas operações se não conseguisse encontrar recursos para continuar funcionando. Posteriormente, em agosto de 2019, a MAPR foi adquirida pela HP. Mas voltando a junho, não se pode deixar de notar a tragédia desse período para o mercado de Big Data. Nesse mês, ocorreu um colapso nas cotações das ações da CLOUDERA – um dos principais players do mercado, que se fundiu com a HORTOWORKS, uma empresa cronicamente deficitária, em janeiro daquele ano. O colapso foi bastante significativo, totalizando 43%, fazendo com que a capitalização da CLOUDERA caísse de 4,1 para 1,4 bilhões de dólares.
É impossível não mencionar que rumores sobre a inflação de um bolha no setor de tecnologias baseadas em Hadoop circulavam desde dezembro de 2014, mas ela resistiu bravamente por quase cinco anos. Esses rumores baseavam-se na desistência do Google, a empresa onde a tecnologia Hadoop nasceu, em relação à sua invenção. No entanto, a tecnologia se estabeleceu durante a transição das empresas para soluções de processamento em nuvem e o rápido desenvolvimento da inteligência artificial. Portanto, ao olhar para trás, pode-se afirmar com segurança que a morte era esperada.
Assim, a era do Big Data chegou ao fim, mas, ao trabalhar com grandes dados, as empresas perceberam todas as nuances de manipulação desses dados, os benefícios que o Big Data pode trazer para os negócios e aprenderam a usar a inteligência artificial para extrair valor dos dados brutos.
Por isso, a questão do que sucederá essa tecnologia e como as tecnologias de análise evoluirão a partir daqui se torna ainda mais interessante.
Análise aprimorada
Durante os eventos descritos, as empresas que atuam na análise de dados não ficaram paradas. Isso pode ser constatado com base nas informações sobre as transações ocorridas em 2019. Neste ano, a maior negociação do mercado foi a aquisição da plataforma analítica Tableau pela Salesforce por 15,7 bilhões de dólares. Uma negociação menor aconteceu entre o Google e o Looker. E, claro, não podemos deixar de mencionar a aquisição da plataforma de big data Attunity pela Qlik.
Os líderes de mercado de BI e especialistas da Gartner falam sobre uma grande mudança nas abordagens de análise de dados, uma mudança que vai destruir completamente o mercado de BI e levar à substituição do BI por IA. Nesse contexto, é importante ressaltar que a sigla IA não representa "Inteligência Artificial", mas sim "Inteligência Aumentada". Vamos analisar mais de perto o que se esconde por trás das palavras "Análise Aumentada".
A Análise Aumentada, assim como a realidade aumentada, baseia-se em alguns postulados comuns:
- a capacidade de se comunicar usando NLP (Processamento de Linguagem Natural), ou seja, em linguagem humana;
- o uso de inteligência artificial, o que significa que os dados serão processados previamente pela inteligência das máquinas;
- e, claro, as recomendações disponíveis para o usuário do sistema, geradas pela inteligência artificial.
Na opinião dos fabricantes de plataformas analíticas, seu uso será acessível para usuários que não possuem habilidades especializadas, como o conhecimento de SQL ou de linguagens de script semelhantes, que não têm formação estatística ou matemática, e que não conhecem os principais idiomas especializados em processamento de dados e suas respectivas bibliotecas. Essas pessoas, chamadas de "Cientistas de Dados Cidadãos", devem ter apenas uma qualificação empresarial excepcional. Sua tarefa é captar insights de negócios das pistas e previsões fornecidas pela inteligência artificial, podendo esclarecer suas suposições usando NLP.
Ao descrever o processo de trabalho dos usuários com sistemas dessa classe, podemos imaginar a seguinte cena. Uma pessoa, ao chegar ao trabalho e iniciar o aplicativo correspondente, além do conjunto habitual de relatórios e painéis que podem ser analisados por métodos padrão (classificação, agrupamento, execução de operações aritméticas), vê dicas e recomendações, algo como: "Para alcançar o KPI em número de vendas, você deve aplicar um desconto nos produtos da categoria 'Jardinagem'". Além disso, essa pessoa pode recorrer ao mensageiro corporativo: Skype, Slack, etc. Pode fazer perguntas ao robô, por texto ou por voz: "Mostre-me os cinco clientes mais lucrativos". Recebendo a resposta adequada, ele deve tomar a decisão mais otimizada, com base em sua experiência nos negócios, e gerar lucro para a empresa.
Se fizermos um passo para trás e olharmos para a composição das informações analisadas, nesta etapa, produtos da classe de análise aprimorada podem simplificar a vida das pessoas. Idealmente, espera-se que o usuário apenas indique ao produto analítico as fontes da informação desejada, enquanto o programa se encarrega de criar o modelo de dados, conectar tabelas e tarefas semelhantes.
Tudo isso deve, antes de mais nada, garantir a "democratização" dos dados, ou seja, qualquer pessoa pode realizar a análise de todo o conjunto de informações disponíveis na empresa. O processo de tomada de decisões deve ser respaldado por métodos de análise estatística. O tempo de acesso aos dados deve ser mínimo, assim não será necessário escrever scripts ou consultas SQL. E, claro, será possível economizar com especialistas em Data Science altamente remunerados.
Hipoteticamente, as tecnologias abrem perspectivas bastante promissoras para os negócios.
O que substitui o Big Data
Mas, na verdade, comecei meu artigo com Big Data. E não poderia desenvolver esse tema sem uma breve excursão pelas modernas ferramentas de BI, que muitas vezes têm o Big Data como base. O destino dos grandes dados agora está claramente traçado, e são as tecnologias em nuvem. Chamei a atenção para os acordos feitos com os fabricantes de BI para demonstrar que agora cada sistema analítico possui armazenamento em nuvem, enquanto os serviços em nuvem têm o BI como front-end.
Sem esquecer de pilares no campo de bancos de dados como ORACLE e Microsoft, é necessário destacar a direção de desenvolvimento de negócios que escolheram, e isso é a nuvem. Todos os serviços oferecidos podem ser encontrados na nuvem, mas alguns serviços em nuvem já não estão disponíveis on-premise. Um trabalho considerável foi realizado no uso de modelos de aprendizado de máquina, foram criadas bibliotecas disponíveis para os usuários, configuradas interfaces para facilitar o trabalho com os modelos, desde a escolha até a configuração do tempo de inicialização.
Mais uma importante vantagem do uso de serviços em nuvem que é mencionada pelos fabricantes é a disponibilidade de conjuntos de dados praticamente ilimitados sobre qualquer tema, para treinar modelos.
No entanto, fica a questão: até que ponto as tecnologias em nuvem se estabelecerão em nosso país?
Fonte: habr.com
