Muchos autores extranjeros coinciden en que la era del Big Data ha llegado a su fin. En este caso, el término Big Data se refiere a las tecnologías basadas en Hadoop. Muchos autores incluso pueden señalar con certeza la fecha en que Big Data dejó este mundo, y esa fecha es el 05.06.2019.
¿Qué sucedió en este día tan significativo?
Ese día, la empresa MAPR prometió detener su actividad si no podía encontrar fondos para continuar operando. Más tarde, en agosto de 2019, MAPR fue adquirida por HP. Pero volviendo a junio, es imposible no notar la tragedia de este periodo para el mercado del Big Data. En este mes se produjo un colapso en las cotizaciones de las acciones de CLOUDERA, el jugador líder en el mercado mencionado, que había fusionado con la crónicamente no rentable HORTOWORKS en enero de ese mismo año. El colapso fue bastante significativo, alcanzando el 43%, y en última instancia, la capitalización de CLOUDERA disminuyó de 4,1 a 1,4 mil millones de dólares.
No se puede dejar de mencionar que los rumores sobre la creación de una burbuja en el ámbito de las tecnologías basadas en Hadoop circulaban desde diciembre de 2014, pero esta mantuvo su resistencia incluso durante casi cinco años. Estos rumores se basaban en el rechazo de Google, la empresa donde se originó la tecnología Hadoop, a su propia invención. Sin embargo, la tecnología se arraigó durante el tiempo de transición de las empresas a medios de procesamiento en la nube y el rápido desarrollo de la inteligencia artificial. Por lo tanto, al mirar atrás, se puede afirmar con confianza que la muerte era esperada.
Así, la era del Big Data ha llegado a su fin, pero en el proceso de trabajar con grandes volúmenes de datos, las empresas aprendieron todos los matices de su manejo, los beneficios que el Big Data puede aportar a los negocios, y también aprendieron a utilizar la inteligencia artificial para extraer valor de los datos en bruto.
Por lo tanto, es aún más interesante la pregunta de qué vendrá a reemplazar esta tecnología y cómo continuarán evolucionando las tecnologías de análisis.
Análisis ampliado
Durante los eventos descritos, las empresas que operan en el ámbito del análisis de datos no se quedaron de brazos cruzados. Esto se puede deducir a partir de la información sobre las transacciones que ocurrieron en 2019. En el presente año se llevó a cabo la mayor transacción del mercado: la adquisición de la plataforma analítica Tableau por parte de Salesforce por 15.7 mil millones de dólares. Una transacción algo menor tuvo lugar entre Google y Looker. Y, por supuesto, no podemos dejar de mencionar la adquisición de la plataforma de big data Attunity por parte de Qlik.
Los líderes del mercado de BI y los especialistas de Gartner hablan de un cambio monumental en los enfoques del análisis de datos. Este cambio destruirá por completo el mercado de BI y llevará a la sustitución de BI por AI. En este contexto, es importante señalar que la abreviatura AI no se refiere a 'Inteligencia Artificial', sino a 'Inteligencia Aumentada'. Examinemos más de cerca lo que se oculta tras las palabras 'Analítica Aumentada'.
La analítica aumentada, al igual que la realidad aumentada, se basa en varios postulados comunes:
- La posibilidad de comunicarse utilizando NLP (Procesamiento de Lenguaje Natural), es decir, en lenguaje humano;
- El uso de inteligencia artificial, lo que significa que los datos serán procesados previamente por inteligencia de máquina;
- Y, por supuesto, las recomendaciones disponibles para el usuario del sistema, que fueron generadas precisamente por la inteligencia artificial.
Según los fabricantes de plataformas analíticas, su uso estará disponible para usuarios sin habilidades especializadas, como conocimiento de SQL o de lenguajes de scripting similares, sin formación estadística o matemática, y sin conocimiento de lenguajes populares especializados en procesamiento de datos y sus bibliotecas correspondientes. Tales personas, llamadas 'Citizen Data Scientist', solo deben poseer una destacada calificación empresarial. Su tarea es captar ideas empresariales de las sugerencias y pronósticos que les proporcionará la inteligencia artificial, y podrán afinar sus conjeturas usando NLP.
Al describir el proceso de interacción de los usuarios con sistemas de esta categoría, se puede imaginar la siguiente imagen. Una persona que llega al trabajo y lanza la aplicación correspondiente, además del conjunto habitual de informes y paneles que puede analizar mediante métodos estándar (ordenar, agrupar, realizar operaciones aritméticas), ve ciertas sugerencias y recomendaciones, algo como: "Para alcanzar el KPI del número de ventas, deberías aplicar descuentos en los productos de la categoría 'Jardinería'". Además, la persona puede recurrir a un mensajero corporativo: Skype, Slack, etc. Puede hacer preguntas al robot, ya sea por texto o por voz: "Muéstrame los cinco clientes más rentables". Al recibir la respuesta adecuada, debe tomar la decisión óptima basándose en su experiencia empresarial y generar ganancias para la empresa.
Si retrocedemos un paso y miramos la información analizada, en esta etapa los productos de la clase de análisis avanzado pueden simplificar la vida de las personas. En ideal, se supone que el usuario solo necesita indicar al producto analítico las fuentes de información deseadas, y el software se encargará de crear el modelo de datos, enlazar tablas y tareas similares.
Todo esto debe, ante todo, garantizar la "democratización" de los datos, es decir, cualquier persona puede realizar análisis de todo el conjunto de información disponible en la empresa. El proceso de toma de decisiones debe estar respaldado por métodos de análisis estadístico. El tiempo de acceso a los datos debe ser mínimo, por lo que no será necesario escribir scripts ni consultas SQL. Y, por supuesto, se podrá ahorrar en especialistas de Data Science bien remunerados.
Hipotéticamente, las tecnologías abren perspectivas muy prometedoras para el negocio.
Lo que reemplaza Big Data
Pero, en realidad, comencé mi artículo hablando de Big Data. Y no podía desarrollar este tema sin una breve excursión a las herramientas de BI modernas, que a menudo tienen como base Big Data. El destino de los grandes datos ahora está claramente determinado, y son las tecnologías en la nube. Puse énfasis en las transacciones realizadas con los proveedores de BI para demostrar que ahora cada sistema analítico tiene un almacenamiento en la nube detrás, y los servicios en la nube cuentan con BI como frontal.
Sin olvidar pilares en el ámbito de bases de datos como ORACLE y Microsoft, es importante señalar la dirección de desarrollo empresarial que han elegido: la nube. Todos los servicios ofrecidos se pueden encontrar en la nube, pero algunos servicios en la nube ya no están disponibles on-premise. Se ha realizado un trabajo considerable en el uso de modelos de aprendizaje automático, se han creado bibliotecas accesibles para los usuarios y se han configurado interfaces para facilitar el trabajo con los modelos, desde su selección hasta la configuración del tiempo de inicio.
Otra ventaja importante de utilizar servicios en la nube, que mencionan los fabricantes, es la disponibilidad de conjuntos de datos prácticamente ilimitados sobre cualquier tema para el entrenamiento de modelos.
Sin embargo, surge la pregunta, ¿cuán bien se adoptarán las tecnologías en la nube en nuestro país?
Fuente: habr.com
