Muchos autores extranjeros coinciden en que la era del Big Data ha llegado a su fin. Y en este caso, el término Big Data hace referencia a tecnologías basadas en Hadoop. Muchos autores pueden incluso nombrar con seguridad la fecha en que Big Data abandonó este mundo y esta fecha es el 05.06.2019/XNUMX/XNUMX.
¿Qué pasó en este día tan significativo?
Ese día, el MAPR prometió suspender sus trabajos si no encontraba fondos para continuar con sus operaciones. Posteriormente, HP adquirió MAPR en agosto de 2019. Pero volviendo a junio, no podemos dejar de notar la tragedia de este período para el mercado de Big Data. Este mes se produjo un colapso en los precios de las acciones de CLOUDERA, un actor líder en el mercado, que se fusionó con HORTOWORKS, crónicamente no rentable, en enero del mismo año. El colapso fue bastante significativo y ascendió al 43%; al final, la capitalización de CLOUDERA disminuyó de 4,1 a 1,4 mil millones de dólares.
Es imposible no decir que desde diciembre de 2014 circulan rumores sobre una burbuja en el campo de las tecnologías basadas en Hadoop, pero se mantuvo valientemente durante casi cinco años más. Estos rumores se basaron en la negativa de Google, empresa donde se originó la tecnología Hadoop, a su invención. Pero la tecnología echó raíces durante la transición de las empresas a las herramientas de procesamiento en la nube y el rápido desarrollo de la inteligencia artificial. Por tanto, mirando hacia atrás, podemos decir con seguridad que la muerte era esperada.
Así, la era del Big Data ha llegado a su fin, pero en el proceso de trabajar con Big Data, las empresas se han dado cuenta de todos los matices de trabajar en él, los beneficios que el Big Data puede aportar a los negocios y también han aprendido a utilizar la tecnología artificial. inteligencia para extraer valor de los datos sin procesar.
Cuanto más interesante se vuelve la cuestión de qué sustituirá a esta tecnología y cómo se desarrollarán aún más las tecnologías analíticas.
Análisis aumentado
Durante los hechos descritos, las empresas que trabajan en el campo del análisis de datos no se quedaron quietas. Lo que se puede juzgar en base a información sobre transacciones que ocurrieron en 2019. Este año se llevó a cabo la transacción más grande del mercado: la adquisición de la plataforma analítica Tableau por parte de Salesforce por 15,7 mil millones de dólares. Se produjo un acuerdo menor entre Google y Looker. Y, por supuesto, no podemos dejar de mencionar la adquisición por parte de Qlik de la plataforma de big data Attunity.
Los líderes del mercado de BI y los expertos de Gartner están anunciando un cambio monumental en los enfoques del análisis de datos; este cambio destruirá por completo el mercado de BI y conducirá a la sustitución de BI por IA. En este contexto, cabe señalar que la abreviatura AI no es “Inteligencia artificial” sino “Inteligencia aumentada”. Echemos un vistazo más de cerca a lo que se esconde detrás de las palabras "Análisis aumentado".
La analítica aumentada, al igual que la realidad aumentada, se basa en varios postulados generales:
- la capacidad de comunicarse mediante PNL (procesamiento del lenguaje natural), es decir, en lenguaje humano;
- el uso de inteligencia artificial, esto significa que los datos serán preprocesados por inteligencia artificial;
- y por supuesto, recomendaciones a disposición del usuario del sistema, las cuales fueron generadas por inteligencia artificial.
Según los fabricantes de plataformas analíticas, su uso estará disponible para usuarios que no tengan habilidades especiales, como conocimientos de SQL o un lenguaje de scripting similar, que no tengan formación estadística o matemática, que no tengan conocimientos de lenguajes populares. especializada en informática y bibliotecas correspondientes. Estas personas, llamadas "Ciudadanos Científicos de Datos", sólo deben tener calificaciones empresariales sobresalientes. Su tarea es capturar información empresarial a partir de los consejos y pronósticos que les brindará la inteligencia artificial, y pueden refinar sus conjeturas utilizando PNL.
Al describir el proceso de los usuarios que trabajan con sistemas de esta clase, se puede imaginar la siguiente imagen. Una persona que llega a trabajar y ejecuta la aplicación correspondiente, además del conjunto habitual de informes y paneles que se pueden analizar mediante enfoques estándar (clasificar, agrupar, realizar operaciones aritméticas), ve ciertos consejos y recomendaciones, algo como: “En Para alcanzar el KPI, número de ventas, debes aplicar un descuento en productos de la categoría “Jardinería”. Además, una persona puede contactar con un mensajero corporativo: Skype, Slack, etc. Puede hacerle preguntas al robot, por mensaje de texto o por voz: "Dame los cinco clientes más rentables". Habiendo recibido la respuesta adecuada, debe tomar la mejor decisión basándose en su experiencia empresarial y generar beneficios para la empresa.
Si das un paso atrás y observas la composición de la información que se analiza, en esta etapa, los productos de análisis aumentados pueden facilitar la vida de las personas. Idealmente, se supone que el usuario sólo necesitará señalar el producto analítico a las fuentes de la información deseada, y el programa mismo se encargará de crear un modelo de datos, vincular tablas y tareas similares.
Todo esto debería, en primer lugar, garantizar la “democratización” de los datos, es decir. Cualquier persona puede analizar todo el conjunto de información de que dispone la empresa. El proceso de toma de decisiones debe estar respaldado por métodos de análisis estadístico. El tiempo de acceso a los datos debe ser mínimo, por lo que no es necesario escribir scripts ni consultas SQL. Y, por supuesto, puede ahorrar dinero en especialistas en ciencia de datos altamente remunerados.
Hipotéticamente, la tecnología ofrece perspectivas muy brillantes para los negocios.
Lo que reemplaza al Big Data
Pero, de hecho, comencé mi artículo con Big Data. Y no podría desarrollar este tema sin una breve incursión en las modernas herramientas de BI, cuya base suele ser el Big Data. El destino del big data ahora está claramente determinado y es la tecnología de la nube. Me centré en las transacciones realizadas con proveedores de BI para demostrar que ahora cada sistema analítico tiene almacenamiento en la nube detrás y los servicios en la nube tienen BI como interfaz.
Sin olvidar pilares en el campo de las bases de datos como ORACLE y Microsoft, es necesario tener en cuenta la dirección elegida para el desarrollo empresarial: la nube. Todos los servicios ofrecidos se pueden encontrar en la nube, pero algunos servicios en la nube ya no están disponibles localmente. Han realizado un trabajo importante en el uso de modelos de aprendizaje automático, crearon bibliotecas disponibles para los usuarios y configuraron interfaces para facilitar el trabajo con modelos, desde su selección hasta la configuración de la hora de inicio.
Otra ventaja importante del uso de servicios en la nube, anunciada por los fabricantes, es la disponibilidad de conjuntos de datos casi ilimitados sobre cualquier tema para la formación de modelos.
Sin embargo, surge la pregunta: ¿hasta dónde se arraigarán las tecnologías de la nube en nuestro país?
Fuente: habr.com