Se ha abierto el código del motor SQL BlazingSQL, que utiliza GPU para acelerar

Anunciado sobre la apertura del código fuente del motor SQL BlazingSQL, que utiliza GPU para acelerar el procesamiento de datos. BlazingSQL no es un sistema de gestión de bases de datos (SGBD) completo, sino que se presenta como un motor para el análisis y procesamiento de grandes conjuntos de datos, comparable en sus tareas con Apache Spark. El código está escrito en Python y es abierto bajo la licencia Apache 2.0.

BlazingSQL es adecuado para realizar consultas analíticas únicas sobre grandes conjuntos de datos (decenas de gigabytes), almacenados en formatos tabulares (por ejemplo, registros, estadísticas de NetFlow, etc.). BlazingSQL puede ejecutar consultas desde archivos raw en formatos CSV y Apache Parquet, ubicados en sistemas de archivos de red y en la nube, como HDFS y AWS S3, pasando directamente el resultado a la memoria de la GPU. Gracias a la paralelización de operaciones en la GPU y al uso de una memoria de video más rápida, la ejecución de consultas en BlazingSQL se realiza hasta 20 veces más rápida que en Apache Spark.

Para trabajar con GPU, se utiliza un conjunto de bibliotecas en desarrollo con la participación de NVIDIA abiertos RAPIDS , que permite crear aplicaciones para procesamiento de datos y análisis que se ejecutan completamente en el lado de la GPU (se proporcionauna interfaz de Python para utilizar primitivas de bajo nivel de CUDA y paralelizar cálculos). BlazingSQL brinda la posibilidad de usar SQL en lugar de la API de procesamiento de datos

cuUDF Apache Arrow (basado en ), que se utiliza en RAPIDS. BlazingSQL es una capa adicional que opera sobre cuDF y utiliza la biblioteca cuIO para leer datos desde el disco. Las consultas SQL se traducen en llamadas a funciones cuUDF, lo que permite cargar datos en la GPU y realizar operaciones de fusión, agregación y filtrado sobre ellos. Se admite la creación de configuraciones distribuidas que abarcan miles de GPU.BlazingSQL simplifica enormemente el trabajo con datos: en lugar de cientos de llamadas a funciones cuDF, se puede utilizar una única consulta SQL. El uso de SQL permite la integración de RAPIDS con sistemas de análisis existentes, sin la necesidad de escribir controladores específicos y sin recurrir a la carga intermedia de datos en un SGBD adicional, mientras que

se mantiene la plena compatibilidad con todas las partes de RAPIDS, traduciendo la funcionalidad existente a SQL y asegurando un rendimiento a nivel de cuDF. También se ha asegurado el soporte para la integración con bibliotecas
cuML XGBoost y para resolver tareas de análisis y aprendizaje automático. Se anunció la apertura del código fuente del motor SQL

Fuente: opennet.ru