Le code du moteur SQL BlazingSQL, utilisant le GPU pour l'accélération, est maintenant ouvert

Annoncé ouverture du code source du moteur SQL BlazingSQL, utilisant le GPU pour accélérer le traitement des données. BlazingSQL n'est pas un véritable SGBD, mais se positionne comme un moteur d'analyse et de traitement de grands ensembles de données, comparable dans ses tâches à Apache Spark. Le code est écrit en Python et est ouvert sous licence Apache 2.0.

BlazingSQL est adapté pour exécuter des requêtes analytiques uniques sur de grands ensembles de données (dizaines de gigaoctets), stockés dans des formats de tableau (par exemple, journaux, statistiques NetFlow, etc.). BlazingSQL peut exécuter des requêtes à partir de fichiers bruts dans des formats CSV et Apache Parquet, situés dans des systèmes de fichiers réseau et cloud, tels que HDFS et AWS S3, tout en transférant directement le résultat en mémoire GPU. Grâce au parallélisme des opérations sur le GPU et à l'utilisation d'une mémoire vidéo plus rapide, les requêtes dans BlazingSQL s'effectuent jusqu'à 20 fois plus rapidement qu'avec Apache Spark.

Pour travailler avec le GPU, un ensemble de bibliothèques en développement en collaboration avec NVIDIA est utilisé, ouverts RAPIDS , permettant de créer des applications pour le traitement des données et l'analyse, exécutées entièrement côté GPU (uninterface Python est fourni pour utiliser les primitives bas niveau de CUDA et paralléliser les calculs). BlazingSQL permet d'utiliser SQL au lieu de l'API de traitement des données

cuUDF (basé sur ), utilisé dans RAPIDS. BlazingSQL est une couche supplémentaire qui fonctionne au-dessus de cuDF et utilise la bibliothèque cuIO pour lire les données depuis le disque. Les requêtes SQL sont traduites en appels de fonctions cuUDF, permettant de charger des données dans le GPU et d'effectuer des opérations de fusion, d'agrégation et de filtrage. La création de configurations distribuées, couvrant des milliers de GPU, est prise en charge. Apache ArrowBlazingSQL simplifie considérablement le travail avec les données - au lieu de centaines d'appels de fonctions cuDF, un seul appel SQL peut suffire. L'utilisation de SQL permet d'assurer l'intégration de RAPIDS avec les systèmes analytiques existants, sans nécessiter d'écrivains de traitement spécifiques ni de chargement intermédiaire des données dans un SGBD supplémentaire, tout en

préservant la compatibilité totale avec toutes les parties de RAPIDS, en traduisant les fonctionnalités existantes en SQL et en garantissant des performances au niveau de cuDF. Cela inclut le support de l'intégration avec les bibliothèques
XGBoost cuML et pour résoudre des problèmes d'analyse et de machine learning. Annoncé l'ouverture du code source du moteur SQL

Source : opennet.ru