Отворен е кодът на SQL-движка BlazingSQL, използващ GPU за ускорение

Обявено за откритие на изходния код на SQL двигателя BlazingSQL, който използва GPU за ускоряване на обработката на данни. BlazingSQL не е пълноценна СУБД, а се позиционира като двигател за анализ и обработка на големи набори от данни, сравим по своите задачи с Apache Spark. Кодът е написан на Python и е отворен е под лицензия Apache 2.0.

BlazingSQL е подходящ за извършване на единични аналитични запитвания върху големи набори от данни (десетки гигабайта), съхранявани в таблични формати (например, логове, статистика NetFlow и т.н.). BlazingSQL може да извършва запитвания от raw файлове в форматите CSV и Apache Parquet, разположени в мрежови и облачни файлови системи, подобни на HDFS и AWS S3, директно предавайки резултата в GPU памет. Благодарение на паралелизацията на операциите в GPU и използването на по-бърза видеопамет, изчисленията в BlazingSQL се извършват до 20 пъти по-бързо, отколкото в Apache Spark.

За работа с GPU се използва развиван от NVIDIA комплект отворени библиотеки RAPIDS, позволяващ създаване на приложения за обработка на данни и анализ, изпълнявани изцяло на страната на GPU (предоставя Python интерфейс за използване на нискостепенни примитиви CUDA и паралелизиране на изчисленията).

BlazingSQL предоставя възможност за използване на SQL вместо API за обработка на данни cuUDF (на базата на Apache Arrow), използван в RAPIDS. BlazingSQL е допълнителен слой, работещ над cuDF и използващ за четене на данни от диска библиотеката cuIO. SQL запитванията се трансформират в извиквания на функции cuUDF, позволяващи зареждане на данни в GPU и извършване на операции по сливане, агрегация и филтриране. Поддържа се създаване на разпределени конфигурации, обхващащи хиляди GPU.

BlazingSQL значително улеснява работата с данни — вместо стотици извиквания на функции cuDF, може да се обхване с едно SQL запитване. Използването на SQL осигурява интеграция на RAPIDS с съществуващите аналитични системи, без нужда от написване на специфични обработчици и без прибягване до междинно зареждане на данни в допълнителна СУБД, но
запазвайки напълно съвместимост с всички части на RAPIDS, трансформирайки съществуващата функционалност в SQL и осигурявайки производителност на нивото на cuDF. Включително е осигурена поддръжка за интеграция с библиотеките XGBoost и cuML за решаване на аналитични и машинно обучителни задачи.

Източник: opennet.ru