Отворен е кодът на SQL-движка BlazingSQL, използващо GPU за ускорение

Обявено за отварянето на изходните кодове на SQL механизма BlazingSQL, който използва GPU за ускоряване на обработката на данни. BlazingSQL не е пълноценна СУБД, а се позиционира като механизъм за анализ и обработка на големи набори от данни, сравним по задачите си с Apache Spark. Кодът е написан на езика Python и има се разпространява под лицензия Apache 2.0.

BlazingSQL е подходящ за изпълнение на индивидуални аналитични заявки върху големи набори от данни (десетки гигабайти), съхранявани в таблични формати (например, логове, статистика NetFlow и др.). BlazingSQL може да изпълнява заявки от raw-файлове във форматите CSV и Apache Parquet, разположени в мрежови и облачни файлови системи, подобни на HDFS и AWS S3, предавайки резултата директно в паметта на GPU. Благодарение на паралелизацията на операциите в GPU и използването на по-бърза видеопамет, изпълнението на заявките в BlazingSQL се осъществява до 20 пъти по-бързо, отколкото в Apache Spark.

За работа с GPU се използва библиотечен комплект, разработван с участието на компанията NVIDIA открити библиотеки RAPIDS, позволяващ създаването на приложения за обработка на данни и аналитика, които се изпълняват изцяло на страната на GPU (предоставя се Python интерфейс за използване на низкоуровневи примитиви CUDA и паралелизиране на изчисления).

BlazingSQL предлага възможност за използване на SQL вместо API за обработка на данни cuUDF (на базата на Apache Arrow), използван в RAPIDS. BlazingSQL е допълнителен слой, който работи върху cuDF и използва библиотеката cuIO за четене на данни от диска. SQL заявките се трансформират в извиквания на функции cuUDF, които позволяват зареждане на данни в GPU и изпълняване на операции като сливане, агрегиране и филтриране. Поддържа се създаването на разпределени конфигурации, обхващащи хиляди GPU.

BlazingSQL значително опростява работата с данни - вместо стотици извиквания на функции cuDF, можете да се справите с една SQL заявка. Използването на SQL позволява интеграцията на RAPIDS с вече съществуващите аналитични системи, без нужда от специфични обработвачи и без междинно зареждане на данни в допълнителна СУБД, но
при запазване на пълна съвместимост с всички части на RAPIDS, трансформирайки наличната функционалност в SQL и осигурявайки производителност на нивото на cuDF. Включително е осигурена поддръжка за интеграция с библиотеките XGBoost и cuML за решаване на задачи по аналитика и машинно обучение.

Източник: opennet.ru