Отворен код на BlazingSQL SQL машина, използвайки GPU за ускорение

Обявени относно отварянето на изходния код на SQL машината BlazingSQL, който използва GPU за ускоряване на обработката на данни. BlazingSQL не е пълноценна СУБД, но се позиционира като двигател за анализиране и обработка на големи масиви от данни, сравним по своите задачи с Апачи Спарк. Кодът е написан на Python и е отворено лицензиран под Apache 2.0.

BlazingSQL е подходящ за извършване на единични аналитични заявки върху големи набори от данни (десетки гигабайти), съхранени в таблични формати (например регистрационни файлове, статистика на NetFlow и др.). BlazingSQL може да изпълнява заявки от необработени файлове във формати CSV и Apache Parquet, хоствани в мрежови и облачни файлови системи като HDSF и AWS S3, директно прехвърляйки резултата в паметта на GPU. Благодарение на паралелизирането на операциите в GPU и използването на по-бърза видео памет, BlazingSQL заявките се изпълняват за по-малко от 20 пъти по-бързо от Apache Spark.

За работа с GPU се използва комплект, разработен с участието на NVIDIA отворен библиотеки БЪРЗИ, което ви позволява да създавате приложения за обработка на данни и анализи, които работят изцяло от страна на GPU (предоставени от Python интерфейс за използване на CUDA примитиви от ниско ниво и паралелизиране на изчисления).

BlazingSQL предоставя възможност за използване на SQL вместо API за обработка на данни cuUDF (на основата Apache Arrow), използвани в RAPIDS. BlazingSQL е допълнителен слой, който работи върху cuDF и използва библиотеката cuIO за четене на данни от диск. SQL заявките се преобразуват в извиквания на cuUDF функции, които ви позволяват да зареждате данни в GPU и да извършвате операции по сливане, агрегиране и филтриране върху тях. Поддържа се създаването на разпределени конфигурации, обхващащи хиляди GPU.

BlazingSQL значително опростява работата с данни - вместо стотици извиквания към cuDF функции, можете да използвате една SQL заявка. Използването на SQL дава възможност за интегриране на RAPIDS със съществуващи аналитични системи, без писане на конкретни процесори и без прибягване до междинно зареждане на данни в допълнителна СУБД, но
като същевременно поддържа пълна съвместимост с всички части на RAPIDS, превежда съществуващата функционалност в SQL и осигурява производителност на ниво cuDF. Това включва поддръжка за интеграция с библиотеки XGBoost и cuML за решаване на проблеми на анализа и машинното обучение.

Източник: opennet.ru