Koden til SQL-motoren BlazingSQL, der bruger GPU til acceleration, er blevet åbnet.

Annonceret om åbningen af SQL-motorens kildekoder BlazingSQL, der bruger GPU til at accelerere datahåndtering. BlazingSQL er ikke en fuldgyldig DBMS, men positioneres som en motor til analyse og behandling af store datasæt, som kan sammenlignes med Apache Spark. Koden er skrevet i Python og åbnet er under Apache 2.0-licensen.

BlazingSQL er velegnet til at udføre enkeltstående analyserapporter over store datasæt (titusinder af gigabytes), som opbevares i tabelformater (f.eks. logs, NetFlow-statistik osv.). BlazingSQL kan udføre forespørgsler fra råfiler i CSV- og Apache Parquet-formater, der er placeret i netværks- og cloud-filsystemer som HDSF og AWS S3, og overføre resultaterne direkte til GPU'en. Takket være parallelisering af operationer på GPU'en og brugen af hurtigere videohukommelse, udføres forespørgsler i BlazingSQL op til 20 gange hurtigere end i Apache Spark.

Til arbejde med GPU anvendes et sæt åbne biblioteker RAPIDS, som gør det muligt at skabe applikationer til datahåndtering og analyse, der udføres helt på GPU-siden (et Python-interface til brug af lave niveauer af CUDA-primitiver og parallelisering af beregninger tilbydes).

BlazingSQL giver mulighed for at bruge SQL i stedet for datahåndterings-API'en cuUDF (baseret på Apache Arrow), der anvendes i RAPIDS. BlazingSQL fungerer som et ekstra lag over cuDF og bruger cuIO-biblioteket til at læse data fra disk. SQL-forespørgsler bliver oversat til kald til cuUDF-funktioner, som gør det muligt at indlæse data på GPU'en og udføre operationer som sammenlægning, aggregering og filtrering. Understøttelse af oprettelse af distribuerede konfigurationer, der dækker tusinder af GPU'er, er også til stede.

BlazingSQL gør arbejdet med data væsentligt lettere — i stedet for en hundredvis af kald til cuDF-funktioner kan man nøjes med én SQL-forespørgsel. Brugen af SQL muliggør integration af RAPIDS med eksisterende analyse-systemer uden at skrive specifikke behandlere og uden at skulle mellemlagre dataene i en yderligere DBMS, men
bevarer samtidig fuld kompatibilitet med alle dele af RAPIDS, ved at oversætte eksisterende funktionalitet til SQL og sikre ydeevne på niveau med cuDF. Der er også sikret støtte til integration med XGBoost og cuML til løsning af analyse- og maskinlæringsopgaver.

Kilde: opennet.ru