Koden för SQL-motorn BlazingSQL, som använder GPU för att påskynda bearbetningen, har blivit öppen.

Tillkännagivet om öppnandet av källkoden för SQL-motorn BlazingSQL, som använder GPU för att påskynda databehandling. BlazingSQL är inte en fullständig databas, utan positioneras som en motor för analys och bearbetning av stora datamängder, jämförbar med Apache Spark. Koden är skriven i Python och är öppen är licensierad under Apache 2.0.

BlazingSQL är lämplig för att utföra enskilda analytiska frågor på stora datamängder (tiotals gigabyte), som lagras i tabellformat (till exempel loggar, NetFlow-statistik osv.). BlazingSQL kan utföra frågor från råfiler i formaten CSV och Apache Parquet, som finns i nätverks- och molnfilssystem som HDFS och AWS S3, och överföra resultatet direkt till GPU-minnet. Tack vare eventuell parallellbearbetning i GPU och användningen av snabbare videominne, utförs frågorna i BlazingSQL upp till 20 gånger snabbare än i Apache Spark.

För att arbeta med GPU används en uppsättning öppna bibliotek RAPIDS, som gör det möjligt att skapa databehandlings- och analysapplikationer som körs helt på GPU-sidan (en Python-gränssnitt för att använda lågnivå CUDAs primitiv och parallellisera beräkningar).

BlazingSQL erbjuder möjligheten att använda SQL istället för databehandlings-API:et cuUDF (baserat på Apache Arrow), som används i RAPIDS. BlazingSQL är ett extra lager som fungerar ovanpå cuDF och använder cuIO-biblioteket för att läsa data från disk. SQL-frågor översätts till anrop av cuUDF-funktioner, vilket gör det möjligt att ladda data till GPU och utföra sammanslagnings-, aggregerings- och filtreringsoperationer på dem. Stöd för att skapa distribuerade konfigurationer som omfattar tusentals GPU:er stöds.

BlazingSQL förenklar avsevärt arbetet med data - istället för hundratals anrop av cuDF-funktionerna kan man nöja sig med en enda SQL-fråga. Användningen av SQL gör det möjligt att integrera RAPIDS med befintliga analysystem, utan att skriva specifika handhavare och utan att behöva mellanlagra data i en ytterligare databas, men
samtidigt behålla fullständig kompatibilitet med alla delar av RAPIDS, översätta befintlig funktionalitet till SQL och säkerställa prestanda på nivån av cuDF. Stöd för att integrera med biblioteken XGBoost och cuML för att lösa analytiska och maskininlärningsuppgifter.

Källa: opennet.ru