A GPU-t a gyorsításra használó BlazingSQL SQL-motor kódja megnyílt

Bejelentve az SQL-motor forráskódjának közzétételéről BlazingSQL, amely GPU-t használ az adatfeldolgozás felgyorsítására. A BlazingSQL nem egy teljes értékű DBMS, hanem olyan motor, amely a nagy mennyiségű adat elemzésére és feldolgozására összpontosít, hasonló feladatokkal, mint Apache Spark. A kód Python nyelven íródott és nyitva áll Apache 2.0 licenc alatt.

a BlazingSQL alkalmas egyedi analitikai lekérdezések futtatására nagy adathalmazok (több tíz gigabájt) esetén, amelyek táblázatos formátumokban tárolódnak (például naplófájlok, NetFlow statisztika stb.). A BlazingSQL képes lekérdezéseket végezni nyers fájlokból CSV és Apache Parquet formátumban, amelyek hálózati és felhő alapú fájlrendszerekben találhatók, mint például HDSF és AWS S3, közvetlenül az eredményt a GPU memóriájába továbbítva. A GPU műveleteinek párhuzamosítása és a gyorsabb videomemória használata miatt a lekérdezések végrehajtása a BlazingSQL-ben akár 20-szor gyorsabb, mint az Apache Spark esetében.

A GPU-val való munkához az NVIDIA vállalat részvételével fejlesztett könyvtárgyűjteményt használják nyílt forráskódú könyvtárak RAPIDS, amely lehetővé teszi az adatok feldolgozására és elemzésére alkalmas alkalmazások fejlesztését, amelyek teljesen a GPU oldalán futnak (a CUDA alacsony szintű primitívjeinek és a számítások párhuzamosításának használatához Python interfész bocsát rendelkezésre).

A BlazingSQL lehetőséget nyújt SQL használatára az adatok feldolgozásának API-jához cuUDF (based on Apache Arrow), amely a RAPIDS-ben alkalmazott. A BlazingSQL egy extra réteg, amely a cuDF fölött működik, és a cuIO könyvtárat használja az adatok lemezes olvasásához. Az SQL lekérdezések cuUDF függvényhívásokká alakulnak, lehetővé téve az adatok betöltését a GPU-ra, és műveletek végrehajtását a betöltés, aggregálás és szűrés terén. Támogatott a több ezer GPU-t lefedő elosztott konfigurációk létrehozása.

A BlazingSQL jelentősen leegyszerűsíti az adatokkal való munkát – a cuDF függvények száz hívása helyett elegendő egy SQL lekérdezés. Az SQL alkalmazása lehetővé teszi a RAPIDS integrálását a meglévő analitikai rendszerekkel, anélkül, hogy specifikus feldolgozókat kellene írni, és anélkül, hogy közbenső adatbetöltést igényelne egy további DBMS-be, miközben
megőrzi a RAPIDS minden részével való teljes kompatibilitást, átfordítva a meglévő funkcionalitást SQL-re, és biztosítva a cuDF szintű teljesítményt. A következők támogatása is biztosított a XGBoost és cuML könyvtárakkal való integrációra az analitikai és gépi tanulási feladatok megoldásához.

Forrás: opennet.ru