o otevření zdrojových kódů SQL enginu , který používá GPU pro zrychlení zpracování dat. BlazingSQL není plnohodnotná databázová SYSTÉMA, ale je pozicionován jako motor pro analýzu a zpracování velkých datových sad, srovnatelný svými úkoly s . Kód je napsán v jazyce Python a pod licencí Apache 2.0.
BlazingSQL je vhodný pro vykonávání samostatných analytických dotazů nad velkými datovými sadami (desítky gigabajtů), které jsou uloženy v tabulkových formátech (například logy, statistiky NetFlow atd.). BlazingSQL umí vykonávat dotazy z raw souborů ve formátech CSV a Apache Parquet, uložených v síťových a cloudových úložištích, jako jsou HDFS a AWS S3, přímo předávající výsledek do paměti GPU. Díky paralelizaci operací v GPU a využití rychlejší videopaměti, vykonávání dotazů v BlazingSQL probíhá až rychleji než v Apache Spark.
Pro práci s GPU se používá sadu knihoven rozvíjenou ve spolupráci s firmou NVIDIA RAPIDS Python rozhraní BlazingSQL nabízí možnost používání SQL místo API pro zpracování dat
cuUDF ), používá se v RAPIDS. BlazingSQL je dodatečná vrstva, která pracuje nad cuDF a využívá knihovnu cuIO pro čtení dat z disku. SQL dotazy jsou převedeny na volání funkcí cuUDF, které umožňují načítání dat do GPU a provádění nad nimi operací sloučení, agregace a filtrování. Podporuje se vytváření distribuovaných konfigurací zahrnujících tisíce GPU. BlazingSQL zásadně zjednodušuje práci s daty — místo stovky volání funkcí cuDF lze použít jediný SQL dotaz. Použití SQL umožňuje integrování RAPIDS s existujícími analytickými systémy, aniž by bylo třeba psát specifické zpracovatele a aniž bychom se uchylovali k meziloadování dat do další databáze, avšak
přičemž zachovává plnou kompatibilitu se všemi částmi RAPIDS, převádějícím do SQL stávající funkčnost a zajišťujícím výkon na úrovni cuDF. Zajištěna je také podpora integrace s knihovnami
XGBoost a Bylo ohlášeno otevření zdrojových kódů SQL enginu
Zdroj: opennet.ru
