Codul engine-ului SQL BlazingSQL, care utilizează GPU pentru accelerare, a fost deschis

Anunțat deschiderea codurilor sursă ale motorului SQL BlazingSQL, care folosește GPU pentru accelerarea procesării datelor. BlazingSQL nu este o bază de date completă, ci se poziționează ca un motor pentru analiza și procesarea unor seturi mari de date, comparabil în sarcinile sale cu Apache Spark. Codul este scris în limbajul Python și a fost deschis sub licența Apache 2.0.

BlazingSQL este adecvat pentru executarea de cereri analitice unice pe seturi mari de date (zeci de gigabyti), stocate în formate de tabel (de exemplu, jurnal, statisticile NetFlow etc.). BlazingSQL poate executa cereri din fișiere raw în formatele CSV și Apache Parquet, plasate în sisteme de fișiere de rețea și în cloud, precum HDSF și AWS S3, transferând direct rezultatul în memoria GPU. Datorită paralelizării operațiunilor în GPU și utilizării memoriei video mai rapide, execuția cererilor în BlazingSQL se realizează de până la 20 de ori mai repede decât în Apache Spark.

Pentru lucrul cu GPU este utilizat un set de biblioteci dezvoltat cu participarea companiei NVIDIA aplicații deschise RAPIDS , care permite crearea de aplicații pentru procesarea datelor și analize, executate integral pe partea GPU (se oferăinterfață Python pentru utilizarea primitivelor de bază CUDA și paralelizarea calculului). BlazingSQL oferă posibilitatea de a folosi SQL în locul API-ului de procesare a datelor

cuUDF Apache Arrow (pe baza ), utilizat în RAPIDS. BlazingSQL este un strat suplimentar care funcționează deasupra cuDF și folosește pentru citirea datelor de pe disc biblioteca cuIO. Cererile SQL sunt translatate în apeluri de funcții cuUDF, care permit încărcarea datelor în GPU și executarea operațiunilor de îmbinare, agregare și filtrare. Se suportă construirea de configurații distribuite, acoperind mii de GPU.BlazingSQL simplifică semnificativ lucrul cu datele — în loc de sute de apeluri de funcții cuDF, se poate folosi o singură cerere SQL. Utilizarea SQL-ului permite integrarea RAPIDS cu sistemele existente de analiză, fără a scrie manipulatoare specifice și fără a recurge la încărcarea intermediară a datelor într-o bază de date suplimentară, dar

menținând în același timp compatibilitatea totală cu toate componentele RAPIDS, translând în SQL funcționalitatea disponibilă și asigurând performanța la nivel cuDF. De asemenea, este asigurată suportul pentru integrarea cu bibliotecile
cuML XGBoost și pentru rezolvarea problemelor de analiză și învățare automată. A fost anunțată deschiderea codurilor sursă ale motorului SQL

Sursa: opennet.ro