Il codice del motore SQL BlazingSQL, che utilizza GPU per l'accelerazione, è stato reso pubblico.

Annunciato sull'apertura dei codici sorgenti del motore SQL BlazingSQL, che utilizza la GPU per accelerare l'elaborazione dei dati. BlazingSQL non è un sistema di gestione di database completo, ma si posiziona come un motore per l'analisi e l'elaborazione di grandi set di dati, comparabile per le sue funzioni a Apache Spark. Il codice è scritto in Python e è open source sotto licenza Apache 2.0.

BlazingSQL è adatto per eseguire singole query analitiche su grandi set di dati (decine di gigabyte), conservati in formati tabulari (ad esempio, log, statistiche NetFlow, ecc.). BlazingSQL può eseguire query su file raw nei formati CSV e Apache Parquet, archiviati in sistemi di file di rete e cloud come HDSF e AWS S3, trasferendo direttamente il risultato nella memoria della GPU. Grazie alla parallelizzazione delle operazioni nella GPU e all'uso di memoria video più veloce, l'esecuzione di query in BlazingSQL avviene fino a 20 volte più veloce rispetto ad Apache Spark.

Per lavorare con la GPU viene utilizzato un insieme di open source librerie RAPIDS, che consente di creare applicazioni per l'elaborazione dati e l'analisi, eseguite interamente sul lato GPU (fornisce un interfaccia Python per utilizzare primitive CUDA a basso livello e parallelizzare i calcoli).

BlazingSQL offre la possibilità di utilizzare SQL anziché l'API di elaborazione dati cuUDF (basato su Apache Arrow), utilizzato in RAPIDS. BlazingSQL è uno strato aggiuntivo che opera sopra cuDF e utilizza la libreria cuIO per leggere i dati dal disco. Le query SQL vengono tradotte in chiamate a funzioni cuUDF, che consentono di caricare dati nella GPU ed eseguire operazioni di unione, aggregazione e filtraggio su di essi. È supportata la creazione di configurazioni distribuite che coprono migliaia di GPU.

BlazingSQL semplifica notevolmente il lavoro con i dati: invece di dover effettuare centinaia di chiamate a funzioni cuDF, si può usare una sola query SQL. L'uso di SQL permette di garantire l'integrazione di RAPIDS con i sistemi di analisi esistenti, senza scrivere gestori specifici e senza ricorrere al caricamento intermedio dei dati in un ulteriore sistema di gestione di database, mantenendo
la piena compatibilità con tutte le parti di RAPIDS, traducendo in SQL le funzionalità esistenti e assicurando prestazioni a livello di cuDF. Supporta anche l'integrazione con le librerie XGBoost e cuML per affrontare compiti di analisi e apprendimento automatico.

Fonte: opennet.ru