BlazingSQL codice di u mutore SQL apertu, utilizendu GPU per l'accelerazione

Annunziata circa l'apertura di e fonti di u mutore SQL BlazingSQL, chì usa a GPU per accelerà u prucessu di dati. BlazingSQL ùn hè micca un DBMS cumpletu, ma hè posizionatu cum'è un mutore per analizà è trasfurmà grandi seti di dati, cumparabile in i so compiti Apache Spark. U codice hè scrittu in Python è apertu licenziatu sottu Apache 2.0.

BlazingSQL hè adattatu per eseguisce dumande analitiche singole nantu à grande setti di dati (decine di gigabyte) almacenati in formati tabulari (per esempiu, logs, statistiche NetFlow, etc.). BlazingSQL pò eseguisce dumande da i fugliali crudi in formati CSV è Apache Parquet ospitati in sistemi di file di rete è di nuvola cum'è HDSF è AWS S3, trasferendu direttamente u risultatu à a memoria GPU. Grazie à a parallelizazione di l'operazioni in a GPU è l'usu di memoria video più veloce, e dumande BlazingSQL eseguite in menu di 20 volte più veloce di Apache Spark.

Per travaglià cù GPU, un settore sviluppatu cù a participazione di NVIDIA hè utilizatu apertu biblioteche RAPIDI, chì permette di creà applicazioni di trattamentu di dati è analitiche chì funzionanu interamente in u latu GPU (furnitu da Interfaccia Python per utilizà primitivi CUDA di livellu bassu è parallelizà i calculi).

BlazingSQL furnisce l'abilità di utilizà SQL invece di l'API di trattamentu di dati cuUDF (à a basa Apache Arrow) utilizatu in RAPIDS. BlazingSQL hè una capa addiziale chì corre nantu à cuDF è usa a libreria cuIO per leghje e dati da u discu. E dumande SQL sò tradutte in chjama à e funzioni cuUDF, chì permettenu di carricà dati in a GPU è eseguisce operazioni di fusione, aggregazione è filtrazione. A creazione di cunfigurazioni distribuite chì copre migliaia di GPU hè supportata.

BlazingSQL simplificheghja assai u travagliu cù dati - invece di centinaie di chjama à e funzioni cuDF, pudete aduprà una dumanda SQL. L'usu di SQL permette di integrà RAPIDS cù sistemi analitici esistenti, senza scrive prucessori specifichi è senza ricorrere à a carica intermedia di dati in un DBMS supplementu, ma
mentre mantene a cumpatibilità cumpleta cù tutte e parti di RAPIDS, traducendu e funziunalità esistenti in SQL è furnisce prestazioni à u livellu cuDF. Questu include u supportu per l'integrazione cù e biblioteche XGBoost и cuML per risolve i prublemi di analisi è machine learning.

Source: opennet.ru