Odprt je koda SQL-motorja BlazingSQL, ki uporablja GPU za pospeševanje

Oglaseno o otvorenju izvornog koda SQL motora BlazingSQL, koji koristi GPU za ubrzanje obrade podataka. BlazingSQL nije potpuna DBMS, već se pozicionira kao motor za analizu i obradu velikih skupova podataka, uporediv s Apache Spark. Kod je napisan na Pythonu i odprt pod licenco Apache 2.0.

BlazingSQL je pogodan za izvršavanje pojedinačnih analitičkih upita nad velikim skupovima podataka (desetine gigabajta), koji se čuvaju u tabelarnim formatima (kao što su logovi, statistika NetFlow itd.). BlazingSQL može izvršavati upite iz sirovih datoteka u formatima CSV i Apache Parquet, smeštenim u mrežnim i oblačnim FS, poput HDSF i AWS S3, direktno prebacujući rezultate u GPU memoriju. Zbog paralelizacije operacija u GPU-u i korišćenja brže video memorije, izvršavanje upita u BlazingSQL se odvija do 20 puta brže nego u Apache Spark.

Za rad s GPU-om koristi se set openh-source biblioteka RAPIDS, koji omogućava kreiranje aplikacija za obradu podataka i analitiku, koje se u potpunosti izvršavaju na strani GPU (obezbeđen je Python interfejs za korišćenje niskonivoa CUDA primitiva i paralelizaciju izračunavanja).

BlazingSQL omogućava korišćenje SQL umesto API-ja za obradu podataka cuUDF (na osnovu Apache Arrow), koji se koristi u RAPIDS. BlazingSQL je dodatni sloj koji radi iznad cuDF i koristi biblioteku cuIO za čitanje podataka s diska. SQL upiti se prevode u pozive funkcija cuUDF, što omogućava učitavanje podataka u GPU i izvršavanje operacija spajanja, agregacije i filtriranja. Podržava se kreiranje distribuiranih konfiguracija koje obuhvataju hiljade GPU-ova.

BlazingSQL značajno pojednostavljuje rad s podacima — umesto stotina poziva funkcija cuDF, može se koristiti jedan SQL upit. Korišćenje SQL-a omogućava integraciju RAPIDS-a sa postojećim analitičkim sistemima, bez pisanja specifičnih obrada i bez pribegavanja međusobnom učitavanju podataka u dodatni DBMS, ali
zadržavajući punu kompatibilnost sa svim delovima RAPIDS-a, prevodeći dostupne funkcionalnosti u SQL i obezbeđujući performanse na nivou cuDF-a. Uključena je podrška za integraciju s bibliotekama XGBoost in cuML za rešavanje analitičkih i mašinsko-učnih zadataka.

Izvor: opennet.ru