BlazingSQL SQL engine code tatala, fa'aaoga le GPU mo le fa'avavevave

Faailoa atu e uiga i le tatalaina o punaoa o le SQL engine BlazingSQL, lea e faʻaaogaina le GPU e faʻavaveina ai faʻamaumauga. BlazingSQL e le o se DBMS atoa, ae o loʻo faʻatulagaina o se afi mo le suʻesuʻeina ma le faʻaogaina o faʻamaumauga tetele, faʻatusatusa i ana galuega i Apache Spark. Ua tusia le code i le Python ma tatala laiseneina i lalo ole Apache 2.0.

BlazingSQL e talafeagai mo le fa'atinoina o su'esu'ega au'ili'ili ta'itasi i fa'amaumauga tetele (sefulu o gigabytes) o lo'o teuina i fa'asologa o laulau (mo se fa'ata'ita'iga, ogalaau, NetFlow statistics, etc.). E mafai e le BlazingSQL ona fa'atautaia fesili mai faila mata'utia i CSV ma Apache Parquet fa'apipi'i i luga o feso'ota'iga ma faiga faila ao e pei o le HDSF ma le AWS S3, fa'aliliu sa'o le taunu'uga ile mafaufau GPU. Faʻafetai i le faʻatusatusaina o gaioiga i le GPU ma le faʻaogaina o le vave manatua o vitio, BlazingSQL fesili e faʻatino i lalo ifo o le 20 taimi vave nai lo Apache Spark.

Ina ia galulue faʻatasi ma GPU, o loʻo faʻaaogaina se seti faʻatulagaina ma le auai o le NVIDIA matala faletusi FAIGOFIE, lea e mafai ai ona e fatuina faʻamatalaga faʻamatalaga ma auʻiliʻili talosaga e faʻatautaia atoa i le itu GPU (tuuina atu e Python fa'aoga e fa'aoga CUDA tulaga maualalo ma fa'atusa fa'atatau).

BlazingSQL e maua ai le tomai e faʻaoga ai le SQL nai lo le faʻaogaina o faʻamatalaga API cuUDF (i luga o le faavae Apache Arrow) fa'aaogaina i le RAPIDS. O le BlazingSQL o se faʻaopoopoga faʻapipiʻi e alu i luga o le cuDF ma faʻaoga le faletusi cuIO e faitau ai faʻamatalaga mai le disk. O fesili SQL e fa'aliliuina i vala'au i galuega cuUDF, lea e mafai ai ona e utaina fa'amaumauga i totonu o le GPU ma fa'atino le tu'ufa'atasia, fa'aputuga ma le fa'amamaina o gaioiga i luga. O le fa'avaeina o fa'asalalauga fa'asoa e aofia ai le faitau afe o GPU e lagolagoina.

O le BlazingSQL e fa'afaigofie tele le galue ma fa'amaumauga - nai lo le faitau selau o vala'au i galuega cuDF, e mafai ona e fa'aogaina se fesili SQL se tasi. O le faʻaaogaina o le SQL e mafai ai ona tuʻufaʻatasia le RAPIDS faʻatasi ma faiga faʻapitoa o loʻo i ai nei, e aunoa ma le tusiaina o faʻasalalauga faʻapitoa ma e aunoa ma le faʻaogaina o le utaina o faʻamaumauga i totonu o se DBMS faaopoopo, ae
a'o fa'atumauina le feso'ota'iga atoatoa ma vaega uma o le RAPIDS, fa'aliliuga o lo'o iai nei ile SQL ma tu'uina atu fa'atinoga ile tulaga cuDF. E aofia ai le lagolago mo le tu'ufa'atasia ma faletusi XGBoost и cuML mo le foia o faʻafitauli o auʻiliʻiliga ma aʻoaʻoga masini.

puna: opennet.ru