BlazingSQL Cód inneall SQL oscailte, ag baint úsáide as GPU le haghaidh luasghéarú

D'fhógair faoi ​​fhoinsí an innill SQL a oscailt BlazingSQL, a úsáideann an GPU chun próiseáil sonraí a bhrostú. Ní DBMS lán-chuimsitheach é BlazingSQL, ach tá sé suite mar inneall chun tacair mhóra sonraí a anailísiú agus a phróiseáil, atá inchomparáide ina chúraimí le Apache Spark. Tá an cód scríofa i Python agus oscailte ceadúnaithe faoi Apache 2.0.

Tá BlazingSQL oiriúnach chun fiosrúcháin anailíse aonair a dhéanamh ar thacair mhóra sonraí (na ndeicheanna ghigibheart) atá stóráilte i bhformáidí táblaí (mar shampla, logaí, staitisticí NetFlow, etc.). Is féidir le BlazingSQL fiosrúcháin a rith ó chomhaid amh i bhformáidí CSV agus Apache Parquet arna óstáil ar chórais comhad líonra agus scamall cosúil le HDSF agus AWS S3, ag aistriú an toradh go díreach chuig cuimhne GPU. Buíochas le comhthreomhaireacht oibríochtaí sa GPU agus úsáid cuimhne físeáin níos tapúla, feidhmíonn fiosrúcháin BlazingSQL i níos lú ná Amanna 20 níos tapúla ná Apache Spark.

Chun oibriú le GPUanna, úsáidtear tacar a forbraíodh le rannpháirtíocht NVIDIA oscailte leabharlanna RAPAÍ, a ligeann duit feidhmchláir phróiseála sonraí agus anailíse a chruthú a ritheann go hiomlán ar thaobh an GPU (arna sholáthar ag Comhéadan Python úsáid a bhaint as primitives CUDA leibhéal íseal agus ríomhaireachtaí comhthreomhar).

Soláthraíonn BlazingSQL an cumas SQL a úsáid in ionad APIanna próiseála sonraí cuUDF (ar an mbonn Saighead Apache) a úsáidtear i RAPIDS. Is ciseal breise é BlazingSQL a ritheann ar bharr cuDF agus a úsáideann leabharlann cuIO chun sonraí a léamh ón diosca. Aistrítear fiosruithe SQL go glaonna chuig feidhmeanna cuUDF, a ligeann duit sonraí a luchtú isteach sa GPU agus oibríochtaí cumaisc, comhiomlánaithe agus scagtha a dhéanamh air. Tacaítear le cruthú cumraíochtaí dáilte a chuimsíonn na mílte GPU.

Simplíonn BlazingSQL oibriú le sonraí go mór - in ionad na céadta glaonna chuig feidhmeanna cuDF, is féidir leat ceist SQL amháin a úsáid. Trí úsáid a bhaint as SQL is féidir RAPIDS a chomhtháthú le córais anailíse atá ann cheana féin, gan próiseálaithe sonracha a scríobh agus gan dul i muinín luchtú idirmheánach sonraí isteach i DBMS breise, ach
agus comhoiriúnacht iomlán á chothabháil ag an am céanna le gach cuid de RAPIDS, ag aistriú feidhmiúlacht reatha go SQL agus ag soláthar feidhmíochta ag leibhéal cuDF. Áirítear leis seo tacaíocht do chomhtháthú le leabharlanna XGBoost и cuML chun fadhbanna anailísíochta agus meaisínfhoghlama a réiteach.

Foinse: oscailtenet.ru