BlazingSQL SQL-mootori avatud kood on nüüd saadaval, kasutades GPU-d kiirendamiseks

Käideldud SQL-mootori allikakoodide avamisest BlazingSQL, mis kasutab andmete töötlemise kiirendamiseks GPU-d. BlazingSQL ei ole täisväärtuslik andmebaasi haldur, vaid positsioneerib end kui suurte andmekogumite analüüsi ja töötlemise mootor, olles oma ülesanne võrreldav Apache Spark. Kood on kirjutatud Pythonis ja avatud lisensiga Apache 2.0.

BlazingSQL sobib suurte andmekogumite (kümned gigabaitid) üheainsa analüütilise päringu käitamiseks, mis on salvestatud tabelivormingus (näiteks logid, NetFlow statistika jne). BlazingSQL suudab käitada päringuid toorfailidest formaatides CSV ja Apache Parquet, mis asuvad võrgus ja pilves failisüsteemides, nagu HDSF ja AWS S3, edastades tulemuse otse GPU mällu. Tänu operatsioonide paraleliseerimisele GPU-l ja kiirema videomälu kasutamisele toimub päringute täitmine BlazingSQL-is kuni 20 korda kiirem kui Apache Sparkis.

GPU-dega töötamiseks kasutatakse NVIDIA osalusel arendatavat teekide komplekti avatud biblioteekide RAPIDS, mis võimaldab luua andmete töötlemise ja analüüsi rakendusi, mis toimivad täielikult GPU küljes (pakutakse Python-liides CUDA madala taseme primitiivide kasutamiseks ja arvutuste paraleliseerimiseks).

BlazingSQL võimaldab SQL-i kasutamist andmete töötlemise API asemel cuUDF (põhjal Apache Arrow), mida kasutatakse RAPIDS-is. BlazingSQL on täiendav kiht, mis töötab cuDF-i peal ja kasutab andmete lugemiseks diskilt cuIO teeki. SQL-päringud muudetakse cuUDF-funktsioonide kutsumisteks, mis võimaldavad andmete laadimist GPU-sse ja nende üle toimingute, nagu liitmine, agregatsioon ja filtreerimine. Toetatakse hajutatud konfiguratsioonide loomist, mis hõlmavad tuhandeid GPU-sid.

BlazingSQL lihtsustab oluliselt andmetega töötamist — saja cuDF-funktsiooni kutsumise asemel saab jätkata ühe SQL-päringuga. SQL-i kasutamine võimaldab tagada RAPIDS-i integreerimise olemasolevate analüütikasüsteemidega ilma spetsiifiliste töötlejate kirjutamiseta ja andmete vahedispositsioonide laadimise vältimisega täiendavasse andmebaasi, kuid
säilitades samas täielikku ühilduvust kõigi RAPIDS-i osadega, muutes olemasoleva funktsionaalsuse SQL-iks ja tagades cuDF tasemel jõudluse. Sealhulgas on tagatud integreerimise toetus raamatukogudega XGBoost ja cuML analüüsi ja masinõppe ülesannete lahendamiseks.

Allikas: opennet.ru