SQL-mootori allikate avamise kohta , mis kasutab andmetöötluse kiirendamiseks GPU-d. BlazingSQL ei ole täieõiguslik DBMS, vaid see on suurte andmekogumite analüüsimise ja töötlemise mootorina, mis on oma ülesannete poolest võrreldav . Kood on kirjutatud Pythonis ja litsentsitud Apache 2.0 alusel.
BlazingSQL sobib üksikute analüütiliste päringute tegemiseks tabelivormingus (näiteks logid, NetFlow statistika jne) salvestatud suurtele andmehulkidele (kümneid gigabaiteid). BlazingSQL saab käitada päringuid CSV- ja Apache Parquet-vormingus töötlemata failidest, mis on hostitud võrgu- ja pilvefailisüsteemides (nt HDSF ja AWS S3), edastades tulemuse otse GPU-mällu. Tänu GPU toimingute paralleelsusele ja kiirema videomälu kasutamisele käivitatakse BlazingSQL päringud vähem kui kiiremini kui Apache Spark.
GPU-dega töötamiseks kasutatakse NVIDIA osalusel välja töötatud komplekti raamatukogud , mis võimaldab luua andmetöötlus- ja analüüsirakendusi, mis töötavad täielikult GPU poolel (pakkudes kasutada madala tasemega CUDA primitiive ja paralleelida arvutusi).
BlazingSQL annab võimaluse kasutada andmetöötluse API-de asemel SQL-i (alusel ) kasutatakse RAPIDSis. BlazingSQL on lisakiht, mis töötab cuDF-i peal ja kasutab kettalt andmete lugemiseks cuIO teeki. SQL-päringud tõlgitakse cuUDF-i funktsioonide väljakutseteks, mis võimaldavad laadida andmeid GPU-sse ning teha sellega liitmis-, liitmis- ja filtreerimistoiminguid. Toetatakse tuhandeid GPU-sid hõlmavate hajutatud konfiguratsioonide loomist.
BlazingSQL lihtsustab oluliselt andmetega töötamist – sadade cuDF-funktsioonide kõnede asemel saate kasutada ühte SQL-päringut. SQL-i kasutamine võimaldab integreerida RAPIDS-i olemasolevate analüütikasüsteemidega, ilma konkreetseid protsessoreid kirjutamata ja ilma andmete vahepealse laadimiseta täiendavasse DBMS-i, kuid
säilitades samal ajal täieliku ühilduvuse RAPIDSi kõigi osadega, tõlkides olemasolevad funktsioonid SQL-i ja pakkudes jõudlust cuDF-i tasemel. See hõlmab raamatukogudega integreerimise tuge и analüütika ja masinõppe probleemide lahendamiseks.
Allikas: opennet.ru