Avaldatud on BlazingSQL SQL-mootori kood, mis kasutab GPU-d kiirusel kiirusel

Teadetatud SQL-mootori avatud lähtekoodist BlazingSQL, mis kasutab andmete töötlemise kiirusel GPU-d. BlazingSQL ei ole täieõiguslik andmebaasi süsteem, vaid positsioneeritakse suurte andmekogumite analüüsi ja töötlemisena, mis on oma ülesannetes võrdne Apache Spark. Kood on kirjutatud Python keeles ja avatud ainekood on litsentsitud Apache 2.0 all.

BlazingSQL sobib suurte andmekogumite (kümneid gigabaite) analüüsiküsimuste täitmiseks, mida hoitakse tabelivormingutes (näiteks logid, NetFlow statistika jms). BlazingSQL saab esitada päringuid toorfailidest CSV ja Apache Parquet formaatides, mis on paiknenud võrgus ja pilvefailisüsteemides, nagu HDFS ja AWS S3, edastades tulemuse otse GPU mälu. Operatsioonide paralleelne teostamine GPU-s ja kiirema videomälu kasutamine võimaldab BlazingSQL-is päringute täitmist kuni 20 korda kiirem kui Apache Spark.

GPU-dega töötamiseks kasutatakse NVIDIAt kaasava arenduse kogumit avatud raamatukogusid RAPIDS, mis võimaldab luua rakendusi andmete töötlemiseks ja analüüsiks, teostades neid täielikult GPU poolel (pakub Python liidese CUDA madala taseme primitiivide kasutamiseks ja arvutuste paralleelimiseks).

BlazingSQL pakub võimalust kasutada SQL-i andmete töötlemise API asemel. cuUDF (baasil Apache Arrow), mida kasutatakse RAPIDS-is. BlazingSQL on täiendav kiht, mis töötab cuDF-i kohal ja kasutab andmete lugemiseks kuIO teegi. SQL-päringud muudetakse cuUDF funktsioonikõnedele, mis võimaldavad andmete laadimist GPU-sse ning nende peal muundamise, agregatsiooni ja filtreerimise tehteid. Toetatakse jaotatud konfiguratsioonide loomist, mis katab tuhandeid GPU-sid.

BlazingSQL teeb andmetega töötamise oluliselt lihtsamaks — saja cuDF funktsioonikõnede asemel saab piirduda ühe SQL-päringuga. SQL-i rakendamine võimaldab tagada RAPIDS-i integreerimise olemasolevate analüütikasüsteemidega ilma spetsiifiliste töötlejate kirjutamiseta ja ilma andmete vahepealse laadimiseta täiendavasse andmebaasi, säilitades samas täieliku ühilduvuse kõigi RAPIDS-i osadega, muutes olemasoleva funktsionaalsuse SQL-iks ja tagades cuDF-taseme jõudluse. Samuti on tagatud integreerimise tugi raamatukogudega
samasuguste librariociazione hoolitsedes, et kõik RAPIDS-i osad oleksid täielikult ühilduvad, transkribeerides SQL-iga olemasoleva funktsionaalsuse ja tagades cuDF tasemel jõudluse. Samuti on tagatud integreerimise tugi raamatukogudega XGBoost ja cuML analüütika ja masinõppe ülesannete lahendamiseks.

Allikas: opennet.ru