Koda motora BlazingSQL SQL vekirî ye, ji bo bilezkirinê GPU bikar tîne

Hat ragihandin di derbarê vekirina çavkaniyên motora SQL de BlazingSQL, ku GPU bikar tîne da ku pêvajoyek daneyê bilez bike. BlazingSQL ne DBMS-ek tam e, lê wekî motorek ji bo analîzkirin û hilberandina daneyên mezin, ku di peywirên xwe de têne berhev kirin tête cîh kirin. Apache Spark. Koda bi Python û hatiye nivîsîn vekirî ye lîsansa di bin Apache 2.0.

BlazingSQL ji bo pêkanîna pirsên analîtîkî yên yekane li ser berhevokên daneya mezin (bi dehan gigabytes) ku di formên tabloyê de hatine hilanîn (mînak, têketin, statîstîkên NetFlow, hwd.) maqûl e. BlazingSQL dikare ji pelên xav di formatên CSV û Apache Parquet de ku li ser pergalên pelan ên torê û ewr ên mîna HDSF û AWS S3 têne mêvandar kirin, lêpirsînan bimeşîne, rasterast encamê veguhezîne bîra GPU. Spas ji paralelkirina operasyonan di GPU-yê de û karanîna bîranîna vîdyoyê ya bileztir, pirsên BlazingSQL di kêmtirî de têne darve kirin. Carên 20 zûtir ji Apache Spark.

Koda motora BlazingSQL SQL vekirî ye, ji bo bilezkirinê GPU bikar tîne

Ji bo xebata bi GPU-yan re, komek ku bi beşdariya NVIDIA-yê hatî pêşve xistin tê bikar anîn vekirî pirtûkxane RAPIDS, ku destûrê dide te ku hûn serîlêdanên pêvajoyek daneyê û analîtîk ên ku bi tevahî li alîyê GPU-yê dixebitin biafirînin (ji hêla Navrûya Python ji bo bikaranîna primitives CUDA-asta nizm û hesabên paralel).

BlazingSQL şiyana karanîna SQL-ê li şûna API-yên hilberandina daneyê peyda dike cuUDF (li ser bingehê Apache Arrow) di RAPIDS de tê bikaranîn. BlazingSQL qatek pêvek e ku li ser cuDF-ê dimeşe û pirtûkxaneya cuIO bikar tîne da ku daneyên ji dîskê bixwîne. Pirsên SQL di bangên fonksiyonên cuUDF de têne wergerandin, ku dihêle hûn daneyan li GPU-yê bar bikin û li ser wê operasyonên yekbûn, komkirin û fîlterkirinê pêk bînin. Afirandina mîhengên belavkirî yên ku bi hezaran GPU-yê vedihewîne piştgirî ye.

BlazingSQL xebata bi daneyan re pir hêsan dike - li şûna bi sedan bangên fonksiyonên cuDF, hûn dikarin pirsek SQL bikar bînin. Bikaranîna SQL dihêle ku RAPIDS bi pergalên analîtîk ên heyî re were yek kirin, bêyî nivîsandina pêvajoyên taybetî û bêyî barkirina navîn a daneyan di DBMSek zêde de, lê
di heman demê de ku bi hemî beşên RAPIDS re lihevhatina tam diparêze, fonksiyonên heyî vediguhezîne SQL û performansê di asta cuDF de peyda dike. Ev piştgirî ji bo entegrasyona bi pirtûkxaneyan re heye XGBoost и cuML ji bo çareserkirina pirsgirêkên analîtîk û fêrbûna makîneyê.

Source: opennet.ru

Add a comment