BlazingSQL kodiċi tal-magna SQL miftuħ, bl-użu tal-GPU għall-aċċelerazzjoni

Imħabbar dwar il-ftuħ tas-sorsi tal-magna SQL BlazingSQL, li juża l-GPU biex iħaffef l-ipproċessar tad-dejta. BlazingSQL mhuwiex DBMS sħiħ, iżda huwa pożizzjonat bħala magna għall-analiżi u l-ipproċessar ta’ settijiet kbar ta’ dejta, komparabbli fil-kompiti tiegħu ma’ Apache Spark. Il-kodiċi huwa miktub f'Python u miftuħa liċenzjat taħt Apache 2.0.

BlazingSQL huwa adattat biex iwettaq mistoqsijiet analitiċi singoli fuq settijiet kbar ta 'dejta (għexieren ta' gigabytes) maħżuna f'formati tabulari (per eżempju, zkuk, statistika NetFlow, eċċ.). BlazingSQL jista 'jmexxi mistoqsijiet minn fajls mhux ipproċessati f'formati CSV u Apache Parquet ospitati fuq sistemi ta' fajls tan-netwerk u tas-sħab bħal HDSF u AWS S3, u jittrasferixxu direttament ir-riżultat għall-memorja GPU. Grazzi għall-parallelizzazzjoni tal-operazzjonijiet fil-GPU u l-użu ta 'memorja tal-vidjo aktar mgħaġġla, il-mistoqsijiet BlazingSQL jitwettqu f'inqas minn 20 darbiet aktar mgħaġġel minn Apache Spark.

Biex taħdem ma 'GPUs, jintuża sett żviluppat bil-parteċipazzjoni ta' NVIDIA miftuħa libreriji RAPID, li jippermettilek toħloq applikazzjonijiet għall-ipproċessar tad-dejta u analitiċi li jaħdmu kompletament fuq in-naħa tal-GPU (provduta minn Interfaċċja Python biex tuża primitives CUDA ta’ livell baxx u tikkollega l-kalkoli).

BlazingSQL jipprovdi l-abbiltà li tuża SQL minflok APIs tal-ipproċessar tad-dejta cuUDF (fuq il-bażi Vleġġa Apache) użati fil-RAPIDS. BlazingSQL huwa saff addizzjonali li jimxi fuq il-cuDF u juża l-librerija cuIO biex jaqra d-dejta mid-disk. Mistoqsijiet SQL huma tradotti f'sejħiet għal funzjonijiet cuUDF, li jippermettulek tagħbija data fil-GPU u twettaq operazzjonijiet ta 'għaqda, aggregazzjoni u filtrazzjoni fuqha. Il-ħolqien ta 'konfigurazzjonijiet distribwiti li jkopru eluf ta' GPUs huwa appoġġjat.

BlazingSQL jissimplifika bil-kbir ix-xogħol bid-dejta - minflok mijiet ta 'sejħiet għal funzjonijiet cuDF, tista' tuża mistoqsija SQL waħda. L-użu ta' SQL jagħmilha possibbli li jiġu integrati RAPIDS ma' sistemi analitiċi eżistenti, mingħajr ma jinkitbu proċessuri speċifiċi u mingħajr ma jirrikorru għal tagħbija intermedja ta' data f'DBMS addizzjonali, iżda
filwaqt li tinżamm kompatibilità sħiħa mal-partijiet kollha tar-RAPIDS, tittraduċi l-funzjonalità eżistenti f'SQL u tipprovdi prestazzjoni fil-livell cuDF. Dan jinkludi appoġġ għall-integrazzjoni mal-libreriji XGBoost и cuML għas-soluzzjoni ta' problemi ta' analitika u tagħlim tal-magni.

Sors: opennet.ru