Ang BlazingSQL SQL engine code bukas, gamit ang GPU alang sa pagpadali

Gipahibalo mahitungod sa pag-abli sa mga tinubdan sa SQL engine BlazingSQL, nga naggamit sa GPU aron mapadali ang pagproseso sa datos. Ang BlazingSQL dili usa ka hingpit nga DBMS, apan gipahimutang isip usa ka makina alang sa pag-analisar ug pagproseso sa dagkong mga set sa datos, nga ikatandi sa mga buluhaton niini sa Apache Spark. Ang code gisulat sa Python ug ablihan lisensyado ubos sa Apache 2.0.

Ang BlazingSQL angayan alang sa paghimo sa usa ka analytical nga mga pangutana sa dagkong mga set sa datos (napulo ka gigabytes) nga gitipigan sa tabular nga mga pormat (pananglitan, mga log, estadistika sa NetFlow, ug uban pa). Ang BlazingSQL mahimong magpadagan sa mga pangutana gikan sa hilaw nga mga file sa CSV ug Apache Parquet nga mga format nga gi-host sa network ug cloud file system sama sa HDSF ug AWS S3, direkta nga nagbalhin sa resulta ngadto sa GPU memory. Salamat sa parallelization sa mga operasyon sa GPU ug sa paggamit sa mas paspas nga panumduman sa video, ang mga pangutana sa BlazingSQL mapatuman sa ubos sa 20 nga mga panahon mas paspas kay sa Apache Spark.

Aron magtrabaho kauban ang mga GPU, usa ka set nga gihimo uban ang pag-apil sa NVIDIA gigamit abli mga librarya MGA RAPIDS, nga nagtugot kanimo sa paghimo sa pagproseso sa datos ug mga aplikasyon sa pag-analisa nga nagdagan sa tibuuk nga bahin sa GPU (gihatag sa interface sa Python sa paggamit sa ubos nga lebel CUDA primitives ug parallelize kalkulasyon).

Ang BlazingSQL naghatag ug katakus sa paggamit sa SQL imbes sa pagproseso sa datos nga mga API cuUDF (sa base Apache Arrow) gigamit sa RAPIDS. Ang BlazingSQL usa ka dugang nga layer nga nagdagan sa ibabaw sa cuDF ug naggamit sa cuIO library aron mabasa ang datos gikan sa disk. Ang mga pangutana sa SQL gihubad ngadto sa mga tawag sa mga function sa cuUDF, nga nagtugot kanimo sa pagkarga sa datos ngadto sa GPU ug paghimo sa paghiusa, paghugpong ug pagsala nga mga operasyon niini. Gisuportahan ang paghimo sa gipang-apod-apod nga mga pag-configure nga nagsangkap sa libu-libo nga mga GPU.

Gipasimple kaayo sa BlazingSQL ang pagtrabaho gamit ang datos - imbes nga gatusan ka mga tawag sa mga function sa cuDF, mahimo nimong gamiton ang usa ka pangutana sa SQL. Ang paggamit sa SQL nagpaposible sa pag-integrate sa RAPIDS sa kasamtangan nga mga sistema sa analytics, nga walay pagsulat sa piho nga mga processor ug walay paggamit sa intermediate loading sa data ngadto sa usa ka dugang nga DBMS, apan
samtang nagmintinar sa hingpit nga pagkaangay sa tanang bahin sa RAPIDS, paghubad sa kasamtangan nga gamit ngadto sa SQL ug paghatag og performance sa cuDF nga lebel. Naglakip kini sa suporta alang sa paghiusa sa mga librarya XGBoost и cuML para sa pagsulbad sa mga problema sa analytics ug machine learning.

Source: opennet.ru