Kode mesin BlazingSQL SQL muka, ngagunakeun GPU pikeun akselerasi

Ngumumkeun ngeunaan muka sumber mesin SQL BlazingSQL, anu ngagunakeun GPU pikeun nyepetkeun ngolah data. BlazingSQL sanes DBMS anu lengkep, tapi diposisikan salaku mesin pikeun nganalisa sareng ngolah set data anu ageung, sabanding dina tugasna. Apache bitu. Kode ieu ditulis dina Python jeung kabuka dilisensikeun dina Apache 2.0.

BlazingSQL cocog pikeun nedunan query analitik tunggal dina set data badag (puluhan gigabytes) disimpen dina format tabular (Contona, log, statistik NetFlow, jsb). BlazingSQL tiasa ngajalankeun patarosan tina file atah dina format CSV sareng Apache Parquet anu di-host dina jaringan sareng sistem file awan sapertos HDSF sareng AWS S3, langsung mindahkeun hasilna kana mémori GPU. Hatur nuhun kana paralelisasi operasi dina GPU sareng pamakean mémori pidéo anu langkung gancang, patarosan BlazingSQL ngalaksanakeun kirang ti 20 kali gancang ti Apache Spark.

Pikeun damel sareng GPU, set anu dikembangkeun sareng partisipasi NVIDIA dianggo buka perpustakaan RAPIDS, nu ngidinan Anjeun pikeun nyieun aplikasi ngolah data jeung analytics nu ngajalankeun sagemblengna dina sisi GPU (disadiakeun ku panganteur Python ngagunakeun primitif CUDA tingkat rendah sareng parallelize itungan).

BlazingSQL nyayogikeun kamampuan ngagunakeun SQL tibatan API ngolah data cuUDF (dina dasarna Panah Apache) dipaké dina RAPIDS. BlazingSQL mangrupikeun lapisan tambahan anu dijalankeun dina luhureun cuDF sareng nganggo perpustakaan cuIO pikeun maca data tina disk. queries SQL ditarjamahkeun kana panggero pikeun fungsi cuUDF, nu ngidinan Anjeun pikeun ngamuat data kana GPU tur ngalakukeun merge, aggregation sarta operasi nyaring dina eta. Nyiptakeun konfigurasi anu disebarkeun ngalangkungan rébuan GPU dirojong.

BlazingSQL pisan nyederhanakeun damel sareng data - tibatan ratusan sauran kana fungsi cuDF, anjeun tiasa nganggo hiji pamundut SQL. Pamakéan SQL ngamungkinkeun pikeun ngahijikeun RAPIDS sareng sistem analitik anu tos aya, tanpa nyerat prosesor khusus sareng tanpa nganggo ngamuat data perantara kana DBMS tambahan, tapi
bari ngajaga kasaluyuan pinuh ku sakabéh bagian RAPIDS, narjamahkeun fungsionalitas nu aya kana SQL jeung nyadiakeun kinerja di tingkat cuDF. Ieu kalebet dukungan pikeun integrasi sareng perpustakaan XGBoost и cuML pikeun ngarengsekeun masalah analytics sareng pembelajaran mesin.

sumber: opennet.ru