SQL хөдөлгүүрийн эх сурвалжийг нээх тухай , өгөгдөл боловсруулалтыг хурдасгахын тулд GPU ашигладаг. BlazingSQL нь бүрэн хэмжээний DBMS биш боловч том өгөгдлийн багцыг шинжлэх, боловсруулахад зориулагдсан хөдөлгүүр юм. . Код нь Python дээр бичигдсэн ба Apache 2.0 дагуу лицензтэй.
BlazingSQL нь хүснэгт хэлбэрээр (жишээлбэл, лог, NetFlow статистик гэх мэт) хадгалагдсан том өгөгдлийн багц (хэдэн арван гигабайт) дээр нэг аналитик асуулга хийхэд тохиромжтой. BlazingSQL нь HDSF, AWS S3 гэх мэт сүлжээний болон үүлэн файлын систем дээр байрлуулсан CSV болон Apache Parquet форматын түүхий файлуудаас асуулга ажиллуулж, үр дүнг GPU санах ой руу шууд дамжуулах боломжтой. GPU дахь үйлдлүүдийг параллель болгож, илүү хурдан видео санах ойг ашигласны ачаар BlazingSQL асуулга нь нэгээс бага хугацаанд хийгддэг. Apache Spark-аас хурдан.
GPU-тэй ажиллахын тулд NVIDIA-ийн оролцоотойгоор боловсруулсан багцыг ашигладаг номын сангууд , энэ нь танд бүхэлдээ GPU талд ажилладаг өгөгдөл боловсруулах болон аналитик програмуудыг үүсгэх боломжийг олгодог (энэ нь доод түвшний CUDA командыг ашиглах, тооцооллыг зэрэгцүүлэх).
BlazingSQL нь өгөгдөл боловсруулах API-ийн оронд SQL ашиглах боломжийг олгодог (суурь дээр ) RAPIDS-д ашигладаг. BlazingSQL нь cuDF дээр ажилладаг нэмэлт давхарга бөгөөд дискнээс өгөгдлийг уншихад cuIO номын санг ашигладаг. SQL асуулга нь cuUDF функцүүдийн дуудлагад хөрвүүлэгдсэн бөгөөд энэ нь GPU руу өгөгдөл ачаалах, нэгтгэх, нэгтгэх, шүүх үйлдлүүдийг хийх боломжийг олгодог. Олон мянган GPU-г хамарсан хуваарилагдсан тохиргоог бий болгохыг дэмждэг.
BlazingSQL нь өгөгдөлтэй ажиллахыг ихээхэн хялбаршуулдаг - cuDF функц руу хэдэн зуун дуудлагын оронд та нэг SQL асуулга ашиглаж болно. SQL-ийн хэрэглээ нь RAPIDS-ийг одоо байгаа аналитик системтэй нэгтгэх боломжийг олгодог бөгөөд тодорхой процессор бичихгүйгээр, нэмэлт DBMS-д өгөгдлийг завсрын ачааллыг ашиглахгүйгээр хийх боломжтой боловч
RAPIDS-ийн бүх хэсгүүдтэй бүрэн нийцтэй байхын зэрэгцээ одоо байгаа функцийг SQL рүү хөрвүүлж, cuDF түвшинд гүйцэтгэлийг хангана. Үүнд номын сантай нэгтгэх дэмжлэг орно и аналитик болон машин сургалтын асуудлыг шийдвэрлэхэд зориулагдсан.
Эх сурвалж: opennet.ru