në lidhje me hapjen e kodit burimor të motorit SQL , i cili përdor GPU për të përshpejtuar procesimin e të dhënave. BlazingSQL nuk është një DBMS i plotë, por e pozicionon veten si një motor për analizën dhe përpunimin e grupeve të mëdha të të dhënave, duke u krahasuar me . Kodi është shkruar në gjuhën Python dhe nën licencën Apache 2.0.
BlazingSQL është i përshtatshëm për ekzekutimin e kërkesave analitike unike mbi grupe të mëdha të të dhënave (dhjetëra gigabajt), të ruajtura në formate tabelar (siç janë skedarët e log-eve, statistikat NetFlow, etj.). BlazingSQL mund të ekzekutojë kërkesa nga skedarët raw në formatet CSV dhe Apache Parquet, të vendosura në sisteme të ruajtjes në rrjet dhe në cloud, si HDFS dhe AWS S3, duke transferuar drejtpërdrejt rezultatin në memorjen e GPU-së. Falë përshpejtimit të operacioneve në GPU dhe përdorimit të memorjes video më të shpejtë, ekzekutimi i kërkesave në BlazingSQL arrihet deri në më shpejt se në Apache Spark.
Për punën me GPU, përdoret një grup bibliotekash , që lejon krijimin e aplikacioneve për përpunimin e të dhënave dhe analizën, të cilat realizohen plotësisht në anën e GPU-së (ofrohet për përdorimin e primitivave të nivelit të ulët të CUDA dhe përshpejtimin e llogaritjeve).
BlazingSQL ofron mundësinë e përdorimit të SQL në vend të API për përpunimin e të dhënave (në bazë të ), e përdorur në RAPIDS. BlazingSQL është një shtresë shtesë, që punon mbi cuDF dhe përdor bibliotekën cuIO për të lexuar të dhëna nga disku. Kërkesat SQL përkthyesh në thirrjet e funksioneve cuUDF, të cilat lejojnë ngarkimin e të dhënave në GPU dhe ekzekutimin e operacioneve të bashkimit, agregimit dhe filtrimit mbi to. Mbështetet krijimi i konfigurimeve të shpërndara, që përfshijnë mijëra GPU.
BlazingSQL e thjeshton nĂ« mĂ«nyrĂ« tĂ« konsiderueshme punĂ«n me tĂ« dhĂ«natânĂ« vend tĂ« qindra thirrjeve tĂ« funksioneve cuDF, mund tĂ« bĂ«het me njĂ« kĂ«rkesĂ« SQL. PĂ«rdorimi i SQL-sĂ« ka pĂ«r qĂ«llim integrimin e RAPIDS me sistemet ekzistuese tĂ« analizĂ«s, duke shmangur nevojĂ«n pĂ«r shkrimin e trajtuesve specifikĂ« dhe pa u ankuar nĂ« ngarkimin e tĂ« dhĂ«nave nĂ« njĂ« DBMS shtesĂ«, por
duke ruajtur kështu plotësisht përputhshmërinë me të gjitha pjesët e RAPIDS, duke përkthyer në SQL funksionalitetin ekzistues dhe duke ofruar performancë në nivelin e cuDF. Gjithashtu, mbështetet integrimi me bibliotekat dhe për zgjidhjen e problemeve analitike dhe të mësimit të makinerive.
Burimi: opennet.ru
