BlazingSQL SQL code matoorka wuu furan yahay, iyadoo GPU u adeegsanaysa dardargelinta

lagu dhawaaqay ku saabsan furitaanka ilaha matoorka SQL BlazingSQL, kaas oo isticmaala GPU-da si uu u dedejiyo habaynta xogta. BlazingSQL ma aha DBMS dhammaystiran, laakiin waxay u taagan tahay matoorka falanqaynta iyo habaynta xogta waaweyn, oo la barbar dhigi kara hawlaheeda Apache Spark. Koodhku wuxuu ku qoran yahay Python iyo furid shatiga ku haysta Apache 2.0.

BlazingSQL waxay ku habboon tahay samaynta hal su'aalood oo falanqayn ah oo ku saabsan kaydka xogta waaweyn (toban gigabytes) oo lagu kaydiyay qaabab tabular ah (tusaale, logs, NetFlow statistics, iwm.). BlazingSQL waxay ku socodsiin kartaa weydiimaha faylasha cayriin ee qaababka CSV iyo Apache Parquet ee lagu martigeliyay shabakada iyo nidaamyada faylalka daruuraha sida HDSF iyo AWS S3, iyagoo si toos ah natiijada ugu wareejinaya xusuusta GPU. Waad ku mahadsan tahay isbarbardhigga hawlgallada GPU-da iyo adeegsiga xusuusta fiidyaha degdegga ah, weydiimaha BlazingSQL ayaa la fuliyaa ilaa 20 jeer ka dhaqso badan Apache Spark.

Si loola shaqeeyo GPU-yada, gogol la sameeyay oo ay ka qayb qaadanayso NVIDIA ayaa la isticmaalaa furan maktabadaha DEG DEG, kaas oo kuu ogolaanaya inaad abuurto codsiyada habaynta xogta iyo falanqaynta kuwaas oo gebi ahaanba ka shaqeeya dhinaca GPU (oo ay bixiso Python interface in la isticmaalo CUDA-da aasaasiga ah ee hoose isla markaana barbar dhig xisaabinta).

BlazingSQL waxay bixisaa awooda lagu isticmaalo SQL bedelkii API-yada xogta habaynta cuUDF (saldhigga Falaadhida Apache) loo isticmaalo RAPIDS. BlazingSQL waa lakab dheeraad ah oo ku dul socda cuDF oo isticmaala maktabadda cuIO si uu u akhriyo xogta saxanka. Weydiimaha SQL waxaa loo tarjumay wicitaannada hawlaha cuUDF, kuwaas oo kuu oggolaanaya inaad ku shubto xogta GPU-ga oo aad sameyso hawlgallada isku-dhafka, isku-darka iyo shaandhaynta. Abuuritaanka isku xidhka qaybsan ee ka kooban kumanaan GPU-yada waa la taageeray.

BlazingSQL waxay si weyn u fududaysaa ku shaqaynta xogta - halkii aad ka heli lahayd boqolaal wicis ah oo ku saabsan hawlaha cuDF, waxaad isticmaali kartaa hal su'aal SQL ah. Isticmaalka SQL wuxuu suurtogal ka dhigayaa in RAPIDS lagu dhex daro nidaamyada falanqaynta jira, iyada oo aan la qorin soo-saareyaal gaar ah iyo iyada oo aan la isticmaalin dhexdhexaadinta xogta DBMS dheeraad ah, laakiin
iyadoo la ilaalinayo la jaanqaadka buuxa ee dhammaan qaybaha RAPIDS, u turjumaya shaqada jirta ee SQL iyo bixinta waxqabadka heerka cuDF. Tan waxaa ku jira taageerada la qabsiga maktabadaha XGBoost и cuML xallinta dhibaatooyinka falanqaynta iyo barashada mashiinka.

Source: opennet.ru