BlazingSQL SQL mühərrik kodu açıq, sürətləndirmə üçün GPU istifadə edir

elan etdi SQL mühərrikinin mənbələrinin açılması haqqında BlazingSQL, məlumatların işlənməsini sürətləndirmək üçün GPU-dan istifadə edir. BlazingSQL tam hüquqlu DBMS deyil, lakin öz vəzifələri ilə müqayisə edilə bilən böyük məlumat dəstlərinin təhlili və emalı üçün mühərrik kimi yerləşdirilmişdir. Apache Spark. Kod Python-da yazılmışdır və açıq Apache 2.0 altında lisenziyalıdır.

BlazingSQL cədvəl formatlarında (məsələn, jurnallar, NetFlow statistikası və s.) saxlanılan böyük məlumat dəstləri (onlarla gigabayt) üzrə tək analitik sorğuların yerinə yetirilməsi üçün uyğundur. BlazingSQL, nəticəni birbaşa GPU yaddaşına köçürməklə HDSF və AWS S3 kimi şəbəkə və bulud fayl sistemlərində yerləşdirilən CSV və Apache Parquet formatlarında xam fayllardan sorğuları icra edə bilər. GPU-da əməliyyatların paralelləşdirilməsi və daha sürətli video yaddaşın istifadəsi sayəsində BlazingSQL sorğuları daha az müddətdə yerinə yetirilir. 20 dəfə Apache Spark-dan daha sürətli.

GPU-larla işləmək üçün NVIDIA-nın iştirakı ilə hazırlanmış dəst istifadə olunur açıq kitabxanalar RAPIDS, bu sizə tamamilə GPU tərəfində işləyən məlumatların emalı və analitik proqramlar yaratmağa imkan verir (təmin edilən Python interfeysi aşağı səviyyəli CUDA primitivlərindən istifadə etmək və hesablamaları paralelləşdirmək).

BlazingSQL məlumat emal API-ləri əvəzinə SQL-dən istifadə etmək imkanı verir cuUDF (əsas üzərində Apache Ox) RAPIDS-də istifadə olunur. BlazingSQL cuDF-nin üstündə işləyən və diskdən məlumatları oxumaq üçün cuIO kitabxanasından istifadə edən əlavə təbəqədir. SQL sorğuları cuUDF funksiyalarına edilən zənglərə çevrilir ki, bu da sizə məlumatları GPU-ya yükləməyə və orada birləşmə, toplama və filtrləmə əməliyyatlarını yerinə yetirməyə imkan verir. Minlərlə GPU-nu əhatə edən paylanmış konfiqurasiyaların yaradılması dəstəklənir.

BlazingSQL verilənlərlə işləməyi xeyli asanlaşdırır - cuDF funksiyalarına yüzlərlə zəng əvəzinə bir SQL sorğusundan istifadə edə bilərsiniz. SQL-dən istifadə xüsusi prosessorlar yazmadan və məlumatların əlavə DBMS-ə aralıq yüklənməsinə müraciət etmədən RAPIDS-i mövcud analitik sistemlərlə inteqrasiya etməyə imkan verir, lakin
RAPIDS-in bütün hissələri ilə tam uyğunluğu qoruyarkən, mövcud funksionallığı SQL-ə çevirərək və cuDF səviyyəsində performans təmin edir. Bura kitabxanalarla inteqrasiya üçün dəstək daxildir XGBoost и cuML analitika və maşın öyrənməsi problemlərinin həlli üçün.

Mənbə: opennet.ru