BlazingSQL SQL motor kodu açık, hızlandırma için GPU kullanılıyor

Duyuruldu SQL motorunun kaynaklarını açma hakkında yanan SQLVeri işlemeyi hızlandırmak için GPU'yu kullanan. BlazingSQL tam teşekküllü bir DBMS değildir, ancak görevleri bakımından karşılaştırılabilir şekilde büyük veri kümelerini analiz etmek ve işlemek için bir motor olarak konumlandırılmıştır. Apache Spark. Kod Python'da yazılmıştır ve açık Apache 2.0 altında lisanslanmıştır.

BlazingSQL, tablo formatlarında (örneğin, günlükler, NetFlow istatistikleri vb.) depolanan büyük veri kümeleri (onlarca gigabayt) üzerinde tek analitik sorgular gerçekleştirmek için uygundur. BlazingSQL, HDSF ve AWS S3 gibi ağ ve bulut dosya sistemlerinde barındırılan CSV ve Apache Parquet formatlarındaki ham dosyalardan sorgular çalıştırabilir ve sonucu doğrudan GPU belleğine aktarabilir. GPU'daki işlemlerin paralelleştirilmesi ve daha hızlı video belleğinin kullanılması sayesinde BlazingSQL'de sorgular gerçekleştirilir. 20 kez Apache Spark'tan daha hızlı.

GPU'larla çalışmak için NVIDIA'nın katılımıyla geliştirilen bir set kullanılıyor açık kütüphaneler HIZLITamamen GPU tarafında çalışan veri işleme ve analiz uygulamaları oluşturmanıza olanak tanır (tarafından sağlanır). Python arayüzü düşük seviyeli CUDA temellerini kullanmak ve hesaplamaları paralelleştirmek için).

BlazingSQL, veri işleme API'leri yerine SQL kullanma olanağı sağlar cuUDF (taban üzerinde Apaçi Oku) RAPIDS'te kullanılır. BlazingSQL, cuDF'nin üzerinde çalışan ve diskten veri okumak için cuIO kitaplığını kullanan ek bir katmandır. SQL sorguları, verileri GPU'ya yüklemenize ve üzerinde birleştirme, toplama ve filtreleme işlemleri gerçekleştirmenize olanak tanıyan cuUDF işlevlerine yapılan çağrılara dönüştürülür. Binlerce GPU'yu kapsayan dağıtılmış yapılandırmaların oluşturulması desteklenir.

BlazingSQL, verilerle çalışmayı büyük ölçüde basitleştirir; cuDF işlevlerine yapılan yüzlerce çağrı yerine tek bir SQL sorgusu kullanabilirsiniz. SQL kullanımı, belirli işlemciler yazmaya gerek kalmadan ve verilerin ek bir DBMS'ye ara yüklemesine gerek kalmadan RAPIDS'in mevcut analiz sistemleriyle entegre edilmesini mümkün kılar, ancak
RAPIDS'in tüm parçalarıyla tam uyumluluğu korurken, mevcut işlevselliği SQL'e çevirir ve cuDF düzeyinde performans sağlar. Buna kütüphanelerle entegrasyon desteği de dahildir XGBoost и cuML analitik ve makine öğrenimi sorunlarını çözmek için.

Kaynak: opennet.ru