BlazingSQL SQL ძრავის კოდი ღიაა, აჩქარებისთვის GPU-ს გამოყენებით

გამოაცხადა SQL ძრავის წყაროების გახსნის შესახებ BlazingSQL, რომელიც იყენებს GPU-ს მონაცემთა დამუშავების დასაჩქარებლად. BlazingSQL არ არის სრულფასოვანი DBMS, მაგრამ პოზიციონირებულია, როგორც ძრავა დიდი მონაცემთა ნაკრების ანალიზისა და დამუშავებისთვის, მისი ამოცანების შესადარებელი. Apache Spark. კოდი დაწერილია პითონში და ღია ლიცენზირებულია Apache 2.0-ით.

BlazingSQL შესაფერისია ერთიანი ანალიტიკური მოთხოვნების შესასრულებლად დიდი მონაცემთა ნაკრებებზე (ათობით გიგაბაიტი), რომლებიც ინახება ცხრილის ფორმატებში (მაგალითად, ჟურნალები, NetFlow სტატისტიკა და ა.შ.). BlazingSQL-ს შეუძლია შეკითხვის გაშვება ნედლი ფაილებიდან CSV და Apache Parquet ფორმატებში, რომლებიც მასპინძლობს ქსელურ და ღრუბლოვან ფაილურ სისტემებს, როგორიცაა HDSF და AWS S3, პირდაპირ გადასცემს შედეგს GPU მეხსიერებაში. GPU-ში ოპერაციების პარალელიზაციისა და უფრო სწრაფი ვიდეო მეხსიერების გამოყენების წყალობით, BlazingSQL მოთხოვნები შესრულებულია ნაკლებ დროში. 20 ჯერ უფრო სწრაფი ვიდრე Apache Spark.

GPU–ებთან მუშაობისთვის გამოიყენება NVIDIA–ს მონაწილეობით შემუშავებული ნაკრები ღია ბიბლიოთეკები RAPIDS, რომელიც საშუალებას გაძლევთ შექმნათ მონაცემთა დამუშავებისა და ანალიტიკის აპლიკაციები, რომლებიც მუშაობენ მთლიანად GPU-ს მხარეს (მოწოდებულია პითონის ინტერფეისი დაბალი დონის CUDA პრიმიტივების გამოყენება და გამოთვლების პარალელიზება).

BlazingSQL უზრუნველყოფს SQL-ის გამოყენების შესაძლებლობას მონაცემთა დამუშავების API-ების ნაცვლად cuUDF (ბაზაზე აპაჩის ისარი) გამოიყენება RAPIDS-ში. BlazingSQL არის დამატებითი ფენა, რომელიც გადის cuDF-ის თავზე და იყენებს cuIO ბიბლიოთეკას დისკიდან მონაცემების წასაკითხად. SQL მოთხოვნები ითარგმნება cuUDF ფუნქციების ზარებად, რაც საშუალებას გაძლევთ ჩატვირთოთ მონაცემები GPU-ში და შეასრულოთ მასზე შერწყმის, აგრეგაციის და ფილტრაციის ოპერაციები. განაწილებული კონფიგურაციების შექმნა, რომელიც მოიცავს ათასობით GPU-ს, მხარდაჭერილია.

BlazingSQL მნიშვნელოვნად ამარტივებს მონაცემებთან მუშაობას - cuDF ფუნქციებზე ასობით ზარის ნაცვლად, შეგიძლიათ გამოიყენოთ ერთი SQL მოთხოვნა. SQL-ის გამოყენება შესაძლებელს ხდის RAPIDS-ის ინტეგრირებას არსებულ ანალიტიკურ სისტემებთან, კონკრეტული პროცესორების ჩაწერის გარეშე და მონაცემთა შუალედური დატვირთვის გარეშე დამატებით DBMS-ში, მაგრამ
RAPIDS-ის ყველა ნაწილთან სრული თავსებადობის შენარჩუნებისას, არსებული ფუნქციების SQL-ში გადათარგმნისა და cuDF დონეზე შესრულების უზრუნველყოფისას. ეს მოიცავს ბიბლიოთეკებთან ინტეგრაციის მხარდაჭერას Xgboost и cuML ანალიტიკისა და მანქანათმცოდნეობის პრობლემების გადასაჭრელად.

წყარო: opennet.ru