ब्लेज़िंगएसक्यूएल एसक्यूएल इंजन कोड खुला, त्वरण के लिए जीपीयू का उपयोग

की घोषणा की SQL इंजन के स्रोत खोलने के बारे में ब्लेज़िंगएसक्यूएल, जो डेटा प्रोसेसिंग को तेज़ करने के लिए GPU का उपयोग करता है। ब्लेज़िंगएसक्यूएल एक पूर्ण विकसित डीबीएमएस नहीं है, लेकिन बड़े डेटा सेटों के विश्लेषण और प्रसंस्करण के लिए एक इंजन के रूप में तैनात है, जो इसके कार्यों में तुलनीय है। अपाचे स्पार्क. कोड पायथन में लिखा गया है और खुला है अपाचे 2.0 के तहत लाइसेंस प्राप्त।

ब्लेज़िंगएसक्यूएल सारणीबद्ध प्रारूपों (उदाहरण के लिए, लॉग, नेटफ्लो आँकड़े, आदि) में संग्रहीत बड़े डेटा सेट (दसियों गीगाबाइट) पर एकल विश्लेषणात्मक क्वेरी करने के लिए उपयुक्त है। ब्लेज़िंगएसक्यूएल एचडीएसएफ और एडब्ल्यूएस एस3 जैसे नेटवर्क और क्लाउड फाइल सिस्टम पर होस्ट की गई सीएसवी और अपाचे पारक्वेट प्रारूपों में कच्ची फाइलों से क्वेरी चला सकता है, परिणाम को सीधे जीपीयू मेमोरी में स्थानांतरित कर सकता है। GPU में संचालन के समानांतरीकरण और तेज़ वीडियो मेमोरी के उपयोग के लिए धन्यवाद, ब्लेज़िंगएसक्यूएल क्वेरीज़ कम समय में निष्पादित होती हैं 20 बार अपाचे स्पार्क से भी तेज़।

GPU के साथ काम करने के लिए, NVIDIA की भागीदारी से विकसित एक सेट का उपयोग किया जाता है खुला हुआ पुस्तकालय उतार, जो आपको डेटा प्रोसेसिंग और एनालिटिक्स एप्लिकेशन बनाने की अनुमति देता है जो पूरी तरह से GPU पक्ष पर चलते हैं (द्वारा प्रदान किया गया)। पायथन इंटरफ़ेस निम्न-स्तरीय CUDA प्राइमेटिव्स का उपयोग करना और गणनाओं को समानांतर करना)।

ब्लेज़िंगएसक्यूएल डेटा प्रोसेसिंग एपीआई के बजाय एसक्यूएल का उपयोग करने की क्षमता प्रदान करता है सीयूयूडीएफ (आधार पर अपाचे तीर) रैपिड्स में उपयोग किया जाता है। ब्लेज़िंगएसक्यूएल एक अतिरिक्त परत है जो सीयूडीएफ के शीर्ष पर चलती है और डिस्क से डेटा पढ़ने के लिए क्यूआईओ लाइब्रेरी का उपयोग करती है। SQL क्वेरीज़ को cuUDF फ़ंक्शंस में कॉल में अनुवादित किया जाता है, जो आपको GPU में डेटा लोड करने और उस पर मर्ज, एकत्रीकरण और फ़िल्टरिंग ऑपरेशन करने की अनुमति देता है। हजारों जीपीयू तक फैले वितरित कॉन्फ़िगरेशन का निर्माण समर्थित है।

ब्लेज़िंगएसक्यूएल डेटा के साथ काम करना बहुत सरल बनाता है - सीयूडीएफ फ़ंक्शन के लिए सैकड़ों कॉल के बजाय, आप एक एसक्यूएल क्वेरी का उपयोग कर सकते हैं। SQL का उपयोग विशिष्ट प्रोसेसर लिखे बिना और अतिरिक्त DBMS में डेटा की मध्यवर्ती लोडिंग का सहारा लिए बिना, मौजूदा एनालिटिक्स सिस्टम के साथ RAPIDS को एकीकृत करना संभव बनाता है, लेकिन
RAPIDS के सभी भागों के साथ पूर्ण अनुकूलता बनाए रखते हुए, मौजूदा कार्यक्षमता को SQL में अनुवादित करना और cuDF स्तर पर प्रदर्शन प्रदान करना। इसमें पुस्तकालयों के साथ एकीकरण के लिए समर्थन शामिल है एक्सजीबूस्ट и सीयूएमएल एनालिटिक्स और मशीन लर्निंग की समस्याओं को हल करने के लिए।

स्रोत: opennet.ru