BlazingSQL SQL इंजिन कोड उघडा, त्वरणासाठी GPU वापरून

घोषित केले एसक्यूएल इंजिनचे स्त्रोत उघडण्याबद्दल ब्लेझिंग एस क्यू एल, जे डेटा प्रक्रियेची गती वाढवण्यासाठी GPU चा वापर करते. BlazingSQL हे पूर्ण DBMS नाही, परंतु मोठ्या डेटा संचांचे विश्लेषण आणि प्रक्रिया करण्यासाठी एक इंजिन म्हणून स्थित आहे, त्याच्या कार्यांशी तुलना करता येते. अपाचे स्पार्क. कोड Python मध्ये लिहिलेला आहे आणि खुले आहे Apache 2.0 अंतर्गत परवानाकृत.

टॅब्युलर फॉरमॅटमध्ये (उदाहरणार्थ, लॉग, नेटफ्लो आकडेवारी इ.) संचयित केलेल्या मोठ्या डेटा सेटवर (दहापट गीगाबाइट्स) एकल विश्लेषणात्मक क्वेरी करण्यासाठी BlazingSQL योग्य आहे. BlazingSQL नेटवर्क आणि HDSF आणि AWS S3 सारख्या क्लाउड फाइल सिस्टमवर होस्ट केलेल्या CSV आणि Apache Parquet फॉरमॅटमधील रॉ फाइल्समधून क्वेरी रन करू शकते, परिणाम थेट GPU मेमरीवर हस्तांतरित करते. GPU मधील ऑपरेशन्सचे समांतरीकरण आणि वेगवान व्हिडिओ मेमरी वापरल्याबद्दल धन्यवाद, BlazingSQL क्वेरी यापेक्षा कमी वेळेत कार्यान्वित होतात एक्सएनयूएमएक्स वेळा Apache Spark पेक्षा वेगवान.

GPU सह कार्य करण्यासाठी, NVIDIA च्या सहभागासह विकसित केलेला संच वापरला जातो उघडा लायब्ररी रॅपिड्स, जे तुम्हाला डेटा प्रोसेसिंग आणि अॅनालिटिक्स अॅप्लिकेशन्स तयार करण्यास अनुमती देते जे संपूर्णपणे GPU बाजूला चालते (द्वारा प्रदान केलेले पायथन इंटरफेस लो-लेव्हल CUDA प्रिमिटिव्ह वापरणे आणि समांतर गणना करणे).

BlazingSQL डेटा प्रोसेसिंग API ऐवजी SQL वापरण्याची क्षमता प्रदान करते cuUDF (तळावर अपाचे बाण) RAPIDS मध्ये वापरले. BlazingSQL हा एक अतिरिक्त स्तर आहे जो cuDF च्या वर चालतो आणि डिस्कवरील डेटा वाचण्यासाठी cuIO लायब्ररी वापरतो. SQL क्वेरी cuUDF फंक्शन्सच्या कॉलमध्ये अनुवादित केल्या जातात, जे तुम्हाला GPU मध्ये डेटा लोड करण्याची आणि त्यावर विलीनीकरण, एकत्रीकरण आणि फिल्टरिंग ऑपरेशन्स करण्यास अनुमती देतात. हजारो GPU मध्ये वितरीत केलेल्या कॉन्फिगरेशनची निर्मिती समर्थित आहे.

BlazingSQL डेटासह कार्य करणे मोठ्या प्रमाणात सुलभ करते - cuDF फंक्शन्सवर शेकडो कॉल्सऐवजी, तुम्ही एक SQL क्वेरी वापरू शकता. SQL च्या वापरामुळे विशिष्ट प्रोसेसर न लिहिता आणि अतिरिक्त DBMS मध्ये डेटाचे इंटरमीडिएट लोडिंगचा अवलंब न करता, विद्यमान विश्लेषण प्रणालीसह RAPIDS समाकलित करणे शक्य होते, परंतु
RAPIDS च्या सर्व भागांसह पूर्ण सुसंगतता राखून, विद्यमान कार्यक्षमतेचे SQL मध्ये भाषांतर करून आणि cuDF स्तरावर कार्यप्रदर्शन प्रदान करताना. यामध्ये लायब्ररीसह एकत्रीकरणासाठी समर्थन समाविष्ट आहे XGBoost и cuML विश्लेषण आणि मशीन लर्निंगच्या समस्या सोडवण्यासाठी.

स्त्रोत: opennet.ru