DuckDB 0.6.0 प्रकाशित, विश्लेषणात्मक प्रश्नांसाठी SQLite पर्याय

डकडीबी 0.6.0 डीबीएमएसचे प्रकाशन उपलब्ध आहे, कॉम्पॅक्टनेस, एम्बेडेड लायब्ररीच्या रूपात कनेक्ट करण्याची क्षमता, डेटाबेस एका फाईलमध्ये संग्रहित करणे आणि कार्यान्वित करण्यासाठी साधने आणि ऑप्टिमायझेशनसह सोयीस्कर सीएलआय इंटरफेस यासारख्या SQLite चे गुणधर्म एकत्र करणे. संग्रहित डेटाचा एक महत्त्वाचा भाग कव्हर करणार्‍या विश्लेषणात्मक क्वेरी, उदाहरणार्थ सारण्यांची संपूर्ण सामग्री एकत्रित करते किंवा अनेक मोठ्या सारण्या विलीन करतात. प्रकल्प कोड एमआयटी परवान्याअंतर्गत वितरित केला जातो. डेव्हलपमेंट अद्याप प्रायोगिक प्रकाशन तयार करण्याच्या टप्प्यावर आहे, कारण स्टोरेज स्वरूप अद्याप स्थिर झाले नाही आणि आवृत्ती ते आवृत्ती बदलते.

DuckDB एक प्रगत SQL बोली प्रदान करते ज्यामध्ये अत्यंत क्लिष्ट आणि वेळ घेणारे प्रश्न हाताळण्यासाठी अतिरिक्त क्षमतांचा समावेश आहे. जटिल प्रकारांचा वापर (अॅरे, स्ट्रक्चर्स, युनियन) आणि अनियंत्रित आणि नेस्टेड सहसंबंधित सबक्वेरी कार्यान्वित करण्याची क्षमता समर्थित आहे. CSV आणि Parquet फायलींमधून थेट क्वेरी चालवण्यास, एकाच वेळी एकाधिक क्वेरी चालविण्यास हे समर्थन करते. PostgreSQL DBMS वरून आयात करणे शक्य आहे.

SQLite कडील शेल कोड व्यतिरिक्त, प्रकल्प पोस्टग्रेएसक्यूएल मधील एका वेगळ्या लायब्ररीमध्ये पार्सर, MonetDB मधील तारीख गणित घटक, विंडो फंक्शन्सची स्वतःची अंमलबजावणी (सेगमेंट ट्री एकत्रीकरण अल्गोरिदमवर आधारित), नियमित अभिव्यक्ती प्रोसेसर वापरतो. RE2 लायब्ररी, त्याचे स्वतःचे क्वेरी ऑप्टिमायझर, आणि MVCC नियंत्रण यंत्रणा एकाचवेळी कार्यांची अंमलबजावणी (मल्टी-व्हर्जन कॉन्करन्सी कंट्रोल), तसेच हायपर-पाइपलाइनिंग क्वेरी एक्झिक्यूशन अल्गोरिदमवर आधारित व्हेक्टराइज्ड क्वेरी एक्झिक्यूशन इंजिन, जे मोठ्या मूल्यांच्या सेटस परवानगी देते. एकाच ऑपरेशनमध्ये एकाच वेळी प्रक्रिया करणे.

नवीन प्रकाशनातील बदलांपैकी:

• स्टोरेज फॉरमॅट सुधारण्याचे काम चालू राहिले. एक आशावादी डिस्क लेखन मोड लागू केला गेला आहे, ज्यामध्ये एका व्यवहारात डेटाचा मोठा संच लोड करताना, COMMIT कमांडद्वारे व्यवहाराची पुष्टी होण्याची प्रतीक्षा न करता डेटा संकुचित केला जातो आणि स्ट्रीमिंग मोडमध्ये डेटाबेसमधून फाइलवर लिहिला जातो. . जेव्हा COMMIT कमांड प्राप्त होते, तेव्हा डेटा आधीच डिस्कवर लिहिला जातो आणि जेव्हा ROLLBACK कार्यान्वित केला जातो तेव्हा तो टाकून दिला जातो. पूर्वी, डेटा सुरुवातीला पूर्णपणे मेमरीमध्ये जतन केला जात असे, आणि वचनबद्ध झाल्यावर, तो डिस्कवर जतन केला जात असे.
• स्वतंत्र सारण्यांमध्ये डेटाच्या समांतर लोडिंगसाठी समर्थन जोडले आहे, जे आपल्याला मल्टी-कोर सिस्टमवर लोडिंग गती लक्षणीय वाढविण्यास अनुमती देते. उदाहरणार्थ, मागील रिलीझमध्ये, 150-कोर सीपीयूवर 10 दशलक्ष पंक्ती असलेला डेटाबेस लोड करण्यासाठी 91 सेकंद लागले, परंतु नवीन आवृत्तीमध्ये हे ऑपरेशन 17 सेकंदात पूर्ण झाले. दोन समांतर लोडिंग मोड आहेत - रेकॉर्डच्या ऑर्डरच्या जतनासह आणि ऑर्डरचे जतन न करता.
• डेटा कॉम्प्रेशनसाठी, FSST (फास्ट स्टॅटिक सिम्बॉल टेबल) अल्गोरिदम वापरला जातो, जो तुम्हाला सामान्य जुळण्यांचा सामान्य शब्दकोश वापरून स्ट्रिंगमध्ये डेटा पॅक करण्याची परवानगी देतो. नवीन अल्गोरिदमच्या वापरामुळे चाचणी डेटाबेसचा आकार 761MB वरून 251MB पर्यंत कमी करणे शक्य झाले.
• चिंप आणि पटास अल्गोरिदम फ्लोटिंग पॉइंट क्रमांक (डबल आणि फ्लोट) संकुचित करण्यासाठी प्रस्तावित केले आहेत. पूर्वी वापरलेल्या गोरिल्ला अल्गोरिदमच्या तुलनेत, चिंप उच्च पातळीचे कॉम्प्रेशन आणि जलद डीकंप्रेशन प्रदान करते. पॅटास अल्गोरिदम कॉम्प्रेशन रेशोमध्ये चिंपपेक्षा मागे आहे, परंतु डीकंप्रेशन गतीमध्ये खूपच वेगवान आहे, जे असंपीडित डेटा वाचण्यापेक्षा जवळजवळ वेगळे नाही.
• CSV फायलींमधून डेटा एकाधिक समांतर प्रवाहांमध्ये लोड करण्याची प्रायोगिक क्षमता जोडली (SET experimental_parallel_csv=true), जे मोठ्या CSV फायली लोड करण्यासाठी लागणारा वेळ लक्षणीयरीत्या कमी करते. उदाहरणार्थ, हा पर्याय सक्षम असताना, 720 MB CSV फाइलसाठी डाउनलोड वेळ 3.5 वरून 0.6 सेकंदांपर्यंत कमी केला गेला.
• निर्देशांक निर्मिती आणि व्यवस्थापन ऑपरेशन्सच्या समांतर अंमलबजावणीची शक्यता लागू केली गेली आहे. उदाहरणार्थ, 16 दशलक्ष रेकॉर्ड असलेल्या स्तंभावरील क्रिएट इंडेक्स ऑपरेशन 5.92 वरून 1.38 सेकंदांपर्यंत कमी केले गेले.
• "COUNT(DISTINCT col)" अभिव्यक्ती असलेल्या क्वेरींमध्ये एकत्रीकरण ऑपरेशन्सचे समांतरीकरण सक्षम केले.
• SQL ने UNION प्रकारासाठी समर्थन जोडले आहे, जे एकापेक्षा जास्त प्रकारांना एका घटकाला बांधून ठेवण्याची परवानगी देते (उदाहरणार्थ, “UNION(num INT, error VARCHAR))”).
• SQL "SELECT" ऐवजी "FROM" या शब्दाने सुरू होणाऱ्या क्वेरी तयार करण्याची क्षमता प्रदान करते. या प्रकरणात, असे गृहीत धरले जाते की क्वेरी "SELECT *" ने सुरू होते.
• SQL ने COLUMNS अभिव्यक्तीसाठी समर्थन जोडले आहे, जे तुम्हाला अभिव्यक्तीची डुप्लिकेट न करता एकाधिक स्तंभांवर ऑपरेशन करण्यास अनुमती देते. उदाहरणार्थ, "obs मधून MIN(COLUMNS(*)) निवडा;" obs सारणीमधील प्रत्येक स्तंभासाठी MIN फंक्शन कार्यान्वित होईल आणि "obs मधून COLUMNS('val[0-9]+') निवडा;" "val" आणि संख्या असलेल्या नावासह स्तंभांसाठी.
• सूचीवरील ऑपरेशन्ससाठी समर्थन जोडले आहे, उदाहरणार्थ, “निवडा [x + 1 for x [1, 2, 3]] AS l;”.
• मेमरी वापर ऑप्टिमाइझ केला गेला आहे. डिफॉल्टनुसार, Linux प्लॅटफॉर्म मेमरी व्यवस्थापनासाठी jemalloc लायब्ररी वापरतो. जेव्हा मेमरी मर्यादित असते तेव्हा हॅश विलीनीकरण ऑपरेशन्सचे लक्षणीय सुधारित कार्यप्रदर्शन.
• कमांड लाइन इंटरफेसमध्ये ".मोड डकबॉक्स" आउटपुट मोड जोडला, जो टर्मिनल विंडोची रुंदी लक्षात घेऊन मधले स्तंभ टाकून देतो (खूप संख्येने कॉलमसह क्वेरीच्या परिणामांचे द्रुतपणे दृश्यमान मूल्यांकन करण्यासाठी योग्य, जसे की "निवडा * FROM tbl", जे सामान्य मोडमध्ये अनेक ओळींमध्ये पसरलेले आहे). “.maxrows X” पॅरामीटर वापरून, तुम्ही प्रदर्शित केलेल्या पंक्तींची संख्या देखील मर्यादित करू शकता.
• CLI संदर्भ लक्षात घेऊन इनपुटची स्वयंपूर्णता प्रदान करते (कीवर्ड, टेबलची नावे, फंक्शन्स, कॉलमची नावे आणि फाइलची नावे पूर्ण झाली आहेत).
• CLI मध्ये डीफॉल्टनुसार सक्षम केलेला क्वेरी प्रगती निर्देशक असतो.

स्त्रोत: opennet.ru