DBMS SQLite 3.42 आणि DuckDB 0.8.0 चे प्रकाशन. SQLite साठी संचयित प्रक्रियेच्या अंमलबजावणीसह CG/SQL

SQLite 3.42 चे प्रकाशन, प्लग-इन लायब्ररी म्हणून डिझाइन केलेले हलके DBMS, प्रकाशित झाले आहे. SQLite कोड सार्वजनिक डोमेन म्हणून वितरित केला जातो, उदा. निर्बंधांशिवाय आणि कोणत्याही हेतूसाठी विनामूल्य वापरले जाऊ शकते. SQLite डेव्हलपरसाठी आर्थिक सहाय्य खास तयार केलेल्या कन्सोर्टियमद्वारे प्रदान केले जाते, ज्यामध्ये Adobe, Oracle, Mozilla, Bentley आणि Bloomberg सारख्या कंपन्यांचा समावेश आहे.

मुख्य बदल:

• FTS5 पूर्ण-मजकूर निर्देशांकांसाठी, सुरक्षित-हटवा आदेश लागू केला गेला आहे, जो हटविल्यानंतर सर्व अवशिष्ट डेटा पूर्णपणे साफ करतो.
• JSON डेटावर प्रक्रिया करण्यासाठी कार्ये आता JSON5 विस्तारांना समर्थन देतात.
• सुधारित क्वेरी प्लॅनर. डीफॉल्टनुसार, काउंट-ऑफ-व्ह्यू ऑप्टिमायझेशन सक्षम केले आहे. सबक्वेरीजमधील न वापरलेल्या स्तंभांची प्रक्रिया काढून टाकली जाते. पुश-डाउन ऑप्टिमायझेशनची सुधारित अंमलबजावणी.
• कमांड लाइन इंटरफेसमध्ये “--असुरक्षित-चाचणी” पर्याय जोडला, जो चाचणीमध्ये वापरण्याच्या उद्देशाने “.testctrl” सारख्या काही धोकादायक कमांडचा वापर करण्यास अनुमती देतो. सुरक्षित मोडमध्ये ("-सुरक्षित"), ".लॉग ऑन" आणि ".लॉग ऑफ" कमांडचा वापर करण्यास परवानगी आहे. ज्यानंतर पर्याय प्रक्रिया अक्षम केली जाते त्या युक्तिवादांसाठी “—” परिसीमकासाठी समर्थन जोडले. अनंत आणि NaN मूल्यांशी संबंधित ":inf" आणि ":nan" पॅरामीटर्स जोडले.
• ॲप्लिकेशन-परिभाषित SQL फंक्शन नावांना क्रॉस, फुल, इनर, लेफ्ट, नॅचरल, आऊटर आणि राईट कीवर्डसह ओव्हरलॅप करण्याची परवानगी आहे.
• PRAGMA integrity_check च्या क्षमतांचा विस्तार करण्यात आला आहे. NOT NULL स्थितीसह स्तंभांमध्ये NaN मूल्ये निर्दिष्ट करण्यासाठी तपासणी जोडली. त्रुटी संदेशांची सुधारित माहिती सामग्री.
• सत्र अॅड-ऑन ROWID शिवाय सारण्यांमधून बदल रोखण्याची परवानगी देते.
• सेकंदांचे अपूर्णांक वापरण्यासाठी वेळा आणि तारखांसह कार्य करण्यासाठी "सबसेक" सुधारक फंक्शन्समध्ये जोडले गेले आहेत.
• अॅरे आणि JSON ऑब्जेक्ट्ससाठी डीफॉल्ट पुनरावृत्ती खोली 2000 वरून 1000 पर्यंत कमी केली आहे.

याव्यतिरिक्त, DuckDB 0.8.0 DBMS चे प्रकाशन तयार केले गेले आहे, जे SQLite ची आवृत्ती विकसित करते, संचयित डेटाचा महत्त्वपूर्ण भाग समाविष्ट असलेल्या विश्लेषणात्मक क्वेरी कार्यान्वित करण्यासाठी क्षमता आणि ऑप्टिमायझेशनसह विस्तारित करते, उदाहरणार्थ, संपूर्ण सामग्रीचे एकत्रीकरण करणे. सारण्यांचे किंवा अनेक मोठ्या सारण्या विलीन करणे. SQL ची एक प्रगत बोली प्रदान करते ज्यामध्ये अतिशय जटिल आणि वेळ घेणार्‍या क्वेरींवर प्रक्रिया करण्यासाठी अतिरिक्त क्षमतांचा समावेश आहे आणि जटिल प्रकारांना (अॅरे, संरचना, युनियन), एकाच वेळी एकाधिक क्वेरी चालवणे आणि थेट CSV, JSON आणि Parquet फायलींमधून क्वेरी चालविण्यास समर्थन देते. . PostgreSQL DBMS वरून आयात करणे शक्य आहे.

SQLite मधील शेल कोड व्यतिरिक्त, प्रोजेक्ट पोस्टग्रेएसक्यूएल मधील पार्सरचा वापर वेगळ्या लायब्ररीमध्ये करतो, MonetDB मधील डेट मॅथ घटक, विंडो फंक्शन्सची स्वतःची अंमलबजावणी (सेगमेंट ट्री एग्रीगेशन अल्गोरिदमवर आधारित), रेग्युलर एक्सप्रेशन प्रोसेसर यावर आधारित RE2 लायब्ररी, त्याचे स्वतःचे क्वेरी ऑप्टिमायझर आणि MVCC नियंत्रण यंत्रणा एकाचवेळी कार्यांची अंमलबजावणी (मल्टी-व्हर्जन कॉन्करन्सी कंट्रोल), तसेच हायपर-पाइपलाइनिंग क्वेरी एक्झिक्यूशन अल्गोरिदमवर आधारित व्हेक्टराइज्ड क्वेरी एक्झिक्यूशन इंजिन, जे मोठ्या मूल्यांच्या सेटस परवानगी देते. एकाच ऑपरेशनमध्ये एकाच वेळी प्रक्रिया करणे. प्रकल्प कोड एमआयटी परवान्याअंतर्गत वितरित केला जातो.

DuckDB च्या नवीन आवृत्तीमध्ये:

• पंक्तींचे स्तंभांमध्ये रूपांतर करण्यासाठी आणि त्याउलट "PIVOT" आणि "UNPIVOT" नवीन अभिव्यक्ती जोडली.
• डेटा आयात आणि निर्यात करताना सुधारित समांतरीकरण. डीफॉल्टनुसार, Parquet, CSV आणि JSON फॉरमॅट्स वापरताना CSV फाइल्समधून मल्टी-थ्रेडेड रीडिंग आणि मल्टी-थ्रेडेड लेखन लागू केले जाते.
• फाइल पाथ ठरवताना डिरेक्टरीद्वारे पुनरावृत्ती करण्यासाठी "**" ऑपरेटर जोडला (उदाहरणार्थ, FROM "'data/glob/crawl/stackoverflow/**/*.csv';").
• टाइम सीरिजच्या स्वरूपात डेटासाठी विलीनीकरण ऑपरेशन्स (जॉइन) साठी समर्थन जोडले (निर्दिष्ट वेळेच्या अंतराने पॅरामीटर मूल्यांचे तुकडे), ज्यामध्ये रेकॉर्ड विलीन करण्याचा निकष अचूक नाही, परंतु मूल्यांचा अंदाजे योगायोग आहे. वेळेसह फील्डमध्ये (उदाहरणार्थ, आपण रेकॉर्ड विलीन करू शकता, वेळ जो 1 मिनिटापेक्षा जास्त नाही).
• डेटाबेस मेटाडेटाचे आळशी लोडिंग लागू केले, ज्यामुळे DBMS लाँच करण्याची गती दहापटीने वाढवणे शक्य झाले.
• Python मध्ये कस्टम फंक्शन्स कनेक्ट करण्यासाठी समर्थन जोडले.
• Apache Arrow वापरून डेटा ट्रान्सफर करण्यासाठी ADBC ​​(Arrow Database Connectivity) API साठी समर्थन जोडले.
• स्विफ्ट कोडसह एकत्रीकरणासाठी बंधनकारक लागू करण्यात आले आहे.
• डीफॉल्टनुसार पूर्णांक ऑपरेशन्सऐवजी फ्लोटिंग पॉइंट गणना करण्यासाठी डिव्हिजन ऑपरेटरचे ("/") वर्तन बदलले. पूर्णांक भागासाठी नवीन ऑपरेटर “//” प्रस्तावित आहे. "SET integer_division=true;" सेट करून जुने वर्तन परत केले जाऊ शकते.
• वर्गीकरण करताना शून्य नोंदी विचारात घेण्याची पद्धत “NULLS FIRST” वरून “NULLS LAST” मध्ये बदलली आहे, म्हणजे. NULL मूल्ये आता सूचीच्या सुरूवातीऐवजी शेवटी मुद्रित केली जातील. "SET default_null_order='nulls_first';" सेट करून जुने वर्तन परत केले जाऊ शकते.

याव्यतिरिक्त, आम्ही फेसबुकने विकसित केलेला CG/SQL प्रकल्प लक्षात घेऊ शकतो, जो SQLite सह संचयित प्रक्रिया वापरण्यासाठी कोड जनरेटर प्रदान करतो. CG/SQL तुम्हाला T-SQL (Transact-SQL) च्या विशेष बोलीमध्ये संग्रहित प्रक्रिया लिहिण्याची परवानगी देते, जे मानक C लायब्ररीच्या कॉलिंग फंक्शन्स आणि SQLite मध्ये डेटा ऍक्सेस करण्यास अनुमती देते. व्युत्पन्न संचयित प्रक्रिया C कोडमध्ये संकलित केल्या जातात जे निर्दिष्ट क्रिया करण्यासाठी आणि जटिल प्रश्नांवर प्रक्रिया करण्यासाठी SQLite C API वापरतात. संकलित संग्रहित प्रक्रिया C, Java, आणि Objective-C प्रोग्रामशी जोडल्या जाऊ शकतात. प्रकल्प कोड C मध्ये लिहिलेला आहे आणि MIT परवान्याअंतर्गत वितरित केला जातो.

स्त्रोत: opennet.ru