DuckDB 0.6.0, विश्लेषणात्मक प्रश्नहरूको लागि SQLite संस्करण प्रकाशित

DuckDB 0.6.0 DBMS को रिलीज उपलब्ध छ, SQLite को कम्प्याक्टनेस, एम्बेडेड लाइब्रेरीको रूपमा जडान गर्ने क्षमता, डाटाबेसलाई एउटा फाइलमा भण्डारण गर्ने र सुविधाजनक CLI इन्टरफेस, उपकरणहरू र कार्यान्वयनका लागि अप्टिमाइजेसनहरू जस्ता गुणहरू संयोजन गर्दै। विश्लेषणात्मक प्रश्नहरू भण्डार गरिएको डाटाको महत्त्वपूर्ण भागलाई कभर गर्दछ, उदाहरणका लागि जुन तालिकाहरूको सम्पूर्ण सामग्रीहरू जम्मा गर्दछ वा धेरै ठूला तालिकाहरू मर्ज गर्दछ। परियोजना कोड MIT लाइसेन्स अन्तर्गत वितरण गरिएको छ। विकास अझै पनि प्रयोगात्मक रिलीजहरू गठन गर्ने चरणमा छ, किनकि भण्डारण ढाँचा अझै स्थिर गरिएको छैन र संस्करणबाट संस्करणमा परिवर्तन हुन्छ।

DuckDB ले एक उन्नत SQL बोली प्रदान गर्दछ जुन धेरै जटिल र समय-उपभोग गर्ने प्रश्नहरू ह्यान्डल गर्नका लागि अतिरिक्त क्षमताहरू समावेश गर्दछ। जटिल प्रकारहरूको प्रयोग (एरे, संरचना, युनियन) र स्वेच्छाचारी र नेस्टेड सहसंबद्ध सबक्वेरीहरू कार्यान्वयन गर्ने क्षमता समर्थित छन्। यसले CSV र Parquet फाइलहरूबाट सीधै प्रश्नहरू चलाउन, एकै साथ धेरै प्रश्नहरू चलाउन समर्थन गर्दछ। PostgreSQL DBMS बाट आयात गर्न सम्भव छ।

SQLite बाट शेल कोडको अतिरिक्त, परियोजनाले छुट्टै पुस्तकालयमा PostgreSQL बाट पार्सर प्रयोग गर्दछ, MonetDB बाट मिति गणित कम्पोनेन्ट, विन्डो प्रकार्यहरूको आफ्नै कार्यान्वयन (खण्ड ट्री एग्रीगेशन एल्गोरिथ्ममा आधारित), नियमित अभिव्यक्ति प्रोसेसरमा आधारित। RE2 पुस्तकालय, यसको आफ्नै क्वेरी अप्टिमाइजर, र MVCC नियन्त्रण संयन्त्र एक साथ कार्यहरूको कार्यान्वयन (मल्टी-भर्सन कन्करन्सी कन्ट्रोल), साथै हाइपर-पाइपलाइनिङ क्वेरी कार्यान्वयन एल्गोरिदममा आधारित भेक्टराइज्ड क्वेरी कार्यान्वयन इन्जिन, जसले ठूलो सेटहरूलाई अनुमति दिन्छ। एक अपरेशनमा एकै पटक प्रशोधन गर्न।

नयाँ रिलीजमा परिवर्तनहरू मध्ये:

• भण्डारण ढाँचा सुधार गर्न काम जारी छ। एक आशावादी डिस्क लेखन मोड लागू गरिएको छ, जसमा एक लेनदेनमा डाटाको ठूलो सेट लोड गर्दा, डेटा कम्प्रेस गरिएको छ र स्ट्रिमिङ मोडमा डाटाबेसबाट फाइलमा लेखिएको छ, लेनदेनलाई COMMIT आदेशको साथ पुष्टि हुनको लागि प्रतीक्षा नगरी। । जब COMMIT आदेश प्राप्त हुन्छ, डाटा पहिले नै डिस्कमा लेखिएको हुन्छ, र जब ROLLBACK कार्यान्वयन हुन्छ, यसलाई खारेज गरिन्छ। पहिले, डाटा सुरुमा मेमोरीमा पूर्ण रूपमा बचत गरिएको थियो, र प्रतिबद्ध हुँदा, यो डिस्कमा बचत गरिएको थियो।
• अलग-अलग तालिकाहरूमा डेटाको समानान्तर लोडिङको लागि समर्थन थपियो, जसले तपाईंलाई बहु-कोर प्रणालीहरूमा लोडिङ गति उल्लेखनीय रूपमा बढाउन अनुमति दिन्छ। उदाहरण को लागी, अघिल्लो रिलीज मा, 150-कोर CPU मा 10 मिलियन पङ्क्तिहरु संग डाटाबेस लोड गर्न 91 सेकेन्ड लाग्यो, तर नयाँ संस्करण मा यो अपरेशन 17 सेकेन्ड मा पूरा हुन्छ। त्यहाँ दुई समानान्तर लोडिङ मोडहरू छन् - रेकर्डको क्रमको संरक्षणको साथ र अर्डरको संरक्षण बिना।
• डाटा कम्प्रेसनको लागि, FSST (फास्ट स्टेटिक सिम्बोल टेबल) एल्गोरिथ्म प्रयोग गरिन्छ, जसले तपाईंलाई सामान्य मिलानहरूको सामान्य शब्दकोश प्रयोग गरेर स्ट्रिङहरू भित्र डाटा प्याक गर्न अनुमति दिन्छ। नयाँ एल्गोरिथ्मको प्रयोगले परीक्षण डाटाबेसको साइज 761MB बाट 251MB मा घटाउन सम्भव बनायो।
• चिम्प र पाटास एल्गोरिदमहरू फ्लोटिंग पोइन्ट नम्बरहरू (डबल र फ्लोट) कम्प्रेस गर्न प्रस्तावित छन्। अघिल्लो गोरिल्ला एल्गोरिदमको तुलनामा, चिम्पले उच्च स्तरको कम्प्रेसन र छिटो डिकम्प्रेसन प्रदान गर्दछ। Patas एल्गोरिदम कम्प्रेसन अनुपातमा Chimp भन्दा पछि छ, तर decompression गतिमा धेरै छिटो छ, जुन असम्पीडित डेटा पढ्ने भन्दा लगभग फरक छैन।
• CSV फाइलहरूबाट बहु समानान्तर स्ट्रिमहरूमा डेटा लोड गर्न प्रयोगात्मक क्षमता थपियो (SET experimental_parallel_csv=true), जसले ठूला CSV फाइलहरू लोड गर्न लाग्ने समयलाई उल्लेखनीय रूपमा घटाउँछ। उदाहरणका लागि, जब यो विकल्प सक्षम पारिएको थियो, 720 MB CSV फाइलको डाउनलोड समय 3.5 बाट 0.6 सेकेन्डमा घटाइयो।
• सूचकांक निर्माण र व्यवस्थापन कार्यहरूको समानान्तर कार्यान्वयनको सम्भावना लागू गरिएको छ। उदाहरणका लागि, 16 मिलियन रेकर्डहरू भएको स्तम्भमा CREATE INDEX सञ्चालन 5.92 बाट 1.38 सेकेन्डमा घटाइयो।
• "COUNT(DISTINCT col)" अभिव्यक्ति समावेश गरिएका क्वेरीहरूमा एग्रीगेशन कार्यहरूको समानान्तरीकरण सक्षम गरियो।
• SQL ले UNION प्रकारको लागि समर्थन थपेको छ, जसले धेरै प्रकारहरूलाई एउटा तत्वमा बाँध्न अनुमति दिन्छ (उदाहरणका लागि, "UNION(num INT, त्रुटि VARCHAR))")।
• SQL ले "SELECT" को सट्टा "FROM" शब्दबाट सुरु हुने प्रश्नहरू बनाउन सक्ने क्षमता प्रदान गर्दछ। यस अवस्थामा, यो मानिन्छ कि क्वेरी "SELECT *" बाट सुरु हुन्छ।
• SQL ले COLUMNS अभिव्यक्तिको लागि समर्थन थपेको छ, जसले तपाईंलाई अभिव्यक्तिको नक्कल नगरी धेरै स्तम्भहरूमा सञ्चालन गर्न अनुमति दिन्छ। उदाहरणका लागि, "obs बाट MIN(COLUMNS(*)) चयन गर्नुहोस्;" obs तालिकाको प्रत्येक स्तम्भको लागि MIN प्रकार्यलाई कार्यान्वयन गराउनेछ, र "obs बाट COLUMNS('val[0-9]+') लाई चयन गर्नुहोस्;" "val" र संख्याहरू समावेश भएको नाम भएको स्तम्भहरूको लागि।
• सूचीहरूमा सञ्चालनका लागि समर्थन थपियो, उदाहरणका लागि, "चयन गर्नुहोस् [x + 1 in x का लागि [1, 2, 3]] AS l;"।
• मेमोरी खपत अप्टिमाइज गरिएको छ। पूर्वनिर्धारित रूपमा, लिनक्स प्लेटफर्मले मेमोरी व्यवस्थापनको लागि jemalloc पुस्तकालय प्रयोग गर्दछ। मेमोरी सीमित हुँदा ह्यास मर्जिङ अपरेसनहरूको उल्लेखनीय रूपमा सुधारिएको प्रदर्शन।
• कमाण्ड लाइन इन्टरफेसमा ".mode डकबक्स" आउटपुट मोड थपियो, जसले टर्मिनल सञ्झ्यालको चौडाइलाई ध्यानमा राखेर मध्य स्तम्भहरूलाई खारेज गर्छ (ठूलो संख्यामा स्तम्भहरू, जस्तै "SELECT* FROM tbl", जुन सामान्य मोडमा धेरै रेखाहरूमा फैलिएको छ)। ".maxrows X" प्यारामिटर प्रयोग गरेर, तपाइँ थप रूपमा प्रदर्शित पङ्क्तिहरूको संख्या सीमित गर्न सक्नुहुन्छ।
• CLI ले कन्टेक्स्ट (कुञ्जी शब्दहरू, तालिका नामहरू, प्रकार्यहरू, स्तम्भ नामहरू र फाइल नामहरूको इनपुट पूरा भयो) लाई खातामा लिई इनपुटको स्वत: पूर्णता प्रदान गर्दछ।
• CLI मा पूर्वनिर्धारित रूपमा सक्षम गरिएको क्वेरी प्रगति सूचक छ।

स्रोत: opennet.ru