ओपनजेडएल 0.2.0

सात महीने के विकास के बाद, फ्रेमवर्क का संस्करण 0.2.0 जारी किया गया। ओपनजेडएल, जिसे लॉसलेस डेटा कंप्रेसर बनाने के लिए डिज़ाइन किया गया है।

इस फ्रेमवर्क में एक बेस लाइब्रेरी और भाषा में वर्णित विशेष कंप्रेसर बनाने के लिए उपकरण शामिल हैं। एसडीडीएल.
एक अच्छा डेडिकेटेड कंप्रेसर बनाने के दो चरण हैं:

1. संरचना निकालने के लिए डेटा विश्लेषण।
2. अच्छे बैकएंड कंप्रेसर का उपयोग करना जो परिणामी संरचना का लाभ उठाकर अच्छा संपीड़न प्राप्त करते हैं।

OpenZL दोनों चरणों के लिए उपकरण प्रदान करता है।

यह प्रोजेक्ट C और C++ में लिखा गया है और इसे BSD लाइसेंस के तहत वितरित किया गया है।

महत्त्वपूर्ण परिवर्तन

एसडीडीएल2

मूल डिजाइन लक्ष्यों को प्राप्त करने के लिए SDDL को पूरी तरह से नए सिरे से लिखा गया था। जबकि मूल डेमो एक सरलीकृत रनटाइम वातावरण था, SDDL2 एक पूर्ण विकसित कंपाइलर है: पार्सर डेटा को सिमेंटिक एनालाइजर को पास करता है, जो बदले में एक टाइप्ड एब्स्ट्रैक्ट सिंटैक्स ट्री (AST) को ऑप्टिमाइज़र को पास करता है, और ऑप्टिमाइज़र कोड जनरेटर को नियंत्रित करता है, जो वर्चुअल मशीन बाइटकोड उत्पन्न करता है।

इसका मुख्य परिणाम त्वरित पार्सिंग है। जब किसी रिकॉर्ड का स्थान केवल पैरामीटर और स्थिरांक का उपयोग करके पूरी तरह से निर्धारित किया जा सकता है, तो इंजन पिछले बाइट्स को स्कैन किए बिना सीधे किसी भी फ़ील्ड पर चला जाता है, जिससे कॉपी-रहित एक्सेस और कई जीबी/सेकंड की थ्रूपुट संभव हो पाती है।

भाषा का विकास इसके टूलसेट के साथ-साथ हुआ है। अब यह सशर्त कथनों के लिए 'when' क्लॉज़, पैरामीटराइज़्ड और अनाम रिकॉर्ड, रिकॉर्ड फ़ील्ड सदस्यों तक पहुंच और बिटवाइज़ और लॉजिकल ऑपरेटरों का समर्थन करती है।

डेवलपर पक्ष पर, सिमेंटिक विश्लेषण चरण अब रनटाइम के बजाय कंपाइल टाइम पर - सोर्स कोड लोकेशन के साथ - अपरिभाषित संदर्भों, टाइप बेमेल और एरीटी त्रुटियों की पहचान करता है, और .sddl फ़ाइलों के सिंटैक्स हाइलाइटिंग के लिए एक VS कोड एक्सटेंशन जारी किया गया है।

नया अंतर्निर्मित LZ कोडेक

OpenZL में अब ZL_GRAPH_LZ के रूप में दर्शाया गया अपना स्वयं का LZ कोडेक और zli यूटिलिटी में एक अनुक्रमिक संपीड़न प्रोफ़ाइल शामिल है। कोडेक पर काम जारी है, जिससे इसकी विशेषताओं का विस्तार हो रहा है और छोटे इनपुट डेटा को संसाधित करते समय प्रदर्शन में सुधार हो रहा है। वर्तमान में, यह 64 KB संपीड़न विंडो के साथ zstd स्तर 1 के समकक्ष कार्यक्षमता का समर्थन करता है।

OpenZL, LZ पाइपलाइन के प्रत्येक चरण को गति बढ़ाने के लिए पुनर्परिभाषित करने की सुविधा देता है। इसकी ग्राफ़ संरचना, सभी उपयोगों के लिए समान रूप से उपयुक्त एक ही पाइपलाइन का उपयोग करने के बजाय, एन्ट्रॉपी एन्कोडिंग चरणों को संयोजित करने की अनुमति देती है। कई चरणों को एक ही ऑपरेशन में संयोजित करके प्रोसेसिंग गति को बेहतर बनाया जा सकता है। इससे OpenZL, Silesia कॉर्पस पर Zstandard लेवल 1 की तुलना में 10% तेज़ कम्प्रेशन और 70% तेज़ डीकम्प्रेशन प्राप्त कर पाता है। हमारे परीक्षण:

बहुत बड़े इनपुट डेटा के लिए समर्थन

zli अब विशाल इनपुट डेटा (कई गीगाबाइट आकार का) को प्रोसेस करने में सक्षम है। संपीड़न से पहले, ऐसे डेटा को स्वचालित रूप से प्रबंधनीय आकार के टुकड़ों (डिफ़ॉल्ट रूप से लगभग 16 MB) में विभाजित किया जाता है, जिससे मेमोरी का उपयोग सीमित होता है, डेटा लोकैलिटी में सुधार होता है और समानांतर प्रोसेसिंग संभव हो पाती है। SDDL2 स्कीमा के साथ काम करते समय इसी तरह की स्वचालित चंकिंग सुविधा लागू करता है। इस प्रक्रिया में CSV, Parquet और मानक संख्यात्मक डेटा के लिए नए सेगमेंटर बनाए या अपडेट किए गए हैं, और सभी सेगमेंटर अब सीरियलाइज़ेबल और कॉन्फ़िगर करने योग्य हैं, इसलिए चयनित लेआउट को कंप्रेसर में सहेजा जा सकता है और बाद में पुनः उपयोग किया जा सकता है।

संपीड़न के दौरान इसे पारदर्शी रूप से लागू किया जाता है। ध्यान दें कि प्रशिक्षण प्रक्रिया अलग है और अप्रभावित रहती है, इसलिए इसे प्रशिक्षण सामग्री के रूप में विशाल इनपुट डेटा स्वीकार करने के लिए डिज़ाइन नहीं किया गया है।

ऑनलाइन ग्राफ विज़ुअलाइज़र में सुधार (प्रयास करना)
अब विज़ुअलाइज़र संपीड़न और विसंपीड़न के निशानों को शुरू से अंत तक पहचान लेता है।

स्ट्रीम प्रीव्यू पैनल आपको प्रत्येक एज के साथ वास्तव में प्रवाहित होने वाले बाइट्स को देखने की सुविधा देता है, और ट्रिमिंग नियंत्रण बड़े स्ट्रीम के साथ भी काम करना आसान बनाते हैं।

सेटिंग्स पैनल सभी डिस्प्ले विकल्पों को एक ही स्थान पर लाता है, और हॉटकीज़ का एक पूरा सेट—दिशात्मक नेविगेशन, क्रमबद्ध ट्रैवर्सल, विस्तार और संकुचन, और नोड चयन—आपको माउस के बिना भी टूल के साथ आसानी से काम करने की अनुमति देता है।

अब ट्रेसेस का संस्करण तैयार किया गया है, ब्लॉक-आधारित संपीड़न सही ढंग से प्रदर्शित होता है, और zli अंततः नए --trace और --trace-streams-dir फ़्लैग का उपयोग करके अपने स्वयं के ट्रेसेस उत्पन्न कर सकता है।

विविध

• कैटलॉग में कई कोडेक जोड़े गए हैं। पार्टीशन और बिटपैक कोडेक अब एक एकीकृत डिकोडर का उपयोग करते हैं। फ्लोटिंग-पॉइंट बिटस्प्लिट कोडेक में अब fp16, fp32, fp64 और bf16 फॉर्मेट के लिए विशेष एक्सेलरेशन के साथ समर्पित एनकोडर और डिकोडर शामिल हैं। रेंज-अवेयर स्प्लिटिंग (split_byrange), एक लेंथ मल्टीप्लेक्सर, सेंटिनल कोडेक, एक lz4 ग्राफ और tryParseInt और splitByParam जैसे छोटे सहायक फ़ंक्शन भी जोड़े गए हैं।
• एपीआई को सरल बना दिया गया है।
• बेहतर फ़ज़ टेस्टिंग।
• अधिक प्लेटफार्मों के लिए बेहतर बिल्ड और पैकेजिंग प्रक्रिया।

स्रोत: linux.org.ru