ओपनजेडएल ०.२.०

सात महिनाको विकास पछि, फ्रेमवर्कको संस्करण ०.२.० जारी गरियो। ओपनजेडएल, हानिरहित डेटा कम्प्रेसरहरू सिर्जना गर्न डिजाइन गरिएको।

फ्रेमवर्कमा भाषामा वर्णन गरिएको विशेष कम्प्रेसरहरू सिर्जना गर्न आधारभूत पुस्तकालय र उपकरणहरू समावेश छन्। SDDLName.
राम्रो समर्पित कम्प्रेसर सिर्जना गर्न दुई चरणहरू छन्:

1. संरचना निकाल्न डेटा विश्लेषण।
2. राम्रो कम्प्रेसन प्राप्त गर्न परिणामस्वरूप संरचनाको शोषण गर्ने राम्रो ब्याकएन्ड कम्प्रेसरहरू प्रयोग गर्दै।

OpenZL ले दुवै चरणका लागि उपकरणहरू प्रदान गर्दछ।

यो परियोजना C र C++ मा लेखिएको छ र BSD लाइसेन्स अन्तर्गत वितरण गरिएको छ।

प्रमुख परिवर्तनहरू

SDDL2

SDDL लाई यसको मूल डिजाइन लक्ष्यहरू प्राप्त गर्न पूर्ण रूपमा पुन: लेखिएको थियो। मूल डेमो एक सरलीकृत रनटाइम वातावरण थियो, SDDL2 एक पूर्ण विकसित कम्पाइलर हो: पार्सरले सिमेन्टिक विश्लेषकलाई डेटा पास गर्दछ, जसले बारीमा टाइप गरिएको एब्स्ट्र्याक्ट सिन्ट्याक्स ट्री (AST) अप्टिमाइजरलाई पास गर्दछ, र अप्टिमाइजरले कोड जेनेरेटरलाई नियन्त्रण गर्दछ, जसले भर्चुअल मेसिन बाइटकोड उत्पन्न गर्दछ।

मुख्य परिणाम भनेको तत्काल पार्सिङ हो। जब रेकर्डको स्थान प्यारामिटरहरू र स्थिरांकहरू मात्र प्रयोग गरेर पूर्ण रूपमा निर्धारण गर्न सकिन्छ, इन्जिनले अघिल्ला बाइटहरू स्क्यान नगरी सिधै कुनै पनि क्षेत्रमा हाम फाल्छ, जसले गर्दा प्रतिलिपि-रहित पहुँच र धेरै GB/s को थ्रुपुट सक्षम हुन्छ।

भाषा आफैं यसको उपकरणसेटसँगै विकसित भएको छ। यसले अब सर्त कथनहरू, प्यारामिटराइज्ड र बेनामी रेकर्डहरू, रेकर्ड फिल्ड सदस्यहरूमा पहुँच, र बिटवाइज र तार्किक अपरेटरहरूको लागि क्लजहरूलाई समर्थन गर्दछ।

विकासकर्ता पक्षमा, अर्थ विश्लेषण चरणले अब रनटाइमको सट्टा कम्पाइल समयमा अपरिभाषित सन्दर्भहरू, प्रकार बेमेलहरू, र एरिटी त्रुटिहरू पहिचान गर्दछ - स्रोत कोड स्थानको साथ, र .sddl फाइलहरूको सिन्ट्याक्स हाइलाइटिङको लागि VS कोड विस्तार जारी गरिएको छ।

नयाँ बिल्ट-इन LZ कोडेक

OpenZL मा अब ZL_GRAPH_LZ को रूपमा प्रतिनिधित्व गरिएको आफ्नै LZ कोडेक, साथै zli उपयोगितामा अनुक्रमिक कम्प्रेसन प्रोफाइल समावेश छ। कोडेकमा काम जारी छ, यसको सुविधा सेट विस्तार गर्दै र सानो इनपुट डेटा प्रशोधन गर्दा कार्यसम्पादन सुधार गर्दै। हाल, यसले zstd स्तर १ को बराबर कार्यक्षमतालाई समर्थन गर्दछ, जसमा ६४ KB कम्प्रेसन विन्डो छ।

OpenZL ले LZ पाइपलाइनको प्रत्येक चरणलाई गतिको लागि पुन: डिजाइन गर्न अनुमति दिन्छ। यसको ग्राफ वास्तुकलाले सबै प्रयोगका लागि समान रूपमा उपयुक्त एकल पाइपलाइन प्रयोग गर्नुको सट्टा एन्ट्रोपी एन्कोडिङ चरणहरू संयोजन गर्न पनि अनुमति दिन्छ। प्रशोधन गति सुधार गर्न धेरै चरणहरूलाई एकल अपरेशनमा संयोजन गर्न सकिन्छ। यसले OpenZL लाई Silesia corpus मा Zstandard स्तर १ को तुलनामा १०% छिटो कम्प्रेसन र ७०% छिटो डिकम्प्रेसन प्राप्त गर्न अनुमति दिन्छ। हाम्रा परीक्षणहरू:

धेरै ठूलो इनपुट डेटाको लागि समर्थन

zli ले अब विशाल इनपुट डेटा (धेरै गिगाबाइट आकारमा) प्रशोधन गर्न समर्थन गर्दछ। कम्प्रेसन गर्नु अघि, यस्तो डेटा अब स्वचालित रूपमा व्यवस्थित आकारको भागहरूमा विभाजित हुन्छ (पूर्वनिर्धारित रूपमा लगभग १६ एमबी), मेमोरी प्रयोग सीमित गर्ने, डेटा स्थानीयता सुधार गर्ने, र समानान्तर प्रशोधन सक्षम गर्ने। SDDL2 ले स्कीमासँग काम गर्दा समान स्वचालित भागहरू बनाउने सुविधा लागू गर्दछ। CSV, Parquet, र मानक संख्यात्मक डेटाको लागि - प्रक्रियामा नयाँ खण्डकहरू सिर्जना वा अद्यावधिक गरिएका थिए र सबै खण्डकहरू अब क्रमबद्ध र कन्फिगर योग्य छन्, त्यसैले छनौट गरिएको लेआउट कम्प्रेसरमा बचत गर्न सकिन्छ र पछि पुन: प्रयोग गर्न सकिन्छ।

यो कम्प्रेसनको समयमा पारदर्शी रूपमा लागू गरिन्छ। ध्यान दिनुहोस् कि प्रशिक्षण पाइपलाइन फरक छ र अप्रभावित रहन्छ, त्यसैले यो विशाल इनपुट डेटालाई प्रशिक्षण सामग्रीको रूपमा स्वीकार गर्न डिजाइन गरिएको छैन।

अनलाइन ग्राफ भिजुअलाइजरमा सुधारहरू (प्रयास गर्न)
भिजुअलाइजरले अब सुरुदेखि अन्त्यसम्म कम्प्रेसन र डिकम्प्रेसन ट्रेसहरू पहिचान गर्दछ।

स्ट्रिम पूर्वावलोकन प्यानलले तपाईंलाई प्रत्येक किनारामा बगिरहेको बाइटहरू हेर्न दिन्छ, र ट्रिमिङ नियन्त्रणहरूले ठूला स्ट्रिमहरूसँग पनि काम गर्न सजिलो बनाउँछ।

सेटिङ प्यानलले सबै डिस्प्ले विकल्पहरूलाई एकै ठाउँमा ल्याउँछ, र हटकीहरूको पूर्ण सेट - दिशात्मक नेभिगेसन, क्रमबद्ध ट्राभर्सल, विस्तार र कोल्याप्सिङ, र नोड चयन - ले तपाईंलाई माउस बिना उपकरणसँग सहज रूपमा काम गर्न अनुमति दिन्छ।

ट्रेसहरू अब संस्करण गरिएका छन्, ब्लक-आधारित कम्प्रेसन सही रूपमा प्रदर्शित गरिएको छ, र zli ले अन्ततः नयाँ --trace र --trace-streams-dir झण्डाहरू प्रयोग गरेर आफ्नै ट्रेसहरू उत्पन्न गर्न सक्छ।

Разное

• क्याटलगमा धेरै कोडेकहरू थपिएका छन्। विभाजन र बिटप्याक कोडेकहरूले अब एकीकृत डिकोडर प्रयोग गर्छन्। फ्लोटिंग-पोइन्ट बिट्सप्लिट कोडेकमा अब विशेष त्वरणको साथ fp16, fp32, fp64, र bf16 ढाँचाहरूको लागि समर्पित एन्कोडरहरू र डिकोडरहरू समावेश छन्। दायरा-सचेत विभाजन (split_byrange), लम्बाइ मल्टिप्लेक्सर, सेन्टिनेल कोडेक, lz4 ग्राफ, र tryParseInt र splitByParam जस्ता माइनर हेल्पर प्रकार्यहरू थपिएका छन्।
• API लाई सुव्यवस्थित गरिएको छ।
• सुधारिएको फज परीक्षण।
• थप प्लेटफर्महरूको लागि सुधारिएको निर्माण र प्याकेजिङ प्रक्रिया।

स्रोत: linux.org.ru