हाय-स्पीड फेल-सेफ कॉम्प्रेशन (चालू)

हा लेख हाय-स्पीड डेटा कॉम्प्रेशनच्या विषयात आधीच दुसरा आहे. पहिल्या लेखात 10 जीबी/सेकंद वेगाने काम करणाऱ्या कंप्रेसरचे वर्णन केले आहे. प्रति प्रोसेसर कोर (किमान कॉम्प्रेशन, RTT-मिनिट).

स्टोरेज मीडिया डंपच्या हाय-स्पीड कॉम्प्रेशनसाठी आणि क्रिप्टोग्राफीची ताकद वाढवण्यासाठी फॉरेन्सिक डुप्लिकेटर्सच्या उपकरणांमध्ये हा कंप्रेसर आधीच लागू केला गेला आहे; ते हाय-स्पीडवर सेव्ह करताना व्हर्च्युअल मशीन आणि रॅम स्वॅप फाइल्सच्या प्रतिमा कॉम्प्रेस करण्यासाठी देखील वापरले जाऊ शकते. SSD ड्राइव्हस्.

पहिल्या लेखात एचडीडी आणि एसएसडी डिस्क ड्राईव्ह (मध्यम कॉम्प्रेशन, आरटीटी-मिड) च्या बॅकअप प्रती संकुचित करण्यासाठी संकुचित अल्गोरिदम विकसित करण्याची घोषणा देखील केली आहे ज्यामध्ये लक्षणीय सुधारित डेटा कॉम्प्रेशन पॅरामीटर्स आहेत. आतापर्यंत, हा कंप्रेसर पूर्णपणे तयार आहे आणि हा लेख त्याबद्दल आहे.

RTT-मिड अल्गोरिदम लागू करणारा कंप्रेसर उच्च-स्पीड मोडमध्ये कार्यरत WinRar, 7-Zip सारख्या मानक आर्काइव्हर्सशी तुलना करता येणारा कॉम्प्रेशन रेशो प्रदान करतो. त्याच वेळी, त्याची ऑपरेटिंग गती कमीतकमी उच्च परिमाणाचा ऑर्डर आहे.

डेटा पॅकिंग/अनपॅकिंगचा वेग हा एक गंभीर पॅरामीटर आहे जो कॉम्प्रेशन तंत्रज्ञानाच्या वापराची व्याप्ती निर्धारित करतो. कोणीही 10-15 मेगाबाइट्स प्रति सेकंद या वेगाने टेराबाइट डेटा संकुचित करण्याचा विचार करेल अशी शक्यता नाही (ही मानक कॉम्प्रेशन मोडमधील आर्काइव्हर्सची गती आहे), कारण पूर्ण प्रोसेसर लोडसह यास सुमारे वीस तास लागतील.. .

दुसरीकडे, तेच टेराबाइट 2-3 गीगाबाईट प्रति सेकंद या क्रमाने सुमारे दहा मिनिटांत कॉपी केले जाऊ शकते.

म्हणून, मोठ्या-आवाजातील माहितीचे कॉम्प्रेशन महत्वाचे आहे जर ते वास्तविक इनपुट/आउटपुटच्या वेगापेक्षा कमी नसलेल्या वेगाने केले जाते. आधुनिक प्रणालींसाठी हे किमान 100 मेगाबाइट्स प्रति सेकंद आहे.

आधुनिक कंप्रेसर फक्त "वेगवान" मोडमध्ये अशी गती निर्माण करू शकतात. या सध्याच्या मोडमध्ये आम्ही आरटीटी-मिड अल्गोरिदमची पारंपारिक कंप्रेसरशी तुलना करू.

नवीन कॉम्प्रेशन अल्गोरिदमची तुलनात्मक चाचणी

RTT-मिड कंप्रेसरने चाचणी कार्यक्रमाचा भाग म्हणून काम केले. वास्तविक "कार्यरत" ऍप्लिकेशनमध्ये ते अधिक जलद कार्य करते, ते मल्टीथ्रेडिंगचा सुज्ञपणे वापर करते आणि C# नव्हे तर "सामान्य" कंपाइलर वापरते.

तुलनात्मक चाचणीमध्ये वापरलेले कंप्रेसर वेगवेगळ्या तत्त्वांवर बांधलेले असल्याने आणि विविध प्रकारचे डेटा वेगळ्या पद्धतीने कॉम्प्रेस केले जात असल्याने, चाचणीच्या वस्तुनिष्ठतेसाठी, "रुग्णालयातील सरासरी तापमान" मोजण्याची पद्धत वापरली गेली...

Windows 10 ऑपरेटिंग सिस्टमसह लॉजिकल डिस्कची सेक्टर-दर-सेक्टर डंप फाइल तयार केली गेली; प्रत्येक संगणकावर प्रत्यक्षात उपलब्ध असलेल्या विविध डेटा स्ट्रक्चर्सचे हे सर्वात नैसर्गिक मिश्रण आहे. ही फाईल संकुचित केल्याने तुम्हाला नवीन अल्गोरिदमचा वेग आणि कॉम्प्रेशनची डिग्री आधुनिक आर्काइव्हर्समध्ये वापरल्या जाणार्‍या सर्वात प्रगत कंप्रेसरशी तुलना करता येईल.

येथे डंप फाइल आहे:

डंप फाइल PTT-Mid, 7-zip आणि WinRar कंप्रेसर वापरून संकुचित केली गेली. WinRar आणि 7-zip कंप्रेसर कमाल गतीवर सेट केले होते.

कंप्रेसर चालू आहे 7-zip:

हे प्रोसेसर 100% लोड करते, तर मूळ डंप वाचण्याची सरासरी गती सुमारे 60 मेगाबाइट्स/सेकंद आहे.

कंप्रेसर चालू आहे विनर:

परिस्थिती समान आहे, प्रोसेसर लोड जवळजवळ 100% आहे, सरासरी डंप वाचन गती सुमारे 125 मेगाबाइट/सेकंद आहे.

मागील प्रकरणाप्रमाणे, आर्काइव्हरची गती प्रोसेसरच्या क्षमतेद्वारे मर्यादित आहे.

कंप्रेसर चाचणी कार्यक्रम आता चालू आहे RTT-मध्य:

स्क्रीनशॉट दर्शवितो की प्रोसेसर 50% लोड केला आहे आणि उर्वरित वेळेत निष्क्रिय आहे, कारण संकुचित डेटा अपलोड करण्यासाठी कोठेही नाही. डेटा अपलोड डिस्क (डिस्क 0) जवळजवळ पूर्णपणे लोड झाली आहे. डेटा वाचण्याची गती (डिस्क 1) मोठ्या प्रमाणात बदलते, परंतु सरासरी 200 मेगाबाइट्स/सेकंद पेक्षा जास्त.

या प्रकरणात कॉम्प्रेसरची गती डिस्क 0 वर संकुचित डेटा लिहिण्याच्या क्षमतेद्वारे मर्यादित आहे.

आता परिणामी संग्रहणांचे कॉम्प्रेशन रेशो:

हे पाहिले जाऊ शकते की RTT-मिड कंप्रेसरने कॉम्प्रेशनचे सर्वोत्तम कार्य केले; त्याने तयार केलेले संग्रहण WinRar संग्रहापेक्षा 1,3 GigaBytes लहान आणि 2,1z संग्रहापेक्षा 7 GigaBytes लहान होते.

संग्रहण तयार करण्यात वेळ घालवला:

• 7-झिप - 26 मिनिटे 10 सेकंद;
• WinRar - 17 मिनिटे 40 सेकंद;
• RTT-मध्य - 7 मिनिटे 30 सेकंद.

अशाप्रकारे, RTT-मिड अल्गोरिदमचा वापर करून एक चाचणी, नॉन-ऑप्टिमाइझ केलेला प्रोग्राम देखील अडीच पट अधिक जलद संग्रहण तयार करू शकला, तर संग्रहण त्याच्या प्रतिस्पर्ध्यांच्या तुलनेत लक्षणीयरीत्या लहान असल्याचे दिसून आले...

ज्यांना स्क्रीनशॉटवर विश्वास नाही ते त्यांची सत्यता स्वतः तपासू शकतात. चाचणी कार्यक्रम येथे उपलब्ध आहे दुवा, डाउनलोड करा आणि तपासा.

परंतु केवळ AVX-2 सपोर्ट असलेल्या प्रोसेसरवर, या सूचनांच्या समर्थनाशिवाय कंप्रेसर कार्य करत नाही आणि जुन्या AMD प्रोसेसरवर अल्गोरिदम तपासू नका, ते AVX सूचना अंमलात आणण्याच्या दृष्टीने धीमे आहेत...

कॉम्प्रेशन पद्धत वापरली

अल्गोरिदम बाइट ग्रॅन्युलॅरिटीमध्ये पुनरावृत्ती झालेल्या मजकूर तुकड्यांना अनुक्रमित करण्यासाठी एक पद्धत वापरते. ही कॉम्प्रेशन पद्धत बर्‍याच काळापासून ज्ञात आहे, परंतु वापरली जात नव्हती कारण आवश्यक संसाधनांच्या दृष्टीने जुळणारे ऑपरेशन खूप महाग होते आणि शब्दकोश तयार करण्यापेक्षा जास्त वेळ आवश्यक होता. त्यामुळे RTT-मिड अल्गोरिदम हे “भविष्याकडे परत” जाण्याचे उत्कृष्ट उदाहरण आहे...

PTT कंप्रेसर एक अद्वितीय हाय-स्पीड मॅच शोध स्कॅनर वापरतो, जे आम्हाला कॉम्प्रेशन प्रक्रियेला गती देण्यास अनुमती देते. स्व-निर्मित स्कॅनर, हे “माझे आकर्षण आहे...”, “हे खूप महाग आहे, कारण ते पूर्णपणे हाताने बनवलेले आहे” (असेंबलरमध्ये लिहिलेले).

सामना शोध स्कॅनर दोन-स्तरीय संभाव्य योजनेनुसार बनविला जातो: प्रथम, सामन्याच्या “चिन्ह” ची उपस्थिती स्कॅन केली जाते आणि या ठिकाणी “चिन्ह” ओळखल्यानंतरच, वास्तविक जुळणी शोधण्याची प्रक्रिया सुरू केले आहे.

प्रक्रिया केलेल्या डेटा ब्लॉकमधील एन्ट्रॉपीच्या डिग्रीवर अवलंबून, जुळणी शोध विंडोमध्ये अप्रत्याशित आकार असतो. पूर्णपणे यादृच्छिक (संकुचित न करण्यायोग्य) डेटासाठी त्याचा आकार मेगाबाइट्सचा असतो, पुनरावृत्ती असलेल्या डेटासाठी तो नेहमी मेगाबाइटपेक्षा मोठा असतो.

परंतु अनेक आधुनिक डेटा फॉरमॅट्स अस्पष्ट आहेत आणि त्यांच्याद्वारे संसाधन-केंद्रित स्कॅनर चालवणे निरुपयोगी आणि व्यर्थ आहे, म्हणून स्कॅनर दोन ऑपरेटिंग मोड वापरतो. प्रथम, संभाव्य पुनरावृत्तीसह स्त्रोत मजकूराचे विभाग शोधले जातात; हे ऑपरेशन संभाव्य पद्धती वापरून देखील केले जाते आणि ते फार लवकर केले जाते (4-6 गीगाबाइट्स/सेकंद वेगाने). संभाव्य जुळण्या असलेल्या क्षेत्रांवर नंतर मुख्य स्कॅनरद्वारे प्रक्रिया केली जाते.

इंडेक्स कम्प्रेशन फार कार्यक्षम नाही, तुम्हाला डुप्लिकेट तुकड्यांना निर्देशांकांसह पुनर्स्थित करावे लागेल आणि इंडेक्स अॅरे कॉम्प्रेशन रेशो लक्षणीयरीत्या कमी करते.

कॉम्प्रेशन रेशो वाढवण्यासाठी, जेव्हा स्ट्रिंगमध्ये जुळलेले आणि न जुळणारे बाइट्स असतात तेव्हा केवळ बाइट स्ट्रिंगच्या पूर्ण जुळण्यांनाच अनुक्रमित केले जात नाही, तर आंशिक जुळणी देखील केली जातात. हे करण्यासाठी, इंडेक्स फॉरमॅटमध्ये मॅच मास्क फील्ड समाविष्ट आहे जे दोन ब्लॉक्सचे जुळणारे बाइट्स सूचित करते. आणखी मोठ्या कॉम्प्रेशनसाठी, इंडेक्सिंगचा वापर सध्याच्या ब्लॉकवर काही अंशतः जुळणारे ब्लॉक्स वर करण्यासाठी केला जातो.

या सर्वांमुळे PTT-मिड कंप्रेसरमध्ये डिक्शनरी पद्धतीचा वापर करून बनवलेल्या कंप्रेसरशी तुलना करता येणारे कॉम्प्रेशन रेशो मिळवणे शक्य झाले, परंतु ते बरेच जलद कार्य करते.

नवीन कॉम्प्रेशन अल्गोरिदमची गती

जर कॉम्प्रेसर कॅशे मेमरीच्या अनन्य वापरासह कार्य करत असेल (प्रति थ्रेड 4 मेगाबाइट्स आवश्यक आहेत), तर ऑपरेटिंग गती 700-2000 मेगाबाइट्स/सेकंद आहे. प्रति प्रोसेसर कोर, डेटा संकुचित केल्याच्या प्रकारावर अवलंबून असतो आणि प्रोसेसरच्या ऑपरेटिंग फ्रिक्वेंसीवर थोडे अवलंबून असते.

कंप्रेसरच्या मल्टी-थ्रेडेड अंमलबजावणीसह, प्रभावी स्केलेबिलिटी तिसऱ्या स्तराच्या कॅशेच्या आकाराद्वारे निर्धारित केली जाते. उदाहरणार्थ, 9 मेगाबाइट्स कॅशे मेमरी “बोर्डवर” असल्यास, दोनपेक्षा जास्त कॉम्प्रेशन थ्रेड्स लाँच करण्यात काही अर्थ नाही; यातून वेग वाढणार नाही. परंतु 20 मेगाबाइट्सच्या कॅशेसह, आपण आधीच पाच कॉम्प्रेशन थ्रेड चालवू शकता.

तसेच, RAM ची विलंबता ही एक महत्त्वाची पॅरामीटर बनते जी कंप्रेसरची गती निर्धारित करते. अल्गोरिदम ओपीमध्ये यादृच्छिक प्रवेशाचा वापर करते, त्यापैकी काही कॅशे मेमरीमध्ये येत नाहीत (सुमारे 10%) आणि त्यास निष्क्रिय राहावे लागते, ओपीकडून डेटाची प्रतीक्षा करावी लागते, ज्यामुळे ऑपरेशनची गती कमी होते.

कॉम्प्रेसरचा वेग आणि डेटा इनपुट/आउटपुट सिस्टमच्या ऑपरेशनवर लक्षणीय परिणाम होतो. I/O कडून OP ला विनंत्या CPU कडील डेटा ब्लॉक करण्याच्या विनंत्या, ज्यामुळे कॉम्प्रेशन गती देखील कमी होते. ही समस्या लॅपटॉप आणि डेस्कटॉपसाठी लक्षणीय आहे; सर्व्हरसाठी ती अधिक प्रगत सिस्टीम बस ऍक्सेस कंट्रोल युनिट आणि मल्टी-चॅनेल रॅममुळे कमी लक्षणीय आहे.

लेखातील संपूर्ण मजकुरात आम्ही कॉम्प्रेशनबद्दल बोलतो; डीकंप्रेशन या लेखाच्या व्याप्तीच्या बाहेर राहते कारण "सर्वकाही चॉकलेटमध्ये समाविष्ट आहे". डीकंप्रेशन खूप वेगवान आहे आणि I/O गतीने मर्यादित आहे. एका थ्रेडमधील एक फिजिकल कोर सहजपणे 3-4 GB/सेकंद अनपॅकिंग गती प्रदान करतो.

हे डीकंप्रेशन प्रक्रियेदरम्यान मॅच शोध ऑपरेशनच्या अनुपस्थितीमुळे होते, जे कॉम्प्रेशन दरम्यान प्रोसेसर आणि कॅशे मेमरीची मुख्य संसाधने "खाते".

संकुचित डेटा स्टोरेजची विश्वसनीयता

डेटा कॉम्प्रेशन (आर्काइव्हर्स) वापरणार्‍या सॉफ्टवेअरच्या संपूर्ण वर्गाच्या नावावरून सूचित होते की, ते वर्षानुवर्षे नव्हे तर अनेक शतके आणि सहस्राब्दी... माहितीच्या दीर्घकालीन संचयनासाठी डिझाइन केलेले आहेत.

स्टोरेज दरम्यान, स्टोरेज मीडिया काही डेटा गमावतो, येथे एक उदाहरण आहे:

हा "एनालॉग" माहिती वाहक हजारो वर्षांचा आहे, काही तुकडे गमावले आहेत, परंतु सर्वसाधारणपणे माहिती "वाचनीय" आहे...

आधुनिक डिजिटल डेटा स्टोरेज सिस्टम आणि त्यांच्यासाठी डिजिटल मीडियाचे कोणतेही जबाबदार निर्माते 75 वर्षांहून अधिक काळ संपूर्ण डेटा सुरक्षिततेची हमी देत ​​नाहीत.
आणि ही एक समस्या आहे, परंतु पुढे ढकललेली समस्या, आमचे वंशज ते सोडवतील ...

डिजिटल डेटा स्टोरेज सिस्टम केवळ 75 वर्षांनंतर डेटा गमावू शकत नाही, डेटामधील त्रुटी कोणत्याही वेळी दिसू शकतात, त्यांच्या रेकॉर्डिंग दरम्यान देखील, ते रिडंडंसी वापरून आणि त्रुटी सुधार प्रणालीसह दुरुस्त करून या विकृती कमी करण्याचा प्रयत्न करतात. रिडंडंसी आणि सुधारणा प्रणाली नेहमी हरवलेली माहिती पुनर्संचयित करू शकत नाहीत आणि जर त्यांनी तसे केले तर, पुनर्संचयित ऑपरेशन योग्यरित्या पूर्ण झाले याची कोणतीही हमी नाही.

आणि ही देखील एक मोठी समस्या आहे, परंतु स्थगित नाही, परंतु वर्तमान आहे.

डिजिटल डेटा संग्रहित करण्यासाठी वापरलेले आधुनिक कॉम्प्रेसर शब्दकोश पद्धतीच्या विविध बदलांवर आधारित आहेत आणि अशा संग्रहणांसाठी माहितीचा तुकडा गमावणे ही एक घातक घटना असेल; अशा परिस्थितीसाठी एक स्थापित शब्द देखील आहे - एक "तुटलेला" संग्रहण ...

डिक्शनरी कॉम्प्रेशनसह आर्काइव्हमध्ये माहिती साठवण्याची कमी विश्वासार्हता संकुचित डेटाच्या संरचनेशी संबंधित आहे. अशा संग्रहणातील माहितीमध्ये स्त्रोत मजकूर नसतो, शब्दकोषातील नोंदींची संख्या तेथे संग्रहित केली जाते आणि शब्दकोश स्वतः वर्तमान संकुचित मजकूराद्वारे गतिशीलपणे सुधारित केला जातो. जर संग्रहणाचा तुकडा हरवला किंवा दूषित झाला असेल तर, त्यानंतरच्या सर्व संग्रहण नोंदी एकतर सामग्रीद्वारे किंवा शब्दकोषातील नोंदीच्या लांबीनुसार ओळखल्या जाऊ शकत नाहीत, कारण शब्दकोश प्रविष्टी क्रमांक कशाशी संबंधित आहे हे स्पष्ट नाही.

अशा "तुटलेल्या" संग्रहणातून माहिती पुनर्संचयित करणे अशक्य आहे.

RTT अल्गोरिदम संकुचित डेटा संचयित करण्याच्या अधिक विश्वासार्ह पद्धतीवर आधारित आहे. हे तुकड्यांच्या पुनरावृत्तीसाठी लेखांकनाची अनुक्रमणिका पद्धत वापरते. कॉम्प्रेशनचा हा दृष्टीकोन आपल्याला स्टोरेज माध्यमावरील माहितीच्या विकृतीचे परिणाम कमी करण्यास अनुमती देतो आणि बर्‍याच प्रकरणांमध्ये माहिती संचयनादरम्यान उद्भवलेल्या विकृती आपोआप सुधारतो.
हे या वस्तुस्थितीमुळे आहे की इंडेक्स कॉम्प्रेशनच्या बाबतीत आर्काइव्ह फाइलमध्ये दोन फील्ड आहेत:

• एक स्रोत मजकूर फील्ड ज्यामधून पुनरावृत्ती विभाग काढून टाकले जातात;
• निर्देशांक फील्ड.

इंडेक्स फील्ड, जे माहिती पुनर्प्राप्तीसाठी महत्त्वपूर्ण आहे, आकाराने मोठे नाही आणि विश्वसनीय डेटा स्टोरेजसाठी डुप्लिकेट केले जाऊ शकते. म्हणून, जरी स्त्रोत मजकूर किंवा इंडेक्स अॅरेचा एक तुकडा गमावला असला तरीही, इतर सर्व माहिती समस्यांशिवाय पुनर्संचयित केली जाईल, जसे की "एनालॉग" स्टोरेज माध्यमासह चित्रात.

अल्गोरिदमचे तोटे

तोट्यांशिवाय कोणतेही फायदे नाहीत. इंडेक्स कॉम्प्रेशन पद्धत लहान पुनरावृत्ती होणार्‍या अनुक्रमांना संकुचित करत नाही. हे निर्देशांक पद्धतीच्या मर्यादांमुळे आहे. अनुक्रमणिका कमीत कमी 3 बाइट्स आकारात आहेत आणि आकारात 12 बाइट्स पर्यंत असू शकतात. पुनरावृत्तीचे वर्णन करणार्‍या निर्देशांकापेक्षा लहान आकाराचे पुनरावृत्ती आढळल्यास, संकुचित फाइलमध्ये अशा पुनरावृत्ती कितीही वेळा आढळल्या तरीही ते विचारात घेतले जात नाही.

पारंपारिक शब्दकोश कॉम्प्रेशन पद्धत प्रभावीपणे लहान लांबीच्या अनेक पुनरावृत्ती संकुचित करते आणि म्हणून निर्देशांक कॉम्प्रेशनपेक्षा उच्च कॉम्प्रेशन गुणोत्तर प्राप्त करते. हे खरे आहे, सेंट्रल प्रोसेसरवरील उच्च भारामुळे हे साध्य झाले आहे; शब्दकोश पद्धत निर्देशांक पद्धतीपेक्षा अधिक कार्यक्षमतेने डेटा संकुचित करणे सुरू करण्यासाठी, डेटा प्रक्रियेचा वेग 10-20 मेगाबाइट्स प्रति सेकंदापर्यंत कमी करावा लागेल. संपूर्ण CPU लोडसह संगणकीय स्थापना.

अशा कमी गती आधुनिक डेटा स्टोरेज सिस्टमसाठी अस्वीकार्य आहेत आणि व्यावहारिकपेक्षा अधिक "शैक्षणिक" स्वारस्य आहेत.

आरटीटी अल्गोरिदम (आरटीटी-मॅक्स) च्या पुढील सुधारणेमध्ये माहिती कॉम्प्रेशनची डिग्री लक्षणीयरीत्या वाढविली जाईल, जी आधीच विकसित आहे.

म्हणून, नेहमीप्रमाणे, चालू ठेवण्यासाठी...

स्त्रोत: www.habr.com