ഹൈ-സ്പീഡ് ഫെയിൽ-സേഫ് കംപ്രഷൻ (തുടരും)

ഹൈ-സ്പീഡ് ഡാറ്റ കംപ്രഷൻ വിഷയത്തിൽ ഈ ലേഖനം ഇതിനകം രണ്ടാമത്തേതാണ്. ആദ്യ ലേഖനം 10 GB/sec വേഗതയിൽ പ്രവർത്തിക്കുന്ന ഒരു കംപ്രസർ വിവരിച്ചു. ഓരോ പ്രോസസർ കോർ (മിനിമം കംപ്രഷൻ, RTT-മിനിറ്റ്).

സ്റ്റോറേജ് മീഡിയ ഡമ്പുകളുടെ ഹൈ-സ്പീഡ് കംപ്രഷൻ ചെയ്യുന്നതിനും ക്രിപ്‌റ്റോഗ്രാഫിയുടെ ശക്തി വർദ്ധിപ്പിക്കുന്നതിനുമായി ഫോറൻസിക് ഡ്യൂപ്ലിക്കേറ്ററുകളുടെ ഉപകരണങ്ങളിൽ ഈ കംപ്രസർ ഇതിനകം തന്നെ നടപ്പിലാക്കിയിട്ടുണ്ട്; വെർച്വൽ മെഷീനുകളുടെയും റാം സ്വാപ്പ് ഫയലുകളുടെയും ഇമേജുകൾ ഹൈ-സ്പീഡിൽ സേവ് ചെയ്യുമ്പോൾ കംപ്രസ്സുചെയ്യാനും ഇത് ഉപയോഗിക്കാം. SSD ഡ്രൈവുകൾ.

എച്ച്ഡിഡി, എസ്എസ്ഡി ഡിസ്ക് ഡ്രൈവുകളുടെ (മീഡിയം കംപ്രഷൻ, ആർടിടി-മിഡ്) ബാക്കപ്പ് പകർപ്പുകൾ ഗണ്യമായി മെച്ചപ്പെടുത്തിയ ഡാറ്റ കംപ്രഷൻ പാരാമീറ്ററുകൾ കംപ്രഷൻ ചെയ്യുന്നതിനുള്ള ഒരു കംപ്രഷൻ അൽഗോരിതം വികസിപ്പിച്ചതും ആദ്യ ലേഖനം പ്രഖ്യാപിച്ചു. ഇപ്പോൾ, ഈ കംപ്രസ്സർ പൂർണ്ണമായും തയ്യാറാണ്, ഈ ലേഖനം അതിനെക്കുറിച്ചാണ്.

RTT-Mid അൽഗോരിതം നടപ്പിലാക്കുന്ന ഒരു കംപ്രസ്സർ, ഉയർന്ന വേഗതയുള്ള മോഡിൽ പ്രവർത്തിക്കുന്ന WinRar, 7-Zip പോലുള്ള സ്റ്റാൻഡേർഡ് ആർക്കൈവറുകളുമായി താരതമ്യപ്പെടുത്താവുന്ന ഒരു കംപ്രഷൻ അനുപാതം നൽകുന്നു. അതേ സമയം, അതിന്റെ പ്രവർത്തന വേഗത കുറഞ്ഞത് ഒരു ഓർഡറെങ്കിലും ഉയർന്നതാണ്.

കംപ്രഷൻ സാങ്കേതികവിദ്യകളുടെ പ്രയോഗത്തിന്റെ വ്യാപ്തി നിർണ്ണയിക്കുന്ന ഒരു നിർണായക പാരാമീറ്ററാണ് ഡാറ്റ പാക്കിംഗ്/അൺപാക്കിംഗ് വേഗത. സെക്കൻഡിൽ 10-15 മെഗാബൈറ്റ് വേഗതയിൽ ഒരു ടെറാബൈറ്റ് ഡാറ്റ കംപ്രസ്സുചെയ്യുന്നതിനെക്കുറിച്ച് ആരും ചിന്തിക്കാൻ സാധ്യതയില്ല (ഇത് സ്റ്റാൻഡേർഡ് കംപ്രഷൻ മോഡിലെ ആർക്കൈവറുകളുടെ വേഗതയാണ്), കാരണം പൂർണ്ണ പ്രോസസർ ലോഡിനൊപ്പം ഏകദേശം ഇരുപത് മണിക്കൂർ എടുക്കും. .

മറുവശത്ത്, അതേ ടെറാബൈറ്റ് ഏകദേശം പത്ത് മിനിറ്റിനുള്ളിൽ സെക്കൻഡിൽ 2-3 ജിഗാബൈറ്റ് എന്ന ക്രമത്തിന്റെ വേഗതയിൽ പകർത്താനാകും.

അതിനാൽ, യഥാർത്ഥ ഇൻപുട്ട്/ഔട്ട്‌പുട്ടിന്റെ വേഗതയേക്കാൾ കുറയാത്ത വേഗതയിലാണ് ഇത് നടപ്പിലാക്കുന്നതെങ്കിൽ വലിയ അളവിലുള്ള വിവരങ്ങൾ കംപ്രഷൻ ചെയ്യുന്നത് പ്രധാനമാണ്. ആധുനിക സംവിധാനങ്ങൾക്ക് ഇത് സെക്കൻഡിൽ കുറഞ്ഞത് 100 മെഗാബൈറ്റ് ആണ്.

ആധുനിക കംപ്രസ്സറുകൾക്ക് അത്തരം വേഗത "ഫാസ്റ്റ്" മോഡിൽ മാത്രമേ ഉൽപ്പാദിപ്പിക്കാൻ കഴിയൂ. ഈ നിലവിലെ മോഡിലാണ് ഞങ്ങൾ RTT-മിഡ് അൽഗോരിതം പരമ്പരാഗത കംപ്രസ്സറുകളുമായി താരതമ്യം ചെയ്യുന്നത്.

ഒരു പുതിയ കംപ്രഷൻ അൽഗോരിതത്തിന്റെ താരതമ്യ പരിശോധന

ടെസ്റ്റ് പ്രോഗ്രാമിന്റെ ഭാഗമായി RTT-മിഡ് കംപ്രസർ പ്രവർത്തിച്ചു. ഒരു യഥാർത്ഥ "വർക്കിംഗ്" ആപ്ലിക്കേഷനിൽ ഇത് വളരെ വേഗത്തിൽ പ്രവർത്തിക്കുന്നു, അത് മൾട്ടിത്രെഡിംഗ് വിവേകത്തോടെ ഉപയോഗിക്കുകയും "സാധാരണ" കംപൈലർ ഉപയോഗിക്കുകയും ചെയ്യുന്നു, C# അല്ല.

താരതമ്യ പരിശോധനയിൽ ഉപയോഗിക്കുന്ന കംപ്രസ്സറുകൾ വ്യത്യസ്ത തത്വങ്ങളിൽ നിർമ്മിച്ചിരിക്കുന്നതിനാൽ വ്യത്യസ്ത തരം ഡാറ്റ കംപ്രസ് വ്യത്യസ്തമായി, പരിശോധനയുടെ വസ്തുനിഷ്ഠതയ്ക്കായി, "ആശുപത്രിയിലെ ശരാശരി താപനില" അളക്കുന്ന രീതി ഉപയോഗിച്ചു...

Windows 10 ഓപ്പറേറ്റിംഗ് സിസ്റ്റമുള്ള ഒരു ലോജിക്കൽ ഡിസ്കിന്റെ സെക്ടർ-ബൈ-സെക്ടർ ഡംപ് ഫയൽ സൃഷ്ടിച്ചു; എല്ലാ കമ്പ്യൂട്ടറുകളിലും യഥാർത്ഥത്തിൽ ലഭ്യമായ വിവിധ ഡാറ്റാ ഘടനകളുടെ ഏറ്റവും സ്വാഭാവിക മിശ്രിതമാണിത്. ഈ ഫയൽ കംപ്രസ്സുചെയ്യുന്നത്, ആധുനിക ആർക്കൈവറുകളിൽ ഉപയോഗിക്കുന്ന ഏറ്റവും നൂതനമായ കംപ്രസ്സറുകളുമായി പുതിയ അൽഗോരിതത്തിന്റെ വേഗതയും കംപ്രഷന്റെ അളവും താരതമ്യം ചെയ്യാൻ നിങ്ങളെ അനുവദിക്കും.

ഡംപ് ഫയൽ ഇതാ:

PTT-Mid, 7-zip, WinRar കംപ്രസ്സറുകൾ ഉപയോഗിച്ച് ഡംപ് ഫയൽ കംപ്രസ് ചെയ്തു. WinRar ഉം 7-zip കംപ്രസ്സറും പരമാവധി വേഗതയിൽ സജ്ജമാക്കി.

കംപ്രസർ പ്രവർത്തിക്കുന്നു XXX- പിൻ:

ഇത് പ്രോസസറിനെ 100% ലോഡ് ചെയ്യുന്നു, അതേസമയം യഥാർത്ഥ ഡംപ് വായിക്കുന്നതിന്റെ ശരാശരി വേഗത ഏകദേശം 60 മെഗാബൈറ്റ്/സെക്കൻഡ് ആണ്.

കംപ്രസർ പ്രവർത്തിക്കുന്നു വിൻറാർ:

സ്ഥിതി സമാനമാണ്, പ്രോസസർ ലോഡ് ഏതാണ്ട് 100% ആണ്, ശരാശരി ഡംപ് റീഡിംഗ് സ്പീഡ് ഏകദേശം 125 മെഗാബൈറ്റ് / സെക്കന്റ് ആണ്.

മുമ്പത്തെ കാര്യത്തിലെന്നപോലെ, ആർക്കൈവറിന്റെ വേഗത പ്രോസസ്സറിന്റെ കഴിവുകളാൽ പരിമിതപ്പെടുത്തിയിരിക്കുന്നു.

കംപ്രസർ ടെസ്റ്റ് പ്രോഗ്രാം ഇപ്പോൾ പ്രവർത്തിക്കുന്നു RTT-മിഡ്:

കംപ്രസ് ചെയ്ത ഡാറ്റ അപ്‌ലോഡ് ചെയ്യാൻ ഒരിടത്തും ഇല്ലാത്തതിനാൽ, പ്രോസസ്സർ 50% ലോഡ് ചെയ്തിട്ടുണ്ടെന്നും ബാക്കിയുള്ള സമയം നിഷ്‌ക്രിയമാണെന്നും സ്‌ക്രീൻഷോട്ട് കാണിക്കുന്നു. ഡാറ്റ അപ്‌ലോഡ് ഡിസ്‌ക് (ഡിസ്ക് 0) ഏതാണ്ട് പൂർണ്ണമായി ലോഡുചെയ്‌തു. ഡാറ്റ റീഡിംഗ് വേഗത (ഡിസ്ക് 1) വളരെ വ്യത്യാസപ്പെട്ടിരിക്കുന്നു, എന്നാൽ ശരാശരി 200 മെഗാബൈറ്റുകൾ/സെക്കൻഡിൽ കൂടുതൽ.

ഈ സാഹചര്യത്തിൽ കംപ്രസ്സറിന്റെ വേഗത ഡിസ്ക് 0 ലേക്ക് കംപ്രസ് ചെയ്ത ഡാറ്റ എഴുതാനുള്ള കഴിവ് പരിമിതപ്പെടുത്തിയിരിക്കുന്നു.

ഇപ്പോൾ ലഭിച്ച ആർക്കൈവുകളുടെ കംപ്രഷൻ അനുപാതം:

RTT-Mid കംപ്രസ്സർ ഏറ്റവും മികച്ച കംപ്രഷൻ ജോലി ചെയ്തതായി കാണാൻ കഴിയും; അത് സൃഷ്ടിച്ച ആർക്കൈവ് WinRar ആർക്കൈവിനേക്കാൾ 1,3 GigaBytes ചെറുതും 2,1z ആർക്കൈവിനേക്കാൾ 7 GigaBytes ചെറുതും ആയിരുന്നു.

ആർക്കൈവ് സൃഷ്ടിക്കാൻ ചെലവഴിച്ച സമയം:

• 7-സിപ്പ് - 26 മിനിറ്റ് 10 സെക്കൻഡ്;
• WinRar - 17 മിനിറ്റ് 40 സെക്കൻഡ്;
• RTT-മിഡ് - 7 മിനിറ്റ് 30 സെക്കൻഡ്.

അങ്ങനെ, ആർ‌ടി‌ടി-മിഡ് അൽ‌ഗോരിതം ഉപയോഗിച്ച് ഒരു ടെസ്റ്റ്, ഒപ്റ്റിമൈസ് ചെയ്യാത്ത പ്രോഗ്രാമിന് പോലും രണ്ടര മടങ്ങ് വേഗത്തിൽ ഒരു ആർക്കൈവ് സൃഷ്ടിക്കാൻ കഴിഞ്ഞു, അതേസമയം ആർക്കൈവ് അതിന്റെ എതിരാളികളേക്കാൾ വളരെ ചെറുതായി മാറി ...

സ്‌ക്രീൻഷോട്ടുകൾ വിശ്വസിക്കാത്തവർക്ക് അവയുടെ ആധികാരികത സ്വയം പരിശോധിക്കാവുന്നതാണ്. ടെസ്റ്റ് പ്രോഗ്രാം ഇവിടെ ലഭ്യമാണ് ലിങ്ക്, ഡൗൺലോഡ് ചെയ്ത് പരിശോധിക്കുക.

എന്നാൽ AVX-2 പിന്തുണയുള്ള പ്രോസസ്സറുകളിൽ മാത്രം, ഈ നിർദ്ദേശങ്ങൾക്കുള്ള പിന്തുണയില്ലാതെ കംപ്രസർ പ്രവർത്തിക്കില്ല, കൂടാതെ പഴയ AMD പ്രോസസറുകളിൽ അൽഗോരിതം പരീക്ഷിക്കരുത്, AVX നിർദ്ദേശങ്ങൾ നടപ്പിലാക്കുന്ന കാര്യത്തിൽ അവ മന്ദഗതിയിലാണ്...

കംപ്രഷൻ രീതി ഉപയോഗിച്ചു

ബൈറ്റ് ഗ്രാനുലാരിറ്റിയിൽ ആവർത്തിച്ചുള്ള വാചക ശകലങ്ങൾ സൂചികയിലാക്കാൻ അൽഗോരിതം ഒരു രീതി ഉപയോഗിക്കുന്നു. ഈ കംപ്രഷൻ രീതി വളരെക്കാലമായി അറിയപ്പെട്ടിരുന്നു, എന്നാൽ ആവശ്യമായ വിഭവങ്ങളുടെ കാര്യത്തിൽ പൊരുത്തപ്പെടുത്തൽ പ്രവർത്തനം വളരെ ചെലവേറിയതും ഒരു നിഘണ്ടു നിർമ്മിക്കുന്നതിനേക്കാൾ കൂടുതൽ സമയം ആവശ്യമുള്ളതും ആയതിനാൽ ഉപയോഗിച്ചിരുന്നില്ല. അതിനാൽ RTT-മിഡ് അൽഗോരിതം "ഭാവിയിലേക്ക്" മാറുന്നതിനുള്ള ഒരു മികച്ച ഉദാഹരണമാണ്...

PTT കംപ്രസ്സർ ഒരു അദ്വിതീയ ഹൈ-സ്പീഡ് മാച്ച് സെർച്ച് സ്കാനർ ഉപയോഗിക്കുന്നു, ഇത് കംപ്രഷൻ പ്രക്രിയ വേഗത്തിലാക്കാൻ ഞങ്ങളെ അനുവദിക്കുന്നു. ഒരു സ്വയം നിർമ്മിത സ്കാനർ, ഇത് "എന്റെ ചാം ...", "ഇത് തികച്ചും ചെലവേറിയതാണ്, കാരണം ഇത് പൂർണ്ണമായും കൈകൊണ്ട് നിർമ്മിച്ചതാണ്" (അസംബ്ലറിൽ എഴുതിയത്).

രണ്ട്-ലെവൽ പ്രോബബിലിസ്റ്റിക് സ്കീം അനുസരിച്ചാണ് മാച്ച് സെർച്ച് സ്കാനർ നിർമ്മിച്ചിരിക്കുന്നത്: ആദ്യം, ഒരു പൊരുത്തത്തിന്റെ “അടയാളം” സ്കാൻ ചെയ്യുന്നു, കൂടാതെ ഈ സ്ഥലത്ത് “അടയാളം” തിരിച്ചറിഞ്ഞതിനുശേഷം മാത്രമേ ഒരു യഥാർത്ഥ പൊരുത്തം കണ്ടെത്തുന്നതിനുള്ള നടപടിക്രമം ആരംഭിച്ചിരിക്കുന്നു.

പ്രോസസ്സ് ചെയ്ത ഡാറ്റ ബ്ലോക്കിലെ എൻട്രോപ്പിയുടെ അളവ് അനുസരിച്ച് മാച്ച് സെർച്ച് വിൻഡോയ്ക്ക് പ്രവചനാതീതമായ വലുപ്പമുണ്ട്. പൂർണ്ണമായും ക്രമരഹിതമായ (അപ്രസക്തമായ) ഡാറ്റയ്ക്ക് മെഗാബൈറ്റുകളുടെ വലുപ്പമുണ്ട്, ആവർത്തനങ്ങളുള്ള ഡാറ്റയ്ക്ക് ഇത് എല്ലായ്പ്പോഴും ഒരു മെഗാബൈറ്റിനേക്കാൾ വലുതായിരിക്കും.

എന്നാൽ പല ആധുനിക ഡാറ്റ ഫോർമാറ്റുകളും കംപ്രസ്സുചെയ്യാൻ കഴിയാത്തതും അവയിലൂടെ ഒരു റിസോഴ്സ്-ഇന്റൻസീവ് സ്കാനർ പ്രവർത്തിപ്പിക്കുന്നതും ഉപയോഗശൂന്യവും പാഴായതുമാണ്, അതിനാൽ സ്കാനർ രണ്ട് ഓപ്പറേറ്റിംഗ് മോഡുകൾ ഉപയോഗിക്കുന്നു. ആദ്യം, സാധ്യമായ ആവർത്തനങ്ങളുള്ള സോഴ്‌സ് ടെക്‌സ്‌റ്റിന്റെ വിഭാഗങ്ങൾ തിരയുന്നു; ഈ പ്രവർത്തനവും ഒരു പ്രോബബിലിസ്റ്റിക് രീതി ഉപയോഗിച്ച് നടത്തുകയും വളരെ വേഗത്തിൽ നടപ്പിലാക്കുകയും ചെയ്യുന്നു (4-6 ജിഗാബൈറ്റുകൾ/സെക്കൻഡ് വേഗതയിൽ). സാധ്യമായ പൊരുത്തമുള്ള പ്രദേശങ്ങൾ പിന്നീട് പ്രധാന സ്കാനർ പ്രോസസ്സ് ചെയ്യുന്നു.

സൂചിക കംപ്രഷൻ വളരെ കാര്യക്ഷമമല്ല, നിങ്ങൾ ഡ്യൂപ്ലിക്കേറ്റ് ശകലങ്ങൾ സൂചികകൾ ഉപയോഗിച്ച് മാറ്റിസ്ഥാപിക്കേണ്ടതുണ്ട്, കൂടാതെ സൂചിക അറേ കംപ്രഷൻ അനുപാതം ഗണ്യമായി കുറയ്ക്കുന്നു.

കംപ്രഷൻ അനുപാതം വർദ്ധിപ്പിക്കുന്നതിന്, ബൈറ്റ് സ്ട്രിംഗുകളുടെ സമ്പൂർണ്ണ പൊരുത്തങ്ങൾ മാത്രമല്ല, സ്ട്രിംഗിൽ പൊരുത്തപ്പെടുന്നതും പൊരുത്തപ്പെടാത്തതുമായ ബൈറ്റുകൾ അടങ്ങിയിരിക്കുമ്പോൾ ഭാഗികമായവയും സൂചികയിലാക്കുന്നു. ഇത് ചെയ്യുന്നതിന്, രണ്ട് ബ്ലോക്കുകളുടെ പൊരുത്തപ്പെടുന്ന ബൈറ്റുകൾ സൂചിപ്പിക്കുന്ന ഒരു മാച്ച് മാസ്ക് ഫീൽഡ് ഇൻഡെക്സ് ഫോർമാറ്റിൽ ഉൾപ്പെടുന്നു. ഇതിലും വലിയ കംപ്രഷൻ വേണ്ടി, നിലവിലെ ബ്ലോക്കിലേക്ക് ഭാഗികമായി പൊരുത്തപ്പെടുന്ന നിരവധി ബ്ലോക്കുകൾ സൂപ്പർഇമ്പോസ് ചെയ്യാൻ ഇൻഡെക്സിംഗ് ഉപയോഗിക്കുന്നു.

ഇതെല്ലാം നിഘണ്ടു രീതി ഉപയോഗിച്ച് നിർമ്മിച്ച കംപ്രസ്സറുകളുമായി താരതമ്യപ്പെടുത്താവുന്ന ഒരു കംപ്രഷൻ അനുപാതം പിടിടി-മിഡ് കംപ്രസ്സറിൽ നേടുന്നത് സാധ്യമാക്കി, പക്ഷേ വളരെ വേഗത്തിൽ പ്രവർത്തിക്കുന്നു.

പുതിയ കംപ്രഷൻ അൽഗോരിതത്തിന്റെ വേഗത

കാഷെ മെമ്മറിയുടെ പ്രത്യേക ഉപയോഗത്തോടെയാണ് കംപ്രസർ പ്രവർത്തിക്കുന്നതെങ്കിൽ (ഒരു ത്രെഡിന് 4 മെഗാബൈറ്റുകൾ ആവശ്യമാണ്), പ്രവർത്തന വേഗത 700-2000 മെഗാബൈറ്റ്/സെക്കൻഡ് വരെയാണ്. ഓരോ പ്രോസസർ കോറിനും, കംപ്രസ് ചെയ്യുന്ന ഡാറ്റയുടെ തരത്തെ ആശ്രയിച്ച്, പ്രോസസ്സറിന്റെ പ്രവർത്തന ആവൃത്തിയെ ആശ്രയിച്ചിരിക്കുന്നു.

കംപ്രസ്സറിന്റെ ഒരു മൾട്ടി-ത്രെഡ് നടപ്പിലാക്കൽ ഉപയോഗിച്ച്, മൂന്നാം ലെവൽ കാഷെയുടെ വലുപ്പം അനുസരിച്ച് ഫലപ്രദമായ സ്കേലബിളിറ്റി നിർണ്ണയിക്കപ്പെടുന്നു. ഉദാഹരണത്തിന്, 9 മെഗാബൈറ്റ് കാഷെ മെമ്മറി "ബോർഡിൽ" ഉള്ളതിനാൽ, രണ്ടിൽ കൂടുതൽ കംപ്രഷൻ ത്രെഡുകൾ സമാരംഭിക്കുന്നതിൽ അർത്ഥമില്ല; ഇതിൽ നിന്ന് വേഗത വർദ്ധിക്കുകയില്ല. എന്നാൽ 20 മെഗാബൈറ്റ് കാഷെ ഉപയോഗിച്ച് നിങ്ങൾക്ക് ഇതിനകം അഞ്ച് കംപ്രഷൻ ത്രെഡുകൾ പ്രവർത്തിപ്പിക്കാൻ കഴിയും.

കൂടാതെ, റാമിന്റെ ലേറ്റൻസി കംപ്രസ്സറിന്റെ വേഗത നിർണ്ണയിക്കുന്ന ഒരു പ്രധാന പാരാമീറ്ററായി മാറുന്നു. അൽഗോരിതം OP-യിലേക്കുള്ള റാൻഡം ആക്‌സസ് ഉപയോഗിക്കുന്നു, അവയിൽ ചിലത് കാഷെ മെമ്മറിയിൽ പ്രവേശിക്കുന്നില്ല (ഏകദേശം 10%) കൂടാതെ അത് നിഷ്‌ക്രിയമായിരിക്കണം, OP-യിൽ നിന്നുള്ള ഡാറ്റയ്ക്കായി കാത്തിരിക്കുന്നു, ഇത് പ്രവർത്തന വേഗത കുറയ്ക്കുന്നു.

കംപ്രസ്സറിന്റെ വേഗതയെയും ഡാറ്റ ഇൻപുട്ട് / ഔട്ട്പുട്ട് സിസ്റ്റത്തിന്റെ പ്രവർത്തനത്തെയും കാര്യമായി ബാധിക്കുന്നു. സിപിയുവിൽ നിന്നുള്ള ഡാറ്റയ്ക്കായുള്ള ഐ/ഒ ബ്ലോക്ക് അഭ്യർത്ഥനകളിൽ നിന്നുള്ള ഒപിയിലേക്കുള്ള അഭ്യർത്ഥനകൾ, ഇത് കംപ്രഷൻ വേഗതയും കുറയ്ക്കുന്നു. ലാപ്‌ടോപ്പുകൾക്കും ഡെസ്‌ക്‌ടോപ്പുകൾക്കും ഈ പ്രശ്‌നം പ്രാധാന്യമർഹിക്കുന്നു; കൂടുതൽ നൂതനമായ സിസ്റ്റം ബസ് ആക്‌സസ് കൺട്രോൾ യൂണിറ്റും മൾട്ടി-ചാനൽ റാമും ഉള്ളതിനാൽ സെർവറുകൾക്ക് ഇത് വളരെ കുറവാണ്.

ലേഖനത്തിലെ വാചകത്തിലുടനീളം ഞങ്ങൾ കംപ്രഷനെക്കുറിച്ച് സംസാരിക്കുന്നു; "എല്ലാം ചോക്ലേറ്റിൽ പൊതിഞ്ഞിരിക്കുന്നു" എന്നതിനാൽ ഈ ലേഖനത്തിന്റെ പരിധിക്ക് പുറത്താണ് ഡീകംപ്രഷൻ. ഡീകംപ്രഷൻ വളരെ വേഗതയുള്ളതും I/O വേഗതയിൽ പരിമിതപ്പെടുത്തിയതുമാണ്. ഒരു ത്രെഡിലെ ഒരു ഫിസിക്കൽ കോർ എളുപ്പത്തിൽ 3-4 GB/sec അൺപാക്കിംഗ് വേഗത നൽകുന്നു.

കംപ്രഷൻ പ്രക്രിയയിൽ ഒരു മാച്ച് സെർച്ച് ഓപ്പറേഷന്റെ അഭാവമാണ് ഇതിന് കാരണം, ഇത് കംപ്രഷൻ സമയത്ത് പ്രോസസ്സറിന്റെ പ്രധാന ഉറവിടങ്ങളും കാഷെ മെമ്മറിയും "തിന്നുന്നു".

കംപ്രസ് ചെയ്ത ഡാറ്റ സംഭരണത്തിന്റെ വിശ്വാസ്യത

ഡാറ്റ കംപ്രഷൻ (ആർക്കൈവറുകൾ) ഉപയോഗിക്കുന്ന മുഴുവൻ സോഫ്‌റ്റ്‌വെയറിന്റെയും പേര് സൂചിപ്പിക്കുന്നത് പോലെ, വിവരങ്ങളുടെ ദീർഘകാല സംഭരണത്തിനായി അവ രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നു, വർഷങ്ങളല്ല, നൂറ്റാണ്ടുകൾക്കും സഹസ്രാബ്ദങ്ങൾക്കും...

സ്റ്റോറേജ് സമയത്ത്, സ്റ്റോറേജ് മീഡിയയ്ക്ക് കുറച്ച് ഡാറ്റ നഷ്‌ടപ്പെടും, ഇതാ ഒരു ഉദാഹരണം:

ഈ "അനലോഗ്" വിവര കാരിയർ ആയിരം വർഷം പഴക്കമുള്ളതാണ്, ചില ശകലങ്ങൾ നഷ്ടപ്പെട്ടു, എന്നാൽ പൊതുവേ വിവരങ്ങൾ "വായിക്കാൻ"...

ആധുനിക ഡിജിറ്റൽ ഡാറ്റ സ്റ്റോറേജ് സിസ്റ്റങ്ങളുടെയും ഡിജിറ്റൽ മീഡിയയുടെയും ഉത്തരവാദിത്തമുള്ള നിർമ്മാതാക്കളാരും 75 വർഷത്തിലേറെയായി സമ്പൂർണ്ണ ഡാറ്റ സുരക്ഷയുടെ ഗ്യാരണ്ടി നൽകുന്നില്ല.
ഇത് ഒരു പ്രശ്നമാണ്, പക്ഷേ മാറ്റിവച്ച പ്രശ്നം, നമ്മുടെ പിൻഗാമികൾ അത് പരിഹരിക്കും ...

ഡിജിറ്റൽ ഡാറ്റ സ്റ്റോറേജ് സിസ്റ്റങ്ങൾക്ക് 75 വർഷത്തിന് ശേഷം മാത്രമല്ല ഡാറ്റ നഷ്‌ടപ്പെടാം, ഡാറ്റയിലെ പിശകുകൾ എപ്പോൾ വേണമെങ്കിലും ദൃശ്യമാകാം, അവയുടെ റെക്കോർഡിംഗ് സമയത്ത് പോലും, ആവർത്തനം ഉപയോഗിച്ചും പിശക് തിരുത്തൽ സംവിധാനങ്ങൾ ഉപയോഗിച്ച് അവ ശരിയാക്കിയും ഈ വികലങ്ങൾ കുറയ്ക്കാൻ അവർ ശ്രമിക്കുന്നു. റിഡൻഡൻസിയും തിരുത്തൽ സംവിധാനങ്ങളും എല്ലായ്പ്പോഴും നഷ്ടപ്പെട്ട വിവരങ്ങൾ പുനഃസ്ഥാപിക്കാൻ കഴിയില്ല, അങ്ങനെ ചെയ്താൽ, പുനഃസ്ഥാപന പ്രവർത്തനം ശരിയായി പൂർത്തിയാക്കി എന്നതിന് യാതൊരു ഉറപ്പുമില്ല.

ഇതും ഒരു വലിയ പ്രശ്‌നമാണ്, പക്ഷേ മാറ്റിവെച്ച ഒന്നല്ല, നിലവിലുള്ളതാണ്.

ഡിജിറ്റൽ ഡാറ്റ ആർക്കൈവുചെയ്യാൻ ഉപയോഗിക്കുന്ന ആധുനിക കംപ്രസ്സറുകൾ നിഘണ്ടു രീതിയുടെ വിവിധ പരിഷ്കാരങ്ങളിൽ നിർമ്മിച്ചതാണ്, അത്തരം ആർക്കൈവുകൾക്ക് ഒരു വിവരത്തിന്റെ നഷ്ടം ഒരു മാരകമായ സംഭവമായിരിക്കും; അത്തരമൊരു സാഹചര്യത്തിന് ഒരു സ്ഥാപിത പദം പോലും ഉണ്ട് - ഒരു "തകർന്ന" ആർക്കൈവ്. ...

നിഘണ്ടു കംപ്രഷൻ ഉപയോഗിച്ച് ആർക്കൈവുകളിൽ വിവരങ്ങൾ സൂക്ഷിക്കുന്നതിന്റെ കുറഞ്ഞ വിശ്വാസ്യത കംപ്രസ് ചെയ്ത ഡാറ്റയുടെ ഘടനയുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു. അത്തരമൊരു ആർക്കൈവിലെ വിവരങ്ങളിൽ സോഴ്‌സ് ടെക്‌സ്‌റ്റ് അടങ്ങിയിട്ടില്ല, നിഘണ്ടുവിലെ എൻട്രികളുടെ എണ്ണം അവിടെ സംഭരിച്ചിരിക്കുന്നു, കൂടാതെ നിഘണ്ടു തന്നെ നിലവിലെ കംപ്രസ് ചെയ്‌ത വാചകം ചലനാത്മകമായി പരിഷ്‌ക്കരിക്കുന്നു. ഒരു ആർക്കൈവ് ശകലം നഷ്‌ടപ്പെടുകയോ കേടാകുകയോ ചെയ്‌താൽ, നിഘണ്ടുവിലെ എൻട്രി നമ്പർ എന്താണെന്ന് വ്യക്തമല്ലാത്തതിനാൽ, എല്ലാ തുടർന്നുള്ള ആർക്കൈവ് എൻട്രികളും ഉള്ളടക്കം കൊണ്ടോ നിഘണ്ടുവിലെ എൻട്രിയുടെ ദൈർഘ്യം കൊണ്ടോ തിരിച്ചറിയാൻ കഴിയില്ല.

അത്തരമൊരു "തകർന്ന" ആർക്കൈവിൽ നിന്ന് വിവരങ്ങൾ പുനഃസ്ഥാപിക്കുന്നത് അസാധ്യമാണ്.

കംപ്രസ് ചെയ്ത ഡാറ്റ സംഭരിക്കുന്നതിനുള്ള കൂടുതൽ വിശ്വസനീയമായ രീതിയെ അടിസ്ഥാനമാക്കിയുള്ളതാണ് RTT അൽഗോരിതം. ശകലങ്ങൾ ആവർത്തിക്കുന്നതിന് ഇത് അക്കൗണ്ടിംഗിന്റെ സൂചിക രീതി ഉപയോഗിക്കുന്നു. കംപ്രഷനോടുള്ള ഈ സമീപനം സ്റ്റോറേജ് മീഡിയത്തിലെ വിവരങ്ങൾ വളച്ചൊടിക്കുന്നതിന്റെ അനന്തരഫലങ്ങൾ കുറയ്ക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു, കൂടാതെ പല കേസുകളിലും വിവര സംഭരണ ​​സമയത്ത് ഉയർന്നുവന്ന വികലങ്ങൾ സ്വയമേവ ശരിയാക്കുന്നു.
ഇൻഡെക്സ് കംപ്രഷന്റെ കാര്യത്തിൽ ആർക്കൈവ് ഫയലിൽ രണ്ട് ഫീൽഡുകൾ അടങ്ങിയിരിക്കുന്നു എന്നതാണ് ഇതിന് കാരണം:

• ഒരു സോഴ്സ് ടെക്സ്റ്റ് ഫീൽഡ്, അതിൽ നിന്ന് നീക്കം ചെയ്ത ആവർത്തന വിഭാഗങ്ങൾ;
• സൂചിക ഫീൽഡ്.

വിവര വീണ്ടെടുക്കലിന് നിർണായകമായ സൂചിക ഫീൽഡ് വലുപ്പത്തിൽ വലുതല്ല, വിശ്വസനീയമായ ഡാറ്റ സംഭരണത്തിനായി ഡ്യൂപ്ലിക്കേറ്റ് ചെയ്യാം. അതിനാൽ, സോഴ്‌സ് ടെക്‌സ്‌റ്റിന്റെയോ ഇൻഡെക്‌സ് അറേയുടെയോ ഒരു ഭാഗം നഷ്‌ടപ്പെട്ടാലും, "അനലോഗ്" സ്റ്റോറേജ് മീഡിയം ഉള്ള ചിത്രത്തിൽ പോലെ മറ്റെല്ലാ വിവരങ്ങളും പ്രശ്‌നങ്ങളില്ലാതെ പുനഃസ്ഥാപിക്കപ്പെടും.

അൽഗോരിതത്തിന്റെ പോരായ്മകൾ

ദോഷങ്ങളില്ലാതെ നേട്ടങ്ങളൊന്നുമില്ല. സൂചിക കംപ്രഷൻ രീതി ഹ്രസ്വമായ ആവർത്തന ക്രമങ്ങളെ കംപ്രസ് ചെയ്യുന്നില്ല. സൂചിക രീതിയുടെ പരിമിതികളാണ് ഇതിന് കാരണം. സൂചികകൾക്ക് കുറഞ്ഞത് 3 ബൈറ്റുകളെങ്കിലും വലുപ്പമുണ്ട്, 12 ബൈറ്റുകൾ വരെ വലുപ്പമുണ്ടാകാം. ഒരു ആവർത്തനം അതിനെ വിവരിക്കുന്ന സൂചികയേക്കാൾ ചെറിയ വലുപ്പത്തിൽ നേരിടുകയാണെങ്കിൽ, കംപ്രസ് ചെയ്ത ഫയലിൽ അത്തരം ആവർത്തനങ്ങൾ എത്ര തവണ കണ്ടെത്തിയാലും അത് കണക്കിലെടുക്കില്ല.

പരമ്പരാഗത നിഘണ്ടു കംപ്രഷൻ രീതി കുറഞ്ഞ ദൈർഘ്യമുള്ള ഒന്നിലധികം ആവർത്തനങ്ങളെ ഫലപ്രദമായി കംപ്രസ്സുചെയ്യുന്നു, അതിനാൽ സൂചിക കംപ്രഷനെക്കാൾ ഉയർന്ന കംപ്രഷൻ അനുപാതം കൈവരിക്കുന്നു. സെൻട്രൽ പ്രോസസറിലെ ഉയർന്ന ലോഡ് മൂലമാണ് ഇത് നേടിയെടുക്കുന്നത്; ഇൻഡെക്സ് രീതിയേക്കാൾ കാര്യക്ഷമമായി ഡാറ്റ കംപ്രസ് ചെയ്യാൻ നിഘണ്ടു രീതി ആരംഭിക്കുന്നതിന്, യഥാർത്ഥത്തിൽ ഡാറ്റ പ്രോസസ്സിംഗ് വേഗത സെക്കൻഡിൽ 10-20 മെഗാബൈറ്റായി കുറയ്ക്കേണ്ടതുണ്ട്. ഒരു പൂർണ്ണ സിപിയു ലോഡ് ഉള്ള കമ്പ്യൂട്ടിംഗ് ഇൻസ്റ്റാളേഷനുകൾ.

ആധുനിക ഡാറ്റാ സ്റ്റോറേജ് സിസ്റ്റങ്ങൾക്ക് അത്തരം കുറഞ്ഞ വേഗത അസ്വീകാര്യമാണ് കൂടാതെ പ്രായോഗികമായതിനേക്കാൾ കൂടുതൽ "അക്കാദമിക്" താൽപ്പര്യവുമാണ്.

ഇതിനകം വികസിപ്പിച്ചുകൊണ്ടിരിക്കുന്ന RTT അൽഗോരിതത്തിന്റെ (RTT-Max) അടുത്ത പരിഷ്ക്കരണത്തിൽ വിവര കംപ്രഷന്റെ അളവ് ഗണ്യമായി വർദ്ധിപ്പിക്കും.

അതിനാൽ, എല്ലായ്പ്പോഴും എന്നപോലെ, തുടരും ...

അവലംബം: www.habr.com