હાર્ડ ડિસ્ક જગ્યા બચાવવા માટે એક વિચિત્ર પદ્ધતિ વિશે

અન્ય વપરાશકર્તા હાર્ડ ડ્રાઇવ પર ડેટાનો નવો ભાગ લખવા માંગે છે, પરંતુ તેની પાસે આ કરવા માટે પૂરતી ખાલી જગ્યા નથી. હું કંઈપણ કાઢી નાખવા માંગતો નથી, કારણ કે "બધું ખૂબ જ મહત્વપૂર્ણ અને જરૂરી છે." અને આપણે તેની સાથે શું કરવું જોઈએ?

કોઈને પણ આ સમસ્યા નથી. અમારી હાર્ડ ડ્રાઈવો પર ટેરાબાઈટ્સની માહિતી છે, અને આ રકમમાં ઘટાડો થતો નથી. પરંતુ તે કેટલું અનન્ય છે? અંતે, બધી ફાઇલો ચોક્કસ લંબાઈના બીટ્સના માત્ર સેટ છે અને, સંભવતઃ, નવી એક પહેલાથી સંગ્રહિત ફાઇલ કરતા ઘણી અલગ નથી.

તે સ્પષ્ટ છે કે હાર્ડ ડ્રાઇવ પર પહેલાથી જ સંગ્રહિત માહિતીના ટુકડાઓ માટે શોધ કરવી એ નિષ્ફળતા નથી, તો ઓછામાં ઓછું અસરકારક કાર્ય નથી. બીજી બાજુ, જો તફાવત નાનો છે, તો તમે તેને થોડો એડજસ્ટ કરી શકો છો...

TL;DR - હવે વધુ સમજી શકાય તેવા સ્વરૂપમાં, JPEG ફાઇલોનો ઉપયોગ કરીને ડેટાને ઑપ્ટિમાઇઝ કરવાની વિચિત્ર પદ્ધતિ વિશે વાત કરવાનો બીજો પ્રયાસ.

બિટ્સ અને તફાવત વિશે

જો તમે ડેટાના બે સંપૂર્ણપણે રેન્ડમ ટુકડાઓ લો છો, તો સરેરાશ અડધા બિટ્સ તેઓ સમાવે છે. ખરેખર, દરેક જોડી ('00, 01, 10, 11') માટેના સંભવિત લેઆઉટમાં, બરાબર અડધા સમાન મૂલ્યો ધરાવે છે, અહીં બધું સરળ છે.

પરંતુ અલબત્ત, જો આપણે ફક્ત બે ફાઈલો લઈએ અને એકમાં બીજી ફીટ કરીએ, તો આપણે તેમાંથી એક ગુમાવીશું. જો આપણે ફેરફારોને સાચવીશું, તો અમે ફક્ત પુનઃશોધ કરીશું ડેલ્ટા એન્કોડિંગ, જે આપણા વિના સંપૂર્ણ રીતે અસ્તિત્વમાં છે, જો કે તેનો ઉપયોગ સામાન્ય રીતે સમાન હેતુઓ માટે થતો નથી. અમે નાના ક્રમને મોટામાં એમ્બેડ કરવાનો પ્રયાસ કરી શકીએ છીએ, પરંતુ તેમ છતાં જો આપણે દરેક બાબતમાં અવિચારી રીતે તેનો ઉપયોગ કરીએ તો અમે ડેટાના નિર્ણાયક ભાગો ગુમાવવાનું જોખમ લઈએ છીએ.

પછી શું અને શું વચ્ચેનો તફાવત દૂર કરી શકાય? ઠીક છે, એટલે કે, વપરાશકર્તા દ્વારા લખવામાં આવેલી નવી ફાઇલ એ ફક્ત બિટ્સનો ક્રમ છે, જેની સાથે આપણે પોતે કંઈપણ કરી શકતા નથી. પછી તમારે ફક્ત હાર્ડ ડ્રાઇવ પર આવા બિટ્સ શોધવાની જરૂર છે કે તેઓ તફાવતને સંગ્રહિત કર્યા વિના બદલી શકાય છે, જેથી તમે ગંભીર પરિણામો વિના તેમના નુકસાનથી બચી શકો. અને તે માત્ર FS પરની ફાઇલને જ નહીં, પરંતુ તેની અંદરની કેટલીક ઓછી સંવેદનશીલ માહિતીને બદલવાનો અર્થપૂર્ણ છે. પણ કયું અને કેવી રીતે?

ફિટિંગ પદ્ધતિઓ

નુકસાનકારક સંકુચિત ફાઇલો બચાવમાં આવે છે. આ તમામ jpegs, mp3s અને અન્યો, હાનિકારક કમ્પ્રેશન હોવા છતાં, બીટ્સનો સમૂહ ધરાવે છે જે સુરક્ષિત રીતે બદલી શકાય છે. અદ્યતન તકનીકોનો ઉપયોગ કરવો શક્ય છે જે એન્કોડિંગના વિવિધ તબક્કામાં તેમના ઘટકોને અસ્પષ્ટપણે સંશોધિત કરે છે. રાહ જુઓ. અદ્યતન તકનીકો... અગોચર ફેરફાર... એકથી બીજામાં... તે લગભગ જેવું છે સ્ટેગનોગ્રાફી!

ખરેખર, એક માહિતીને બીજામાં એમ્બેડ કરવું એ તેની પદ્ધતિઓની યાદ અપાવે છે જેમ કે બીજું કંઈ નથી. માનવીય સંવેદનાઓમાં થતા ફેરફારોની અગોચરતાથી પણ હું પ્રભાવિત થયો છું. જ્યાં માર્ગો અલગ પડે છે તે ગુપ્તતામાં છે: અમારું કાર્ય વપરાશકર્તાને તેની હાર્ડ ડ્રાઇવ પર વધારાની માહિતી દાખલ કરવા માટે આવે છે; તે ફક્ત તેને નુકસાન પહોંચાડશે. તે ફરીથી ભૂલી જશે.

તેથી, જો કે આપણે તેનો ઉપયોગ કરી શકીએ છીએ, અમારે કેટલાક ફેરફારો કરવાની જરૂર છે. અને પછી હું તેમને હાલની પદ્ધતિઓમાંથી એક અને સામાન્ય ફાઇલ ફોર્મેટના ઉદાહરણનો ઉપયોગ કરીને કહીશ અને બતાવીશ.

શિયાળ વિશે

જો તમે ખરેખર તેને સ્ક્વિઝ કરો છો, તો તે વિશ્વની સૌથી સંકુચિત વસ્તુ છે. અમે, અલબત્ત, JPEG ફાઇલો વિશે વાત કરી રહ્યા છીએ. તેમાં ડેટાને એમ્બેડ કરવા માટે માત્ર ઘણા ટૂલ્સ અને હાલની પદ્ધતિઓ નથી, પરંતુ તે આ ગ્રહ પરનું સૌથી લોકપ્રિય ગ્રાફિક્સ ફોર્મેટ છે.

જો કે, કૂતરાના સંવર્ધનમાં સામેલ ન થવા માટે, તમારે આ ફોર્મેટની ફાઇલોમાં તમારી પ્રવૃત્તિના ક્ષેત્રને મર્યાદિત કરવાની જરૂર છે. અતિશય કમ્પ્રેશનને કારણે દેખાતા મોનોક્રોમ ચોરસ કોઈને પસંદ નથી, તેથી તમારે પહેલેથી જ સંકુચિત ફાઇલ સાથે કામ કરવા માટે તમારી જાતને મર્યાદિત કરવાની જરૂર છે, રીકોડિંગ ટાળવું. વધુ વિશિષ્ટ રીતે, પૂર્ણાંક ગુણાંક સાથે, જે ડેટા નુકશાન માટે જવાબદાર કામગીરી પછી રહે છે - ડીસીટી અને ક્વોન્ટાઇઝેશન, જે એન્કોડિંગ સ્કીમમાં સંપૂર્ણ રીતે પ્રદર્શિત થાય છે (બૌમન નેશનલ લાઇબ્રેરીના વિકિને આભાર):

jpeg ફાઇલોને ઑપ્ટિમાઇઝ કરવા માટે ઘણી સંભવિત પદ્ધતિઓ છે. ત્યાં લોસલેસ ઑપ્ટિમાઇઝેશન છે (jpegtran), ઑપ્ટિમાઇઝેશન છે "કોઈ નુકશાન નથી", જે વાસ્તવમાં કંઈક બીજું યોગદાન આપે છે, પરંતુ અમે તેમની કાળજી લેતા નથી. છેવટે, જો વપરાશકર્તા ફ્રી ડિસ્ક સ્પેસ વધારવા માટે એક માહિતીને બીજામાં એમ્બેડ કરવા માટે તૈયાર છે, તો પછી તેણે કાં તો તેની છબીઓને લાંબા સમય પહેલા ઑપ્ટિમાઇઝ કરી છે, અથવા ગુણવત્તા ગુમાવવાના ડરથી આ બિલકુલ કરવા માંગતો નથી.

F5

અલ્ગોરિધમનો આખો પરિવાર આ શરતોને બંધબેસે છે, જેનાથી તમે તમારી જાતને પરિચિત કરી શકો છો આ સારી રજૂઆતમાં. તેમાંથી સૌથી અદ્યતન એલ્ગોરિધમ છે F5 એન્ડ્રેસ વેસ્ટફેલ્ડ દ્વારા, તેજ ઘટકના ગુણાંક સાથે કામ કરવું, કારણ કે માનવ આંખ તેના ફેરફારો પ્રત્યે સૌથી ઓછી સંવેદનશીલ હોય છે. તદુપરાંત, તે મેટ્રિક્સ એન્કોડિંગ પર આધારિત એમ્બેડિંગ તકનીકનો ઉપયોગ કરે છે, જે સમાન માત્રામાં માહિતી એમ્બેડ કરતી વખતે ઓછા ફેરફારો કરવાનું શક્ય બનાવે છે, વપરાયેલ કન્ટેનરનું કદ જેટલું મોટું હોય છે.

અમુક ચોક્કસ પરિસ્થિતિઓ (એટલે ​​કે, હંમેશા નહીં) હેઠળ ગુણાંકના ચોક્કસ મૂલ્યને ઘટાડવા માટે ફેરફારો પોતે જ ઉકળે છે, જે તમને તમારી હાર્ડ ડ્રાઇવ પર ડેટા સ્ટોરેજને ઑપ્ટિમાઇઝ કરવા માટે F5 નો ઉપયોગ કરવાની મંજૂરી આપે છે. મુદ્દો એ છે કે JPEG માં મૂલ્યોના આંકડાકીય વિતરણને કારણે હફમેન એન્કોડિંગ પછી આવા ફેરફાર પછીના ગુણાંક મોટા ભાગે ઓછા બિટ્સ પર કબજો કરશે, અને RLE નો ઉપયોગ કરીને તેમને એન્કોડ કરતી વખતે નવા શૂન્ય લાભ આપશે.

જરૂરી ફેરફારો ગુપ્તતા (પાસવર્ડ પુન: ગોઠવણી) માટે જવાબદાર ભાગને દૂર કરવા માટે ઉકળે છે, જે સંસાધનો અને અમલના સમયને બચાવે છે, અને એક સમયે એકની જગ્યાએ ઘણી ફાઇલો સાથે કામ કરવાની પદ્ધતિ ઉમેરે છે. વાચકને ફેરફારની પ્રક્રિયામાં વધુ વિગતવાર રસ હોવાની શક્યતા નથી, તેથી ચાલો અમલીકરણના વર્ણન પર આગળ વધીએ.

હાઇ ટેક

આ અભિગમ કેવી રીતે કાર્ય કરે છે તે દર્શાવવા માટે, મેં શુદ્ધ C માં પદ્ધતિનો અમલ કર્યો અને એક્ઝેક્યુશન સ્પીડ અને મેમરી બંનેના સંદર્ભમાં સંખ્યાબંધ ઑપ્ટિમાઇઝેશન હાથ ધર્યા (તમે કલ્પના કરી શકતા નથી કે આ ચિત્રો કમ્પ્રેશન વિના કેટલું વજન ધરાવે છે, DCT પહેલાં પણ). લાઇબ્રેરીઓના સંયોજનનો ઉપયોગ કરીને પ્રાપ્ત કરેલ ક્રોસ-પ્લેટફોર્મ libjpeg, pcre и નાનું ડીરજેના માટે અમે તેમનો આભાર માનીએ છીએ. આ બધું 'મેક' દ્વારા એકસાથે મૂકવામાં આવ્યું છે, તેથી વિન્ડોઝ વપરાશકર્તાઓ મૂલ્યાંકન માટે પોતાને માટે કેટલાક સાયગવિન ઇન્સ્ટોલ કરવા માંગે છે, અથવા વિઝ્યુઅલ સ્ટુડિયો અને લાઇબ્રેરીઓ સાથે જાતે વ્યવહાર કરવા માંગે છે.

અમલીકરણ કન્સોલ યુટિલિટી અને લાઇબ્રેરીના રૂપમાં ઉપલબ્ધ છે. રસ ધરાવતા લોકો ગીથબ પરના રીપોઝીટરીમાં રીડમીમાં બાદમાંના ઉપયોગ વિશે વધુ જાણી શકે છે, જેની લિંક હું પોસ્ટના અંતે જોડીશ.

કેવી રીતે વાપરવું?

કાળજીપૂર્વક. આપેલ રૂટ ડિરેક્ટરીમાં રેગ્યુલર એક્સપ્રેશનનો ઉપયોગ કરીને સર્ચ કરીને પેકેજીંગ માટે વપરાતી ઈમેજો પસંદ કરવામાં આવે છે. પૂર્ણ થયા પછી, ફાઇલોને તેની મર્યાદામાં ખસેડી, નામ બદલી અને તેની મર્યાદામાં તેની ઇચ્છા મુજબ નકલ કરી શકાય છે, ફાઇલ અને ઓપરેટિંગ સિસ્ટમ્સ વગેરે બદલી શકાય છે. જો કે, તમારે અત્યંત સાવચેત રહેવું જોઈએ અને તાત્કાલિક સામગ્રીને કોઈપણ રીતે બદલવી જોઈએ નહીં. એક બીટનું મૂલ્ય ગુમાવવાથી માહિતી પુનઃપ્રાપ્ત કરવાનું અશક્ય બની શકે છે.

પૂર્ણ થયા પછી, ઉપયોગિતા એક વિશિષ્ટ આર્કાઇવ ફાઇલ છોડે છે જેમાં અનપેક કરવા માટે જરૂરી બધી માહિતી હોય છે, જેમાં વપરાયેલી છબીઓ વિશેના ડેટાનો સમાવેશ થાય છે. પોતે જ, તેનું વજન લગભગ બે કિલોબાઈટ છે અને કબજે કરેલી ડિસ્ક સ્પેસ પર તેની કોઈ ખાસ અસર થતી નથી.

તમે '-a' ફ્લેગનો ઉપયોગ કરીને સંભવિત ક્ષમતાનું વિશ્લેષણ કરી શકો છો: './f5ar -a [ફોલ્ડર શોધો] [પર્લ-સુસંગત નિયમિત અભિવ્યક્તિ]'. પેકિંગ './f5ar -p [ફોલ્ડર શોધો] [પર્લ-સુસંગત નિયમિત અભિવ્યક્તિ] [પેક્ડ ફાઇલ] [આર્કાઇવ નામ]' આદેશ સાથે કરવામાં આવે છે, અને './f5ar -u [આર્કાઇવ ફાઇલ] [પુનઃપ્રાપ્ત ફાઇલ નામ સાથે અનપૅકિંગ થાય છે. ]'.

કામનું પ્રદર્શન

પદ્ધતિની અસરકારકતા બતાવવા માટે, મેં સેવામાંથી કૂતરાઓના 225 તદ્દન મફત ફોટાઓનો સંગ્રહ અપલોડ કર્યો અનસ્પ્લેશ અને દસ્તાવેજોમાં બીજા વોલ્યુમની 45 મીટરની મોટી પીડીએફ મળી પ્રોગ્રામિંગની કળા નુતા.

ક્રમ એકદમ સરળ છે:

$ du -sh knuth.pdf dogs/
44M knuth.pdf
633M dogs/

$ ./f5ar -p dogs/ .*jpg knuth.pdf dogs.f5ar
Reading compressing file... ok
Initializing the archive... ok
Analysing library capacity... done in 17.0s
Detected somewhat guaranteed capacity of 48439359 bytes
Detected possible capacity of upto 102618787 bytes
Compressing... done in 39.4s
Saving the archive... ok

$ ./f5ar -u dogs/dogs.f5ar knuth_unpacked.pdf
Initializing the archive... ok
Reading the archive file... ok
Filling the archive with files... done in 1.4s
Decompressing... done in 21.0s
Writing extracted data... ok

$ sha1sum knuth.pdf knuth_unpacked.pdf
5bd1f496d2e45e382f33959eae5ab15da12cd666 knuth.pdf
5bd1f496d2e45e382f33959eae5ab15da12cd666 knuth_unpacked.pdf

$ du -sh dogs/
551M dogs/

ચાહકો માટે સ્ક્રીનશૉટ્સ

અનપેક્ડ ફાઇલ વાંચી શકાય છે અને હજુ પણ વાંચવી જોઈએ:

જેમ તમે જોઈ શકો છો, હાર્ડ ડ્રાઇવ પરના મૂળ 633 + 36 == 669 મેગાબાઇટ્સ ડેટામાંથી, અમે વધુ સુખદ 551 પર આવ્યા છીએ. આવા આમૂલ તફાવત ગુણાંકના મૂલ્યોમાં ઘટાડો દ્વારા સમજાવવામાં આવે છે, જે તેમના પર અસર કરે છે અનુગામી લોસલેસ કમ્પ્રેશન: ફક્ત એક પછી એક ઘટાડીને "ફાઇનલ ફાઇલમાંથી બે બાઇટ્સ" સરળતાથી કાપી શકાય છે. જો કે, આ હજુ પણ ડેટા નુકશાન છે, એક અત્યંત નાનું હોવા છતાં, જે તમારે સહન કરવું પડશે.

સદનસીબે, તેઓ આંખ માટે સંપૂર્ણપણે અદ્રશ્ય છે. સ્પોઇલર હેઠળ (કેમ કે હેબ્રાસ્ટોરેજ મોટી ફાઇલોને હેન્ડલ કરી શકતું નથી), રીડર આંખ અને તેમની તીવ્રતા બંને દ્વારા તફાવતનું મૂલ્યાંકન કરી શકે છે, જે મૂળમાંથી બદલાયેલ ઘટકના મૂલ્યોને બાદ કરીને મેળવવામાં આવે છે: મૂળ, અંદરની માહિતી સાથે, તફાવત (જેટલો રંગ ઓછો, બ્લોકમાં તફાવત એટલો ઓછો).

તેના બદલે એક નિષ્કર્ષ

આ બધી મુશ્કેલીઓને ધ્યાનમાં રાખીને, હાર્ડ ડ્રાઈવ ખરીદવી અથવા બધું ક્લાઉડ પર અપલોડ કરવું એ સમસ્યાના વધુ સરળ ઉકેલ જેવું લાગે છે. પરંતુ તેમ છતાં આપણે અત્યારે આવા અદ્ભુત સમયમાં જીવીએ છીએ, ત્યાં કોઈ ગેરેંટી નથી કે આવતીકાલે હજી પણ ઓનલાઈન જઈને તમારો તમામ વધારાનો ડેટા ક્યાંક અપલોડ કરવો શક્ય બનશે. અથવા સ્ટોર પર જાઓ અને તમારી જાતને બીજી હજાર ટેરાબાઈટ હાર્ડ ડ્રાઈવ ખરીદો. પરંતુ તમે હંમેશા હાલના મકાનોનો ઉપયોગ કરી શકો છો.

-> GitHub

સોર્સ: www.habr.com