ചിത്രങ്ങൾ അമിതമായി കംപ്രസ്സുചെയ്യാൻ AI ഉപയോഗിക്കുന്നു

ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ പോലെയുള്ള ഡാറ്റാധിഷ്ഠിത അൽഗോരിതങ്ങൾ ലോകത്തെ കൊടുങ്കാറ്റാക്കി. വിലകുറഞ്ഞതും ശക്തവുമായ ഉപകരണങ്ങളും വലിയ അളവിലുള്ള ഡാറ്റയും ഉൾപ്പെടെ നിരവധി കാരണങ്ങളാലാണ് അവയുടെ വികസനം. ഇമേജ് തിരിച്ചറിയൽ, സ്വാഭാവിക ഭാഷാ ധാരണ മുതലായവ പോലെയുള്ള "കോഗ്നിറ്റീവ്" ജോലികളുമായി ബന്ധപ്പെട്ട എല്ലാ കാര്യങ്ങളിലും ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ നിലവിൽ മുൻപന്തിയിലാണ്. എന്നാൽ അവർ അത്തരം ജോലികളിൽ മാത്രം ഒതുങ്ങരുത്. ഈ ലേഖനം ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ ഉപയോഗിച്ച്, ശേഷിക്കുന്ന പഠനം ഉപയോഗിച്ച് ചിത്രങ്ങൾ എങ്ങനെ കംപ്രസ് ചെയ്യാം എന്നതിനെക്കുറിച്ച് സംസാരിക്കുന്നു. ലേഖനത്തിൽ അവതരിപ്പിച്ചിരിക്കുന്ന സമീപനം സ്റ്റാൻഡേർഡ് കോഡെക്കുകളേക്കാൾ വേഗതയേറിയതും മികച്ചതുമാണ്. സ്കീമുകൾ, സമവാക്യങ്ങൾ, തീർച്ചയായും, കട്ട് കീഴിൽ ടെസ്റ്റുകൾ ഒരു പട്ടിക.

ഈ ലേഖനം അടിസ്ഥാനമാക്കിയുള്ളതാണ് ഇത് ജോലി. ന്യൂറൽ നെറ്റ്‌വർക്കുകളും അവയുടെ ആശയങ്ങളും നിങ്ങൾക്ക് പരിചിതമാണെന്ന് അനുമാനിക്കപ്പെടുന്നു. കൺവ്യൂഷൻ и നഷ്ടം പ്രവർത്തനം.

എന്താണ് ഇമേജ് കംപ്രഷൻ, അത് എങ്ങനെ പ്രവർത്തിക്കുന്നു?

ഇമേജ് കംപ്രഷൻ എന്നത് ഒരു ഇമേജ് പരിവർത്തനം ചെയ്യുന്ന പ്രക്രിയയാണ്, അങ്ങനെ അത് കുറച്ച് സ്ഥലം എടുക്കുന്നു. ഇമേജുകൾ ലളിതമായി സംഭരിക്കുന്നത് ധാരാളം ഇടം എടുക്കും, അതിനാലാണ് യഥാർത്ഥ ചിത്രത്തിന്റെ വലുപ്പം കുറയ്ക്കാൻ ലക്ഷ്യമിടുന്ന JPEG, PNG പോലുള്ള കോഡെക്കുകൾ ഉള്ളത്.

നിങ്ങൾക്കറിയാവുന്നതുപോലെ, രണ്ട് തരം ഇമേജ് കംപ്രഷൻ ഉണ്ട്: നഷ്ടമില്ല и നഷ്ടങ്ങളോടെ. പേരുകൾ സൂചിപ്പിക്കുന്നത് പോലെ, നഷ്ടരഹിതമായ കംപ്രഷന് യഥാർത്ഥ ഇമേജ് ഡാറ്റ നിലനിർത്താൻ കഴിയും, അതേസമയം ലോസി കംപ്രഷൻ കംപ്രഷൻ സമയത്ത് കുറച്ച് ഡാറ്റ നഷ്ടപ്പെടും. ഉദാഹരണത്തിന്, JPG എന്നത് ലോസി അൽഗോരിതങ്ങളാണ് [ഏകദേശം. വിവർത്തനം. - അടിസ്ഥാനപരമായി, നഷ്ടമില്ലാത്ത JPEG നെ കുറിച്ച് മറക്കരുത്, കൂടാതെ PNG ഒരു നഷ്ടമില്ലാത്ത അൽഗോരിതം ആണ്.

നഷ്ടമില്ലാത്തതും നഷ്ടപ്പെട്ടതുമായ കംപ്രഷന്റെ താരതമ്യം

വലത് വശത്തുള്ള ചിത്രത്തിൽ ധാരാളം ബ്ലോക്കി ആർട്ടിഫാക്‌റ്റുകൾ ഉണ്ടെന്ന് ശ്രദ്ധിക്കുക. ഇത് നഷ്ടപ്പെട്ട വിവരമാണ്. സ്‌പേസ് ലാഭിക്കുന്നതിന് സമാനമായ നിറങ്ങളിലുള്ള അയൽപക്ക പിക്‌സലുകൾ ഒരൊറ്റ ഏരിയയായി കംപ്രസ് ചെയ്യുന്നു, എന്നാൽ യഥാർത്ഥ പിക്‌സലുകളെക്കുറിച്ചുള്ള വിവരങ്ങൾ നഷ്‌ടപ്പെടും. തീർച്ചയായും, JPEG, PNG, മുതലായവ കോഡെക്കുകളിൽ ഉപയോഗിക്കുന്ന അൽഗോരിതങ്ങൾ വളരെ സങ്കീർണ്ണമാണ്, എന്നാൽ ഇത് ലോസി കംപ്രഷന്റെ നല്ല അവബോധജന്യമായ ഉദാഹരണമാണ്. നഷ്ടരഹിതമായ കംപ്രഷൻ നല്ലതാണ്, എന്നാൽ നഷ്ടമില്ലാത്ത കംപ്രസ് ചെയ്ത ഫയലുകൾ ഡിസ്കിൽ ധാരാളം സ്ഥലം എടുക്കുന്നു. ധാരാളം വിവരങ്ങൾ നഷ്‌ടപ്പെടാതെ ചിത്രങ്ങൾ കംപ്രസ്സുചെയ്യുന്നതിന് മികച്ച മാർഗങ്ങളുണ്ട്, പക്ഷേ അവ വളരെ മന്ദഗതിയിലാണ്, പലരും ആവർത്തന സമീപനങ്ങൾ ഉപയോഗിക്കുന്നു. ഒന്നിലധികം സിപിയു അല്ലെങ്കിൽ ജിപിയു കോറുകളിൽ അവ സമാന്തരമായി പ്രവർത്തിപ്പിക്കാൻ കഴിയില്ല എന്നാണ് ഇതിനർത്ഥം. ഈ പരിമിതി അവരെ ദൈനംദിന ഉപയോഗത്തിൽ പൂർണ്ണമായും അപ്രായോഗികമാക്കുന്നു.

കൺവ്യൂഷണൽ ന്യൂറൽ നെറ്റ്‌വർക്ക് ഇൻപുട്ട്

എന്തെങ്കിലും കണക്കാക്കേണ്ടതുണ്ടെങ്കിൽ, കണക്കുകൂട്ടലുകൾ ഏകദേശമാണെങ്കിൽ, ചേർക്കുക ന്യൂറൽ നെറ്റ്വർക്ക്. ഇമേജ് കംപ്രഷൻ മെച്ചപ്പെടുത്താൻ രചയിതാക്കൾ സാമാന്യം നിലവാരമുള്ള കൺവ്യൂഷണൽ ന്യൂറൽ നെറ്റ്‌വർക്ക് ഉപയോഗിച്ചു. അവതരിപ്പിച്ച രീതി മികച്ച പരിഹാരങ്ങൾക്ക് തുല്യമായി പ്രവർത്തിക്കുക മാത്രമല്ല (മികച്ചതല്ലെങ്കിൽ), ഇതിന് സമാന്തര കമ്പ്യൂട്ടിംഗും ഉപയോഗിക്കാം, ഇത് വേഗതയിൽ നാടകീയമായ വർദ്ധനവിന് കാരണമാകുന്നു. കാരണം, കൺവല്യൂഷണൽ ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ (സിഎൻഎൻ) ചിത്രങ്ങളിൽ നിന്ന് സ്പേഷ്യൽ വിവരങ്ങൾ എക്‌സ്‌ട്രാക്റ്റുചെയ്യുന്നതിൽ വളരെ മികച്ചതാണ്, അവ പിന്നീട് കൂടുതൽ ഒതുക്കമുള്ള രൂപത്തിൽ അവതരിപ്പിക്കുന്നു (ഉദാഹരണത്തിന്, ചിത്രത്തിന്റെ "പ്രധാനപ്പെട്ട" ബിറ്റുകൾ മാത്രം സംരക്ഷിക്കപ്പെടുന്നു). ചിത്രങ്ങളെ മികച്ച രീതിയിൽ പ്രതിനിധീകരിക്കുന്നതിന് ഈ CNN കഴിവ് ഉപയോഗിക്കാൻ രചയിതാക്കൾ ആഗ്രഹിച്ചു.

വാസ്തുവിദ്യ

രചയിതാക്കൾ ഒരു ഇരട്ട ശൃംഖല നിർദ്ദേശിച്ചു. ആദ്യ നെറ്റ്‌വർക്ക് ഒരു ഇമേജ് ഇൻപുട്ടായി എടുക്കുകയും ഒരു കോം‌പാക്റ്റ് പ്രാതിനിധ്യം (ComCNN) സൃഷ്ടിക്കുകയും ചെയ്യുന്നു. ഈ നെറ്റ്‌വർക്കിന്റെ ഔട്ട്‌പുട്ട് പിന്നീട് ഒരു സാധാരണ കോഡെക് (ഉദാ. JPEG) വഴി പ്രോസസ്സ് ചെയ്യുന്നു. കോഡെക് പ്രോസസ്സ് ചെയ്ത ശേഷം, ചിത്രം രണ്ടാമത്തെ നെറ്റ്‌വർക്കിലേക്ക് കൈമാറുന്നു, അത് യഥാർത്ഥ ചിത്രം തിരികെ നൽകാനുള്ള ശ്രമത്തിൽ കോഡെക്കിൽ നിന്ന് ചിത്രം "പരിഹരിക്കുന്നു". രചയിതാക്കൾ ഈ നെറ്റ്‌വർക്കിന് പുനർനിർമ്മാണ സിഎൻഎൻ (RecCNN) എന്ന് പേരിട്ടു. GAN-കൾ പോലെ, രണ്ട് നെറ്റ്‌വർക്കുകളും ആവർത്തിച്ച് പരിശീലിപ്പിക്കപ്പെടുന്നു.

ComCNN കോംപാക്റ്റ് പ്രാതിനിധ്യം സ്റ്റാൻഡേർഡ് കോഡെക്കിലേക്ക് കൈമാറുന്നു

RecCNN. ComCNN ഔട്ട്‌പുട്ട് സ്കെയിൽ അപ്പ് ചെയ്യുകയും RecCNN-ലേക്ക് നൽകുകയും ചെയ്യുന്നു, അത് ബാക്കിയുള്ളത് പഠിക്കാൻ ശ്രമിക്കും

കോഡെക് ഔട്ട്‌പുട്ട് സ്കെയിൽ അപ്പ് ചെയ്യുകയും തുടർന്ന് RecCNN-ലേക്ക് കൈമാറുകയും ചെയ്യുന്നു. RecCNN ചിത്രം ഒറിജിനലിനോട് കഴിയുന്നത്ര അടുത്ത് റെൻഡർ ചെയ്യാൻ ശ്രമിക്കും.

എൻഡ്-ടു-എൻഡ് ഇമേജ് കംപ്രഷൻ ഫ്രെയിംവർക്ക്. കോ(.) എന്നത് ഒരു ഇമേജ് കംപ്രഷൻ അൽഗോരിതം ആണ്. രചയിതാക്കൾ JPEG, JPEG2000, BPG എന്നിവ ഉപയോഗിച്ചു

എന്താണ് ബാക്കിയുള്ളത്?

കോഡെക് ഡീകോഡ് ചെയ്യുന്ന ഇമേജ് "മെച്ചപ്പെടുത്താനുള്ള" ഒരു പോസ്റ്റ്-പ്രോസസ്സിംഗ് ഘട്ടമായി ബാക്കിയുള്ളത് കണക്കാക്കാം. ലോകത്തെ കുറിച്ച് ധാരാളം "വിവരങ്ങൾ" ഉള്ളതിനാൽ, ഒരു ന്യൂറൽ നെറ്റ്‌വർക്കിന് എന്ത് പരിഹരിക്കണം എന്നതിനെക്കുറിച്ച് വൈജ്ഞാനിക തീരുമാനങ്ങൾ എടുക്കാൻ കഴിയും. ഈ ആശയം അടിസ്ഥാനമാക്കിയുള്ളതാണ് ശേഷിക്കുന്ന പഠനം, നിങ്ങൾക്ക് കഴിയുന്നതിനെക്കുറിച്ചുള്ള വിശദാംശങ്ങൾ വായിക്കുക ഇവിടെ.

പ്രവർത്തനങ്ങളുടെ നഷ്ടം

നമുക്ക് രണ്ട് ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ ഉള്ളതിനാൽ രണ്ട് ലോസ് ഫംഗ്‌ഷനുകൾ ഉപയോഗിക്കുന്നു. ഇതിൽ ആദ്യത്തേത്, ComCNN, L1 എന്ന് ലേബൽ ചെയ്‌തിരിക്കുന്നു, ഇത് ഇനിപ്പറയുന്ന രീതിയിൽ നിർവചിച്ചിരിക്കുന്നു:

ComCNN-നുള്ള പ്രവർത്തന നഷ്ടം

വിശദീകരണം

ഈ സമവാക്യം സങ്കീർണ്ണമാണെന്ന് തോന്നിയേക്കാം, എന്നാൽ ഇത് യഥാർത്ഥത്തിൽ സ്റ്റാൻഡേർഡാണ് (റൂട്ട് മീഡിയൻ സ്ക്വയർ പിശക്) MSE. ||² എന്നാൽ അവർ ഉൾക്കൊള്ളുന്ന വെക്‌ടറിന്റെ മാനദണ്ഡം എന്നാണ് അർത്ഥമാക്കുന്നത്.

സമവാക്യം 1.1

Cr എന്നത് ComCNN-ന്റെ ഔട്ട്പുട്ടിനെ സൂചിപ്പിക്കുന്നു. θ എന്നത് ComCNN പാരാമീറ്ററുകളുടെ പഠനക്ഷമതയെ സൂചിപ്പിക്കുന്നു, XK എന്നത് ഇൻപുട്ട് ഇമേജാണ്

സമവാക്യം 1.2

Re() RecCNN എന്നതിന്റെ അർത്ഥം. ഈ സമവാക്യം 1.1 എന്ന സമവാക്യത്തിന്റെ അർത്ഥം RecCNN ലേക്ക് എത്തിക്കുന്നു. θ എന്നത് RecCNN പരിശീലിക്കാവുന്ന പരാമീറ്ററുകളെ സൂചിപ്പിക്കുന്നു (മുകളിൽ ഒരു തൊപ്പി എന്നാൽ പരാമീറ്ററുകൾ ഉറപ്പിച്ചിരിക്കുന്നു എന്നാണ് അർത്ഥമാക്കുന്നത്).

അവബോധജന്യമായ നിർവ്വചനം

സമവാക്യം 1.0 ComCNN അതിന്റെ ഭാരം മാറ്റാൻ ഇടയാക്കും, അങ്ങനെ RecCNN ഉപയോഗിച്ച് പുനർനിർമ്മിക്കുമ്പോൾ, അന്തിമ ചിത്രം ഇൻപുട്ട് ഇമേജിന് സമാനമായി കാണപ്പെടും. രണ്ടാമത്തെ RecCNN ലോസ് ഫംഗ്ഷൻ ഇനിപ്പറയുന്ന രീതിയിൽ നിർവചിച്ചിരിക്കുന്നു:

സമവാക്യം 2.0

വിശദീകരണം

വീണ്ടും, പ്രവർത്തനം സങ്കീർണ്ണമായി കാണപ്പെടാം, പക്ഷേ ഇത് മിക്കവാറും ഒരു സാധാരണ ന്യൂറൽ നെറ്റ്‌വർക്ക് ലോസ് ഫംഗ്‌ഷൻ (MSE) ആണ്.

സമവാക്യം 2.1

Co() കോഡെക് ഔട്ട്പുട്ട് എന്നാണ് അർത്ഥമാക്കുന്നത്, മുകളിൽ തൊപ്പിയുള്ള x എന്നാൽ ComCNN ഔട്ട്പുട്ട് എന്നാണ് അർത്ഥമാക്കുന്നത്. θ2 എന്നത് RecCNN പരിശീലിപ്പിക്കാവുന്ന പരാമീറ്ററുകളാണ്, res() RecCNN-ന്റെ ശേഷിക്കുന്ന ഔട്ട്പുട്ട് മാത്രമാണ്. Co() ഉം ഇൻപുട്ട് ഇമേജും തമ്മിലുള്ള വ്യത്യാസത്തെക്കുറിച്ചാണ് RecCNN പരിശീലിപ്പിച്ചിരിക്കുന്നത് എന്നത് ശ്രദ്ധിക്കേണ്ടതാണ്, പക്ഷേ ഇൻപുട്ട് ഇമേജിൽ അല്ല.

അവബോധജന്യമായ നിർവ്വചനം

സമവാക്യം 2.0 RecCNN അതിന്റെ ഭാരം മാറ്റാൻ ഇടയാക്കും, അങ്ങനെ ഔട്ട്‌പുട്ട് ഇൻപുട്ട് ഇമേജിന് സമാനമായി കാണപ്പെടുന്നു.

പഠന പദ്ധതി

മോഡലുകൾ ആവർത്തിച്ച് പരിശീലിപ്പിക്കപ്പെടുന്നു GAN. രണ്ടാമത്തെ മോഡലിന്റെ ഭാരം അപ്‌ഡേറ്റ് ചെയ്യുമ്പോൾ ആദ്യ മോഡലിന്റെ ഭാരം നിശ്ചയിച്ചിരിക്കുന്നു, ആദ്യ മോഡലിനെ പരിശീലിപ്പിക്കുമ്പോൾ രണ്ടാമത്തെ മോഡലിന്റെ ഭാരം നിശ്ചയിച്ചിരിക്കുന്നു.

ടെസ്റ്റുകൾ

രചയിതാക്കൾ അവരുടെ രീതിയെ ലളിതമായ കോഡെക്കുകൾ ഉൾപ്പെടെ നിലവിലുള്ള രീതികളുമായി താരതമ്യം ചെയ്തു. ഉചിതമായ ഹാർഡ്‌വെയറിൽ ഉയർന്ന വേഗത നിലനിർത്തുമ്പോൾ അവരുടെ രീതി മറ്റുള്ളവരേക്കാൾ മികച്ച പ്രകടനം കാഴ്ചവയ്ക്കുന്നു. കൂടാതെ, രചയിതാക്കൾ രണ്ട് നെറ്റ്‌വർക്കുകളിൽ ഒരെണ്ണം മാത്രം ഉപയോഗിക്കാൻ ശ്രമിച്ചു, കൂടാതെ പ്രകടനത്തിൽ ഇടിവ് രേഖപ്പെടുത്തി.

ഘടനാപരമായ സാമ്യത സൂചിക താരതമ്യം (SSIM). ഉയർന്ന മൂല്യങ്ങൾ ഒറിജിനലുമായി മികച്ച സാമ്യത്തെ സൂചിപ്പിക്കുന്നു. ബോൾഡ് തരം രചയിതാക്കളുടെ സൃഷ്ടിയുടെ ഫലത്തെ സൂചിപ്പിക്കുന്നു

തീരുമാനം

ഇമേജ് കംപ്രഷനിൽ ആഴത്തിലുള്ള പഠനം പ്രയോഗിക്കുന്നതിനുള്ള ഒരു പുതിയ മാർഗം ഞങ്ങൾ പരിശോധിച്ചു, കൂടാതെ ഇമേജ് ക്ലാസിഫിക്കേഷൻ, ലാംഗ്വേജ് പ്രോസസ്സിംഗ് എന്നിവ പോലുള്ള "പൊതുവായ" ടാസ്‌ക്കുകൾക്കപ്പുറമുള്ള ടാസ്‌ക്കുകളിൽ ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ ഉപയോഗിക്കുന്നതിനുള്ള സാധ്യതയെക്കുറിച്ച് സംസാരിച്ചു. ഈ രീതി ആധുനിക ആവശ്യകതകളേക്കാൾ താഴ്ന്നതല്ല, മാത്രമല്ല ചിത്രങ്ങൾ വളരെ വേഗത്തിൽ പ്രോസസ്സ് ചെയ്യാൻ നിങ്ങളെ അനുവദിക്കുന്നു.

ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ പഠിക്കുന്നത് എളുപ്പമായിരിക്കുന്നു, കാരണം ഞങ്ങൾ പ്രത്യേകിച്ച് ഹബ്രാവ്ചന് വേണ്ടി ഒരു പ്രൊമോ കോഡ് ഉണ്ടാക്കി HABR, ബാനറിൽ സൂചിപ്പിച്ചിരിക്കുന്ന കിഴിവിന് 10% അധിക കിഴിവ് നൽകുന്നു.

• ആദ്യം മുതൽ ഡാറ്റാ സയൻസ് പ്രൊഫഷൻ പഠിപ്പിക്കുന്നു
• ഡാറ്റ സയൻസ് ഓൺലൈൻ ബൂട്ട്ക്യാമ്പ്
• ഡാറ്റാ അനലിസ്റ്റിന്റെ തൊഴിൽ ആദ്യം മുതൽ പരിശീലിപ്പിക്കുന്നു
• ഡാറ്റ അനലിറ്റിക്സ് ഓൺലൈൻ ബൂട്ട്ക്യാമ്പ്
• വെബ് ഡെവലപ്‌മെന്റ് കോഴ്‌സിനായുള്ള പൈത്തൺ

കൂടുതൽ കോഴ്സുകൾ

• ഡാറ്റ അനലിറ്റിക്സ് കോഴ്സ്
• DevOps കോഴ്സ്
• പ്രൊഫഷണൽ വെബ് ഡെവലപ്പർ
• ആദ്യം മുതൽ തൊഴിൽ iOS ഡെവലപ്പർ
• പ്രൊഫഷൻ ആൻഡ്രോയിഡ് ഡെവലപ്പർ ആദ്യം മുതൽ
• ആദ്യം മുതൽ പ്രൊഫഷണൽ ജാവ ഡെവലപ്പർ
• ജാവാസ്ക്രിപ്റ്റ് കോഴ്സ്
• മെഷീൻ ലേണിംഗ് കോഴ്സ്
• കോഴ്‌സ് "ഡാറ്റ സയൻസിന് മാത്തമാറ്റിക്സും മെഷീൻ ലേണിംഗും"
• വിപുലമായ കോഴ്‌സ് "മെഷീൻ ലേണിംഗ് പ്രോ + ഡീപ് ലേണിംഗ്"

ഫീച്ചർ ചെയ്ത ലേഖനങ്ങൾ

• ഓൺലൈൻ കോഴ്‌സുകളില്ലാതെ എങ്ങനെ ഒരു ഡാറ്റാ സയന്റിസ്റ്റ് ആകാം
• 450 സൗജന്യ ഐവി ലീഗ് കോഴ്സുകൾ
• മെഷീൻ ലേണിംഗ് എങ്ങനെ ആഴ്ചയിൽ 5 ദിവസം തുടർച്ചയായി 9 മാസം പഠിക്കാം
• ഒരു ഡാറ്റാ അനലിസ്റ്റ് എത്രമാത്രം സമ്പാദിക്കുന്നു: 2020 ൽ റഷ്യയിലും വിദേശത്തുമുള്ള ശമ്പളത്തിന്റെയും ഒഴിവുകളുടെയും ഒരു അവലോകനം
• ഖനന വ്യവസായത്തിലെ മെഷീൻ ലേണിംഗ്, കമ്പ്യൂട്ടർ വിഷൻ

അവലംബം: www.habr.com