റിച്ചാർഡ് ഹാമിംഗ്: അധ്യായം 13. വിവര സിദ്ധാന്തം

ഞങ്ങളത് ചെയ്തു!

"ഈ കോഴ്‌സിന്റെ ഉദ്ദേശം നിങ്ങളുടെ സാങ്കേതിക ഭാവിക്കായി നിങ്ങളെ ഒരുക്കുക എന്നതാണ്."

ഹലോ, ഹബ്ർ. അതിശയകരമായ ലേഖനം ഓർക്കുക "നിങ്ങളും നിങ്ങളുടെ ജോലിയും" (+219, 2588 ബുക്ക്‌മാർക്കുകൾ, 429k റീഡുകൾ)?

അതിനാൽ ഹാമിംഗ് (അതെ, അതെ, സ്വയം നിരീക്ഷണവും സ്വയം തിരുത്തലും ഹാമിംഗ് കോഡുകൾ) മൊത്തത്തിൽ ഉണ്ട് ഒരു പുസ്തകം, അദ്ദേഹത്തിന്റെ പ്രഭാഷണങ്ങളെ അടിസ്ഥാനമാക്കി എഴുതിയതാണ്. ഞങ്ങൾ അത് വിവർത്തനം ചെയ്യുന്നു, കാരണം മനുഷ്യൻ തന്റെ മനസ്സ് പറയുന്നു.

ഇത് ഐടിയെക്കുറിച്ചുള്ള പുസ്തകം മാത്രമല്ല, അവിശ്വസനീയമാംവിധം ശാന്തരായ ആളുകളുടെ ചിന്താശൈലിയെക്കുറിച്ചുള്ള പുസ്തകമാണ്. “ഇത് പോസിറ്റീവ് ചിന്തയുടെ ഉത്തേജനം മാത്രമല്ല; മഹത്തായ ജോലി ചെയ്യാനുള്ള സാധ്യത വർദ്ധിപ്പിക്കുന്ന സാഹചര്യങ്ങളെ അത് വിവരിക്കുന്നു.

വിവർത്തനത്തിന് ആൻഡ്രി പഖോമോവിന് നന്ദി.

1940-കളുടെ അവസാനത്തിൽ സി.ഇ.ഷാനൺ ആണ് ഇൻഫർമേഷൻ തിയറി വികസിപ്പിച്ചെടുത്തത്. ബെൽ ലാബ്സ് മാനേജ്മെന്റ് അതിനെ "കമ്മ്യൂണിക്കേഷൻ തിയറി" എന്ന് വിളിക്കാൻ നിർബന്ധിച്ചു, കാരണം... ഇത് കൂടുതൽ കൃത്യമായ പേരാണ്. വ്യക്തമായ കാരണങ്ങളാൽ, "വിവര സിദ്ധാന്തം" എന്ന പേര് പൊതുജനങ്ങളിൽ കൂടുതൽ സ്വാധീനം ചെലുത്തുന്നു, അതിനാലാണ് ഷാനൻ ഇത് തിരഞ്ഞെടുത്തത്, ഇന്നും നമുക്കറിയാവുന്ന പേരാണിത്. ഈ സിദ്ധാന്തം വിവരങ്ങളുമായി ഇടപെടുന്നുവെന്ന് പേര് തന്നെ സൂചിപ്പിക്കുന്നു, ഇത് വിവര യുഗത്തിലേക്ക് കൂടുതൽ ആഴത്തിൽ നീങ്ങുമ്പോൾ അത് പ്രധാനമാക്കുന്നു. ഈ അധ്യായത്തിൽ, ഈ സിദ്ധാന്തത്തിൽ നിന്നുള്ള നിരവധി പ്രധാന നിഗമനങ്ങളിൽ ഞാൻ സ്പർശിക്കും, ഈ സിദ്ധാന്തത്തിന്റെ ചില വ്യക്തിഗത വ്യവസ്ഥകളുടെ കർശനമായതല്ല, മറിച്ച് അവബോധജന്യമായ തെളിവുകൾ ഞാൻ നൽകും, അതിനാൽ "വിവര സിദ്ധാന്തം" യഥാർത്ഥത്തിൽ എന്താണെന്ന് നിങ്ങൾക്ക് മനസ്സിലാകും, നിങ്ങൾക്ക് അത് പ്രയോഗിക്കാൻ കഴിയും. എവിടെ ഇല്ല .

ഒന്നാമതായി, എന്താണ് "വിവരങ്ങൾ"? ഷാനൻ വിവരങ്ങൾ അനിശ്ചിതത്വവുമായി തുലനം ചെയ്യുന്നു. പ്രോബബിലിറ്റി p ഉള്ള ഒരു ഇവന്റ് സംഭവിക്കുമ്പോൾ നിങ്ങൾക്ക് ലഭിക്കുന്ന വിവരങ്ങളുടെ അളവ് അളവുകോലായി അവൻ ഒരു ഇവന്റിന്റെ പ്രോബബിലിറ്റിയുടെ നെഗറ്റീവ് ലോഗരിതം തിരഞ്ഞെടുത്തു. ഉദാഹരണത്തിന്, ലോസ് ഏഞ്ചൽസിലെ കാലാവസ്ഥ മൂടൽമഞ്ഞ് ആണെന്ന് ഞാൻ നിങ്ങളോട് പറഞ്ഞാൽ, p 1 ന് അടുത്താണ്, അത് ഞങ്ങൾക്ക് കൂടുതൽ വിവരങ്ങൾ നൽകുന്നില്ല. പക്ഷേ, ജൂണിൽ മോണ്ടേറിയിൽ മഴ പെയ്യുമെന്ന് ഞാൻ പറഞ്ഞാൽ, സന്ദേശത്തിൽ അനിശ്ചിതത്വമുണ്ടാകും, അതിൽ കൂടുതൽ വിവരങ്ങൾ അടങ്ങിയിരിക്കും. ഒരു വിശ്വസനീയമായ ഇവന്റിൽ ലോഗ് 1 = 0 ആയതിനാൽ ഒരു വിവരവും അടങ്ങിയിട്ടില്ല.

ഇത് കൂടുതൽ വിശദമായി നോക്കാം. വിവരങ്ങളുടെ അളവ് അളക്കുന്നത് ഒരു സംഭവത്തിന്റെ പ്രോബബിലിറ്റിയുടെ തുടർച്ചയായ പ്രവർത്തനമാണെന്നും സ്വതന്ത്ര ഇവന്റുകൾക്ക് അത് അഡിറ്റീവായിരിക്കണമെന്നും ഷാനൺ വിശ്വസിച്ചു - രണ്ട് സ്വതന്ത്ര സംഭവങ്ങളുടെ ഫലമായി ലഭിച്ച വിവരങ്ങളുടെ അളവ് തുല്യമായിരിക്കണം. ഒരു സംയുക്ത സംഭവത്തിന്റെ ഫലമായി ലഭിച്ച വിവരങ്ങളുടെ അളവ്. ഉദാഹരണത്തിന്, ഒരു ഡൈസ് റോൾ, ഒരു നാണയം റോൾ എന്നിവയുടെ ഫലം സാധാരണയായി സ്വതന്ത്ര സംഭവങ്ങളായി കണക്കാക്കുന്നു. മുകളിൽ പറഞ്ഞവ നമുക്ക് ഗണിതശാസ്ത്രത്തിന്റെ ഭാഷയിലേക്ക് വിവർത്തനം ചെയ്യാം. I (p) എന്നത് പ്രോബബിലിറ്റി p ഉള്ള ഒരു ഇവന്റിൽ അടങ്ങിയിരിക്കുന്ന വിവരങ്ങളുടെ അളവാണെങ്കിൽ, രണ്ട് സ്വതന്ത്ര ഇവന്റുകൾ അടങ്ങുന്ന സംയുക്ത ഇവന്റിന് x പ്രോബബിലിറ്റി p1 ഉം y പ്രോബബിലിറ്റി p2 ഉം ഞങ്ങൾ നേടുന്നു

(x ഉം y ഉം സ്വതന്ത്ര സംഭവങ്ങളാണ്)

ഇതാണ് ഫംഗ്ഷണൽ കൗച്ചി സമവാക്യം, എല്ലാ p1, p2 എന്നിവയ്ക്കും ശരിയാണ്. ഈ ഫങ്ഷണൽ സമവാക്യം പരിഹരിക്കാൻ, അത് അനുമാനിക്കുക

p1 = p2 = p,

ഇത് നൽകുന്നു

p1 = p2, p2 = p എന്നിവയാണെങ്കിൽ

തുടങ്ങിയവ. എക്‌സ്‌പോണൻഷ്യലുകൾക്കായുള്ള സ്റ്റാൻഡേർഡ് രീതി ഉപയോഗിച്ച് ഈ പ്രക്രിയ വിപുലീകരിക്കുന്നു, എല്ലാ റേഷനൽ സംഖ്യകൾക്കും m/n ഇനിപ്പറയുന്നത് ശരിയാണ്

വിവര അളവിന്റെ അനുമാനിക്കപ്പെടുന്ന തുടർച്ചയിൽ നിന്ന്, ലോഗരിഥമിക് ഫംഗ്ഷൻ കൗച്ചി ഫംഗ്ഷണൽ സമവാക്യത്തിനുള്ള ഒരേയൊരു തുടർച്ചയായ പരിഹാരമാണെന്ന് ഇത് പിന്തുടരുന്നു.

വിവര സിദ്ധാന്തത്തിൽ, ലോഗരിതം ബേസ് 2 ആയി എടുക്കുന്നത് സാധാരണമാണ്, അതിനാൽ ഒരു ബൈനറി ചോയിസിൽ കൃത്യമായി 1 ബിറ്റ് വിവരങ്ങൾ അടങ്ങിയിരിക്കുന്നു. അതിനാൽ, ഫോർമുല ഉപയോഗിച്ചാണ് വിവരങ്ങൾ അളക്കുന്നത്

നമുക്ക് താൽക്കാലികമായി നിർത്തി മുകളിൽ എന്താണ് സംഭവിച്ചതെന്ന് മനസിലാക്കാം. ഒന്നാമതായി, "വിവരങ്ങൾ" എന്ന ആശയം ഞങ്ങൾ നിർവചിച്ചിട്ടില്ല; അതിന്റെ അളവ് അളക്കുന്നതിനുള്ള ഫോർമുല ഞങ്ങൾ നിർവചിച്ചു.

രണ്ടാമതായി, ഈ അളവുകോൽ അനിശ്ചിതത്വത്തിന് വിധേയമാണ്, ഇത് മെഷീനുകൾക്ക് ന്യായമായും അനുയോജ്യമാണെങ്കിലും-ഉദാഹരണത്തിന്, ടെലിഫോൺ സംവിധാനങ്ങൾ, റേഡിയോ, ടെലിവിഷൻ, കമ്പ്യൂട്ടറുകൾ മുതലായവ-വിവരങ്ങളോടുള്ള സാധാരണ മനുഷ്യ മനോഭാവത്തെ ഇത് പ്രതിഫലിപ്പിക്കുന്നില്ല.

മൂന്നാമതായി, ഇതൊരു ആപേക്ഷിക അളവാണ്, ഇത് നിങ്ങളുടെ അറിവിന്റെ നിലവിലെ അവസ്ഥയെ ആശ്രയിച്ചിരിക്കുന്നു. ഒരു റാൻഡം നമ്പർ ജനറേറ്ററിൽ നിന്നുള്ള "റാൻഡം നമ്പറുകളുടെ" ഒരു സ്ട്രീം നിങ്ങൾ നോക്കുകയാണെങ്കിൽ, ഓരോ അടുത്ത സംഖ്യയും അനിശ്ചിതത്വത്തിലാണെന്ന് നിങ്ങൾ അനുമാനിക്കുന്നു, എന്നാൽ "റാൻഡം നമ്പറുകൾ" കണക്കാക്കുന്നതിനുള്ള ഫോർമുല നിങ്ങൾക്കറിയാമെങ്കിൽ, അടുത്ത സംഖ്യ അറിയപ്പെടും, അതിനാൽ അങ്ങനെ ചെയ്യില്ല വിവരങ്ങൾ ഉൾക്കൊള്ളുന്നു.

അതിനാൽ ഷാനന്റെ വിവരങ്ങളുടെ നിർവചനം പല കേസുകളിലും യന്ത്രങ്ങൾക്ക് അനുയോജ്യമാണ്, എന്നാൽ ഈ വാക്കിനെക്കുറിച്ചുള്ള മനുഷ്യ ധാരണയ്ക്ക് അനുയോജ്യമല്ല. ഇക്കാരണത്താൽ "വിവര സിദ്ധാന്തത്തെ" "ആശയവിനിമയ സിദ്ധാന്തം" എന്ന് വിളിക്കേണ്ടതായിരുന്നു. എന്നിരുന്നാലും, നിർവചനങ്ങൾ മാറ്റാൻ വളരെ വൈകിയിരിക്കുന്നു (ഇത് സിദ്ധാന്തത്തിന് അതിന്റെ പ്രാരംഭ പ്രശസ്തി നൽകി, ഈ സിദ്ധാന്തം "വിവരങ്ങൾ" കൈകാര്യം ചെയ്യുന്നുവെന്ന് ഇപ്പോഴും ആളുകളെ ചിന്തിപ്പിക്കുന്നു), അതിനാൽ ഞങ്ങൾ അവരോടൊപ്പം ജീവിക്കേണ്ടതുണ്ട്, എന്നാൽ അതേ സമയം നിങ്ങൾ വിവരങ്ങളുടെ ഷാനന്റെ നിർവചനം അതിന്റെ സാധാരണയായി ഉപയോഗിക്കുന്ന അർത്ഥത്തിൽ നിന്ന് എത്രത്തോളം അകലെയാണെന്ന് വ്യക്തമായി മനസ്സിലാക്കുക. ഷാനന്റെ വിവരങ്ങൾ തികച്ചും വ്യത്യസ്തമായ കാര്യമാണ്, അതായത് അനിശ്ചിതത്വം.

നിങ്ങൾ ഏതെങ്കിലും പദാവലി നിർദ്ദേശിക്കുമ്പോൾ ഇവിടെ ചിന്തിക്കേണ്ട ഒരു കാര്യമുണ്ട്. വിവരങ്ങളുടെ ഷാനന്റെ നിർവചനം പോലെയുള്ള ഒരു നിർദ്ദിഷ്ട നിർവചനം നിങ്ങളുടെ യഥാർത്ഥ ആശയത്തോട് എങ്ങനെ യോജിക്കുന്നു, അത് എത്ര വ്യത്യസ്തമാണ്? ഒരു ആശയത്തെക്കുറിച്ചുള്ള നിങ്ങളുടെ മുൻ ദർശനത്തെ കൃത്യമായി പ്രതിഫലിപ്പിക്കുന്ന ഒരു പദവുമില്ല, പക്ഷേ ആത്യന്തികമായി, ആശയത്തിന്റെ അർത്ഥത്തെ പ്രതിഫലിപ്പിക്കുന്ന പദപ്രയോഗമാണ് ഇത്, അതിനാൽ വ്യക്തമായ നിർവചനങ്ങളിലൂടെ എന്തെങ്കിലും ഔപചാരികമാക്കുന്നത് എല്ലായ്പ്പോഴും ചില ശബ്ദങ്ങൾ അവതരിപ്പിക്കുന്നു.

പ്രോബബിലിറ്റികൾ pi ഉള്ള q ചിഹ്നങ്ങൾ അടങ്ങിയ അക്ഷരമാലയിൽ ഒരു സിസ്റ്റം പരിഗണിക്കുക. ഈ സാഹചര്യത്തിൽ വിവരങ്ങളുടെ ശരാശരി അളവ് സിസ്റ്റത്തിൽ (അതിന്റെ പ്രതീക്ഷിക്കുന്ന മൂല്യം) ഇതിന് തുല്യമാണ്:

ഇതിനെ പ്രോബബിലിറ്റി ഡിസ്‌ട്രിബ്യൂഷൻ {pi} ഉള്ള സിസ്റ്റത്തിന്റെ എൻട്രോപ്പി എന്ന് വിളിക്കുന്നു. തെർമോഡൈനാമിക്സിലും സ്റ്റാറ്റിസ്റ്റിക്കൽ മെക്കാനിക്സിലും ഒരേ ഗണിതശാസ്ത്ര രൂപം കാണപ്പെടുന്നതിനാൽ ഞങ്ങൾ "എൻട്രോപ്പി" എന്ന പദം ഉപയോഗിക്കുന്നു. അതുകൊണ്ടാണ് "എൻട്രോപ്പി" എന്ന പദം തനിക്കു ചുറ്റും പ്രാധാന്യമുള്ള ഒരു പ്രത്യേക പ്രഭാവലയം സൃഷ്ടിക്കുന്നത്, അത് ആത്യന്തികമായി ന്യായീകരിക്കപ്പെടുന്നില്ല. നൊട്ടേഷന്റെ അതേ ഗണിതരൂപം ചിഹ്നങ്ങളുടെ അതേ വ്യാഖ്യാനത്തെ സൂചിപ്പിക്കുന്നില്ല!

കോഡിംഗ് സിദ്ധാന്തത്തിൽ പ്രോബബിലിറ്റി ഡിസ്ട്രിബ്യൂഷന്റെ എൻട്രോപ്പി ഒരു പ്രധാന പങ്ക് വഹിക്കുന്നു. രണ്ട് വ്യത്യസ്ത പ്രോബബിലിറ്റി ഡിസ്ട്രിബ്യൂഷനുകളായ പൈ, ക്വി എന്നിവയ്ക്കുള്ള ഗിബ്സ് അസമത്വം ഈ സിദ്ധാന്തത്തിന്റെ പ്രധാന അനന്തരഫലങ്ങളിലൊന്നാണ്. അതുകൊണ്ട് നമ്മൾ അത് തെളിയിക്കണം

തെളിവ് ഒരു വ്യക്തമായ ഗ്രാഫിനെ അടിസ്ഥാനമാക്കിയുള്ളതാണ്, ചിത്രം. 13.ഐ, അത് കാണിക്കുന്നു

x = 1 ആകുമ്പോൾ മാത്രമേ തുല്യത കൈവരിക്കൂ. തുകയുടെ ഓരോ പദത്തിനും ഇടത് വശത്ത് നിന്ന് അസമത്വം പ്രയോഗിക്കാം:

ഒരു കമ്മ്യൂണിക്കേഷൻ സിസ്റ്റത്തിന്റെ അക്ഷരമാലയിൽ q ചിഹ്നങ്ങൾ അടങ്ങിയിരിക്കുന്നുവെങ്കിൽ, qi = 1/q എന്ന ഓരോ ചിഹ്നത്തിന്റെയും പ്രക്ഷേപണത്തിന്റെ സംഭാവ്യത എടുത്ത് q മാറ്റിസ്ഥാപിച്ചാൽ, നമുക്ക് ഗിബ്സ് അസമത്വത്തിൽ നിന്ന് ലഭിക്കും.

ചിത്രം 13.I

ഇതിനർത്ഥം, എല്ലാ q ചിഹ്നങ്ങളും സംപ്രേക്ഷണം ചെയ്യുന്നതിനുള്ള സാധ്യതയും തുല്യവും - 1 / q ന് തുല്യവുമാണെങ്കിൽ, പരമാവധി എൻട്രോപ്പി ln q ന് തുല്യമാണ്, അല്ലാത്തപക്ഷം അസമത്വം നിലനിൽക്കും.

അദ്വിതീയമായി ഡീകോഡ് ചെയ്യാവുന്ന കോഡിന്റെ കാര്യത്തിൽ, ഞങ്ങൾക്ക് ക്രാഫ്റ്റിന്റെ അസമത്വമുണ്ട്

ഇപ്പോൾ നമ്മൾ കപട സാധ്യതകൾ നിർവചിക്കുകയാണെങ്കിൽ

തീർച്ചയായും എവിടെ = 1, ഇത് ഗിബ്സിന്റെ അസമത്വത്തിൽ നിന്ന് പിന്തുടരുന്നു,

ഒരു ചെറിയ ബീജഗണിതം പ്രയോഗിക്കുക (K ≤ 1 എന്ന് ഓർക്കുക, അതിനാൽ നമുക്ക് ലോഗരിഥമിക് പദം ഉപേക്ഷിക്കാം, ഒരുപക്ഷേ അസമത്വം പിന്നീട് ശക്തിപ്പെടുത്താം), നമുക്ക് ലഭിക്കും

ഇവിടെ L ആണ് ശരാശരി കോഡ് ദൈർഘ്യം.

അതിനാൽ, ശരാശരി കോഡ്‌വേഡ് ദൈർഘ്യമുള്ള L ഉള്ള ഏത് പ്രതീകം-ബൈ-ചിഹ്ന കോഡിന്റെ ഏറ്റവും കുറഞ്ഞ ബൗണ്ടേഷനാണ് എൻട്രോപ്പി. ഇത് ഒരു ഇടപെടലുകളില്ലാത്ത ചാനലിനുള്ള ഷാനന്റെ സിദ്ധാന്തമാണ്.

ഇപ്പോൾ ആശയവിനിമയ സംവിധാനങ്ങളുടെ പരിമിതികളെക്കുറിച്ചുള്ള പ്രധാന സിദ്ധാന്തം പരിഗണിക്കുക, അതിൽ വിവരങ്ങൾ സ്വതന്ത്രമായ ബിറ്റുകളുടെ ഒരു സ്ട്രീം ആയി കൈമാറ്റം ചെയ്യപ്പെടുകയും ശബ്ദം നിലനിൽക്കുകയും ചെയ്യുന്നു. ഒരു ബിറ്റിന്റെ ശരിയായ പ്രക്ഷേപണത്തിന്റെ സംഭാവ്യത P > 1/2 ആണെന്നും, പ്രക്ഷേപണ സമയത്ത് ബിറ്റ് മൂല്യം വിപരീതമാകാനുള്ള സാധ്യത (ഒരു പിശക് സംഭവിക്കും) Q = 1 - P ന് തുല്യമാണെന്നും മനസ്സിലാക്കുന്നു. സൗകര്യാർത്ഥം, ഞങ്ങൾ പിശകുകൾ സ്വതന്ത്രമാണെന്നും ഒരു പിശകിന്റെ സംഭാവ്യത അയച്ച ഓരോ ബിറ്റിനും തുല്യമാണെന്നും കരുതുക - അതായത്, ആശയവിനിമയ ചാനലിൽ "വൈറ്റ് നോയ്സ്" ഉണ്ട്.

ഒരു സന്ദേശത്തിലേക്ക് എൻകോഡ് ചെയ്‌തിരിക്കുന്ന n ബിറ്റുകളുടെ ഒരു നീണ്ട സ്ട്രീം നമുക്ക് ലഭിക്കുന്നത് വൺ-ബിറ്റ് കോഡിന്റെ n - ഡൈമൻഷണൽ എക്സ്റ്റൻഷനാണ്. n ന്റെ മൂല്യം ഞങ്ങൾ പിന്നീട് നിർണ്ണയിക്കും. എൻ-ഡിമൻഷണൽ സ്‌പെയ്‌സിലെ ഒരു പോയിന്റായി n-ബിറ്റുകൾ അടങ്ങിയ ഒരു സന്ദേശം പരിഗണിക്കുക. ഞങ്ങൾക്ക് ഒരു n-ഡൈമൻഷണൽ സ്പേസ് ഉള്ളതിനാൽ - ലാളിത്യത്തിനായി ഓരോ സന്ദേശത്തിനും ഒരേ സംഭാവ്യതയുണ്ടെന്ന് ഞങ്ങൾ അനുമാനിക്കും - M സാധ്യമായ സന്ദേശങ്ങളുണ്ട് (M എന്നത് പിന്നീട് നിർവചിക്കപ്പെടും), അതിനാൽ അയച്ച ഏത് സന്ദേശത്തിന്റെയും സാധ്യത

(അയക്കുന്നയാൾ)
ഷെഡ്യൂൾ 13.II

അടുത്തതായി, ചാനൽ ശേഷി എന്ന ആശയം പരിഗണിക്കുക. വിശദാംശങ്ങളിലേക്ക് കടക്കാതെ, ഏറ്റവും കാര്യക്ഷമമായ കോഡിംഗിന്റെ ഉപയോഗം കണക്കിലെടുത്ത് ഒരു ആശയവിനിമയ ചാനലിലൂടെ വിശ്വസനീയമായി കൈമാറാൻ കഴിയുന്ന പരമാവധി വിവരങ്ങളാണ് ചാനൽ ശേഷി എന്ന് നിർവചിച്ചിരിക്കുന്നത്. ഒരു കമ്മ്യൂണിക്കേഷൻ ചാനലിലൂടെ അതിന്റെ ശേഷിയേക്കാൾ കൂടുതൽ വിവരങ്ങൾ കൈമാറാൻ കഴിയുമെന്നതിൽ വാദമില്ല. ഒരു ബൈനറി സിമെട്രിക് ചാനലിനായി ഇത് തെളിയിക്കാനാകും (ഞങ്ങളുടെ കാര്യത്തിൽ ഞങ്ങൾ ഇത് ഉപയോഗിക്കുന്നു). ബിറ്റുകൾ അയയ്‌ക്കുമ്പോൾ ചാനൽ ശേഷി ഇതായി വ്യക്തമാക്കിയിരിക്കുന്നു

ഇവിടെ, മുമ്പത്തെപ്പോലെ, P എന്നത് അയച്ച ഏതെങ്കിലും ബിറ്റിലെ പിശകിന്റെ സംഭാവ്യതയാണ്. n സ്വതന്ത്ര ബിറ്റുകൾ അയക്കുമ്പോൾ, ചാനൽ കപ്പാസിറ്റി നൽകുന്നത്

നമ്മൾ ചാനൽ കപ്പാസിറ്റിക്ക് അടുത്താണെങ്കിൽ, ai, i = 1, ..., M. ഓരോ ചിഹ്നത്തിനും ഏകദേശം ഇത്രയും വിവരങ്ങൾ അയക്കണം. ഓരോ ചിഹ്നവും AI ഉണ്ടാകാനുള്ള സാധ്യത 1 / M ആണെന്ന് കണക്കിലെടുക്കുമ്പോൾ, നമുക്ക് ലഭിക്കുന്നു

നമ്മൾ ഏതെങ്കിലും M തുല്യ സാധ്യതയുള്ള സന്ദേശങ്ങൾ അയക്കുമ്പോൾ, നമുക്ക് ഉണ്ട്

n ബിറ്റുകൾ അയയ്ക്കുമ്പോൾ, nQ പിശകുകൾ സംഭവിക്കുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു. പ്രായോഗികമായി, n-bits അടങ്ങിയ ഒരു സന്ദേശത്തിന്, ലഭിച്ച സന്ദേശത്തിൽ ഞങ്ങൾക്ക് ഏകദേശം nQ പിശകുകൾ ഉണ്ടാകും. വലിയ n-ന്, ആപേക്ഷിക വ്യതിയാനം (വ്യതിയാനം = വിതരണ വീതി, )
n കൂടുന്നതിനനുസരിച്ച് പിശകുകളുടെ എണ്ണത്തിന്റെ വിതരണം കൂടുതൽ ഇടുങ്ങിയതായിത്തീരും.

അതിനാൽ, ട്രാൻസ്മിറ്റർ വശത്ത് നിന്ന്, ഞാൻ അയയ്‌ക്കാനുള്ള സന്ദേശം AI എടുക്കുകയും ചുറ്റും ഒരു റേഡിയസ് ഉപയോഗിച്ച് ഒരു ഗോളം വരയ്ക്കുകയും ചെയ്യുന്നു.

പ്രതീക്ഷിച്ച പിശകുകളുടെ എണ്ണത്തേക്കാൾ e2 ന് തുല്യമായ തുകകൊണ്ട് അൽപ്പം വലുതാണ് Q, (ചിത്രം 13.II). n ആവശ്യത്തിന് വലുതാണെങ്കിൽ, ഈ ഗോളത്തിനപ്പുറത്തേക്ക് വ്യാപിച്ചുകിടക്കുന്ന റിസീവർ ഭാഗത്ത് ഒരു സന്ദേശ പോയിന്റ് bj പ്രത്യക്ഷപ്പെടാനുള്ള ഏകപക്ഷീയമായ ഒരു ചെറിയ സംഭാവ്യതയുണ്ട്. ട്രാൻസ്മിറ്ററിന്റെ വീക്ഷണകോണിൽ നിന്ന് ഞാൻ കാണുന്നതുപോലെ സാഹചര്യം വരയ്ക്കാം: ട്രാൻസ്മിറ്റ് ചെയ്ത സന്ദേശമായ AI മുതൽ ലഭിച്ച സന്ദേശമായ bj വരെയുള്ള ഏതെങ്കിലും ദൂരങ്ങൾ നമുക്ക് സാധാരണ വിതരണത്തിന് തുല്യമായ (അല്ലെങ്കിൽ ഏതാണ്ട് തുല്യമായ) പിശകിന്റെ സംഭാവ്യതയോടെ, പരമാവധി എത്തുന്നു. ന്റെ nQ. തന്നിരിക്കുന്ന ഏതൊരു e2 നും, ഒരു n വളരെ വലുതാണ്, തത്ഫലമായുണ്ടാകുന്ന പോയിന്റ് bj എന്റെ ഗോളത്തിന് പുറത്തുള്ളതിന്റെ സംഭാവ്യത നിങ്ങൾ ആഗ്രഹിക്കുന്നത്ര ചെറുതായിരിക്കും.

ഇപ്പോൾ നിങ്ങളുടെ ഭാഗത്തുനിന്നും ഇതേ സാഹചര്യം നോക്കാം (ചിത്രം 13.III). റിസീവർ വശത്ത് n-ഡൈമൻഷണൽ സ്‌പെയ്‌സിൽ ലഭിച്ച പോയിന്റിന് ചുറ്റും r ന്റെ അതേ ദൂരത്തിന്റെ S(r) സ്‌ഫിയർ ഉണ്ട്, അതായത് ലഭിച്ച സന്ദേശം bj എന്റെ ഗോളത്തിനകത്താണെങ്കിൽ, ഞാൻ അയച്ച സന്ദേശം നിങ്ങളുടെ ഉള്ളിലാണ്. ഗോളം.

ഒരു പിശക് എങ്ങനെ സംഭവിക്കാം? ചുവടെയുള്ള പട്ടികയിൽ വിവരിച്ചിരിക്കുന്ന കേസുകളിൽ പിശക് സംഭവിക്കാം:

ചിത്രം 13.III

ലഭിച്ച പോയിന്റിന് ചുറ്റും നിർമ്മിച്ച ഗോളത്തിൽ, അയച്ച എൻകോഡ് ചെയ്യാത്ത സന്ദേശവുമായി ബന്ധപ്പെട്ട് കുറഞ്ഞത് ഒരു പോയിന്റെങ്കിലും ഉണ്ടെങ്കിൽ, പ്രക്ഷേപണ സമയത്ത് ഒരു പിശക് സംഭവിച്ചു, കാരണം ഈ സന്ദേശങ്ങളിൽ ഏതാണ് കൈമാറ്റം ചെയ്യപ്പെട്ടതെന്ന് നിങ്ങൾക്ക് നിർണ്ണയിക്കാൻ കഴിയില്ല. അയച്ച സന്ദേശം ഗോളാകൃതിയിലാണെങ്കിൽ മാത്രമേ പിശക് രഹിതമാകൂ, കൂടാതെ നൽകിയിരിക്കുന്ന കോഡിൽ അതേ ഗോളത്തിലുള്ള മറ്റ് പോയിന്റുകൾ സാധ്യമല്ല.

AI എന്ന സന്ദേശം അയച്ചാൽ പെ എന്ന പിശകിന്റെ സംഭാവ്യതയ്ക്കായി ഞങ്ങൾക്ക് ഒരു ഗണിത സമവാക്യമുണ്ട്

രണ്ടാമത്തെ ടേമിൽ നമുക്ക് ആദ്യത്തെ ഘടകം പുറന്തള്ളാം, അത് 1 ആയി എടുക്കാം. അങ്ങനെ നമുക്ക് അസമത്വം ലഭിക്കും

വ്യക്തമായും,

അതിനാൽ

വലതുവശത്തുള്ള അവസാന ടേമിലേക്ക് വീണ്ടും അപേക്ഷിക്കുക

n ആവശ്യത്തിന് വലുത് എടുക്കുമ്പോൾ, ആദ്യ ടേം ഇഷ്ടം പോലെ ചെറുതായി എടുക്കാം, ചില സംഖ്യ d എന്നതിനേക്കാൾ കുറവ് പറയുക. അതുകൊണ്ട് നമുക്കുണ്ട്

n ബിറ്റുകൾ അടങ്ങിയ M സന്ദേശങ്ങൾ എൻകോഡ് ചെയ്യുന്നതിനായി ഒരു ലളിതമായ സബ്സ്റ്റിറ്റ്യൂഷൻ കോഡ് എങ്ങനെ നിർമ്മിക്കാമെന്ന് നോക്കാം. ഒരു കോഡ് എങ്ങനെ നിർമ്മിക്കണമെന്ന് കൃത്യമായി അറിയില്ല (പിശക് തിരുത്തൽ കോഡുകൾ ഇതുവരെ കണ്ടുപിടിച്ചിട്ടില്ല), ഷാനൻ ക്രമരഹിതമായ കോഡിംഗ് തിരഞ്ഞെടുത്തു. സന്ദേശത്തിലെ ഓരോ n ബിറ്റുകൾക്കും ഒരു നാണയം ഫ്ലിപ്പുചെയ്ത് M സന്ദേശങ്ങൾക്കായുള്ള പ്രക്രിയ ആവർത്തിക്കുക. മൊത്തത്തിൽ, nM കോയിൻ ഫ്ലിപ്പുകൾ നിർമ്മിക്കേണ്ടതുണ്ട്, അതിനാൽ ഇത് സാധ്യമാണ്

ഒരേ പ്രോബബിലിറ്റി ½nM ഉള്ള കോഡ് നിഘണ്ടുക്കൾ. തീർച്ചയായും, ഒരു കോഡ്ബുക്ക് സൃഷ്ടിക്കുന്നതിനുള്ള ക്രമരഹിതമായ പ്രക്രിയ അർത്ഥമാക്കുന്നത് ഡ്യൂപ്ലിക്കേറ്റുകൾ ഉണ്ടാകാനുള്ള സാധ്യതയുണ്ടെന്നാണ്, അതുപോലെ തന്നെ കോഡ് പോയിന്റുകളും പരസ്പരം അടുത്തായിരിക്കും, അതിനാൽ സാധ്യമായ പിശകുകളുടെ ഉറവിടമായിരിക്കും. തിരഞ്ഞെടുത്ത ഏതെങ്കിലും ചെറിയ പിശക് ലെവലിനെക്കാൾ കൂടുതൽ പ്രോബബിലിറ്റി ഉപയോഗിച്ച് ഇത് സംഭവിക്കുന്നില്ലെങ്കിൽ, നൽകിയിരിക്കുന്ന n മതിയായതാണെന്ന് തെളിയിക്കണം.
നിർണ്ണായകമായ കാര്യം, ശരാശരി പിശക് കണ്ടെത്താൻ സാധ്യമായ എല്ലാ കോഡ്ബുക്കുകളും ഷാനൺ ശരാശരി പരിശോധിച്ചു എന്നതാണ്! സാധ്യമായ എല്ലാ ക്രമരഹിത കോഡ്ബുക്കുകളുടെയും ശരാശരി മൂല്യം സൂചിപ്പിക്കാൻ ഞങ്ങൾ Av[.] എന്ന ചിഹ്നം ഉപയോഗിക്കും. ഒരു സ്ഥിരാങ്കം d യുടെ ശരാശരി, തീർച്ചയായും, ഒരു സ്ഥിരാങ്കം നൽകുന്നു, കാരണം ഓരോ പദത്തിനും ശരാശരി തുകയിലെ മറ്റെല്ലാ പദങ്ങൾക്കും തുല്യമാണ്,

വർദ്ധിപ്പിക്കാൻ കഴിയുന്നത് (M–1 M-ലേക്ക് പോകുന്നു)

ഏതൊരു സന്ദേശത്തിനും, എല്ലാ കോഡ്‌ബുക്കുകളിലും ശരാശരി കണക്കാക്കുമ്പോൾ, സാധ്യമായ എല്ലാ മൂല്യങ്ങളിലൂടെയും എൻകോഡിംഗ് പ്രവർത്തിക്കുന്നു, അതിനാൽ ഒരു ബിന്ദു ഒരു ഗോളത്തിലായിരിക്കാനുള്ള ശരാശരി സംഭാവ്യത, ഗോളത്തിന്റെ വ്യാപ്‌തിയും സ്ഥലത്തിന്റെ ആകെ വോള്യവും തമ്മിലുള്ള അനുപാതമാണ്. ഗോളത്തിന്റെ അളവ് ആണ്

ഇവിടെ s=Q+e2 <1/2, ns എന്നിവ ഒരു പൂർണ്ണസംഖ്യയായിരിക്കണം.

വലതുവശത്തുള്ള അവസാന പദം ഈ തുകയിൽ ഏറ്റവും വലുതാണ്. ആദ്യം, ഫാക്‌ടോറിയലുകൾക്കായുള്ള സ്റ്റെർലിംഗ് ഫോർമുല ഉപയോഗിച്ച് അതിന്റെ മൂല്യം കണക്കാക്കാം. അതിനുമുമ്പിലുള്ള പദത്തിന്റെ കുറയുന്ന കോഫിഫിഷ്യന്റ് ഞങ്ങൾ നോക്കും, ഇടതുവശത്തേക്ക് നീങ്ങുമ്പോൾ ഈ ഗുണകം വർദ്ധിക്കുന്നുവെന്നത് ശ്രദ്ധിക്കുക, അതിനാൽ നമുക്ക്: (1) തുകയുടെ മൂല്യം ജ്യാമിതീയ പുരോഗതിയുടെ ആകെത്തുകയിലേക്ക് പരിമിതപ്പെടുത്തുക ഈ പ്രാരംഭ ഗുണകം, (2) ns പദങ്ങളിൽ നിന്ന് അനന്തമായ പദങ്ങളിലേക്ക് ജ്യാമിതീയ പുരോഗതി വികസിപ്പിക്കുക, (3) അനന്തമായ ജ്യാമിതീയ പുരോഗതിയുടെ ആകെത്തുക കണക്കാക്കുക (സ്റ്റാൻഡേർഡ് ബീജഗണിതം, കാര്യമായൊന്നുമില്ല) ഒടുവിൽ പരിമിതപ്പെടുത്തുന്ന മൂല്യം നേടുക (ആവശ്യത്തിന് വലുത് n):

ബൈനോമിയൽ ഐഡന്റിറ്റിയിൽ എൻട്രോപ്പി H(കൾ) എങ്ങനെ പ്രത്യക്ഷപ്പെട്ടുവെന്ന് ശ്രദ്ധിക്കുക. ടെയ്‌ലർ സീരീസ് എക്സ്പാൻഷൻ H(s)=H(Q+e2) ആദ്യ ഡെറിവേറ്റീവ് മാത്രം കണക്കിലെടുത്ത് മറ്റെല്ലാം അവഗണിച്ചുകൊണ്ട് ലഭിച്ച ഒരു എസ്റ്റിമേറ്റ് നൽകുന്നു. ഇനി നമുക്ക് അവസാന പദപ്രയോഗം കൂട്ടിച്ചേർക്കാം:

എവിടെ

നമ്മൾ ചെയ്യേണ്ടത്, e2 < e3 പോലെയുള്ള e1 തിരഞ്ഞെടുക്കുക, തുടർന്ന് n ആവശ്യത്തിന് വലുതായിരിക്കുന്നിടത്തോളം അവസാന പദം ഏകപക്ഷീയമായി ചെറുതായിരിക്കും. തൽഫലമായി, ചാനൽ കപ്പാസിറ്റി C യോട് ഏകപക്ഷീയമായി അടുത്ത് കൊണ്ട് ശരാശരി PE പിശക് ആവശ്യമുള്ളത്ര ചെറുതായി ലഭിക്കും.
എല്ലാ കോഡുകളുടെയും ശരാശരിക്ക് മതിയായ പിശക് ഉണ്ടെങ്കിൽ, കുറഞ്ഞത് ഒരു കോഡെങ്കിലും അനുയോജ്യമായിരിക്കണം, അതിനാൽ അനുയോജ്യമായ ഒരു കോഡിംഗ് സിസ്റ്റമെങ്കിലും ഉണ്ട്. ഇത് ഷാനണിന് ലഭിച്ച ഒരു പ്രധാന ഫലമാണ് - "ശബ്ദമുള്ള ചാനലിനുള്ള ഷാനന്റെ സിദ്ധാന്തം", എന്നിരുന്നാലും ഞാൻ ഉപയോഗിച്ച ലളിതമായ ബൈനറി സിമെട്രിക് ചാനലിനേക്കാൾ വളരെ പൊതുവായ ഒരു കേസിനായി അദ്ദേഹം ഇത് തെളിയിച്ചുവെന്നത് ശ്രദ്ധിക്കേണ്ടതാണ്. പൊതുവായ സാഹചര്യത്തിൽ, ഗണിതശാസ്ത്ര കണക്കുകൂട്ടലുകൾ വളരെ സങ്കീർണ്ണമാണ്, പക്ഷേ ആശയങ്ങൾ അത്ര വ്യത്യസ്തമല്ല, അതിനാൽ പലപ്പോഴും, ഒരു പ്രത്യേക കേസിന്റെ ഉദാഹരണം ഉപയോഗിച്ച്, നിങ്ങൾക്ക് സിദ്ധാന്തത്തിന്റെ യഥാർത്ഥ അർത്ഥം വെളിപ്പെടുത്താൻ കഴിയും.

ഫലത്തെ വിമർശിക്കാം. ഞങ്ങൾ ആവർത്തിച്ച് ആവർത്തിച്ചു: "വലിയ n വേണ്ടി." എന്നാൽ n എത്ര വലുതാണ്? ചാനൽ കപ്പാസിറ്റിക്ക് അടുത്തായിരിക്കാനും ശരിയായ ഡാറ്റ കൈമാറ്റം ഉറപ്പാക്കാനും നിങ്ങൾ ആഗ്രഹിക്കുന്നുവെങ്കിൽ വളരെ വലുതാണ്! വളരെ വലുതാണ്, വാസ്തവത്തിൽ, അത് പിന്നീട് എൻകോഡ് ചെയ്യുന്നതിന് ആവശ്യമായ ബിറ്റുകളുടെ ഒരു സന്ദേശം ശേഖരിക്കാൻ നിങ്ങൾ വളരെക്കാലം കാത്തിരിക്കേണ്ടി വരും. ഈ സാഹചര്യത്തിൽ, റാൻഡം കോഡ് നിഘണ്ടുവിന്റെ വലുപ്പം വളരെ വലുതായിരിക്കും (എല്ലാത്തിനുമുപരി, അത്തരം ഒരു നിഘണ്ടു എല്ലാ Mn ബിറ്റുകളുടെയും പൂർണ്ണമായ ലിസ്റ്റിനേക്കാൾ ചെറിയ രൂപത്തിൽ പ്രതിനിധീകരിക്കാൻ കഴിയില്ല, n, M എന്നിവ വളരെ വലുതാണെങ്കിലും)!

പിശക്-തിരുത്തൽ കോഡുകൾ വളരെ ദൈർഘ്യമേറിയ സന്ദേശത്തിനായി കാത്തിരിക്കുന്നത് ഒഴിവാക്കുന്നു, തുടർന്ന് വളരെ വലിയ കോഡ്ബുക്കുകളിലൂടെ അത് എൻകോഡ് ചെയ്യുകയും ഡീകോഡ് ചെയ്യുകയും ചെയ്യുന്നു, കാരണം അവ കോഡ്ബുക്കുകൾ സ്വയം ഒഴിവാക്കുകയും പകരം സാധാരണ കണക്കുകൂട്ടൽ ഉപയോഗിക്കുകയും ചെയ്യുന്നു. ലളിതമായ സിദ്ധാന്തത്തിൽ, അത്തരം കോഡുകൾ ചാനൽ ശേഷിയെ സമീപിക്കാനുള്ള കഴിവ് നഷ്‌ടപ്പെടുത്തുകയും ഇപ്പോഴും കുറഞ്ഞ പിശക് നിരക്ക് നിലനിർത്തുകയും ചെയ്യുന്നു, പക്ഷേ കോഡ് ധാരാളം പിശകുകൾ ശരിയാക്കുമ്പോൾ അവ നന്നായി പ്രവർത്തിക്കുന്നു. മറ്റൊരു വിധത്തിൽ പറഞ്ഞാൽ, പിശക് തിരുത്തലിനായി നിങ്ങൾ കുറച്ച് ചാനൽ കപ്പാസിറ്റി അനുവദിക്കുകയാണെങ്കിൽ, നിങ്ങൾ മിക്കപ്പോഴും പിശക് തിരുത്തൽ ശേഷി ഉപയോഗിക്കണം, അതായത്, അയച്ച ഓരോ സന്ദേശത്തിലും ധാരാളം പിശകുകൾ ശരിയാക്കണം, അല്ലാത്തപക്ഷം നിങ്ങൾ ഈ ശേഷി പാഴാക്കും.

അതേ സമയം, മുകളിൽ തെളിയിച്ച സിദ്ധാന്തം ഇപ്പോഴും അർത്ഥശൂന്യമല്ല! കാര്യക്ഷമമായ ട്രാൻസ്മിഷൻ സിസ്റ്റങ്ങൾ വളരെ ദൈർഘ്യമേറിയ ബിറ്റ് സ്ട്രിംഗുകൾക്കായി സമർത്ഥമായ എൻകോഡിംഗ് സ്കീമുകൾ ഉപയോഗിക്കണമെന്ന് ഇത് കാണിക്കുന്നു. ബാഹ്യഗ്രഹങ്ങൾക്കപ്പുറത്തേക്ക് പറന്ന ഉപഗ്രഹങ്ങൾ ഒരു ഉദാഹരണം; അവർ ഭൂമിയിൽ നിന്നും സൂര്യനിൽ നിന്നും അകന്നുപോകുമ്പോൾ, ഡാറ്റ ബ്ലോക്കിലെ കൂടുതൽ കൂടുതൽ പിശകുകൾ തിരുത്താൻ അവർ നിർബന്ധിതരാകുന്നു: ചില ഉപഗ്രഹങ്ങൾ സോളാർ പാനലുകൾ ഉപയോഗിക്കുന്നു, ഇത് ഏകദേശം 5 W നൽകുന്നു, മറ്റുള്ളവ ഒരേ ശക്തി നൽകുന്ന ന്യൂക്ലിയർ പവർ സ്രോതസ്സുകൾ ഉപയോഗിക്കുന്നു. വൈദ്യുതി വിതരണത്തിന്റെ കുറഞ്ഞ പവർ, ട്രാൻസ്മിറ്റർ വിഭവങ്ങളുടെ ചെറിയ വലിപ്പം, ഭൂമിയിലെ റിസീവർ വിഭവങ്ങളുടെ പരിമിതമായ വലിപ്പം, സിഗ്നൽ സഞ്ചരിക്കേണ്ട വലിയ ദൂരം - ഇതെല്ലാം നിർമ്മിക്കുന്നതിന് ഉയർന്ന തലത്തിലുള്ള പിശക് തിരുത്തലുള്ള കോഡുകൾ ആവശ്യമാണ്. ഫലപ്രദമായ ആശയവിനിമയ സംവിധാനം.

മുകളിലെ പ്രൂഫിൽ നമ്മൾ ഉപയോഗിച്ച n-ഡൈമൻഷണൽ സ്‌പെയ്‌സിലേക്ക് മടങ്ങാം. അതിനെക്കുറിച്ച് ചർച്ച ചെയ്യുമ്പോൾ, ഗോളത്തിന്റെ ഏതാണ്ട് മുഴുവൻ വോളിയവും ബാഹ്യ ഉപരിതലത്തിനടുത്താണ് കേന്ദ്രീകരിച്ചിരിക്കുന്നതെന്ന് ഞങ്ങൾ കാണിച്ചു - അതിനാൽ, ലഭിച്ച സിഗ്നലിന് ചുറ്റും നിർമ്മിച്ച ഗോളത്തിന്റെ ഉപരിതലത്തിനടുത്താണ് അയച്ച സിഗ്നൽ സ്ഥിതി ചെയ്യുന്നത്, താരതമ്യേന പോലും. അത്തരമൊരു ഗോളത്തിന്റെ ചെറിയ ആരം. അതിനാൽ, ലഭിച്ച സിഗ്നൽ, അനിയന്ത്രിതമായ വലിയ എണ്ണം പിശകുകൾ തിരുത്തിയ ശേഷം, nQ, പിശകുകളില്ലാത്ത ഒരു സിഗ്നലിനോട് ഏകപക്ഷീയമായി അടുത്തതായി മാറുന്നതിൽ അതിശയിക്കാനില്ല. നമ്മൾ നേരത്തെ ചർച്ച ചെയ്ത ലിങ്ക് കപ്പാസിറ്റി ഈ പ്രതിഭാസം മനസ്സിലാക്കുന്നതിനുള്ള താക്കോലാണ്. പിശക്-തിരുത്തൽ ഹാമിംഗ് കോഡുകൾക്കായി നിർമ്മിച്ച സമാന ഗോളങ്ങൾ പരസ്പരം ഓവർലാപ്പ് ചെയ്യുന്നില്ല എന്നത് ശ്രദ്ധിക്കുക. n-ഡൈമൻഷണൽ സ്‌പെയ്‌സിലെ ഏതാണ്ട് ഓർത്തോഗണൽ അളവുകളുടെ വലിയ സംഖ്യ, ചെറിയ ഓവർലാപ്പോടെ ബഹിരാകാശത്ത് M ഗോളങ്ങൾ ഘടിപ്പിക്കാൻ കഴിയുന്നത് എന്തുകൊണ്ടാണെന്ന് കാണിക്കുന്നു. ഡീകോഡിംഗ് സമയത്ത് ഒരു ചെറിയ എണ്ണം പിശകുകളിലേക്ക് നയിച്ചേക്കാവുന്ന ഒരു ചെറിയ, ഏകപക്ഷീയമായ ചെറിയ ഓവർലാപ്പ് ഞങ്ങൾ അനുവദിക്കുകയാണെങ്കിൽ, ബഹിരാകാശത്ത് നമുക്ക് ഗോളങ്ങളുടെ ഇടതൂർന്ന സ്ഥാനം ലഭിക്കും. ഹാമിംഗ് ഒരു നിശ്ചിത തലത്തിലുള്ള പിശക് തിരുത്തൽ ഉറപ്പുനൽകുന്നു, ഷാനൺ - പിശകിന്റെ കുറഞ്ഞ സംഭാവ്യത, എന്നാൽ അതേ സമയം യഥാർത്ഥ ത്രൂപുട്ട് നിലനിർത്തുന്നത് ആശയവിനിമയ ചാനലിന്റെ ശേഷിയോട് ഏകപക്ഷീയമായി, ഹാമിംഗ് കോഡുകൾക്ക് ചെയ്യാൻ കഴിയില്ല.

കാര്യക്ഷമമായ ഒരു സിസ്റ്റം എങ്ങനെ രൂപപ്പെടുത്താമെന്ന് വിവര സിദ്ധാന്തം നമ്മോട് പറയുന്നില്ല, പക്ഷേ അത് കാര്യക്ഷമമായ ആശയവിനിമയ സംവിധാനങ്ങളിലേക്കുള്ള വഴി ചൂണ്ടിക്കാണിക്കുന്നു. മെഷീൻ-ടു-മെഷീൻ കമ്മ്യൂണിക്കേഷൻ സംവിധാനങ്ങൾ നിർമ്മിക്കുന്നതിനുള്ള ഒരു മൂല്യവത്തായ ഉപകരണമാണിത്, എന്നാൽ നേരത്തെ സൂചിപ്പിച്ചതുപോലെ, മനുഷ്യർ പരസ്പരം എങ്ങനെ ആശയവിനിമയം നടത്തുന്നു എന്നതിന് കാര്യമായ പ്രസക്തിയില്ല. സാങ്കേതിക ആശയവിനിമയ സംവിധാനങ്ങൾ പോലെ ജൈവ പാരമ്പര്യം എത്രത്തോളം അജ്ഞാതമാണ്, അതിനാൽ വിവര സിദ്ധാന്തം ജീനുകൾക്ക് എങ്ങനെ ബാധകമാണെന്ന് നിലവിൽ വ്യക്തമല്ല. പരീക്ഷിക്കുകയല്ലാതെ ഞങ്ങൾക്ക് മറ്റ് മാർഗമില്ല, വിജയം ഈ പ്രതിഭാസത്തിന്റെ യന്ത്രം പോലെയുള്ള സ്വഭാവം കാണിക്കുന്നുവെങ്കിൽ, പരാജയം വിവരങ്ങളുടെ സ്വഭാവത്തിന്റെ മറ്റ് പ്രധാന വശങ്ങളിലേക്ക് വിരൽ ചൂണ്ടും.

നമ്മൾ അധികം വ്യതിചലിക്കരുത്. എല്ലാ യഥാർത്ഥ നിർവചനങ്ങളും, കൂടുതലോ കുറവോ, നമ്മുടെ യഥാർത്ഥ വിശ്വാസങ്ങളുടെ സാരാംശം പ്രകടിപ്പിക്കേണ്ടതുണ്ടെന്ന് ഞങ്ങൾ കണ്ടു, എന്നാൽ അവ ഒരു പരിധിവരെ വികലമായതിനാൽ അവ ബാധകമല്ല. ആത്യന്തികമായി, നമ്മൾ ഉപയോഗിക്കുന്ന നിർവചനം യഥാർത്ഥത്തിൽ സത്തയെ നിർവചിക്കുന്നു എന്ന് പരമ്പരാഗതമായി അംഗീകരിക്കപ്പെട്ടിരിക്കുന്നു; പക്ഷേ, ഇത് എങ്ങനെ കാര്യങ്ങൾ പ്രോസസ്സ് ചെയ്യണമെന്ന് മാത്രമേ നമ്മോട് പറയുന്നുള്ളൂ, ഒരു തരത്തിലും ഞങ്ങൾക്ക് ഒരു അർത്ഥവും നൽകുന്നില്ല. ഗണിതശാസ്ത്ര സർക്കിളുകളിൽ വളരെ ശക്തമായി അനുകൂലമായ പോസ്റ്റുലേറ്റൽ സമീപനം, പ്രായോഗികമായി ആഗ്രഹിക്കുന്ന പലതും അവശേഷിക്കുന്നു.

ഇപ്പോൾ നമ്മൾ IQ ടെസ്റ്റുകളുടെ ഒരു ഉദാഹരണം നോക്കാം, അവിടെ നിർവചനം നിങ്ങൾ ഇഷ്ടപ്പെടുന്ന പോലെ വൃത്താകൃതിയിലുള്ളതും അതിന്റെ ഫലമായി തെറ്റിദ്ധരിപ്പിക്കുന്നതുമാണ്. ബുദ്ധി അളക്കാൻ വേണ്ടിയുള്ള ഒരു ടെസ്റ്റ് സൃഷ്ടിക്കപ്പെടുന്നു. അത് കഴിയുന്നത്ര സ്ഥിരതയുള്ളതാക്കുന്നതിനായി അത് പരിഷ്കരിക്കുകയും തുടർന്ന് പ്രസിദ്ധീകരിക്കുകയും ലളിതമായ രീതിയിൽ കാലിബ്രേറ്റ് ചെയ്യുകയും ചെയ്യുന്നു, അങ്ങനെ അളന്ന "ഇന്റലിജൻസ്" സാധാരണയായി വിതരണം ചെയ്യപ്പെടുന്നു (തീർച്ചയായും ഒരു കാലിബ്രേഷൻ വക്രത്തിൽ). എല്ലാ നിർവചനങ്ങളും അവ ആദ്യം നിർദ്ദേശിക്കപ്പെടുമ്പോൾ മാത്രമല്ല, വളരെ പിന്നീട്, വരച്ച നിഗമനങ്ങളിൽ അവ ഉപയോഗിക്കുമ്പോഴും വീണ്ടും പരിശോധിക്കേണ്ടതാണ്. പ്രശ്നം പരിഹരിക്കപ്പെടുന്നതിന് നിർവചന അതിരുകൾ എത്രത്തോളം അനുയോജ്യമാണ്? ഒരു ക്രമീകരണത്തിൽ നൽകിയിരിക്കുന്ന നിർവചനങ്ങൾ തികച്ചും വ്യത്യസ്തമായ ക്രമീകരണങ്ങളിൽ എത്ര തവണ പ്രയോഗിക്കുന്നു? ഇത് പലപ്പോഴും സംഭവിക്കുന്നു! നിങ്ങളുടെ ജീവിതത്തിൽ അനിവാര്യമായും കണ്ടുമുട്ടുന്ന മാനവികതകളിൽ, ഇത് പലപ്പോഴും സംഭവിക്കുന്നു.

അതിനാൽ, വിവര സിദ്ധാന്തത്തിന്റെ ഈ അവതരണത്തിന്റെ ഉദ്ദേശ്യങ്ങളിലൊന്ന്, അതിന്റെ ഉപയോഗക്ഷമത പ്രകടിപ്പിക്കുന്നതിനൊപ്പം, ഈ അപകടത്തെക്കുറിച്ച് നിങ്ങൾക്ക് മുന്നറിയിപ്പ് നൽകുകയോ ആവശ്യമുള്ള ഫലം നേടുന്നതിന് ഇത് എങ്ങനെ ഉപയോഗിക്കാമെന്ന് കാണിക്കുകയോ ചെയ്യുക എന്നതായിരുന്നു. പ്രാരംഭ നിർവചനങ്ങൾ നിങ്ങൾ അവസാനം കണ്ടെത്തുന്നതിനെ നിർണ്ണയിക്കുന്നുവെന്ന് പണ്ടേ ശ്രദ്ധിക്കപ്പെട്ടിട്ടുണ്ട്, തോന്നുന്നതിനേക്കാൾ വളരെ വലിയ അളവിൽ. പ്രാരംഭ നിർവചനങ്ങൾക്ക് നിങ്ങളിൽ നിന്ന് വളരെയധികം ശ്രദ്ധ ആവശ്യമാണ്, ഏത് പുതിയ സാഹചര്യത്തിലും മാത്രമല്ല, നിങ്ങൾ ദീർഘകാലമായി പ്രവർത്തിക്കുന്ന മേഖലകളിലും. ലഭിച്ച ഫലങ്ങൾ എത്രത്തോളം ഒരു ടൗട്ടോളജി ആണെന്നും ഉപയോഗപ്രദമായ ഒന്നല്ലെന്നും മനസ്സിലാക്കാൻ ഇത് നിങ്ങളെ അനുവദിക്കും.

എഡിംഗ്ടണിന്റെ പ്രസിദ്ധമായ കഥ കടലിൽ വല ഉപയോഗിച്ച് മീൻ പിടിക്കുന്നവരെക്കുറിച്ചാണ് പറയുന്നത്. അവർ പിടിക്കുന്ന മത്സ്യത്തിന്റെ വലുപ്പം പഠിച്ച ശേഷം, കടലിൽ കാണപ്പെടുന്ന മത്സ്യത്തിന്റെ ഏറ്റവും കുറഞ്ഞ വലുപ്പം അവർ നിശ്ചയിച്ചു! അവരുടെ നിഗമനത്തെ നയിച്ചത് ഉപയോഗിച്ച ഉപകരണമാണ്, യാഥാർത്ഥ്യമല്ല.

തുടരേണ്ടത് ...

പുസ്തകത്തിന്റെ വിവർത്തനം, ലേഔട്ട്, പ്രസിദ്ധീകരണം എന്നിവയിൽ സഹായിക്കാൻ ആഗ്രഹിക്കുന്നവർ - ഒരു വ്യക്തിഗത സന്ദേശത്തിലോ ഇമെയിലിലോ എഴുതുക [ഇമെയിൽ പരിരക്ഷിച്ചിരിക്കുന്നു]

മറ്റൊരു രസകരമായ പുസ്തകത്തിന്റെ വിവർത്തനവും ഞങ്ങൾ ആരംഭിച്ചു - "ഡ്രീം മെഷീൻ: കമ്പ്യൂട്ടർ വിപ്ലവത്തിന്റെ കഥ")

ഞങ്ങൾ പ്രത്യേകിച്ച് അന്വേഷിക്കുന്നു വിവർത്തനം ചെയ്യാൻ സഹായിക്കുന്നവർ ബോണസ് ചാപ്റ്റർ, അത് വീഡിയോയിൽ മാത്രം. (10 മിനിറ്റ് നേരത്തേക്ക് കൈമാറ്റം ചെയ്യുക, ആദ്യത്തെ 20 എണ്ണം ഇതിനകം എടുത്തിട്ടുണ്ട്)

പുസ്തകത്തിന്റെ ഉള്ളടക്കവും വിവർത്തനം ചെയ്ത അധ്യായങ്ങളുംമുൻവാചകം

1. ആർട്ട് ഓഫ് ഡൂയിംഗ് സയൻസ് ആൻഡ് എഞ്ചിനീയറിംഗ്: ലേണിംഗ് ടു ലേണിംഗ് (മാർച്ച് 28, 1995) പരിഭാഷ: അധ്യായം 1
2. "ഡിജിറ്റൽ (വ്യതിരിക്ത) വിപ്ലവത്തിന്റെ അടിസ്ഥാനങ്ങൾ" (മാർച്ച് 30, 1995) അധ്യായം 2. ഡിജിറ്റൽ (വ്യതിരിക്ത) വിപ്ലവത്തിന്റെ അടിസ്ഥാനങ്ങൾ
3. "കമ്പ്യൂട്ടറുകളുടെ ചരിത്രം - ഹാർഡ്‌വെയർ" (മാർച്ച് 31, 1995) അധ്യായം 3. കമ്പ്യൂട്ടറുകളുടെ ചരിത്രം - ഹാർഡ്‌വെയർ
4. "കമ്പ്യൂട്ടറുകളുടെ ചരിത്രം - സോഫ്റ്റ്‌വെയർ" (ഏപ്രിൽ 4, 1995) അധ്യായം 4. കമ്പ്യൂട്ടറുകളുടെ ചരിത്രം - സോഫ്റ്റ്‌വെയർ
5. "കമ്പ്യൂട്ടറുകളുടെ ചരിത്രം - ആപ്ലിക്കേഷനുകൾ" (ഏപ്രിൽ 6, 1995) അധ്യായം 5: കമ്പ്യൂട്ടറുകളുടെ ചരിത്രം - പ്രായോഗിക പ്രയോഗങ്ങൾ
6. "ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് - ഭാഗം I" (ഏപ്രിൽ 7, 1995) അധ്യായം 6. ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് - 1
7. "ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് - ഭാഗം II" (ഏപ്രിൽ 11, 1995) അധ്യായം 7. ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് - II
8. "ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് III" (ഏപ്രിൽ 13, 1995) അധ്യായം 8. ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ്-III
9. "എൻ-ഡൈമൻഷണൽ സ്പേസ്" (ഏപ്രിൽ 14, 1995) അധ്യായം 9. എൻ-ഡൈമൻഷണൽ സ്പേസ്
10. "കോഡിംഗ് തിയറി - വിവരങ്ങളുടെ പ്രതിനിധാനം, ഭാഗം I" (ഏപ്രിൽ 18, 1995) അധ്യായം 10. കോഡിംഗ് സിദ്ധാന്തം - I
11. "കോഡിംഗ് തിയറി - വിവരങ്ങളുടെ പ്രതിനിധാനം, ഭാഗം II" (ഏപ്രിൽ 20, 1995) അധ്യായം 11. കോഡിംഗ് സിദ്ധാന്തം - II
12. "പിശക്-തിരുത്തൽ കോഡുകൾ" (ഏപ്രിൽ 21, 1995) അധ്യായം 12. പിശക് തിരുത്തൽ കോഡുകൾ
13. "വിവര സിദ്ധാന്തം" (ഏപ്രിൽ 25, 1995) അധ്യായം 13. വിവര സിദ്ധാന്തം
14. "ഡിജിറ്റൽ ഫിൽട്ടറുകൾ, ഭാഗം I" (ഏപ്രിൽ 27, 1995) അധ്യായം 14. ഡിജിറ്റൽ ഫിൽട്ടറുകൾ - 1
15. "ഡിജിറ്റൽ ഫിൽട്ടറുകൾ, ഭാഗം II" (ഏപ്രിൽ 28, 1995) അധ്യായം 15. ഡിജിറ്റൽ ഫിൽട്ടറുകൾ - 2
16. "ഡിജിറ്റൽ ഫിൽട്ടറുകൾ, ഭാഗം III" (മെയ് 2, 1995) അധ്യായം 16. ഡിജിറ്റൽ ഫിൽട്ടറുകൾ - 3
17. "ഡിജിറ്റൽ ഫിൽട്ടറുകൾ, ഭാഗം IV" (മേയ് 4, 1995) അധ്യായം 17. ഡിജിറ്റൽ ഫിൽട്ടറുകൾ - IV
18. "സിമുലേഷൻ, ഭാഗം I" (മേയ് 5, 1995) അധ്യായം 18. മോഡലിംഗ് - ഐ
19. "സിമുലേഷൻ, ഭാഗം II" (മേയ് 9, 1995) അധ്യായം 19. മോഡലിംഗ് - II
20. "സിമുലേഷൻ, ഭാഗം III" (മേയ് 11, 1995) അധ്യായം 20. മോഡലിംഗ് - III
21. "ഫൈബർ ഒപ്റ്റിക്സ്" (മേയ് 12, 1995) അധ്യായം 21. ഫൈബർ ഒപ്റ്റിക്സ്
22. "കമ്പ്യൂട്ടർ എയ്ഡഡ് ഇൻസ്ട്രക്ഷൻ" (മേയ് 16, 1995) അധ്യായം 22: കമ്പ്യൂട്ടർ അസിസ്റ്റഡ് ഇൻസ്ട്രക്ഷൻ (സിഎഐ)
23. "ഗണിതശാസ്ത്രം" (മേയ് 18, 1995) അധ്യായം 23. ഗണിതം
24. "ക്വാണ്ടം മെക്കാനിക്സ്" (മേയ് 19, 1995) അധ്യായം 24. ക്വാണ്ടം മെക്കാനിക്സ്
25. "സർഗ്ഗാത്മകത" (മെയ് 23, 1995). വിവർത്തനം: അധ്യായം 25. സർഗ്ഗാത്മകത
26. "വിദഗ്ധർ" (മേയ് 25, 1995) അധ്യായം 26. വിദഗ്ധർ
27. "വിശ്വസനീയമല്ലാത്ത ഡാറ്റ" (മേയ് 26, 1995) അധ്യായം 27. വിശ്വസനീയമല്ലാത്ത ഡാറ്റ
28. "സിസ്റ്റംസ് എഞ്ചിനീയറിംഗ്" (മേയ് 30, 1995) അധ്യായം 28. സിസ്റ്റംസ് എഞ്ചിനീയറിംഗ്
29. "നിങ്ങൾ അളക്കുന്നത് നിങ്ങൾക്ക് ലഭിക്കും" (ജൂൺ 1, 1995) അധ്യായം 29: നിങ്ങൾ അളക്കുന്നത് നിങ്ങൾക്ക് ലഭിക്കും
30. "നമുക്ക് അറിയാവുന്നത് എങ്ങനെ അറിയാം" (ജൂൺ 29, XXX) 10 മിനിറ്റ് കഷണങ്ങളായി വിവർത്തനം ചെയ്യുക
31. ഹാമിംഗ്, "നിങ്ങളും നിങ്ങളുടെ ഗവേഷണവും" (ജൂൺ 6, 1995). പരിഭാഷ: നിങ്ങളും നിങ്ങളുടെ ജോലിയും

പുസ്തകത്തിന്റെ വിവർത്തനം, ലേഔട്ട്, പ്രസിദ്ധീകരണം എന്നിവയിൽ സഹായിക്കാൻ ആഗ്രഹിക്കുന്നവർ - ഒരു വ്യക്തിഗത സന്ദേശത്തിലോ ഇമെയിലിലോ എഴുതുക [ഇമെയിൽ പരിരക്ഷിച്ചിരിക്കുന്നു]

അവലംബം: www.habr.com