રિચાર્ડ હેમિંગ: પ્રકરણ 13. માહિતી સિદ્ધાંત

અમે તે કર્યું!

"આ કોર્સનો હેતુ તમને તમારા તકનીકી ભવિષ્ય માટે તૈયાર કરવાનો છે."

હેલો, હેબ્ર. અદ્ભુત લેખ યાદ રાખો "તમે અને તમારું કામ" (+219, 2588 બુકમાર્ક્સ, 429k વાંચે છે)?

તેથી હેમિંગ (હા, હા, સ્વ-નિરીક્ષણ અને સ્વ-સુધારણ હેમિંગ કોડ્સ) ત્યાં એક સંપૂર્ણ છે એક પુસ્તક, તેમના પ્રવચનો પર આધારિત લખાયેલ. અમે તેનો અનુવાદ કરીએ છીએ, કારણ કે માણસ તેના મનની વાત કરે છે.

આ એક પુસ્તક માત્ર IT વિશે નથી, તે અદ્ભુત રીતે કૂલ લોકોની વિચારવાની શૈલી વિશેનું પુસ્તક છે. "તે માત્ર હકારાત્મક વિચારસરણીને પ્રોત્સાહન નથી; તે એવી પરિસ્થિતિઓનું વર્ણન કરે છે જે મહાન કાર્ય કરવાની તકો વધારે છે.”

અનુવાદ માટે આન્દ્રે પાખોમોવનો આભાર.

1940 ના દાયકાના અંતમાં સી.ઇ. શેનોન દ્વારા માહિતી સિદ્ધાંત વિકસાવવામાં આવ્યો હતો. બેલ લેબ્સના મેનેજમેન્ટે આગ્રહ કર્યો કે તેઓ તેને "કોમ્યુનિકેશન થિયરી" કહે છે કારણ કે... આ એક વધુ સચોટ નામ છે. સ્પષ્ટ કારણોસર, "માહિતી થિયરી" નામની જનતા પર ઘણી વધારે અસર છે, તેથી જ શેનોને તેને પસંદ કર્યું, અને તે તે નામ છે જે આપણે આજ સુધી જાણીએ છીએ. નામ પોતે જ સૂચવે છે કે સિદ્ધાંત માહિતી સાથે વ્યવહાર કરે છે, જે તેને મહત્વપૂર્ણ બનાવે છે કારણ કે આપણે માહિતી યુગમાં વધુ ઊંડા જઈએ છીએ. આ પ્રકરણમાં, હું આ સિદ્ધાંતમાંથી કેટલાક મુખ્ય તારણો પર સ્પર્શ કરીશ, હું આ સિદ્ધાંતની કેટલીક વ્યક્તિગત જોગવાઈઓના કડક નહીં, પરંતુ સાહજિક પુરાવા પ્રદાન કરીશ, જેથી તમે સમજી શકશો કે "માહિતી સિદ્ધાંત" ખરેખર શું છે, જ્યાં તમે તેને લાગુ કરી શકો છો. અને ક્યાં નથી.

સૌ પ્રથમ, "માહિતી" શું છે? શેનોન માહિતીને અનિશ્ચિતતા સાથે સરખાવે છે. જ્યારે સંભવિતતા p સાથેની ઘટના બને ત્યારે તમે જે માહિતી પ્રાપ્ત કરો છો તેના જથ્થાત્મક માપ તરીકે તેમણે ઇવેન્ટની સંભાવનાના નકારાત્મક લઘુગણકને પસંદ કર્યું. ઉદાહરણ તરીકે, જો હું તમને કહું કે લોસ એન્જલસમાં હવામાન ધુમ્મસવાળું છે, તો p 1 ની નજીક છે, જે ખરેખર અમને વધુ માહિતી આપતું નથી. પરંતુ જો હું કહું કે મોન્ટેરીમાં જૂનમાં વરસાદ પડશે, તો સંદેશમાં અનિશ્ચિતતા હશે અને તેમાં વધુ માહિતી હશે. લોગ 1 = 0 થી વિશ્વસનીય ઇવેન્ટમાં કોઈ માહિતી હોતી નથી.

ચાલો આને વધુ વિગતમાં જોઈએ. શેનોન માનતા હતા કે માહિતીનું જથ્થાત્મક માપ એ ઘટના p ની સંભાવનાનું સતત કાર્ય હોવું જોઈએ, અને સ્વતંત્ર ઘટનાઓ માટે તે ઉમેરણ હોવું જોઈએ - બે સ્વતંત્ર ઘટનાઓની ઘટનાના પરિણામે પ્રાપ્ત માહિતીની માત્રા સમાન હોવી જોઈએ. સંયુક્ત ઘટનાની ઘટનાના પરિણામે પ્રાપ્ત માહિતીનો જથ્થો. ઉદાહરણ તરીકે, ડાઇસ રોલ અને કોઈન રોલના પરિણામને સામાન્ય રીતે સ્વતંત્ર ઘટનાઓ તરીકે ગણવામાં આવે છે. ચાલો ઉપરનું ગણિતની ભાષામાં ભાષાંતર કરીએ. જો I (p) એ સંભવિતતા p સાથેની ઘટનામાં સમાવિષ્ટ માહિતીનો જથ્થો છે, તો પછી સંભવિતતા p1 સાથે અને y સંભાવના p2 સાથે બે સ્વતંત્ર ઘટનાઓ ધરાવતી સંયુક્ત ઘટના માટે આપણે મેળવીએ છીએ.

(x અને y સ્વતંત્ર ઘટનાઓ છે)

આ કાર્યાત્મક કોચી સમીકરણ છે, જે તમામ p1 અને p2 માટે સાચું છે. આ કાર્યાત્મક સમીકરણ ઉકેલવા માટે, ધારો કે

p1 = p2 = p,

આ આપે છે

જો p1 = p2 અને p2 = p તો

વગેરે ઘાતાંક માટે પ્રમાણભૂત પદ્ધતિનો ઉપયોગ કરીને આ પ્રક્રિયાને વિસ્તૃત કરવી, બધી પરિમેય સંખ્યાઓ m/n માટે નીચેની સાચી છે

માહિતી માપની ધારિત સાતત્યતાથી, તે અનુસરે છે કે લઘુગણક કાર્ય એ કોચી કાર્યાત્મક સમીકરણનો એકમાત્ર સતત ઉકેલ છે.

માહિતી સિદ્ધાંતમાં, લઘુગણક આધારને 2 લેવો સામાન્ય છે, તેથી બાઈનરી પસંદગીમાં બરાબર 1 બીટ માહિતી હોય છે. તેથી, માહિતી સૂત્ર દ્વારા માપવામાં આવે છે

ચાલો થોભો અને સમજીએ કે ઉપર શું થયું. સૌ પ્રથમ, અમે "માહિતી" ની વિભાવનાને વ્યાખ્યાયિત કરી નથી; અમે ફક્ત તેના માત્રાત્મક માપ માટે સૂત્રને વ્યાખ્યાયિત કર્યું છે.

બીજું, આ માપ અનિશ્ચિતતાને આધીન છે, અને જો કે તે મશીનો માટે વ્યાજબી રીતે યોગ્ય છે-ઉદાહરણ તરીકે, ટેલિફોન સિસ્ટમ્સ, રેડિયો, ટેલિવિઝન, કમ્પ્યુટર્સ, વગેરે.-તે માહિતી પ્રત્યે સામાન્ય માનવીય વલણને પ્રતિબિંબિત કરતું નથી.

ત્રીજે સ્થાને, આ એક સંબંધિત માપ છે, તે તમારા જ્ઞાનની વર્તમાન સ્થિતિ પર આધારિત છે. જો તમે રેન્ડમ નંબર જનરેટરમાંથી "રેન્ડમ નંબર્સ" ના પ્રવાહને જોશો, તો તમે ધારો છો કે દરેક આગલી સંખ્યા અનિશ્ચિત છે, પરંતુ જો તમે "રેન્ડમ નંબર્સ" ની ગણતરી માટેનું સૂત્ર જાણો છો, તો પછીની સંખ્યા જાણી શકાશે, અને તેથી નહીં. માહિતી ધરાવે છે.

તેથી શેનોનની માહિતીની વ્યાખ્યા ઘણા કિસ્સાઓમાં મશીનો માટે યોગ્ય છે, પરંતુ તે શબ્દની માનવ સમજને અનુરૂપ લાગતી નથી. આ જ કારણસર "માહિતી થીયરી" ને "કોમ્યુનિકેશન થિયરી" કહેવી જોઈએ. જો કે, વ્યાખ્યાઓ બદલવામાં ઘણું મોડું થઈ ગયું છે (જેણે સિદ્ધાંતને તેની પ્રારંભિક લોકપ્રિયતા આપી હતી, અને જે હજુ પણ લોકોને વિચારે છે કે આ સિદ્ધાંત "માહિતી" સાથે સંબંધિત છે), તેથી આપણે તેમની સાથે રહેવું પડશે, પરંતુ તે જ સમયે તમારે સ્પષ્ટપણે સમજો કે શેનોનની માહિતીની વ્યાખ્યા તેના સામાન્ય રીતે ઉપયોગમાં લેવાતા અર્થથી કેટલી દૂર છે. શેનોનની માહિતી કંઈક સંપૂર્ણપણે અલગ, એટલે કે અનિશ્ચિતતા સાથે વહેવાર કરે છે.

જ્યારે તમે કોઈપણ પરિભાષા પ્રસ્તાવિત કરો છો ત્યારે અહીં વિચારવા જેવું છે. સૂચિત વ્યાખ્યા, જેમ કે શેનોનની માહિતીની વ્યાખ્યા, તમારા મૂળ વિચાર સાથે કેવી રીતે સંમત થાય છે અને તે કેટલું અલગ છે? લગભગ કોઈ એવો શબ્દ નથી કે જે તમારા ખ્યાલની અગાઉની દ્રષ્ટિને બરાબર પ્રતિબિંબિત કરે છે, પરંતુ આખરે, તે પરિભાષાનો ઉપયોગ થાય છે જે ખ્યાલના અર્થને પ્રતિબિંબિત કરે છે, તેથી સ્પષ્ટ વ્યાખ્યાઓ દ્વારા કંઈક ઔપચારિક બનાવવું હંમેશા થોડો અવાજ રજૂ કરે છે.

એવી સિસ્ટમનો વિચાર કરો કે જેના મૂળાક્ષરોમાં q ની સંભાવનાઓ pi સાથે હોય. આ બાબતે માહિતીની સરેરાશ રકમ સિસ્ટમમાં (તેનું અપેક્ષિત મૂલ્ય) બરાબર છે:

આને સંભાવના વિતરણ {pi} સાથે સિસ્ટમની એન્ટ્રોપી કહેવામાં આવે છે. અમે "એન્ટ્રોપી" શબ્દનો ઉપયોગ કરીએ છીએ કારણ કે સમાન ગાણિતિક સ્વરૂપ થર્મોડાયનેમિક્સ અને આંકડાકીય મિકેનિક્સમાં દેખાય છે. આથી જ "એન્ટ્રોપી" શબ્દ પોતાની આસપાસ મહત્વની ચોક્કસ આભા બનાવે છે, જે આખરે વાજબી નથી. સંકેતનું સમાન ગાણિતિક સ્વરૂપ પ્રતીકોના સમાન અર્થઘટનને સૂચિત કરતું નથી!

કોડિંગ થિયરીમાં સંભાવના વિતરણની એન્ટ્રોપી મુખ્ય ભૂમિકા ભજવે છે. બે અલગ-અલગ સંભાવના વિતરણો pi અને qi માટે ગિબ્સની અસમાનતા આ સિદ્ધાંતના મહત્વપૂર્ણ પરિણામોમાંનું એક છે. તેથી આપણે તે સાબિત કરવું જોઈએ

સાબિતી સ્પષ્ટ ગ્રાફ પર આધારિત છે, ફિગ. 13.I, જે દર્શાવે છે કે

અને સમાનતા ત્યારે જ પ્રાપ્ત થાય છે જ્યારે x = 1. ચાલો સરવાળાના દરેક પદ પર ડાબી બાજુથી અસમાનતા લાગુ કરીએ:

જો સંદેશાવ્યવહાર પ્રણાલીના મૂળાક્ષરોમાં q ચિહ્નોનો સમાવેશ થાય છે, તો પછી દરેક પ્રતીક qi = 1/qના પ્રસારણની સંભાવનાને ધ્યાનમાં રાખીને અને qને બદલીને, આપણે ગિબ્સની અસમાનતામાંથી મેળવીએ છીએ.

આકૃતિ 13.I

આનો અર્થ એ છે કે જો તમામ q ચિહ્નોના પ્રસારણની સંભાવના સમાન અને સમાન હોય - 1 / q, તો મહત્તમ એન્ટ્રોપી ln q ની બરાબર છે, અન્યથા અસમાનતા ધરાવે છે.

વિશિષ્ટ રીતે ડીકોડેબલ કોડના કિસ્સામાં, અમારી પાસે ક્રાફ્ટની અસમાનતા છે

હવે જો આપણે સ્યુડો-સંભાવનાઓને વ્યાખ્યાયિત કરીએ

જ્યાં અલબત્ત = 1, જે ગિબ્સની અસમાનતામાંથી અનુસરે છે,

અને થોડું બીજગણિત લાગુ કરો (યાદ રાખો કે K ≤ 1, જેથી આપણે લઘુગણક શબ્દ છોડી શકીએ, અને કદાચ પછી અસમાનતાને મજબૂત બનાવી શકીએ), આપણને મળે છે

જ્યાં L એ સરેરાશ કોડ લંબાઈ છે.

આમ, એન્ટ્રોપી એ સરેરાશ કોડવર્ડ લંબાઈ L સાથે કોઈપણ અક્ષર-બાય-સિમ્બોલ કોડ માટે લઘુત્તમ બંધન છે. આ હસ્તક્ષેપ-મુક્ત ચેનલ માટે શેનોનનું પ્રમેય છે.

હવે સંચાર પ્રણાલીઓની મર્યાદાઓ વિશેના મુખ્ય પ્રમેયને ધ્યાનમાં લો જેમાં માહિતી સ્વતંત્ર બિટ્સના પ્રવાહ તરીકે પ્રસારિત થાય છે અને અવાજ હાજર છે. તે સમજી શકાય છે કે એક બીટના સાચા ટ્રાન્સમિશનની સંભાવના P > 1/2 છે, અને ટ્રાન્સમિશન દરમિયાન બીટની કિંમત ઊંધી થવાની સંભાવના (એક ભૂલ થશે) Q = 1 - P ની બરાબર છે. સગવડ માટે, અમે ધારો કે ભૂલો સ્વતંત્ર છે અને દરેક મોકલેલ બીટ માટે ભૂલની સંભાવના સમાન છે - એટલે કે, સંચાર ચેનલમાં "સફેદ અવાજ" છે.

આપણી પાસે જે રીતે n બિટ્સનો લાંબો પ્રવાહ એક સંદેશમાં એન્કોડ કરેલો છે તે વન-બીટ કોડનું n - પરિમાણીય વિસ્તરણ છે. અમે પછીથી n ની કિંમત નક્કી કરીશું. n-પરિમાણીય અવકાશમાં બિંદુ તરીકે n-બિટ્સ ધરાવતા સંદેશને ધ્યાનમાં લો. કારણ કે અમારી પાસે n-પરિમાણીય જગ્યા છે - અને સરળતા માટે અમે ધારીશું કે દરેક સંદેશમાં ઘટનાની સમાન સંભાવના છે - ત્યાં M સંભવિત સંદેશાઓ છે (એમ પણ પછીથી વ્યાખ્યાયિત કરવામાં આવશે), તેથી મોકલવામાં આવેલ કોઈપણ સંદેશાની સંભાવના

(પ્રેષક)
અનુસૂચિ 13.II

આગળ, ચેનલ ક્ષમતાના વિચારને ધ્યાનમાં લો. વિગતોમાં ગયા વિના, ચેનલની ક્ષમતાને માહિતીની મહત્તમ માત્રા તરીકે વ્યાખ્યાયિત કરવામાં આવે છે જે સૌથી કાર્યક્ષમ કોડિંગના ઉપયોગને ધ્યાનમાં લેતા, સંચાર ચેનલ પર વિશ્વસનીય રીતે પ્રસારિત કરી શકાય છે. એવી કોઈ દલીલ નથી કે સંચાર ચેનલ દ્વારા તેની ક્ષમતા કરતાં વધુ માહિતી પ્રસારિત કરી શકાય છે. આ દ્વિસંગી સપ્રમાણ ચેનલ માટે સાબિત થઈ શકે છે (જેનો આપણે અમારા કિસ્સામાં ઉપયોગ કરીએ છીએ). ચૅનલની ક્ષમતા, જ્યારે બિટ્સ મોકલતી વખતે, આ રીતે ઉલ્લેખિત છે

જ્યાં, પહેલાની જેમ, P એ કોઈપણ મોકલેલ બીટમાં કોઈ ભૂલની સંભાવના છે. n સ્વતંત્ર બિટ્સ મોકલતી વખતે, ચેનલ ક્ષમતા દ્વારા આપવામાં આવે છે

જો આપણે ચેનલ ક્ષમતાની નજીક હોઈએ, તો આપણે દરેક પ્રતીકો ai, i = 1, ..., M માટે લગભગ આટલી માહિતી મોકલવી જોઈએ. દરેક પ્રતીક ai ની ઘટનાની સંભાવના 1 / M છે તે ધ્યાનમાં લેતા, અમે મેળવીએ છીએ

જ્યારે અમે M સમાન સંભવિત સંદેશાઓમાંથી કોઈપણ મોકલીએ છીએ, ત્યારે અમારી પાસે હોય છે

જ્યારે n બિટ્સ મોકલવામાં આવે છે, ત્યારે અમે nQ ભૂલો થવાની અપેક્ષા રાખીએ છીએ. વ્યવહારમાં, n-બિટ્સ ધરાવતા સંદેશ માટે, અમને પ્રાપ્ત સંદેશમાં લગભગ nQ ભૂલો હશે. મોટા n માટે, સંબંધિત વિવિધતા (વિવિધતા = વિતરણ પહોળાઈ, )
ભૂલોની સંખ્યાનું વિતરણ n વધવાની સાથે વધુને વધુ સંકુચિત થતું જશે.

તેથી, ટ્રાન્સમીટર બાજુથી, હું સંદેશ ai ને મોકલવા માટે લઉં છું અને તેની ફરતે ત્રિજ્યા સાથે એક ગોળા દોરું છું.

જે ભૂલો Q, (આકૃતિ 2.II) ની અપેક્ષિત સંખ્યા કરતાં e13 જેટલી રકમથી થોડી મોટી છે. જો n પૂરતો મોટો હોય, તો રીસીવર બાજુ પર સંદેશ પોઈન્ટ bj દેખાવાની મનસ્વી રીતે નાની સંભાવના છે જે આ ગોળાની બહાર વિસ્તરે છે. ચાલો પરિસ્થિતિનું સ્કેચ કરીએ કારણ કે હું તેને ટ્રાન્સમિટરના દૃષ્ટિકોણથી જોઉં છું: અમારી પાસે પ્રસારિત સંદેશ ai થી પ્રાપ્ત સંદેશ bj સુધીની કોઈપણ ત્રિજ્યા છે જેમાં સામાન્ય વિતરણની સમાન (અથવા લગભગ સમાન) ભૂલની સંભાવના છે, મહત્તમ સુધી પહોંચે છે. nQ ના. આપેલ કોઈપણ e2 માટે, n એટલો મોટો છે કે પરિણામી બિંદુ bj મારા ગોળાની બહાર હોવાની સંભાવના તમને ગમે તેટલી નાની છે.

હવે ચાલો તમારી બાજુથી સમાન પરિસ્થિતિ જોઈએ (ફિગ. 13.III). રીસીવર બાજુએ n-પરિમાણીય અવકાશમાં પ્રાપ્ત બિંદુ bj ની આસપાસ સમાન ત્રિજ્યાનો S(r) એક ગોળો છે, જેમ કે જો પ્રાપ્ત થયેલ સંદેશ bj મારા ગોળાની અંદર છે, તો પછી મારા દ્વારા મોકલાયેલ સંદેશ ai તમારી અંદર છે. ગોળા

ભૂલ કેવી રીતે થઈ શકે? નીચેના કોષ્ટકમાં વર્ણવેલ કેસોમાં ભૂલ આવી શકે છે:

આકૃતિ 13.III

અહીં આપણે જોઈએ છીએ કે જો પ્રાપ્ત બિંદુની આસપાસ બાંધવામાં આવેલા ગોળામાં સંભવિત મોકલેલા અનકોડ કરેલા સંદેશાને અનુરૂપ ઓછામાં ઓછો એક વધુ બિંદુ હોય, તો ટ્રાન્સમિશન દરમિયાન એક ભૂલ આવી, કારણ કે તમે આમાંથી કયો સંદેશો પ્રસારિત થયો હતો તે નક્કી કરી શકતા નથી. મોકલેલ સંદેશ ભૂલ-મુક્ત હોય છે જો તેને અનુરૂપ બિંદુ ગોળામાં હોય, અને આપેલ કોડમાં અન્ય કોઈ બિંદુઓ શક્ય ન હોય જે સમાન ગોળામાં હોય.

જો સંદેશ AI મોકલવામાં આવ્યો હોય તો ભૂલ Pe ની સંભાવના માટે અમારી પાસે ગાણિતિક સમીકરણ છે

આપણે બીજા અવધિમાં પ્રથમ અવયવને 1 તરીકે લઈ કાઢી શકીએ છીએ. આમ આપણને અસમાનતા મળે છે.

દેખીતી રીતે,

પરિણામે

જમણી બાજુએ છેલ્લી મુદત માટે ફરીથી અરજી કરો

n પર્યાપ્ત મોટા લેવાથી, પ્રથમ પદ ઇચ્છિત હોય તેટલું નાનું લઈ શકાય છે, અમુક સંખ્યા કરતાં ઓછી કહો ડી. તેથી અમારી પાસે છે

હવે ચાલો જોઈએ કે n બિટ્સ ધરાવતા M સંદેશાઓને એન્કોડ કરવા માટે આપણે એક સરળ અવેજી કોડ કેવી રીતે બનાવી શકીએ. કોડ કેવી રીતે બનાવવો તે અંગે કોઈ ખ્યાલ ન હોવાને કારણે (ભૂલ-સુધારક કોડની શોધ હજુ સુધી થઈ ન હતી), શેનોને રેન્ડમ કોડિંગ પસંદ કર્યું. સંદેશમાંના દરેક n બિટ્સ માટે એક સિક્કો ફ્લિપ કરો અને M સંદેશાઓ માટેની પ્રક્રિયાને પુનરાવર્તિત કરો. કુલમાં, nM સિક્કાની ફ્લિપ્સ બનાવવાની જરૂર છે, તેથી તે શક્ય છે

સમાન સંભાવના ધરાવતા કોડ શબ્દકોશો ½nM. અલબત્ત, કોડબુક બનાવવાની રેન્ડમ પ્રક્રિયાનો અર્થ એ છે કે ડુપ્લિકેટ્સ, તેમજ કોડ પોઈન્ટ્સની સંભાવના છે જે એકબીજાની નજીક હશે અને તેથી સંભવિત ભૂલોનો સ્ત્રોત હશે. વ્યક્તિએ સાબિત કરવું જોઈએ કે જો આ કોઈ પણ નાના પસંદ કરેલ ભૂલ સ્તર કરતા વધુ સંભાવના સાથે ન થાય, તો આપેલ n પૂરતું મોટું છે.
નિર્ણાયક મુદ્દો એ છે કે શેનોને સરેરાશ ભૂલ શોધવા માટે તમામ સંભવિત કોડબુકની સરેરાશ કરી! અમે તમામ સંભવિત રેન્ડમ કોડબુકના સેટ પર સરેરાશ મૂલ્ય દર્શાવવા માટે પ્રતીક Av[.] નો ઉપયોગ કરીશું. અચળ d ની સરેરાશ, અલબત્ત, સ્થિરાંક આપે છે, કારણ કે દરેક પદની સરેરાશ માટે સરવાળામાં દરેક અન્ય પદ સમાન હોય છે,

જે વધારી શકાય છે (M-1 M માં જાય છે)

કોઈપણ આપેલ સંદેશ માટે, જ્યારે બધી કોડબુકમાં સરેરાશ હોય, ત્યારે એન્કોડિંગ તમામ સંભવિત મૂલ્યો દ્વારા ચાલે છે, તેથી બિંદુ વલયમાં હોય તેવી સરેરાશ સંભાવના એ ગોળાના જથ્થા અને અવકાશના કુલ જથ્થાનો ગુણોત્તર છે. ગોળાની માત્રા છે

જ્યાં s=Q+e2 <1/2 અને ns એ પૂર્ણાંક હોવા જોઈએ.

જમણી બાજુની છેલ્લી મુદત આ રકમમાં સૌથી મોટી છે. પ્રથમ, ચાલો ફેક્ટોરિયલ્સ માટે સ્ટર્લિંગ સૂત્રનો ઉપયોગ કરીને તેના મૂલ્યનો અંદાજ લગાવીએ. પછી આપણે તેની સામે શબ્દના ઘટતા ગુણાંકને જોઈશું, નોંધ કરો કે જેમ જેમ આપણે ડાબી બાજુએ જઈએ છીએ તેમ આ ગુણાંક વધે છે, અને તેથી આપણે આ કરી શકીએ છીએ: (1) સરવાળાના મૂલ્યને ભૌમિતિક પ્રગતિના સરવાળા સુધી મર્યાદિત કરી શકીએ છીએ આ પ્રારંભિક ગુણાંક, (2) ભૌમિતિક પ્રગતિને ns પદોથી અનંત સંખ્યામાં પદો સુધી વિસ્તૃત કરો, (3) અનંત ભૌમિતિક પ્રગતિના સરવાળાની ગણતરી કરો (પ્રમાણભૂત બીજગણિત, નોંધપાત્ર કંઈ નથી) અને અંતે મર્યાદિત મૂલ્ય મેળવો (પર્યાપ્ત મોટા માટે n):

નોંધ કરો કે એન્ટ્રોપી H(s) દ્વિપદી ઓળખમાં કેવી રીતે દેખાય છે. નોંધ કરો કે ટેલર શ્રેણીનું વિસ્તરણ H(s)=H(Q+e2) માત્ર પ્રથમ વ્યુત્પન્નતાને ધ્યાનમાં રાખીને અને અન્ય તમામને અવગણીને મેળવેલ અંદાજ આપે છે. હવે ચાલો અંતિમ અભિવ્યક્તિને એકસાથે મૂકીએ:

જ્યાં

આપણે ફક્ત e2 પસંદ કરવાનું છે જેમ કે e3 < e1, અને પછી છેલ્લું પદ મનસ્વી રીતે નાનું હશે, જ્યાં સુધી n પૂરતું મોટું હશે. પરિણામે, ચેનલ ક્ષમતા મનસ્વી રીતે C ની નજીકની સાથે સરેરાશ PE ભૂલ ઇચ્છિત તરીકે નાની મેળવી શકાય છે.
જો તમામ કોડની સરેરાશમાં નાની પૂરતી ભૂલ હોય, તો ઓછામાં ઓછો એક કોડ યોગ્ય હોવો જોઈએ, તેથી ઓછામાં ઓછી એક યોગ્ય કોડિંગ સિસ્ટમ છે. આ શેનોન દ્વારા મેળવેલ એક મહત્વપૂર્ણ પરિણામ છે - "ઘોંઘાટીયા ચેનલ માટે શેનોનનું પ્રમેય", જો કે તે નોંધવું જોઈએ કે તેણે મેં ઉપયોગમાં લીધેલી સરળ દ્વિસંગી સપ્રમાણ ચેનલ કરતાં વધુ સામાન્ય કેસ માટે આ સાબિત કર્યું છે. સામાન્ય કેસ માટે, ગાણિતિક ગણતરીઓ વધુ જટિલ છે, પરંતુ વિચારો એટલા અલગ નથી, તેથી ઘણી વાર, કોઈ ચોક્કસ કેસના ઉદાહરણનો ઉપયોગ કરીને, તમે પ્રમેયનો સાચો અર્થ જાહેર કરી શકો છો.

ચાલો પરિણામની ટીકા કરીએ. અમે વારંવાર પુનરાવર્તન કર્યું છે: "પર્યાપ્ત મોટા n માટે." પરંતુ એન કેટલું મોટું છે? જો તમે ખરેખર ચેનલની ક્ષમતાની નજીક રહેવા માંગતા હોવ અને સાચા ડેટા ટ્રાન્સફરની ખાતરી કરો તો ખૂબ, ખૂબ મોટું! એટલો મોટો, વાસ્તવમાં, તમારે તેને પછીથી એન્કોડ કરવા માટે પર્યાપ્ત બિટ્સનો સંદેશ એકઠા કરવા માટે ખૂબ જ લાંબો સમય રાહ જોવી પડશે. આ કિસ્સામાં, રેન્ડમ કોડ શબ્દકોશનું કદ ફક્ત વિશાળ હશે (છેવટે, આવા શબ્દકોશને બધા Mn બિટ્સની સંપૂર્ણ સૂચિ કરતાં ટૂંકા સ્વરૂપમાં રજૂ કરી શકાતા નથી, એ હકીકત હોવા છતાં કે n અને M ખૂબ મોટા છે)!

ભૂલ-સુધારનાર કોડ્સ ખૂબ લાંબા સંદેશની રાહ જોવાનું ટાળે છે અને પછી તેને ખૂબ મોટી કોડબુક દ્વારા એન્કોડિંગ અને ડીકોડ કરવાનું ટાળે છે કારણ કે તેઓ કોડબુકને પોતાને ટાળે છે અને તેના બદલે સામાન્ય ગણતરીનો ઉપયોગ કરે છે. સરળ સિદ્ધાંતમાં, આવા કોડ્સ ચેનલની ક્ષમતા સુધી પહોંચવાની ક્ષમતા ગુમાવે છે અને તેમ છતાં નીચા ભૂલ દરને જાળવી રાખે છે, પરંતુ જ્યારે કોડ મોટી સંખ્યામાં ભૂલોને સુધારે છે, ત્યારે તે સારું પ્રદર્શન કરે છે. બીજા શબ્દોમાં કહીએ તો, જો તમે ભૂલ સુધારણા માટે કેટલીક ચેનલ ક્ષમતા ફાળવો છો, તો તમારે મોટાભાગે ભૂલ સુધારણા ક્ષમતાનો ઉપયોગ કરવો જોઈએ, એટલે કે, મોકલેલા દરેક સંદેશમાં મોટી સંખ્યામાં ભૂલો સુધારવી આવશ્યક છે, અન્યથા તમે આ ક્ષમતાને વેડફશો.

તે જ સમયે, ઉપર સાબિત થયેલ પ્રમેય હજુ પણ અર્થહીન નથી! તે દર્શાવે છે કે કાર્યક્ષમ ટ્રાન્સમિશન સિસ્ટમોએ ખૂબ જ લાંબી બીટ સ્ટ્રિંગ્સ માટે ચપળ એન્કોડિંગ સ્કીમનો ઉપયોગ કરવો જોઈએ. એક ઉદાહરણ ઉપગ્રહો છે જે બાહ્ય ગ્રહોની બહાર ઉડ્યા છે; જેમ જેમ તેઓ પૃથ્વી અને સૂર્યથી દૂર જાય છે, તેમ તેમ તેમને ડેટા બ્લોકમાં વધુને વધુ ભૂલો સુધારવાની ફરજ પડે છે: કેટલાક ઉપગ્રહો સૌર પેનલ્સનો ઉપયોગ કરે છે, જે લગભગ 5 ડબ્લ્યુ પ્રદાન કરે છે, અન્યો પરમાણુ ઉર્જા સ્ત્રોતોનો ઉપયોગ કરે છે, જે લગભગ સમાન શક્તિ પ્રદાન કરે છે. પાવર સપ્લાયની ઓછી શક્તિ, ટ્રાન્સમીટર ડીશનું નાનું કદ અને પૃથ્વી પર રીસીવર ડીશનું મર્યાદિત કદ, સિગ્નલને મુસાફરી કરવી આવશ્યક છે તે પ્રચંડ અંતર - આ બધાને બિલ્ડ કરવા માટે ઉચ્ચ સ્તરની ભૂલ સુધારણા સાથે કોડનો ઉપયોગ કરવાની જરૂર છે. અસરકારક સંચાર સિસ્ટમ.

ચાલો આપણે ઉપરના પુરાવામાં ઉપયોગ કરેલ n-પરિમાણીય જગ્યા પર પાછા ફરીએ. તેની ચર્ચા કરતી વખતે, અમે બતાવ્યું કે ગોળાના લગભગ સમગ્ર જથ્થાને બાહ્ય સપાટીની નજીક કેન્દ્રિત કરવામાં આવે છે - આમ, તે લગભગ નિશ્ચિત છે કે મોકલેલ સિગ્નલ પ્રાપ્ત સિગ્નલની આસપાસ બાંધવામાં આવેલા ગોળાની સપાટીની નજીક સ્થિત હશે, તે પ્રમાણમાં સાથે પણ. આવા ગોળાની નાની ત્રિજ્યા. તેથી, તે આશ્ચર્યજનક નથી કે પ્રાપ્ત સિગ્નલ, મનસ્વી રીતે મોટી સંખ્યામાં ભૂલોને સુધાર્યા પછી, nQ, ભૂલો વિના સિગ્નલની મનસ્વી રીતે નજીક હોવાનું બહાર આવ્યું છે. આ ઘટનાને સમજવા માટે આપણે અગાઉ ચર્ચા કરેલી લિંક ક્ષમતા એ ચાવી છે. નોંધ કરો કે હેમિંગ કોડને ભૂલ-સુધારવા માટે બાંધવામાં આવેલા સમાન ગોળાઓ એકબીજાને ઓવરલેપ કરતા નથી. n-પરિમાણીય અવકાશમાં લગભગ ઓર્થોગોનલ પરિમાણોની મોટી સંખ્યા બતાવે છે કે શા માટે આપણે થોડા ઓવરલેપ સાથે અવકાશમાં M ગોળાકારને ફિટ કરી શકીએ છીએ. જો આપણે નાના, મનસ્વી રીતે નાના ઓવરલેપને મંજૂરી આપીએ, જે ડીકોડિંગ દરમિયાન માત્ર થોડી સંખ્યામાં ભૂલો તરફ દોરી શકે છે, તો આપણે અવકાશમાં ગોળાઓનું ગાઢ પ્લેસમેન્ટ મેળવી શકીએ છીએ. હેમિંગે ભૂલ સુધારણાના ચોક્કસ સ્તરની બાંયધરી આપી હતી, શેનોન - ભૂલની ઓછી સંભાવના, પરંતુ તે જ સમયે વાસ્તવિક થ્રુપુટને આપખુદ રીતે કોમ્યુનિકેશન ચેનલની ક્ષમતાની નજીક જાળવી રાખે છે, જે હેમિંગ કોડ્સ કરી શકતા નથી.

માહિતી સિદ્ધાંત આપણને કાર્યક્ષમ સિસ્ટમ કેવી રીતે ડિઝાઇન કરવી તે જણાવતું નથી, પરંતુ તે કાર્યક્ષમ સંચાર પ્રણાલી તરફ નિર્દેશ કરે છે. મશીન-ટુ-મશીન કોમ્યુનિકેશન સિસ્ટમ્સ બનાવવા માટે તે એક મૂલ્યવાન સાધન છે, પરંતુ, અગાઉ નોંધ્યું છે તેમ, મનુષ્યો એકબીજા સાથે કેવી રીતે વાતચીત કરે છે તેની સાથે તેની થોડી સુસંગતતા નથી. તકનીકી સંચાર પ્રણાલીઓ જેવી જૈવિક વારસો કેટલી હદે છે તે ફક્ત અજાણ છે, તેથી તે હાલમાં સ્પષ્ટ નથી કે માહિતી સિદ્ધાંત જનીનોને કેવી રીતે લાગુ પડે છે. અમારી પાસે પ્રયાસ કરવા સિવાય કોઈ વિકલ્પ નથી, અને જો સફળતા આપણને આ ઘટનાની મશીન જેવી પ્રકૃતિ દર્શાવે છે, તો નિષ્ફળતા માહિતીની પ્રકૃતિના અન્ય મહત્વપૂર્ણ પાસાઓ તરફ નિર્દેશ કરશે.

ચાલો બહુ વિષયાંતર ન કરીએ. અમે જોયું છે કે બધી મૂળ વ્યાખ્યાઓ, વધુ કે ઓછા અંશે, અમારી મૂળ માન્યતાઓના સારને વ્યક્ત કરવી જોઈએ, પરંતુ તે અમુક અંશે વિકૃતિ દ્વારા વર્ગીકૃત થયેલ છે અને તેથી તે લાગુ પડતી નથી. તે પરંપરાગત રીતે સ્વીકારવામાં આવે છે કે, આખરે, આપણે જે વ્યાખ્યાનો ઉપયોગ કરીએ છીએ તે વાસ્તવમાં સારને વ્યાખ્યાયિત કરે છે; પરંતુ, આ ફક્ત અમને વસ્તુઓ પર પ્રક્રિયા કેવી રીતે કરવી તે કહે છે અને કોઈ પણ રીતે અમને કોઈ અર્થ જણાવતું નથી. પોસ્ટ્યુલેશનલ અભિગમ, ગાણિતિક વર્તુળોમાં ખૂબ જ પસંદ કરવામાં આવે છે, વ્યવહારમાં ઇચ્છિત થવા માટે ઘણું બધું છોડી દે છે.

હવે અમે IQ પરીક્ષણોનું ઉદાહરણ જોઈશું જ્યાં વ્યાખ્યા તમને ગમે તેટલી પરિપત્ર છે અને પરિણામે, ભ્રામક છે. એક પરીક્ષણ બનાવવામાં આવે છે જે બુદ્ધિ માપવા માટે માનવામાં આવે છે. પછી તેને શક્ય તેટલું સુસંગત બનાવવા માટે તેમાં સુધારો કરવામાં આવે છે, અને પછી તેને પ્રકાશિત કરવામાં આવે છે અને, એક સરળ પદ્ધતિમાં, માપાંકિત કરવામાં આવે છે જેથી માપવામાં આવેલ "બુદ્ધિ" સામાન્ય રીતે વિતરિત થાય (અલબત્ત કેલિબ્રેશન વળાંક પર). બધી વ્યાખ્યાઓનું પુનઃતપાસ કરવું જોઈએ, માત્ર ત્યારે જ નહીં જ્યારે તેઓ પ્રથમ પ્રસ્તાવિત કરવામાં આવે, પણ પછીથી પણ, જ્યારે તેઓ દોરેલા નિષ્કર્ષમાં ઉપયોગમાં લેવાય છે. સમસ્યાના ઉકેલ માટે વ્યાખ્યાત્મક સીમાઓ કેટલી હદ સુધી યોગ્ય છે? એક સેટિંગમાં આપેલી વ્યાખ્યાઓ તદ્દન અલગ સેટિંગમાં કેટલી વાર લાગુ કરવામાં આવે છે? આ ઘણી વાર થાય છે! માનવતામાં, જેનો તમે તમારા જીવનમાં અનિવાર્યપણે સામનો કરશો, આ વધુ વખત થાય છે.

આમ, માહિતી સિદ્ધાંતની આ પ્રસ્તુતિનો એક હેતુ, તેની ઉપયોગીતા દર્શાવવા ઉપરાંત, તમને આ ભય વિશે ચેતવણી આપવાનો હતો, અથવા ઇચ્છિત પરિણામ મેળવવા માટે તેનો ઉપયોગ કેવી રીતે કરવો તે બરાબર બતાવવાનો હતો. તે લાંબા સમયથી નોંધવામાં આવ્યું છે કે પ્રારંભિક વ્યાખ્યાઓ નક્કી કરે છે કે તમે અંતમાં શું મેળવો છો, જે લાગે છે તેના કરતાં ઘણી મોટી હદ સુધી. પ્રારંભિક વ્યાખ્યાઓને તમારા તરફથી ખૂબ ધ્યાન આપવાની જરૂર છે, માત્ર કોઈપણ નવી પરિસ્થિતિમાં જ નહીં, પરંતુ તે ક્ષેત્રોમાં પણ કે જેની સાથે તમે લાંબા સમયથી કામ કરી રહ્યાં છો. આ તમને સમજવાની મંજૂરી આપશે કે પ્રાપ્ત પરિણામો કેટલી હદે ટૉટોલોજી છે અને કંઈક ઉપયોગી નથી.

એડિંગ્ટનની પ્રખ્યાત વાર્તા એવા લોકો વિશે કહે છે જેઓ જાળ વડે દરિયામાં માછીમારી કરતા હતા. તેઓએ પકડેલી માછલીના કદનો અભ્યાસ કર્યા પછી, તેઓએ દરિયામાં જોવા મળતી માછલીનું લઘુત્તમ કદ નક્કી કર્યું! તેમના નિષ્કર્ષ વાસ્તવિકતા દ્વારા નહીં, પરંતુ ઉપયોગમાં લેવાતા સાધન દ્વારા સંચાલિત હતા.

ચાલુ રહી શકાય…

પુસ્તકના અનુવાદ, લેઆઉટ અને પ્રકાશનમાં કોણ મદદ કરવા માંગે છે - વ્યક્તિગત સંદેશ અથવા ઇમેઇલમાં લખો [ઇમેઇલ સુરક્ષિત]

બાય ધ વે, અમે બીજા એક સરસ પુસ્તકનો અનુવાદ પણ લોન્ચ કર્યો છે - "ધ ડ્રીમ મશીનઃ ધ સ્ટોરી ઓફ ધ કોમ્પ્યુટર રિવોલ્યુશન")

અમે ખાસ કરીને શોધી રહ્યા છીએ જેઓ અનુવાદ કરવામાં મદદ કરશે બોનસ પ્રકરણ, જે ફક્ત વિડિઓ પર છે, (10 મિનિટ માટે ટ્રાન્સફર, પ્રથમ 20 પહેલેથી જ લેવામાં આવી છે)

પુસ્તકની સામગ્રી અને અનુવાદિત પ્રકરણોફોરવર્ડ

1. વિજ્ઞાન અને એન્જિનિયરિંગની આર્ટનો પરિચયઃ શીખવું શીખવું (માર્ચ 28, 1995) અનુવાદ: પ્રકરણ 1
2. "ડિજીટલ (ડિસ્ક્રીટ) ક્રાંતિના પાયા" (માર્ચ 30, 1995) પ્રકરણ 2. ડિજિટલ (સ્વચ્છ) ક્રાંતિની મૂળભૂત બાબતો
3. "કમ્પ્યુટરનો ઇતિહાસ - હાર્ડવેર" (માર્ચ 31, 1995) પ્રકરણ 3. કોમ્પ્યુટરનો ઇતિહાસ - હાર્ડવેર
4. "કોમ્પ્યુટરનો ઇતિહાસ - સોફ્ટવેર" (એપ્રિલ 4, 1995) પ્રકરણ 4. કોમ્પ્યુટરનો ઇતિહાસ - સોફ્ટવેર
5. "કોમ્પ્યુટરનો ઇતિહાસ - એપ્લિકેશન્સ" (એપ્રિલ 6, 1995) પ્રકરણ 5: કોમ્પ્યુટરનો ઇતિહાસ - પ્રેક્ટિકલ એપ્લિકેશન્સ
6. "કૃત્રિમ બુદ્ધિ - ભાગ I" (એપ્રિલ 7, 1995) પ્રકરણ 6. આર્ટિફિશિયલ ઇન્ટેલિજન્સ - 1
7. "કૃત્રિમ બુદ્ધિ - ભાગ II" (એપ્રિલ 11, 1995) પ્રકરણ 7. આર્ટિફિશિયલ ઇન્ટેલિજન્સ - II
8. "કૃત્રિમ બુદ્ધિમત્તા III" (એપ્રિલ 13, 1995) પ્રકરણ 8. આર્ટિફિશિયલ ઈન્ટેલિજન્સ-III
9. "એન-ડાયમેન્શનલ સ્પેસ" (એપ્રિલ 14, 1995) પ્રકરણ 9. N-પરિમાણીય જગ્યા
10. "કોડિંગ થિયરી - માહિતીનું પ્રતિનિધિત્વ, ભાગ I" (એપ્રિલ 18, 1995) પ્રકરણ 10. કોડિંગ થિયરી - I
11. "કોડિંગ થિયરી - માહિતીનું પ્રતિનિધિત્વ, ભાગ II" (એપ્રિલ 20, 1995) પ્રકરણ 11. કોડિંગ થિયરી - II
12. "એરર-કરેક્ટીંગ કોડ્સ" (એપ્રિલ 21, 1995) પ્રકરણ 12. ભૂલ સુધારણા કોડ્સ
13. "માહિતી સિદ્ધાંત" (એપ્રિલ 25, 1995) પ્રકરણ 13. માહિતી સિદ્ધાંત
14. "ડિજિટલ ફિલ્ટર્સ, ભાગ I" (27 એપ્રિલ, 1995) પ્રકરણ 14. ડિજિટલ ફિલ્ટર્સ - 1
15. "ડિજિટલ ફિલ્ટર્સ, ભાગ II" (એપ્રિલ 28, 1995) પ્રકરણ 15. ડિજિટલ ફિલ્ટર્સ - 2
16. "ડિજિટલ ફિલ્ટર્સ, ભાગ III" (મે 2, 1995) પ્રકરણ 16. ડિજિટલ ફિલ્ટર્સ - 3
17. "ડિજિટલ ફિલ્ટર્સ, ભાગ IV" (4 મે, 1995) પ્રકરણ 17. ડિજિટલ ફિલ્ટર્સ - IV
18. "સિમ્યુલેશન, ભાગ I" (મે 5, 1995) પ્રકરણ 18. મોડેલિંગ - I
19. "સિમ્યુલેશન, ભાગ II" (મે 9, 1995) પ્રકરણ 19. મોડેલિંગ - II
20. "સિમ્યુલેશન, ભાગ III" (મે 11, 1995) પ્રકરણ 20. મોડેલિંગ - III
21. "ફાઇબર ઓપ્ટિક્સ" (મે 12, 1995) પ્રકરણ 21. ફાઈબર ઓપ્ટિક્સ
22. "કમ્પ્યુટર સહાયિત સૂચના" (મે 16, 1995) પ્રકરણ 22: કમ્પ્યુટર આસિસ્ટેડ ઇન્સ્ટ્રક્શન (CAI)
23. "ગણિત" (18 મે, 1995) પ્રકરણ 23. ગણિત
24. "ક્વોન્ટમ મિકેનિક્સ" (મે 19, 1995) પ્રકરણ 24. ક્વોન્ટમ મિકેનિક્સ
25. "સર્જનાત્મકતા" (23 મે, 1995). અનુવાદ: પ્રકરણ 25. સર્જનાત્મકતા
26. "નિષ્ણાતો" (25 મે, 1995) પ્રકરણ 26. નિષ્ણાતો
27. "અવિશ્વસનીય ડેટા" (મે 26, 1995) પ્રકરણ 27. અવિશ્વસનીય ડેટા
28. "સિસ્ટમ એન્જિનિયરિંગ" (મે 30, 1995) પ્રકરણ 28. સિસ્ટમ્સ એન્જિનિયરિંગ
29. "તમે જે માપો છો તે મેળવો" (જૂન 1, 1995) પ્રકરણ 29: તમે જે માપો છો તે તમને મળે છે
30. "આપણે જે જાણીએ છીએ તે આપણે કેવી રીતે જાણી શકીએ" (જૂન 2, 1995) 10 મિનિટના હિસ્સામાં અનુવાદ કરો
31. હેમિંગ, "તમે અને તમારું સંશોધન" (6 જૂન, 1995). અનુવાદ: તમે અને તમારું કાર્ય

પુસ્તકના અનુવાદ, લેઆઉટ અને પ્રકાશનમાં કોણ મદદ કરવા માંગે છે - વ્યક્તિગત સંદેશ અથવા ઇમેઇલમાં લખો [ઇમેઇલ સુરક્ષિત]

સોર્સ: www.habr.com