Ричард Хэмминг: 13-тарау. Ақпарат теориясы

Біз жасадық!

«Бұл курстың мақсаты - сізді техникалық болашағыңызға дайындау».

Ричард Хэмминг: 13-тарау. Ақпарат теориясыСәлем, Хабр. Керемет мақаланы есте сақтаңыз «Сіз және сіздің жұмысыңыз» (+219, 2588 бетбелгі, 429 мың рет оқылды)?

Сонымен Хамминг (иә, иә, өзін-өзі бақылау және өзін-өзі түзету Хамминг кодтары) бүтін бар кітап, оның лекциялары негізінде жазылған. Біз оны аударамыз, өйткені адам өз ойын айтады.

Бұл тек IT туралы ғана емес, керемет керемет адамдардың ойлау стилі туралы кітап. «Бұл жай ғана позитивті ойлауды күшейту емес; ол үлкен жұмыс істеу мүмкіндігін арттыратын жағдайларды сипаттайды».

Андрей Пахомовқа аударма үшін рахмет.

Ақпарат теориясын 1940 жылдардың аяғында С.Э.Шэннон жасаған. Bell Labs басшылығы оны «Коммуникация теориясы» деп атады, өйткені... бұл әлдеқайда дәлірек атау. Белгілі себептерге байланысты «Ақпарат теориясы» атауы жұртшылыққа анағұрлым көбірек әсер етеді, сондықтан Шеннон оны таңдады және бұл бүгінгі күнге дейін бізге белгілі атау. Атаудың өзі теорияның ақпаратпен айналысатынын көрсетеді, бұл біз ақпарат ғасырына тереңдеген сайын маңызды етеді. Бұл тарауда мен осы теорияның бірнеше негізгі қорытындыларына тоқталамын, мен осы теорияның кейбір жеке ережелерінің қатаң емес, керісінше интуитивті дәлелдерін келтіремін, осылайша сіз «Ақпарат теориясының» шын мәнінде не екенін, оны қайда қолдануға болатынын түсінуіңіз керек. және қайда емес.

Ең алдымен, «ақпарат» дегеніміз не? Шеннон ақпаратты белгісіздікпен теңестіреді. Ол p ықтималдығы бар оқиға болған кезде алатын ақпараттың сандық өлшемі ретінде оқиға ықтималдығының теріс логарифмін таңдады. Мысалы, егер мен сізге Лос-Анджелестегі ауа-райы тұман деп айтсам, онда p 1-ге жақын, бұл бізге көп ақпарат бермейді. Бірақ маусым айында Монтерейде жаңбыр жауады деп айтсам, хабарламада белгісіздік болады және ол көбірек ақпаратты қамтиды. Сенімді оқиға ешқандай ақпаратты қамтымайды, себебі журнал 1 = 0.

Мұны толығырақ қарастырайық. Шеннон ақпараттың сандық өлшемі р оқиғасының ықтималдығының үздіксіз функциясы болуы керек деп есептеді, ал тәуелсіз оқиғалар үшін ол аддитивті болуы керек - екі тәуелсіз оқиғаның пайда болуы нәтижесінде алынған ақпарат көлемі тең болуы керек. бірлескен оқиғаның пайда болуы нәтижесінде алынған ақпарат көлемі. Мысалы, сүйек және монета орамының нәтижесі әдетте тәуелсіз оқиғалар ретінде қарастырылады. Жоғарыдағыларды математика тіліне аударайық. Егер I (p) ықтималдығы р оқиғадағы ақпараттың көлемі болса, онда p1 ықтималдығы бар х және p2 ықтималдығы бар у екі тәуелсіз оқиғадан тұратын бірлескен оқиға үшін аламыз.

Ричард Хэмминг: 13-тарау. Ақпарат теориясы
(x және y тәуелсіз оқиғалар)

Бұл барлық p1 және p2 үшін дұрыс Коши функционалдық теңдеуі. Бұл функционалдық теңдеуді шешу үшін, деп есептейік

p1 = p2 = p,

бұл береді

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

Егер p1 = p2 және p2 = p болса, онда

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

және т.б. Көрсеткіштер үшін стандартты әдісті қолдана отырып, бұл процесті кеңейту, барлық рационал сандар m/n үшін келесі дұрыс болады

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

Ақпараттық өлшемнің болжамды үздіксіздігінен логарифмдік функция функционалды Коши теңдеуінің жалғыз үздіксіз шешімі болып табылатыны шығады.

Ақпарат теориясында логарифм негізін 2 деп қабылдау әдеттегідей, сондықтан екілік таңдауда дәл 1 бит ақпарат бар. Сондықтан ақпарат формуламен өлшенеді

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

Жоғарыда не болғанын кідіртіп, түсінейік. Біріншіден, біз «ақпарат» түсінігіне анықтама бермедік, біз жай ғана оның сандық өлшемі формуласын анықтадық.

Екіншіден, бұл шара белгісіздікке ұшырайды және ол машиналарға (мысалы, телефон жүйелері, радио, теледидар, компьютерлер және т.б.) қолайлы болса да, ол адамның ақпаратқа деген қалыпты қатынасын көрсетпейді.

Үшіншіден, бұл салыстырмалы өлшем, ол сіздің біліміңіздің қазіргі жағдайына байланысты. Кездейсоқ сандар генераторынан «кездейсоқ сандар» ағынын қарасаңыз, әрбір келесі сан белгісіз деп есептейсіз, бірақ егер сіз «кездейсоқ сандарды» есептеу формуласын білсеңіз, келесі сан белгілі болады, сондықтан болмайды. ақпаратты қамтиды.

Сонымен, Шеннонның ақпарат анықтамасы көптеген жағдайларда машиналарға сәйкес келеді, бірақ бұл сөз туралы адамның түсінігіне сәйкес келмейтін сияқты. Осы себепті «Ақпарат теориясы» «Коммуникация теориясы» деп аталуы керек еді. Дегенмен, анықтамаларды өзгертуге тым кеш (теорияға өзінің алғашқы танымалдылығын берген және әлі күнге дейін бұл теория «ақпаратпен» айналысады деп ойлайды), сондықтан біз олармен өмір сүруіміз керек, бірақ сонымен бірге сіз Шеннонның ақпарат анықтамасы оның жиі қолданылатын мағынасынан қаншалықты алыс екенін анық түсінеді. Шеннонның ақпараты мүлдем басқа нәрсемен, атап айтқанда белгісіздікпен айналысады.

Кез келген терминологияны ұсынғанда мынаны ойлануға болады. Шеннонның ақпарат анықтамасы сияқты ұсынылған анықтама сіздің бастапқы идеяңызбен қалай сәйкес келеді және ол қаншалықты ерекшеленеді? Тұжырымдама туралы бұрынғы көзқарасыңызды нақты көрсететін термин дерлік жоқ, бірақ сайып келгенде, бұл тұжырымдаманың мағынасын көрсететін қолданылатын терминология, сондықтан нақты анықтамалар арқылы бір нәрсені ресімдеу әрқашан біраз шу шығарады.

Алфавиті pi ықтималдығы бар q таңбаларынан тұратын жүйені қарастырайық. Бұл жағдайда ақпараттың орташа мөлшері жүйеде (оның күтілетін мәні) мынаған тең:

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

Бұл ықтималдық үлестірімі {pi} болатын жүйенің энтропиясы деп аталады. Біз «энтропия» терминін қолданамыз, өйткені бірдей математикалық форма термодинамика мен статистикалық механикада кездеседі. Міне, сондықтан «энтропия» термині өзінің айналасында белгілі бір маңыздылық аурасын жасайды, ол ақыр соңында ақталмайды. Белгілеудің бірдей математикалық түрі таңбалардың бірдей түсіндірілуін білдірмейді!

Ықтималдық үлестірімінің энтропиясы кодтау теориясында үлкен рөл атқарады. Екі түрлі ықтималдық үлестірімінің pi және qi үшін Гиббс теңсіздігі осы теорияның маңызды салдарының бірі болып табылады. Сондықтан біз мұны дәлелдеуіміз керек

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

Дәлелдеу айқын графикке негізделген, сур. 13.I, бұл көрсетеді

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

ал теңдік тек x = 1 болғанда ғана орындалады. Қосындының сол жағынан әрбір мүшесіне теңсіздікті қолданайық:

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

Егер байланыс жүйесінің алфавиті q символдарынан тұрса, онда әрбір символдың берілу ықтималдығын qi = 1/q алып, q-ды ауыстырсақ, Гиббс теңсіздігінен аламыз.

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

13.I сурет

Бұл егер барлық q символдарын беру ықтималдығы бірдей және - 1 / q тең болса, онда максималды энтропия ln q тең болады, әйтпесе теңсіздік орындалады.

Бірегей декодталатын код жағдайында бізде Крафт теңсіздігі бар

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

Енді жалған ықтималдықтарды анықтайтын болсақ

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

әрине қайда Ричард Хэмминг: 13-тарау. Ақпарат теориясы= 1, ол Гиббс теңсіздігінен шығады,

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

және аздап алгебраны қолданамыз (K ≤ 1 екенін есте сақтаңыз, сондықтан біз логарифмдік мүшені тастап, мүмкін кейінірек теңсіздікті күшейте аламыз), біз аламыз

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

мұндағы L – кодтың орташа ұзындығы.

Осылайша, энтропия орташа кодтық сөз ұзындығы L болатын кез келген символдық код үшін ең аз шектелген. Бұл кедергісіз арна үшін Шеннон теоремасы.

Енді ақпарат тәуелсіз разрядтар ағыны ретінде берілетін және шу бар байланыс жүйелерінің шектеулері туралы негізгі теореманы қарастырыңыз. Бір биттің дұрыс берілу ықтималдығы P > 1/2, ал бит мәнінің жіберу кезінде инверсиялану ықтималдығы (қате пайда болады) Q = 1 - P тең екендігі түсініледі. Ыңғайлы болу үшін біз қателер тәуелсіз және әрбір жіберілген бит үшін қатенің ықтималдығы бірдей деп есептейік, яғни байланыс арнасында «ақ шу» бар.

Бір хабарламаға кодталған n биттен тұратын ұзын ағынға ие болу жолы бір разрядты кодтың n - өлшемді кеңейтімі болып табылады. n мәнін кейінірек анықтаймыз. n өлшемді кеңістіктегі нүкте ретінде n-биттерден тұратын хабарламаны қарастырайық. Бізде n-өлшемді кеңістік болғандықтан - және қарапайымдылық үшін біз әрбір хабарламаның пайда болу ықтималдығы бірдей деп есептейміз - M мүмкін хабарламалар бар (M да кейінірек анықталады), сондықтан кез келген жіберілген хабарламаның ықтималдығы

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

Ричард Хэмминг: 13-тарау. Ақпарат теориясы
(жіберуші)
13.II кесте

Әрі қарай, арна сыйымдылығы идеясын қарастырыңыз. Егжей-тегжейлерге тоқталмай-ақ, арна сыйымдылығы ең тиімді кодтауды қолдануды ескере отырып, байланыс арнасы арқылы сенімді түрде берілуі мүмкін ақпараттың максималды көлемі ретінде анықталады. Байланыс арнасы арқылы оның сыйымдылығынан көбірек ақпарат берілуі мүмкін деген дәлел жоқ. Бұл екілік симметриялық арна үшін дәлелденуі мүмкін (біз оны біздің жағдайда қолданамыз). Биттерді жіберу кезінде арнаның сыйымдылығы ретінде көрсетіледі

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

мұндағы, бұрынғыдай, P – кез келген жіберілген битте қатенің болмауы ықтималдығы. n тәуелсіз разрядты жіберу кезінде арнаның сыйымдылығы арқылы беріледі

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

Егер біз арнаның сыйымдылығына жақын болсақ, онда ai, i = 1, ..., M таңбаларының әрқайсысы үшін осынша дерлік ақпарат көлемін жіберуіміз керек. Әрбір ai символының пайда болу ықтималдығы 1 / М екенін ескере отырып, Біз алып жатырмыз

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

біз M бірдей ықтимал хабарларды ai жіберген кезде, бізде бар

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

n бит жіберілгенде, біз nQ қателерінің пайда болуын күтеміз. Практикада n-биттен тұратын хабарлама үшін қабылданған хабарламада шамамен nQ қателері болады. Үлкен n үшін салыстырмалы вариация (вариация = таралу ені, )
қателер санының таралуы n өскен сайын тар болады.

Сонымен, таратқыш жағынан мен радиусы бар шарды жіберу және салу үшін хабарды аламын.

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

бұл Q қателерінің күтілетін санынан e2-ге тең шамаға сәл үлкен, (13.II-сурет). Егер n жеткілікті үлкен болса, онда bj хабарлама нүктесінің осы сферадан тыс орналасқан қабылдағыш жағында пайда болуының ерікті түрде аз ықтималдығы бар. Жағдайды таратқыштың көзқарасы бойынша мен көріп тұрғандай сызып көрейік: бізде жіберілген ai хабарламасынан қабылданған bj хабарына дейінгі қателік ықтималдығы қалыпты үлестірімге тең (немесе дерлік тең) максимумға жететін кез келген радиустар бар. nQ. Кез келген берілген e2 үшін n саны соншалықты үлкен, нәтижесінде bj нүктесінің менің сферадан тыс болу ықтималдығы сіз қалағандай аз.

Енді сол жағдайды өз тарапыңыздан қарастырайық (13.III-сурет). Қабылдаушы жағында n-өлшемді кеңістікте қабылданған bj нүктесінің айналасында r радиусы бірдей S(r) сферасы бар, егер қабылданған bj хабарлама менің сферамның ішінде болса, онда мен жіберген ai хабары сенің ішінде болады. шар.

Қате қалай пайда болуы мүмкін? Қате төмендегі кестеде сипатталған жағдайларда орын алуы мүмкін:

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

13.III сурет

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

Мұнда біз, егер қабылданған нүктенің айналасында салынған сферада ықтимал жіберілген кодталмаған хабарламаға сәйкес кем дегенде тағы бір нүкте бар болса, онда жіберу кезінде қате орын алғанын көреміз, өйткені сіз осы хабарламалардың қайсысы жіберілгенін анықтай алмайсыз. Жіберілген хабарлама қатесіз, егер оған сәйкес нүкте сферада болса және берілген кодта сол сферада басқа нүктелер мүмкін болмаса.

Бізде ai хабары жіберілген болса, Pe қатесінің ықтималдығының математикалық теңдеуі бар

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

Бірінші көбейткішті екінші қосылғышта 1 деп алып тастай аламыз. Осылайша теңсіздікті аламыз

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

Ол анық

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

сондықтан

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

оң жақтағы соңғы мерзімге қайта жүгініңіз

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

n жеткілікті үлкен болса, бірінші мүшені қалауыңызша кіші алуға болады, айталық, кейбір d санынан аз. Сондықтан бізде бар

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

Енді n биттен тұратын М хабарламаны кодтау үшін қарапайым ауыстыру кодын қалай құруға болатынын қарастырайық. Кодты қалай құру керектігін білмей (қателерді түзететін кодтар әлі ойлап табылған жоқ) Шеннон кездейсоқ кодтауды таңдады. Хабардағы әрбір n бит үшін тиынды аударыңыз және M хабарлама үшін процесті қайталаңыз. Жалпы алғанда, nM монета аударымдарын жасау керек, сондықтан бұл мүмкін

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

½nM ықтималдығы бірдей кодтық сөздіктер. Әрине, кодтық кітапты құрудың кездейсоқ процесі қайталану мүмкіндігінің бар екенін білдіреді, сонымен қатар бір-біріне жақын болатын код нүктелері және сондықтан ықтимал қателер көзі болады. Егер бұл кез келген шағын таңдалған қате деңгейінен үлкен ықтималдықпен орындалмаса, берілген n жеткілікті үлкен екенін дәлелдеу керек.
Ең бастысы, Шеннон орташа қатені табу үшін барлық ықтимал код кітаптарын орташа есептеді! Барлық ықтимал кездейсоқ код кітаптарының жиыны бойынша орташа мәнді белгілеу үшін Av[.] таңбасын қолданамыз. Тұрақты d бойынша орташалау, әрине, тұрақты мән береді, өйткені орташалау үшін әрбір мүше қосындыдағы барлық басқа мүшелермен бірдей,

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

ол ұлғайтылуы мүмкін (M–1 М-ге өтеді)

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

Кез келген берілген хабарлама үшін барлық код кітаптары бойынша орташалау кезінде кодтау барлық мүмкін мәндер арқылы өтеді, сондықтан нүктенің сферада болуының орташа ықтималдығы шар көлемінің кеңістіктің жалпы көлеміне қатынасы болып табылады. Шардың көлемі

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

мұндағы s=Q+e2 <1/2 және ns бүтін сан болуы керек.

Оң жақтағы соңғы мүше осы сомадағы ең үлкені. Алдымен факториалдар үшін Стирлинг формуласы арқылы оның мәнін бағалайық. Содан кейін біз оның алдындағы мүшенің кему коэффициентін қарастырамыз, солға жылжыған сайын бұл коэффициент өсетінін ескеріңіз, сондықтан біз: (1) қосындының мәнін геометриялық прогрессияның қосындысымен шектей аламыз. бұл бастапқы коэффициент, (2) геометриялық прогрессияны ns мүшесінен шексіз санына дейін кеңейту, (3) шексіз геометриялық прогрессияның қосындысын есептеу (стандартты алгебра, маңызды ештеңе жоқ) және соңында шекті мәнді алу (жеткілікті үлкен үшін n):

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

Биномдық сәйкестікте H(s) энтропиясының қалай пайда болғанына назар аударыңыз. Тейлор сериясының кеңеюі H(s)=H(Q+e2) тек бірінші туындыны ескере отырып және қалғандарының барлығын елемей алынған бағалауды беретінін ескеріңіз. Енді соңғы өрнекті құрастырайық:

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

қайда

Ричард Хэмминг: 13-тарау. Ақпарат теориясы

Бізге тек e2 < e3 болатындай e1 таңдау керек, содан кейін соңғы мүше ерікті түрде кіші болады, тек n жеткілікті үлкен болғанша. Демек, орташа PE қатесін C-ге ерікті түрде жақын арна сыйымдылығымен қалағандай аз алуға болады.
Егер барлық кодтардың орташа мәні жеткілікті аз қате болса, онда кем дегенде бір код сәйкес болуы керек, демек, кем дегенде бір қолайлы кодтау жүйесі бар. Бұл Шеннон алған маңызды нәтиже – «Шулы арнаға арналған Шеннон теоремасы», дегенмен ол мен пайдаланған қарапайым екілік симметриялық арнаға қарағанда, мұны әлдеқайда жалпы жағдай үшін дәлелдегенін атап өткен жөн. Жалпы жағдай үшін математикалық есептеулер әлдеқайда күрделі, бірақ идеялар соншалықты ерекшеленбейді, сондықтан көбінесе белгілі бір жағдайдың мысалын қолдана отырып, теореманың шынайы мағынасын ашуға болады.

Нәтижені сынға алайық. Біз бірнеше рет қайталадық: «Жеткілікті үлкен n үшін». Бірақ n қанша үлкен? Өте, өте үлкен, егер сіз шынымен де арна сыйымдылығына жақын болғыңыз келсе және деректердің дұрыс тасымалданғанына сенімді болғыңыз келсе! Іс жүзінде соншалықты үлкен, оны кейінірек кодтау үшін жеткілікті биттен тұратын хабарламаны жинақтау үшін өте ұзақ уақыт күтуге тура келеді. Бұл жағдайда кездейсоқ кодтық сөздіктің көлемі жай ғана үлкен болады (ақыр соңында, мұндай сөздік n және M өте үлкен болғанымен, барлық Mn биттерінің толық тізімінен қысқарақ түрде ұсынылмайды)!

Қатені түзететін кодтар өте ұзақ хабарламаны күтуден, содан кейін оны өте үлкен кодтық кітаптар арқылы кодтаудан және декодтаудан аулақ болады, өйткені олар кодтық кітаптардан аулақ болып, оның орнына қарапайым есептеулерді пайдаланады. Қарапайым теорияда мұндай кодтар арна сыйымдылығына жақындау мүмкіндігін жоғалтады және әлі де төмен қателік деңгейін сақтайды, бірақ код көптеген қателерді түзеткенде, олар жақсы жұмыс істейді. Басқаша айтқанда, егер сіз қатені түзету үшін кейбір арна сыйымдылығын бөлсеңіз, онда қатені түзету мүмкіндігін көп жағдайда пайдалануыңыз керек, яғни әрбір жіберілген хабарламада қателердің үлкен саны түзетілуі керек, әйтпесе бұл мүмкіндікті босқа жібересіз.

Сонымен қатар, жоғарыда дәлелденген теорема әлі де мағынасыз емес! Бұл тиімді тарату жүйелері өте ұзын биттік жолдар үшін ақылды кодтау схемаларын қолдануы керек екенін көрсетеді. Мысал ретінде сыртқы планеталардан тыс ұшқан спутниктер; Олар Жер мен Күннен алыстаған сайын деректер блогындағы қателерді көбірек түзетуге мәжбүр болады: кейбір жерсеріктерде шамамен 5 Вт қуат беретін күн батареялары пайдаланылады, басқалары шамамен бірдей қуат беретін ядролық қуат көздерін пайдаланады. Қуат көзінің төмен қуаттылығы, таратқыш ыдыстардың шағын өлшемі және Жердегі қабылдағыш ыдыстардың шектеулі мөлшері, сигнал жүруі керек орасан зор қашықтық - мұның бәрі желіні құру үшін қателерді түзетудің жоғары деңгейі бар кодтарды пайдалануды талап етеді. тиімді коммуникация жүйесі.

Жоғарыдағы дәлелдеуде пайдаланған n өлшемді кеңістікке оралайық. Оны талқылай отырып, біз сфераның бүкіл көлемі дерлік сыртқы бетке жақын шоғырланғанын көрсеттік - осылайша, жіберілген сигнал салыстырмалы түрде болса да, қабылданған сигналдың айналасында салынған сфераның бетіне жақын орналасатыны анық. мұндай сфераның шағын радиусы. Сондықтан қабылданатын сигнал, қателердің ерікті түрде үлкен санын түзеткеннен кейін, nQ қатесіз сигналға ерікті түрде жақын болып шығуы ғажап емес. Біз бұрын талқылаған сілтеме сыйымдылығы бұл құбылысты түсінудің кілті болып табылады. Қателерді түзетуге арналған Хамминг кодтары үшін жасалған ұқсас сфералардың бір-бірімен қабаттаспайтынын ескеріңіз. n-өлшемді кеңістіктегі ортогональды дерлік өлшемдердің көптігі M сфераларын кеңістікте неге аз қабаттасуға болатынын көрсетеді. Егер декодтау кезінде аз ғана қателіктерге әкелетін шағын, ерікті түрде аз қабаттасуға жол берсек, біз кеңістікте шарлардың тығыз орналасуын ала аламыз. Хэмминг қателерді түзетудің белгілі бір деңгейіне кепілдік берді, Шеннон - қате ықтималдығы төмен, бірақ сонымен бірге Хэмминг кодтары жасай алмайтын байланыс арнасының сыйымдылығына ерікті түрде жақын нақты өткізу қабілеттілігін сақтайды.

Ақпарат теориясы тиімді жүйені қалай құрастыру керектігін айтпайды, бірақ ол тиімді коммуникациялық жүйелерге апаратын жолды көрсетеді. Бұл «машинадан машинаға» байланыс жүйелерін құрудың құнды құралы, бірақ жоғарыда айтылғандай, оның адамдардың бір-бірімен қарым-қатынасына қатысы шамалы. Биологиялық тұқым қуалаушылықтың техникалық байланыс жүйелеріне ұқсастығы белгісіз, сондықтан ақпарат теориясының гендерге қалай қолданылатыны қазіргі уақытта белгісіз. Бізде тырысудан басқа амал жоқ және егер табыс бізге бұл құбылыстың машиналық сипатын көрсетсе, онда сәтсіздік ақпарат табиғатының басқа маңызды аспектілерін көрсетеді.

Көп шегініс жасамайық. Біз барлық бастапқы анықтамалар азды-көпті дәрежеде біздің бастапқы нанымдарымыздың мәнін білдіруі керек екенін көрдік, бірақ олар қандай да бір дәрежеде бұрмалануымен сипатталады, сондықтан қолдануға болмайды. Дәстүрлі түрде қабылданған, сайып келгенде, біз қолданатын анықтама іс жүзінде мәнін анықтайды; бірақ, бұл бізге заттарды қалай өңдеу керектігін айтады және бізге ешқандай мағына бермейді. Математикалық ортада қатты ұнайтын постуляциондық көзқарас іс жүзінде көп нәрсені қаламайды.

Енді біз IQ тесттерінің мысалын қарастырамыз, онда анықтама сіз қалағандай дөңгелек және нәтижесінде жаңылыстырады. Интеллектті өлшеуге арналған тест жасалады. Содан кейін оны мүмкіндігінше дәйекті ету үшін қайта қаралады, содан кейін ол жарияланады және өлшенген «интеллект» қалыпты түрде таралатын (әрине, калибрлеу қисығы бойынша) болатындай калибрленеді. Барлық анықтамалар алғаш ұсынылған кезде ғана емес, сонымен бірге олар жасалған қорытындыларда пайдаланылған кезде де қайта тексерілуі керек. Шешілетін мәселеге анықтамалық шекаралар қаншалықты сәйкес келеді? Бір параметрде берілген анықтамалар әртүрлі параметрлерде қаншалықты жиі қолданылады? Бұл өте жиі болады! Өміріңізде еріксіз кездесетін гуманитарлық ғылымдарда бұл жиі кездеседі.

Сонымен, ақпарат теориясының бұл тұсаукесерінің мақсатының бірі оның пайдалылығын көрсетумен қатар, сізді осы қауіп туралы ескерту немесе қажетті нәтижеге жету үшін оны қалай пайдалану керектігін көрсету болды. Бастапқы анықтамалар сіз ойлағаннан әлдеқайда көп дәрежеде соңында не табатыныңызды анықтайтыны бұрыннан белгілі болды. Бастапқы анықтамалар сізден кез келген жаңа жағдайда ғана емес, ұзақ уақыт бойы жұмыс істеп жүрген салаларда да үлкен назар аударуды талап етеді. Бұл алынған нәтижелердің қаншалықты пайдалы нәрсе емес, таутология екенін түсінуге мүмкіндік береді.

Әйгілі Эддингтон оқиғасы теңізде тормен балық аулаған адамдар туралы баяндайды. Олар ауланған балықтардың мөлшерін зерттегеннен кейін, олар теңізде кездесетін балықтың ең аз мөлшерін анықтады! Олардың қорытындысына шындық емес, қолданылған құрал себеп болды.

Жалғасы бар…

Кім кітапты аударуға, орналастыруға және басып шығаруға көмектескісі келеді - жеке хабарламаға немесе электрондық поштаға жазыңыз [электрондық пошта қорғалған]

Айтпақшы, біз тағы бір керемет кітаптың аудармасын бастадық - «Арман машинасы: компьютерлік революцияның тарихы»)

Біз әсіресе іздейміз аударуға көмектесетіндер бонус тарауы, ол тек бейнеде. (10 минутқа трансфер, алғашқы 20 қабылданып қойған)

Кітаптың мазмұны және аударылған тарауларАлғы сөз

  1. Ғылым мен инженерия жасау өнеріне кіріспе: оқуды үйрену (28 наурыз 1995 ж.) Аударма: 1-тарау
  2. «Цифрлық (дискретті) революцияның негіздері» (30 наурыз, 1995 ж.) 2-тарау. Сандық (дискретті) революцияның негіздері
  3. «Компьютер тарихы – аппараттық қамтамасыз ету» (31 наурыз 1995 ж.) 3-тарау. Компьютерлер тарихы – Аппараттық қамтамасыз ету
  4. «Компьютер тарихы – бағдарламалық қамтамасыз ету» (4 сәуір, 1995 ж.) 4-тарау. Компьютерлер тарихы – бағдарламалық қамтамасыз ету
  5. «Компьютер тарихы – қолданбалы бағдарламалар» (6 сәуір 1995 ж.) 5-тарау: Компьютерлер тарихы - практикалық қолданбалар
  6. «Жасанды интеллект - I бөлім» (7 сәуір, 1995 ж.) 6-тарау. Жасанды интеллект - 1
  7. «Жасанды интеллект - II бөлім» (11 сәуір, 1995 ж.) 7 тарау. Жасанды интеллект - II
  8. «Жасанды интеллект III» (13 сәуір, 1995 ж.) 8 тарау. Жасанды интеллект-III
  9. «n-өлшемді кеңістік» (14 сәуір, 1995 ж.) 9-тарау. N-өлшемді кеңістік
  10. «Кодтау теориясы – ақпаратты ұсыну, I бөлім» (18 сәуір, 1995 ж.) 10-тарау. Кодтау теориясы - I
  11. «Кодтау теориясы – ақпаратты ұсыну, II бөлім» (20 сәуір, 1995 ж.) 11-тарау. Кодтау теориясы - II
  12. «Қателерді түзету кодтары» (21 сәуір, 1995 ж.) 12-тарау. Қатені түзету кодтары
  13. «Ақпарат теориясы» (25 сәуір 1995 ж.) 13-тарау. Ақпарат теориясы
  14. «Цифрлық сүзгілер, I бөлім» (27 сәуір, 1995 ж.) 14-тарау. Сандық сүзгілер - 1
  15. «Цифрлық сүзгілер, II бөлім» (28 сәуір, 1995 ж.) 15-тарау. Сандық сүзгілер - 2
  16. «Цифрлық сүзгілер, III бөлім» (2 мамыр, 1995 ж.) 16-тарау. Сандық сүзгілер - 3
  17. «Цифрлық сүзгілер, IV бөлім» (4 мамыр, 1995 ж.) 17-тарау. Сандық сүзгілер - IV
  18. «Симуляция, I бөлім» (5 мамыр, 1995 ж.) 18-тарау. Модельдеу - I
  19. «Симуляция, II бөлім» (9 мамыр, 1995 ж.) 19-тарау. Модельдеу - II
  20. «Симуляция, III бөлім» (11 мамыр, 1995 ж.) 20-тарау. Модельдеу - III
  21. «Талшықты оптика» (12 мамыр, 1995 ж.) 21-тарау. Талшықты оптика
  22. «Компьютерлік оқыту» (16 мамыр 1995 ж.) 22-тарау: Компьютерлік нұсқаулық (CAI)
  23. «Математика» (18 мамыр, 1995 ж.) 23-тарау. Математика
  24. «Кванттық механика» (19 мамыр, 1995 ж.) 24-тарау. Кванттық механика
  25. «Шығармашылық» (23 мамыр, 1995 ж.). Аударма: 25-тарау. Шығармашылық
  26. «Сарапшылар» (25 мамыр, 1995 ж.) 26-тарау. Сарапшылар
  27. «Сенімсіз деректер» (26 мамыр, 1995 ж.) 27-тарау Сенімсіз деректер
  28. «Жүйелік инженерия» (30 мамыр, 1995 ж.) 28-тарау. Жүйелік инженерия
  29. «Сіз нені өлшесеңіз, соны аласыз» (1 маусым, 1995 жыл) 29-тарау: Сіз өлшеген нәрсені аласыз
  30. «Біз білетінімізді қайдан білеміз» (Маусым 2, 1995) 10 минуттық бөліктерге аударыңыз
  31. Хамминг, «Сіз және сіздің зерттеулеріңіз» (6 маусым, 1995 ж.). Аударма: Сіз және сіздің жұмысыңыз

Кім кітапты аударуға, орналастыруға және басып шығаруға көмектескісі келеді - жеке хабарламаға немесе электрондық поштаға жазыңыз [электрондық пошта қорғалған]

Ақпарат көзі: www.habr.com

пікір қалдыру