Ռիչարդ Համինգ. Գլուխ 13. Տեղեկատվության տեսություն

Մենք արեցինք դա!

«Այս դասընթացի նպատակն է պատրաստել ձեզ ձեր տեխնիկական ապագայի համար»:

Բարև, Հաբր: Հիշեք հիանալի հոդվածը «Դուք և ձեր աշխատանքը» (+219, 2588 էջանիշ, 429k ընթերցում):

Այսպիսով, Համինգ (այո, այո, ինքնավերահսկում և ինքնաշտկում Համինգի կոդերը) կա մի ամբողջություն книга, գրվել է նրա դասախոսությունների հիման վրա։ Թարգմանում ենք, քանի որ մարդն իր միտքն է ասում։

Սա գիրք է ոչ միայն ՏՏ-ի մասին, այլև գիրք է անհավանական զիլ մարդկանց մտածելակերպի մասին: «Դա պարզապես դրական մտածողության խթան չէ. այն նկարագրում է այն պայմանները, որոնք մեծացնում են մեծ աշխատանք կատարելու հնարավորությունները»։

Շնորհակալություն Անդրեյ Պախոմովին թարգմանության համար։

Տեղեկատվության տեսությունը մշակվել է C. E. Shannon-ի կողմից 1940-ականների վերջին: Bell Labs-ի ղեկավարությունը պնդել է, որ նա այն անվանի «Հաղորդակցության տեսություն», քանի որ... սա շատ ավելի ճշգրիտ անուն է: Հասկանալի պատճառներով «Տեղեկատվության տեսություն» անվանումը շատ ավելի մեծ ազդեցություն ունի հանրության վրա, այդ իսկ պատճառով Շենոնն ընտրեց այն, և դա այն անունն է, որը մեզ հայտնի է մինչ օրս: Անունն ինքնին հուշում է, որ տեսությունը վերաբերում է տեղեկատվությանը, ինչը կարևոր է դարձնում այն, երբ մենք խորանում ենք դեպի տեղեկատվական դարաշրջան: Այս գլխում ես կանդրադառնամ այս տեսությունից մի քանի հիմնական եզրակացությունների, ես կներկայացնեմ ոչ թե խիստ, այլ ինտուիտիվ ապացույցներ այս տեսության առանձին դրույթների վերաբերյալ, որպեսզի հասկանաք, թե իրականում ինչ է «Տեղեկատվության տեսությունը», որտեղ կարող եք կիրառել այն: և որտեղ ոչ:

Նախ՝ ի՞նչ է «տեղեկատվությունը»։ Շենոնը տեղեկատվությունը նույնացնում է անորոշության հետ: Նա ընտրեց իրադարձության հավանականության բացասական լոգարիթմը՝ որպես այն տեղեկատվության քանակական չափում, որը դուք ստանում եք, երբ տեղի է ունենում p հավանականություն ունեցող իրադարձություն։ Օրինակ, եթե ես ձեզ ասեմ, որ Լոս Անջելեսում եղանակը մառախլապատ է, ապա p-ն մոտ է 1-ին, ինչը մեզ իսկապես շատ տեղեկություններ չի տալիս: Բայց եթե ասեմ, որ հունիսին Մոնտերեյում անձրև է գալիս, հաղորդագրության մեջ անորոշություն կլինի և այն ավելի շատ տեղեկատվություն կպարունակի։ Հուսալի իրադարձությունը որևէ տեղեկատվություն չի պարունակում, քանի որ log 1 = 0:

Դիտարկենք սա ավելի մանրամասն: Շենոնը կարծում էր, որ տեղեկատվության քանակական չափումը պետք է լինի p իրադարձության հավանականության շարունակական ֆունկցիա, իսկ անկախ իրադարձությունների համար այն պետք է լինի հավելում. երկու անկախ իրադարձությունների առաջացման արդյունքում ստացված տեղեկատվության քանակը պետք է հավասար լինի համատեղ իրադարձության արդյունքում ստացված տեղեկատվության քանակը. Օրինակ, զառախաղի և մետաղադրամի գլորման արդյունքը սովորաբար դիտվում է որպես անկախ իրադարձություն: Վերը նշվածը թարգմանենք մաթեմատիկայի լեզվով։ Եթե ​​I (p) p հավանականությամբ իրադարձության մեջ պարունակվող տեղեկատվության քանակն է, ապա համատեղ իրադարձության համար, որը բաղկացած է երկու անկախ իրադարձություններից x p1 հավանականությամբ և y p2 հավանականությամբ, մենք ստանում ենք.

(x և y անկախ իրադարձություններ են)

Սա Կոշիի ֆունկցիոնալ հավասարումն է, որը ճիշտ է բոլոր p1-ի և p2-ի համար: Այս ֆունկցիոնալ հավասարումը լուծելու համար ենթադրենք, որ

p1 = p2 = p,

սա տալիս է

Եթե ​​p1 = p2 և p2 = p, ապա

և այլն: Ընդլայնելով այս գործընթացը՝ օգտագործելով էքսպոնենցիալների ստանդարտ մեթոդը, բոլոր ռացիոնալ թվերի համար m/n հետևյալը ճիշտ է.

Տեղեկատվական չափման ենթադրյալ շարունակականությունից հետևում է, որ լոգարիթմական ֆունկցիան Կոշիի ֆունկցիոնալ հավասարման միակ շարունակական լուծումն է։

Տեղեկատվության տեսության մեջ սովորական է լոգարիթմի հիմքը ընդունել 2, ուստի երկուական ընտրությունը պարունակում է ճշգրիտ 1 բիթ տեղեկատվություն: Հետևաբար, տեղեկատվությունը չափվում է բանաձևով

Եկեք դադար տանք և հասկանանք, թե ինչ եղավ վերևում։ Նախ, մենք չենք սահմանել «տեղեկատվություն» հասկացությունը, մենք պարզապես սահմանել ենք դրա քանակական չափման բանաձևը։

Երկրորդ, այս միջոցը ենթակա է անորոշության, և թեև այն ողջամտորեն հարմար է մեքենաների համար, օրինակ՝ հեռախոսային համակարգերի, ռադիոյի, հեռուստատեսության, համակարգիչների և այլնի համար, այն չի արտացոլում մարդկանց նորմալ վերաբերմունքը տեղեկատվության նկատմամբ:

Երրորդ, սա հարաբերական չափանիշ է, կախված է ձեր գիտելիքների ներկա վիճակից: Եթե ​​նայեք «պատահական թվերի» հոսքին պատահական թվերի գեներատորից, դուք ենթադրում եք, որ յուրաքանչյուր հաջորդ թիվ անորոշ է, բայց եթե գիտեք «պատահական թվերի» հաշվարկման բանաձևը, հաջորդ թիվը հայտնի կլինի և, հետևաբար, չի ճանաչվի: պարունակում է տեղեկատվություն.

Այսպիսով, Շենոնի կողմից տեղեկատվության սահմանումը շատ դեպքերում տեղին է մեքենաների համար, բայց կարծես թե չի համապատասխանում բառի մարդկային ըմբռնմանը: Այս պատճառով է, որ «Տեղեկատվության տեսությունը» պետք է կոչվեր «Հաղորդակցության տեսություն»։ Այնուամենայնիվ, շատ ուշ է փոխել սահմանումները (որոնք տեսությանը տվեցին իր նախնական ժողովրդականությունը, և որոնք դեռ ստիպում են մարդկանց մտածել, որ այս տեսությունը առնչվում է «տեղեկատվության» հետ), ուստի մենք պետք է ապրենք դրանցով, բայց միևնույն ժամանակ դուք պետք է. հստակ հասկանալ, թե որքան հեռու է Շենոնի տեղեկատվության սահմանումը դրա ընդհանուր օգտագործվող իմաստից: Շենոնի տեղեկատվությունը վերաբերում է բոլորովին այլ բանի, այն է՝ անորոշությանը:

Ահա ինչ-որ բան մտածելու մասին, երբ առաջարկում եք որևէ տերմինաբանություն: Ինչպե՞ս է առաջարկվող սահմանումը, ինչպիսին է Շենոնի տեղեկատվության սահմանումը, համապատասխանում ձեր սկզբնական գաղափարին և որքանո՞վ է այն տարբեր: Գրեթե չկա որևէ տերմին, որը ճշգրտորեն արտացոլի հայեցակարգի վերաբերյալ ձեր նախկին տեսլականը, բայց, ի վերջո, օգտագործված տերմինաբանությունն է, որն արտացոլում է հայեցակարգի իմաստը, ուստի հստակ սահմանումների միջոցով ինչ-որ բան պաշտոնականացնելը միշտ որոշակի աղմուկ է առաջացնում:

Դիտարկենք մի համակարգ, որի այբուբենը բաղկացած է pi հավանականություններով q նշաններից: Այս դեպքում տեղեկատվության միջին քանակը համակարգում (դրա ակնկալվող արժեքը) հավասար է.

Սա կոչվում է հավանականությունների բաշխմամբ համակարգի էնտրոպիա {pi}: Մենք օգտագործում ենք «էնտրոպիա» տերմինը, քանի որ նույն մաթեմատիկական ձևը հայտնվում է թերմոդինամիկայի և վիճակագրական մեխանիկայի մեջ։ Ահա թե ինչու «էնտրոպիա» տերմինն իր շուրջ ստեղծում է որոշակի կարևոր աուրա, որն ի վերջո արդարացված չէ։ Նշման նույն մաթեմատիկական ձևը չի ենթադրում խորհրդանիշների նույն մեկնաբանությունը:

Կոդավորման տեսության մեջ մեծ դեր է խաղում հավանականությունների բաշխման էնտրոպիան: Գիբսի անհավասարությունը երկու տարբեր հավանականության բաշխումների pi և qi-ն այս տեսության կարևոր հետևանքներից մեկն է: Այսպիսով, մենք պետք է ապացուցենք դա

Ապացույցը հիմնված է ակնհայտ գրաֆիկի վրա, Նկ. 13.I, որը ցույց է տալիս, որ

և հավասարություն է ձեռք բերվում միայն այն դեպքում, երբ x = 1: Եկեք ձախից կիրառենք անհավասարությունը գումարի յուրաքանչյուր անդամի վրա.

Եթե ​​կապի համակարգի այբուբենը բաղկացած է q սիմվոլներից, ապա հաշվի առնելով յուրաքանչյուր նշանի փոխանցման հավանականությունը qi = 1/q և փոխարինելով q, մենք ստանում ենք Գիբսի անհավասարությունից.

Նկար 13.I

Սա նշանակում է, որ եթե բոլոր q նշանները փոխանցելու հավանականությունը նույնն է և հավասար է - 1 / q-ի, ապա առավելագույն էնտրոպիան հավասար է ln q-ի, հակառակ դեպքում անհավասարությունը պահպանվում է:

Եզակի ապակոդավորվող կոդի դեպքում մենք ունենք Kraft-ի անհավասարություն

Հիմա եթե սահմանենք կեղծ հավանականություններ

որտեղ իհարկե = 1, որը բխում է Գիբսի անհավասարությունից,

և կիրառենք մի փոքր հանրահաշիվ (հիշեք, որ K ≤ 1, որպեսզի մենք կարողանանք թողնել լոգարիթմական անդամը և, հնարավոր է, ավելի ուշ ուժեղացնենք անհավասարությունը), մենք ստանում ենք.

որտեղ L-ը ծածկագրի միջին երկարությունն է:

Այսպիսով, էնտրոպիան նվազագույն սահմանն է ցանկացած նիշ առ խորհրդանիշ կոդի համար, որի միջին երկարությունը L է: Սա Շենոնի թեորեմն է առանց միջամտության ալիքի:

Այժմ դիտարկենք կապի համակարգերի սահմանափակումների մասին հիմնական թեորեմը, որոնցում տեղեկատվությունը փոխանցվում է որպես անկախ բիթերի հոսք և առկա է աղմուկ: Հասկանալի է, որ մեկ բիտի ճիշտ փոխանցման հավանականությունը P > 1/2 է, և հավանականությունը, որ հաղորդման ընթացքում բիթային արժեքը կշրջվի (սխալ կլինի) հավասար է Q = 1 - P: Հարմարության համար մենք ենթադրենք, որ սխալներն անկախ են, և յուրաքանչյուր ուղարկված բիթում սխալի հավանականությունը նույնն է, այսինքն՝ կապի ալիքում կա «սպիտակ աղմուկ»:

Մեկ հաղորդագրության մեջ կոդավորված n բիթերի երկար հոսքը մեկ բիթային կոդի n - ծավալային ընդլայնումն է: n-ի արժեքը կորոշենք ավելի ուշ։ Դիտարկենք n-բիթներից բաղկացած հաղորդագրությունը որպես կետ n-չափ տարածության մեջ: Քանի որ մենք ունենք n-չափ տարածություն, և պարզության համար մենք կենթադրենք, որ յուրաքանչյուր հաղորդագրության առաջացման նույն հավանականությունը կա, կան M հնարավոր հաղորդագրություններ (M-ն նույնպես կսահմանվի ավելի ուշ), հետևաբար ցանկացած ուղարկված հաղորդագրության հավանականությունը մեծ է.

(ուղարկող)
Ժամանակացույց 13.II

Հաջորդը, հաշվի առեք ալիքի հզորության գաղափարը: Առանց մանրամասների մեջ մտնելու, ալիքի հզորությունը սահմանվում է որպես տեղեկատվության առավելագույն քանակ, որը կարող է հուսալիորեն փոխանցվել կապի ալիքով, հաշվի առնելով ամենաարդյունավետ կոդավորման օգտագործումը: Չկա որևէ փաստարկ, որ ավելի շատ տեղեկատվություն կարող է փոխանցվել կապի ալիքով, քան դրա հնարավորությունը: Սա կարելի է ապացուցել երկուական սիմետրիկ ալիքի համար (որը մենք օգտագործում ենք մեր դեպքում): Ալիքի հզորությունը, բիթ ուղարկելիս, նշվում է որպես

որտեղ, ինչպես նախկինում, P-ն ուղարկված բիթում սխալ չլինելու հավանականությունն է: n անկախ բիթ ուղարկելիս ալիքի հզորությունը տրվում է

Եթե ​​մենք մոտ ենք ալիքի հզորությանը, ապա մենք պետք է ուղարկենք գրեթե այս քանակությամբ տեղեկատվություն յուրաքանչյուր սիմվոլի համար ai, i = 1, ..., M: Հաշվի առնելով, որ յուրաքանչյուր սիմվոլի առաջացման հավանականությունը 1 / M է, մենք ստանում ենք

երբ մենք ուղարկում ենք M նույնքան հավանական հաղորդագրություն ai, մենք ունենք

Երբ ուղարկվում է n բիթ, մենք ակնկալում ենք, որ nQ սխալներ տեղի կունենան: Գործնականում n-բիթներից բաղկացած հաղորդագրության համար ստացված հաղորդագրության մեջ կունենանք մոտավորապես nQ սխալներ։ Մեծ n-ի համար հարաբերական տատանումներ (տարբերակ = բաշխման լայնություն, )
Սխալների քանակի բաշխումը գնալով կսահմանափակվի, քանի որ n-ն մեծանում է:

Այսպիսով, հաղորդիչի կողմից ես վերցնում եմ ai հաղորդագրությունը, որպեսզի ուղարկեմ և դրա շուրջը շառավղով գունդ գծեմ

որը փոքր-ինչ ավելի մեծ է e2-ին հավասար քանակով, քան Q սխալների ակնկալվող թիվը (Նկար 13.II): Եթե ​​n-ը բավականաչափ մեծ է, ապա կա կամայականորեն փոքր հավանականություն, որ հաղորդագրության կետ bj հայտնվի ստացողի կողմից, որը տարածվում է այս ոլորտից այն կողմ: Եկեք ուրվագծենք իրավիճակը, ինչպես ես տեսնում եմ այն ​​հաղորդիչի տեսանկյունից. մենք ունենք ցանկացած շառավիղ փոխանցված հաղորդագրությունից ai-ից մինչև ստացված հաղորդագրություն bj՝ սխալի հավանականությամբ, որը հավասար է (կամ գրեթե հավասար) նորմալ բաշխմանը, հասնելով առավելագույնի: nQ-ում: Ցանկացած e2-ի համար կա n այնքան մեծ, որ ստացված bj կետի իմ ոլորտից դուրս լինելու հավանականությունը այնքան փոքր է, որքան ցանկանում եք:

Հիմա եկեք նույն իրավիճակին նայենք ձեր կողմից (նկ. 13.III): Ստացողի կողմից ստացված bj կետի շուրջը նույն r շառավղով մի գնդիկ կա n-չափ տարածության մեջ, այնպիսին, որ եթե ստացված bj հաղորդագրությունը գտնվում է իմ ոլորտի ներսում, ապա իմ կողմից ուղարկված ai հաղորդագրությունը գտնվում է ձեր ներսում: ոլորտը։

Ինչպե՞ս կարող է սխալ առաջանալ: Սխալը կարող է առաջանալ ստորև բերված աղյուսակում նկարագրված դեպքերում.

Նկար 13.III

Այստեղ մենք տեսնում ենք, որ եթե ստացված կետի շուրջ կառուցված ոլորտում կա առնվազն ևս մեկ կետ, որը համապատասխանում է հնարավոր ուղարկված չկոդավորված հաղորդագրությանը, ապա փոխանցման ժամանակ սխալ է տեղի ունեցել, քանի որ դուք չեք կարող որոշել, թե այս հաղորդագրություններից որն է փոխանցվել: Ուղարկված հաղորդագրությունն առանց սխալների է միայն այն դեպքում, եթե դրան համապատասխան կետը գտնվում է ոլորտում, և տվյալ կոդում հնարավոր չեն այլ կետեր, որոնք գտնվում են նույն ոլորտում։

Մենք ունենք Pe-ի սխալի հավանականության մաթեմատիկական հավասարում, եթե նա ուղարկվել է հաղորդագրություն

Երկրորդ անդամում կարող ենք դուրս նետել առաջին գործոնը՝ այն ընդունելով որպես 1։ Այսպիսով, մենք ստանում ենք անհավասարությունը

Ակնհայտ է, որ

հետևաբար

կրկին դիմել աջ կողմում գտնվող վերջին ժամկետին

Հաշվի առնելով n-ը բավականաչափ մեծ՝ առաջին անդամը կարելի է ընդունել այնքան փոքր, որքան ցանկանում եք, ասենք՝ d-ից պակաս: Ուստի մենք ունենք

Հիմա եկեք տեսնենք, թե ինչպես կարող ենք կառուցել մի պարզ փոխարինման կոդ՝ n բիթից բաղկացած M հաղորդագրությունները կոդավորելու համար: Չունենալով պատկերացում, թե ինչպես կարելի է ճիշտ կառուցել ծածկագիրը (սխալները շտկող կոդերը դեռ չեն հորինվել), Շենոնն ընտրեց պատահական կոդավորումը։ Թեքեք մետաղադրամ հաղորդագրության n բիթներից յուրաքանչյուրի համար և կրկնեք գործընթացը M հաղորդագրությունների համար: Ընդհանուր առմամբ, nM մետաղադրամի շրջում է պետք, ուստի դա հնարավոր է

կոդերի բառարաններ, որոնք ունեն նույն հավանականությունը ½nM: Անշուշտ, ծածկագրերի ստեղծման պատահական գործընթացը նշանակում է, որ կա կրկնօրինակների, ինչպես նաև կոդային կետերի հավանականություն, որոնք մոտ կլինեն միմյանց և, հետևաբար, հավանական սխալների աղբյուր կլինեն: Պետք է ապացուցել, որ եթե դա տեղի չի ունենում ցանկացած փոքր ընտրված սխալի մակարդակից ավելի մեծ հավանականությամբ, ապա տրված n-ը բավականաչափ մեծ է:
Կարևոր կետն այն է, որ Շենոնը միջին սխալ է հավաքել բոլոր հնարավոր կոդագրքերում՝ գտնելու միջին սխալը: Մենք կօգտագործենք Av[.] նշանը՝ բոլոր հնարավոր պատահական ծածկագրերի հավաքածուի միջին արժեքը նշելու համար: d հաստատունի վրա միջինացնելը, իհարկե, տալիս է հաստատուն, քանի որ միջինացման համար յուրաքանչյուր անդամ նույնն է, ինչ գումարի յուրաքանչյուր անդամ,

որը կարող է ավելացվել (M–1 գնում է M)

Ցանկացած հաղորդագրության համար, երբ միջինը հաշվարկվում է բոլոր կոդերի գրքում, կոդավորումն անցնում է բոլոր հնարավոր արժեքներով, ուստի միջին հավանականությունը, որ կետը գտնվում է ոլորտում, ոլորտի ծավալի հարաբերակցությունն է տարածության ընդհանուր ծավալին: Գնդի ծավալն է

որտեղ s=Q+e2 <1/2 և ns-ը պետք է լինի ամբողջ թիվ:

Աջ կողմի վերջին տերմինը ամենամեծն է այս գումարով: Նախ, եկեք գնահատենք դրա արժեքը՝ օգտագործելով Stirling բանաձևը գործոնների համար: Այնուհետև մենք կդիտարկենք դիմացի տերմինի նվազման գործակիցը, նկատենք, որ այս գործակիցը մեծանում է, երբ մենք շարժվում ենք դեպի ձախ, և այսպես, մենք կարող ենք. (1) սահմանափակել գումարի արժեքը երկրաչափական առաջընթացի գումարով. այս սկզբնական գործակիցը, (2) ընդլայնում է երկրաչափական առաջընթացը ns անդամներից մինչև անվերջ թվով անդամներ, (3) հաշվարկում է անսահման երկրաչափական պրոգրեսիայի գումարը (ստանդարտ հանրահաշիվ, ոչ մի էական բան) և վերջապես ստանում սահմանափակող արժեքը (բավականին մեծի համար): n):

Ուշադրություն դարձրեք, թե ինչպես է H(s) էնտրոպիան հայտնվել երկանդամ ինքնության մեջ: Նկատի ունեցեք, որ Taylor շարքի ընդլայնումը H(s)=H(Q+e2) տալիս է գնահատական, որը ստացվել է հաշվի առնելով միայն առաջին ածանցյալը և անտեսելով բոլոր մյուսները: Հիմա եկեք միասին հավաքենք վերջնական արտահայտությունը.

որտեղ

Մեզ մնում է միայն ընտրել e2 այնպես, որ e3 < e1, ապա վերջին անդամը կամայականորեն փոքր կլինի, քանի դեռ n-ը բավական մեծ է: Հետևաբար, միջին PE սխալը կարելի է ստանալ այնքան փոքր, որքան ցանկանում եք, եթե ալիքի հզորությունը կամայականորեն մոտ է C-ին:
Եթե ​​բոլոր կոդերի միջինն ունի բավական փոքր սխալ, ապա առնվազն մեկ կոդը պետք է համապատասխան լինի, հետևաբար կա առնվազն մեկ հարմար կոդավորման համակարգ: Սա Շենոնի ստացած կարևոր արդյունքն է՝ «Շենոնի թեորեմը աղմկոտ ալիքի համար», թեև պետք է նշել, որ նա դա ապացուցեց շատ ավելի ընդհանուր դեպքի համար, քան իմ օգտագործած պարզ երկուական սիմետրիկ ալիքի համար։ Ընդհանուր դեպքի համար մաթեմատիկական հաշվարկները շատ ավելի բարդ են, բայց գաղափարներն այնքան էլ տարբեր չեն, ուստի շատ հաճախ, օգտագործելով կոնկրետ դեպքի օրինակը, կարող ես բացահայտել թեորեմի իրական իմաստը:

Արդյունքը քննադատենք. Մենք բազմիցս կրկնել ենք. «Բավականաչափ մեծ n-ի համար»: Բայց որքան մեծ է n-ը: Շատ, շատ մեծ, եթե իսկապես ցանկանում եք մոտ լինել ալիքի հզորությանը և վստահ լինել տվյալների ճիշտ փոխանցման մեջ: Իրականում այնքան մեծ է, որ դուք ստիպված կլինեք շատ երկար սպասել, որպեսզի կուտակեք բավականաչափ բիթերի հաղորդագրություն՝ այն հետագայում կոդավորելու համար: Այս դեպքում պատահական կոդերի բառարանի չափը պարզապես հսկայական կլինի (ի վերջո, նման բառարանը չի կարող ներկայացվել ավելի կարճ ձևով, քան բոլոր Mn բիթերի ամբողջական ցանկը, չնայած այն հանգամանքին, որ n-ը և M-ն շատ մեծ են):

Սխալները շտկող կոդերը խուսափում են սպասել շատ երկար հաղորդագրության և այնուհետև կոդավորել և վերծանել այն շատ մեծ ծածկագրերի գրքերի միջոցով, քանի որ իրենք խուսափում են ծածկագրերից և փոխարենը օգտագործում են սովորական հաշվարկներ: Պարզ տեսության մեջ նման կոդերը հակված են կորցնելու ալիքի թողունակությանը մոտենալու ունակությունը և դեռևս պահպանում են սխալի ցածր մակարդակ, բայց երբ կոդը ուղղում է մեծ թվով սխալներ, դրանք լավ են գործում: Այլ կերպ ասած, եթե դուք հատկացնում եք ալիքի որոշակի հզորություն սխալների ուղղման համար, ապա դուք պետք է օգտագործեք սխալի ուղղման հնարավորությունը շատ ժամանակ, այսինքն՝ յուրաքանչյուր ուղարկված հաղորդագրության մեջ պետք է ուղղվեն մեծ թվով սխալներ, հակառակ դեպքում դուք վատնում եք այս հզորությունը:

Միևնույն ժամանակ, վերևում ապացուցված թեորեմը դեռ անիմաստ չէ։ Այն ցույց է տալիս, որ արդյունավետ փոխանցման համակարգերը պետք է օգտագործեն խելացի կոդավորման սխեմաներ շատ երկար բիթային տողերի համար: Օրինակ՝ արբանյակները, որոնք թռել են արտաքին մոլորակներից այն կողմ. Երբ նրանք հեռանում են Երկրից և Արեգակից, նրանք ստիպված են լինում ուղղել տվյալների բլոկի ավելի ու ավելի շատ սխալներ. որոշ արբանյակներ օգտագործում են արևային մարտկոցներ, որոնք ապահովում են մոտ 5 Վտ, մյուսներն օգտագործում են միջուկային էներգիայի աղբյուրներ, որոնք ապահովում են մոտավորապես նույն հզորությունը: Էլեկտրաէներգիայի մատակարարման ցածր հզորությունը, հաղորդիչի ափսեների փոքր չափը և Երկրի վրա ստացողի ափսեների սահմանափակ չափը, ահռելի հեռավորությունը, որով ազդանշանը պետք է անցնի. արդյունավետ հաղորդակցման համակարգ.

Վերադառնանք n-չափ տարածությանը, որն օգտագործեցինք վերը նշված ապացույցում: Քննարկելիս մենք ցույց տվեցինք, որ ոլորտի գրեթե ողջ ծավալը կենտրոնացած է արտաքին մակերեսի մոտ, հետևաբար, գրեթե վստահ է, որ ուղարկված ազդանշանը կգտնվի ստացված ազդանշանի շուրջ կառուցված ոլորտի մակերևույթի մոտ, նույնիսկ համեմատաբար նման ոլորտի փոքր շառավիղը։ Ուստի զարմանալի չէ, որ ստացված ազդանշանը կամայականորեն մեծ թվով սխալներ՝ nQ շտկելուց հետո պարզվում է, որ կամայականորեն մոտ է առանց սխալների ազդանշանին։ Կապի հզորությունը, որը մենք ավելի վաղ քննարկեցինք, այս երևույթը հասկանալու բանալին է: Նկատի ունեցեք, որ Համինգի կոդերի սխալ ուղղման համար կառուցված նմանատիպ ոլորտները չեն համընկնում միմյանց: Գրեթե ուղղանկյուն չափերի մեծ թիվը n-չափ տարածության մեջ ցույց է տալիս, թե ինչու մենք կարող ենք տեղավորել M գնդերը տարածության մեջ՝ փոքր համընկնմամբ: Եթե ​​թույլ տանք փոքր, կամայականորեն փոքր համընկնումը, որը կարող է հանգեցնել միայն փոքր թվով սխալների վերծանման ժամանակ, մենք կարող ենք ձեռք բերել գնդերի խիտ տեղադրություն տարածության մեջ։ Համինգը երաշխավորում էր սխալի ուղղման որոշակի մակարդակ, Շենոնը՝ սխալի ցածր հավանականություն, բայց միևնույն ժամանակ փաստացի թողունակությունը կամայականորեն մոտ պահելով կապի ալիքի հզորությանը, ինչը Համինգի կոդերը չեն կարող անել:

Տեղեկատվական տեսությունը մեզ չի ասում, թե ինչպես նախագծել արդյունավետ համակարգ, բայց այն ցույց է տալիս ճանապարհը դեպի արդյունավետ հաղորդակցման համակարգեր: Այն արժեքավոր գործիք է մեքենա-մեքենա կապի համակարգեր կառուցելու համար, սակայն, ինչպես նշվեց ավելի վաղ, այն քիչ առնչություն ունի այն բանի հետ, թե ինչպես են մարդիկ շփվում միմյանց հետ: Թե որքանով է կենսաբանական ժառանգությունը նման տեխնիկական հաղորդակցման համակարգերին, ուղղակի անհայտ է, ուստի ներկայումս պարզ չէ, թե ինչպես է տեղեկատվական տեսությունը կիրառվում գեների վրա: Մենք այլ ելք չունենք, քան փորձել, և եթե հաջողությունը մեզ ցույց տա այս երևույթի մեքենայական բնույթը, ապա ձախողումը ցույց կտա տեղեկատվության բնույթի այլ կարևոր կողմերը:

Շատ չշեղվենք. Մենք տեսանք, որ բոլոր բնօրինակ սահմանումները, այս կամ այն ​​չափով, պետք է արտահայտեն մեր սկզբնական համոզմունքների էությունը, բայց դրանք բնութագրվում են որոշակի խեղաթյուրմամբ և, հետևաբար, կիրառելի չեն: Ավանդաբար ընդունված է, որ, ի վերջո, մեր օգտագործած սահմանումն իրականում սահմանում է էությունը. բայց, սա միայն մեզ ասում է, թե ինչպես պետք է մշակել իրերը և ոչ մի կերպ մեզ որևէ իմաստ չի հաղորդում: Պոստուլյացիոն մոտեցումը, որն այդքան մեծապես նախընտրելի է մաթեմատիկական շրջանակներում, գործնականում շատ ցանկալի բան է թողնում:

Այժմ մենք կանդրադառնանք IQ թեստերի օրինակին, որտեղ սահմանումը այնքան շրջանաձև է, որքան ցանկանում եք, և արդյունքում՝ ապակողմնորոշիչ: Ստեղծվում է թեստ, որը պետք է չափի ինտելեկտը։ Այնուհետև այն վերանայվում է՝ հնարավորինս հետևողական դարձնելու համար, այնուհետև այն հրապարակվում և պարզապես չափորոշվում է այնպես, որ չափված «հետախուզությունը» պարզվի, որ նորմալ բաշխված է (իհարկե տրամաչափման կորի վրա): Բոլոր սահմանումները պետք է վերաստուգվեն ոչ միայն այն ժամանակ, երբ դրանք առաջին անգամ առաջարկվում են, այլ նաև շատ ավելի ուշ, երբ դրանք օգտագործվում են արված եզրակացություններում: Որքանո՞վ են սահմանային սահմանները համապատասխան լուծվող խնդրին: Որքա՞ն հաճախ են մեկ պարամետրում տրված սահմանումները կիրառվում միանգամայն տարբեր պարամետրերում: Սա տեղի է ունենում բավականին հաճախ! Հումանիտար գիտություններում, որոնց կյանքում անխուսափելիորեն կհանդիպեք, դա ավելի հաճախ է պատահում։

Այսպիսով, տեղեկատվության տեսության այս ներկայացման նպատակներից մեկը, ի լրումն դրա օգտակարությունը ցույց տալու, նախազգուշացնելն էր ձեզ այս վտանգի մասին կամ հստակ ցույց տալ, թե ինչպես օգտագործել այն ցանկալի արդյունք ստանալու համար: Վաղուց նշվել է, որ նախնական սահմանումները որոշում են այն, ինչ դուք գտնում եք ի վերջո, շատ ավելի մեծ չափով, քան թվում է: Նախնական սահմանումները ձեզանից մեծ ուշադրություն են պահանջում ոչ միայն ցանկացած նոր իրավիճակում, այլ նաև այն ոլորտներում, որոնց հետ երկար ժամանակ աշխատել եք։ Սա թույլ կտա հասկանալ, թե որքանով են ստացված արդյունքները տավտոլոգիա և ոչ օգտակար բան:

Էդինգթոնի հայտնի պատմությունը պատմում է այն մարդկանց մասին, ովքեր ցանցով ձուկ են բռնել ծովում։ Իրենց որսած ձկների չափն ուսումնասիրելուց հետո նրանք որոշեցին ծովում հայտնաբերված ձկների նվազագույն չափը: Նրանց եզրակացությունը պայմանավորված էր օգտագործված գործիքով, ոչ թե իրականությամբ:

Շարունակելի…

Ով ցանկանում է օգնել գրքի թարգմանության, դասավորության և հրատարակման հարցում, գրեք անձնական նամակով կամ էլ [էլեկտրոնային փոստով պաշտպանված]

Ի դեպ, մենք սկսել ենք նաև մեկ այլ հետաքրքիր գրքի թարգմանություն. «Երազանքի մեքենա. համակարգչային հեղափոխության պատմությունը»)

Մենք հատկապես փնտրում ենք նրանք, ովքեր կարող են օգնել թարգմանել բոնուսային գլուխ, որը միայն տեսանյութում է, (փոխանցում 10 րոպեով, առաջին 20-ն արդեն վերցված է)

Գրքի բովանդակությունը և թարգմանված գլուխներըՆախաբան

1. Գիտություն և ճարտարագիտություն անելու արվեստի ներածություն. սովորել սովորել (28 մարտի, 1995 թ.) Թարգմանություն՝ Գլուխ 1
2. «Թվային (դիսկրետ) հեղափոխության հիմքերը» (30 մարտի, 1995 թ.) Գլուխ 2. Թվային (դիսկրետ) հեղափոխության հիմունքները
3. «Համակարգիչների պատմություն - սարքավորում» (մարտի 31, 1995 թ.) Գլուխ 3. Համակարգիչների պատմություն - Սարքավորում
4. «Համակարգիչների պատմություն - ծրագրային ապահովում» (ապրիլի 4, 1995 թ.) Գլուխ 4. Համակարգիչների պատմություն - Ծրագրային ապահովում
5. «Համակարգիչների պատմություն - հավելվածներ» (ապրիլի 6, 1995 թ.) Գլուխ 5. Համակարգիչների պատմություն - Գործնական կիրառություններ
6. «Արհեստական ​​ինտելեկտ - Մաս I» (ապրիլի 7, 1995 թ.) Գլուխ 6. Արհեստական ​​բանականություն - 1
7. «Արհեստական ​​ինտելեկտ - Մաս II» (ապրիլի 11, 1995 թ.) Գլուխ 7. Արհեստական ​​բանականություն - II
8. «Արհեստական ​​ինտելեկտ III» (ապրիլի 13, 1995 թ.) Գլուխ 8. Արհեստական ​​ինտելեկտ-III
9. «n-Dimensional Space» (ապրիլի 14, 1995 թ.) Գլուխ 9. N-չափ տարածություն
10. «Կոդավորման տեսություն - տեղեկատվության ներկայացում, մաս I» (ապրիլի 18, 1995 թ.) Գլուխ 10. Կոդավորման տեսություն - Ի
11. «Կոդավորման տեսություն - տեղեկատվության ներկայացում, մաս II» (ապրիլի 20, 1995 թ.) Գլուխ 11. Կոդավորման տեսություն - II
12. «Սխալների ուղղման կոդերը» (ապրիլի 21, 1995 թ.) Գլուխ 12. Սխալների ուղղման ծածկագրեր
13. «Տեղեկատվության տեսություն» (ապրիլի 25, 1995 թ.) Գլուխ 13. Տեղեկատվության տեսություն
14. «Թվային ֆիլտրեր, մաս I» (ապրիլի 27, 1995 թ.) Գլուխ 14. Թվային զտիչներ - 1
15. «Թվային ֆիլտրեր, մաս II» (ապրիլի 28, 1995 թ.) Գլուխ 15. Թվային զտիչներ - 2
16. «Digital Filters, Part III» (մայիսի 2, 1995 թ.) Գլուխ 16. Թվային զտիչներ - 3
17. «Թվային զտիչներ, մաս IV» (մայիսի 4, 1995 թ.) Գլուխ 17. Թվային զտիչներ - IV
18. «Սիմուլյացիա, մաս I» (5 մայիսի, 1995 թ.) Գլուխ 18. Մոդելավորում - Ի
19. «Սիմուլյացիա, մաս II» (մայիսի 9, 1995 թ.) Գլուխ 19. Մոդելավորում - II
20. «Սիմուլյացիա, մաս III» (մայիսի 11, 1995 թ.) Գլուխ 20. Մոդելավորում - III
21. «Fiber Optics» (մայիսի 12, 1995 թ.) Գլուխ 21. Օպտիկամանրաթել
22. «Computer Aided Instruction» (մայիսի 16, 1995 թ.) Գլուխ 22. Համակարգչային օժանդակ հրահանգներ (CAI)
23. «Մաթեմատիկա» (մայիսի 18, 1995 թ.) Գլուխ 23. Մաթեմատիկա
24. «Քվանտային մեխանիկա» (մայիսի 19, 1995 թ.) Գլուխ 24. Քվանտային մեխանիկա
25. «Ստեղծագործություն» (23 մայիսի, 1995 թ.): Թարգմանություն: Գլուխ 25. Ստեղծագործականություն
26. «Փորձագետներ» (25 մայիսի, 1995 թ.) Գլուխ 26. Փորձագետներ
27. «Անհուսալի տվյալներ» (26 մայիսի, 1995 թ.) Գլուխ 27. Անհուսալի տվյալներ
28. «Համակարգերի ճարտարագիտություն» (մայիսի 30, 1995 թ.) Գլուխ 28. Համակարգերի ճարտարագիտություն
29. «Դու ստանում ես այն, ինչ չափում ես» (հունիսի 1, 1995 թ.) Գլուխ 29. Դուք ստանում եք այն, ինչ չափում եք
30. «Ինչպես գիտենք այն, ինչ գիտենք» (Հունիս 2, 1995) թարգմանել 10 րոպեանոց հատվածներով
31. Համինգ, «Դուք և ձեր հետազոտությունը» (6 հունիսի, 1995 թ.): Թարգմանություն՝ Դու և քո աշխատանքը

Ով ցանկանում է օգնել գրքի թարգմանության, դասավորության և հրատարակման հարցում, գրեք անձնական նամակով կամ էլ [էլեկտրոնային փոստով պաշտպանված]

Source: www.habr.com