Richard Hamming: Sura ya 13. Nadharia ya Habari

Tulifanya!

"Madhumuni ya kozi hii ni kukutayarisha kwa mustakabali wako wa kiufundi."

Richard Hamming: Sura ya 13. Nadharia ya HabariHabari, Habr. Kumbuka makala ya kushangaza "Wewe na kazi yako" (+219, 2588 alamisho, 429k kusoma)?

Kwa hivyo Hamming (ndio, ndio, kujifuatilia na kujisahihisha Misimbo ya Hamming) kuna nzima kitabu, iliyoandikwa kulingana na mihadhara yake. Tunaitafsiri, kwa sababu mtu huyo anazungumza mawazo yake.

Hiki ni kitabu sio tu kuhusu IT, ni kitabu kuhusu mtindo wa kufikiri wa watu wazuri sana. "Siyo tu nyongeza ya mawazo chanya; inaeleza hali zinazoongeza nafasi za kufanya kazi kubwa.”

Asante kwa Andrey Pakhomov kwa tafsiri.

Nadharia ya Habari ilianzishwa na C. E. Shannon mwishoni mwa miaka ya 1940. Wasimamizi wa Bell Labs walisisitiza kwamba aite "Nadharia ya Mawasiliano" kwa sababu... hili ni jina sahihi zaidi. Kwa sababu za wazi, jina "Nadharia ya Habari" lina athari kubwa zaidi kwa umma, ndiyo sababu Shannon alilichagua, na ndilo jina tunalojua hadi leo. Jina lenyewe linapendekeza kwamba nadharia inahusika na habari, ambayo inafanya kuwa muhimu tunapoingia zaidi katika enzi ya habari. Katika sura hii, nitagusa hitimisho kuu kadhaa kutoka kwa nadharia hii, nitatoa sio kali, lakini ushahidi wa angavu wa vifungu vya mtu binafsi vya nadharia hii, ili uelewe "Nadharia ya Habari" ni nini, ambapo unaweza kuitumia. na wapi si.

Kwanza kabisa, "habari" ni nini? Shannon anasawazisha habari na kutokuwa na uhakika. Alichagua logariti hasi ya uwezekano wa tukio kama kipimo cha kiasi cha taarifa unayopokea tukio lenye uwezekano wa p kutokea. Kwa mfano, nikikuambia kuwa hali ya hewa huko Los Angeles ni ya ukungu, basi p iko karibu na 1, ambayo haitupi habari nyingi. Lakini nikisema kuwa kunanyesha huko Monterey mnamo Juni, kutakuwa na kutokuwa na uhakika katika ujumbe na itakuwa na habari zaidi. Tukio la kuaminika halina habari yoyote, kwani logi 1 = 0.

Hebu tuangalie hili kwa undani zaidi. Shannon aliamini kuwa kipimo cha habari kinapaswa kuwa kazi inayoendelea ya uwezekano wa tukio p, na kwa matukio huru inapaswa kuwa ya ziada - kiasi cha habari kilichopatikana kutokana na kutokea kwa matukio mawili huru inapaswa kuwa sawa na kiasi cha habari kilichopatikana kutokana na tukio la tukio la pamoja. Kwa mfano, matokeo ya mzunguko wa kete na safu ya sarafu kawaida huchukuliwa kama matukio huru. Wacha tutafsiri haya hapo juu kwa lugha ya hisabati. Ikiwa mimi (p) ni kiasi cha habari iliyomo katika tukio lenye uwezekano p, basi kwa tukio la pamoja linalojumuisha matukio mawili huru x yenye uwezekano p1 na y yenye uwezekano p2 tunapata.

Richard Hamming: Sura ya 13. Nadharia ya Habari
(x na y ni matukio huru)

Huu ndio mlinganyo unaofanya kazi wa Cauchy, kweli kwa p1 na p2 zote. Ili kutatua equation hii ya kufanya kazi, fikiria hivyo

p1 = p2 = p,

hii inatoa

Richard Hamming: Sura ya 13. Nadharia ya Habari

Ikiwa p1 = p2 na p2 = p basi

Richard Hamming: Sura ya 13. Nadharia ya Habari

na kadhalika. Kupanua mchakato huu kwa kutumia mbinu ya kawaida ya vielelezo, kwa nambari zote za kimantiki m/n ifuatayo ni kweli

Richard Hamming: Sura ya 13. Nadharia ya Habari

Kutoka kwa mwendelezo unaodhaniwa wa kipimo cha habari, inafuata kwamba kitendakazi cha logarithmic ndio suluhu pekee inayoendelea kwa mlinganyo wa utendaji wa Cauchy.

Katika nadharia ya habari, ni kawaida kuchukua msingi wa logarithm kuwa 2, kwa hivyo chaguo la binary lina habari 1 haswa. Kwa hivyo, habari hupimwa kwa fomula

Richard Hamming: Sura ya 13. Nadharia ya Habari

Hebu tusimame na kuelewa kilichotokea hapo juu. Kwanza kabisa, hatukufafanua dhana ya "habari"; tulifafanua tu fomula ya kipimo chake cha kiasi.

Pili, kipimo hiki kinakabiliwa na kutokuwa na uhakika, na ingawa kinafaa kwa mashineβ€”kwa mfano, mifumo ya simu, redio, televisheni, kompyuta, n.kβ€”haionyeshi mitazamo ya kawaida ya binadamu kuhusu habari.

Tatu, hii ni kipimo cha jamaa, inategemea hali ya sasa ya ujuzi wako. Ikiwa unatazama mkondo wa "nambari za nasibu" kutoka kwa jenereta ya nambari isiyo ya kawaida, unadhani kuwa kila nambari inayofuata haina uhakika, lakini ikiwa unajua fomula ya kuhesabu "nambari za nasibu", nambari inayofuata itajulikana, na kwa hiyo haitajulikana. vyenye habari.

Kwa hivyo ufafanuzi wa habari wa Shannon unafaa kwa mashine katika hali nyingi, lakini haionekani kuendana na uelewa wa kibinadamu wa neno hilo. Ni kwa sababu hii kwamba "Nadharia ya Habari" ilipaswa kuitwa "Nadharia ya Mawasiliano." Hata hivyo, ni kuchelewa sana kubadili ufafanuzi (ambao uliipa nadharia umaarufu wake wa awali, na ambayo bado inawafanya watu wafikiri kwamba nadharia hii inahusika na "habari"), kwa hiyo tunapaswa kuishi nao, lakini wakati huo huo ni lazima. kuelewa wazi jinsi ufafanuzi wa Shannon wa habari uko mbali na maana yake inayotumiwa sana. Habari ya Shannon inahusika na kitu tofauti kabisa, yaani kutokuwa na uhakika.

Hapa kuna jambo la kufikiria unapopendekeza istilahi yoyote. Ufafanuzi unaopendekezwa, kama vile ufafanuzi wa habari wa Shannon, unakubaliana vipi na wazo lako asili na ni tofauti kwa kiasi gani? Karibu hakuna neno ambalo linaonyesha maono yako ya awali ya dhana, lakini mwishowe, ni istilahi inayotumiwa ambayo inaonyesha maana ya dhana, kwa hivyo kurasimisha kitu kupitia ufafanuzi wazi kila wakati huleta kelele fulani.

Fikiria mfumo ambao alfabeti yake ina alama q na uwezekano wa pi. Kwa kesi hii kiasi cha wastani cha habari katika mfumo (thamani yake inayotarajiwa) ni sawa na:

Richard Hamming: Sura ya 13. Nadharia ya Habari

Hii inaitwa entropy ya mfumo na usambazaji wa uwezekano {pi}. Tunatumia neno "entropy" kwa sababu fomu sawa ya hisabati inaonekana katika thermodynamics na mechanics ya takwimu. Ndiyo maana neno "entropy" linajenga aura fulani ya umuhimu karibu na yenyewe, ambayo hatimaye haifai. Njia ile ile ya kihesabu ya nukuu haimaanishi tafsiri sawa ya alama!

Entropi ya usambazaji wa uwezekano ina jukumu kubwa katika nadharia ya usimbaji. Kutokuwepo kwa usawa kwa Gibbs kwa ugawaji mbili tofauti wa uwezekano pi na qi ni mojawapo ya matokeo muhimu ya nadharia hii. Kwa hiyo lazima tuthibitishe hilo

Richard Hamming: Sura ya 13. Nadharia ya Habari

Uthibitisho unategemea mchoro dhahiri, Mtini. 13.I, ambayo inaonyesha hivyo

Richard Hamming: Sura ya 13. Nadharia ya Habari

na usawa unapatikana tu wakati x = 1. Hebu tutumie ukosefu wa usawa kwa kila neno la jumla kutoka upande wa kushoto:

Richard Hamming: Sura ya 13. Nadharia ya Habari

Ikiwa alfabeti ya mfumo wa mawasiliano inajumuisha alama za q, basi kuchukua uwezekano wa uwasilishaji wa kila ishara qi = 1/q na kubadilisha q, tunapata kutoka kwa usawa wa Gibbs.

Richard Hamming: Sura ya 13. Nadharia ya Habari

Richard Hamming: Sura ya 13. Nadharia ya Habari

Kielelezo 13.I

Hii inamaanisha kwamba ikiwa uwezekano wa kupitisha alama zote za q ni sawa na sawa na - 1 / q, basi entropy ya juu ni sawa na ln q, vinginevyo usawa unashikilia.

Kwa upande wa msimbo unaoweza kusikika kwa njia ya kipekee, tuna ukosefu wa usawa wa Kraft

Richard Hamming: Sura ya 13. Nadharia ya Habari

Sasa ikiwa tutafafanua uwezekano wa pseudo

Richard Hamming: Sura ya 13. Nadharia ya Habari

wapi bila shaka Richard Hamming: Sura ya 13. Nadharia ya Habari= 1, ambayo inafuata kutoka kwa usawa wa Gibbs,

Richard Hamming: Sura ya 13. Nadharia ya Habari

na kutumia aljebra kidogo (kumbuka kwamba K ≀ 1, ili tuweze kuacha neno la logarithmic, na labda kuimarisha ukosefu wa usawa baadaye), tunapata

Richard Hamming: Sura ya 13. Nadharia ya Habari

ambapo L ni urefu wa wastani wa msimbo.

Kwa hivyo, entropy ndio kikomo cha chini zaidi kwa msimbo wowote wa herufi-kwa-alama na wastani wa urefu wa neno la siri L. Hii ni nadharia ya Shannon ya chaneli isiyo na mwingiliano.

Sasa fikiria nadharia kuu juu ya mapungufu ya mifumo ya mawasiliano ambayo habari hupitishwa kama mkondo wa bits huru na kelele iko. Inaeleweka kuwa uwezekano wa maambukizi sahihi ya biti moja ni P> 1/2, na uwezekano kwamba thamani kidogo itageuzwa wakati wa maambukizi (hitilafu itatokea) ni sawa na Q = 1 - P. Kwa urahisi, sisi fikiria kuwa makosa ni huru na uwezekano wa kosa ni sawa kwa kila kitu kilichotumwa - yaani, kuna "kelele nyeupe" kwenye chaneli ya mawasiliano.

Jinsi tulivyo na mtiririko mrefu wa biti za n zilizosimbwa kwa ujumbe mmoja ni kiendelezi cha n - dimensional cha msimbo wa biti moja. Tutaamua thamani ya n baadaye. Fikiria ujumbe unaojumuisha n-bits kama sehemu katika nafasi ya n-dimensional. Kwa kuwa tunayo nafasi ya n-dimensional - na kwa urahisi tutadhani kwamba kila ujumbe una uwezekano sawa wa kutokea - kuna M ujumbe unaowezekana (M pia utafafanuliwa baadaye), kwa hivyo uwezekano wa ujumbe wowote uliotumwa ni.

Richard Hamming: Sura ya 13. Nadharia ya Habari

Richard Hamming: Sura ya 13. Nadharia ya Habari
(mtumaji)
Ratiba 13.II

Ifuatayo, fikiria wazo la uwezo wa kituo. Bila kuingia katika maelezo, uwezo wa kituo hufafanuliwa kama kiwango cha juu zaidi cha habari ambacho kinaweza kupitishwa kwa njia ya kuaminika kupitia chaneli ya mawasiliano, kwa kuzingatia utumiaji wa usimbaji bora zaidi. Hakuna hoja kwamba taarifa zaidi zinaweza kusambazwa kupitia njia ya mawasiliano kuliko uwezo wake. Hii inaweza kuthibitishwa kwa chaneli ya ulinganifu ya binary (ambayo tunatumia kwa upande wetu). Uwezo wa kituo, wakati wa kutuma bits, umebainishwa kama

Richard Hamming: Sura ya 13. Nadharia ya Habari

ambapo, kama hapo awali, P ni uwezekano wa kutokuwa na makosa katika sehemu yoyote iliyotumwa. Wakati wa kutuma n bits huru, uwezo wa kituo hutolewa na

Richard Hamming: Sura ya 13. Nadharia ya Habari

Ikiwa tuko karibu na uwezo wa kituo, basi tunapaswa kutuma karibu kiasi hiki cha habari kwa kila moja ya alama ai, i = 1, ..., M. Kwa kuzingatia kwamba uwezekano wa kutokea kwa kila ishara ai ni 1 / M, tunapata

Richard Hamming: Sura ya 13. Nadharia ya Habari

tunapotuma ujumbe wowote kati ya M unaowezekana kwa usawa ai, tuna

Richard Hamming: Sura ya 13. Nadharia ya Habari

Biti n zinapotumwa, tunatarajia hitilafu za nQ kutokea. Kwa mazoezi, kwa ujumbe unaojumuisha n-bits, tutakuwa na takriban makosa ya nQ katika ujumbe uliopokelewa. Kwa n kubwa, tofauti ya jamaa (tofauti = upana wa usambazaji, )
usambazaji wa idadi ya makosa utazidi kuwa finyu kadri n inavyoongezeka.

Kwa hivyo, kutoka kwa upande wa kisambazaji, mimi huchukua ujumbe ai kutuma na kuchora duara kuzunguka na radius.

Richard Hamming: Sura ya 13. Nadharia ya Habari

ambayo ni kubwa kidogo kwa kiasi sawa na e2 kuliko idadi inayotarajiwa ya makosa Q, (Mchoro 13.II). Ikiwa n ni kubwa vya kutosha, basi kuna uwezekano mdogo kiholela wa sehemu ya ujumbe bj kuonekana kwenye upande wa mpokeaji unaoenea zaidi ya nyanja hii. Wacha tuchore hali kama ninavyoiona kutoka kwa mtazamo wa kisambazaji: tunayo radii yoyote kutoka kwa ujumbe uliopitishwa ai hadi ujumbe uliopokelewa bj na uwezekano wa makosa sawa (au karibu sawa) na usambazaji wa kawaida, kufikia kiwango cha juu. ya nQ. Kwa e2 yoyote iliyotolewa, kuna n kubwa sana kwamba uwezekano wa matokeo bj kuwa nje ya nyanja yangu ni ndogo kama unavyopenda.

Sasa hebu tuangalie hali sawa kutoka kwa upande wako (Mchoro 13.III). Katika upande wa mpokeaji kuna nyanja S(r) ya kipenyo sawa r kuzunguka sehemu iliyopokelewa bj katika nafasi ya n-dimensional, hivi kwamba ikiwa ujumbe uliopokelewa bj uko ndani ya nyanja yangu, basi ujumbe ai uliotumwa na mimi uko ndani yako. tufe.

Hitilafu inawezaje kutokea? Hitilafu inaweza kutokea katika kesi zilizoelezwa kwenye jedwali hapa chini:

Richard Hamming: Sura ya 13. Nadharia ya Habari

Kielelezo 13.III

Richard Hamming: Sura ya 13. Nadharia ya Habari

Hapa tunaona kwamba ikiwa katika nyanja iliyojengwa karibu na hatua iliyopokelewa kuna angalau hatua moja zaidi inayofanana na ujumbe unaowezekana uliotumwa ambao haujatumwa, basi hitilafu ilitokea wakati wa maambukizi, kwani huwezi kuamua ni ipi kati ya ujumbe huu iliyopitishwa. Ujumbe uliotumwa hauna makosa ikiwa tu nukta inayolingana nayo iko kwenye nyanja, na hakuna alama zingine zinazowezekana katika nambari uliyopewa ambayo iko kwenye nyanja sawa.

Tuna mlingano wa hisabati kwa uwezekano wa makosa Pe ikiwa ujumbe ai ulitumwa

Richard Hamming: Sura ya 13. Nadharia ya Habari

Tunaweza kutupa kipengele cha kwanza katika muhula wa pili, tukichukulia kama 1. Hivyo tunapata ukosefu wa usawa

Richard Hamming: Sura ya 13. Nadharia ya Habari

Ni wazi,

Richard Hamming: Sura ya 13. Nadharia ya Habari

Kwa hivyo

Richard Hamming: Sura ya 13. Nadharia ya Habari

omba tena kwa muhula wa mwisho upande wa kulia

Richard Hamming: Sura ya 13. Nadharia ya Habari

Ukichukua n kubwa ya kutosha, muhula wa kwanza unaweza kuchukuliwa kuwa mdogo unavyotaka, sema chini ya nambari fulani d. Kwa hiyo tunayo

Richard Hamming: Sura ya 13. Nadharia ya Habari

Sasa hebu tuangalie jinsi tunavyoweza kuunda msimbo rahisi wa kubadilisha ili kusimba ujumbe wa M unaojumuisha n bits. Kwa kuwa hajui jinsi ya kuunda msimbo haswa (misimbo ya kusahihisha makosa ilikuwa bado haijavumbuliwa), Shannon alichagua usimbaji nasibu. Geuza sarafu kwa kila sehemu ya n katika ujumbe na urudie mchakato wa ujumbe wa M. Kwa jumla, flips za sarafu za nM zinahitajika kufanywa, hivyo inawezekana

Richard Hamming: Sura ya 13. Nadharia ya Habari

Kamusi za msimbo zenye uwezekano sawa Β½nM. Bila shaka, mchakato wa random wa kuunda codebook ina maana kwamba kuna uwezekano wa marudio, pamoja na pointi za kanuni ambazo zitakuwa karibu na kila mmoja na kwa hiyo kuwa chanzo cha makosa yanayowezekana. Mtu lazima athibitishe kwamba ikiwa hii haifanyiki na uwezekano mkubwa zaidi kuliko kiwango chochote cha makosa kilichochaguliwa, basi n iliyopewa ni kubwa ya kutosha.
Jambo muhimu ni kwamba Shannon alikadiria vitabu vya msimbo vyote vinavyowezekana ili kupata kosa la wastani! Tutatumia alama Av[.] kuashiria thamani ya wastani juu ya seti ya vitabu vyote vya msimbo vinavyowezekana bila mpangilio. Wastani juu ya d mara kwa mara, bila shaka, hutoa mara kwa mara, kwani kwa wastani kila neno ni sawa na kila neno lingine katika jumla,

Richard Hamming: Sura ya 13. Nadharia ya Habari

ambayo inaweza kuongezwa (M–1 huenda kwa M)

Richard Hamming: Sura ya 13. Nadharia ya Habari

Kwa ujumbe wowote uliotolewa, wakati wa wastani wa vitabu vyote vya msimbo, usimbaji hupitia thamani zote zinazowezekana, kwa hivyo uwezekano wa wastani wa kwamba nukta iko katika nyanja ni uwiano wa ujazo wa duara kwa jumla ya ujazo wa nafasi. Kiasi cha tufe ni

Richard Hamming: Sura ya 13. Nadharia ya Habari

ambapo s=Q+e2 <1/2 na ns lazima iwe nambari kamili.

Muhula wa mwisho upande wa kulia ndio mkubwa zaidi katika jumla hii. Kwanza, hebu tukadirie thamani yake kwa kutumia fomula ya Stirling ya factorials. Kisha tutaangalia mgawo unaopungua wa neno lililo mbele yake, kumbuka kuwa mgawo huu huongezeka tunapoelekea kushoto, na kwa hivyo tunaweza: (1) kuzuia thamani ya jumla kwa jumla ya maendeleo ya kijiometri na mgawo huu wa awali, (2) kupanua uendelezaji wa kijiometri kutoka kwa maneno na ns hadi idadi isiyo na kikomo ya maneno, (3) kukokotoa jumla ya maendeleo ya kijiometri isiyo na kikomo (aljebra ya kawaida, hakuna kitu muhimu) na hatimaye kupata thamani ya kuzuia (kwa kubwa ya kutosha. n):

Richard Hamming: Sura ya 13. Nadharia ya Habari

Angalia jinsi entropy H(s) zilivyoonekana katika utambulisho wa binomial. Kumbuka kwamba upanuzi wa mfululizo wa Taylor H(s)=H(Q+e2) unatoa makadirio yaliyopatikana kwa kuzingatia tu derivati ​​ya kwanza na kupuuza mengine yote. Sasa hebu tuweke pamoja usemi wa mwisho:

Richard Hamming: Sura ya 13. Nadharia ya Habari

ambapo

Richard Hamming: Sura ya 13. Nadharia ya Habari

Tunachopaswa kufanya ni kuchagua e2 ili e3 <e1, na kisha muhula wa mwisho utakuwa mdogo kiholela, mradi n ni kubwa ya kutosha. Kwa hivyo, wastani wa hitilafu ya PE inaweza kupatikana kuwa ndogo kama inavyotakiwa na uwezo wa kituo karibu na C.
Ikiwa wastani wa misimbo yote ina hitilafu ndogo ya kutosha, basi angalau msimbo mmoja unapaswa kufaa, kwa hiyo kuna angalau mfumo mmoja unaofaa wa kuandika. Haya ni matokeo muhimu yaliyopatikana na Shannon - "nadharia ya Shannon kwa kituo cha kelele", ingawa ikumbukwe kwamba alithibitisha hili kwa kesi ya jumla zaidi kuliko kwa njia rahisi ya ulinganifu wa binary ambayo nilitumia. Kwa kesi ya jumla, mahesabu ya hisabati ni ngumu zaidi, lakini mawazo sio tofauti sana, hivyo mara nyingi sana, kwa kutumia mfano wa kesi fulani, unaweza kufunua maana ya kweli ya theorem.

Tukosoe matokeo. Tumerudia kurudia: "Kwa $ n $ ya kutosha." Lakini jinsi kubwa ni n? Sana, kubwa sana ikiwa unataka kuwa karibu na uwezo wa kituo na uwe na uhakika wa uhamishaji sahihi wa data! Kubwa sana, kwa kweli, kwamba itabidi usubiri kwa muda mrefu sana ili kukusanya ujumbe wa vipande vya kutosha ili usimbue baadaye. Katika kesi hii, saizi ya kamusi ya nambari ya nasibu itakuwa kubwa tu (baada ya yote, kamusi kama hiyo haiwezi kuwakilishwa kwa fomu fupi kuliko orodha kamili ya bits zote za Mn, licha ya ukweli kwamba n na M ni kubwa sana)!

Misimbo ya kusahihisha makosa huepuka kungoja ujumbe mrefu sana na kisha kuusimba na kuusimba kupitia vitabu vya msimbo vikubwa sana kwa sababu wao huepuka vitabu vya msimbo vyenyewe na badala yake hutumia hesabu ya kawaida. Kwa nadharia rahisi, kanuni hizo huwa na kupoteza uwezo wa kukabiliana na uwezo wa kituo na bado huhifadhi kiwango cha chini cha makosa, lakini wakati msimbo unasahihisha idadi kubwa ya makosa, hufanya vizuri. Kwa maneno mengine, ikiwa unatoa uwezo fulani wa kituo kwa urekebishaji wa makosa, basi lazima utumie uwezo wa kurekebisha makosa mara nyingi, yaani, idadi kubwa ya makosa lazima irekebishwe katika kila ujumbe uliotumwa, vinginevyo unapoteza uwezo huu.

Wakati huo huo, nadharia iliyothibitishwa hapo juu bado haina maana! Inaonyesha kuwa mifumo bora ya upokezaji lazima itumie mifumo mahiri ya usimbaji kwa mifuatano mirefu sana. Mfano ni satelaiti ambazo zimeruka zaidi ya sayari za nje; Wanaposonga mbali na Dunia na Jua, wanalazimika kusahihisha makosa zaidi na zaidi katika kizuizi cha data: satelaiti zingine hutumia paneli za jua, ambazo hutoa takriban 5 W, zingine hutumia vyanzo vya nguvu za nyuklia, ambazo hutoa nguvu sawa. Nguvu ya chini ya usambazaji wa umeme, saizi ndogo ya vyombo vya kupitisha na saizi ndogo ya vyombo vya kupokea Duniani, umbali mkubwa ambao ishara inapaswa kusafiri - yote haya yanahitaji utumiaji wa nambari zilizo na kiwango cha juu cha urekebishaji wa makosa ili kuunda mfumo mzuri wa mawasiliano.

Wacha turudi kwenye nafasi ya n-dimensional tuliyotumia kwenye uthibitisho hapo juu. Katika kuijadili, tulionyesha kuwa karibu kiasi kizima cha nyanja kimejilimbikizia karibu na uso wa nje - kwa hivyo, ni hakika kwamba ishara iliyotumwa itakuwa iko karibu na uso wa nyanja iliyojengwa karibu na ishara iliyopokelewa, hata kwa kiasi. radius ndogo ya tufe kama hiyo. Kwa hiyo, haishangazi kwamba ishara iliyopokea, baada ya kurekebisha idadi kubwa ya makosa ya kiholela, nQ, inageuka kuwa kiholela karibu na ishara bila makosa. Uwezo wa kiunganishi tuliojadili hapo awali ndio ufunguo wa kuelewa jambo hili. Kumbuka kwamba nyanja sawa zilizoundwa kwa ajili ya kurekebisha makosa misimbo ya Hamming haziingiliani. Idadi kubwa ya vipimo karibu vya othogonal katika nafasi ya n-dimensional inaonyesha ni kwa nini tunaweza kutoshea tufe M katika nafasi na mwingiliano kidogo. Ikiwa tutaruhusu mwingiliano mdogo, wa kiholela, ambao unaweza kusababisha idadi ndogo tu ya makosa wakati wa kusimbua, tunaweza kupata uwekaji mnene wa nyanja kwenye nafasi. Hamming alihakikisha kiwango fulani cha urekebishaji makosa, Shannon - uwezekano mdogo wa makosa, lakini wakati huo huo kudumisha upitishaji halisi kiholela karibu na uwezo wa chaneli ya mawasiliano, ambayo nambari za Hamming haziwezi kufanya.

Nadharia ya habari haituelezi jinsi ya kuunda mfumo mzuri, lakini inaelekeza njia kuelekea mifumo ya mawasiliano yenye ufanisi. Ni chombo muhimu kwa ajili ya kujenga mifumo ya mawasiliano ya mashine kwa mashine, lakini, kama ilivyobainishwa awali, haina umuhimu mdogo kwa jinsi wanadamu wanavyowasiliana. Kiwango ambacho urithi wa kibayolojia ni kama mifumo ya mawasiliano ya kiufundi haijulikani, kwa hivyo haijulikani kwa sasa jinsi nadharia ya habari inavyotumika kwa jeni. Hatuna chaguo ila kujaribu, na ikiwa mafanikio yataonyesha hali kama mashine ya jambo hili, basi kutofaulu kutaelekeza kwenye vipengele vingine muhimu vya asili ya habari.

Tusichepuke sana. Tumeona kwamba fasili zote za asili, kwa kiasi kikubwa au kidogo, lazima zielezee kiini cha imani zetu asilia, lakini zina sifa ya upotoshaji wa kiwango fulani na kwa hivyo hazitumiki. Inakubalika kimapokeo kwamba, hatimaye, fasili tunayotumia inafafanua kiini; lakini, hii inatuambia tu jinsi ya kushughulikia mambo na kwa njia yoyote haileti maana yoyote kwetu. Mtazamo wa kimkakati, unaopendelewa sana katika duru za hisabati, huacha kuhitajika katika mazoezi.

Sasa tutaangalia mfano wa vipimo vya IQ ambapo ufafanuzi ni wa mviringo kama unavyopenda kuwa na, kwa sababu hiyo, unapotosha. Jaribio linaundwa ambalo linapaswa kupima akili. Kisha inarekebishwa ili kuifanya iwe sawa iwezekanavyo, na kisha inachapishwa na, kwa njia rahisi, imehesabiwa ili "akili" iliyopimwa igeuke kuwa kawaida kusambazwa (kwenye curve ya calibration, bila shaka). Ufafanuzi wote lazima uangaliwe tena, sio tu wakati unapendekezwa kwanza, lakini pia baadaye sana, wakati unatumiwa katika hitimisho lililotolewa. Je, ni kwa kiwango gani mipaka ya ufafanuzi inafaa kwa tatizo linalotatuliwa? Ni mara ngapi ufafanuzi unaotolewa katika mpangilio mmoja huja kutumika katika mipangilio tofauti kabisa? Hii hutokea mara nyingi kabisa! Katika ubinadamu, ambayo bila shaka utakutana nayo katika maisha yako, hii hutokea mara nyingi zaidi.

Kwa hivyo, moja ya madhumuni ya uwasilishaji huu wa nadharia ya habari, pamoja na kuonyesha umuhimu wake, ilikuwa ni kukuonya juu ya hatari hii, au kukuonyesha jinsi ya kuitumia kupata matokeo unayotaka. Imejulikana kwa muda mrefu kuwa ufafanuzi wa awali huamua kile unachopata mwishoni, kwa kiasi kikubwa zaidi kuliko inaonekana. Ufafanuzi wa awali unahitaji tahadhari nyingi kutoka kwako, si tu katika hali yoyote mpya, lakini pia katika maeneo ambayo umekuwa ukifanya kazi kwa muda mrefu. Hii itawawezesha kuelewa ni kwa kiasi gani matokeo yaliyopatikana ni tautology na sio kitu muhimu.

Hadithi maarufu ya Eddington inasimulia juu ya watu waliovua baharini kwa wavu. Baada ya kuchunguza saizi ya samaki waliovua, walibaini ukubwa wa chini kabisa wa samaki wanaopatikana baharini! Hitimisho lao liliendeshwa na chombo kilichotumiwa, si kwa ukweli.

Kuendelea ...

Nani anataka kusaidia kwa tafsiri, mpangilio na uchapishaji wa kitabu - andika kwa ujumbe wa kibinafsi au barua pepe [barua pepe inalindwa]

Kwa njia, tumezindua pia tafsiri ya kitabu kingine kizuri - "Mashine ya Ndoto: Hadithi ya Mapinduzi ya Kompyuta")

Tunatafuta hasa wale ambao watasaidia kutafsiri sura ya bonasi, ambayo iko kwenye video pekee. (kuhamisha kwa dakika 10, 20 za kwanza tayari zimechukuliwa)

Yaliyomo katika kitabu na sura zilizotafsiriwautangulizi

  1. Utangulizi wa Sanaa ya Kufanya Sayansi na Uhandisi: Kujifunza Kujifunza (Machi 28, 1995) Tafsiri: Sura ya 1
  2. "Misingi ya Mapinduzi ya Dijiti (Discrete)" (Machi 30, 1995) Sura ya 2. Misingi ya mapinduzi ya kidijitali (ya kipekee).
  3. "Historia ya Kompyuta - Vifaa" (Machi 31, 1995) Sura ya 3. Historia ya Kompyuta - Vifaa
  4. "Historia ya Kompyuta - Programu" (Aprili 4, 1995) Sura ya 4. Historia ya Kompyuta - Programu
  5. "Historia ya Kompyuta - Maombi" (Aprili 6, 1995) Sura ya 5: Historia ya Kompyuta - Matumizi ya Vitendo
  6. "Akili Bandia - Sehemu ya I" (Aprili 7, 1995) Sura ya 6. Akili Bandia - 1
  7. "Akili Bandia - Sehemu ya II" (Aprili 11, 1995) Sura ya 7. Intelligence Artificial - II
  8. "Akili ya Bandia III" (Aprili 13, 1995) Sura ya 8. Artificial Intelligence-III
  9. "N-Dimensional Space" (Aprili 14, 1995) Sura ya 9. Nafasi ya N-dimensional
  10. "Nadharia ya Usimbaji - Uwakilishi wa Habari, Sehemu ya I" (Aprili 18, 1995) Sura ya 10. Nadharia ya Usimbaji - I
  11. "Nadharia ya Usimbaji - Uwakilishi wa Habari, Sehemu ya II" (Aprili 20, 1995) Sura ya 11. Nadharia ya Usimbaji - II
  12. "Kanuni za Kurekebisha Makosa" (Aprili 21, 1995) Sura ya 12. Misimbo ya Kurekebisha Hitilafu
  13. "Nadharia ya Habari" (Aprili 25, 1995) Sura ya 13. Nadharia ya Habari
  14. "Vichujio vya Dijiti, Sehemu ya I" (Aprili 27, 1995) Sura ya 14. Vichujio vya Dijitali - 1
  15. "Vichujio vya Dijiti, Sehemu ya II" (Aprili 28, 1995) Sura ya 15. Vichujio vya Dijitali - 2
  16. "Vichujio vya Dijiti, Sehemu ya III" (Mei 2, 1995) Sura ya 16. Vichujio vya Dijitali - 3
  17. "Vichujio vya Dijiti, Sehemu ya IV" (Mei 4, 1995) Sura ya 17. Vichujio vya Dijiti - IV
  18. "Kuiga, Sehemu ya I" (Mei 5, 1995) Sura ya 18. Modeling - I
  19. "Kuiga, Sehemu ya II" (Mei 9, 1995) Sura ya 19. Modeling - II
  20. "Kuiga, Sehemu ya III" (Mei 11, 1995) Sura ya 20. Modeling - III
  21. "Fiber Optics" (Mei 12, 1995) Sura ya 21. Fiber optics
  22. "Maelekezo ya Usaidizi wa Kompyuta" (Mei 16, 1995) Sura ya 22: Maagizo ya Usaidizi wa Kompyuta (CAI)
  23. "Hisabati" (Mei 18, 1995) Sura ya 23. Hisabati
  24. "Quantum Mechanics" (Mei 19, 1995) Sura ya 24. Mitambo ya quantum
  25. "Ubunifu" (Mei 23, 1995). Tafsiri: Sura ya 25. Ubunifu
  26. "Wataalam" (Mei 25, 1995) Sura ya 26. Wataalam
  27. "Data Isiyotegemewa" (Mei 26, 1995) Sura ya 27. Data isiyoaminika
  28. "Uhandisi wa Mifumo" (Mei 30, 1995) Sura ya 28. Uhandisi wa Mifumo
  29. "Unapata Unachopima" (Juni 1, 1995) Sura ya 29: Unapata kile unachopima
  30. "Tunajuaje Tunachojua" (Juni 2, 1995) Tafsiri katika vipande vya dakika 10
  31. Hamming, "Wewe na Utafiti Wako" (Juni 6, 1995). Tafsiri: Wewe na kazi yako

Nani anataka kusaidia kwa tafsiri, mpangilio na uchapishaji wa kitabu - andika kwa ujumbe wa kibinafsi au barua pepe [barua pepe inalindwa]

Chanzo: mapenzi.com

Kuongeza maoni