Għamilna!
"L-iskop ta' dan il-kors huwa li jippreparak għall-futur tekniku tiegħek."
Hello, Habr. Ftakar fl-artiklu tal-biża ' (+219, 2588 bookmarks, 429k qari)?
Allura Hamming (iva, iva, awto-monitoraġġ u awto-korrezzjoni ) hemm kollu , miktub ibbażat fuq il-lekċers tiegħu. Aħna nittraduċuha, għax ir-raġel jitkellem moħħu.
Dan huwa ktieb mhux biss dwar l-IT, huwa ktieb dwar l-istil ta 'ħsieb ta' nies oerhört cool. “Mhux biss spinta ta’ ħsieb pożittiv; jiddeskrivi l-kundizzjonijiet li jżidu ċ-ċansijiet li jsir xogħol kbir.”
Grazzi lil Andrey Pakhomov għat-traduzzjoni.
It-Teorija tal-Informazzjoni ġiet żviluppata minn C. E. Shannon fl-aħħar tas-snin erbgħin. Il-maniġment ta’ Bell Labs insista li jsejjaħlu “Communication Theory” għax... dan huwa isem ferm aktar preċiż. Għal raġunijiet ovvji, l-isem "Information Theory" għandu impatt ferm akbar fuq il-pubbliku, u huwa għalhekk li Shannon għażlu, u huwa l-isem li nafu sal-lum. L-isem innifsu jissuġġerixxi li t-teorija tittratta l-informazzjoni, li tagħmilha importanti hekk kif nimxu aktar fil-fond fl-era tal-informazzjoni. F'dan il-kapitlu, se nmiss bosta konklużjonijiet ewlenin minn din it-teorija, ser nipprovdi evidenza mhux stretta, iżda pjuttost intuwittiva ta' xi dispożizzjonijiet individwali ta 'din it-teorija, sabiex tifhem x'inhi fil-fatt "Teorija tal-Informazzjoni", fejn tista' tapplikaha u fejn le .
L-ewwelnett, x'inhi "informazzjoni"? Shannon tqabbel l-informazzjoni ma 'l-inċertezza. Huwa għażel il-logaritmu negattiv tal-probabbiltà ta 'avveniment bħala miżura kwantitattiva tal-informazzjoni li tirċievi meta jseħħ avveniment bi probabbiltà p. Pereżempju, jekk ngħidlek li t-temp f'Los Angeles huwa ċpar, allura p huwa qrib 1, li verament ma jagħtinax ħafna informazzjoni. Imma jekk ngħid li x-xita f’Monterey f’Ġunju, ikun hemm inċertezza fil-messaġġ u jkun fih aktar informazzjoni. Avveniment affidabbli ma fih l-ebda informazzjoni, peress li log 1 = 0.
Ejja nħarsu lejn dan f'aktar dettall. Shannon jemmen li l-kejl kwantitattiv ta 'informazzjoni għandu jkun funzjoni kontinwa tal-probabbiltà ta' avveniment p, u għal avvenimenti indipendenti għandu jkun addittiv - l-ammont ta 'informazzjoni miksuba bħala riżultat ta' l-okkorrenza ta 'żewġ avvenimenti indipendenti għandu jkun ugwali għall- ammont ta’ informazzjoni miksuba bħala riżultat tal-okkorrenza ta’ avveniment konġunt. Pereżempju, ir-riżultat ta 'romblu ta' dadi u roll ta 'muniti huma ġeneralment ittrattati bħala avvenimenti indipendenti. Ejja nittraduċu dan ta 'hawn fuq fil-lingwa tal-matematika. Jekk I (p) hija l-ammont ta’ informazzjoni li tinsab f’avveniment bi probabbiltà p, allura għal avveniment konġunt li jikkonsisti f’żewġ avvenimenti indipendenti x bi probabbiltà p1 u y bi probabbiltà p2 niksbu
(x u y huma avvenimenti indipendenti)
Din hija l-ekwazzjoni Cauchy funzjonali, vera għall-p1 u p2 kollha. Biex issolvi din l-ekwazzjoni funzjonali, assumi li
p1 = p2 = p,
dan jagħti
Jekk p1 = p2 u p2 = p allura
eċċ. L-estensjoni ta' dan il-proċess bl-użu tal-metodu standard għall-esponenzjali, għan-numri razzjonali kollha m/n dan li ġej huwa minnu
Mill-kontinwità preżunta tal-miżura ta 'informazzjoni, isegwi li l-funzjoni logaritmika hija l-unika soluzzjoni kontinwa għall-ekwazzjoni Cauchy funzjonali.
Fit-teorija tal-informazzjoni, huwa komuni li tieħu l-bażi tal-logaritmu bħala 2, għalhekk għażla binarja fiha eżattament 1 bit ta 'informazzjoni. Għalhekk, l-informazzjoni titkejjel bil-formula
Ejja nieqaf u nifhmu dak li ġara hawn fuq. L-ewwelnett, aħna ma ddefinijniex il-kunċett ta '"informazzjoni"; aħna sempliċement iddefinijna l-formula għall-miżura kwantitattiva tagħha.
It-tieni, din il-miżura hija soġġetta għal inċertezza, u filwaqt li hija raġonevolment xierqa għall-magni—eż., sistemi tat-telefon, radju, televiżjoni, kompjuters, eċċ.—ma tirriflettix l-attitudnijiet normali tal-bniedem lejn l-informazzjoni.
It-tielet nett, din hija miżura relattiva, tiddependi fuq l-istat attwali tal-għarfien tiegħek. Jekk tħares lejn fluss ta '"numri każwali" minn ġeneratur ta' numri każwali, tassumi li kull numru li jmiss huwa inċert, imma jekk taf il-formula għall-kalkolu ta '"numri każwali", in-numru li jmiss ikun magħruf, u għalhekk mhux se ikun fihom informazzjoni.
Allura d-definizzjoni ta 'informazzjoni ta' Shannon hija xierqa għall-magni f'ħafna każijiet, iżda ma jidhirx li taqbel mal-fehim tal-bniedem tal-kelma. Huwa għal din ir-raġuni li "Teorija tal-Informazzjoni" kellha tissejjaħ "Teorija tal-Komunikazzjoni." Madankollu, huwa tard wisq biex nibdlu d-definizzjonijiet (li taw lit-teorija l-popolarità inizjali tagħha, u li għadhom jagħmlu n-nies jaħsbu li din it-teorija tittratta "informazzjoni"), għalhekk irridu ngħixu magħhom, iżda fl-istess ħin trid tifhem b'mod ċar kemm id-definizzjoni ta 'informazzjoni ta' Shannon hija mit-tifsira użata b'mod komuni tagħha. L-informazzjoni ta’ Shannon tittratta xi ħaġa kompletament differenti, jiġifieri l-inċertezza.
Hawn xi ħaġa biex taħseb meta tipproponi xi terminoloġija. Kif definizzjoni proposta, bħad-definizzjoni ta' Shannon ta' informazzjoni, taqbel mal-idea oriġinali tiegħek u kemm hi differenti? M'hemm kważi l-ebda terminu li jirrifletti eżattament il-viżjoni preċedenti tiegħek ta 'kunċett, iżda fl-aħħar mill-aħħar, hija t-terminoloġija użata li tirrifletti t-tifsira tal-kunċett, għalhekk il-formalizzazzjoni ta' xi ħaġa permezz ta 'definizzjonijiet ċari dejjem tintroduċi xi storbju.
Ikkunsidra sistema li l-alfabett tagħha jikkonsisti f'simboli q bi probabbiltajiet pi. F'dan il-każ ammont medju ta’ informazzjoni fis-sistema (il-valur mistenni tagħha) hija ugwali għal:
Din tissejjaħ l-entropija tas-sistema b'distribuzzjoni tal-probabbiltà {pi}. Aħna nużaw it-terminu "entropija" għaliex l-istess forma matematika tidher fit-termodinamika u l-mekkanika statistika. Huwa għalhekk li t-terminu "entropija" joħloq ċerta aura ta 'importanza madwaru nnifsu, li fl-aħħar mill-aħħar mhix iġġustifikata. L-istess forma matematika ta’ notazzjoni ma timplikax l-istess interpretazzjoni tas-simboli!
L-entropija tad-distribuzzjoni tal-probabbiltà għandha rwol ewlieni fit-teorija tal-kodifikazzjoni. L-inugwaljanza ta' Gibbs għal żewġ distribuzzjonijiet ta' probabbiltà differenti pi u qi hija waħda mill-konsegwenzi importanti ta' din it-teorija. Għalhekk irridu nippruvaw dan
Il-prova hija bbażata fuq graff ovvju, Fig. 13.I, li juri li
u l-ugwaljanza tinkiseb biss meta x = 1. Ejja napplikaw l-inugwaljanza għal kull terminu tas-somma min-naħa tax-xellug:
Jekk l-alfabett ta’ sistema ta’ komunikazzjoni jikkonsisti f’q simboli, allura nieħdu l-probabbiltà tat-trażmissjoni ta’ kull simbolu qi = 1/q u nissostitwixxu q, niksbu mill-inugwaljanza ta’ Gibbs
Figura 13.I
Dan ifisser li jekk il-probabbiltà tat-trażmissjoni tas-simboli q kollha hija l-istess u ugwali għal - 1 / q, allura l-entropija massima hija ugwali għal ln q, inkella l-inugwaljanza tgħodd.
Fil-każ ta 'kodiċi dekodifikabbli unikament, għandna l-inugwaljanza ta' Kraft
Issa jekk niddefinixxu psewdo-probabbiltajiet
fejn ovvjament = 1, li ġej mill-inugwaljanza ta’ Gibbs,
u applika ftit alġebra (ftakar li K ≤ 1, sabiex inkunu nistgħu niżlu t-terminu logaritmiku, u forsi nsaħħu l-inugwaljanza aktar tard), nikseb
fejn L huwa t-tul medju tal-kodiċi.
Għalhekk, l-entropija hija l-limitu minimu għal kwalunkwe kodiċi karattru b'simbolu b'tul medju ta 'codeword L. Dan huwa t-teorema ta' Shannon għal kanal ħieles minn interferenza.
Issa ikkunsidra t-teorema prinċipali dwar il-limitazzjonijiet tas-sistemi ta 'komunikazzjoni li fihom l-informazzjoni hija trażmessa bħala fluss ta' bits indipendenti u l-istorbju huwa preżenti. Huwa mifhum li l-probabbiltà ta 'trażmissjoni korretta ta' bit wieħed hija P > 1/2, u l-probabbiltà li l-valur tal-bit jinqaleb waqt it-trażmissjoni (se jseħħ żball) hija ugwali għal Q = 1 - P. Għall-konvenjenza, aħna jassumu li l-iżbalji huma indipendenti u l-probabbiltà ta 'żball hija l-istess għal kull bit mibgħut - jiġifieri, hemm "ħoss abjad" fil-kanal ta' komunikazzjoni.
Il-mod kif għandna fluss twil ta 'n bits kodifikati f'messaġġ wieħed huwa l-estensjoni n - dimensjonali tal-kodiċi ta' bit wieħed. Aħna ser niddeterminaw il-valur ta 'n aktar tard. Ikkunsidra messaġġ li jikkonsisti f'n-bits bħala punt fl-ispazju n-dimensjonali. Peress li għandna spazju n-dimensjonali - u għas-sempliċità ser nassumu li kull messaġġ għandu l-istess probabbiltà li jseħħ - hemm M messaġġi possibbli (M se jiġi definit ukoll aktar tard), għalhekk il-probabbiltà ta' kwalunkwe messaġġ mibgħut hija
(mittent)
Skeda 13.II
Sussegwentement, ikkunsidra l-idea tal-kapaċità tal-kanal. Mingħajr ma tidħol fid-dettalji, il-kapaċità tal-kanal hija definita bħala l-ammont massimu ta 'informazzjoni li tista' tiġi trażmessa b'mod affidabbli fuq kanal ta 'komunikazzjoni, b'kont meħud tal-użu tal-kodifikazzjoni l-aktar effiċjenti. M'hemm l-ebda argument li aktar informazzjoni tista' tiġi trażmessa permezz ta' kanal ta' komunikazzjoni mill-kapaċità tagħha. Dan jista 'jiġi ppruvat għal kanal simmetriku binarju (li nużaw fil-każ tagħna). Il-kapaċità tal-kanal, meta tibgħat bits, hija speċifikata bħala
fejn, bħal qabel, P hija l-probabbiltà ta' ebda żball fi kwalunkwe bit mibgħut. Meta tibgħat n bits indipendenti, il-kapaċità tal-kanal hija mogħtija minn
Jekk ninsabu qrib il-kapaċità tal-kanal, allura għandna nibagħtu kważi dan l-ammont ta 'informazzjoni għal kull wieħed mis-simboli ai, i = 1, ..., M. Meta wieħed iqis li l-probabbiltà ta' okkorrenza ta 'kull simbolu ai hija 1 / M, nikbru
meta nibaghtu xi messaġġi M ugwalment probabbli ai, għandna
Meta jintbagħtu n bits, nistennew li jseħħu nQ żbalji. Fil-prattika, għal messaġġ li jikkonsisti f'n-bits, ikollna bejn wieħed u ieħor nQ żbalji fil-messaġġ riċevut. Għal n kbir, varjazzjoni relattiva (varjazzjoni = wisa 'ta' distribuzzjoni, )
id-distribuzzjoni tan-numru ta 'żbalji se ssir dejjem aktar dejqa hekk kif n jiżdied.
Allura, min-naħa tat-trasmettitur, nieħu l-messaġġ ai biex nibgħat u niġbed sfera madwaru b'raġġ
li huwa kemmxejn akbar b'ammont ugwali għal e2 min-numru mistenni ta' żbalji Q, (Figura 13.II). Jekk n huwa kbir biżżejjed, allura hemm probabbiltà żgħira b'mod arbitrarju li punt tal-messaġġ bj jidher fuq in-naħa tar-riċevitur li jestendi lil hinn minn din l-isfera. Ejja nfasslu s-sitwazzjoni kif naraha jien mil-lat tat-trasmettitur: għandna xi raġġi mill-messaġġ trażmess ai sal-messaġġ riċevut bj bi probabbiltà ta 'żball ugwali (jew kważi ugwali) għad-distribuzzjoni normali, li tilħaq massimu fl-nQ. Għal kull e2 partikolari, hemm n tant kbir li l-probabbiltà li l-punt li jirriżulta bj ikun barra mill-isfera tiegħi hija żgħira kemm trid.
Issa ejja nħarsu lejn l-istess sitwazzjoni min-naħa tiegħek (Fig. 13.III). Fin-naħa tar-riċevitur hemm sfera S(r) tal-istess raġġ r madwar il-punt riċevut bj fi spazju n-dimensjonali, b’tali mod li jekk il-messaġġ riċevut bj ikun ġewwa l-isfera tiegħi, allura l-messaġġ ai mibgħut minni jkun ġewwa tiegħek sfera.
Kif jista' jseħħ żball? L-iżball jista' jseħħ fil-każijiet deskritti fit-tabella hawn taħt:
Figura 13.III
Hawnhekk naraw li jekk fl-isfera mibnija madwar il-punt riċevut hemm mill-inqas punt ieħor li jikkorrispondi għal messaġġ mhux kodifikat possibbli mibgħut, allura seħħ żball waqt it-trażmissjoni, peress li ma tistax tiddetermina liema minn dawn il-messaġġi ġie trażmess. Il-messaġġ mibgħut huwa mingħajr żbalji biss jekk il-punt li jikkorrispondi għalih ikun fl-isfera, u ma jkunx hemm punti oħra possibbli fil-kodiċi mogħti li huma fl-istess sfera.
Għandna ekwazzjoni matematika għall-probabbiltà ta 'żball Pe jekk il-messaġġ ai intbagħat
Nistgħu tarmi l-ewwel fattur fit-tieni terminu, billi neħduh bħala 1. Għalhekk inġibu l-inugwaljanza
Ovvjament dak
għalhekk
applika mill-ġdid għall-aħħar terminu fuq il-lemin
Meta tieħu n kbir biżżejjed, l-ewwel terminu jista 'jittieħed kemm jista' jkun żgħir, ngħidu aħna inqas minn xi numru d. Għalhekk għandna
Issa ejja nħarsu lejn kif nistgħu nibnu kodiċi ta' sostituzzjoni sempliċi biex tikkodifika messaġġi M li jikkonsistu f'n bits. Billi m'għandha l-ebda idea kif eżattament tibni kodiċi (kodiċijiet li jikkoreġu l-iżbalji kienu għadhom ma ġewx ivvintati), Shannon għażlet kodifikazzjoni każwali. Aqleb munita għal kull wieħed mill-n bits fil-messaġġ u rrepeti l-proċess għall-messaġġi M. B'kollox, jeħtieġ li jsiru nM flips tal-muniti, għalhekk huwa possibbli
dizzjunarji tal-kodiċi li għandhom l-istess probabbiltà ½nM. Naturalment, il-proċess każwali tal-ħolqien ta 'codebook ifisser li hemm possibbiltà ta' duplikati, kif ukoll punti ta 'kodiċi li jkunu qrib xulxin u għalhekk ikunu sors ta' żbalji probabbli. Wieħed irid jipprova li jekk dan ma jseħħx bi probabbiltà akbar minn kwalunkwe livell żgħir ta 'żball magħżul, allura n-n mogħti huwa kbir biżżejjed.
Il-punt kruċjali huwa li Shannon għamel medja tal-codebooks kollha possibbli biex issib l-iżball medju! Se nużaw is-simbolu Av[.] biex inindikaw il-valur medju fuq is-sett tal-kotba tal-kodiċi każwali kollha possibbli. Il-medja fuq kostanti d, ovvjament, tagħti kostanti, peress li għall-medja kull terminu huwa l-istess bħal kull terminu ieħor fis-somma,
li tista’ tiżdied (M–1 tmur għal M)
Għal kwalunkwe messaġġ partikolari, meta ssir medja fil-kotba tal-kodiċi kollha, il-kodifikazzjoni tgħaddi mill-valuri kollha possibbli, għalhekk il-probabbiltà medja li punt ikun fi sfera hija l-proporzjon tal-volum tal-isfera mal-volum totali tal-ispazju. Il-volum tal-isfera huwa
fejn s=Q+e2 <1/2 u ns għandu jkun numru sħiħ.
L-aħħar terminu fuq il-lemin huwa l-akbar f'din is-somma. L-ewwel, ejja nistmaw il-valur tagħha billi tuża l-formula Stirling għall-fatturali. Imbagħad inħarsu lejn il-koeffiċjent dejjem jonqos tat-terminu quddiemu, innota li dan il-koeffiċjent jiżdied hekk kif nimxu lejn ix-xellug, u għalhekk nistgħu: (1) nirrestrinġu l-valur tas-somma għas-somma tal-progressjoni ġeometrika b' dan il-koeffiċjent inizjali, (2) jespandu l-progressjoni ġeometrika minn ns termini għal numru infinit ta 'termini, (3) ikkalkula s-somma ta' progressjoni ġeometrika infinita (alġebra standard, xejn sinifikanti) u finalment tikseb il-valur ta 'limitazzjoni (għal kbir biżżejjed n):
Innota kif l-entropija H(s) dehret fl-identità binomjali. Innota li l-espansjoni tas-serje Taylor H(s)=H(Q+e2) tagħti stima miksuba billi tqis biss l-ewwel derivattiva u tinjora l-oħrajn kollha. Issa ejja ngħaqqdu l-espressjoni finali:
fejn
Kulma rridu nagħmlu hu li nagħżlu e2 tali li e3 < e1, u allura l-aħħar terminu jkun arbitrarjament żgħir, sakemm n ikun kbir biżżejjed. Konsegwentement, l-iżball medju PE jista 'jinkiseb żgħir kemm mixtieq bil-kapaċità tal-kanal arbitrarjament qrib C.
Jekk il-medja tal-kodiċijiet kollha għandha żball żgħir biżżejjed, allura mill-inqas kodiċi wieħed għandu jkun adattat, għalhekk hemm mill-inqas sistema waħda ta 'kodifikazzjoni xierqa. Dan huwa riżultat importanti miksub minn Shannon - "It-teorema ta 'Shannon għal kanal storbjuż", għalkemm ta' min jinnota li pprova dan għal każ ħafna aktar ġenerali milli għall-kanal simmetriku binarju sempliċi li użajt. Għall-każ ġenerali, il-kalkoli matematiċi huma ħafna aktar ikkumplikati, iżda l-ideat mhumiex daqshekk differenti, għalhekk ħafna drabi, billi tuża l-eżempju ta 'każ partikolari, tista' tiżvela t-tifsira vera tat-teorema.
Ejja nikkritikaw ir-riżultat. Kemm-il darba rrepejna: “Għal n kbir biżżejjed.” Imma kemm hu kbir n? Kbir ħafna, ħafna jekk int verament tixtieq li tkun kemm qrib il-kapaċità tal-kanal u kun żgur tat-trasferiment tad-data korrett! Tant kbir, fil-fatt, li ser ikollok tistenna żmien twil ħafna biex takkumula messaġġ ta 'bits biżżejjed biex tikkodifikah aktar tard. F'dan il-każ, id-daqs tad-dizzjunarju tal-kodiċi każwali se jkun sempliċiment enormi (wara kollox, dizzjunarju bħal dan ma jistax ikun rappreżentat f'forma iqsar minn lista kompluta tal-bits Mn kollha, minkejja l-fatt li n u M huma kbar ħafna)!
Il-kodiċijiet li jikkoreġu l-iżbalji jevitaw li jistennew messaġġ twil ħafna u mbagħad jikkodifikawh u jiddekodifikawh permezz ta' kodiċi ta' kodiċi kbar ħafna għaliex jevitaw kotba ta' kodiċi huma stess u minflok jużaw komputazzjoni ordinarja. Fit-teorija sempliċi, kodiċi bħal dawn għandhom it-tendenza li jitilfu l-abbiltà li jersqu lejn il-kapaċità tal-kanal u xorta jżommu rata baxxa ta 'żbalji, iżda meta l-kodiċi jikkoreġi numru kbir ta' żbalji, jaħdmu tajjeb. Fi kliem ieħor, jekk talloka xi kapaċità tal-kanal għall-korrezzjoni tal-iżbalji, allura trid tuża l-kapaċità tal-korrezzjoni tal-iżbalji l-biċċa l-kbira tal-ħin, jiġifieri, numru kbir ta 'żbalji għandhom jiġu kkoreġuti f'kull messaġġ mibgħut, inkella taħli din il-kapaċità.
Fl-istess ħin, it-teorema ppruvata hawn fuq għadha mhix bla sens! Juri li s-sistemi ta' trasmissjoni effiċjenti għandhom jużaw skemi ta' kodifikazzjoni għaqlija għal strings ta' bit twal ħafna. Eżempju huma satelliti li tajru lil hinn mill-pjaneti ta’ barra; Hekk kif jitbiegħdu mid-Dinja u x-Xemx, huma sfurzati jikkoreġu aktar u aktar żbalji fil-blokk tad-dejta: xi satelliti jużaw pannelli solari, li jipprovdu madwar 5 W, oħrajn jużaw sorsi ta 'enerġija nukleari, li jipprovdu madwar l-istess qawwa. Il-qawwa baxxa tal-provvista tal-enerġija, id-daqs żgħir tad-dixxijiet tat-trasmettitur u d-daqs limitat tad-dixxijiet tar-riċevitur fid-Dinja, id-distanza enormi li s-sinjal għandu jivvjaġġa - dan kollu jeħtieġ l-użu ta 'kodiċi b'livell għoli ta' korrezzjoni ta 'żball biex tinbena sistema ta 'komunikazzjoni effettiva.
Ejja nerġgħu lura għall-ispazju n-dimensjonali li użajna fil-prova ta 'hawn fuq. Fid-diskussjoni dwarha, urejna li kważi l-volum kollu ta 'l-isfera huwa kkonċentrat ħdejn il-wiċċ ta' barra - għalhekk, huwa kważi ċert li s-sinjal mibgħut se jkun jinsab ħdejn il-wiċċ ta 'l-isfera mibnija madwar is-sinjal riċevut, anke b'relattivament. raġġ żgħir ta ' tali sfera. Għalhekk, mhuwiex sorprendenti li s-sinjal riċevut, wara li jikkoreġi numru arbitrarjament kbir ta 'żbalji, nQ, jirriżulta li jkun arbitrarjament qrib sinjal mingħajr żbalji. Il-kapaċità tal-link li ddiskutejna qabel hija ċ-ċavetta biex nifhmu dan il-fenomenu. Innota li sferi simili mibnija għal kodiċijiet Hamming li jikkoreġu l-iżbalji ma jikkoinċidux lil xulxin. In-numru kbir ta 'dimensjonijiet kważi ortogonali fl-ispazju n-dimensjonali juri għaliex nistgħu noqogħdu sferi M fl-ispazju bi ftit koinċidenza. Jekk inħallu koinċidenza żgħira, arbitrarjament żgħira, li tista 'twassal biss għal numru żgħir ta' żbalji waqt id-dekodifikazzjoni, nistgħu niksbu tqegħid dens ta 'sferi fl-ispazju. Hamming garantit ċertu livell ta 'korrezzjoni ta' żball, Shannon - probabbiltà baxxa ta 'żball, iżda fl-istess ħin iżżomm il-fluss attwali b'mod arbitrarju qrib il-kapaċità tal-kanal ta' komunikazzjoni, li l-kodiċi Hamming ma jistgħux jagħmlu.
It-teorija tal-informazzjoni ma tgħidilniex kif niddisinjaw sistema effiċjenti, iżda tindika t-triq lejn sistemi ta 'komunikazzjoni effiċjenti. Hija għodda siewja għall-bini ta 'sistemi ta' komunikazzjoni minn magna għal magna, iżda, kif innutat qabel, għandha ftit rilevanza għal kif il-bnedmin jikkomunikaw ma 'xulxin. Il-punt sa fejn il-wirt bijoloġiku huwa bħal sistemi ta 'komunikazzjoni teknika huwa sempliċement mhux magħruf, għalhekk bħalissa mhuwiex ċar kif it-teorija tal-informazzjoni tapplika għall-ġeni. M'għandniex għażla ħlief li nippruvaw, u jekk is-suċċess jurina n-natura bħal magna ta 'dan il-fenomenu, allura n-nuqqas se jindika aspetti sinifikanti oħra tan-natura tal-informazzjoni.
Ejja ma niddigressux wisq. Rajna li d-definizzjonijiet oriġinali kollha, sa ċertu punt, għandhom jesprimu l-essenza tat-twemmin oriġinali tagħna, iżda huma kkaratterizzati minn ċertu grad ta 'distorsjoni u għalhekk mhumiex applikabbli. Tradizzjonalment huwa aċċettat li, fl-aħħar mill-aħħar, id-definizzjoni li nużaw fil-fatt tiddefinixxi l-essenza; iżda, dan jgħidilna biss kif nipproċessaw l-affarijiet u bl-ebda mod ma jwassallna xi tifsira. L-approċċ postulazzjonali, tant iffavorit b'mod qawwi fiċ-ċrieki matematiċi, iħalli ħafna x'tifhem fil-prattika.
Issa se nħarsu lejn eżempju ta 'testijiet IQ fejn id-definizzjoni hija ċirkolari kif tixtieq li tkun u, bħala riżultat, qarrieqa. Jinħoloq test li suppost ikejjel l-intelliġenza. Imbagħad jiġi rivedut biex ikun konsistenti kemm jista 'jkun, u mbagħad jiġi ppubblikat u, b'metodu sempliċi, kkalibrat sabiex l-"intelliġenza" imkejla tirriżulta li tkun imqassma b'mod normali (fuq kurva ta' kalibrazzjoni, ovvjament). Id-definizzjonijiet kollha jridu jiġu ċċekkjati mill-ġdid, mhux biss meta jiġu proposti għall-ewwel darba, iżda wkoll ħafna aktar tard, meta jintużaw fil-konklużjonijiet meħuda. Sa liema punt il-konfini tad-definizzjoni huma xierqa għall-problema li qed tiġi solvuta? Kemm-il darba definizzjonijiet mogħtija f'ambjent wieħed jiġu applikati f'ambjenti pjuttost differenti? Dan jiġri spiss! Fl-istudji umanistiċi, li inevitabbilment tiltaqa' magħhom f'ħajtek, dan jiġri aktar spiss.
Għalhekk, wieħed mill-iskopijiet ta’ din il-preżentazzjoni tat-teorija tal-informazzjoni, minbarra li turi l-utilità tagħha, kien li twissik dwar dan il-periklu, jew li turik eżattament kif tużaha biex tikseb ir-riżultat mixtieq. Ilu nnutat li d-definizzjonijiet inizjali jiddeterminaw dak li ssib fl-aħħar, sa punt ferm akbar milli jidher. Id-definizzjonijiet inizjali jeħtieġu ħafna attenzjoni mingħandek, mhux biss fi kwalunkwe sitwazzjoni ġdida, iżda wkoll f'oqsma li ilek taħdem magħhom għal żmien twil. Dan jippermettilek tifhem sa liema punt ir-riżultati miksuba huma tawtoloġija u mhux xi ħaġa utli.
L-istorja famuża ta’ Eddington tirrakkonta nies li stadu fil-baħar b’xibka. Wara li studjaw id-daqs tal-ħut li qabdu, iddeterminaw id-daqs minimu ta’ ħut li jinstab fil-baħar! Il-konklużjoni tagħhom kienet immexxija mill-istrument użat, mhux mir-realtà.
Biex titkompla ...
Min irid jgħin fit-traduzzjoni, it-tqassim u l-pubblikazzjoni tal-ktieb - ikteb f'messaġġ personali jew email [protett bl-email]
Mill-mod, nedejna wkoll it-traduzzjoni ta 'ktieb ieħor frisk - )
Aħna qed infittxu speċjalment dawk li se jgħinu fit-traduzzjoni . (trasferiment għal 10 minuti, l-ewwel 20 diġà ttieħdu)
Kontenut tal-ktieb u kapitli tradotti
- Introduzzjoni għall-Arti li tagħmel ix-Xjenza u l-Inġinerija: Titgħallem titgħallem (28 ta’ Marzu, 1995)
- "Pedamenti tar-Rivoluzzjoni Diġitali (Diskreta)" (30 ta' Marzu, 1995)
- "Storja tal-Kompjuters - Ħardwer" (31 ta' Marzu, 1995)
- "Storja tal-Kompjuters - Software" (4 ta' April, 1995)
- "Storja tal-Kompjuters - Applikazzjonijiet" (6 ta' April, 1995)
- "Intelliġenza Artifiċjali - Parti I" (7 ta' April, 1995)
- "Intelliġenza Artifiċjali - Parti II" (11 ta' April, 1995)
- "Intelliġenza Artifiċjali III" (13 ta' April, 1995)
- "Ispazju n-Dimensjonali" (14 ta' April, 1995)
- "Teorija tal-Kodifikazzjoni - Ir-Rappreżentanza ta' Informazzjoni, Parti I" (18 ta' April, 1995)
- "Teorija tal-Kodifikazzjoni - Ir-Rappreżentanza ta' Informazzjoni, Parti II" (20 ta' April, 1995)
- "Kodiċijiet ta' Korrezzjoni ta' Żbalji" (21 ta' April, 1995)
- "Teorija ta' l-Informazzjoni" (25 ta' April, 1995)
- "Filtri Diġitali, Parti I" (27 ta' April, 1995)
- "Filtri Diġitali, Parti II" (28 ta' April, 1995)
- "Filtri Diġitali, Parti III" (2 ta' Mejju, 1995)
- "Filtri Diġitali, Parti IV" (4 ta' Mejju, 1995)
- "Simulazzjoni, Parti I" (5 ta' Mejju, 1995)
- "Simulazzjoni, Parti II" (9 ta' Mejju, 1995)
- "Simulazzjoni, Parti III" (11 ta' Mejju, 1995)
- "Fiber Optics" (it-12 ta' Mejju, 1995)
- "Istruzzjoni Megħjuna mill-Kompjuter" (16 ta' Mejju, 1995)
- "Matematika" (18 ta' Mejju, 1995)
- "Mekkanika Kwantika" (19 ta' Mejju, 1995)
- “Kreattività” (23 ta’ Mejju 1995). Traduzzjoni:
- "Esperti" (25 ta' Mejju, 1995)
- "Dejta Mhux Affidabbli" (26 ta' Mejju, 1995)
- "Inġinerija tas-Sistemi" (it-30 ta' Mejju, 1995)
- "Ikseb Dak li Tkejjel" (1 ta' Ġunju, 1995)
- (Ġunju 2, 1995) tittraduċi f'biċċiet ta' 10 minuti
- Hamming, "Int u r-Riċerka Tiegħek" (6 ta' Ġunju 1995).
Min irid jgħin fit-traduzzjoni, it-tqassim u l-pubblikazzjoni tal-ktieb - ikteb f'messaġġ personali jew email [protett bl-email]
Sors: www.habr.com