Nagawa natin!
"Ang layunin ng kursong ito ay ihanda ka para sa iyong teknikal na hinaharap."
Hello, Habr. Tandaan ang kahanga-hangang artikulo (+219, 2588 bookmark, 429k nabasa)?
Kaya Hamming (oo, oo, pagsubaybay sa sarili at pagwawasto sa sarili ) may buo , na isinulat batay sa kanyang mga lektura. Isinasalin namin ito, dahil sinasabi ng lalaki ang kanyang isip.
Ito ay isang libro hindi lamang tungkol sa IT, ito ay isang libro tungkol sa istilo ng pag-iisip ng mga hindi kapani-paniwalang cool na mga tao. "Ito ay hindi lamang isang pagpapalakas ng positibong pag-iisip; inilalarawan nito ang mga kondisyon na nagpapataas ng mga pagkakataong makagawa ng mahusay na trabaho.β
Salamat kay Andrey Pakhomov para sa pagsasalin.
Ang Teorya ng Impormasyon ay binuo ni C. E. Shannon noong huling bahagi ng 1940s. Iginiit ng pamunuan ng Bell Labs na tinawag niya itong "Communication Theory" dahil... ito ay isang mas tumpak na pangalan. Para sa mga malinaw na dahilan, ang pangalang "Teorya ng Impormasyon" ay may mas malaking epekto sa publiko, kaya naman pinili ito ni Shannon, at ito ang pangalan na alam natin hanggang ngayon. Ang pangalan mismo ay nagmumungkahi na ang teorya ay tumatalakay sa impormasyon, na ginagawang mahalaga habang lumalalim tayo sa edad ng impormasyon. Sa kabanatang ito, tatalakayin ko ang ilang pangunahing konklusyon mula sa teoryang ito, magbibigay ako ng hindi mahigpit, ngunit intuitive na katibayan ng ilang indibidwal na probisyon ng teoryang ito, upang maunawaan mo kung ano talaga ang "Teorya ng Impormasyon", kung saan maaari mong ilapat ito. at kung saan hindi.
Una sa lahat, ano ang "impormasyon"? Tinutumbas ni Shannon ang impormasyon sa kawalan ng katiyakan. Pinili niya ang negatibong logarithm ng probabilidad ng isang kaganapan bilang isang quantitative measure ng impormasyong natatanggap mo kapag nangyari ang isang kaganapan na may probability p. Halimbawa, kung sasabihin ko sa iyo na ang panahon sa Los Angeles ay mahamog, kung gayon ang p ay malapit sa 1, na talagang hindi nagbibigay sa amin ng maraming impormasyon. Ngunit kung sasabihin kong umuulan sa Monterey noong Hunyo, magkakaroon ng kawalang-katiyakan sa mensahe at naglalaman ito ng higit pang impormasyon. Ang isang maaasahang kaganapan ay hindi naglalaman ng anumang impormasyon, dahil ang log 1 = 0.
Tingnan natin ito nang mas detalyado. Naniniwala si Shannon na ang quantitative measure ng impormasyon ay dapat na isang tuluy-tuloy na pag-andar ng probabilidad ng isang kaganapan p, at para sa mga independiyenteng kaganapan ito ay dapat na additive - ang dami ng impormasyon na nakuha bilang resulta ng paglitaw ng dalawang independiyenteng mga kaganapan ay dapat na katumbas ng dami ng impormasyong nakuha bilang resulta ng paglitaw ng magkasanib na kaganapan. Halimbawa, ang kinalabasan ng isang dice roll at isang coin roll ay karaniwang itinuturing bilang mga independiyenteng kaganapan. Isalin natin ang nasa itaas sa wika ng matematika. Kung ang I (p) ay ang dami ng impormasyong nakapaloob sa isang kaganapan na may posibilidad na p, kung gayon para sa magkasanib na kaganapan na binubuo ng dalawang independiyenteng mga kaganapan x na may posibilidad na p1 at y na may posibilidad na p2 ay nakuha namin.
(x at y ay independiyenteng mga kaganapan)
Ito ang functional na Cauchy equation, totoo para sa lahat ng p1 at p2. Upang malutas ang functional equation na ito, ipagpalagay na
p1 = p2 = p,
nagbibigay ito
Kung p1 = p2 at p2 = p kung gayon
atbp. Ang pagpapalawak ng prosesong ito gamit ang karaniwang pamamaraan para sa mga exponential, para sa lahat ng mga rational na numero m/n ang sumusunod ay totoo
Mula sa ipinapalagay na pagpapatuloy ng panukalang impormasyon, sumusunod na ang logarithmic function ay ang tanging tuloy-tuloy na solusyon sa Cauchy functional equation.
Sa teorya ng impormasyon, karaniwan na kunin ang logarithm base na 2, kaya ang binary choice ay naglalaman ng eksaktong 1 bit ng impormasyon. Samakatuwid, ang impormasyon ay sinusukat sa pamamagitan ng formula
Huminto tayo at unawain ang nangyari sa itaas. Una sa lahat, hindi namin tinukoy ang konsepto ng "impormasyon"; tinukoy lang namin ang formula para sa dami ng sukat nito.
Pangalawa, ang panukalang ito ay napapailalim sa kawalan ng katiyakan, at bagama't ito ay makatwirang angkop para sa mga makinaβhalimbawa, mga sistema ng telepono, radyo, telebisyon, kompyuter, atbpβhindi ito sumasalamin sa mga normal na saloobin ng tao sa impormasyon.
Pangatlo, ito ay isang kamag-anak na sukat, ito ay nakasalalay sa kasalukuyang estado ng iyong kaalaman. Kung titingnan mo ang isang stream ng "random na mga numero" mula sa isang random na generator ng numero, ipagpalagay mo na ang bawat susunod na numero ay hindi sigurado, ngunit kung alam mo ang formula para sa pagkalkula ng "random na mga numero", ang susunod na numero ay malalaman, at samakatuwid ay hindi naglalaman ng impormasyon.
Kaya ang kahulugan ng impormasyon ni Shannon ay angkop para sa mga makina sa maraming kaso, ngunit tila hindi umaangkop sa pang-unawa ng tao sa salita. Ito ay para sa kadahilanang ito na ang "Teorya ng Impormasyon" ay dapat na tinawag na "Teorya ng Komunikasyon." Gayunpaman, huli na upang baguhin ang mga kahulugan (na nagbigay sa teorya ng unang katanyagan nito, at nagdudulot pa rin sa mga tao na isipin na ang teoryang ito ay tumatalakay sa "impormasyon"), kaya kailangan nating mamuhay kasama sila, ngunit sa parehong oras dapat mong malinaw na nauunawaan kung gaano kalayo ang kahulugan ng impormasyon ni Shannon sa karaniwang ginagamit nitong kahulugan. Ang impormasyon ni Shannon ay tumatalakay sa isang bagay na ganap na naiiba, lalo na ang kawalan ng katiyakan.
Narito ang isang bagay na dapat isipin kapag nagmumungkahi ka ng anumang terminolohiya. Paano sumasang-ayon ang isang iminungkahing kahulugan, tulad ng kahulugan ng impormasyon ni Shannon, sa iyong orihinal na ideya at gaano ito naiiba? Halos walang termino na eksaktong sumasalamin sa iyong nakaraang pananaw ng isang konsepto, ngunit sa huli, ito ay ang terminolohiya na ginamit na sumasalamin sa kahulugan ng konsepto, kaya ang pag-formalize ng isang bagay sa pamamagitan ng malinaw na mga kahulugan ay palaging nagpapakilala ng ilang ingay.
Isaalang-alang ang isang sistema na ang alpabeto ay binubuo ng mga simbolo q na may probabilities pi. Sa kasong ito average na dami ng impormasyon sa system (inaasahang halaga nito) ay katumbas ng:
Ito ay tinatawag na entropy ng system na may probability distribution {pi}. Ginagamit namin ang terminong "entropy" dahil ang parehong mathematical form ay lumilitaw sa thermodynamics at statistical mechanics. Ito ang dahilan kung bakit ang terminong "entropy" ay lumilikha ng isang tiyak na aura ng kahalagahan sa paligid nito, na sa huli ay hindi makatwiran. Ang parehong matematikal na anyo ng notasyon ay hindi nagpapahiwatig ng parehong interpretasyon ng mga simbolo!
Ang entropy ng probability distribution ay gumaganap ng malaking papel sa coding theory. Ang hindi pagkakapantay-pantay ng Gibbs para sa dalawang magkaibang distribusyon ng probabilidad na pi at qi ay isa sa mahahalagang bunga ng teoryang ito. Kaya dapat nating patunayan iyon
Ang patunay ay batay sa isang malinaw na graph, Fig. 13.I, na nagpapakita na
at ang pagkakapantay-pantay ay makakamit lamang kapag x = 1. Ilapat natin ang hindi pagkakapantay-pantay sa bawat termino ng kabuuan mula sa kaliwang bahagi:
Kung ang alpabeto ng isang sistema ng komunikasyon ay binubuo ng mga simbolo ng q, pagkatapos ay kinuha ang posibilidad ng paghahatid ng bawat simbolo na qi = 1/q at pinapalitan ang q, nakukuha natin mula sa hindi pagkakapantay-pantay ng Gibbs
Larawan 13.I
Nangangahulugan ito na kung ang posibilidad ng pagpapadala ng lahat ng mga simbolo ng q ay pareho at katumbas ng - 1 / q, kung gayon ang pinakamataas na entropy ay katumbas ng ln q, kung hindi man ang hindi pagkakapantay-pantay ay humahawak.
Sa kaso ng isang natatanging decodable code, mayroon kaming hindi pagkakapantay-pantay ng Kraft
Ngayon kung tutukuyin natin ang mga pseudo-probability
saan syempre = 1, na sumusunod mula sa hindi pagkakapantay-pantay ni Gibbs,
at maglapat ng kaunting algebra (tandaan na ang K β€ 1, upang maibagsak natin ang logarithmic term, at marahil ay palakasin ang hindi pagkakapantay-pantay sa ibang pagkakataon), nakukuha natin
kung saan ang L ay ang average na haba ng code.
Kaya, ang entropy ay ang pinakamababang hangganan para sa anumang character-by-symbol code na may average na haba ng codeword L. Ito ang theorem ni Shannon para sa isang channel na walang interference.
Ngayon isaalang-alang ang pangunahing teorama tungkol sa mga limitasyon ng mga sistema ng komunikasyon kung saan ang impormasyon ay ipinadala bilang isang stream ng mga independiyenteng bit at ingay ay naroroon. Ito ay nauunawaan na ang posibilidad ng tamang paghahatid ng isang bit ay P > 1/2, at ang posibilidad na ang halaga ng bit ay mababaligtad sa panahon ng paghahatid (isang error ay magaganap) ay katumbas ng Q = 1 - P. Para sa kaginhawahan, kami ipagpalagay na ang mga error ay independyente at ang posibilidad ng isang error ay pareho para sa bawat ipinadala na bit - iyon ay, mayroong "puting ingay" sa channel ng komunikasyon.
Ang paraan na mayroon tayong mahabang stream ng n bits na naka-encode sa isang mensahe ay ang n - dimensional na extension ng one-bit code. Matutukoy natin ang halaga ng n mamaya. Isaalang-alang ang isang mensahe na binubuo ng mga n-bit bilang isang punto sa n-dimensional na espasyo. Dahil mayroon kaming isang n-dimensional na espasyo - at para sa pagiging simple ay ipagpalagay namin na ang bawat mensahe ay may parehong posibilidad ng paglitaw - mayroong M posibleng mga mensahe (M ay tutukuyin din sa ibang pagkakataon), samakatuwid ang posibilidad ng anumang mensahe na ipinadala ay
(nagpadala)
Iskedyul 13.II
Susunod, isaalang-alang ang ideya ng kapasidad ng channel. Nang walang mga detalye, ang kapasidad ng channel ay tinukoy bilang ang pinakamataas na dami ng impormasyon na mapagkakatiwalaang maipadala sa isang channel ng komunikasyon, na isinasaalang-alang ang paggamit ng pinaka mahusay na coding. Walang argumento na mas maraming impormasyon ang maaaring maipadala sa pamamagitan ng isang channel ng komunikasyon kaysa sa kapasidad nito. Maaari itong mapatunayan para sa isang binary symmetric channel (na ginagamit namin sa aming kaso). Ang kapasidad ng channel, kapag nagpapadala ng mga bit, ay tinukoy bilang
kung saan, tulad ng dati, ang P ay ang posibilidad na walang error sa anumang naipadalang bit. Kapag nagpapadala ng n independent bits, ang kapasidad ng channel ay ibinibigay ng
Kung malapit tayo sa kapasidad ng channel, dapat nating ipadala ang halos ganitong halaga ng impormasyon para sa bawat isa sa mga simbolo ai, i = 1, ..., M. Isinasaalang-alang na ang posibilidad ng paglitaw ng bawat simbolo ai ay 1 / M, nakukuha namin
kapag nagpadala kami ng alinman sa M equally probable messages ai, mayroon kami
Kapag n bits ay ipinadala, inaasahan namin ang nQ error na magaganap. Sa pagsasagawa, para sa isang mensahe na binubuo ng n-bits, magkakaroon tayo ng humigit-kumulang nQ error sa natanggap na mensahe. Para sa malaking n, kamag-anak na pagkakaiba-iba (variation = lapad ng pamamahagi, )
ang distribusyon ng bilang ng mga error ay magiging lalong makitid habang dumarami ang n.
Kaya, mula sa gilid ng transmitter, kinukuha ko ang mensahe ai upang ipadala at gumuhit ng isang globo sa paligid nito na may radius
na bahagyang mas malaki sa halagang katumbas ng e2 kaysa sa inaasahang bilang ng mga error Q, (Figure 13.II). Kung ang n ay sapat na malaki, kung gayon mayroong isang arbitraryong maliit na posibilidad ng isang punto ng mensahe bj na lumilitaw sa gilid ng receiver na umaabot sa kabila ng globo na ito. I-sketch natin ang sitwasyon habang nakikita ko ito mula sa punto ng view ng transmitter: mayroon tayong anumang radii mula sa ipinadalang mensahe ai hanggang sa natanggap na mensahe bj na may posibilidad ng error na katumbas (o halos katumbas) sa normal na pamamahagi, na umaabot sa maximum sa nQ. Para sa anumang ibinigay na e2, mayroong isang napakalaki na ang posibilidad na ang resultang punto bj ay nasa labas ng aking globo ay kasing liit ng gusto mo.
Ngayon tingnan natin ang parehong sitwasyon mula sa iyong panig (Larawan 13.III). Sa gilid ng receiver ay mayroong sphere S(r) ng parehong radius r sa paligid ng natanggap na punto bj sa n-dimensional space, na kung ang natanggap na mensahe bj ay nasa loob ng aking globo, kung gayon ang mensaheng ipinadala ko ay nasa loob ng iyong globo.
Paano maaaring mangyari ang isang error? Maaaring mangyari ang error sa mga kaso na inilarawan sa talahanayan sa ibaba:
Larawan 13.III
Dito makikita natin na kung sa sphere na itinayo sa paligid ng natanggap na punto ay mayroong hindi bababa sa isa pang punto na tumutugma sa isang posibleng ipinadalang hindi naka-encode na mensahe, kung gayon ang isang error ay naganap sa panahon ng paghahatid, dahil hindi mo matukoy kung alin sa mga mensaheng ito ang naipadala. Ang ipinadalang mensahe ay walang error lamang kung ang puntong katumbas nito ay nasa globo, at walang ibang mga puntos na posible sa ibinigay na code na nasa parehong globo.
Mayroon kaming mathematical equation para sa probabilidad ng error Pe kung naipadala ang mensahe ai
Maaari nating itapon ang unang salik sa ikalawang termino, kunin ito bilang 1. Sa gayon ay nakukuha natin ang hindi pagkakapantay-pantay
Malinaw,
Dahil dito
muling mag-apply sa huling termino sa kanan
Pagkuha n sapat na malaki, ang unang termino ay maaaring kunin na kasing liit ng ninanais, sabihin na mas mababa sa ilang bilang d. Samakatuwid mayroon kaming
Ngayon tingnan natin kung paano tayo makakagawa ng simpleng substitution code para i-encode ang mga mensaheng M na binubuo ng n bits. Dahil walang ideya kung paano eksaktong gumawa ng code (hindi pa naiimbento ang mga error-correcting code), pinili ni Shannon ang random coding. I-flip ang isang barya para sa bawat n bit sa mensahe at ulitin ang proseso para sa M na mensahe. Sa kabuuan, kailangang gawin ang nM coin flips, kaya posible
mga diksyunaryo ng code na may parehong posibilidad na Β½nM. Siyempre, ang random na proseso ng paglikha ng isang codebook ay nangangahulugan na may posibilidad ng mga duplicate, pati na rin ang mga code point na magiging malapit sa isa't isa at samakatuwid ay isang mapagkukunan ng mga posibleng error. Dapat patunayan ng isa na kung hindi ito mangyayari na may posibilidad na mas malaki kaysa sa anumang maliit na napiling antas ng error, kung gayon ang ibinigay na n ay sapat na malaki.
Ang mahalagang punto ay na-average ni Shannon ang lahat ng posibleng codebook upang mahanap ang karaniwang error! Gagamitin namin ang simbolo na Av[.] upang tukuyin ang average na halaga sa hanay ng lahat ng posibleng random na codebook. Ang pag-average sa isang pare-parehong d, siyempre, ay nagbibigay ng isang pare-pareho, dahil para sa pag-average ng bawat termino ay pareho sa bawat iba pang termino sa kabuuan,
na maaaring dagdagan (Mβ1 papunta sa M)
Para sa anumang ibinigay na mensahe, kapag nag-a-average sa lahat ng mga codebook, ang pag-encode ay tumatakbo sa lahat ng posibleng halaga, kaya ang average na posibilidad na ang isang punto ay nasa isang globo ay ang ratio ng volume ng globo sa kabuuang volume ng espasyo. Ang dami ng globo ay
kung saan ang s=Q+e2 <1/2 at ns ay dapat na isang integer.
Ang huling termino sa kanan ay ang pinakamalaki sa kabuuan na ito. Una, tantyahin natin ang halaga nito gamit ang Stirling formula para sa mga factorial. Pagkatapos ay titingnan natin ang bumababa na koepisyent ng termino sa harap nito, tandaan na ang koepisyent na ito ay tumataas habang tayo ay lumilipat sa kaliwa, at upang maaari nating: (1) paghigpitan ang halaga ng kabuuan sa kabuuan ng geometric na pag-unlad na may ang paunang koepisyent na ito, (2) palawakin ang geometric na pag-unlad mula sa mga termino ng ns sa isang walang katapusang bilang ng mga termino, (3) kalkulahin ang kabuuan ng isang walang katapusang geometric na pag-unlad (standard na algebra, walang kabuluhan) at sa wakas ay makuha ang naglilimitang halaga (para sa isang sapat na laki. n):
Pansinin kung paano lumitaw ang entropy H(s) sa binomial identity. Tandaan na ang pagpapalawak ng serye ng Taylor H(s)=H(Q+e2) ay nagbibigay ng pagtatantya na nakuha na isinasaalang-alang lamang ang unang derivative at binabalewala ang lahat ng iba pa. Ngayon, pagsama-samahin natin ang huling expression:
saan
Ang kailangan lang nating gawin ay piliin ang e2 tulad na e3 < e1, at pagkatapos ay ang huling termino ay arbitraryong maliit, hangga't n ay sapat na malaki. Dahil dito, ang average na error sa PE ay maaaring makuha nang kasing liit ng ninanais na may kapasidad ng channel na arbitraryong malapit sa C.
Kung ang average ng lahat ng mga code ay may sapat na maliit na error, kung gayon hindi bababa sa isang code ang dapat na angkop, kaya mayroong hindi bababa sa isang angkop na sistema ng coding. Ito ay isang mahalagang resulta na nakuha ni Shannon - "Shannon's theorem para sa isang maingay na channel", bagaman dapat tandaan na pinatunayan niya ito para sa isang mas pangkalahatang kaso kaysa sa simpleng binary symmetric channel na ginamit ko. Para sa pangkalahatang kaso, ang mga kalkulasyon sa matematika ay mas kumplikado, ngunit ang mga ideya ay hindi gaanong naiiba, kaya madalas, gamit ang halimbawa ng isang partikular na kaso, maaari mong ihayag ang tunay na kahulugan ng teorama.
Punahin natin ang resulta. Paulit-ulit naming inulit: "Para sa sapat na laki n." Ngunit gaano kalaki ang n? Napakalaki kung gusto mo talagang maging malapit sa kapasidad ng channel at siguraduhing tama ang paglilipat ng data! Napakalaki, sa katunayan, na kailangan mong maghintay ng napakatagal na panahon upang makaipon ng mensahe ng sapat na mga piraso upang i-encode ito sa ibang pagkakataon. Sa kasong ito, ang laki ng random na code na diksyunaryo ay magiging napakalaki (pagkatapos ng lahat, ang gayong diksyunaryo ay hindi maaaring katawanin sa isang mas maikling anyo kaysa sa kumpletong listahan ng lahat ng Mn bit, sa kabila ng katotohanan na ang n at M ay napakalaki)!
Iniiwasan ng mga error-correcting code na maghintay ng napakahabang mensahe at pagkatapos ay i-encode at i-decode ito sa pamamagitan ng napakalaking codebook dahil iniiwasan nila ang mga codebook mismo at gumagamit na lang sila ng ordinaryong computation. Sa simpleng teorya, ang mga naturang code ay may posibilidad na mawalan ng kakayahang lumapit sa kapasidad ng channel at nagpapanatili pa rin ng mababang rate ng error, ngunit kapag naitama ng code ang isang malaking bilang ng mga error, mahusay ang kanilang pagganap. Sa madaling salita, kung maglalaan ka ng ilang kapasidad ng channel sa pagwawasto ng error, dapat mong gamitin ang kakayahan sa pagwawasto ng error sa halos lahat ng oras, ibig sabihin, isang malaking bilang ng mga error ang dapat itama sa bawat mensaheng ipinadala, kung hindi, sayangin mo ang kapasidad na ito.
Kasabay nito, ang theorem na pinatunayan sa itaas ay hindi pa rin walang kahulugan! Ipinapakita nito na ang mga mahusay na sistema ng paghahatid ay dapat gumamit ng matalinong mga scheme ng pag-encode para sa napakahabang bit na mga string. Ang isang halimbawa ay ang mga satellite na lumipad sa kabila ng mga panlabas na planeta; Habang lumalayo sila sa Earth at sa Araw, napipilitan silang itama ang parami nang parami ng mga error sa data block: ang ilang mga satellite ay gumagamit ng mga solar panel, na nagbibigay ng humigit-kumulang 5 W, ang iba ay gumagamit ng mga mapagkukunan ng nuclear power, na nagbibigay ng halos parehong kapangyarihan. Ang mababang kapangyarihan ng power supply, ang maliit na sukat ng mga transmiter dish at ang limitadong laki ng mga receiver dish sa Earth, ang napakalaking distansya na dapat ilakbay ng signal - lahat ng ito ay nangangailangan ng paggamit ng mga code na may mataas na antas ng error correction upang makabuo ng isang epektibong sistema ng komunikasyon.
Bumalik tayo sa n-dimensional na espasyo na ginamit natin sa patunay sa itaas. Sa pagtalakay nito, ipinakita namin na halos ang buong volume ng globo ay puro malapit sa panlabas na ibabaw - kaya, halos tiyak na ang ipinadalang signal ay matatagpuan malapit sa ibabaw ng globo na binuo sa paligid ng natanggap na signal, kahit na may medyo maliit na radius ng naturang globo. Samakatuwid, hindi nakakagulat na ang natanggap na signal, pagkatapos iwasto ang isang di-makatwirang malaking bilang ng mga error, nQ, ay lumalabas na arbitraryong malapit sa isang signal na walang mga error. Ang kapasidad ng link na tinalakay natin kanina ay ang susi sa pag-unawa sa hindi pangkaraniwang bagay na ito. Tandaan na ang mga katulad na sphere na ginawa para sa pagwawasto ng error sa mga Hamming code ay hindi magkakapatong sa isa't isa. Ang malaking bilang ng halos orthogonal na mga dimensyon sa n-dimensional na espasyo ay nagpapakita kung bakit maaari tayong magkasya sa mga M sphere sa espasyo na may kaunting overlap. Kung papayagan namin ang isang maliit, arbitraryong maliit na overlap, na maaaring humantong sa isang maliit na bilang ng mga error sa panahon ng pag-decode, maaari kaming makakuha ng isang siksik na pagkakalagay ng mga sphere sa espasyo. Ginagarantiyahan ng Hamming ang isang tiyak na antas ng pagwawasto ng error, Shannon - isang mababang posibilidad ng error, ngunit sa parehong oras na pinapanatili ang aktwal na throughput na arbitraryong malapit sa kapasidad ng channel ng komunikasyon, na hindi maaaring gawin ng mga Hamming code.
Hindi sinasabi sa atin ng teorya ng impormasyon kung paano magdisenyo ng isang mahusay na sistema, ngunit itinuturo nito ang daan patungo sa mahusay na mga sistema ng komunikasyon. Ito ay isang mahalagang tool para sa pagbuo ng machine-to-machine na mga sistema ng komunikasyon, ngunit, tulad ng nabanggit kanina, ito ay may maliit na kaugnayan sa kung paano nakikipag-usap ang mga tao sa isa't isa. Ang lawak kung saan ang biological inheritance ay tulad ng mga teknikal na sistema ng komunikasyon ay hindi alam, kaya hindi malinaw sa kasalukuyan kung paano nalalapat ang teorya ng impormasyon sa mga gene. Wala tayong pagpipilian kundi subukan, at kung ang tagumpay ay nagpapakita sa atin ng katulad ng makina na katangian ng hindi pangkaraniwang bagay na ito, kung gayon ang kabiguan ay magtuturo sa iba pang mahahalagang aspeto ng kalikasan ng impormasyon.
Huwag tayong masyadong lumihis. Nakita natin na ang lahat ng orihinal na kahulugan, sa mas malaki o mas maliit na lawak, ay dapat ipahayag ang kakanyahan ng ating orihinal na mga paniniwala, ngunit ang mga ito ay nailalarawan sa pamamagitan ng ilang antas ng pagbaluktot at samakatuwid ay hindi naaangkop. Tradisyonal na tinatanggap na, sa huli, ang kahulugang ginagamit natin ay talagang tumutukoy sa kakanyahan; ngunit, ito ay nagsasabi lamang sa amin kung paano iproseso ang mga bagay at sa anumang paraan ay hindi nagbibigay ng anumang kahulugan sa amin. Ang postulational na diskarte, na labis na pinapaboran sa mga bilog sa matematika, ay nag-iiwan ng maraming nais sa pagsasanay.
Ngayon ay titingnan natin ang isang halimbawa ng mga pagsubok sa IQ kung saan ang kahulugan ay kasing circular na gusto mo at, bilang resulta, nakakapanlinlang. Isang pagsubok ang nilikha na dapat sukatin ang katalinuhan. Pagkatapos ay binago ito upang gawin itong pare-pareho hangga't maaari, at pagkatapos ito ay nai-publish at, sa isang simpleng pamamaraan, na-calibrate upang ang "katalinuhan" na sinusukat ay lumabas na normal na ipinamamahagi (sa isang calibration curve, siyempre). Dapat suriing muli ang lahat ng mga kahulugan, hindi lamang noong unang iminungkahi ang mga ito, kundi pati na rin sa ibang pagkakataon, kapag ginamit ang mga ito sa mga iginuhit na konklusyon. Hanggang saan ang mga hangganan ng kahulugan na angkop para sa problemang nalulutas? Gaano kadalas mailalapat ang mga kahulugang ibinigay sa isang setting sa medyo magkaibang mga setting? Madalas itong nangyayari! Sa humanities, na hindi mo maiiwasang makatagpo sa iyong buhay, ito ay nangyayari nang mas madalas.
Kaya, ang isa sa mga layunin ng pagtatanghal na ito ng teorya ng impormasyon, bilang karagdagan sa pagpapakita ng pagiging kapaki-pakinabang nito, ay upang bigyan ka ng babala sa panganib na ito, o upang ipakita sa iyo nang eksakto kung paano gamitin ito upang makuha ang nais na resulta. Matagal nang nabanggit na tinutukoy ng mga paunang kahulugan kung ano ang makikita mo sa huli, sa mas malaking lawak kaysa sa tila. Ang mga paunang kahulugan ay nangangailangan ng maraming atensyon mula sa iyo, hindi lamang sa anumang bagong sitwasyon, kundi pati na rin sa mga lugar kung saan ka nagtatrabaho nang mahabang panahon. Ito ay magbibigay-daan sa iyo upang maunawaan kung hanggang saan ang mga resulta na nakuha ay isang tautolohiya at hindi isang bagay na kapaki-pakinabang.
Ang sikat na kuwento ni Eddington ay nagsasabi tungkol sa mga taong nangingisda sa dagat gamit ang lambat. Matapos pag-aralan ang laki ng isda na kanilang nahuli, natukoy nila ang pinakamababang sukat ng isda na matatagpuan sa dagat! Ang kanilang konklusyon ay hinimok ng instrumentong ginamit, hindi ng katotohanan.
Upang patuloy ...
Sino ang gustong tumulong sa pagsasalin, layout at paglalathala ng aklat - magsulat sa isang personal na mensahe o email [protektado ng email]
Sa pamamagitan ng paraan, inilunsad din namin ang pagsasalin ng isa pang cool na libro - )
Lalo na kaming naghahanap mga tutulong sa pagsasalin . (ilipat sa loob ng 10 minuto, ang unang 20 ay nakuha na)
Mga nilalaman ng aklat at isinalin na mga kabanata
- Intro sa The Art of Doing Science and Engineering: Learning to Learn (Marso 28, 1995)
- "Mga Pundasyon ng Digital (Discrete) Revolution" (Marso 30, 1995)
- "Kasaysayan ng mga Kompyuter - Hardware" (Marso 31, 1995)
- "Kasaysayan ng Mga Kompyuter - Software" (Abril 4, 1995)
- "History of Computers - Applications" (Abril 6, 1995)
- "Artificial Intelligence - Part I" (Abril 7, 1995)
- "Artificial Intelligence - Part II" (Abril 11, 1995)
- "Artificial Intelligence III" (Abril 13, 1995)
- "n-Dimensional Space" (Abril 14, 1995)
- "Coding Theory - The Representation of Information, Part I" (Abril 18, 1995)
- "Coding Theory - The Representation of Information, Part II" (Abril 20, 1995)
- "Mga Kodigo sa Pagwawasto ng Error" (Abril 21, 1995)
- "Teorya ng Impormasyon" (Abril 25, 1995)
- "Mga Digital na Filter, Bahagi I" (Abril 27, 1995)
- "Mga Digital na Filter, Bahagi II" (Abril 28, 1995)
- "Mga Digital na Filter, Bahagi III" (Mayo 2, 1995)
- "Mga Digital na Filter, Bahagi IV" (Mayo 4, 1995)
- "Simulation, Part I" (Mayo 5, 1995)
- "Simulation, Part II" (Mayo 9, 1995)
- "Simulation, Part III" (Mayo 11, 1995)
- "Fiber Optics" (Mayo 12, 1995)
- "Computer Aided Instruction" (Mayo 16, 1995)
- "Matematika" (Mayo 18, 1995)
- "Quantum Mechanics" (Mayo 19, 1995)
- "Pagiging Malikhain" (Mayo 23, 1995). Pagsasalin:
- "Mga Eksperto" (Mayo 25, 1995)
- "Hindi Maaasahang Data" (Mayo 26, 1995)
- "Systems Engineering" (Mayo 30, 1995)
- "Makukuha Mo ang Iyong Sukatin" (Hunyo 1, 1995)
- (Sa Hunyo 2, 1995) isalin sa loob ng 10 minutong mga tipak
- Hamming, "Ikaw at ang Iyong Pananaliksik" (Hunyo 6, 1995).
Sino ang gustong tumulong sa pagsasalin, layout at paglalathala ng aklat - magsulat sa isang personal na mensahe o email [protektado ng email]
Pinagmulan: www.habr.com