Among gibuhat!
"Ang katuyoan niini nga kurso mao ang pag-andam kanimo alang sa imong teknikal nga kaugmaon."
Hello, Habr. Hinumdomi ang makalilisang nga artikulo (+219, 2588 ka bookmark, 429k nabasa)?
So Hamming (oo, oo, pagmonitor sa kaugalingon ug pagkorihir sa kaugalingon ) naay tibuok , gisulat base sa iyang mga lecture. Among gihubad kini, tungod kay ang tawo nagsulti sa iyang hunahuna.
Kini usa ka libro dili lang bahin sa IT, kini usa ka libro bahin sa istilo sa panghunahuna sa labi ka cool nga mga tawo. βDili lang kini pagpausbaw sa positibong panghunahuna; kini naghulagway sa mga kondisyon nga makadugang sa kahigayonan sa pagbuhat ug dakong trabaho.β
Salamat kang Andrey Pakhomov sa paghubad.
Ang Teorya sa Impormasyon gimugna ni C. E. Shannon sa ulahing bahin sa 1940s. Ang pagdumala sa Bell Labs miinsistir nga gitawag niya kini nga "Teorya sa Komunikasyon" tungod kay ... kini usa ka mas tukma nga ngalan. Alang sa klaro nga mga hinungdan, ang ngalan nga "Teorya sa Impormasyon" adunay labi ka dako nga epekto sa publiko, mao nga gipili kini ni Shannon, ug kini ang ngalan nga nahibal-an naton hangtod karon. Ang ngalan mismo nagsugyot nga ang teorya naghisgot sa impormasyon, nga naghimo niini nga importante samtang kita mobalhin ngadto sa mas lawom nga impormasyon sa edad. Sa niini nga kapitulo, ako mohikap sa pipila ka mga nag-unang mga konklusyon gikan niini nga teorya, ako mohatag dili estrikto, apan hinoon intuitive nga ebidensya sa pipila ka mga indibidwal nga mga probisyon niini nga teorya, aron imong masabtan kon unsa ang "Information Theory" sa tinuod mao, diin kamo magamit niini. ug asa dili .
Una sa tanan, unsa ang "impormasyon"? Gipakasama ni Shannon ang kasayuran sa kawalay kasiguruhan. Gipili niya ang negatibo nga logarithm sa kalagmitan sa usa ka panghitabo isip usa ka quantitative nga sukod sa impormasyon nga imong madawat kung adunay usa ka panghitabo nga adunay posibilidad nga p mahitabo. Pananglitan, kung sultihan ko ikaw nga ang panahon sa Los Angeles gabon, unya ang p duol sa 1, nga wala gyud maghatag kanamo daghang kasayuran. Apan kung moingon ko nga nag-ulan sa Monterey sa Hunyo, adunay kawalay kasiguruhan sa mensahe ug kini adunay daghang kasayuran. Ang usa ka kasaligan nga panghitabo walay bisan unsang kasayuran, tungod kay ang log 1 = 0.
Atong tan-awon kini sa dugang nga detalye. Si Shannon nagtuo nga ang quantitative nga sukod sa impormasyon kinahanglan nga usa ka padayon nga function sa kalagmitan sa usa ka panghitabo p, ug alang sa independente nga mga panghitabo kinahanglan kini nga additive - ang gidaghanon sa impormasyon nga nakuha ingon nga resulta sa mga panghitabo sa duha ka independente nga mga panghitabo kinahanglan nga katumbas sa kantidad sa impormasyon nga nakuha isip resulta sa panghitabo sa usa ka hiniusang panghitabo. Pananglitan, ang resulta sa usa ka dice roll ug usa ka coin roll sagad nga giisip nga independente nga mga panghitabo. Atong hubaron ang naa sa ibabaw ngadto sa pinulongan sa matematika. Kung ang I (p) mao ang gidaghanon sa impormasyon nga anaa sa usa ka panghitabo nga adunay kalagmitan p, nan alang sa usa ka hiniusang panghitabo nga naglangkob sa duha ka independente nga mga panghitabo x nga adunay kalagmitan nga p1 ug y nga adunay posibilidad nga p2 atong makuha.
(x ug y independente nga mga panghitabo)
Kini ang functional Cauchy equation, tinuod sa tanang p1 ug p2. Aron masulbad kini nga functional equation, hunahunaa kana
p1 = p2 = p,
kini naghatag
Kung p1 = p2 ug p2 = p unya
ug uban pa. Ang pagpalapad niini nga proseso gamit ang standard nga pamaagi para sa exponentials, para sa tanang rational nga numero m/n ang mosunod tinuod
Gikan sa gituohan nga pagpadayon sa sukod sa impormasyon, kini nagsunod nga ang logarithmic function mao lamang ang padayon nga solusyon sa Cauchy functional equation.
Sa teorya sa impormasyon, kasagaran ang pagkuha sa logarithm base nga 2, mao nga ang binary nga pagpili adunay eksaktong 1 ka gamay nga impormasyon. Busa, ang impormasyon gisukod pinaagi sa pormula
Atong hunongon ug sabton ang nahitabo sa ibabaw. Una sa tanan, wala namo gihubit ang konsepto sa "impormasyon"; gihubit lang namo ang pormula alang sa quantitative measure niini.
Ikaduha, kini nga sukod ubos sa kawalay kasigurohan, ug bisan kini makatarunganon nga angay alang sa mga makina-pananglitan, mga sistema sa telepono, radyo, telebisyon, kompyuter, ug uban pa-kini wala magpakita sa normal nga kinaiya sa tawo ngadto sa impormasyon.
Ikatulo, kini usa ka relatibong sukod, kini nagdepende sa kasamtangan nga kahimtang sa imong kahibalo. Kung imong tan-awon ang usa ka sapa sa "random nga mga numero" gikan sa usa ka random nga numero generator, imong gihunahuna nga ang matag sunod nga numero dili sigurado, apan kung nahibal-an nimo ang pormula sa pagkalkula sa "random nga mga numero", ang sunod nga numero mahibal-an, ug busa dili. naglangkob sa impormasyon.
Busa ang kahulugan ni Shannon sa impormasyon haom alang sa mga makina sa daghang mga kaso, apan daw dili mohaum sa tawhanong pagsabot sa pulong. Mao kini ang hinungdan nga ang "Teorya sa Impormasyon" kinahanglan nga tawgon nga "Teorya sa Komunikasyon." Bisan pa, ulahi na ang pag-usab sa mga kahulugan (nga naghatag sa teorya sa una nga pagkapopular, ug nga naghimo gihapon sa mga tawo nga maghunahuna nga kini nga teorya naghisgot sa "impormasyon"), mao nga kinahanglan naton nga magpuyo uban kanila, apan sa parehas nga oras kinahanglan nimo. tin-aw nga masabtan kung unsa ka layo ang kahulugan ni Shannon sa impormasyon gikan sa kasagarang gigamit nga kahulogan niini. Ang kasayuran ni Shannon naghisgot sa usa ka butang nga hingpit nga lahi, nga mao ang kawalay kasiguruhan.
Ania ang usa ka butang nga hunahunaon kung nagsugyot ka og bisan unsang terminolohiya. Giunsa nga ang usa ka gisugyot nga kahulugan, sama sa kahulugan ni Shannon sa kasayuran, mouyon sa imong orihinal nga ideya ug unsa kini ka lahi? Halos walaβy termino nga eksakto nga nagpakita sa imong miaging panan-awon sa usa ka konsepto, apan sa katapusan, ang terminolohiya nga gigamit nga nagpakita sa kahulugan sa konsepto, mao nga ang pagpormal sa usa ka butang pinaagi sa tin-aw nga mga kahulugan kanunay nga nagpaila sa pipila ka kasaba.
Hunahunaa ang usa ka sistema kansang alpabeto naglangkob sa mga simbolo q nga adunay probabilities pi. Niini nga kaso average nga kantidad sa impormasyon sa sistema (ang gipaabot nga bili) katumbas sa:
Gitawag kini nga entropy sa sistema nga adunay probability distribution {pi}. Gigamit namon ang termino nga "entropy" tungod kay ang parehas nga porma sa matematika makita sa thermodynamics ug statistical mechanics. Mao kini ang hinungdan ngano nga ang termino nga "entropy" nagmugna sa usa ka piho nga aura nga hinungdanon sa palibot sa iyang kaugalingon, nga sa katapusan dili makatarunganon. Ang parehas nga mathematical nga porma sa notasyon wala magpasabot sa parehas nga interpretasyon sa mga simbolo!
Ang entropy sa probability distribution adunay dakong papel sa coding theory. Ang dili pagkaparehas sa Gibbs alang sa duha ka lainlain nga pag-apod-apod sa posibilidad nga pi ug qi usa sa hinungdanon nga sangputanan niini nga teorya. Busa kinahanglan natong pamatud-an kana
Ang pamatuod gibase sa usa ka dayag nga graph, Fig. 13.I, nga nagpakita niana
ug ang pagkaparehas makab-ot lamang kung x = 1. Atong gamiton ang dili managsama sa matag termino sa sum gikan sa wala nga bahin:
Kung ang alpabeto sa usa ka sistema sa komunikasyon naglangkob sa q nga mga simbolo, unya pagkuha sa kalagmitan sa pagpasa sa matag simbolo qi = 1/q ug pag-ilis sa q, atong makuha gikan sa pagkadili managsama sa Gibbs
Hulagway 13.I
Kini nagpasabot nga kung ang kalagmitan sa pagpasa sa tanan nga mga simbolo sa q parehas ug parehas sa - 1 / q, nan ang labing kataas nga entropy parehas sa ln q, kung dili ang dili managsama nga pagkapareho.
Sa kaso sa usa ka talagsaon nga decodable code, kita adunay Kraft's inequality
Karon kung atong gihubit ang mga pseudo-probability
diin siyempre = 1, nga nagsunod gikan sa pagkadili managsama ni Gibbs,
ug gamita ang gamay nga algebra (hinumdomi nga ang K β€ 1, aron atong ihulog ang logarithmic nga termino, ug tingali mapalig-on ang pagkadili managsama sa ulahi), makuha nato
diin ang L mao ang kasagaran nga gitas-on sa code.
Busa, ang entropy mao ang minimum nga bound para sa bisan unsang karakter-sa-simbolo nga code nga adunay kasagaran nga codeword nga gitas-on L. Kini ang theorem ni Shannon alang sa usa ka channel nga walay interference.
Karon tagda ang nag-unang teorama mahitungod sa mga limitasyon sa mga sistema sa komunikasyon diin ang impormasyon gipasa ingon nga usa ka sapa sa independente nga mga piraso ug kasaba anaa. Nasabtan nga ang kalagmitan sa husto nga transmission sa usa ka bit mao ang P > 1/2, ug ang kalagmitan nga ang gamay nga bili nga balit-ad sa panahon sa transmission (usa ka sayop mahitabo) mao ang katumbas sa Q = 1 - P. Alang sa kasayon, kita hunahunaa nga ang mga kasaypanan independente ug ang posibilidad sa usa ka sayup parehas alang sa matag gipadala nga bit - nga mao, adunay "puti nga kasaba" sa channel sa komunikasyon.
Ang paagi nga kita adunay taas nga sapa sa n bits nga gi-encode sa usa ka mensahe mao ang n - dimensional nga extension sa usa ka bit code. Atong mahibal-an ang bili sa n sa ulahi. Hunahunaa ang usa ka mensahe nga naglangkob sa n-bits isip usa ka punto sa n-dimensional nga luna. Tungod kay kita adunay usa ka n-dimensional nga luna - ug alang sa kayano atong hunahunaon nga ang matag mensahe adunay sama nga kalagmitan sa panghitabo - adunay M posible nga mga mensahe (M usab ipasabut sa ulahi), busa ang kalagmitan sa bisan unsa nga mensahe nga gipadala mao ang
(nagpadala)
Iskedyul 13.II
Sunod, hunahunaa ang ideya sa kapasidad sa channel. Kung walaβy pag-adto sa mga detalye, ang kapasidad sa channel gihubit ingon ang labing kadaghan nga kasayuran nga masaligan nga mapasa sa usa ka channel sa komunikasyon, nga gikonsiderar ang paggamit sa labing episyente nga coding. Walay argumento nga mas daghang impormasyon ang mapasa pinaagi sa usa ka channel sa komunikasyon kay sa kapasidad niini. Mahimo kini nga mapamatud-an alang sa usa ka binary symmetric channel (nga among gigamit sa among kaso). Ang kapasidad sa channel, kung magpadala mga bit, gipiho nga
diin, sama kaniadto, ang P mao ang kalagmitan nga walay sayup sa bisan unsang gipadala nga bit. Sa pagpadala sa n independent bits, ang kapasidad sa channel gihatag sa
Kon kita duol sa channel kapasidad, nan kita kinahanglan gayud nga ipadala hapit niini nga kantidad sa impormasyon alang sa matag usa sa mga simbolo ai, i = 1, ..., M. Gikonsiderar nga ang kalagmitan sa panghitabo sa matag simbolo ai mao ang 1 / M, atong makuha
sa diha nga kami magpadala sa bisan unsa sa M parehas nga posible nga mga mensahe ai, kami adunay
Kung gipadala ang n bit, gipaabut namon nga adunay mga sayup nga nQ. Sa praktis, alang sa usa ka mensahe nga naglangkob sa n-bits, kita adunay gibana-bana nga nQ mga sayop sa nadawat nga mensahe. Para sa dako nga n, relatibong kalainan (pagkalainlain = gilapdon sa pag-apod-apod, )
ang pag-apod-apod sa gidaghanon sa mga kasaypanan mahimong mas pig-ot samtang ang n pagtaas.
Mao nga, gikan sa bahin sa transmitter, gikuha nako ang mensahe ai aron ipadala ug idrowing ang usa ka sphere sa palibot niini nga adunay radius
nga mas dako og gamay sa kantidad nga katumbas sa e2 kay sa gipaabot nga gidaghanon sa mga sayop Q, (Figure 13.II). Kung ang n igo nga dako, nan adunay usa ka arbitraryong gamay nga posibilidad sa usa ka punto sa mensahe bj nga makita sa kilid sa tigdawat nga milabaw sa kini nga sphere. Atong sketch ang sitwasyon sama sa akong nakita gikan sa punto sa panglantaw sa transmitter: kita adunay bisan unsa nga radii gikan sa gipadala nga mensahe ai ngadto sa nadawat nga mensahe bj uban sa usa ka kalagmitan sa sayop nga katumbas (o halos managsama) sa normal nga pag-apod-apod, pagkab-ot sa usa ka maximum sa nQ. Alang sa bisan unsang gihatag nga e2, adunay usa ka dako nga n nga ang posibilidad nga ang sangputanan nga punto bj naa sa gawas sa akong sphere gamay ra sa gusto nimo.
Karon atong tan-awon ang sama nga sitwasyon gikan sa imong kilid (Fig. 13.III). Sa kilid sa tigdawat adunay usa ka sphere S(r) sa parehas nga radius r palibot sa nadawat nga punto bj sa n-dimensional nga wanang, nga kung ang nadawat nga mensahe bj naa sa sulod sa akong sphere, nan ang mensahe nga gipadala nako naa sa sulod sa imong lingin.
Sa unsang paagi mahitabo ang usa ka sayop? Ang sayup mahimong mahitabo sa mga kaso nga gihulagway sa lamesa sa ubos:
Hulagway 13.III
Dinhi atong makita nga kung sa sphere nga gitukod sa palibot sa nadawat nga punto adunay labing menos usa pa ka punto nga katumbas sa usa ka posible nga gipadala nga wala ma-encode nga mensahe, nan usa ka sayup ang nahitabo sa panahon sa transmission, tungod kay dili nimo mahibal-an kung hain niini nga mga mensahe ang gipasa. Ang gipadala nga mensahe walay sayop lamang kung ang punto nga katumbas niini anaa sa sphere, ug walay laing mga punto nga posible sa gihatag nga code nga anaa sa samang sphere.
Kita adunay usa ka mathematical equation alang sa kalagmitan sa sayop Pe kon mensahe ai gipadala
Mahimo natong ilabay ang unang butang sa ikaduhang termino, isipon kini nga 1. Sa ingon atong makuha ang dili managsama
Dayag nga,
Tungod niini
pag-apply pag-usab sa katapusang termino sa tuo
Pagkuha sa n igo nga dako, ang unang termino mahimong kuhaon ingon ka gamay nga gusto, ingon nga gamay sa pila ka numero d. Busa kami adunay
Karon atong tan-awon kung giunsa nato paghimo ang usa ka yano nga substitution code aron ma-encode ang M nga mga mensahe nga naglangkob sa n bits. Wala'y ideya kung giunsa paghimo ang usa ka code (wala pa naimbento ang mga kodigo sa pagtul-id sa sayup), gipili ni Shannon ang random coding. I-flip ang usa ka sensilyo alang sa matag usa sa mga n bit sa mensahe ug balika ang proseso alang sa M nga mga mensahe. Sa kinatibuk-an, kinahanglan nga buhaton ang nM coin flips, aron mahimo kini
mga diksyonaryo sa code nga adunay parehas nga posibilidad nga Β½nM. Siyempre, ang random nga proseso sa paghimo sa usa ka codebook nagpasabot nga adunay posibilidad sa mga duplicate, ingon man mga code point nga magkaduol sa usag usa ug busa mahimong tinubdan sa posibleng mga sayop. Kinahanglang pamatud-an sa usa nga kung dili kini mahitabo nga adunay posibilidad nga labi pa sa bisan unsang gamay nga gipili nga lebel sa sayup, nan ang gihatag nga n igo nga dako.
Ang hinungdanon nga punto mao nga gi-average ni Shannon ang tanan nga posible nga mga codebook aron makit-an ang kasagaran nga sayup! Atong gamiton ang simbolo nga Av[.] aron ipasabot ang kasagarang bili sa set sa tanang posibleng random codebooks. Ang pag-average sa usa ka kanunay nga d, siyempre, naghatag usa ka makanunayon, tungod kay alang sa pag-aberids sa matag termino parehas sa matag uban nga termino sa suma,
nga mahimong madugangan (Mβ1 moadto sa M)
Alang sa bisan unsang gihatag nga mensahe, kung mag-average sa tanan nga mga codebook, ang pag-encode modagan sa tanan nga posible nga mga kantidad, busa ang kasagaran nga posibilidad nga ang usa ka punto naa sa usa ka sphere mao ang ratio sa volume sa sphere sa kinatibuk-ang volume sa wanang. Ang gidaghanon sa bola mao ang
diin ang s=Q+e2 <1/2 ug ns kinahanglang integer.
Ang katapusang termino sa tuo mao ang pinakadako niini nga kantidad. Una, atong banabanaon ang bili niini gamit ang pormula sa Stirling para sa mga factorial. Atong tan-awon unya ang nagkunhod nga coefficient sa termino sa atubangan niini, timan-i nga kini nga coefficient nagdugang samtang kita mobalhin sa wala, ug aron mahimo nato: (1) limitahan ang bili sa sum ngadto sa sum sa geometric nga pag-uswag uban sa kini nga inisyal nga coefficient, (2) pagpalapad sa geometric nga pag-uswag gikan sa mga termino sa ns ngadto sa usa ka walay kinutuban nga gidaghanon sa mga termino, (3) kuwentaha ang sumada sa usa ka walay kinutuban nga geometriko nga pag-uswag (standard algebra, walay mahinungdanon) ug sa katapusan makuha ang limitasyon nga bili (alang sa igo nga dako. n):
Matikdi kung giunsa ang entropy H(s) nagpakita sa binomial identity. Timan-i nga ang pagpalapad sa serye sa Taylor H(s)=H(Q+e2) naghatag ug banabana nga nakuha nga gikonsiderar lamang ang unang derivative ug gibalewala ang tanan. Karon atong ibutang ang katapusan nga ekspresyon:
diin
Ang kinahanglan lang natong buhaton mao ang pagpili sa e2 sa ingon nga e3 < e1, ug unya ang katapusang termino mahimong gamay ra, basta n igo ang kadako. Tungod niini, ang kasagaran nga sayup sa PE mahimong makuha nga gamay sama sa gusto nga adunay kapasidad sa channel nga arbitraryong duol sa C.
Kung ang kasagaran sa tanan nga mga code adunay gamay nga igo nga sayup, nan labing menos usa ka code ang angay, busa adunay labing menos usa ka angay nga sistema sa coding. Kini usa ka importante nga resulta nga nakuha ni Shannon - "Shannon's theorem alang sa usa ka saba nga channel", bisan tuod kinahanglan nga matikdan nga iyang gipamatud-an kini alang sa usa ka mas kinatibuk-ang kaso kay sa yano nga binary symmetric channel nga akong gigamit. Alang sa kinatibuk-ang kaso, ang mga kalkulasyon sa matematika mas komplikado, apan ang mga ideya dili kaayo lahi, mao nga kasagaran, gamit ang panig-ingnan sa usa ka partikular nga kaso, mahimo nimong ipadayag ang tinuod nga kahulogan sa theorem.
Atong sawayon ang resulta. Kami balik-balik nga gisubli: "Alang sa igo nga dako n." Apan unsa ka dako ang n? Kaayo, dako kaayo kung gusto nimo nga mahimong duol sa kapasidad sa channel ug siguroha ang husto nga pagbalhin sa datos! Dako kaayo, sa pagkatinuod, nga kinahanglan ka nga maghulat og dugay nga panahon aron makatigum og mensahe nga adunay igo nga mga piraso aron ma-encode kini sa ulahi. Sa kini nga kaso, ang gidak-on sa random code nga diksyonaryo mahimong dako kaayo (pagkahuman, ang ingon nga diksyonaryo dili mahimong representahan sa usa ka mas mubo nga porma kaysa usa ka kompleto nga lista sa tanan nga Mn bits, bisan pa sa kamatuoran nga ang n ug M dako kaayo)!
Ang mga error-correcting codes maglikay sa paghulat sa taas kaayo nga mensahe ug dayon pag-encode ug pag-decode niini pinaagi sa dagko kaayong mga codebook tungod kay ilang gilikayan ang mga codebook sa ilang kaugalingon ug naggamit hinuon og ordinaryo nga pag-compute. Sa yano nga teorya, ang ingon nga mga code lagmit nga mawad-an sa katakus sa pagduol sa kapasidad sa channel ug magpadayon gihapon ang usa ka gamay nga rate sa sayup, apan kung gitul-id sa code ang daghang mga sayup, maayo ang ilang nahimo. Sa laing pagkasulti, kung imong igahin ang pipila ka kapasidad sa channel sa pagtul-id sa sayup, nan kinahanglan nimo nga gamiton ang kapabilidad sa pagtul-id sa sayup sa kadaghanan sa panahon, i.e., daghang mga sayup ang kinahanglan nga tul-iron sa matag mensahe nga gipadala, kung dili nimo usikan kini nga kapasidad.
Sa samang higayon, ang teorama nga napamatud-an sa ibabaw dili gihapon walay kahulogan! Gipakita niini nga ang episyente nga mga sistema sa pagpasa kinahanglan mogamit mga maalamon nga mga laraw sa pag-encode alang sa taas kaayo nga mga kuwerdas. Ang usa ka pananglitan mao ang mga satelayt nga milupad lapas sa gawas nga mga planeta; Sa ilang pagpalayo gikan sa Yuta ug sa Adlaw, napugos sila sa pagtul-id sa dugang ug dugang nga mga sayop sa data block: ang ubang mga satelayt naggamit sa mga solar panel, nga naghatag og mga 5 W, ang uban naggamit sa nukleyar nga mga tinubdan sa gahum, nga naghatag sa sama nga gahum. Ang ubos nga gahum sa suplay sa kuryente, ang gamay nga gidak-on sa mga pinggan sa transmitter ug ang limitado nga gidak-on sa mga pinggan sa receiver sa Yuta, ang dako nga gilay-on nga kinahanglan nga pagbiyahe sa signal - kining tanan nanginahanglan paggamit sa mga code nga adunay taas nga lebel sa pagtul-id sa sayup aron makahimo usa ka epektibo nga sistema sa komunikasyon.
Balikan nato ang n-dimensional nga luna nga atong gigamit sa pamatuod sa ibabaw. Sa paghisgot niini, among gipakita nga halos ang tibuok nga volume sa globo kay gikonsentrar duol sa gawas nga nawong - sa ingon, halos sigurado nga ang gipadala nga signal mahimutang duol sa nawong sa sphere nga gitukod sa palibot sa nadawat nga signal, bisan sa medyo gamay nga radius sa ingon nga sphere. Busa, dili ikatingala nga ang nadawat nga signal, human sa pagtul-id sa usa ka arbitraryong dako nga gidaghanon sa mga sayop, nQ, nahimo nga arbitraryong duol sa usa ka signal nga walay mga sayop. Ang kapasidad sa link nga atong gihisgutan sa sayo pa mao ang yawe sa pagsabut niini nga panghitabo. Timan-i nga ang susamang mga sphere nga gihimo para sa pagtul-id sa sayop nga mga Hamming code dili magsapaw sa usag usa. Ang dako nga gidaghanon sa halos orthogonal nga mga dimensyon sa n-dimensional nga wanang nagpakita kon nganong kita makahaom sa M sphere sa kawanangan nga gamay ra ang pagsapaw. Kung atong tugutan ang usa ka gamay, arbitraryong gamay nga pagsapaw, nga mahimong mosangput sa gamay nga gidaghanon sa mga sayup sa panahon sa pag-decode, makakuha kita usa ka dasok nga pagbutang sa mga sphere sa kawanangan. Gigarantiyahan sa Hamming ang usa ka lebel sa pagtul-id sa sayup, Shannon - usa ka gamay nga posibilidad sa sayup, apan sa parehas nga oras nga gipadayon ang aktwal nga throughput nga arbitraryong duol sa kapasidad sa channel sa komunikasyon, nga dili mahimo sa mga code sa Hamming.
Ang teorya sa impormasyon wala magsulti kanato kung unsaon pagdesinyo ang usa ka episyente nga sistema, apan kini nagpunting sa dalan padulong sa episyente nga sistema sa komunikasyon. Kini usa ka bililhon nga himan alang sa pagtukod sa mga sistema sa komunikasyon sa machine-to-machine, apan, sama sa nahisgotan na, kini adunay gamay nga kalabotan kung giunsa ang mga tawo nakigsulti sa usag usa. Ang gidak-on nga ang biolohikal nga kabilin sama sa teknikal nga mga sistema sa komunikasyon wala mahibal-an, busa dili karon klaro kung giunsa ang teorya sa impormasyon magamit sa mga gene. Wala kami'y kapilian gawas sa pagsulay, ug kung ang kalampusan nagpakita kanamo nga sama sa makina nga kinaiya niini nga panghitabo, nan ang kapakyasan magpunting sa ubang hinungdanon nga aspeto sa kinaiyahan sa kasayuran.
Dili ta magsaba-saba. Atong nakita nga ang tanang orihinal nga mga depinisyon, sa mas dako o gamay nga gidak-on, kinahanglang magpahayag sa esensya sa atong orihinal nga mga pagtuo, apan kini gihulagway pinaagi sa pipila ka matang sa pagtuis ug busa dili magamit. Tradisyonal nga gidawat nga, sa katapusan, ang kahulugan nga atong gigamit sa tinuod naghubit sa esensya; apan, kini nagsulti lamang kanato kon unsaon pagproseso sa mga butang ug sa bisan unsang paagi wala maghatag ug bisan unsang kahulogan kanato. Ang postulational nga pamaagi, nga gipaboran pag-ayo sa mga sirkulo sa matematika, nagbilin ug daghan nga gitinguha sa praktis.
Karon atong tan-awon ang usa ka pananglitan sa mga pagsulay sa IQ diin ang kahulugan sama ka lingin sa gusto nimo ug, isip resulta, nagpahisalaag. Nahimo ang usa ka pagsulay nga aron masukod ang salabutan. Gibag-o dayon kini aron mahimo kini nga makanunayon kutob sa mahimo, ug dayon kini gipatik ug, sa usa ka yano nga pamaagi, gi-calibrate aron ang "intelligence" nga gisukod nahimo nga normal nga naapod-apod (sa usa ka kurba sa pagkakalibrate, siyempre). Ang tanan nga mga kahulugan kinahanglan nga susihon pag-usab, dili lamang kung kini una nga gisugyot, apan usab sa ulahi, kung kini gigamit sa mga konklusyon nga nakuha. Sa unsa nga gidak-on ang mga limitasyon sa kahulugan nga angay alang sa problema nga masulbad? Unsa ka sagad nga ang mga kahulugan nga gihatag sa usa ka kahimtang magamit sa lainlaing mga setting? Kanunay kini nga mahitabo! Sa humanities, nga dili kalikayan nga imong masugatan sa imong kinabuhi, kini mahitabo nga mas kanunay.
Busa, usa sa mga katuyoan niining presentasyon sa teorya sa impormasyon, dugang sa pagpakita sa kapuslanan niini, mao ang pagpasidaan kanimo niini nga kapeligrohan, o sa pagpakita kanimo sa tukma kon unsaon paggamit niini aron makuha ang gitinguhang resulta. Dugay na nga nahibal-an nga ang mga inisyal nga kahulugan nagtino kung unsa ang imong makit-an sa katapusan, sa labi ka dako nga gidak-on kaysa sa kung unsa kini. Ang mga pasiuna nga kahulugan nanginahanglan daghang atensyon gikan kanimo, dili lamang sa bisan unsang bag-ong kahimtang, apan usab sa mga lugar nga dugay ka nang nagtrabaho. Kini magtugot kanimo nga masabtan kung unsa ang gidak-on sa mga resulta nga nakuha usa ka tautology ug dili usa ka butang nga mapuslanon.
Ang bantog nga istorya ni Eddington nag-asoy sa mga tawo nga nangisda sa dagat gamit ang pukot. Human sa pagtuon sa gidak-on sa isda nga ilang nakuha, ilang gitino ang kinagamyang gidak-on sa isda nga makaplagan sa dagat! Ang ilang konklusyon gipalihok sa instrumento nga gigamit, dili sa kamatuoran.
Ipadayonβ¦
Kinsa ang gusto nga motabang sa paghubad, layout ug pagmantala sa libro - pagsulat sa usa ka personal nga mensahe o email [protektado sa email]
Pinaagi sa dalan, gilusad usab namo ang paghubad sa laing cool nga libro - )
Labi namong gipangita kadtong motabang sa paghubad , (pagbalhin sulod sa 10 minutos, ang unang 20 gikuha na)
Mga sulod sa libro ug gihubad nga mga kapitulo
- Intro sa The Art of Doing Science and Engineering: Pagkat-on sa Pagkat-on (Marso 28, 1995)
- "Mga Pundasyon sa Digital (Discrete) Revolution" (Marso 30, 1995)
- "Kasaysayan sa mga Kompyuter - Hardware" (Marso 31, 1995)
- "Kasaysayan sa mga Kompyuter - Software" (Abril 4, 1995)
- "Kasaysayan sa mga Kompyuter - Mga Aplikasyon" (Abril 6, 1995)
- "Artipisyal nga Kaalam - Bahin I" (Abril 7, 1995)
- "Artipisyal nga Kaalam - Bahin II" (Abril 11, 1995)
- "Artipisyal nga Kaalam III" (Abril 13, 1995)
- "n-Dimensional nga Luna" (Abril 14, 1995)
- "Teorya sa Coding - Ang Representasyon sa Impormasyon, Bahin I" (Abril 18, 1995)
- "Teorya sa Coding - Ang Representasyon sa Impormasyon, Bahin II" (Abril 20, 1995)
- "Mga Kodigo sa Pagtul-id sa Sayop" (Abril 21, 1995)
- "Teorya sa Impormasyon" (Abril 25, 1995)
- "Digital nga mga Filter, Bahin I" (Abril 27, 1995)
- "Digital nga mga Filter, Bahin II" (Abril 28, 1995)
- "Digital nga mga Filter, Bahin III" (Mayo 2, 1995)
- "Digital nga mga Filter, Bahin IV" (Mayo 4, 1995)
- "Simulation, Part I" (Mayo 5, 1995)
- "Simulasyon, Bahin II" (Mayo 9, 1995)
- "Simulation, Part III" (Mayo 11, 1995)
- "Fiber Optics" (Mayo 12, 1995)
- "Computer Aided Instruction" (Mayo 16, 1995)
- "Matematika" (Mayo 18, 1995)
- "Quantum Mechanics" (Mayo 19, 1995)
- "Pagmamugnaon" (Mayo 23, 1995). Paghubad:
- "Mga Eksperto" (Mayo 25, 1995)
- "Dili Masaligan nga Data" (Mayo 26, 1995)
- "Systems Engineering" (Mayo 30, 1995)
- "Makuha Mo ang Imong Sukdanan" (Hunyo 1, 1995)
- (Hunyo 2, 1995) paghubad sa 10 ka minuto nga mga tipak
- Hamming, "Ikaw ug ang Imong Panukiduki" (Hunyo 6, 1995).
Kinsa ang gusto nga motabang sa paghubad, layout ug pagmantala sa libro - pagsulat sa usa ka personal nga mensahe o email [protektado sa email]
Source: www.habr.com