Richard Hamming: Chapter 13. Alaye Alaye

A ṣe!

"Idi-ẹkọ ẹkọ yii ni lati mura ọ silẹ fun ọjọ iwaju imọ-ẹrọ rẹ.”

Richard Hamming: Chapter 13. Alaye AlayeHello, Habr. Ranti awọn oniyi article "Iwọ ati iṣẹ rẹ" (+219, 2588 bukumaaki, 429k kika)?

Nitorina Hamming (bẹẹni, bẹẹni, abojuto ara ẹni ati atunṣe ara ẹni Hamming awọn koodu) odidi kan wa iwe kan, ti a kọ da lori awọn ikowe rẹ. A tumọ rẹ, nitori ọkunrin naa sọ ọkan rẹ.

Eyi jẹ iwe kan kii ṣe nipa IT nikan, o jẹ iwe kan nipa ara ironu ti awọn eniyan tutu ti iyalẹnu. “Kii ṣe igbelaruge ironu rere nikan; o ṣapejuwe awọn ipo ti o mu awọn aye lati ṣe iṣẹ nla pọ si.”

O ṣeun si Andrey Pakhomov fun itumọ naa.

Ilana Alaye jẹ idagbasoke nipasẹ C.E. Shannon ni ipari awọn ọdun 1940. Isakoso Bell Labs tẹnumọ pe o pe ni “Ibaraẹnisọrọ Ibaraẹnisọrọ” nitori… Eyi jẹ orukọ deede diẹ sii. Fun awọn idi ti o han gbangba, orukọ "Imọ-ọrọ Alaye" ni ipa ti o tobi pupọ lori gbogbo eniyan, eyiti o jẹ idi ti Shannon fi yan rẹ, ati pe o jẹ orukọ ti a mọ titi di oni. Orukọ naa funrararẹ ni imọran pe ilana naa ṣe pẹlu alaye, eyiti o jẹ ki o ṣe pataki bi a ti n lọ jinle sinu ọjọ-ori alaye. Ninu ori yii, Emi yoo fi ọwọ kan ọpọlọpọ awọn ipinnu akọkọ lati imọran yii, Emi yoo pese kii ṣe ti o muna, ṣugbọn dipo awọn ẹri intuitive ti diẹ ninu awọn ipese kọọkan ti ilana yii, ki o le loye kini “Itọsọna Alaye” jẹ gangan, nibiti o le lo o. ati nibiti kii ṣe.

Ni akọkọ, kini “alaye”? Shannon dọgba alaye pẹlu aidaniloju. O yan logarithm odi ti iṣeeṣe iṣẹlẹ bi iwọn iwọn ti alaye ti o gba nigbati iṣẹlẹ kan pẹlu iṣeeṣe p waye. Fun apẹẹrẹ, ti MO ba sọ fun ọ pe oju ojo ni Los Angeles jẹ kurukuru, lẹhinna p wa nitosi 1, eyiti ko fun wa ni alaye pupọ. Ṣugbọn ti MO ba sọ pe ojo rọ ni Monterey ni Oṣu Karun, aidaniloju yoo wa ninu ifiranṣẹ naa ati pe yoo ni alaye diẹ sii. Iṣẹlẹ ti o gbẹkẹle ko ni alaye eyikeyi ninu, niwon log 1 = 0.

Jẹ ki a wo eyi ni awọn alaye diẹ sii. Shannon gbagbọ pe iwọn wiwọn ti alaye yẹ ki o jẹ iṣẹ ilọsiwaju ti iṣeeṣe iṣẹlẹ p, ati fun awọn iṣẹlẹ ominira o yẹ ki o jẹ afikun - iye alaye ti o gba bi abajade iṣẹlẹ ti awọn iṣẹlẹ ominira meji yẹ ki o dọgba si iye alaye ti o gba bi abajade iṣẹlẹ ti iṣẹlẹ apapọ kan. Fun apẹẹrẹ, awọn abajade ti a ṣẹ eerun ati ki o kan owo eerun ti wa ni maa mu bi ominira iṣẹlẹ. Jẹ ki a tumọ eyi ti o wa loke si ede ti mathimatiki. Ti I (p) jẹ iye alaye ti o wa ninu iṣẹlẹ pẹlu iṣeeṣe p, lẹhinna fun iṣẹlẹ apapọ kan ti o ni awọn iṣẹlẹ ominira meji x pẹlu iṣeeṣe p1 ati y pẹlu iṣeeṣe p2 a gba.

Richard Hamming: Chapter 13. Alaye Alaye
(x ati y jẹ awọn iṣẹlẹ ominira)

Eyi ni idogba Cauchy iṣẹ, ootọ fun gbogbo p1 ati p2. Lati yanju idogba iṣẹ-ṣiṣe yii, ro pe

p1 = p2 = p,

yi yoo fun

Richard Hamming: Chapter 13. Alaye Alaye

Ti p1 = p2 ati p2 = p lẹhinna

Richard Hamming: Chapter 13. Alaye Alaye

ati be be lo. Faagun ilana yii ni lilo ọna boṣewa fun awọn asọye, fun gbogbo awọn nọmba onipin m/n atẹle jẹ otitọ

Richard Hamming: Chapter 13. Alaye Alaye

Lati ilọsiwaju ti a ro pe iwọn alaye, o tẹle pe iṣẹ logarithmic jẹ ojutu lilọsiwaju nikan si idogba Cauchy iṣẹ.

Ninu ilana alaye, o jẹ wọpọ lati mu ipilẹ logarithm lati jẹ 2, nitorinaa yiyan alakomeji ni gangan 1 bit ti alaye. Nitorina, alaye jẹ iwọn nipasẹ agbekalẹ

Richard Hamming: Chapter 13. Alaye Alaye

Jẹ ki a sinmi ati loye ohun ti o ṣẹlẹ loke. Ni akọkọ, a ko ṣe asọye imọran ti “alaye”; a kan ṣalaye agbekalẹ fun iwọn titobi rẹ.

Èkejì, ìwọ̀n yìí wà lábẹ́ àìdánilójú, àti bí ó tilẹ̀ jẹ́ pé ó yẹ fún ẹ̀rọ—fún àpẹẹrẹ, àwọn ètò tẹlifóònù, rédíò, tẹlifíṣọ̀n, kọ̀ǹpútà, àti bẹ́ẹ̀ bẹ́ẹ̀ lọ—kò ṣàfihàn ìhùwàsí ènìyàn deedee sí ìsọfúnni.

Ni ẹkẹta, eyi jẹ iwọn ibatan, o da lori ipo lọwọlọwọ ti imọ rẹ. Ti o ba wo ṣiṣan ti “awọn nọmba ID” lati olupilẹṣẹ nọmba ID, o ro pe nọmba atẹle kọọkan ko ni idaniloju, ṣugbọn ti o ba mọ agbekalẹ fun iṣiro “awọn nọmba ID”, nọmba atẹle yoo jẹ mimọ, nitorinaa kii yoo mọ. ni alaye ninu.

Nitorinaa asọye alaye ti Shannon jẹ deede fun awọn ẹrọ ni ọpọlọpọ awọn ọran, ṣugbọn ko dabi pe o baamu oye eniyan ti ọrọ naa. Ìdí nìyí tí “Ìlànà Ìwífúnni” fi yẹ kí wọ́n pè ní “Ìlànà Ìbánisọ̀rọ̀.” Sibẹsibẹ, o ti pẹ pupọ lati yi awọn asọye pada (eyiti o fun imọran ni olokiki akọkọ rẹ, ati eyiti o tun jẹ ki awọn eniyan ro pe ilana yii ṣe pẹlu “alaye”), nitorinaa a ni lati gbe pẹlu wọn, ṣugbọn ni akoko kanna o gbọdọ ni oye ni kedere bi alaye ti Shannon ṣe jinna si itumọ rẹ ti o wọpọ. Alaye Shannon ṣe pẹlu nkan ti o yatọ patapata, eyun aidaniloju.

Eyi ni nkankan lati ronu nipa nigbati o ba daba eyikeyi awọn ọrọ-ọrọ. Bawo ni itumọ ti a dabaa, gẹgẹbi asọye alaye Shannon, gba pẹlu imọran atilẹba rẹ ati bawo ni o ṣe yatọ? O fẹrẹ jẹ pe ko si ọrọ kan ti o ṣe afihan iwoye iṣaaju rẹ ti ero kan, ṣugbọn nikẹhin, o jẹ awọn ọrọ-ọrọ ti a lo ti o ṣe afihan itumọ ti imọran, nitorinaa ṣe agbekalẹ ohunkan nipasẹ awọn asọye ti o han gbangba nigbagbogbo ṣafihan ariwo diẹ.

Wo eto kan ti alfabeti ni awọn aami q pẹlu awọn iṣeeṣe pi. Fun idi eyi apapọ iye ti alaye ninu eto (iye ti a reti) jẹ dọgba si:

Richard Hamming: Chapter 13. Alaye Alaye

Eyi ni a pe ni entropy ti eto pẹlu iṣeeṣe pinpin {pi}. A lo ọrọ naa "entropy" nitori fọọmu mathematiki kanna han ni thermodynamics ati awọn ẹrọ iṣiro. Eyi ni idi ti ọrọ naa “entropy” ṣe ṣẹda aura kan ti pataki ni ayika funrararẹ, eyiti ko jẹ idalare. Fọọmu mathematiki kanna ti ami akiyesi ko tumọ si itumọ kanna ti awọn aami!

Entropy ti pinpin iṣeeṣe ṣe ipa pataki ninu ilana ifaminsi. Aidogba Gibbs fun awọn pinpin iṣeeṣe meji ti o yatọ pi ati qi jẹ ọkan ninu awọn abajade pataki ti ẹkọ yii. Nitorina a gbọdọ fi idi eyi han

Richard Hamming: Chapter 13. Alaye Alaye

Ẹri naa da lori aworan ti o han gbangba, Ọpọtọ. 13.I, eyi ti o fihan pe

Richard Hamming: Chapter 13. Alaye Alaye

ati dọgbadọgba jẹ aṣeyọri nikan nigbati x = 1. Jẹ ki a lo aidogba si ọrọ kọọkan ti apao lati apa osi:

Richard Hamming: Chapter 13. Alaye Alaye

Ti alfabeti ti eto ibaraẹnisọrọ ni awọn aami q, lẹhinna mu iṣeeṣe ti gbigbe ti aami kọọkan qi = 1/q ati aropo q, a gba lati aidogba Gibbs

Richard Hamming: Chapter 13. Alaye Alaye

Richard Hamming: Chapter 13. Alaye Alaye

Olusin 13.I

Eyi tumọ si pe ti iṣeeṣe ti gbigbe gbogbo awọn aami q jẹ kanna ati pe o dọgba si - 1 / q, lẹhinna entropy ti o pọju jẹ dogba si ln q, bibẹẹkọ aidogba wa.

Ninu ọran ti koodu iyasọtọ iyasọtọ, a ni aidogba Kraft

Richard Hamming: Chapter 13. Alaye Alaye

Bayi ti a ba setumo pseudo-probabilities

Richard Hamming: Chapter 13. Alaye Alaye

ibi ti dajudaju Richard Hamming: Chapter 13. Alaye Alaye= 1, eyiti o tẹle lati aidogba Gibbs,

Richard Hamming: Chapter 13. Alaye Alaye

ati ki o lo algebra kekere kan (ranti pe K ≤ 1, nitorinaa a le sọ ọrọ logarithmic silẹ, ati boya o le mu aidogba le nigbamii), a gba.

Richard Hamming: Chapter 13. Alaye Alaye

nibiti L jẹ ipari koodu apapọ.

Nitorinaa, entropy jẹ adehun ti o kere ju fun eyikeyi kikọ-nipasẹ-aami koodu pẹlu aropin codeword ipari L. Eyi ni ilana Shannon fun ikanni ti ko ni kikọlu.

Bayi ro ero akọkọ nipa awọn aropin ti awọn ọna ṣiṣe ibaraẹnisọrọ ninu eyiti alaye ti wa ni gbigbe bi ṣiṣan ti awọn die-die ominira ati ariwo wa. O ti wa ni gbọye wipe awọn iṣeeṣe ti awọn ti o tọ gbigbe ti ọkan bit jẹ P> 1/2, ati awọn iṣeeṣe ti awọn bit iye yoo wa ni inverted nigba gbigbe (ohun ašiše yoo waye) jẹ dogba si Q = 1 - P. Fun wewewe, a ro pe awọn aṣiṣe jẹ ominira ati iṣeeṣe aṣiṣe jẹ kanna fun ọkọọkan ti a firanṣẹ - iyẹn ni, “ariwo funfun” wa ninu ikanni ibaraẹnisọrọ.

Ọna ti a ni ṣiṣan gigun ti n bits ti a fi koodu sinu ifiranṣẹ kan jẹ itẹsiwaju iwọn n - ti koodu ọkan-bit. A yoo pinnu iye ti n nigbamii. Gbé ifiranṣẹ kan ti o ni awọn n-bits bi aaye kan ni aaye onisẹpo n. Niwọn igba ti a ni aaye iwọn n-ati fun ayedero a yoo ro pe ifiranṣẹ kọọkan ni iṣeeṣe kanna ti iṣẹlẹ - awọn ifiranṣẹ ti o ṣeeṣe M wa (M yoo tun ṣe asọye nigbamii), nitorinaa iṣeeṣe ti ifiranṣẹ eyikeyi ti a firanṣẹ jẹ

Richard Hamming: Chapter 13. Alaye Alaye

Richard Hamming: Chapter 13. Alaye Alaye
(oluranse)
Iṣeto 13.II

Nigbamii, ro ero ti agbara ikanni. Laisi lilọ sinu awọn alaye, agbara ikanni ti wa ni asọye bi iye ti o pọju ti alaye ti o le ni igbẹkẹle gbigbe lori ikanni ibaraẹnisọrọ, ni akiyesi lilo ifaminsi ti o munadoko julọ. Ko si ariyanjiyan pe alaye diẹ sii le jẹ gbigbe nipasẹ ikanni ibaraẹnisọrọ ju agbara rẹ lọ. Eyi le jẹ ẹri fun ikanni alakomeji alakomeji (eyiti a lo ninu ọran wa). Agbara ikanni, nigba fifiranṣẹ awọn die-die, jẹ pato bi

Richard Hamming: Chapter 13. Alaye Alaye

nibiti, bi tẹlẹ, P jẹ iṣeeṣe ti ko si aṣiṣe ni eyikeyi ti a firanṣẹ bit. Nigbati fifiranṣẹ n ominira die-die, agbara ikanni ti wa ni fun nipasẹ

Richard Hamming: Chapter 13. Alaye Alaye

Ti a ba sunmo si agbara ikanni, lẹhinna a gbọdọ firanṣẹ fere iye alaye yii fun aami kọọkan ai, i = 1, ..., M. Ti o ba ṣe akiyesi pe iṣeeṣe ti iṣẹlẹ ti aami kọọkan ai jẹ 1 / M, a gba

Richard Hamming: Chapter 13. Alaye Alaye

nigba ti a ba fi eyikeyi ti M se afaimo awọn ifiranṣẹ ai, a ni

Richard Hamming: Chapter 13. Alaye Alaye

Nigbati a ba firanṣẹ awọn bit n, a nireti pe awọn aṣiṣe nQ yoo ṣẹlẹ. Ni iṣe, fun ifiranṣẹ ti o ni awọn n-bits, a yoo ni isunmọ awọn aṣiṣe nQ ninu ifiranṣẹ ti o gba. Fun n nla, iyatọ ojulumo (iyatọ = iwọn pinpin,)
awọn pinpin nọmba ti awọn aṣiṣe yoo di increasingly dín bi n posi.

Nitorinaa, lati ẹgbẹ atagba, Mo gba ifiranṣẹ ai lati firanṣẹ ati fa aaye kan ni ayika rẹ pẹlu rediosi kan

Richard Hamming: Chapter 13. Alaye Alaye

eyi ti o jẹ die-die o tobi nipa ohun iye dogba si e2 ju awọn reti nọmba ti awọn aṣiṣe Q, (olusin 13.II). Ti n ba tobi to, lẹhinna iṣeeṣe kekere lainidii wa ti aaye ifiranṣẹ bj ti o han ni ẹgbẹ olugba ti o fa kọja aaye yii. Jẹ ki a ṣe apejuwe ipo naa bi mo ṣe rii lati oju-ọna ti olutọpa: a ni eyikeyi radii lati ifiranṣẹ ti a firanṣẹ ai si ifiranṣẹ ti a gba wọle bj pẹlu iṣeeṣe aṣiṣe ti o dọgba (tabi fere dogba) si pinpin deede, de ibi ti o pọju. ninu nQ. Fun eyikeyi e2 ti a fun, n tobi pupọ pe iṣeeṣe ti aaye abajade bj wa ni ita aaye mi kere bi o ṣe fẹ.

Bayi jẹ ki a wo ipo kanna lati ẹgbẹ rẹ (Fig. 13.III). Ni ẹgbẹ olugba kan wa S (r) ti radius kanna ni ayika aaye ti o gba bj ni aaye iwọn n-n, iru pe ti ifiranṣẹ bj ti o gba ba wa ninu aaye mi, lẹhinna ifiranṣẹ ai firanṣẹ nipasẹ mi wa ninu rẹ. aaye.

Bawo ni aṣiṣe le waye? Aṣiṣe le waye ni awọn ọran ti a ṣalaye ninu tabili ni isalẹ:

Richard Hamming: Chapter 13. Alaye Alaye

olusin 13.III

Richard Hamming: Chapter 13. Alaye Alaye

Nibi a rii pe ti o ba wa ni aaye ti a ṣe ni ayika aaye ti o gba o kere ju aaye kan diẹ sii ti o baamu si ifiranṣẹ ti a ko firanṣẹ ti o ṣeeṣe, lẹhinna aṣiṣe waye lakoko gbigbe, nitori o ko le pinnu iru awọn ifiranṣẹ wọnyi ti o tan. Ifiranṣẹ ti a firanṣẹ ko ni aṣiṣe nikan ti aaye ti o baamu si wa ni aaye, ati pe ko si awọn aaye miiran ti o ṣeeṣe ninu koodu ti a fun ti o wa ni aaye kanna.

A ni idogba mathematiki fun iṣeeṣe aṣiṣe Pe ti a ba fi ifiranṣẹ ranṣẹ

Richard Hamming: Chapter 13. Alaye Alaye

A le jabọ jade ni akọkọ ifosiwewe ni keji oro, mu o bi 1. Bayi a gba awọn aidọgba

Richard Hamming: Chapter 13. Alaye Alaye

O han gbangba pe

Richard Hamming: Chapter 13. Alaye Alaye

Nitoribẹẹ

Richard Hamming: Chapter 13. Alaye Alaye

tun kan si awọn ti o kẹhin igba lori ọtun

Richard Hamming: Chapter 13. Alaye Alaye

Mu n tobi to, igba akọkọ le wa ni ya bi kekere bi o fẹ, wi kere ju diẹ ninu awọn nọmba d. Nitorina a ni

Richard Hamming: Chapter 13. Alaye Alaye

Bayi jẹ ki a wo bawo ni a ṣe le ṣe koodu fidipo ti o rọrun lati fi koodu M awọn ifiranṣẹ ti o ni awọn bits. Ti ko ni imọran bi o ṣe le ṣe koodu gangan (awọn koodu atunṣe aṣiṣe ko ti ṣe idasilẹ), Shannon yan ifaminsi laileto. Yi owo kan pada fun ọkọọkan awọn iwọn n ninu ifiranṣẹ naa ki o tun ṣe ilana fun awọn ifiranṣẹ M. Ni apapọ, awọn isipade owo nM nilo lati ṣe, nitorinaa o ṣee ṣe

Richard Hamming: Chapter 13. Alaye Alaye

awọn iwe-itumọ koodu ti o ni iṣeeṣe kanna ½nM. Nitoribẹẹ, ilana laileto ti ṣiṣẹda koodu koodu tumọ si pe o ṣeeṣe ti awọn ẹda-iwe, bakanna bi awọn aaye koodu ti yoo sunmọ ara wọn ati nitorinaa jẹ orisun ti awọn aṣiṣe to ṣeeṣe. Ẹnikan gbọdọ fi mule pe ti eyi ko ba ṣẹlẹ pẹlu iṣeeṣe ti o tobi ju eyikeyi ipele aṣiṣe kekere ti a yan, lẹhinna n fun ni tobi to.
Koko pataki ni pe Shannon ṣe aropin gbogbo awọn iwe koodu ti o ṣeeṣe lati wa aṣiṣe apapọ! A yoo lo aami Av[.] lati ṣe afihan iye apapọ lori ṣeto gbogbo awọn iwe koodu ID ti o ṣeeṣe. Apapọ lori kan ibakan d, dajudaju, yoo fun kan ibakan, niwon fun aropin kọọkan oro jẹ kanna bi gbogbo miiran igba ni apao,

Richard Hamming: Chapter 13. Alaye Alaye

eyiti o le pọ si (M-1 lọ si M)

Richard Hamming: Chapter 13. Alaye Alaye

Fun ifiranṣẹ eyikeyi ti a fun, nigbati aropin kọja gbogbo awọn koodu koodu, fifi koodu naa ṣiṣẹ nipasẹ gbogbo awọn iye to ṣeeṣe, nitorinaa iṣeeṣe apapọ pe aaye kan wa ni aaye ni ipin iwọn didun ti aaye si lapapọ iwọn didun aaye. Awọn iwọn didun ti Ayika ni

Richard Hamming: Chapter 13. Alaye Alaye

nibiti s=Q+e2 <1/2 ati ns gbọdọ jẹ odidi kan.

Oro ti o kẹhin ni apa ọtun jẹ eyiti o tobi julọ ni apao yii. Ni akọkọ, jẹ ki a ṣe iṣiro iye rẹ nipa lilo agbekalẹ Stirling fun awọn ipin. Lẹhinna a yoo wo iye-iye ti o dinku ti ọrọ ti o wa niwaju rẹ, ṣe akiyesi pe olusọdipúpọ yii n pọ si bi a ti nlọ si apa osi, ati nitorinaa a le: (1) ni ihamọ iye ti apao si apao ti ilọsiwaju jiometirika pẹlu olùsọdipúpọ akọkọ yii, (2) faagun lilọsiwaju jiometirika lati awọn ofin ns si nọmba ailopin ti awọn ofin, (3) ṣe iṣiro iye iwọn lilọsiwaju jiometirika ailopin (aljebra boṣewa, ko si nkan pataki) ati nikẹhin gba iye aropin (fun iwọn to pọ to. n):

Richard Hamming: Chapter 13. Alaye Alaye

Ṣe akiyesi bi entropy H (s) ṣe farahan ninu idanimọ binomial. Ṣe akiyesi pe imugboroja jara Taylor H(s)=H(Q+e2) n funni ni iṣiro ti o gba ni ero itọsẹ akọkọ nikan ati kikoju gbogbo awọn miiran. Bayi jẹ ki a ṣajọpọ ikosile ikẹhin:

Richard Hamming: Chapter 13. Alaye Alaye

nibi ti

Richard Hamming: Chapter 13. Alaye Alaye

Gbogbo ohun ti a ni lati ṣe ni yan e2 iru eyi e3 <e1, lẹhinna ọrọ ikẹhin yoo jẹ kekere lainidii, niwọn igba ti n ba tobi to. Nitoribẹẹ, apapọ aṣiṣe PE le ṣee gba bi kekere bi o ṣe fẹ pẹlu agbara ikanni lainidii sunmọ C.
Ti aropin ti gbogbo awọn koodu ni aṣiṣe kekere to, lẹhinna o kere ju koodu kan gbọdọ dara, nitorinaa o kere ju eto ifaminsi kan to dara. Eyi jẹ abajade pataki ti o gba nipasẹ Shannon - “Theorem Shannon fun ikanni alariwo”, botilẹjẹpe o yẹ ki o ṣe akiyesi pe o ṣe afihan eyi fun ọran gbogbogbo pupọ diẹ sii ju fun ikanni alakomeji alakomeji ti o rọrun ti Mo lo. Fun ọran gbogbogbo, awọn iṣiro mathematiki jẹ idiju pupọ diẹ sii, ṣugbọn awọn imọran ko yatọ, nitorinaa nigbagbogbo, lilo apẹẹrẹ ti ọran kan pato, o le ṣafihan itumọ otitọ ti imọ-jinlẹ naa.

Jẹ ki a ṣofintoto abajade. A ti tun leralera: “Fun titobi n to.” Sugbon bi o tobi ni n? Pupọ, pupọ pupọ ti o ba fẹ gaan lati wa nitosi si agbara ikanni ati rii daju gbigbe data to pe! Ti o tobi pupọ, ni otitọ, pe iwọ yoo ni lati duro de igba pipẹ pupọ lati ṣajọ ifiranṣẹ ti awọn die-die to lati fi koodu rẹ pamọ nigbamii. Ni ọran yii, iwọn iwe-itumọ koodu ID yoo tobi pupọ (lẹhinna, iru iwe-itumọ bẹ ko le ṣe aṣoju ni fọọmu kukuru ju atokọ pipe ti gbogbo awọn bits Mn, botilẹjẹpe n ati M tobi pupọ)!

Awọn koodu ti n ṣatunṣe aṣiṣe yago fun iduro fun ifiranṣẹ gigun pupọ ati lẹhinna fifi koodu ati iyipada rẹ nipasẹ awọn koodu koodu ti o tobi pupọ nitori wọn yago fun awọn koodu koodu funrararẹ ati lo iṣiro lasan dipo. Ni imọran ti o rọrun, iru awọn koodu maa n padanu agbara lati sunmọ agbara ikanni ati ki o tun ṣetọju oṣuwọn aṣiṣe kekere kan, ṣugbọn nigbati koodu ba ṣe atunṣe nọmba nla ti awọn aṣiṣe, wọn ṣe daradara. Ni awọn ọrọ miiran, ti o ba pin diẹ ninu agbara ikanni si atunṣe aṣiṣe, lẹhinna o gbọdọ lo agbara atunṣe aṣiṣe ni ọpọlọpọ igba, ie, nọmba nla ti awọn aṣiṣe gbọdọ wa ni atunṣe ni ifiranṣẹ kọọkan ti a firanṣẹ, bibẹkọ ti o padanu agbara yii.

Ni akoko kanna, imọ-ọrọ ti a fihan loke ko tun jẹ asan! O fihan pe awọn ọna gbigbe to munadoko gbọdọ lo awọn eto fifi koodu onilàkaye fun awọn gbolohun ọrọ gigun pupọ. Apẹẹrẹ jẹ awọn satẹlaiti ti o ti fò kọja awọn aye aye ita; Bi wọn ti nlọ kuro ni Earth ati Oorun, wọn fi agbara mu lati ṣe atunṣe awọn aṣiṣe diẹ sii ati siwaju sii ni idinamọ data: diẹ ninu awọn satẹlaiti lo awọn paneli oorun, eyiti o pese nipa 5 W, awọn miiran lo awọn orisun agbara iparun, eyiti o pese nipa agbara kanna. Agbara kekere ti ipese agbara, iwọn kekere ti awọn awopọ atagba ati iwọn to lopin ti awọn awopọ olugba lori Earth, ijinna nla ti ifihan naa gbọdọ rin irin-ajo - gbogbo eyi nilo lilo awọn koodu pẹlu ipele giga ti atunṣe aṣiṣe lati kọ ohun kan munadoko ibaraẹnisọrọ eto.

Jẹ ki a pada si aaye n-onisẹpo ti a lo ninu ẹri loke. Ninu ijiroro rẹ, a fihan pe o fẹrẹ to gbogbo iwọn ti aaye ti wa ni idojukọ nitosi dada ita - nitorinaa, o fẹrẹ daju pe ifihan agbara ti a firanṣẹ yoo wa nitosi aaye ti agbegbe ti a ṣe ni ayika ifihan agbara ti o gba, paapaa pẹlu iwọn kan. rediosi kekere ti iru aaye kan. Nitorinaa, kii ṣe iyalẹnu pe ifihan agbara ti a gba, lẹhin ti o ṣatunṣe nọmba nla ti awọn aṣiṣe lainidii, nQ, wa ni lainidii sunmọ ifihan agbara laisi awọn aṣiṣe. Agbara ọna asopọ ti a sọrọ tẹlẹ jẹ bọtini lati ni oye iṣẹlẹ yii. Ṣe akiyesi pe awọn aaye ti o jọra ti a ṣe fun aṣiṣe-atunṣe awọn koodu Hamming ko ni lqkan ara wọn. Nọmba nla ti awọn iwọn orthogonal ti o sunmọ ni aaye iwọn n fihan idi ti a fi le baamu awọn aaye M ni aaye pẹlu agbekọja kekere. Ti a ba gba aaye kekere, lainidii kekere agbekọja, eyiti o le ja si nọmba kekere ti awọn aṣiṣe lakoko iyipada, a le gba ipo ipon ti awọn aaye ni aaye. Hamming ṣe iṣeduro ipele kan ti atunṣe aṣiṣe, Shannon - iṣeeṣe kekere ti aṣiṣe, ṣugbọn ni akoko kanna mimu gbigbejade gangan lainidii sunmọ agbara ti ikanni ibaraẹnisọrọ, eyiti awọn koodu Hamming ko le ṣe.

Ilana alaye ko sọ fun wa bi a ṣe le ṣe apẹrẹ eto ti o munadoko, ṣugbọn o tọka ọna si awọn ọna ṣiṣe ibaraẹnisọrọ to munadoko. O jẹ ohun elo ti o niyelori fun kikọ ẹrọ-si-ẹrọ ibaraẹnisọrọ awọn ọna ṣiṣe, ṣugbọn, bi a ti ṣe akiyesi tẹlẹ, o ni ibaramu diẹ si bi eniyan ṣe n ba ara wọn sọrọ. Iwọn eyiti ogún ti ẹda dabi awọn eto ibaraẹnisọrọ imọ-ẹrọ jẹ aimọ lasan, nitorinaa ko ṣe alaye lọwọlọwọ bi ilana alaye ṣe kan awọn jiini. A ko ni yiyan bikoṣe lati gbiyanju, ati pe ti aṣeyọri ba fihan wa iru ẹrọ bi iru iṣẹlẹ yii, lẹhinna ikuna yoo tọka si awọn aaye pataki miiran ti iru alaye.

Jẹ ki a ma ṣe digress ju. A ti rí i pé gbogbo àwọn ìtumọ̀ ìpilẹ̀ṣẹ̀, dé ìwọ̀n tí ó tóbi tàbí díẹ̀, gbọ́dọ̀ sọ ìjẹ́pàtàkì àwọn ìgbàgbọ́ ìpilẹ̀ṣẹ̀ wa, ṣùgbọ́n wọ́n jẹ́ àfihàn nípa ìdiwọ̀n ìdàrúdàpọ̀ kan nítorí náà kò wúlò. O jẹ itẹwọgba ni aṣa pe, nikẹhin, itumọ ti a lo ni asọye gangan ohun pataki; ṣugbọn, yi nikan sọ fún wa bi o lati lọwọ ohun ati ni ona ti ko conveys eyikeyi itumo si wa. Ọna ifiweranṣẹ, nitorinaa ṣe ojurere ni agbara ni awọn iyika mathematiki, fi ọpọlọpọ silẹ lati fẹ ninu iṣe.

Bayi a yoo wo apẹẹrẹ ti awọn idanwo IQ nibiti itumọ jẹ ipin bi o ṣe fẹ ki o jẹ ati, bi abajade, ṣina. A ṣẹda idanwo ti o yẹ lati wiwọn oye. Lẹhinna o tun ṣe atunṣe lati jẹ ki o ni ibamu bi o ti ṣee ṣe, ati lẹhinna o ti tẹjade ati, ni ọna ti o rọrun, ṣe iwọntunwọnsi “ọlọgbọn” ti wọn diwọn lati pin kaakiri deede (lori ọna kika iwọn, dajudaju). Gbogbo awọn itumọ gbọdọ tun ṣayẹwo, kii ṣe nigbati wọn ba ni imọran akọkọ nikan, ṣugbọn tun pupọ nigbamii, nigbati wọn ba lo ninu awọn ipinnu ti o fa. Iwọn wo ni awọn aala asọye yẹ fun iṣoro ti o yanju? Igba melo ni awọn asọye ti a fun ni eto kan wa lati lo ni awọn eto ti o yatọ pupọ? Eleyi ṣẹlẹ oyimbo igba! Ninu awọn eda eniyan, eyiti iwọ yoo rii daju pe o ba pade ninu igbesi aye rẹ, eyi n ṣẹlẹ diẹ sii nigbagbogbo.

Nitorinaa, ọkan ninu awọn idi ti igbejade imọran alaye yii, ni afikun si iṣafihan iwulo rẹ, ni lati kilọ fun ọ nipa ewu yii, tabi lati fihan ọ ni deede bi o ṣe le lo lati gba abajade ti o fẹ. O ti pẹ ni akiyesi pe awọn asọye akọkọ pinnu ohun ti o rii ni ipari, si iwọn ti o tobi ju bi o ti dabi lọ. Awọn itumọ akọkọ nilo ifojusi pupọ lati ọdọ rẹ, kii ṣe ni eyikeyi ipo titun nikan, ṣugbọn tun ni awọn agbegbe ti o ti n ṣiṣẹ fun igba pipẹ. Eyi yoo gba ọ laaye lati loye si kini awọn abajade ti o gba jẹ tautology kii ṣe nkan ti o wulo.

Itan olokiki ti Eddington sọ nipa awọn eniyan ti o ṣaja ni okun pẹlu apapọ kan. Lẹ́yìn tí wọ́n ti kẹ́kọ̀ọ́ bí ẹja tí wọ́n kó náà ṣe tó, wọ́n pinnu ìwọ̀n ẹja tó kéré jù lọ tó wà nínú òkun! Ipari wọn jẹ nipasẹ ohun elo ti a lo, kii ṣe nipasẹ otitọ.

A tun ma a se ni ojo iwaju…

Tani o fẹ lati ṣe iranlọwọ pẹlu itumọ, iṣeto ati titẹjade iwe - kọ sinu ifiranṣẹ ti ara ẹni tabi imeeli [imeeli ni idaabobo]

Nipa ọna, a tun ti ṣe ifilọlẹ itumọ iwe miiran ti o dara - "Ẹrọ Ala: Itan ti Iyika Kọmputa")

A ti wa ni paapa nwa fun awọn ti yoo ṣe iranlọwọ tumọ ajeseku ipin, eyi ti o jẹ nikan lori fidio. (gbigbe fun awọn iṣẹju 10, 20 akọkọ ti tẹlẹ ti ya)

Awọn akoonu ti iwe ati awọn ipin ti a tumọỌrọ iṣaaju

  1. Intoro si Iṣẹ ọna ti Ṣiṣe Imọ-ẹrọ ati Imọ-ẹrọ: Ẹkọ lati Kọ ẹkọ (Oṣu Kẹta Ọjọ 28, Ọdun 1995) Itumọ: Orí 1
  2. "Awọn ipilẹ ti Iyika Digital (Discrete)" (Mars 30, 1995) Chapter 2. Awọn ipilẹ ti awọn oni (ọtọ) Iyika
  3. "Itan Awọn Kọmputa - Hardware" (Mars 31, 1995) Chapter 3. Itan ti awọn kọmputa - Hardware
  4. "Itan Awọn Kọmputa - Software" (April 4, 1995) Chapter 4. Itan ti awọn kọmputa - Software
  5. "Itan Awọn Kọmputa - Awọn ohun elo" (April 6, 1995) Abala 5: Itan Awọn Kọmputa - Awọn Ohun elo Iṣeṣe
  6. "Oye Oríkĕ - Apá I" (April 7, 1995) Chapter 6. Oríkĕ oye - 1
  7. "Oye Oríkĕ - Apá II" (April 11, 1995) Chapter 7. Oríkĕ oye - II
  8. "Oye Oríkĕ III" (April 13, 1995) Chapter 8. Oríkĕ oye-III
  9. "N-Dimensional Space" (April 14, 1995) Chapter 9. N-onisẹpo aaye
  10. "Ipilẹṣẹ Ifaminsi - Aṣoju ti Alaye, Apá I" (April 18, 1995) Chapter 10. Ifaminsi Yii - I
  11. "Ipilẹṣẹ Ifaminsi - Aṣoju ti Alaye, Apá II" (Kẹrin 20, 1995) Chapter 11. Ifaminsi Yii - II
  12. "Awọn koodu Atunse Aṣiṣe" (April 21, 1995) Chapter 12. Aṣiṣe Atunse Awọn koodu
  13. "Ipilẹṣẹ Alaye" (April 25, 1995) Chapter 13. Alaye Alaye
  14. "Awọn Ajọ oni-nọmba, Apá I" (April 27, 1995) Chapter 14. Digital Ajọ - 1
  15. "Awọn Ajọ oni-nọmba, Apá II" (April 28, 1995) Chapter 15. Digital Ajọ - 2
  16. "Awọn Ajọ oni-nọmba, Apá III" (May 2, 1995) Chapter 16. Digital Ajọ - 3
  17. "Awọn Ajọ oni-nọmba, Apá IV" (May 4, 1995) Chapter 17. Digital Ajọ - IV
  18. "Afarawé, Apá I" (May 5, 1995) Chapter 18. Awoṣe - I
  19. "Simulation, Apá II" (May 9, 1995) Chapter 19. Awoṣe - II
  20. "Simulation, Apa III" (Oṣu Karun 11, Ọdun 1995) Chapter 20. Awoṣe - III
  21. "Fiber Optics" (May 12, 1995) Chapter 21. Fiber Optics
  22. "Itọnisọna Iranlọwọ Kọmputa" (May 16, 1995) Abala 22: Ilana Iranlọwọ Kọmputa (CAI)
  23. "Iṣiro" (May 18, 1995) Chapter 23. Mathematiki
  24. "Kuatomu Mechanics" (May 19, 1995) Chapter 24. kuatomu mekaniki
  25. "Aṣẹda" (May 23, 1995). Itumọ: Chapter 25. àtinúdá
  26. "Awọn amoye" (May 25, 1995) Chapter 26. amoye
  27. "Data ti ko ni igbẹkẹle" (May 26, 1995) Chapter 27. Unreliable data
  28. "Iṣẹ-ẹrọ Awọn eto" (Oṣu Karun 30, Ọdun 1995) Chapter 28. Systems Engineering
  29. “O Gba Ohun Ti O Diwọn” (Okudu 1, 1995) Abala 29: O gba ohun ti o wọn
  30. "Bawo ni a ṣe mọ ohun ti a mọ" (Okudu 2, 1995) tumo ni 10 iseju chunks
  31. Hamming, "Iwọ ati Iwadi Rẹ" (June 6, 1995). Itumọ: Iwọ ati iṣẹ rẹ

Tani o fẹ lati ṣe iranlọwọ pẹlu itumọ, iṣeto ati titẹjade iwe - kọ sinu ifiranṣẹ ti ara ẹni tabi imeeli [imeeli ni idaabobo]

orisun: www.habr.com

Fi ọrọìwòye kun