Richard Hamming: Kapitulli 13. Teoria e Informacionit

Ne e beme ate!

"Qëllimi i këtij kursi është t'ju përgatisë për të ardhmen tuaj teknike."

Richard Hamming: Kapitulli 13. Teoria e InformacionitPërshëndetje, Habr. Mbani mend artikullin e mrekullueshëm "Ti dhe puna jote" (+219, 2588 faqeshënues, 429 mijë lexime)?

Pra, Hamming (po, po, vetë-monitorim dhe vetë-korrigjim Kodet Hamming) ka një tërësi libër, shkruar në bazë të leksioneve të tij. Ne e përkthejmë, sepse njeriu e thotë mendjen e tij.

Ky është një libër jo vetëm për IT, është një libër për stilin e të menduarit të njerëzve tepër të lezetshëm. “Nuk është vetëm një nxitje e të menduarit pozitiv; ai përshkruan kushtet që rrisin shanset për të bërë një punë të madhe.”

Faleminderit Andrey Pakhomov për përkthimin.

Teoria e Informacionit u zhvillua nga C. E. Shannon në fund të viteve 1940. Menaxhmenti i Bell Labs këmbënguli që ai ta quante atë "Teoria e Komunikimit" sepse... ky është një emër shumë më i saktë. Për arsye të qarta, emri "Teoria e informacionit" ka një ndikim shumë më të madh në publik, prandaj Shannon e zgjodhi atë dhe është emri që njohim deri më sot. Vetë emri sugjeron që teoria merret me informacionin, gjë që e bën atë të rëndësishëm ndërsa kalojmë më thellë në epokën e informacionit. Në këtë kapitull do të prek disa përfundime kryesore nga kjo teori, do të jap dëshmi jo strikte, por më tepër intuitive të disa dispozitave individuale të kësaj teorie, në mënyrë që të kuptoni se çfarë është në të vërtetë "teoria e informacionit", ku mund ta zbatoni atë. dhe ku jo.

Para së gjithash, çfarë është "informacioni"? Shannon barazon informacionin me pasigurinë. Ai zgjodhi logaritmin negativ të probabilitetit të një ngjarjeje si një masë sasiore të informacionit që merrni kur ndodh një ngjarje me probabilitet p. Për shembull, nëse ju them se moti në Los Anxhelos është me mjegull, atëherë p është afër 1, gjë që në të vërtetë nuk na jep shumë informacion. Por nëse them se bie shi në Monterey në qershor, do të ketë pasiguri në mesazh dhe do të përmbajë më shumë informacion. Një ngjarje e besueshme nuk përmban asnjë informacion, pasi log 1 = 0.

Le ta shohim këtë në më shumë detaje. Shannon besonte se masa sasiore e informacionit duhet të jetë një funksion i vazhdueshëm i probabilitetit të një ngjarjeje p, dhe për ngjarjet e pavarura duhet të jetë shtesë - sasia e informacionit të marrë si rezultat i shfaqjes së dy ngjarjeve të pavarura duhet të jetë e barabartë me sasia e informacionit të marrë si rezultat i ndodhjes së një ngjarjeje të përbashkët. Për shembull, rezultati i hedhjes së zareve dhe i hedhjes së monedhës zakonisht trajtohen si ngjarje të pavarura. Le të përkthejmë sa më sipër në gjuhën e matematikës. Nëse I (p) është sasia e informacionit që përmban një ngjarje me probabilitet p, atëherë për një ngjarje të përbashkët që përbëhet nga dy ngjarje të pavarura x me probabilitet p1 dhe y me probabilitet p2 marrim

Richard Hamming: Kapitulli 13. Teoria e Informacionit
(x dhe y janë ngjarje të pavarura)

Ky është ekuacioni funksional Cauchy, i vërtetë për të gjitha p1 dhe p2. Për të zgjidhur këtë ekuacion funksional, supozojmë se

p1 = p2 = p,

kjo jep

Richard Hamming: Kapitulli 13. Teoria e Informacionit

Nëse p1 = p2 dhe p2 = p atëherë

Richard Hamming: Kapitulli 13. Teoria e Informacionit

etj. Zgjerimi i këtij procesi duke përdorur metodën standarde për eksponencialet, për të gjithë numrat racional m/n sa vijon është e vërtetë

Richard Hamming: Kapitulli 13. Teoria e Informacionit

Nga vazhdimësia e supozuar e masës së informacionit, rezulton se funksioni logaritmik është e vetmja zgjidhje e vazhdueshme për ekuacionin funksional Cauchy.

Në teorinë e informacionit, është e zakonshme që baza e logaritmit të jetë 2, kështu që një zgjedhje binare përmban saktësisht 1 bit informacion. Prandaj, informacioni matet me formulë

Richard Hamming: Kapitulli 13. Teoria e Informacionit

Le të ndalemi dhe të kuptojmë se çfarë ndodhi më lart. Para së gjithash, ne nuk e përkufizuam konceptin e "informacionit", ne thjesht përcaktuam formulën për masën e tij sasiore.

Së dyti, kjo masë është subjekt i pasigurisë dhe megjithëse është mjaft e përshtatshme për makineritë - për shembull, sistemet telefonike, radio, televizion, kompjuterë, etj. - ajo nuk pasqyron qëndrimet normale të njeriut ndaj informacionit.

Së treti, kjo është një masë relative, varet nga gjendja aktuale e njohurive tuaja. Nëse shikoni një rrjedhë të "numrave të rastit" nga një gjenerues numrash të rastësishëm, supozoni se çdo numër tjetër është i pasigurt, por nëse e dini formulën për llogaritjen e "numrave të rastit", numri tjetër do të njihet, dhe për këtë arsye nuk do të përmbajnë informacion.

Pra, përkufizimi i Shannon për informacionin është i përshtatshëm për makinat në shumë raste, por duket se nuk i përshtatet kuptimit njerëzor të fjalës. Është për këtë arsye që "Teoria e Informacionit" duhet të ishte quajtur "Teoria e Komunikimit". Megjithatë, është tepër vonë për të ndryshuar përkufizimet (që i dhanë teorisë popullaritetin e saj fillestar dhe që ende i bëjnë njerëzit të mendojnë se kjo teori merret me "informacion"), kështu që ne duhet të jetojmë me to, por në të njëjtën kohë duhet kuptoni qartë se sa larg është përkufizimi i Shannon-it për informacionin nga kuptimi i tij i përdorur zakonisht. Informacioni i Shannon ka të bëjë me diçka krejtësisht të ndryshme, domethënë pasigurinë.

Ja diçka për të menduar kur propozoni ndonjë terminologji. Si përputhet një përkufizim i propozuar, siç është përkufizimi i Shannon-it për informacionin, me idenë tuaj origjinale dhe sa i ndryshëm është ai? Pothuajse nuk ka asnjë term që pasqyron saktësisht vizionin tuaj të mëparshëm për një koncept, por në fund të fundit, është terminologjia e përdorur që pasqyron kuptimin e konceptit, kështu që formalizimi i diçkaje përmes përkufizimeve të qarta gjithmonë sjell një zhurmë.

Konsideroni një sistem alfabeti i të cilit përbëhet nga simbole q me probabilitete pi. Në këtë rast sasia mesatare e informacionit në sistem (vlera e pritshme e tij) është e barabartë me:

Richard Hamming: Kapitulli 13. Teoria e Informacionit

Kjo quhet entropia e sistemit me shpërndarje probabiliteti {pi}. Ne përdorim termin "entropi" sepse e njëjta formë matematikore shfaqet në termodinamikë dhe mekanikë statistikore. Kjo është arsyeja pse termi "entropi" krijon një atmosferë të caktuar me rëndësi rreth vetes, e cila në fund të fundit nuk justifikohet. E njëjta formë matematikore e shënimit nuk nënkupton të njëjtin interpretim të simboleve!

Entropia e shpërndarjes së probabilitetit luan një rol të madh në teorinë e kodimit. Pabarazia e Gibbs-it për dy shpërndarje të ndryshme probabiliteti pi dhe qi është një nga pasojat e rëndësishme të kësaj teorie. Kështu që ne duhet ta vërtetojmë këtë

Richard Hamming: Kapitulli 13. Teoria e Informacionit

Prova bazohet në një grafik të dukshëm, Fig. 13.I, që tregon se

Richard Hamming: Kapitulli 13. Teoria e Informacionit

dhe barazia arrihet vetëm kur x = 1. Le të zbatojmë pabarazinë për çdo anëtar të shumës nga ana e majtë:

Richard Hamming: Kapitulli 13. Teoria e Informacionit

Nëse alfabeti i një sistemi komunikimi përbëhet nga simbolet q, atëherë duke marrë probabilitetin e transmetimit të çdo simboli qi = 1/q dhe duke zëvendësuar q, marrim nga pabarazia Gibbs

Richard Hamming: Kapitulli 13. Teoria e Informacionit

Richard Hamming: Kapitulli 13. Teoria e Informacionit

Figura 13.I

Kjo do të thotë se nëse probabiliteti i transmetimit të të gjitha simboleve q është i njëjtë dhe i barabartë me - 1 / q, atëherë entropia maksimale është e barabartë me ln q, përndryshe pabarazia vlen.

Në rastin e një kodi të dekodueshëm në mënyrë unike, kemi pabarazinë e Kraft

Richard Hamming: Kapitulli 13. Teoria e Informacionit

Tani nëse përcaktojmë pseudo-probabilitete

Richard Hamming: Kapitulli 13. Teoria e Informacionit

ku sigurisht Richard Hamming: Kapitulli 13. Teoria e Informacionit= 1, që rrjedh nga pabarazia e Gibbs,

Richard Hamming: Kapitulli 13. Teoria e Informacionit

dhe aplikoni pak algjebër (mos harroni se K ≤ 1, kështu që ne mund të heqim termin logaritmik, dhe ndoshta të forcojmë pabarazinë më vonë), marrim

Richard Hamming: Kapitulli 13. Teoria e Informacionit

ku L është gjatësia mesatare e kodit.

Kështu, entropia është kufiri minimal për çdo kod karakter për simbol me një gjatësi mesatare të fjalës së koduar L. Kjo është teorema e Shannon-it për një kanal pa ndërhyrje.

Tani merrni parasysh teoremën kryesore në lidhje me kufizimet e sistemeve të komunikimit në të cilat informacioni transmetohet si një rrymë bitesh të pavarur dhe zhurma është e pranishme. Kuptohet që probabiliteti i transmetimit të saktë të një biti është P > 1/2, dhe probabiliteti që vlera e bitit të përmbyset gjatë transmetimit (do të ndodhë një gabim) është i barabartë me Q = 1 - P. Për lehtësi, ne supozoni se gabimet janë të pavarura dhe probabiliteti i një gabimi është i njëjtë për çdo bit të dërguar - domethënë, ka "zhurmë të bardhë" në kanalin e komunikimit.

Mënyra se si kemi një rrjedhë të gjatë prej n bitësh të koduar në një mesazh është shtrirja n - dimensionale e kodit njëbitësh. Ne do të përcaktojmë vlerën e n më vonë. Konsideroni një mesazh të përbërë nga n-bit si një pikë në hapësirën n-dimensionale. Meqenëse kemi një hapësirë ​​n-dimensionale - dhe për thjeshtësi do të supozojmë se çdo mesazh ka të njëjtën probabilitet të ndodhjes - ka M mesazhe të mundshme (M do të përcaktohet gjithashtu më vonë), prandaj probabiliteti i çdo mesazhi të dërguar është

Richard Hamming: Kapitulli 13. Teoria e Informacionit

Richard Hamming: Kapitulli 13. Teoria e Informacionit
(dërguesi)
Orari 13.II

Më pas, merrni parasysh idenë e kapacitetit të kanalit. Pa hyrë në detaje, kapaciteti i kanalit përcaktohet si sasia maksimale e informacionit që mund të transmetohet në mënyrë të besueshme në një kanal komunikimi, duke marrë parasysh përdorimin e kodimit më efikas. Nuk ka asnjë argument që më shumë informacion mund të transmetohet përmes një kanali komunikimi sesa kapaciteti i tij. Kjo mund të vërtetohet për një kanal simetrik binar (të cilin ne e përdorim në rastin tonë). Kapaciteti i kanalit, kur dërgoni bit, përcaktohet si

Richard Hamming: Kapitulli 13. Teoria e Informacionit

ku, si më parë, P është probabiliteti i mungesës së gabimit në asnjë bit të dërguar. Kur dërgoni n bit të pavarur, kapaciteti i kanalit jepet nga

Richard Hamming: Kapitulli 13. Teoria e Informacionit

Nëse jemi afër kapacitetit të kanalit, atëherë duhet të dërgojmë pothuajse këtë sasi informacioni për secilin nga simbolet ai, i = 1, ..., M. Duke marrë parasysh që probabiliteti i shfaqjes së çdo simboli ai është 1 / M, marrim

Richard Hamming: Kapitulli 13. Teoria e Informacionit

kur dërgojmë ndonjë nga M mesazhet po aq të mundshme ai, kemi

Richard Hamming: Kapitulli 13. Teoria e Informacionit

Kur dërgohen n bit, ne presim që të ndodhin gabime nQ. Në praktikë, për një mesazh të përbërë nga n-bit, do të kemi afërsisht nQ gabime në mesazhin e marrë. Për n të madh, variacioni relativ (variacioni = gjerësia e shpërndarjes, )
shpërndarja e numrit të gabimeve do të bëhet gjithnjë e më e ngushtë me rritjen n.

Pra, nga ana e transmetuesit, marr mesazhin ai për të dërguar dhe vizatoj një sferë rreth tij me një rreze

Richard Hamming: Kapitulli 13. Teoria e Informacionit

i cili është pak më i madh për një shumë të barabartë me e2 se numri i pritur i gabimeve Q, (Figura 13.II). Nëse n është mjaft e madhe, atëherë ka një probabilitet të vogël arbitrarisht që një pikë mesazhi bj të shfaqet në anën e marrësit që shtrihet përtej kësaj sfere. Le të skicojmë situatën siç e shoh unë nga këndvështrimi i transmetuesit: kemi ndonjë rreze nga mesazhi i transmetuar ai në mesazhin e marrë bj me një probabilitet gabimi të barabartë (ose pothuajse të barabartë) me shpërndarjen normale, duke arritur një maksimum. në nQ. Për çdo e2 të dhënë, ekziston një n aq i madh sa që probabiliteti që pika rezultuese bj të jetë jashtë sferës sime është aq e vogël sa të doni.

Tani le të shohim të njëjtën situatë nga ana juaj (Fig. 13.III). Në anën e marrësit ka një sferë S(r) me të njëjtën rreze r rreth pikës së marrë bj në hapësirën n-dimensionale, e tillë që nëse mesazhi i marrë bj është brenda sferës sime, atëherë mesazhi ai i dërguar nga unë është brenda sferë.

Si mund të ndodhë një gabim? Gabimi mund të ndodhë në rastet e përshkruara në tabelën e mëposhtme:

Richard Hamming: Kapitulli 13. Teoria e Informacionit

Figura 13.III

Richard Hamming: Kapitulli 13. Teoria e Informacionit

Këtu shohim se nëse në sferën e ndërtuar rreth pikës së marrë ka të paktën një pikë më shumë që korrespondon me një mesazh të mundshëm të dërguar të pakoduar, atëherë ka ndodhur një gabim gjatë transmetimit, pasi nuk mund të përcaktoni se cili nga këto mesazhe është transmetuar. Mesazhi i dërguar është pa gabime vetëm nëse pika që i korrespondon është në sferë dhe nuk ka pika të tjera të mundshme në kodin e dhënë që janë në të njëjtën sferë.

Ne kemi një ekuacion matematikor për probabilitetin e gabimit Pe nëse mesazhi ai është dërguar

Richard Hamming: Kapitulli 13. Teoria e Informacionit

Mund të hedhim jashtë faktorin e parë në termin e dytë, duke e marrë atë si 1. Kështu marrim pabarazinë

Richard Hamming: Kapitulli 13. Teoria e Informacionit

Është e qartë se

Richard Hamming: Kapitulli 13. Teoria e Informacionit

prandaj

Richard Hamming: Kapitulli 13. Teoria e Informacionit

riaplikoni për mandatin e fundit në të djathtë

Richard Hamming: Kapitulli 13. Teoria e Informacionit

Duke marrë n mjaftueshëm të madh, termi i parë mund të merret aq i vogël sa të dëshirohet, le të themi më pak se një numër d. Prandaj kemi

Richard Hamming: Kapitulli 13. Teoria e Informacionit

Tani le të shohim se si mund të ndërtojmë një kod të thjeshtë zëvendësimi për të koduar M mesazhe të përbërë nga n bit. Duke mos pasur idenë se si të ndërtohej saktësisht një kod (kodet e korrigjimit të gabimeve ende nuk ishin shpikur), Shannon zgjodhi kodimin e rastësishëm. Kthejeni një monedhë për secilin nga n bitet në mesazh dhe përsëritni procesin për mesazhet M. Në total, duhet të bëhen rrokullisje të monedhave nM, kështu që është e mundur

Richard Hamming: Kapitulli 13. Teoria e Informacionit

fjalorët e kodit që kanë të njëjtën probabilitet ½nM. Natyrisht, procesi i rastësishëm i krijimit të një libri kodesh do të thotë se ekziston mundësia e dublikatave, si dhe pikat e kodit që do të jenë afër njëra-tjetrës dhe për rrjedhojë të jenë burim gabimesh të mundshme. Duhet vërtetuar se nëse kjo nuk ndodh me një probabilitet më të madh se çdo nivel i vogël gabimi i zgjedhur, atëherë n-ja e dhënë është mjaft e madhe.
Pika thelbësore është se Shannon mesatarizoi të gjithë librat e mundshëm të kodeve për të gjetur gabimin mesatar! Ne do të përdorim simbolin Av[.] për të treguar vlerën mesatare mbi grupin e të gjithë kodeve të mundshme të rastësishme. Mesatarja mbi një konstante d, natyrisht, jep një konstante, pasi për mesataren çdo term është i njëjtë me çdo term tjetër në shumë,

Richard Hamming: Kapitulli 13. Teoria e Informacionit

që mund të rritet (M–1 shkon në M)

Richard Hamming: Kapitulli 13. Teoria e Informacionit

Për çdo mesazh të caktuar, kur bëhet mesatarja në të gjithë librat e kodeve, kodimi kalon nëpër të gjitha vlerat e mundshme, kështu që probabiliteti mesatar që një pikë të jetë në një sferë është raporti i vëllimit të sferës me vëllimin e përgjithshëm të hapësirës. Vëllimi i sferës është

Richard Hamming: Kapitulli 13. Teoria e Informacionit

ku s=Q+e2 <1/2 dhe ns duhet të jetë një numër i plotë.

Termi i fundit në të djathtë është më i madhi në këtë shumë. Së pari, le të vlerësojmë vlerën e tij duke përdorur formulën Stirling për faktorët. Më pas do të shikojmë koeficientin zvogëlues të termit përballë tij, vini re se ky koeficient rritet ndërsa lëvizim majtas, dhe kështu mund: (1) ta kufizojmë vlerën e shumës në shumën e progresionit gjeometrik me ky koeficient fillestar, (2) zgjeron progresionin gjeometrik nga ns terma në një numër të pafund termash, (3) llogarit shumën e një progresion të pafund gjeometrik (algjebër standarde, asgjë domethënëse) dhe në fund merr vlerën kufizuese (për një numër mjaftueshëm të madh n):

Richard Hamming: Kapitulli 13. Teoria e Informacionit

Vini re se si u shfaq entropia H(s) në identitetin binomial. Vini re se zgjerimi i serisë Taylor H(s)=H(Q+e2) jep një vlerësim të marrë duke marrë parasysh vetëm derivatin e parë dhe duke injoruar të gjithë të tjerët. Tani le të bashkojmë shprehjen përfundimtare:

Richard Hamming: Kapitulli 13. Teoria e Informacionit

ku

Richard Hamming: Kapitulli 13. Teoria e Informacionit

Gjithçka që duhet të bëjmë është të zgjedhim e2 në mënyrë që e3 < e1, dhe pastaj termi i fundit do të jetë arbitrarisht i vogël, për sa kohë që n është mjaft i madh. Rrjedhimisht, gabimi mesatar PE mund të merret aq i vogël sa të dëshirohet me kapacitetin e kanalit në mënyrë arbitrare afër C.
Nëse mesatarja e të gjithë kodeve ka një gabim mjaft të vogël, atëherë të paktën një kod duhet të jetë i përshtatshëm, prandaj ekziston të paktën një sistem kodimi i përshtatshëm. Ky është një rezultat i rëndësishëm i marrë nga Shannon - "Teorema e Shanonit për një kanal të zhurmshëm", megjithëse duhet theksuar se ai e vërtetoi këtë për një rast shumë më të përgjithshëm sesa për kanalin e thjeshtë simetrik binar që përdora. Për rastin e përgjithshëm, llogaritjet matematikore janë shumë më të ndërlikuara, por idetë nuk janë aq të ndryshme, kështu që shumë shpesh, duke përdorur shembullin e një rasti të veçantë, mund të zbuloni kuptimin e vërtetë të teoremës.

Le të kritikojmë rezultatin. Ne kemi përsëritur vazhdimisht: "Për n mjaftueshëm të madh." Por sa i madh është n? Shumë, shumë i madh nëse vërtet dëshironi të jeni afër kapacitetit të kanalit dhe të jeni të sigurt për transferimin e saktë të të dhënave! Aq i madh, në fakt, sa do t'ju duhet të prisni një kohë shumë të gjatë për të grumbulluar një mesazh me bit të mjaftueshëm për ta koduar më vonë. Në këtë rast, madhësia e fjalorit të kodit të rastësishëm do të jetë thjesht e madhe (në fund të fundit, një fjalor i tillë nuk mund të përfaqësohet në një formë më të shkurtër se një listë e plotë e të gjithë biteve Mn, pavarësisht nga fakti se n dhe M janë shumë të mëdha)!

Kodet e korrigjimit të gabimeve shmangin pritjen e një mesazhi shumë të gjatë dhe më pas kodimin dhe dekodimin e tij përmes librave shumë të mëdhenj të kodeve, sepse ata shmangin vetë librat e kodeve dhe në vend të tyre përdorin llogaritje të zakonshme. Në teorinë e thjeshtë, kode të tilla priren të humbasin aftësinë për t'iu afruar kapacitetit të kanalit dhe të ruajnë një shkallë të ulët gabimi, por kur kodi korrigjon një numër të madh gabimesh, ato performojnë mirë. Me fjalë të tjera, nëse alokoni një sasi të kapacitetit të kanalit për korrigjimin e gabimeve, atëherë duhet të përdorni aftësinë e korrigjimit të gabimeve shumicën e kohës, d.m.th., një numër i madh gabimesh duhet të korrigjohen në çdo mesazh të dërguar, përndryshe ju e humbni këtë kapacitet.

Në të njëjtën kohë, teorema e provuar më sipër nuk është ende e pakuptimtë! Ajo tregon se sistemet efikase të transmetimit duhet të përdorin skema të zgjuara të kodimit për vargjet shumë të gjata të biteve. Një shembull janë satelitët që kanë fluturuar përtej planetëve të jashtëm; Ndërsa largohen nga Toka dhe Dielli, ata janë të detyruar të korrigjojnë gjithnjë e më shumë gabime në bllokun e të dhënave: disa satelitë përdorin panele diellore, të cilat ofrojnë rreth 5 W, të tjerët përdorin burime të energjisë bërthamore, të cilat ofrojnë pothuajse të njëjtën fuqi. Fuqia e ulët e furnizimit me energji elektrike, madhësia e vogël e enëve transmetuese dhe madhësia e kufizuar e enëve marrës në Tokë, distanca e madhe që duhet të kalojë sinjali - e gjithë kjo kërkon përdorimin e kodeve me një nivel të lartë korrigjimi gabimi për të ndërtuar një sistem efektiv komunikimi.

Le të kthehemi në hapësirën n-dimensionale që përdorëm në vërtetimin e mësipërm. Duke e diskutuar atë, ne treguam se pothuajse i gjithë vëllimi i sferës është i përqendruar pranë sipërfaqes së jashtme - pra, është pothuajse e sigurt që sinjali i dërguar do të vendoset pranë sipërfaqes së sferës së ndërtuar rreth sinjalit të marrë, madje edhe me një rreze e vogël e një sfere të tillë. Prandaj, nuk është për t'u habitur që sinjali i marrë, pas korrigjimit të një numri të madh gabimesh, nQ, rezulton të jetë arbitrarisht afër një sinjali pa gabime. Kapaciteti i lidhjes që diskutuam më parë është çelësi për të kuptuar këtë fenomen. Vini re se sferat e ngjashme të ndërtuara për korrigjimin e gabimeve të kodeve Hamming nuk mbivendosen me njëra-tjetrën. Numri i madh i dimensioneve gati ortogonale në hapësirën n-dimensionale tregon pse ne mund t'i përshtatim sferat M në hapësirë ​​me pak mbivendosje. Nëse lejojmë një mbivendosje të vogël, arbitrarisht të vogël, e cila mund të çojë në vetëm një numër të vogël gabimesh gjatë dekodimit, mund të marrim një vendosje të dendur të sferave në hapësirë. Hamming garantoi një nivel të caktuar korrigjimi të gabimit, Shannon - një probabilitet të ulët gabimi, por në të njëjtën kohë duke ruajtur xhiron aktuale në mënyrë arbitrare afër kapacitetit të kanalit të komunikimit, gjë që kodet Hamming nuk mund ta bëjnë.

Teoria e informacionit nuk na tregon se si të hartojmë një sistem efikas, por ajo tregon rrugën drejt sistemeve efikase të komunikimit. Është një mjet i vlefshëm për ndërtimin e sistemeve të komunikimit makinë-makinë, por, siç u përmend më herët, ka pak lidhje me mënyrën se si njerëzit komunikojnë me njëri-tjetrin. Shkalla në të cilën trashëgimia biologjike është si sistemet e komunikimit teknik është thjesht e panjohur, kështu që aktualisht nuk është e qartë se si teoria e informacionit zbatohet për gjenet. Ne nuk kemi zgjidhje tjetër veçse të provojmë, dhe nëse suksesi na tregon natyrën makinerike të këtij fenomeni, atëherë dështimi do të tregojë aspekte të tjera domethënëse të natyrës së informacionit.

Le të mos devijojmë shumë. Ne kemi parë se të gjitha përkufizimet origjinale, në një masë më të madhe ose më të vogël, duhet të shprehin thelbin e besimeve tona origjinale, por ato karakterizohen nga një shkallë e shtrembërimit dhe për këtë arsye nuk janë të zbatueshme. Tradicionalisht pranohet se, në fund të fundit, përkufizimi që përdorim në të vërtetë përcakton thelbin; por, kjo na tregon vetëm se si t'i përpunojmë gjërat dhe në asnjë mënyrë nuk na përcjell asnjë kuptim. Qasja postulative, aq e favorizuar fort në qarqet matematikore, lë shumë për të dëshiruar në praktikë.

Tani do të shohim një shembull të testeve të IQ-së ku përkufizimi është aq rrethor sa të doni dhe, si rezultat, mashtrues. Është krijuar një test që supozohet të masë inteligjencën. Më pas rishikohet për ta bërë sa më konsistente, dhe më pas publikohet dhe, në një metodë të thjeshtë, kalibrohet në mënyrë që "inteligjenca" e matur të rezultojë të jetë e shpërndarë normalisht (në një kurbë kalibrimi, natyrisht). Të gjitha përkufizimet duhet të rishikohen, jo vetëm kur ato propozohen për herë të parë, por edhe shumë më vonë, kur ato përdoren në përfundimet e nxjerra. Deri në çfarë mase janë të përshtatshme kufijtë përcaktues për problemin që zgjidhet? Sa shpesh përkufizimet e dhëna në një mjedis zbatohen në mjedise krejt të ndryshme? Kjo ndodh mjaft shpesh! Në shkencat humane, të cilat do t'i hasni pashmangshëm në jetën tuaj, kjo ndodh më shpesh.

Kështu, një nga qëllimet e këtij prezantimi të teorisë së informacionit, përveç demonstrimit të dobisë së tij, ishte t'ju paralajmëronte për këtë rrezik, ose t'ju tregonte saktësisht se si ta përdorni atë për të marrë rezultatin e dëshiruar. Prej kohësh është vërejtur se përkufizimet fillestare përcaktojnë atë që gjeni në fund, në një masë shumë më të madhe nga sa duket. Përkufizimet fillestare kërkojnë shumë vëmendje nga ju, jo vetëm në çdo situatë të re, por edhe në fushat me të cilat keni punuar prej kohësh. Kjo do t'ju lejojë të kuptoni se deri në çfarë mase rezultatet e marra janë një tautologji dhe jo diçka e dobishme.

Historia e famshme e Eddington tregon për njerëzit që peshkonin në det me një rrjetë. Pasi studiuan përmasat e peshkut që kapën, përcaktuan madhësinë minimale të peshkut që gjendet në det! Përfundimi i tyre u nxit nga instrumenti i përdorur, jo nga realiteti.

Vazhdon…

Kush dëshiron të ndihmojë me përkthimin, paraqitjen dhe botimin e librit - shkruani në një mesazh personal ose email [email mbrojtur]

Meqë ra fjala, ne kemi nisur edhe përkthimin e një libri tjetër të lezetshëm - "Makina e ëndrrave: Historia e Revolucionit Kompjuterik")

Ne po kërkojmë veçanërisht ata që do të ndihmojnë në përkthimin kapitulli bonus, i cili është vetëm në video. (transferimi për 10 minuta, 20 të parat tashmë janë marrë)

Përmbajtja e librit dhe kapitujt e përkthyerParathënie libri

  1. Hyrje në Artin e të bërit Shkencë dhe Inxhinieri: Të Mësosh të Mësosh (28 Mars 1995) Përkthimi: Kapitulli 1
  2. "Themelet e Revolucionit Dixhital (diskret)" (30 Mars 1995) Kapitulli 2. Bazat e revolucionit dixhital (diskret).
  3. "Historia e Kompjuterëve - Hardware" (31 Mars 1995) Kapitulli 3. Historia e Kompjuterëve – Hardware
  4. "Historia e Kompjuterëve - Software" (4 Prill 1995) Kapitulli 4. Historia e Kompjuterëve – Software
  5. "Historia e Kompjuterëve - Aplikacionet" (6 Prill 1995) Kapitulli 5: Historia e Kompjuterëve - Zbatime praktike
  6. "Inteligjenca Artificiale - Pjesa I" (7 Prill 1995) Kapitulli 6. Inteligjenca Artificiale - 1
  7. "Inteligjenca Artificiale - Pjesa II" (11 Prill 1995) Kapitulli 7. Inteligjenca Artificiale - II
  8. "Inteligjenca Artificiale III" (13 Prill 1995) Kapitulli 8. Inteligjenca Artificiale-III
  9. "Hapësirë ​​n-dimensionale" (14 prill 1995) Kapitulli 9. Hapësira N-dimensionale
  10. "Teoria e kodimit - Përfaqësimi i informacionit, Pjesa I" (18 Prill 1995) Kapitulli 10. Teoria e kodimit - I
  11. "Teoria e kodimit - Përfaqësimi i informacionit, Pjesa II" (20 Prill 1995) Kapitulli 11. Teoria e kodimit - II
  12. "Kodet e korrigjimit të gabimeve" (21 prill 1995) Kapitulli 12. Kodet e korrigjimit të gabimeve
  13. "Teoria e informacionit" (25 prill 1995) Kapitulli 13. Teoria e informacionit
  14. "Filtrat dixhitalë, Pjesa I" (27 Prill 1995) Kapitulli 14. Filtrat dixhitalë - 1
  15. "Filtrat dixhitalë, Pjesa II" (28 Prill 1995) Kapitulli 15. Filtrat dixhitalë - 2
  16. "Filtrat dixhitalë, Pjesa III" (2 maj 1995) Kapitulli 16. Filtrat dixhitalë - 3
  17. "Filtrat dixhitalë, Pjesa IV" (4 maj 1995) Kapitulli 17. Filtrat dixhitalë - IV
  18. "Simulation, Pjesa I" (5 maj 1995) Kapitulli 18. Modelimi - I
  19. "Simulation, Pjesa II" (9 maj 1995) Kapitulli 19. Modelimi - II
  20. "Simulation, Pjesa III" (11 maj 1995) Kapitulli 20. Modelimi - III
  21. "Fibra Optika" (12 maj 1995) Kapitulli 21. Fibra optike
  22. "Udhëzim me ndihmën e kompjuterit" (16 maj 1995) Kapitulli 22: Instruksioni me ndihmën e kompjuterit (CAI)
  23. "Matematika" (18 maj 1995) Kapitulli 23. Matematika
  24. "Mekanika Kuantike" (19 maj 1995) Kapitulli 24. Mekanika kuantike
  25. “Krijimtaria” (23 maj 1995). Përkthimi: Kapitulli 25. Kreativiteti
  26. "Ekspertët" (25 maj 1995) Kapitulli 26. Ekspertët
  27. "Të dhëna jo të besueshme" (26 maj 1995) Kapitulli 27. Të dhëna jo të besueshme
  28. "Inxhinieri e Sistemeve" (30 maj 1995) Kapitulli 28. Inxhinieria e Sistemeve
  29. "Ju merrni atë që matni" (1 qershor 1995) Kapitulli 29: Ju merrni atë që matni
  30. "Si e dimë atë që dimë" (Qershor 2, 1995) përkthejeni në copa 10 minutëshe
  31. Hamming, "Ju dhe kërkimi juaj" (6 qershor 1995). Përkthim: Ti dhe puna jote

Kush dëshiron të ndihmojë me përkthimin, paraqitjen dhe botimin e librit - shkruani në një mesazh personal ose email [email mbrojtur]

Burimi: www.habr.com

Shto një koment