E bëmë këtë!
«Qëllimi i këtij kursi është t'jua përgatisë të ardhmen tuaj teknike.»
Përshëndetje, Habr. A e mbani mend artikullin fantastik (+219, 2588 në shënime, 429k leximet)?
Pra, për Hammingin (po, po, vetë-kontrollues dhe vetë-korrigjues ) ka një tërë , shkruar në bazë të ligjëratave të tij. Ne po e përkthyer, sepse njeriu flet për gjëra të rëndësishme.
Ky libër nuk është vetëm për IT, është një libër për stilin e të menduarit të njerëzve jashtëzakonisht të mrekullueshëm. «Kjo nuk është thjesht një energji pozitive; ai përshkruan kushtet që rrisin mundësitë për të bërë një punë të madhe.»
Faleminderit Andreit Pahomov për përkthimin.
Teoria e Informacionit u zhvillua nga C. E. Shannon në fund të viteve 1940. Drejtoria e Laboratoreve Bell insistoi që ai ta quante atë «Teoria e Komunikimit», pasi kjo është një emër shumë më i saktë. Për arsye të qarta, emri «Teoria e Informacionit» ka një ndikim shumë më të madh në publik, kështu që Shannon zgjodhi saktësisht të vetin, dhe kështu njihet edhe sot. Emri vetë sugjeron se teoria merret me informacionin, dhe kjo e bën atë të rëndësishme, pasi ne po depërtojmë gjithnjë e më thellë në epokën informative. Në këtë kapitull do të diskutoj disa konkluzione themelore nga kjo teori, do të ofroj dëshmi jo strikte, por më shumë prova intuitive për disa nga ligjet e saj për t'ju ndihmuar të kuptoni se çfarë është vërtet «Teoria e Informacionit», ku mund ta aplikoni atë dhe ku jo.
Para sĂ« gjithash, çfarĂ« Ă«shtĂ« âinformatĂ«â? Shannon e identifikon informacionin me pasigurinĂ«. Ai zgjodhi logaritmin negativ tĂ« probabilitetit tĂ« njĂ« ngjarjeje si njĂ« masĂ« sasiore tĂ« informacionit qĂ« merrni kur ndodh njĂ« ngjarje me probabilitet p. PĂ«r shembull, nĂ«se ju them se nĂ« Los Anxhelos ka mot me mjegull, atĂ«herĂ« p Ă«shtĂ« shumĂ« afĂ«r 1, qĂ« nĂ« thelb nuk na jep shumĂ« informacion. Por nĂ«se them se nĂ« qershor nĂ« Monterrey bie shi, atĂ«herĂ« ky mesazh do tĂ« ketĂ« pasiguri, dhe do tĂ« pĂ«rmbajĂ« mĂ« shumĂ« informacion. NjĂ« ngjarje e sigurt nuk ka informacion, pasi log 1 = 0.
Le tĂ« ndalemi mĂ« nĂ« detaje. Shannon mendonte se masa sasiore e informacionit duhet tĂ« jetĂ« njĂ« funksion i vazhdueshĂ«m i probabilitetit tĂ« ngjarjes p, dhe pĂ«r ngjarje tĂ« pavarura ajo duhet tĂ« jetĂ« aditive â sasia e informacionit e marrĂ« nga realizimi i dy ngjarjeve tĂ« pavarura duhet tĂ« barazohet me sasinĂ« e informacionit qĂ« merret nga realizimi i njĂ« ngjarjeje tĂ« bashkuar. PĂ«r shembull, rezultati i hedhjes sĂ« zarave dhe monedhave zakonisht konsiderohet si ngjarje tĂ« pavarura. Le ta pĂ«rkthejmĂ« kĂ«tĂ« nĂ« gjuhĂ«n e matematikĂ«s. NĂ«se I (p) Ă«shtĂ« sasia e informacionit qĂ« pĂ«rmban njĂ« ngjarje me probabilitet p, atĂ«herĂ«, pĂ«r njĂ« ngjarje tĂ« bashkuar, e cila pĂ«rbĂ«het nga dy ngjarje tĂ« pavarura x me probabilitet p1 dhe y me probabilitet p2, marrim
(x dhe y janë ngjarje të pavarura)
Ky është ekuacioni funksional i Cauchy-t, i vërtetë për të gjitha p1 dhe p2. Për të zgjidhur këtë ekuacion funksional, le të supozojmë se
p1 = p2 = p,
kjo jep
Nëse p1 = p2 dhe p2 = p, atëherë
etj. Duke zgjeruar këtë proces, duke përdorur metodën standard për eksponentët, për të gjitha numrat racionalë m / n, është e vërtetë se
Nga supozimi për vazhdueshmërinë e masës informative, pason se funksioni logarithmik është zgjidhja e vetme e vazhdueshme e ekuacionit funksional të Cauchy-t.
Në teorinë e informacionit pranohet se baza e logarithmit është e barabartë me 2, kështu që zgjedhja binare përmban pikërisht 1 bit informacioni. Prandaj, informacioni matet sipas formulës
Le tĂ« ndalemi dhe tĂ« shohim se çfarĂ« ndodhi mĂ« lart. NĂ« radhĂ« tĂ« parĂ«, ne asnjĂ«herĂ« nuk e dhamĂ« njĂ« definicion pĂ«r konceptin e âinformacionitâ, thjesht e pĂ«rcaktuam formulĂ«n e masĂ«s sĂ« tij sasiore.
SĂ« dyti, kjo masĂ« varet nga pasiguria, dhe, ndonĂ«se ajo Ă«shtĂ« e pĂ«rshtatshme nĂ« mjaftueshĂ«m pĂ«r makinat â pĂ«r shembuj, sistemet telefonike, radio, televizion, kompjuterĂ« etj. â ajo nuk pasqyron qĂ«ndrimin normal njerĂ«zor ndaj informacionit.
SĂ« treti, kjo Ă«shtĂ« njĂ« masĂ« relative, ajo varet nga gjendja aktuale e njohurive tuaja. NĂ«se ju shikoni nĂ« njĂ« rrjedhĂ« ânumrash tĂ« rastitâ nga njĂ« gjenerator numrash tĂ« rastit, ju supozoni se çdo numĂ«r i ardhshĂ«m Ă«shtĂ« i pasigurt, por, nĂ«se e dini formulĂ«n pĂ«r llogaritjen e ânumrave tĂ« rastitâ, numri i ardhshĂ«m do tĂ« jetĂ« i njohur, dhe, pĂ«r pasojĂ«, nuk do tĂ« ketĂ« informacion brenda tij.
Prandaj, përkufizimi i dhënë nga Shannon për informacionin, në shumë raste i përshtatet makinave, por duket se nuk i përgjigjet kuptimit të këtij termi nga njerëzit. Pikërisht për këtë arsye, «Teoria e Informacionit» duhej të quhej «Teoria e Komunikimit». Megjithatë, tashmë është shumë vonë për të ndryshuar përkufizimet (falë të cilave teoria fitoi popullaritetin e saj fillestar dhe që ende i bëjnë njerëzit të mendojnë se kjo teori ka të bëjë me «informacionin»), prandaj jemi të detyruar të pajtohemi me to, por duhet të keni qartësi se sa larg është përkufizimi i informacionit nga Shannon nga kuptimi i tij i zakonshëm. Informacioni i Shannons ka të bëjë me diçka krejt ndryshe, konkretisht me pasigurinë.
Kjo është çfarë duhet të mendoni kur ofroni ndonjë terminologji. Sa përputhet përkufizimi i propozuar, për shembull, përkufizimi i informacionit nga Shannon, me idenë tuaj fillestare dhe sa ndryshon? Nuk ka pothuajse asnjë term që t'i reflektojë në mënyrë të saktë vizionin tuaj të mëparshëm të konceptit, por në fund të fundit, terminologjia e përdorur reflekton kuptimin e konceptit, prandaj formalizimi i diçkaje përmes përkufizimeve të qarta gjithmonë sjell një zhurmë të caktuar.
Le të shqyrtojmë një sistem, alfabeti i të cilit përbëhet nga simbole q me probabilitet pi. Në këtë rast sasia mesatare e informacionit në sistem (vlera e tij e pritur) është e barabartë me:
Kjo quhet entropia e sistemit me shpërndarje probabiliteti {pi}. Ne përdorim termin «entropi» sepse e njëjta formë matematikore shfaqet në termodinamike dhe mekanikë statistikore. Pikërisht për këtë arsye termi «entropi» krijon një aurë rëndësie përreth vetes, e cila, në fund të fundit, nuk është e justifikuar. Forma e barabartë matematikore e shkrimit nuk nënkupton një interpretim të njëjtë të simboleve!
Entropia e shpërndarjes së probabilitetit luan një rol kryesor në teorinë e kodimit. Pabarazia e Gibbsit për dy shpërndarje të ndryshme probabiliteti pi dhe qi është një nga pasojat e rëndësishme të kësaj teorie. Pra, ne duhet të dëshmojmë se
Dëshmia mbështetet në grafikun e dukshëm, figura 13.I, e cila tregon se
dhe barazia arrihet vetëm kur x = 1. Aplikojmë pabarazinë në çdo term të sumës nga ana e majtë:
Nëse alfabeti i sistemit të komunikimit përmban q simbole, atëherë duke marrë probabilitetin e transmetimit të secilit simbol qi = 1/q dhe duke zëvendësuar q, marrim nga pabarazia e Gibbs-it.
Figura 13.I
Kjo tregon se nĂ«se probabiliteti i transmetimit tĂ« tĂ« gjithĂ« simbolĂ«ve q Ă«shtĂ« i njĂ«jtĂ« dhe i barabartĂ« me â 1/q, atĂ«herĂ« entropia maksimale Ă«shtĂ« e barabartĂ« me ln q, pĂ«rndryshe, pabarazia Ă«shtĂ« e vĂ«rtetĂ«.
Në rastin e një kodi të dekoduese unik, ne kemi pabarazinë e Kraftit.
Tani nëse ne përcaktojmë pseudoprobabilitetet,
ku natyrshëm, 
= 1, që del nga pabarazia e Gibbs-it,
dhe aplikojmë pak algebrë (mos harroni, që K †1, prandaj mund të injorojmë anëtarin logaritimor, dhe ndoshta të forcojmë pabarazinë më vonë), atëherë do të kemi;
ku L është gjatësia mesatare e kodit.
Pra, entropia është kufiri minimal për çdo kod me karaktere me gjatësi mesatare të kodit L. Kjo është teorema e Shannon-it për kanalin pa zhurmë.
Tani le tĂ« shqyrtojmĂ« teoremĂ«n kryesore mbi kufizimet e sistemeve tĂ« komunikimit, ku informacioni transmetohet nĂ« formĂ«n e njĂ« rrjedhje tĂ« bitĂ«ve tĂ« pavarur dhe ekziston zhurmĂ«. NĂ«nkuptohet se probabiliteti i transmetimit tĂ« saktĂ« tĂ« njĂ« biter P > 1/2, dhe probabiliteti qĂ« vlera e bitit do tĂ« invertohet gjatĂ« transmetimit (do tĂ« ndodhĂ« njĂ« gabim) Ă«shtĂ« i barabartĂ« me Q = 1 â P. PĂ«r lehtĂ«si, le tĂ« supozojmĂ« se gabimet janĂ« tĂ« pavarura dhe probabiliteti i gabimit Ă«shtĂ« i njĂ«jtĂ« pĂ«r secilin bit tĂ« dĂ«rguar â domethĂ«nĂ«, nĂ« kanalin e komunikimit ekziston "zhurma e bardhĂ«".
Kur ne kemi njĂ« rrjedhĂ« tĂ« gjatĂ« prej n bitĂ«sh, tĂ« koduar nĂ« njĂ« mesazh â zgjerimi n-dimensional i njĂ« kodi njĂ«-bitĂ«sh. Ne do ta pĂ«rcaktojmĂ« vlerĂ«n e n mĂ« vonĂ«. Le tĂ« shqyrtojmĂ« njĂ« mesazh, i pĂ«rbĂ«rĂ« nga n-bitĂ«, si njĂ« pikĂ« nĂ« hapĂ«sirĂ«n n-dimensionale. NdĂ«rsa kemi hapĂ«sirĂ« n-dimensionale â dhe pĂ«r thjeshtĂ«si le tĂ« supozojmĂ« se çdo mesazh ka tĂ« njĂ«jtĂ«n probabilitet shfaqjeje â ekzistojnĂ« M mesazhe tĂ« mundshme (M do tĂ« pĂ«rcaktohet gjithashtu mĂ« vonĂ«), prandaj probabiliteti i çdo mesazhi tĂ« dĂ«rguar Ă«shtĂ« i barabartĂ« me;
(dërguesi)
Grafiku 13.II
Më pas do të shqyrtojmë idenë e kapacitetit të kanalit. Pa hyrë në detaje, kapaciteti i kanalit përcaktohet si sasia maksimale e informacionit që mund të transmetohet me besueshmëri përmes një kanali komunikimi, duke marrë parasysh përdorimin e kodimit më efikas. Nuk ka argumente që të sugjerojnë se përmes kanalit të komunikimit mund të transmetohet më shumë informacion sesa kapaciteti i tij. Kjo mund të provohet për një kanal simetrik binar (të cilin e përdorim në këtë rast). Kapaciteti i kanalit, në dërgimin bit për bit, përcaktohet si
ku, siç e kemi thënë më parë, P është probabiliteti i mungesës së gabimit në çdo bit të dërguar. Kur dërgojmë n bita të pavarur, kapaciteti i kanalit përcaktohet si
NĂ«se jemi afĂ«r kapacitetit tĂ« kanalit, ne duhet tĂ« dĂ«rgojmĂ« gati aq shumĂ« informacion pĂ«r secilin nga simbolet ai, i = 1, âŠ, M. Duke marrĂ« parasysh se probabiliteti i shfaqjes sĂ« çdo simboli ai barazohet me 1 / M, ne do tĂ« marrim
kur dërgojmë ndonjë nga M mesazhet me probabilitet të barabartë ai, ne kemi
Kur dërgojmë n bit, ne presim që të shfaqen nQ gabime. Në praktikë, për një mesazh që përmban n-bit, do të kemi afërsisht nQ gabime në mesazhin e marrë. Për n të mëdha, varianca relative (varianca = gjerësia e shpërndarjes,)
shpërndarja e numrit të gabimeve do të jetë gjithnjë e ngushtë me rritjen e n.
Pra, nga ana e dërguesit, unë marr mesazhin ai për ta dërguar dhe vizatoj një sferë rreth tij me rreze
që është pak më e madhe se sa sa e barabartë me e2, krahasuar me numrin e pritur të gabimeve Q, (ilustrimi 13.II). Nëse n është mjaft i madh, ekziston një probabilitet i vogël sa të duash që pika e mesazhit bj në anën e pranueseve të dalë përtej kësaj sfere. Le të ilustrojmë situatën siç e shoh unë nga këndvështrimi i dërguesit: ne kemi çdo rreze nga mesazhi i dërguar ai deri te mesazhi i marrë bj me probabilitet gabimi të barabartë (ose pothuajse të barabartë) me shpërndarjen normale, që arrin maksimumin në nQ. Për çdo e2 të caktuar, ekziston një n aq i madh, sa probabiliteti që pika e marrë bj, që del përtej sferës time, të jetë aq i vogël sa të duash.
Tani, le të shqyrtojmë këtë situatë nga ana juaj (shih. 13.III). Në anën e marrësit ka një sferë S(r) me të njëjtin rreze r përreth pikës së pranuar bj në hapësirën n-dimensionale, e tillë që, nëse mesazhi i pranuar bj ndodhet brenda sferës time, atëherë mesazhi i dërguar prej meje ai ndodhet brenda sferës suaj.
Si mund të ndodhë një gabim? Një gabim mund të ndodhi në rastet e përshkruara në tabelën më poshtë:
Figura 13.III
Këtu shohim që, nëse në sferën e ndërtuar rreth pikës së pranuar ekziston edhe të paktën një pikë tjetër që përkon me një mesazh të dërguar të pa koduar, atëherë gjatë transmetimit ka ndodhur një gabim, pasi nuk mund të përcaktoni cilin prej këtyre mesazheve është dërguar. Mesazhi i dërguar nuk përmban gabim, vetëm nëse pika që i përkon asaj ndodhet në sferë dhe nuk ekzistojnë pika të tjera të mundshme në këtë kod që ndodhen në të njëjtën sferë.
Ne kemi një ekuacion matematikor për probabilitetin e gabimit Pe, nëse është dërguar një mesazh ai
Mund të heqim faktorin e parë në shumën e dytë, duke e marrë atë si 1. Kështu, do të marrim një pabarazi
rdf:singletonPropertyOf rdfs:subPropertyOf rdf:type
prandaj
e përsërisim për të fundit e djathtë
Duke marrë n të mjaftueshëm të madh, elementi i parë mund të merret aq të vogël sa të jetë, le të themi, më pak se një numër të caktuar d. Prandaj, kemi
Tani le të shqyrtojmë se si mund të ndërtojmë një kod zëvendësimi të thjeshtë për kodimin e M mesazheve, të përbëra nga n bit. Pa pasur një ide se si të ndërtojmë kodin (kodet me korrigjim gabimesh ende nuk ishin shpikur), Shannon zgjodhi kodimin rastësor. Hedhni monedhë për çdo bit n në mesazh dhe përsëritni procesin për M mesazhe. Në total duhet të bëhen nM hedhje monedhe, kështu që janë të mundshme
shtatĂ«zĂ« kodimi, tĂ« cilĂ«t kanĂ« tĂ« njĂ«jtin probabilitet ÂœnM. Sigurisht, procesi rastĂ«sor i krijimit tĂ« njĂ« fjalori tĂ« kodit do tĂ« thotĂ« se ekziston probabiliteti i shfaqjes sĂ« kopjeve, si dhe pikave tĂ« kodit qĂ« do tĂ« jenĂ« tĂ« afĂ«rta me njĂ«ra-tjetrĂ«n dhe, pĂ«r pasojĂ«, do tĂ« jenĂ« burim i gabimeve tĂ« mundshme. Duhet tĂ« provohet se nĂ«se kjo nuk ndodh me probabilitet mĂ« tĂ« lartĂ« se çdo nivel tĂ« vogĂ«l tĂ« zgjedhur tĂ« gabimit, atĂ«herĂ« e dhĂ«na n Ă«shtĂ« mjaft e madhe.
Moment theçësor është se Shannon mesatarizoi të gjitha mundësitë e librave të kodit për të gjetur gabimin mesatar! Ne do të përdorim simbolin Av [.], për të treguar vlerën mesatare për të gjithë fjalorët e mundshëm të rastësishëm të kodit. Mesatarizimi për konstantën d, natyrisht, jep një konstantë, pasi për të mesatarizuar, çdo anëtar përputhet me çdo anëtar tjetër në shumën,
i cili mund tĂ« rritet (Mâ1 kalon nĂ« M)
Për një mesazh të caktuar, duke mesatarizuar të gjitha librat e kodit, kodimi kalon përmes të gjitha vlerave të mundshme, kështu që probabiliteti mesatar që pika ndodhet në sferë është raporti ndërmjet volumit të sferës dhe vëllimit të përgjithshëm të hapësirës. Volumi i sferës në këtë rast
ku s=Q+e2 <1/2 dhe ns duhet të jetë një numër i plotë.
Shtesa më e djathtë është e madhja në këtë shumë. Së pari, do ta vlerësojmë vlerën e saj sipas formulës së Sterlingut për faktorielët. Pastaj do ta shqyrtojmë koeficientin e reduktimit të termit përpara saj, vëreni se ky koeficient rritet duke u lëvizur majtas, dhe prandaj ne mund të: (1) kufizojmë vlerën e shumës me shumën e progresionit gjeometrik me këtë koeficient fillestar, (2) zgjerojmë progresionin gjeometrik nga ns anëtarë në një numër të pafund anëtarësh, (3) llogarisim shumën e progresionit gjeometrik të pafund (algebra standarde, asgjë thelbësore) dhe në fund të arrijmë në kufirin (për n mjaft të madh):
Vini re si entropia H(s) u shfaq në identitetin binomial. Vini re se zhvillimi në serinë Taylore H(s)=H(Q+e2) jep një vlerësim që është marrë parasysh vetëm derivatën e parë dhe duke injoruar të gjitha të tjerat. Tani le të mblidhen shprehjet përfundimtare:
ku
E gjithë çfarë duhet të bëjmë është të zgjedhim e2, në mënyrë që e3 < e1, dhe atëherë anëtari i fundit do të jetë sa më i vogël, për një n të mjaft të madh. Prandaj, gabimi mesatar PE mund të bëhet sa më i vogël me kapacitetin e kanalit të mjaftueshëm të afërt me C.
Nëse vlera mesatare për të gjitha kodet ka një gabim të mjaftueshëm të vogël, atëherë të paktën një kod duhet të jetë i përshtatshëm, duke përfunduar se ekziston të paktën një sistem kodimi i përshtatshëm. Ky është një rezultat i rëndësishëm, i arritur nga Shannon - "theorema e Shannon për kanal me interference", megjithëse duhet të theksohet se ai e provonte këtë për një rast shumë më të përgjithshëm se sa për një kanal simetrik binar të thjeshtë, i përdorur nga unë. Për rastin e përgjithshëm, përllogaritjet matematikore janë shumë më komplekse, por idetë nuk janë aq të ndryshme, prandaj shumë shpesh mbi shembujt e rasteve specifike mund të zbulohet kuptimi i vërtetë i teoremës.
Le të kritikojmë rezultatin. Ne e kemi përsëritur disa herë: "Me mjaft të madhe n". Por sa e madhe është vlera n? Për të vërtetë, shumë, shumë e madhe, nëse dëshiron të jesh njëkohësisht afër kapacitetit të kanalit dhe të jesh i sigurt për transmetimin e saktë të të dhënave! Aq e madhe, saqë në fakt do të dëshohesh të presësh për një kohë shumë të gjatë, që të grumbullosh një mesazh nga një numër i tillë bitësh, që më pas të mund ta kodosh atë. Në këtë rast, madhësia e fjalorit të kodit të rastësishëm do të jetë thjesht gjigante (sepse një fjalor i tillë nuk mund të paraqitet në një formë më të shkurtër sesa lista e plotë e të gjitha M_n bitëve, ndërkohë që n dhe M janë shumë të mëdha)!
Kodet e korrigjimit të gabimeve shmangin pritjen për një mesazh shumë të gjatë, me kodimin dhe dekodimin e tij përmes librave të kodit shumë të mëdhenj, sepse ato shmangin librat e kodit si të tillë dhe përdorin në vend të tyre llogaritje të zakonshme. Në teorinë e thjeshtë, këto kode në përgjithësi humbasin aftësinë për t'u afruar me kapacitetin e kanalit dhe njëkohësisht të ruajnë një frekuencë të ulët gabimesh, por kur kodi korrigjon një numër të madh gabimesh, ato tregojnë rezultate të mira. Me fjalë të tjera, nëse ndërton ndonjë kapacitet të kanalit për korrigjimin e gabimeve, atëherë duhet ta përdorësh mundësinë e korrigjimit të gabimmëve shumicën e kohës, domethënë në secilin mesazh të dërguar duhet të korrigjohet një numër i madh gabimesh, përndryshe e humb këtë kapacitet për një të kotë.
MegjithatĂ«, teorema e provuar mĂ« lart ende nuk Ă«shtĂ« e pavlerĂ«! Ajo tregon se sistemet efektive tĂ« transmetimit duhet tĂ« pĂ«rdorin skema tĂ« menduara mirĂ« tĂ« kodifikimit pĂ«r vargje shumĂ« tĂ« gjata bitĂ«sh. NjĂ« shembull janĂ« satelitĂ«t qĂ« kanĂ« shkuar pĂ«rtej planetĂ«ve tĂ« jashtĂ«m; me kalimin e kohĂ«s larg TokĂ«s dhe Diellit, ata janĂ« tĂ« detyruar tĂ« korrigjojnĂ« njĂ« numĂ«r gjithnjĂ« e mĂ« tĂ« madh gabimesh nĂ« bllokun e tĂ« dhĂ«nave: disa satelitĂ«t pĂ«rdorin panelet diellore qĂ« japin rreth 5 W, tĂ« tjerĂ«t pĂ«rdorin burime atomike tĂ« energjisĂ« qĂ« ofrojnĂ« afĂ«rsisht tĂ« njĂ«jtĂ«n fuqi. Fuqia e dobĂ«t e burimit tĂ« energjisĂ«, madhĂ«sitĂ« e vogla tĂ« pjatave transmetuese dhe tĂ« kufizuara tĂ« pjatave marrĂ«se nĂ« TokĂ«, distanca enorme qĂ« signali duhet tĂ« kalojĂ« â tĂ« gjitha kĂ«to kĂ«rkojnĂ« pĂ«rdorimin e kodeve me njĂ« nivel tĂ« lartĂ« korrigjimi gabimesh pĂ«r tĂ« ndĂ«rtuar njĂ« sistem efikas komunikimi.
Le tĂ« kthehemi nĂ« hapĂ«sirĂ«n n-dimensionale qĂ« ne e pĂ«rdorĂ«m nĂ« provimin mĂ« lart. Duke e diskutuar atĂ«, ne treguam se pothuajse e gjithĂ« vĂ«llimi i sferĂ«s Ă«shtĂ« pĂ«rqendruar rreth sipĂ«rfaqes sĂ« jashtme; kĂ«shtu qĂ«, pothuajse me siguri, signali i dĂ«rguar do tĂ« ndodhet nĂ« sipĂ«rfaqe tĂ« sferĂ«s, e ndĂ«rtuar rreth signalit tĂ« pranuar, edhe me njĂ« rreze relativisht tĂ« vogĂ«l tĂ« tillĂ« sferike. Prandaj, nuk Ă«shtĂ« befasuese qĂ« signali i pranuar, pas korrigjimit tĂ« njĂ« numri tĂ« rastĂ«sishĂ«m tĂ« madh gabimesh, nQ, del tĂ« jetĂ« sa mĂ« afĂ«r signali pa gabime. Kapaciteti i kanalit tĂ« komunikimit, qĂ« ne shqyrtuam mĂ« parĂ«, Ă«shtĂ« çelĂ«si pĂ«r tĂ« kuptuar kĂ«tĂ« fenomen. Vini re se sferat tĂ« ngjashme, tĂ« ndĂ«rtuara pĂ«r kodet Hamming me korrigjim gabimesh, nuk mbivendosen me njĂ«ra-tjetrĂ«n. NjĂ« numĂ«r i madh tĂ« pĂ«rmasave praktikisht ortogonale nĂ« hapĂ«sirĂ«n n-dimensionale tregon pse mund ta vendosim M sferat nĂ« hapĂ«sirĂ« me mbivendosje tĂ« vogĂ«l. NĂ«se lejojmĂ« qĂ« tĂ« ketĂ« njĂ« mbivendosje tĂ« vogĂ«l, sa mĂ« tĂ« vogĂ«l tĂ« jetĂ« e mundur, e cila mund tĂ« çojĂ« vetĂ«m nĂ« njĂ« numĂ«r tĂ« vogĂ«l gabimesh gjatĂ« dekodimit, mund tĂ« arrihet njĂ« vendosje e dendur e sferave nĂ« hapĂ«sirĂ«. Hamming garantoi njĂ« nivel tĂ« caktuar korrigjimi gabimesh, Shannon â njĂ« probabilitet tĂ« ulĂ«t gabimi, por duke ruajtur kapacitetin aktual tĂ« kalimit pĂ«r aq afĂ«r sa tĂ« jetĂ« e mundur me kapacitetin e kanalit tĂ« komunikimit, qĂ« kodet Hamming nuk mund ta bĂ«nin.
Teoria e informacionit nuk thotë se si të dizenjohet një sistem efektiv, por tregon drejtimin për të arritur sisteme efektive komunikimi. Ky është një mjet i çmuar për ndërtimin e sistemeve të komunikimit midis makinave, por, siç është theksuar më parë, ajo nuk ka asnjë lidhje të veçantë me mënyrën se si njerëzit shkëmbejnë informacionin me njëri-tjetrin. Shkalla në të cilën trashëgimia biologjike i ngjan sistemeve teknike të komunikimit, thjesht nuk dihet, prandaj aktualisht nuk është e qartë se sa aplikueshëm është teoria e informacionit për gjenet. Nuk na mbetet asgjë tjetër veçse ta provojmë, dhe nëse suksesi na tregon karakterin makinerik të këtij fenomeni, dështimi do të tregonte aspekte të tjera të rëndësishme të natyrës së informacionit.
Le të shmangim pak. Ne kemi parë se të gjitha definicionet e para, në më shumë ose në më pak masë, duhet të shprehin thelbin e besimeve tona origjinale, por ato kanë njëfarë shkalle të shtrembërimit, dhe për këtë arsye ato nuk aplikohen. Tradicionalisht pranohet se, përfundimisht, definicioni që ne përdorim në të vërtetë përcakton thelbin; por, kjo vetëm na tregon se si të përpunojmë gjërat dhe në asnjë mënyrë nuk na ofron ndonjë kuptim. Qasja postulatore, e cila është shumë e miratuar në rrethinat matematike, lë shumë për të dëshiruar në praktikë.
Tani do të shqyrtojmë një shembull të testeve të IQ, ku përcaktimi është aq ciklik sa të doni, dhe si pasojë ju çon në keqkuptim. Krehohet një test, që pretendohet se duhet të matë inteligjencën. Pas kësaj, rishikohet, për ta bërë sa më të qëndrueshëm, dhe më pas publikohet dhe kalibradohet në një mënyrë të thjeshtë, kështu që "inteligjenca" e matur del të jetë e shpërndarë normalisht (sigurisht nëpërmjet një kure kalibrimi). Të gjitha përcaktimet duhet të rivlerësohen, jo vetëm kur janë propozuar për herë të parë, por edhe shumë më vonë, kur përdoren në përfundimet e nxjerra. Në çfarë mase kufijtë e përcaktimeve i përshtaten detyrës që po zgjidhet? Sa shpesh përcaktimet e dhëna në kushte të caktuara fillojnë të aplikohen në kushte mjaft të ndryshme? Kjo ndodh shpesh! Në shkencat humane, me të cilat do të përballeni patjetër në jetën tuaj, kjo ndodh më shpesh.
Prandaj, një nga qëllimet e kësaj prezantimi të teorisë së informacionit, përveç demonstrimit të dobisë së saj, ishte parashikimi juaj për këtë rrezik, ose demonstrimi se si ta përdorni atë për të arritur rezultatin e dëshiruar. Ka kohë që është vënë re se përcaktimet fillestare ndikojnë në atë që gjeni në fund, në një masë më të madhe sesa duket. Përcaktimet fillestare kërkojnë vëmendje të madhe jo vetëm në çdo situatë të re, por edhe në fushat me të cilat keni punuar prej kohësh. Kjo do t'ju ndihmojë të kuptoni në çfarë mase rezultatet e marra janë tautologji dhe jo diçka e dobishme.
Historia e njohur e Eddington-it flet për njerëz që kapnin peshk në det me një rrjetë. Duke studiuar madhësinë e peshqve që kishin kapur, ata përcaktuan madhësinë minimale të peshkut që ndodhej në det! Konkluzioni i tyre ishte i përshkruar nga mjeti i përdorur, dhe jo nga realiteti.
To be continued...
Kush dĂ«shiron tĂ« ndihmojĂ« me pĂ«rkthimin, formatimin dhe botimin e librit â shkruani nĂ« privat ose nĂ« email magisterludi2016@yandex.ru
MeqĂ« ra fjala, kemi nisur edhe pĂ«rkthimin e njĂ« libri tjetĂ«r fantastik â )
Në veçanti kërkojmë ata që mund të ndihmojnë me përkthimin e . (po përkthejmë nga 10 minuta, 20 minutat e para i kemi marrë tashmë)
Përmbajtja e librit dhe kapitujt e përkthyer
- Hyrje në The Art of Doing Science and Engineering: Learning to Learn (28 mars 1995)
- «Foundations of the Digital (Discrete) Revolution» (30 mars 1995)
- «History of Computers â Hardware» (31 mars 1995)
- «History of Computers â Software» (4 prill 1995)
- «History of Computers â Applications» (6 prill 1995)
- «Artificial Intelligence â Part I» (7 prill 1995)
- «Artificial Intelligence â Part II» (11 prill 1995)
- «Artificial Intelligence III» (13 prill 1995)
- «n-Dimensional Space» (14 prill 1995)
- «Coding Theory â The Representation of Information, Part I» (18 prill 1995)
- «Coding Theory â The Representation of Information, Part II» (20 prill 1995)
- «Error-Correcting Codes» (21 prill 1995)
- «Information Theory» (25 prill 1995)
- «Digital Filters, Part I» (27 prill 1995)
- «Digital Filters, Part II» (28 prill 1995)
- «Digital Filters, Part III» (2 maj 1995)
- «Digital Filters, Part IV» (4 maj 1995)
- «Simulation, Part I» (5 maj 1995)
- «Simulation, Part II» (9 maj 1995)
- «Simulation, Part III» (11 maj 1995)
- «Fiber Optics» (12 maj 1995)
- «Computer Aided Instruction» (16 maj 1995)
- «Mathematics» (18 maj 1995)
- «Quantum Mechanics» (19 maj 1995)
- «Creativity» (23 maj 1995). Përkthimi:
- «Experts» (25 maj 1995)
- «Unreliable Data» (26 maj 1995)
- «Systems Engineering» (30 maj 1995)
- «You Get What You Measure» (1 qershor 1995)
- (2 qershor 1995) po e përkthejmë në segmente nga 10 minuta
- Hamming, «You and Your Research» (6 qershor 1995).
Kush dĂ«shiron tĂ« ndihmojĂ« me pĂ«rkthimin, formatimin dhe botimin e librit â shkruani nĂ« privat ose nĂ« email magisterludi2016@yandex.ru
Burimi: habr.com
