E bëmë këtë!
«Qëllimi i këtij kursi është t'ju përgatisë për të ardhmen tuaj teknike.»
Përshëndetje, Habr. Po e mbani mend artikullin fantastik (+219, 2588 në shënime, 429k lexime)?
Pra, tek kodet e Hemmingut (po, po, vetë-kontrollues dhe vetë-korrigjues ) ka një tërë , e shkruar në frymëzim të ligjëratave të tij. Ne po e përkthyejmë, sepse njeriu e ka fjalën.
Kjo libër nuk është thjesht për IT-në, por për stilin e mendimit të njerëzve jashtëzakonisht të mrekullueshëm. «Kjo nuk është thjesht një ngarkesë e mendimit pozitiv; përshkruan kushtet që rrisin shanset për të bërë një punë të madhe.»
Faleminderit Andrey Pakhomov për përkthimin.
Teoria e Informacionit u zhvillua nga C. E. Shannon në fundin e viteve 1940. Drejtoria e Laboratoreve Bell këmbënguli që ai ta quante "Teoria e Komunikimit", sepse kjo është një përkufizim më i saktë. Për arsye të qarta, emri "Teoria e Informacionit" ka një ndikim shumë më të madh mbi publikun, prandaj Shannon e zgjodhi atë, dhe ajo është e njohur deri më sot. Emri i vet sugjeron se teoria ka të bëjë me informacionin, dhe ky është arsyeja se pse është e rëndësishme, pasi po thellohemi edhe më shumë në epokën informative. Në këtë kapitull do të prek disa konkluzione të rëndësishme nga kjo teori, duke sjellë prova jo formale, por më shumë intuitivisht të kuptueshme të disa pozita të veçanta të kësaj teorie, që të kuptoni se çfarë është realisht "Teoria e Informacionit", ku mund ta aplikoni dhe ku jo.
Para sĂ« gjithash, çfarĂ« Ă«shtĂ« âinformacioniâ? Shannon e identifikon informacionin me pasigurinĂ«. Ai zgjodhi logaritmin negativ tĂ« probabilitetit tĂ« ngjarjes si njĂ« masĂ« tĂ« sasisĂ« sĂ« informacionit qĂ« merrni kur ndodh njĂ« ngjarje me probabilitet p. PĂ«r shembull, nĂ«se ju them se nĂ« Los Anxhelos ka mjegull, atĂ«herĂ« p Ă«shtĂ« afĂ«r 1, qĂ« pĂ«rfundimisht, nuk na jep shumĂ« informacion. Por nĂ«se ju them se nĂ« qershor nĂ« Monterrey bie shi, atĂ«herĂ« ky mesazh do tĂ« ketĂ« pasiguri dhe do tĂ« pĂ«rmbajĂ« mĂ« shumĂ« informacion. NjĂ« ngjarje e sigurt nuk pĂ«rmban asnjĂ« informacion, pasi log 1 = 0.
Le t'i pĂ«rkushtohemi mĂ« nĂ« detaje. Shannon mendonte se masa sasiore e informacionit duhet tĂ« jetĂ« njĂ« funksion i vazhdueshĂ«m i probabilitetit tĂ« ngjarjes p, dhe pĂ«r ngjarje tĂ« pavarura, ajo duhet tĂ« jetĂ« aditive â sasia e informacionit e marrĂ« nga realizimi i dy ngjarjeve tĂ« pavarura duhet tĂ« jetĂ« e barabartĂ« me sasinĂ« e informacionit tĂ« marrĂ« nga realizimi i njĂ« ngjarjeje tĂ« pĂ«rbashkĂ«t. PĂ«r shembull, rezultati i hedhjes sĂ« zarave dhe monedhave zakonisht konsiderohet si ngjarje tĂ« pavarura. Ta pĂ«rkthejmĂ« kĂ«tĂ« nĂ« gjuhĂ«n e matematikĂ«s. NĂ«se I (p) Ă«shtĂ« sasia e informacionit qĂ« pĂ«rmban njĂ« ngjarje me probabilitet p, atĂ«herĂ«, pĂ«r njĂ« ngjarje tĂ« pĂ«rbashkĂ«t qĂ« pĂ«rbĂ«het nga dy ngjarje tĂ« pavarura x me probabilitet p1 dhe y me probabilitet p2, kemi
(x dhe y ngjarje të pavarura)
Kjo është ekuacioni funksional i Cauchy, i vërtetë për të gjithë p1 dhe p2. Për të zgjidhur këtë ekuacion funksional, le të supozojmë se
p1 = p2 = p,
kjo jep
Nëse p1 = p2 dhe p2 = p, atëherë
etj. Duke e zgjeruar këtë proces, duke përdorur metodën standard për eksponencialet, për të gjithë numrat racionalë m / n, kjo është e vërtetë
Nga supozimi i vazhdimësisë së masës informuese, del se funksioni logaritmik është zgjidhja e vetme e vazhdueshme e ekuacionit funksional të Cauchy.
Në teorinë e informacionit pranohet se baza e logaritmit është e barabartë me 2, prandaj, zgjedhja binare përmban pikërisht 1 bit informacioni. Prandaj, informata matet me formulën
Le të ndalemi dhe të kuptojmë se çfarë ndodhi më sipër. Para së gjithash, as nuk e dhamë një definicion për konceptin "informacion", thjesht e përcaktuam formulën e masës së saj sasiore.
SĂ« dyti, kjo masĂ« varet nga pasiguria, dhe, megjithĂ«se ajo Ă«shtĂ« mjaft e pĂ«rshtatshme pĂ«r makinat â pĂ«r shembuj, sistemet telefonike, radio, televizionet, kompjuterĂ«t etj. â ajo nuk pasqyron qĂ«ndrimin normal njerĂ«zor ndaj informacionit.
Së treti, kjo është një masë relative, ajo varet nga gjendja aktuale e dijes tuaj. Nëse shikoni në një lumë "numrash të rastit" nga një gjenerator numrash të rastit, supozoni se çdo numër i ardhshëm është i pasigurt, por, nëse e dini formulën për llogaritjen e "numrave të rastit", numri i ardhshëm do të dihet, dhe, si rrjedhojë, nuk do të përmbajë informacion.
Kështu, përkufizimi që Shannon i dha informacionit, në shumë raste përshtatet për makinat, por duket se nuk është në përputhje me kuptimin njerëzor të këtij termi. Pikërisht për këtë arsye, "Teoria e informacionit" duhet të quhej "Teoria e komunikimit". Megjithatë, tashmë është shumë vonë për të ndryshuar përkufizimet (përmes të cilave teoria fitoi popullaritetin e saj origjinal, dhe që ende bëjnë që njerëzit të mendojnë se kjo teori ka të bëjë me "informacionin"), prandaj duhet të pajtohemi me to, por ju duhet të kuptoni qartë se sa larg është përkufizimi i informacionit, i dhënë nga Shannon, nga kuptimi i tij i zakonshëm. Informacioni i Shannon-ë ka të bëjë me diçka krejt tjetër, pra me paqartësinë.
Ky Ă«shtĂ« njĂ« ndalesĂ« pĂ«r tâu menduar kur ofroni ndonjĂ« terminologji. Sa mirĂ« pĂ«rkufizimi i propozuar, pĂ«r shembull, pĂ«rkufizimi i informacionit nga Shannon, pĂ«rputhet me idenĂ« tuaj fillestare dhe sa ndryshon? Praktikisht nuk ka njĂ« termin qĂ« tĂ« shprehĂ« saktĂ«sisht vizionin tuaj tĂ« mĂ«parshĂ«m pĂ«r konceptin, por nĂ« fund tĂ« fundit, terminologjia e pĂ«rdorur pasqyron kuptimin e konceptit, prandaj formalizimi i diçkaje pĂ«rmes pĂ«rkufizimeve tĂ« qarta gjithmonĂ« sjell njĂ« zhurmĂ« tĂ« caktuar.
Le të shqyrtojmë një sistem, alfabeti i të cilit përbëhet nga simbole q me probabilitet pi. Në këtë rast sasia mesatare e informacionit në sistem (vlera e pritur) është:
Kjo quhet entropia e sistemit me shpërndarje probabiliteti {pi}. Ne e përdorim termin "entropi" sepse e njëjta formë matematike shfaqet në termodinamikë dhe mekanikën statistike. Prandaj, termi "entropi" krijon rreth vetes një aure që në fund nuk justifikohet. E njëjta formë matematikore nuk nënkupton interpretimin e njëjtë të simboleve!
Entropia e shpërndarjes së probabilitetit luan një rol kryesor në teorinë e kodimit. Barazia e Gibbs-it për dy shpërndarje të ndryshme probabiliteti pi dhe qi është një nga përfundimet e rëndësishme të kësaj teorie. Pra, ne duhet të provojmë se
Prova mbështetet në një grafik të qartë, fig. 13.I, i cili tregon se
dhe barazia arrihet vetëm kur x = 1. Të aplikojmë barazinë në çdo element të shumës nga ana e majtë:
Nëse alfabeti i sistemit të komunikimit përbëhet nga q simbole, duke marrë probabilitetin e transmetimit të çdo simboli qi = 1/q dhe duke e zëvendësuar q, ne marrim nga barazia e Gibbs-it
Figura 13.I
Kjo tregon se nëse probabiliteti i transmetimit të të gjithë q simboleve është i njëjtë dhe është 1/q, atëherë entropia maksimale është ln q, përndryshe zbatohen barazitë.
Në rastin e një kodi të dekodueshëm njëkuptimshëm, kemi barazinë e Kraftit
Tani, nëse ne përcaktojmë pseudo-probabilitetet
ku sigurisht 
= 1, që ndjek nga barazia e Gibbs-it,
dhe nëse aplikojmë pak algebrë (mbani mend se K †1, prandaj mund të heqim gjysmën logaritemike, dhe ndoshta të forcojmë barazinë më vonë), atëherë ne do të marrim
ku L është gjatësi mesatare e kodit.
Kështu, entropia është kufiri minimal për çdo kod me përfshirje mesatare të fjalëkodi L. Kjo është teorema e Shannon-it për kanalin pa ndotje.
Tani le të shqyrtojmë teoremën kryesore mbi kufizimet e sistemeve të komunikimit, ku informacioni transmetohet në formën e një rrjedhe të pavarur të bitëve dhe ka zhurmë. Nënkuptohet se probabiliteti i transmetimit të saktë të një bita P > 1/2, dhe probabiliteti që vlera e bita të invertohet gjatë transmetimit (do të ndodhi një gabim) është Q = 1 - P. Për lehtësi le të supozojmë se gabimet janë të pavarura dhe probabiliteti i gabimit është i njëjtë për çdo bit të dërguar - pra ka "zhurmë të bardhë" në kanalin e komunikimit.
Ne kemi një rrjedhë të gjatë prej n bitësh, të koduar në një mesazh - një zgjerim n-dimensional të një kodi një-bitësh. Ne do ta përcaktojmë vlerën e n më vonë. Le ta konsiderojmë mesazhin, që përbëhet nga n-bit, si një pikë në hapësirën n-dimensionale. Duke pasur parasysh që kemi hapësirë n-dimensionale - dhe për thjeshtësi le të supozojmë se çdo mesazh ka probabilitet të njëjtë për të lindur - ka M mesazhe të mundshme (M gjithashtu do të përcaktohet më vonë), prandaj probabiliteti i çdo mesazhi të dërguar është
(dërguesi)
Grafiku 13.II
Më pas do të shqyrtojmë idenë e kapacitetit të kanalit. Pavarësisht se nuk do të shkojmë në detaje, kapaciteti i kanalit përcaktohet si volumi maksimal i informacionit që mund të transmetohet me siguri përmes një kanali komunikimi, duke marrë parasysh përdorimin e kodimit më efektiv. Nuk ka argumente që tregojnë se më shumë informacion mund të transmetohet përmes një kanali sesa kapaciteti i tij. Kjo mund të provohet për një kanal simetrik binar (të cilin ne po e përdorim në këtë rast). Kapaciteti i kanalit, në dërgimin bit për bit, është përcaktuar si
ku, si më parë, P është probabiliteti i mungesës së gabimit në çdo bit të dërguar. Kur dërgojmë n bite të pavarura, kapaciteti i kanalit përcaktohet si
NĂ«se jemi afĂ«r kapacitetit tĂ« kanalit, atĂ«herĂ« duhet tĂ« dĂ«rgojmĂ« njĂ« volum informacioni tĂ« tillĂ« pĂ«r çdo simbol ai, i = 1, âŠ, M. Duke marrĂ« parasysh qĂ« probabiliteti i shfaqjes sĂ« çdo simboli ai Ă«shtĂ« 1 / M, do tĂ« kemi
kur dërgojmë ndonjë nga M mesazhet e barabarta ai, ne kemi
Kur dërgojmë n bite, ne presim të ndodhin rreth nQ gabime. Në praktikë, për një mesazh që përbëhet nga n-bite, ne do të kemi afërsisht nQ gabime në mesazhin e marrë. Me rritjen e n, varianca relative (varianca = gjerësia e shpërndarjes, )
e numrit të gabimeve do të jetë gjithnjë e më e ngushtë me rritjen e n.
Pra, nga ana e dërguesit, unë marr mesazhin ai për ta dërguar dhe vizatoj një sferë rreth tij me një rreze
që është pak më e madhe se sa shumën e barabartë me e2 se numri i pritur i gabimeve Q, (ilustrimi 13.II). Nëse n është mjaft i madh, atëherë ekziston një probabilitet aq i vogël sa që pika e mesazhit bj në anën e marrësit të dalë përtej kësaj sfere. Le të përshkruaj situatën, siç e shoh unë nga perspektiva e dërguesit: ne kemi çdo rreze nga mesazhi i dërguar ai deri te mesazhi i marrë bj me probabilitet gabimi që është (ose pothuajse i barabartë) me shpërndarjen normale, që arrin maksimumin në nQ. Për çdo vlerë të caktuar e2, ekziston një n aq i madh sa probabiliteti që pika e marrë bj, që del përtej sferës time, është aq i vogël sa do t'ju pëlqente.
Tani le të shqyrtojmë të njëjtën situatë nga ana juaj (ilustrimi 13.III). Në anën e marrësit ka një sferë S(r) me të njëjtin rreze r rreth pikës së pranuar bj në hapësirën n-motra, në mënyrë që nëse mesazhi i pranuar bj ndodhet brenda sferës time, atëherë mesazhi që kam dërguar ai ndodhet brenda sferës suaj.
Si mund të ndodhin gabimet? Gabimi mund të ndodhë në rastet e përshkruara në tabelën më poshtë:
Ilustrimi 13.III
Këtu shohim se, nëse në sferën e ndërtuar rreth pikës së pranuar ka edhe një pikë tjetër, që i korrespondon ndonjë mesazhi të dërguar të pa koduar, atëherë gjatë transmetimit është ndodhur një gabim, pasi nuk mund të përcaktoni se cili nga këto mesazhe është dërguar. Mesazhi i dërguar nuk përmban gabime, vetëm nëse pika që i korrespondon është brenda sferës, dhe nuk ka pika të tjera të mundshme në këtë kod, që ndodhen në të njëjtën sferë.
Kemi një ekuacion matematikor për probabilitetin e gabimit Pe, nëse është dërguar mesazhi ai
Mund të heqim faktorët e parë në termi i dytë, duke e marrë atë si 1. Kështu do të marrim një pabarazi
E qartë është se
prandaj
aplikojmë përsëri për termin e fundit në të djathtë
Duke marrë n mjaft të madh, termi i parë mund të merret aq i vogël sa të themi, më pak se një numër të caktuar d. Prandaj kemi
Tani le të shqyrtojmë se si mund të ndërtojmë një kod të thjeshtë zëvendësimi për kodimin e M mesazheve që përbëhen nga n bite. Pa pasur një ide se si të ndërtojmë kodin (kodet me korrigjimin e gabimeve ende nuk ishin shpikur), Shannon zgjodhi kodimin rastësor. Gjuaj një monedhë për çdo n bit në mesazh dhe përsërit procesin për M mesazhe. Sapo të duhet të bëni nM hedhje monedhe, prandaj janë të mundshme
fjalor kodesh, qĂ« kanĂ« probabilitet tĂ« barabartĂ« ÂœnM. Sigurisht, procesi rastĂ«sor i krijimit tĂ« njĂ« fjalori kodesh do tĂ« thotĂ« se ka probabilitet pĂ«r shfaqjen e kopjeve, si dhe pika kodimi qĂ« do tĂ« jenĂ« afĂ«r njĂ«ra-tjetrĂ«s dhe, si pasojĂ«, do tĂ« jenĂ« burim i gabimeve tĂ« mundshme. Duhet tĂ« provohet se nĂ«se kjo nuk ndodh me probabilitet mĂ« tĂ« madh se çdo shkallĂ« tĂ« vogĂ«l gabimi tĂ« zgjedhur, atĂ«herĂ« pĂ«rzgjedhja e bĂ«rĂ« n Ă«shtĂ« mjaft e madhe.
Momentin vendimtar është se Shannon mesatarizoi të gjitha mundësitë e kodeve për të gjetur gabimin mesatar! Ne do të përdorim simbolin Av [.], për të shënuar mesataren mbi një shumëllojshmëri të të gjitha fjalorëve rastorë të kodit. Mesatarizimi mbi konstantën d, natyrisht, jep një konstantë, sepse për mesatarizimin çdo anëtar përkon me çdo anëtar tjetër në shumën.
i cili mund tĂ« rritet (Mâ1 kalon nĂ« M)
Për çdo mesazh të veçantë, kur mesatarizohet të gjitha librat e kodeve, kodimi kalon përmes të gjitha vlerave të mundshme, kështu që probabiliteti mesatar që pika të jetë brenda sfere është raporti i volumit të sferës ndaj volumit total të hapësirës. Volumi i sferës në këtë rast
ku s=Q+e2 <1/2 dhe ns duhet të jetë një numër i plotë.
Termi i fundit nga e djathta është më i madhi në këtë shumë. Së pari, do të vlerësojmë vlerën e tij përmes formulës së Stirlingut për faktorialet. Pastaj do të shohim mbi koeficientin e reduktimit të termit përpara tij, vëreni se ky koeficient rritet duke u lëvizur në të majtë, dhe kështu ne mund të: (1) kufizojmë vlerën e shumës me shumën e progresionit gjeometrik me këtë koeficient fillestar, (2) zgjasim progresionin gjeometrik me ns anëtarë në një numër të pafund anëtarësh, (3) llogarisim shumën e progresionit gjeometrik të pafund (algebra standarde, asgjë e rëndësishme) dhe përfundimisht të arrijmë vlerën limite (për n të mjaftueshëm të madh):
Vini re sesi entropia H(s) u shfaq në identitetin binominal. Vini re se shprehja në seri Taylor H(s)=H(Q+e2) jep një vlerësim që merret parasysh vetëm përderisa kemi një derivat të parë dhe injorojmë të tjerët. Tani le të mbledhim shprehjen përfundimtare:
ku
Gjithçka që na nevojitet të bëjmë, është të zgjedhim e2, kështu që e3 < e1, dhe atëherë termi i fundit do të bëhet aq i vogël sa të jetë e mundur, me një kapacitet kanali që është aq i afërt me C.
Nëse mesatarja mbi të gjitha kodet ka një gabim mjaft të vogël, atëherë të paktën një kod duhet të jetë i përshtatshëm, prandaj ekziston të paktën një sistem kodimi i përshtatshëm. Ky është një rezultat i rëndësishëm, i arritur nga Shannon - "teorema e Shannon për kanalin me zhurmë", megjithatë duhet të theksohet se ai e provoi këtë për një rast shumë më të përgjithshëm se sa për kanalin simetrik të thjeshtë binar të përdorur nga unë. Për rastin e përgjithshëm, llogaritjet matematikore janë shumë më komplekse, por ideja nuk ndryshon shumë, prandaj shpesh shembulli i rastit të veçantë mund të zbulojë kuptimin e vërtetë të teoremës.
Le të kritikojmë rezultatin. Ne kemi përsëritur disa herë: "Me sa duket, nëse n është mjaft i madh". Por sa e madhe është vlera e n? Shumë, shumë e madhe, nëse vërtet dëshironi të jeni afër kapacitetit të kanalit dhe të jeni të sigurt për transferimin e saktë të të dhënave! Mjaft e madhe, saqë në të vërtetë do të duhet të prisni shumë gjatë për të akumuluar një mesazh nga kaq shumë bitë, sa më pas ta kodoni atë. Në këtë rast, madhësia e fjalorit të kodit rastësor do të jetë thjesht e jashtëzakonshme (sepse kështu një fjalor nuk mund të paraqitet në një formë më të shkurtër se sa lista e plotë e të gjithë Mn bitëve, ndonëse n dhe M janë shumë të mëdha)!
Kodet e korrigjimit të gabimeve shmangin pritjen e një mesazhi shumë të gjatë, me kodimin dhe dekodimin e tij të mëpasshëm përmes librave të kodeve shumë të mëdhenj, sepse ato shmangin librat e kodeve si një tërësi dhe përdorin në vend të tyre llogaritjet e zakonshme. Në teorinë e thjeshtë, këto kode, në përgjithësi, humbasin aftësinë për t'u afruar me kapacitetin e kanalit dhe njëkohësisht për të ruajtur një frekuencë mjaft të ulët gabimi, por, kur kodi korrigjon një numër të madh gabimesh, ato tregojnë rezultate të mira. Në fjalë të tjera, nëse ju rezervoni një kapacitet kanali për korrigjimin e gabimeve, duhet ta përdorni atë mundësi për korrigjim në shumicën e kohës, domethënë çdo mesazh të dërguar duhet të ketë një numër të madh gabimesh të korrigjuara, përndryshe do të humbni atë kapacitet kot.
MegjithatĂ«, teorema e provuar mĂ« lart nuk Ă«shtĂ« e pavlerĂ«! Ajo tregon se sistemet efektive tĂ« transmetimit duhet tĂ« pĂ«rdorin skema tĂ« menduara mirĂ« tĂ« kodifikimit pĂ«r shumĂ« seri tĂ« gjata bits. NjĂ« shembull janĂ« satelitĂ«t qĂ« kanĂ« dalĂ« pĂ«rtej planetĂ«ve tĂ« jashtĂ«m; me kalimin e kohĂ«s larg TokĂ«s dhe Diellit, ata duhet tĂ« korrigjojnĂ« njĂ« numĂ«r nĂ« rritje tĂ« gabimeve nĂ« bllokun e tĂ« dhĂ«nave: disa satelitĂ« pĂ«rdorin panele diellore qĂ« japin rreth 5 W, tĂ« tjerĂ« pĂ«rdorin burime energjie atomike qĂ« japin njĂ« fuqi afĂ«rsisht tĂ« njĂ«jtĂ«. Fuqia e dobĂ«t e burimit tĂ« energjisĂ«, dimensionet e vogla tĂ« antenave transmetuese dhe dimensionet e kufizuara tĂ« antenave marrĂ«s nĂ« TokĂ«, dhe distanca e madhe qĂ« duhet tĂ« kalojĂ« sinjali â tĂ« gjitha kĂ«to kĂ«rkojnĂ« pĂ«rdorimin e kodeve me njĂ« nivel tĂ« lartĂ« korrigjimi gabimesh pĂ«r ndĂ«rtimin e njĂ« sistemi efikas komunikimi.
Le të kthehemi në hapësirën n-dimensionale që kemi përdorur në provimin e mëparshëm. Duke e diskutuar atë, ne treguam se pothuajse e gjithë vëllimi i sferës është përqendruar rreth sipërfaqes së jashtme, - kështu që pothuajse me siguri sinjali i dërguar do të gjendet në sipërfaqen e sferës ndërtuar rreth sinjalit të pranuar, edhe në rast se radiusi i tillë të jetë mjaft i vogël. Prandaj, nuk është befasi që sinjali i pranuar pas korrigjimit të një numri arbitrar gabimesh, nQ, përfundon duke qenë aq afër sa të jetë e mundur sinjalit pa gabime. Kapaciteti i kanalit të komunikimit, që ne shqyrtuam më parë, është çelësi për kuptimin e këtij fenomeni. Vëreni se sferat e ngjashme, të ndërtuara për kodet Hamming me korrigjim gabimesh, nuk e mbulojnë njëra-tjetrën. Një numër i madh i përmasave praktikisht ortogonale në hapësirën n-dimensionale tregon pse ne mund të vendosim M sfera në hapësirë me mbulim të vogël. Nëse pranohet një mbulim të vogël, aq sa të jetë i vogël, që mund të sjellë vetëm një numër të vogël gabimesh gjatë dekodimit, mund të arrijmë një vendosje të dendur të sferave në hapësirë. Hamming garanton një nivel të caktuar korrigjimi gabimesh, Shannon - një probabilitet të ulët gabimesh, por, megjithatë, ruan kapacitetin real të kalimit aq afër sa të jetë e mundur kapacitetit të kanalit të komunikimit, gjë që kodet Hamming nuk mund ta bëjnë.
Teoria e informacionit nuk thotë se si të projektojmë një sistem efektiv, por ajo tregon drejtimin e lëvizjes drejt sistemeve efikase të komunikimit. Ky është një mjet i vlefshëm për ndërtimin e sistemeve të komunikimit midis makinave, por, siç është përmendur më parë, ajo nuk ka lidhje të veçantë me mënyrën se si njerëzit shkëmbejnë informacion midis tyre. Shkalla në të cilën trashëgimia biologjike është e ngjashme me sistemet teknike të komunikimit është thjesht e panjohur, prandaj për momentin nuk është e qartë se sa teoria e informacionit është e aplikueshme për gjenet. Ne nuk kemi tjetër zgjedhje veçse ta provojmë, dhe nëse suksesi na tregon natyrën makine të këtij fenomeni, atëherë dështimi do të tregojë aspekte të tjera thelbësore të natyrës së informacionit.
Le të largohemi pak. Ne pamë se të gjitha përkufizimet fillestare, në një masë të caktuar, duhet të shprehin thelbin e besimeve tona fillestare, por ato kanë një shkallë të caktuar shkatërrimi, dhe prandaj ato rezultojnë të papërdorshme. Tradita thotë se, në fund të fundit, përkufizimi që ne përdorim faktikisht përcakton thelbin; por, kjo na tregon vetëm se si të trajtojmë gjërat dhe asnjë mënyrë nuk na sjell ndonjë kuptim. Qasja postulative, e cila miratohet shumë në qarqet matematikore, lë shumë për të dëshiruar në praktikë.
Tani tani do të shqyrtojmë një shembull të testeve të IQ, ku definicioni është aq ciklik sa dëshironit, dhe si pasojë ju ngatërron. Krijohet një test, që supozohet të masë inteligjencën. Më pas rishikohet, për ta bërë sa më të qartë të jetë e mundur, dhe pastaj publikohet dhe kalibrohet me një metodë të thjeshtë, në mënyrë që "inteligjenca" e matur të rezultojë në një shpërndarje normale (sigurisht duke ndjekur kurbën e kalibrimit). Të gjitha definicionet duhet të rivlerësohen, jo vetëm kur ato propozohen për herë të parë, por edhe shumë më vonë, kur ato përdoren në përfundimet e dala. Në çfarë mase kufijtë e definicioneve janë të përshtatshëm për problemin që po zgjidhet? Sa shpesh definicionet e dhëna në kushte të caktuara fillojnë të aplikohen në kushte mjaft të ndryshme? Kjo ndodh mjaft shpesh! Në shkencat humane, me të cilat ju patjetër do të përballeni në jetën tuaj, kjo ndodh më shpesh.
Pra, një nga qëllimet e kësaj prezantimi të teorisë së informacionit, përveç demostrimit të dobisë së saj, ishte t'ju paralajmëronte për këtë rrezik, ose të tregonte se si ta përdorni atë për të arritur rezultatin e dëshiruar. Ka kohë që është vërejtur se definicionet fillestare ndikojnë në atë që gjeni në fund, shumë më tepër se sa duket. Definicionet fillestare kërkojnë nga ju vëmendje të madhe jo vetëm në çdo situatë të re, por gjithashtu në fusha në të cilat keni punuar prej kohësh. Kjo do t'ju ndihmojë të kuptoni në çfarë mase rezultatet e arritura janë tautologji dhe jo diçka e dobishme.
Një histori e njohur nga Eddington tregon për njerëzit që po peshonin në det me një rrjetë. Duke studiuar madhësinë e peshqve që kishin kapur, ata përcaktuan madhësinë minimale të peshkut që gjendej në det! Përfundimi i tyre ishte i kushtuar instrumentit të përdorur, jo realitetit.
VazhdonâŠ
Kushdo qĂ« dĂ«shiron tĂ« ndihmojĂ« me pĂ«rkthimin, formatimin dhe publikimin e librit â shkruani nĂ« mesazhe private ose nĂ« emailin magisterludi2016@yandex.ru.
Me rastin e kĂ«saj, ne gjithashtu kemi filluar pĂ«rkthimin e njĂ« tjetĂ«r libri fantastik â )
Duke kërkuar veçanërisht ata që ndihmojnë në përkthimin . (po përkthejmë në copa 10 minuta, 20 e para tashmë janë marrë)
Përmbajtja e librit dhe kapitujt e përkthyer
- Intro to The Art of Doing Science and Engineering: Learning to Learn (Mars 28, 1995)
- «Foundations of the Digital (Discrete) Revolution» (Mars 30, 1995)
- «History of Computers â Hardware» (Mars 31, 1995)
- «History of Computers â Software» (Prill 4, 1995)
- «History of Computers â Applications» (Prill 6, 1995)
- «Artificial Intelligence â Part I» (Prill 7, 1995)
- «Artificial Intelligence â Part II» (Prill 11, 1995)
- «Artificial Intelligence III» (Prill 13, 1995)
- «n-Dimensional Space» (Prill 14, 1995)
- «Coding Theory â The Representation of Information, Part I» (Prill 18, 1995)
- «Coding Theory â The Representation of Information, Part II» (Prill 20, 1995)
- «Error-Correcting Codes» (Prill 21, 1995)
- «Information Theory» (Prill 25, 1995)
- «Digital Filters, Part I» (Prill 27, 1995)
- «Digital Filters, Part II» (Prill 28, 1995)
- «Digital Filters, Part III» (Maj 2, 1995)
- «Digital Filters, Part IV» (Maj 4, 1995)
- «Simulation, Part I» (Maj 5, 1995)
- «Simulation, Part II» (Maj 9, 1995)
- «Simulation, Part III» (Maj 11, 1995)
- «Fiber Optics» (Maj 12, 1995)
- «Computer Aided Instruction» (Maj 16, 1995)
- «Mathematics» (Maj 18, 1995)
- «Quantum Mechanics» (Maj 19, 1995)
- «Creativity» (Maj 23, 1995). Përkthimi:
- «Experts» (Maj 25, 1995)
- «Unreliable Data» (Maj 26, 1995)
- «Systems Engineering» (Maj 30, 1995)
- «You Get What You Measure» (Qershor 1, 1995)
- (2 Qershor 1995) po përkthejmë në copa 10 minutëshe
- Hamming, «You and Your Research» (Qershor 6, 1995).
Kushdo qĂ« dĂ«shiron tĂ« ndihmojĂ« me pĂ«rkthimin, formatimin dhe publikimin e librit â shkruani nĂ« mesazhe private ose nĂ« emailin magisterludi2016@yandex.ru.
Burimi: habr.com
