Richard Hamming: Kreu 13. Teoria e informacionit

Мы это сделали!

«Цель этого курса — подготовить вас к вашему техническому будущему.»

Richard Hamming: Kreu 13. Teoria e informacionitПривет, Хабр. Помните офигенную статью «Вы и ваша работа» (+219, 2588 в закладки, 429k прочтений)?

Так вот у Хэмминга (да, да, самоконтролирующиеся и самокорректирующиеся коды Хэмминга) есть целая libri, написанная по мотивам его лекций. Мы ее переводим, ведь мужик дело говорит.

Это книга не просто про ИТ, это книга про стиль мышления невероятно крутых людей. «Это не просто заряд положительного мышления; в ней описаны условия, которые увеличивают шансы сделать великую работу.»

За перевод спасибо Андрею Пахомову.

Теория Информации была разработана К. Э. Шенноном в конце 1940х годов. Руководство Лабораторий Белла настаивало, чтобы он назвал ее «Теория Связи», т.к. это намного более точное название. По очевидным причинам, название «Теория Информации» обладает значительно большим воздействием на публику, поэтому Шеннон выбрал именно его, и именно оно известно нам по сей день. Само название предполагает, что теория имеет дело с информацией, это и делает ее важной, поскольку мы все глубже проникаем в информационную эпоху. В этой главе я затрону несколько основных выводов из этой теории, приведу не строгие, а скорее интуитивно понятные доказательства некоторых отдельных положений этой теории, чтобы вы поняли, чем на самом деле является «Теория Информации», где вы можете ее применять, а где нет.

Прежде всего, что такое “информация”? Шеннон отождествляет информацию с неопределенностью. Он выбрал отрицательный логарифм вероятности события в качестве количественной меры информации, которую вы получаете при наступлении события с вероятностью p. Например, если я скажу вам, что в Лос-Анжелесе туманная погода, тогда р близок к 1, что по большому счету, не дает нам много информации. Но если я скажу, что в июне в Монтерей идет дождь, то в этом сообщении будет присутствовать неопределенность, и оно будет содержать в себе больше информации. Достоверное событие не содержит в себе никакой информации, поскольку log 1 = 0.

Остановимся на этом подробнее. Шеннон полагал, что количественная мера информации должна быть непрерывной функцией от вероятности события p, а для независимых событий она должна быть аддитивной – количество информации, полученное в результате осуществления двух независимых событий, должно равняться количеству информации, полученному в результате осуществления совместного события. Например, результат броска игральных костей и монеты обычно рассматриваются как независимые события. Переведем вышесказанное на язык математики. Если I (p) – это количество информации, которое содержится в событии с вероятностью p, то, для совместного события, состоящего из двух независимых событий x с вероятностью p1 и y с вероятностью p2 получаем

Richard Hamming: Kreu 13. Teoria e informacionit
(x и y независимые события)

Это функциональное уравнение Коши, истинное для всех p1 и p2. Для решения этого функционального уравнения предположим, что

p1 = p2 = p,

это дает

Richard Hamming: Kreu 13. Teoria e informacionit

Если p1 = p2 и p2 = p, тогда

Richard Hamming: Kreu 13. Teoria e informacionit

и т.д. Расширяя этот процесс, используя стандартный метод для экспонент, для всех рациональных чисел m / n, верно следующее

Richard Hamming: Kreu 13. Teoria e informacionit

Из предполагаемой непрерывности информационной меры, следует, что логарифмическая функция является единственным непрерывным решением функционального уравнения Коши.

В теории информации принято принимать основание логарифма равное 2, поэтому бинарный выбор содержит ровно 1 бит информации. Следовательно, информация измеряется по формуле

Richard Hamming: Kreu 13. Teoria e informacionit

Давайте приостановимся и разберемся, что же произошло выше. Прежде всего, мы так и не дали определение понятию “информация”, мы просто определили формулу ее количественной меры.

Во-вторых, эта мера зависит от неопределенности, и, хотя она в достаточной степени подходит для машин — например, телефонных системы, радио, телевидения, компьютеров и т. д. — она не отражает нормального человеческого отношения к информации.

В-третьих, это относительная мера, она зависит от текущего состояния вашего знания. Если вы смотрите на поток “случайных чисел” из генератора случайных чисел, вы предполагаете, что каждое следующее число неопределенно, но, если вы знаете формулу для вычисления «случайных чисел», следующее число будет известно, и, соответственно, не будет содержать в себе информации.

Kështu, përkufizimi që Shannon i dha informacionit, në shumë raste përshtatet për makinat, por duket se nuk është në përputhje me kuptimin njerëzor të këtij termi. Pikërisht për këtë arsye, "Teoria e informacionit" duhet të quhej "Teoria e komunikimit". Megjithatë, tashmë është shumë vonë për të ndryshuar përkufizimet (përmes të cilave teoria fitoi popullaritetin e saj origjinal, dhe që ende bëjnë që njerëzit të mendojnë se kjo teori ka të bëjë me "informacionin"), prandaj duhet të pajtohemi me to, por ju duhet të kuptoni qartë se sa larg është përkufizimi i informacionit, i dhënë nga Shannon, nga kuptimi i tij i zakonshëm. Informacioni i Shannon-ë ka të bëjë me diçka krejt tjetër, pra me paqartësinë.

Ky është një ndalesë për t’u menduar kur ofroni ndonjë terminologji. Sa mirë përkufizimi i propozuar, për shembull, përkufizimi i informacionit nga Shannon, përputhet me idenë tuaj fillestare dhe sa ndryshon? Praktikisht nuk ka një termin që të shprehë saktësisht vizionin tuaj të mëparshëm për konceptin, por në fund të fundit, terminologjia e përdorur pasqyron kuptimin e konceptit, prandaj formalizimi i diçkaje përmes përkufizimeve të qarta gjithmonë sjell një zhurmë të caktuar.

Le të shqyrtojmë një sistem, alfabeti i të cilit përbëhet nga simbole q me probabilitet pi. Në këtë rast sasia mesatare e informacionit në sistem (vlera e pritur) është:

Richard Hamming: Kreu 13. Teoria e informacionit

Kjo quhet entropia e sistemit me shpërndarje probabiliteti {pi}. Ne e përdorim termin "entropi" sepse e njëjta formë matematike shfaqet në termodinamikë dhe mekanikën statistike. Prandaj, termi "entropi" krijon rreth vetes një aure që në fund nuk justifikohet. E njëjta formë matematikore nuk nënkupton interpretimin e njëjtë të simboleve!

Entropia e shpërndarjes së probabilitetit luan një rol kryesor në teorinë e kodimit. Barazia e Gibbs-it për dy shpërndarje të ndryshme probabiliteti pi dhe qi është një nga përfundimet e rëndësishme të kësaj teorie. Pra, ne duhet të provojmë se

Richard Hamming: Kreu 13. Teoria e informacionit

Prova mbështetet në një grafik të qartë, fig. 13.I, i cili tregon se

Richard Hamming: Kreu 13. Teoria e informacionit

dhe barazia arrihet vetëm kur x = 1. Të aplikojmë barazinë në çdo element të shumës nga ana e majtë:

Richard Hamming: Kreu 13. Teoria e informacionit

Nëse alfabeti i sistemit të komunikimit përbëhet nga q simbole, duke marrë probabilitetin e transmetimit të çdo simboli qi = 1/q dhe duke e zëvendësuar q, ne marrim nga barazia e Gibbs-it

Richard Hamming: Kreu 13. Teoria e informacionit

Richard Hamming: Kreu 13. Teoria e informacionit

Figura 13.I

Kjo tregon se nëse probabiliteti i transmetimit të të gjithë q simboleve është i njëjtë dhe është 1/q, atëherë entropia maksimale është ln q, përndryshe zbatohen barazitë.

Në rastin e një kodi të dekodueshëm njëkuptimshëm, kemi barazinë e Kraftit

Richard Hamming: Kreu 13. Teoria e informacionit

Tani, nëse ne përcaktojmë pseudo-probabilitetet

Richard Hamming: Kreu 13. Teoria e informacionit

ku sigurisht Richard Hamming: Kreu 13. Teoria e informacionit= 1, që ndjek nga barazia e Gibbs-it,

Richard Hamming: Kreu 13. Teoria e informacionit

dhe nëse aplikojmë pak algebrë (mbani mend se K ≤ 1, prandaj mund të heqim gjysmën logaritemike, dhe ndoshta të forcojmë barazinë më vonë), atëherë ne do të marrim

Richard Hamming: Kreu 13. Teoria e informacionit

ku L është gjatësi mesatare e kodit.

Kështu, entropia është kufiri minimal për çdo kod me përfshirje mesatare të fjalëkodi L. Kjo është teorema e Shannon-it për kanalin pa ndotje.

Tani le të shqyrtojmë teoremën kryesore mbi kufizimet e sistemeve të komunikimit, ku informacioni transmetohet në formën e një rrjedhe të pavarur të bitëve dhe ka zhurmë. Nënkuptohet se probabiliteti i transmetimit të saktë të një bita P > 1/2, dhe probabiliteti që vlera e bita të invertohet gjatë transmetimit (do të ndodhi një gabim) është Q = 1 - P. Për lehtësi le të supozojmë se gabimet janë të pavarura dhe probabiliteti i gabimit është i njëjtë për çdo bit të dërguar - pra ka "zhurmë të bardhë" në kanalin e komunikimit.

Ne kemi një rrjedhë të gjatë prej n bitësh, të koduar në një mesazh - një zgjerim n-dimensional të një kodi një-bitësh. Ne do ta përcaktojmë vlerën e n më vonë. Le ta konsiderojmë mesazhin, që përbëhet nga n-bit, si një pikë në hapësirën n-dimensionale. Duke pasur parasysh që kemi hapësirë n-dimensionale - dhe për thjeshtësi le të supozojmë se çdo mesazh ka probabilitet të njëjtë për të lindur - ka M mesazhe të mundshme (M gjithashtu do të përcaktohet më vonë), prandaj probabiliteti i çdo mesazhi të dërguar është

Richard Hamming: Kreu 13. Teoria e informacionit

Richard Hamming: Kreu 13. Teoria e informacionit
(dërguesi)
Grafiku 13.II

Më pas do të shqyrtojmë idenë e kapacitetit të kanalit. Pavarësisht se nuk do të shkojmë në detaje, kapaciteti i kanalit përcaktohet si volumi maksimal i informacionit që mund të transmetohet me siguri përmes një kanali komunikimi, duke marrë parasysh përdorimin e kodimit më efektiv. Nuk ka argumente që tregojnë se më shumë informacion mund të transmetohet përmes një kanali sesa kapaciteti i tij. Kjo mund të provohet për një kanal simetrik binar (të cilin ne po e përdorim në këtë rast). Kapaciteti i kanalit, në dërgimin bit për bit, është përcaktuar si

Richard Hamming: Kreu 13. Teoria e informacionit

ku, si më parë, P është probabiliteti i mungesës së gabimit në çdo bit të dërguar. Kur dërgojmë n bite të pavarura, kapaciteti i kanalit përcaktohet si

Richard Hamming: Kreu 13. Teoria e informacionit

Nëse jemi afër kapacitetit të kanalit, atëherë duhet të dërgojmë një volum informacioni të tillë për çdo simbol ai, i = 1, …, M. Duke marrë parasysh që probabiliteti i shfaqjes së çdo simboli ai është 1 / M, do të kemi

Richard Hamming: Kreu 13. Teoria e informacionit

kur dërgojmë ndonjë nga M mesazhet e barabarta ai, ne kemi

Richard Hamming: Kreu 13. Teoria e informacionit

Kur dërgojmë n bite, ne presim të ndodhin rreth nQ gabime. Në praktikë, për një mesazh që përbëhet nga n-bite, ne do të kemi afërsisht nQ gabime në mesazhin e marrë. Me rritjen e n, varianca relative (varianca = gjerësia e shpërndarjes, )
e numrit të gabimeve do të jetë gjithnjë e më e ngushtë me rritjen e n.

Pra, nga ana e dërguesit, unë marr mesazhin ai për ta dërguar dhe vizatoj një sferë rreth tij me një rreze

Richard Hamming: Kreu 13. Teoria e informacionit

që është pak më e madhe se sa shumën e barabartë me e2 se numri i pritur i gabimeve Q, (ilustrimi 13.II). Nëse n është mjaft i madh, atëherë ekziston një probabilitet aq i vogël sa që pika e mesazhit bj në anën e marrësit të dalë përtej kësaj sfere. Le të përshkruaj situatën, siç e shoh unë nga perspektiva e dërguesit: ne kemi çdo rreze nga mesazhi i dërguar ai deri te mesazhi i marrë bj me probabilitet gabimi që është (ose pothuajse i barabartë) me shpërndarjen normale, që arrin maksimumin në nQ. Për çdo vlerë të caktuar e2, ekziston një n aq i madh sa probabiliteti që pika e marrë bj, që del përtej sferës time, është aq i vogël sa do t'ju pëlqente.

Tani le të shqyrtojmë të njëjtën situatë nga ana juaj (ilustrimi 13.III). Në anën e marrësit ka një sferë S(r) me të njëjtin rreze r rreth pikës së pranuar bj në hapësirën n-motra, në mënyrë që nëse mesazhi i pranuar bj ndodhet brenda sferës time, atëherë mesazhi që kam dërguar ai ndodhet brenda sferës suaj.

Si mund të ndodhin gabimet? Gabimi mund të ndodhë në rastet e përshkruara në tabelën më poshtë:

Richard Hamming: Kreu 13. Teoria e informacionit

Ilustrimi 13.III

Richard Hamming: Kreu 13. Teoria e informacionit

Këtu shohim se, nëse në sferën e ndërtuar rreth pikës së pranuar ka edhe një pikë tjetër, që i korrespondon ndonjë mesazhi të dërguar të pa koduar, atëherë gjatë transmetimit është ndodhur një gabim, pasi nuk mund të përcaktoni se cili nga këto mesazhe është dërguar. Mesazhi i dërguar nuk përmban gabime, vetëm nëse pika që i korrespondon është brenda sferës, dhe nuk ka pika të tjera të mundshme në këtë kod, që ndodhen në të njëjtën sferë.

Kemi një ekuacion matematikor për probabilitetin e gabimit Pe, nëse është dërguar mesazhi ai

Richard Hamming: Kreu 13. Teoria e informacionit

Mund të heqim faktorët e parë në termi i dytë, duke e marrë atë si 1. Kështu do të marrim një pabarazi

Richard Hamming: Kreu 13. Teoria e informacionit

E qartë është se

Richard Hamming: Kreu 13. Teoria e informacionit

prandaj

Richard Hamming: Kreu 13. Teoria e informacionit

aplikojmë përsëri për termin e fundit në të djathtë

Richard Hamming: Kreu 13. Teoria e informacionit

Duke marrë n mjaft të madh, termi i parë mund të merret aq i vogël sa të themi, më pak se një numër të caktuar d. Prandaj kemi

Richard Hamming: Kreu 13. Teoria e informacionit

Tani le të shqyrtojmë se si mund të ndërtojmë një kod të thjeshtë zëvendësimi për kodimin e M mesazheve që përbëhen nga n bite. Pa pasur një ide se si të ndërtojmë kodin (kodet me korrigjimin e gabimeve ende nuk ishin shpikur), Shannon zgjodhi kodimin rastësor. Gjuaj një monedhë për çdo n bit në mesazh dhe përsërit procesin për M mesazhe. Sapo të duhet të bëni nM hedhje monedhe, prandaj janë të mundshme

Richard Hamming: Kreu 13. Teoria e informacionit

fjalor kodesh, që kanë probabilitet të barabartë ½nM. Sigurisht, procesi rastësor i krijimit të një fjalori kodesh do të thotë se ka probabilitet për shfaqjen e kopjeve, si dhe pika kodimi që do të jenë afër njëra-tjetrës dhe, si pasojë, do të jenë burim i gabimeve të mundshme. Duhet të provohet se nëse kjo nuk ndodh me probabilitet më të madh se çdo shkallë të vogël gabimi të zgjedhur, atëherë përzgjedhja e bërë n është mjaft e madhe.
Momentin vendimtar është se Shannon mesatarizoi të gjitha mundësitë e kodeve për të gjetur gabimin mesatar! Ne do të përdorim simbolin Av [.], për të shënuar mesataren mbi një shumëllojshmëri të të gjitha fjalorëve rastorë të kodit. Mesatarizimi mbi konstantën d, natyrisht, jep një konstantë, sepse për mesatarizimin çdo anëtar përkon me çdo anëtar tjetër në shumën.

Richard Hamming: Kreu 13. Teoria e informacionit

i cili mund të rritet (M–1 kalon në M)

Richard Hamming: Kreu 13. Teoria e informacionit

Për çdo mesazh të veçantë, kur mesatarizohet të gjitha librat e kodeve, kodimi kalon përmes të gjitha vlerave të mundshme, kështu që probabiliteti mesatar që pika të jetë brenda sfere është raporti i volumit të sferës ndaj volumit total të hapësirës. Volumi i sferës në këtë rast

Richard Hamming: Kreu 13. Teoria e informacionit

ku s=Q+e2 <1/2 dhe ns duhet të jetë një numër i plotë.

Termi i fundit nga e djathta është më i madhi në këtë shumë. Së pari, do të vlerësojmë vlerën e tij përmes formulës së Stirlingut për faktorialet. Pastaj do të shohim mbi koeficientin e reduktimit të termit përpara tij, vëreni se ky koeficient rritet duke u lëvizur në të majtë, dhe kështu ne mund të: (1) kufizojmë vlerën e shumës me shumën e progresionit gjeometrik me këtë koeficient fillestar, (2) zgjasim progresionin gjeometrik me ns anëtarë në një numër të pafund anëtarësh, (3) llogarisim shumën e progresionit gjeometrik të pafund (algebra standarde, asgjë e rëndësishme) dhe përfundimisht të arrijmë vlerën limite (për n të mjaftueshëm të madh):

Richard Hamming: Kreu 13. Teoria e informacionit

Vini re sesi entropia H(s) u shfaq në identitetin binominal. Vini re se shprehja në seri Taylor H(s)=H(Q+e2) jep një vlerësim që merret parasysh vetëm përderisa kemi një derivat të parë dhe injorojmë të tjerët. Tani le të mbledhim shprehjen përfundimtare:

Richard Hamming: Kreu 13. Teoria e informacionit

ku

Richard Hamming: Kreu 13. Teoria e informacionit

Gjithçka që na nevojitet të bëjmë, është të zgjedhim e2, kështu që e3 < e1, dhe atëherë termi i fundit do të bëhet aq i vogël sa të jetë e mundur, me një kapacitet kanali që është aq i afërt me C.
Nëse mesatarja mbi të gjitha kodet ka një gabim mjaft të vogël, atëherë të paktën një kod duhet të jetë i përshtatshëm, prandaj ekziston të paktën një sistem kodimi i përshtatshëm. Ky është një rezultat i rëndësishëm, i arritur nga Shannon - "teorema e Shannon për kanalin me zhurmë", megjithatë duhet të theksohet se ai e provoi këtë për një rast shumë më të përgjithshëm se sa për kanalin simetrik të thjeshtë binar të përdorur nga unë. Për rastin e përgjithshëm, llogaritjet matematikore janë shumë më komplekse, por ideja nuk ndryshon shumë, prandaj shpesh shembulli i rastit të veçantë mund të zbulojë kuptimin e vërtetë të teoremës.

Le të kritikojmë rezultatin. Ne kemi përsëritur disa herë: "Me sa duket, nëse n është mjaft i madh". Por sa e madhe është vlera e n? Shumë, shumë e madhe, nëse vërtet dëshironi të jeni afër kapacitetit të kanalit dhe të jeni të sigurt për transferimin e saktë të të dhënave! Mjaft e madhe, saqë në të vërtetë do të duhet të prisni shumë gjatë për të akumuluar një mesazh nga kaq shumë bitë, sa më pas ta kodoni atë. Në këtë rast, madhësia e fjalorit të kodit rastësor do të jetë thjesht e jashtëzakonshme (sepse kështu një fjalor nuk mund të paraqitet në një formë më të shkurtër se sa lista e plotë e të gjithë Mn bitëve, ndonëse n dhe M janë shumë të mëdha)!

Kodet e korrigjimit të gabimeve shmangin pritjen e një mesazhi shumë të gjatë, me kodimin dhe dekodimin e tij të mëpasshëm përmes librave të kodeve shumë të mëdhenj, sepse ato shmangin librat e kodeve si një tërësi dhe përdorin në vend të tyre llogaritjet e zakonshme. Në teorinë e thjeshtë, këto kode, në përgjithësi, humbasin aftësinë për t'u afruar me kapacitetin e kanalit dhe njëkohësisht për të ruajtur një frekuencë mjaft të ulët gabimi, por, kur kodi korrigjon një numër të madh gabimesh, ato tregojnë rezultate të mira. Në fjalë të tjera, nëse ju rezervoni një kapacitet kanali për korrigjimin e gabimeve, duhet ta përdorni atë mundësi për korrigjim në shumicën e kohës, domethënë çdo mesazh të dërguar duhet të ketë një numër të madh gabimesh të korrigjuara, përndryshe do të humbni atë kapacitet kot.

Megjithatë, teorema e provuar më lart nuk është e pavlerë! Ajo tregon se sistemet efektive të transmetimit duhet të përdorin skema të menduara mirë të kodifikimit për shumë seri të gjata bits. Një shembull janë satelitët që kanë dalë përtej planetëve të jashtëm; me kalimin e kohës larg Tokës dhe Diellit, ata duhet të korrigjojnë një numër në rritje të gabimeve në bllokun e të dhënave: disa satelitë përdorin panele diellore që japin rreth 5 W, të tjerë përdorin burime energjie atomike që japin një fuqi afërsisht të njëjtë. Fuqia e dobët e burimit të energjisë, dimensionet e vogla të antenave transmetuese dhe dimensionet e kufizuara të antenave marrës në Tokë, dhe distanca e madhe që duhet të kalojë sinjali — të gjitha këto kërkojnë përdorimin e kodeve me një nivel të lartë korrigjimi gabimesh për ndërtimin e një sistemi efikas komunikimi.

Le të kthehemi në hapësirën n-dimensionale që kemi përdorur në provimin e mëparshëm. Duke e diskutuar atë, ne treguam se pothuajse e gjithë vëllimi i sferës është përqendruar rreth sipërfaqes së jashtme, - kështu që pothuajse me siguri sinjali i dërguar do të gjendet në sipërfaqen e sferës ndërtuar rreth sinjalit të pranuar, edhe në rast se radiusi i tillë të jetë mjaft i vogël. Prandaj, nuk është befasi që sinjali i pranuar pas korrigjimit të një numri arbitrar gabimesh, nQ, përfundon duke qenë aq afër sa të jetë e mundur sinjalit pa gabime. Kapaciteti i kanalit të komunikimit, që ne shqyrtuam më parë, është çelësi për kuptimin e këtij fenomeni. Vëreni se sferat e ngjashme, të ndërtuara për kodet Hamming me korrigjim gabimesh, nuk e mbulojnë njëra-tjetrën. Një numër i madh i përmasave praktikisht ortogonale në hapësirën n-dimensionale tregon pse ne mund të vendosim M sfera në hapësirë me mbulim të vogël. Nëse pranohet një mbulim të vogël, aq sa të jetë i vogël, që mund të sjellë vetëm një numër të vogël gabimesh gjatë dekodimit, mund të arrijmë një vendosje të dendur të sferave në hapësirë. Hamming garanton një nivel të caktuar korrigjimi gabimesh, Shannon - një probabilitet të ulët gabimesh, por, megjithatë, ruan kapacitetin real të kalimit aq afër sa të jetë e mundur kapacitetit të kanalit të komunikimit, gjë që kodet Hamming nuk mund ta bëjnë.

Teoria e informacionit nuk thotë se si të projektojmë një sistem efektiv, por ajo tregon drejtimin e lëvizjes drejt sistemeve efikase të komunikimit. Ky është një mjet i vlefshëm për ndërtimin e sistemeve të komunikimit midis makinave, por, siç është përmendur më parë, ajo nuk ka lidhje të veçantë me mënyrën se si njerëzit shkëmbejnë informacion midis tyre. Shkalla në të cilën trashëgimia biologjike është e ngjashme me sistemet teknike të komunikimit është thjesht e panjohur, prandaj për momentin nuk është e qartë se sa teoria e informacionit është e aplikueshme për gjenet. Ne nuk kemi tjetër zgjedhje veçse ta provojmë, dhe nëse suksesi na tregon natyrën makine të këtij fenomeni, atëherë dështimi do të tregojë aspekte të tjera thelbësore të natyrës së informacionit.

Le të largohemi pak. Ne pamë se të gjitha përkufizimet fillestare, në një masë të caktuar, duhet të shprehin thelbin e besimeve tona fillestare, por ato kanë një shkallë të caktuar shkatërrimi, dhe prandaj ato rezultojnë të papërdorshme. Tradita thotë se, në fund të fundit, përkufizimi që ne përdorim faktikisht përcakton thelbin; por, kjo na tregon vetëm se si të trajtojmë gjërat dhe asnjë mënyrë nuk na sjell ndonjë kuptim. Qasja postulative, e cila miratohet shumë në qarqet matematikore, lë shumë për të dëshiruar në praktikë.

Tani tani do të shqyrtojmë një shembull të testeve të IQ, ku definicioni është aq ciklik sa dëshironit, dhe si pasojë ju ngatërron. Krijohet një test, që supozohet të masë inteligjencën. Më pas rishikohet, për ta bërë sa më të qartë të jetë e mundur, dhe pastaj publikohet dhe kalibrohet me një metodë të thjeshtë, në mënyrë që "inteligjenca" e matur të rezultojë në një shpërndarje normale (sigurisht duke ndjekur kurbën e kalibrimit). Të gjitha definicionet duhet të rivlerësohen, jo vetëm kur ato propozohen për herë të parë, por edhe shumë më vonë, kur ato përdoren në përfundimet e dala. Në çfarë mase kufijtë e definicioneve janë të përshtatshëm për problemin që po zgjidhet? Sa shpesh definicionet e dhëna në kushte të caktuara fillojnë të aplikohen në kushte mjaft të ndryshme? Kjo ndodh mjaft shpesh! Në shkencat humane, me të cilat ju patjetër do të përballeni në jetën tuaj, kjo ndodh më shpesh.

Pra, një nga qëllimet e kësaj prezantimi të teorisë së informacionit, përveç demostrimit të dobisë së saj, ishte t'ju paralajmëronte për këtë rrezik, ose të tregonte se si ta përdorni atë për të arritur rezultatin e dëshiruar. Ka kohë që është vërejtur se definicionet fillestare ndikojnë në atë që gjeni në fund, shumë më tepër se sa duket. Definicionet fillestare kërkojnë nga ju vëmendje të madhe jo vetëm në çdo situatë të re, por gjithashtu në fusha në të cilat keni punuar prej kohësh. Kjo do t'ju ndihmojë të kuptoni në çfarë mase rezultatet e arritura janë tautologji dhe jo diçka e dobishme.

Një histori e njohur nga Eddington tregon për njerëzit që po peshonin në det me një rrjetë. Duke studiuar madhësinë e peshqve që kishin kapur, ata përcaktuan madhësinë minimale të peshkut që gjendej në det! Përfundimi i tyre ishte i kushtuar instrumentit të përdorur, jo realitetit.

Vazhdon…

Kushdo që dëshiron të ndihmojë me përkthimin, formatimin dhe publikimin e librit — shkruani në mesazhe private ose në emailin magisterludi2016@yandex.ru.

Me rastin e kësaj, ne gjithashtu kemi filluar përkthimin e një tjetër libri fantastik — «The Dream Machine: Historia e revolucionit kompjuterik»)

Duke kërkuar veçanërisht ata që ndihmojnë në përkthimin e kapitullit bonus, i cili është vetëm në video. (po përkthejmë në copa 10 minuta, 20 e para tashmë janë marrë)

Përmbajtja e librit dhe kapitujt e përkthyerParathënie

  1. Intro to The Art of Doing Science and Engineering: Learning to Learn (Mars 28, 1995) Përkthimi: Kapitulli 1
  2. «Foundations of the Digital (Discrete) Revolution» (Mars 30, 1995) Kapitulli 2. Themelët e revolucionit digjital (diskret)
  3. «History of Computers — Hardware» (Mars 31, 1995) Kapitulli 3. Historia e kompjuterëve — hardueri
  4. «History of Computers — Software» (Prill 4, 1995) Kapitulli 4. Historia e kompjuterëve — softi
  5. «History of Computers — Applications» (Prill 6, 1995) Kapitulli 5. Historia e kompjuterëve — shfrytëzimi praktik
  6. «Artificial Intelligence — Part I» (Prill 7, 1995) Kapitulli 6. Inteligjenca artificiale — 1
  7. «Artificial Intelligence — Part II» (Prill 11, 1995) Kapitulli 7. Inteligjenca artificiale — II
  8. «Artificial Intelligence III» (Prill 13, 1995) Kapitulli 8. Inteligjenca artificiale — III
  9. «n-Dimensional Space» (Prill 14, 1995) Kapitulli 9. Hapsira N-dimensionale
  10. «Coding Theory — The Representation of Information, Part I» (Prill 18, 1995) Kapitulli 10. Teoria e kodimit — I
  11. «Coding Theory — The Representation of Information, Part II» (Prill 20, 1995) Kapitulli 11. Teoria e kodimit — II
  12. «Error-Correcting Codes» (Prill 21, 1995) Kapitulli 12. Kodi për korrigjimin e gabimeve
  13. «Information Theory» (Prill 25, 1995) Kapitulli 13. Teoria e informacionit
  14. «Digital Filters, Part I» (Prill 27, 1995) Kapitulli 14. Filtrat digjitale — 1
  15. «Digital Filters, Part II» (Prill 28, 1995) Kapitulli 15. Filtrat digjitale — 2
  16. «Digital Filters, Part III» (Maj 2, 1995) Kapitulli 16. Filtrat digjitale — 3
  17. «Digital Filters, Part IV» (Maj 4, 1995) Kapitulli 17. Filtrat digjitale — IV
  18. «Simulation, Part I» (Maj 5, 1995) Kapitulli 18. Simulimi — I
  19. «Simulation, Part II» (Maj 9, 1995) Kapitulli 19. Simulimi — II
  20. «Simulation, Part III» (Maj 11, 1995) Kapitulli 20. Simulimi — III
  21. «Fiber Optics» (Maj 12, 1995) Kapitulli 21. Optika optike
  22. «Computer Aided Instruction» (Maj 16, 1995) Kapitulli 22. Instruksioni i ndihmuar nga kompjuteri (CAI)
  23. «Mathematics» (Maj 18, 1995) Kapitulli 23. Matematika
  24. «Quantum Mechanics» (Maj 19, 1995) Kapitulli 24. Mekanika kuantike
  25. «Creativity» (Maj 23, 1995). Përkthimi: Kapitulli 25. Krijimtari
  26. «Experts» (Maj 25, 1995) Kapitulli 26. Ekspertët
  27. «Unreliable Data» (Maj 26, 1995) Kapitulli 27. Të dhëna të paqëndrueshme
  28. «Systems Engineering» (Maj 30, 1995) Kapitulli 28. Inxhinieria e Sistemeve
  29. «You Get What You Measure» (Qershor 1, 1995) Kapitulli 29. Merrni atë që matni
  30. «How Do We Know What We Know» (Qershor 2, 1995) (2 Qershor 1995) po përkthejmë në copa 10 minutëshe
  31. Hamming, «You and Your Research» (Qershor 6, 1995). Përkthimi: Ju dhe puna juaj

Kushdo që dëshiron të ndihmojë me përkthimin, formatimin dhe publikimin e librit — shkruani në mesazhe private ose në emailin magisterludi2016@yandex.ru.

Burimi: habr.com

Bleni hostim të besueshëm për faqe me mbrojtje nga DDoS, serverë VPS VDS 🔥 Bleni hostim të besueshëm për faqe me mbrojtje nga DDoS, serverë VPS VDS | ProHoster