Fe wnaethom ni!
“Diben y cwrs hwn yw eich paratoi ar gyfer eich dyfodol technegol.”
Helo, Habr. Cofiwch yr erthygl anhygoel (+219, 2588 llyfrnodau, 429k yn darllen)?
Felly Hamming (ie, ie, hunan-fonitro a hunan-gywiro ) mae cyfanwaith , a ysgrifennwyd yn seiliedig ar ei ddarlithoedd. Yr ydym yn ei gyfieithu, am fod y dyn yn siarad ei feddwl.
Mae hwn yn llyfr nid yn unig am TG, mae'n llyfr am arddull meddwl pobl anhygoel o cŵl. “Nid hwb o feddwl cadarnhaol yn unig mohono; mae’n disgrifio’r amodau sy’n cynyddu’r siawns o wneud gwaith gwych.”
Diolch i Andrey Pakhomov am y cyfieithiad.
Datblygwyd Theori Gwybodaeth gan C. E. Shannon ar ddiwedd y 1940au. Mynnodd rheolwyr Bell Labs ei fod yn ei alw'n "Damcaniaeth Cyfathrebu" oherwydd ... mae hwn yn enw cywirach o lawer. Am resymau amlwg, mae'r enw "Theori Gwybodaeth" yn cael llawer mwy o effaith ar y cyhoedd, a dyna pam y dewisodd Shannon ef, a dyma'r enw yr ydym yn ei wybod hyd heddiw. Mae'r enw ei hun yn awgrymu bod y ddamcaniaeth yn ymdrin â gwybodaeth, sy'n ei gwneud yn bwysig wrth i ni symud yn ddyfnach i'r oes wybodaeth. Yn y bennod hon, byddaf yn cyffwrdd â nifer o brif gasgliadau o'r ddamcaniaeth hon, byddaf yn darparu tystiolaeth nid llym, ond yn hytrach greddfol o rai darpariaethau unigol o'r ddamcaniaeth hon, fel eich bod yn deall beth yw "Theori Gwybodaeth" mewn gwirionedd, lle gallwch chi ei gymhwyso. a lle na .
Yn gyntaf, beth yw “gwybodaeth”? Mae Shannon yn cyfateb gwybodaeth ag ansicrwydd. Dewisodd logarithm negyddol tebygolrwydd digwyddiad fel mesur meintiol o'r wybodaeth a gewch pan fydd digwyddiad â thebygolrwydd p yn digwydd. Er enghraifft, os dywedaf wrthych fod y tywydd yn Los Angeles yn niwlog, yna mae p yn agos at 1, nad yw'n rhoi llawer o wybodaeth i ni mewn gwirionedd. Ond os dywedaf ei bod yn bwrw glaw yn Monterey ym mis Mehefin, bydd ansicrwydd yn y neges a bydd yn cynnwys mwy o wybodaeth. Nid yw digwyddiad dibynadwy yn cynnwys unrhyw wybodaeth, gan fod log 1 = 0.
Gadewch i ni edrych ar hyn yn fwy manwl. Credai Shannon y dylai'r mesur meintiol o wybodaeth fod yn swyddogaeth barhaus o debygolrwydd digwyddiad p, ac ar gyfer digwyddiadau annibynnol dylai fod yn ychwanegyn - dylai swm y wybodaeth a geir o ganlyniad i ddau ddigwyddiad annibynnol fod yn gyfartal â'r faint o wybodaeth a gafwyd o ganlyniad i ddigwyddiad ar y cyd. Er enghraifft, mae canlyniad rholyn dis a rholyn darn arian fel arfer yn cael eu trin fel digwyddiadau annibynnol. Gadewch inni gyfieithu'r uchod i iaith mathemateg. Os mai fi (p) yw’r swm o wybodaeth sydd wedi’i chynnwys mewn digwyddiad â thebygolrwydd p, yna ar gyfer digwyddiad ar y cyd sy’n cynnwys dau ddigwyddiad annibynnol x gyda thebygolrwydd p1 ac y gyda thebygolrwydd t2 rydym yn cael
(mae x ac y yn ddigwyddiadau annibynnol)
Dyma'r hafaliad swyddogaethol Cauchy, yn wir ar gyfer pob t1 a t2. I ddatrys yr hafaliad swyddogaethol hwn, tybiwch hynny
p1 = p2 = p,
mae hyn yn rhoi
Os yw p1 = p2 a p2 = p yna
etc. Gan ymestyn y broses hon gan ddefnyddio'r dull safonol ar gyfer esbonyddol, ar gyfer pob rhif cymarebol m/n mae'r canlynol yn wir
O ddilyniant tybiedig y mesur gwybodaeth, mae'n dilyn mai'r swyddogaeth logarithmig yw'r unig ateb parhaus i hafaliad swyddogaethol Cauchy.
Mewn theori gwybodaeth, mae'n gyffredin cymryd y sylfaen logarithm i fod yn 2, felly mae dewis deuaidd yn cynnwys union 1 did o wybodaeth. Felly, mae gwybodaeth yn cael ei mesur yn ôl y fformiwla
Gadewch i ni oedi a deall beth ddigwyddodd uchod. Yn gyntaf oll, ni wnaethom ddiffinio’r cysyniad o “wybodaeth”; yn syml, fe wnaethom ddiffinio’r fformiwla ar gyfer ei fesur meintiol.
Yn ail, mae'r mesur hwn yn destun ansicrwydd, ac er ei fod yn weddol addas ar gyfer peiriannau - er enghraifft, systemau ffôn, radio, teledu, cyfrifiaduron, ac ati - nid yw'n adlewyrchu agweddau dynol arferol tuag at wybodaeth.
Yn drydydd, mae hwn yn fesur cymharol, mae'n dibynnu ar gyflwr presennol eich gwybodaeth. Os edrychwch ar lif o “rhifau ar hap” o gynhyrchydd haprifau, rydych chi'n cymryd bod pob rhif nesaf yn ansicr, ond os ydych chi'n gwybod y fformiwla ar gyfer cyfrifo “rhifau ar hap”, bydd y rhif nesaf yn hysbys, ac felly ni fydd cynnwys gwybodaeth.
Felly mae diffiniad Shannon o wybodaeth yn briodol ar gyfer peiriannau mewn llawer o achosion, ond nid yw'n ymddangos ei fod yn cyd-fynd â dealltwriaeth ddynol y gair. Am y rheswm hwn y dylai “Damcaniaeth Gwybodaeth” fod wedi cael ei galw’n “Damcaniaeth Cyfathrebu.” Fodd bynnag, mae'n rhy hwyr i newid y diffiniadau (a roddodd i'r ddamcaniaeth ei phoblogrwydd cychwynnol, ac sy'n dal i wneud i bobl feddwl bod y ddamcaniaeth hon yn delio â "gwybodaeth"), felly mae'n rhaid i ni fyw gyda nhw, ond ar yr un pryd mae'n rhaid i chi deall yn glir pa mor bell yw diffiniad Shannon o wybodaeth o'i hystyr a ddefnyddir yn gyffredin. Mae gwybodaeth Shannon yn ymdrin â rhywbeth hollol wahanol, sef ansicrwydd.
Dyma rywbeth i chi feddwl amdano pan fyddwch chi'n cynnig unrhyw derminoleg. Sut mae diffiniad arfaethedig, fel diffiniad Shannon o wybodaeth, yn cytuno â'ch syniad gwreiddiol a pha mor wahanol ydyw? Nid oes bron unrhyw derm sy'n adlewyrchu'n union eich gweledigaeth flaenorol o gysyniad, ond yn y pen draw, y derminoleg a ddefnyddir sy'n adlewyrchu ystyr y cysyniad, felly mae ffurfioli rhywbeth trwy ddiffiniadau clir bob amser yn cyflwyno rhywfaint o sŵn.
Ystyriwch system y mae ei wyddor yn cynnwys symbolau q gyda thebygolrwydd pi. Yn yr achos hwn swm cyfartalog o wybodaeth yn y system (ei werth disgwyliedig) yn hafal i:
Gelwir hyn yn entropi y system gyda dosbarthiad tebygolrwydd {pi}. Rydym yn defnyddio'r term "entropi" oherwydd bod yr un ffurf fathemategol yn ymddangos mewn thermodynameg a mecaneg ystadegol. Dyma pam mae’r term “entropi” yn creu naws arbennig o bwysigrwydd o’i gwmpas ei hun, nad oes modd ei chyfiawnhau yn y pen draw. Nid yw'r un ffurf fathemategol o nodiant yn awgrymu'r un dehongliad o symbolau!
Mae entropi'r dosraniad tebygolrwydd yn chwarae rhan fawr mewn theori codio. Mae anghydraddoldeb Gibbs ar gyfer dau ddosraniad tebygolrwydd gwahanol pi a qi yn un o ganlyniadau pwysig y ddamcaniaeth hon. Felly rhaid inni brofi hynny
Mae'r prawf yn seiliedig ar graff amlwg, Ffig. 13.I, sy'n dangos bod
a cheir cydraddoldeb dim ond pan fydd x = 1. Gadewch inni gymhwyso'r anhafaledd i bob term o'r swm o'r ochr chwith:
Os yw wyddor system gyfathrebu yn cynnwys symbolau q, yna gan gymryd y tebygolrwydd o drawsyrru pob symbol qi = 1/q a rhoi q yn ei le, cawn ni o'r anhafaledd Gibbs
Ffigur 13.I
Mae hyn yn golygu os yw'r tebygolrwydd o drawsyrru'r holl symbolau q yr un peth ac yn hafal i - 1 / q, yna mae'r entropi uchaf yn hafal i ln q, fel arall mae'r anghyfartaledd yn dal.
Yn achos cod unigryw y gellir ei ddatgodio, mae gennym anghydraddoldeb Kraft
Nawr os ydym yn diffinio ffug-debygolrwydd
ble wrth gwrs = 1, sy’n dilyn o anghydraddoldeb Gibbs,
a chymhwyso ychydig o algebra (cofiwch fod K ≤ 1, fel y gallwn ollwng y term logarithmig, ac efallai cryfhau'r anghyfartaledd yn ddiweddarach), cawn
lle L yw'r hyd cod cyfartalog.
Felly, entropi yw'r lleiafswm wedi'i rwymo ar gyfer unrhyw god cymeriad-wrth-symbol sydd â hyd codair cyfartalog L. Dyma theorem Shannon ar gyfer sianel ddi-ymyrraeth.
Nawr ystyriwch y brif theorem am gyfyngiadau systemau cyfathrebu lle mae gwybodaeth yn cael ei throsglwyddo fel llif o ddarnau annibynnol a sŵn yn bresennol. Deellir mai'r tebygolrwydd o drosglwyddo un did yn gywir yw P > 1/2, ac mae'r tebygolrwydd y bydd y gwerth did yn cael ei wrthdroi yn ystod y trosglwyddiad (bydd gwall yn digwydd) yn hafal i Q = 1 - P. Er hwylustod, rydym yn cymryd yn ganiataol bod y gwallau yn annibynnol a bod y tebygolrwydd o wall yr un peth ar gyfer pob did a anfonir - hynny yw, mae “sŵn gwyn” yn y sianel gyfathrebu.
Y ffordd mae gennym ni ffrwd hir o n didau wedi'u hamgodio i mewn i un neges yw'r estyniad n - dimensiwn o'r cod un did. Byddwn yn pennu gwerth n yn ddiweddarach. Ystyriwch neges sy'n cynnwys n-bits fel pwynt yn y gofod n-dimensiwn. Gan fod gennym ofod n-dimensiwn - ac er mwyn symlrwydd byddwn yn cymryd yn ganiataol bod gan bob neges yr un tebygolrwydd o ddigwydd - mae M negeseuon posibl (bydd M hefyd yn cael ei ddiffinio yn ddiweddarach), felly mae'r tebygolrwydd o unrhyw neges a anfonir yn
(anfonwr)
Atodlen 13.II
Nesaf, ystyriwch y syniad o gapasiti sianel. Heb fynd i fanylion, diffinnir capasiti sianel fel yr uchafswm o wybodaeth y gellir ei drosglwyddo'n ddibynadwy dros sianel gyfathrebu, gan ystyried y defnydd o'r codio mwyaf effeithlon. Nid oes dadl y gellir trosglwyddo mwy o wybodaeth trwy sianel gyfathrebu na'i chapasiti. Gellir profi hyn ar gyfer sianel cymesuredd ddeuaidd (yr ydym yn ei defnyddio yn ein hachos ni). Mae gallu'r sianel, wrth anfon darnau, wedi'i nodi fel
lle, fel o'r blaen, P yw'r tebygolrwydd o ddim gwall mewn unrhyw damaid a anfonwyd. Wrth anfon n didau annibynnol, rhoddir cynhwysedd y sianel gan
Os ydym yn agos at gapasiti'r sianel, yna mae'n rhaid i ni anfon bron y swm hwn o wybodaeth ar gyfer pob un o'r symbolau ai, i = 1, ..., M. O ystyried mai'r tebygolrwydd y bydd pob symbol ai yn digwydd yw 1 / M, cawn
pan fyddwn yn anfon unrhyw un o negeseuon M yr un mor debygol ai, mae gennym
Pan anfonir n did, disgwyliwn i wallau nQ ddigwydd. Yn ymarferol, ar gyfer neges sy'n cynnwys n-bits, bydd gennym tua gwallau nQ yn y neges a dderbyniwyd. Ar gyfer n mawr, amrywiad cymharol (amrywiad = lled dosbarthiad, )
bydd dosbarthiad nifer y gwallau yn mynd yn fwyfwy cul wrth i n gynyddu.
Felly, o ochr y trosglwyddydd, rwy’n cymryd y neges ‘i anfon a thynnu sffêr o’i gwmpas gyda radiws
sydd ychydig yn fwy o swm sy'n hafal i e2 na'r nifer disgwyliedig o wallau Q, (Ffigur 13.II). Os yw n yn ddigon mawr, yna mae tebygolrwydd mympwyol bach y bydd pwynt neges bj yn ymddangos ar ochr y derbynnydd sy'n ymestyn y tu hwnt i'r cylch hwn. Gadewch i ni fraslunio'r sefyllfa fel yr wyf yn ei weld o safbwynt y trosglwyddydd: mae gennym unrhyw radii o'r neges a drosglwyddir ai i'r neges a dderbyniwyd bj gyda thebygolrwydd gwall yn hafal (neu bron yn gyfartal) i'r dosbarthiad arferol, gan gyrraedd uchafswm o nQ. Ar gyfer unrhyw e2 penodol, mae n mor fawr fel bod y tebygolrwydd y bydd y pwynt canlyniadol bj y tu allan i'm maes mor fach ag y dymunwch.
Nawr gadewch i ni edrych ar yr un sefyllfa o'ch ochr chi (Ffig. 13.III). Ar ochr y derbynnydd mae sffêr S(r) o'r un radiws r o amgylch y pwynt a dderbyniwyd bj yn y gofod n-dimensiwn, fel os yw'r neges a dderbyniwyd bj y tu mewn i'm sffêr, yna mae'r neges a anfonwyd gennyf i y tu mewn i'ch maes. sffer.
Sut gall gwall ddigwydd? Gall y gwall ddigwydd yn yr achosion a ddisgrifir yn y tabl isod:
Ffigwr 13.III
Yma fe welwn, os yn y sffêr sydd wedi'i adeiladu o amgylch y pwynt a dderbyniwyd mae o leiaf un pwynt arall sy'n cyfateb i neges heb ei hamgodio posibl a anfonwyd, yna digwyddodd gwall wrth drosglwyddo, gan na allwch benderfynu pa un o'r negeseuon hyn a drosglwyddwyd. Mae'r neges a anfonwyd yn ddi-wall dim ond os yw'r pwynt sy'n cyfateb iddo yn y sffêr, ac nid oes unrhyw bwyntiau eraill yn bosibl yn y cod a roddir sydd yn yr un maes.
Mae gennym hafaliad mathemategol ar gyfer tebygolrwydd gwall Pe pe bai neges ai yn cael ei hanfon
Gallwn daflu allan y ffactor cyntaf yn yr ail dymor, gan ei gymryd fel 1. Felly rydym yn cael yr anghyfartaledd
Yn amlwg,
gan hyny
ailymgeisio i'r tymor olaf ar y dde
Gan gymryd n ddigon mawr, gellir cymryd y term cyntaf mor fach ag y dymunir, dyweder llai na rhai rhif d. Felly mae gennym ni
Nawr, gadewch i ni edrych ar sut y gallwn adeiladu cod amnewid syml i amgodio negeseuon M sy'n cynnwys n did. Heb unrhyw syniad sut yn union i lunio cod (nid oedd codau cywiro gwall wedi'u dyfeisio eto), dewisodd Shannon godio ar hap. Trowch ddarn arian ar gyfer pob un o'r darnau n yn y neges ac ailadroddwch y broses ar gyfer negeseuon M. Yn gyfan gwbl, mae angen gwneud fflipiau darn arian nM, felly mae'n bosibl
geiriaduron cod gyda'r un tebygolrwydd ½nM. Wrth gwrs, mae'r broses ar hap o greu llyfr cod yn golygu bod posibilrwydd o ddyblygiadau, yn ogystal â phwyntiau cod a fydd yn agos at ei gilydd ac felly'n ffynhonnell gwallau tebygol. Rhaid profi, os nad yw hyn yn digwydd gyda thebygolrwydd sy'n fwy nag unrhyw lefel gwallau bach a ddewiswyd, yna mae'r n a roddir yn ddigon mawr.
Y pwynt hollbwysig yw bod Shannon wedi cyfartaleddu pob llyfr cod posibl i ddod o hyd i'r gwall cyfartalog! Byddwn yn defnyddio'r symbol Av[.] i ddynodi'r gwerth cyfartalog dros y set o'r holl lyfrau cod ar hap posibl. Mae cyfartaleddu dros gysonyn d, wrth gwrs, yn rhoi cysonyn, oherwydd ar gyfer cyfartaleddu mae pob term yr un fath â phob term arall yn y swm,
y gellir ei gynyddu (M-1 yn mynd i M)
Ar gyfer unrhyw neges benodol, wrth gyfartaleddu ar draws pob llyfr cod, mae'r amgodio'n rhedeg trwy'r holl werthoedd posibl, felly'r tebygolrwydd cyfartalog bod pwynt mewn sffêr yw cymhareb cyfaint y sffêr i gyfanswm cyfaint y gofod. Cyfaint y sffêr yw
lle mae'n rhaid i s=Q+e2 <1/2 ac ns fod yn gyfanrif.
Y tymor olaf ar y dde yw'r mwyaf yn y swm hwn. Yn gyntaf, gadewch i ni amcangyfrif ei werth gan ddefnyddio fformiwla Stirling ar gyfer ffactorau. Yna byddwn yn edrych ar gyfernod gostyngol y term o'i flaen, yn nodi bod y cyfernod hwn yn cynyddu wrth i ni symud i'r chwith, ac felly gallwn: (1) gyfyngu gwerth y swm i swm y dilyniant geometrig gyda y cyfernod cychwynnol hwn, (2) ehangu'r dilyniant geometrig o dermau n i nifer anfeidraidd o dermau, (3) cyfrifo swm dilyniant geometrig anfeidrol (algebra safonol, dim byd arwyddocaol) ac yn olaf cael y gwerth cyfyngu (ar gyfer digon mawr n):
Sylwch sut yr ymddangosodd yr entropi H(s) yn yr hunaniaeth binomaidd. Sylwch fod ehangiad cyfres Taylor H(s)=H(Q+e2) yn rhoi amcangyfrif a gafwyd gan gymryd i ystyriaeth y deilliad cyntaf yn unig ac anwybyddu pob un arall. Nawr gadewch i ni lunio'r mynegiant terfynol:
lle
Y cyfan sy'n rhaid i ni ei wneud yw dewis e2 fel bod e3 < e1, ac yna bydd y tymor olaf yn fympwyol o fach, cyn belled â bod n yn ddigon mawr. O ganlyniad, gellir cael y gwall PE cyfartalog mor fach ag y dymunir gyda chynhwysedd y sianel yn fympwyol yn agos at C.
Os oes gwall digon bach yng nghyfartaledd yr holl godau, yna mae'n rhaid i o leiaf un cod fod yn addas, felly mae o leiaf un system godio addas. Mae hwn yn ganlyniad pwysig a gafwyd gan Shannon - "Theorem Shannon ar gyfer sianel swnllyd", er y dylid nodi iddo brofi hyn ar gyfer achos llawer mwy cyffredinol nag ar gyfer y sianel cymesuredd ddeuaidd syml a ddefnyddiais. Ar gyfer yr achos cyffredinol, mae'r cyfrifiadau mathemategol yn llawer mwy cymhleth, ond nid yw'r syniadau mor wahanol, felly yn aml iawn, gan ddefnyddio enghraifft achos penodol, gallwch ddatgelu gwir ystyr y theorem.
Gadewch i ni feirniadu'r canlyniad. Rydym wedi ailadrodd dro ar ôl tro: “Am n ddigon mawr.” Ond pa mor fawr yw n? Mawr iawn, iawn os ydych chi wir eisiau bod yn agos at gapasiti'r sianel a bod yn sicr o'r trosglwyddiad data cywir! Mor fawr, mewn gwirionedd, y bydd yn rhaid i chi aros am amser hir iawn i gronni neges o ddigon o ddarnau i'w hamgodio yn nes ymlaen. Yn yr achos hwn, bydd maint y geiriadur cod ar hap yn enfawr (wedi'r cyfan, ni ellir cynrychioli geiriadur o'r fath mewn ffurf fyrrach na rhestr gyflawn o'r holl ddarnau Mn, er gwaethaf y ffaith bod n ac M yn fawr iawn)!
Mae codau gwallau-cywiro yn osgoi aros am neges hir iawn ac yna ei amgodio a'i ddadgodio trwy lyfrau cod mawr iawn oherwydd eu bod yn osgoi llyfrau cod eu hunain ac yn defnyddio cyfrifiant arferol yn lle hynny. Mewn theori syml, mae codau o'r fath yn tueddu i golli'r gallu i fynd at gapasiti'r sianel a dal i gynnal cyfradd gwallau isel, ond pan fydd y cod yn cywiro nifer fawr o wallau, maent yn perfformio'n dda. Mewn geiriau eraill, os ydych chi'n dyrannu rhywfaint o gapasiti sianel i gywiro gwallau, yna mae'n rhaid i chi ddefnyddio'r gallu cywiro gwallau y rhan fwyaf o'r amser, h.y., rhaid cywiro nifer fawr o wallau ym mhob neges a anfonir, fel arall rydych chi'n gwastraffu'r gallu hwn.
Ar yr un pryd, nid yw'r theorem a brofwyd uchod yn ddiystyr o hyd! Mae'n dangos bod yn rhaid i systemau trawsyrru effeithlon ddefnyddio cynlluniau amgodio clyfar ar gyfer llinynnau didau hir iawn. Enghraifft yw lloerennau sydd wedi hedfan y tu hwnt i'r planedau allanol; Wrth iddynt symud i ffwrdd o'r Ddaear a'r Haul, fe'u gorfodir i gywiro mwy a mwy o wallau yn y bloc data: mae rhai lloerennau'n defnyddio paneli solar, sy'n darparu tua 5 W, mae eraill yn defnyddio ffynonellau pŵer niwclear, sy'n darparu tua'r un pŵer. Pŵer isel y cyflenwad pŵer, maint bach y dysglau trosglwyddydd a maint cyfyngedig y prydau derbynnydd ar y Ddaear, y pellter enfawr y mae'n rhaid i'r signal ei deithio - mae hyn i gyd yn gofyn am ddefnyddio codau gyda lefel uchel o gywiro gwallau i adeiladu system gyfathrebu effeithiol.
Gadewch i ni ddychwelyd i'r gofod n-dimensiwn a ddefnyddiwyd gennym yn y prawf uchod. Wrth ei drafod, gwnaethom ddangos bod bron holl gyfaint y sffêr wedi'i grynhoi ger yr wyneb allanol - felly, mae bron yn sicr y bydd y signal a anfonir yn cael ei leoli ger wyneb y sffêr wedi'i adeiladu o amgylch y signal a dderbynnir, hyd yn oed gyda chymharol radiws bach o sffêr o'r fath. Felly, nid yw'n syndod bod y signal a dderbyniwyd, ar ôl cywiro nifer fympwyol fawr o wallau, nQ, yn troi allan i fod yn fympwyol yn agos at signal heb wallau. Y gallu cyswllt a drafodwyd gennym yn gynharach yw'r allwedd i ddeall y ffenomen hon. Sylwch nad yw sfferau tebyg a luniwyd ar gyfer codau Hamming cywiro gwall yn gorgyffwrdd â'i gilydd. Mae'r nifer fawr o ddimensiynau orthogonal bron mewn gofod n-dimensiwn yn dangos pam y gallwn ffitio sfferau M yn y gofod heb fawr o orgyffwrdd. Os byddwn yn caniatáu gorgyffwrdd bach, mympwyol bach, a all arwain at nifer fach o wallau yn unig yn ystod datgodio, gallwn gael lleoliad trwchus o sfferau yn y gofod. Gwarantodd Hamming lefel benodol o gywiro gwallau, Shannon - tebygolrwydd gwall isel, ond ar yr un pryd cynnal y trwybwn gwirioneddol yn fympwyol yn agos at gapasiti'r sianel gyfathrebu, na all codau Hamming ei wneud.
Nid yw theori gwybodaeth yn dweud wrthym sut i ddylunio system effeithlon, ond mae'n dangos y ffordd tuag at systemau cyfathrebu effeithlon. Mae'n arf gwerthfawr ar gyfer adeiladu systemau cyfathrebu peiriant-i-beiriant, ond, fel y nodwyd yn gynharach, nid yw'n berthnasol iawn i sut mae bodau dynol yn cyfathrebu â'i gilydd. Nid yw'n hysbys i ba raddau y mae etifeddiaeth fiolegol yn debyg i systemau cyfathrebu technegol, felly nid yw'n glir ar hyn o bryd sut mae theori gwybodaeth yn berthnasol i enynnau. Nid oes gennym unrhyw ddewis ond ceisio, ac os yw llwyddiant yn dangos natur debyg i beiriant y ffenomen hon, yna bydd methiant yn cyfeirio at agweddau arwyddocaol eraill ar natur gwybodaeth.
Gadewch i ni beidio crwydro gormod. Rydym wedi gweld bod yn rhaid i bob diffiniad gwreiddiol, i raddau mwy neu lai, fynegi hanfod ein credoau gwreiddiol, ond fe'u nodweddir gan ryw raddau o ystumio ac felly nid ydynt yn berthnasol. Derbynnir yn draddodiadol, yn y pen draw, mai’r diffiniad a ddefnyddiwn mewn gwirionedd sy’n diffinio’r hanfod; ond, nid yw hyn ond yn dweud wrthym sut i brosesu pethau ac nid yw'n cyfleu unrhyw ystyr i ni mewn unrhyw ffordd. Mae'r ymagwedd osgo, sy'n cael ei ffafrio mor gryf mewn cylchoedd mathemategol, yn gadael llawer i'w ddymuno yn ymarferol.
Nawr byddwn yn edrych ar enghraifft o brofion IQ lle mae'r diffiniad mor gylchol ag y dymunwch iddo fod ac, o ganlyniad, yn gamarweiniol. Mae prawf yn cael ei greu sydd i fod i fesur deallusrwydd. Yna caiff ei ddiwygio i'w wneud mor gyson â phosibl, ac yna caiff ei gyhoeddi a'i raddnodi'n syml fel bod y “deallusrwydd” a fesurir yn cael ei ddosbarthu'n normal (ar gromlin graddnodi, wrth gwrs). Rhaid ailwirio pob diffiniad, nid yn unig pan gânt eu cynnig gyntaf, ond hefyd yn ddiweddarach o lawer, pan gânt eu defnyddio yn y casgliadau y daethpwyd iddynt. I ba raddau y mae'r ffiniau diffiniol yn briodol ar gyfer y broblem sy'n cael ei datrys? Pa mor aml y mae diffiniadau a roddir mewn un lleoliad yn dod i gael eu cymhwyso mewn lleoliadau tra gwahanol? Mae hyn yn digwydd yn eithaf aml! Yn y dyniaethau, y byddwch yn dod ar eu traws yn anochel yn eich bywyd, mae hyn yn digwydd yn amlach.
Felly, un o ddibenion y cyflwyniad hwn o ddamcaniaeth gwybodaeth, yn ogystal â dangos ei ddefnyddioldeb, oedd eich rhybuddio am y perygl hwn, neu ddangos i chi yn union sut i'w ddefnyddio i gael y canlyniad a ddymunir. Mae wedi'i nodi ers tro bod diffiniadau cychwynnol yn pennu'r hyn a ddarganfyddwch yn y diwedd, i raddau llawer mwy nag y mae'n ymddangos. Mae angen llawer o sylw gennych chi i ddiffiniadau cychwynnol, nid yn unig mewn unrhyw sefyllfa newydd, ond hefyd mewn meysydd yr ydych wedi bod yn gweithio gyda nhw ers amser maith. Bydd hyn yn eich galluogi i ddeall i ba raddau mae'r canlyniadau a gafwyd yn tautoleg ac nid yn rhywbeth defnyddiol.
Mae stori enwog Eddington yn sôn am bobl oedd yn pysgota yn y môr gyda rhwyd. Ar ôl astudio maint y pysgod a ddaliwyd, fe benderfynon nhw ar leiafswm maint y pysgod a geir yn y môr! Gyrrwyd eu casgliad gan yr offeryn a ddefnyddiwyd, nid gan realiti.
I'w barhau…
Pwy sydd eisiau helpu gyda chyfieithu, gosodiad a chyhoeddi'r llyfr - ysgrifennwch mewn neges bersonol neu e-bost [e-bost wedi'i warchod]
Gyda llaw, rydym hefyd wedi lansio cyfieithiad o lyfr cŵl arall - )
Rydym yn arbennig yn chwilio am y rhai fydd yn helpu i gyfieithu . (trosglwyddo am 10 munud, mae'r 20 cyntaf eisoes wedi'u cymryd)
Cynnwys y llyfr a phenodau wedi'u cyfieithu
- Cyflwyniad i'r Gelfyddyd o Wneud Gwyddoniaeth a Pheirianneg: Dysgu Dysgu (Mawrth 28, 1995)
- "Sylfeini'r Chwyldro Digidol (Arwahanol)" (Mawrth 30, 1995)
- "Hanes Cyfrifiaduron - Caledwedd" (Mawrth 31, 1995)
- "Hanes Cyfrifiaduron - Meddalwedd" (4 Ebrill, 1995)
- "Hanes Cyfrifiaduron - Cymwysiadau" (Ebrill 6, 1995)
- "Deallusrwydd Artiffisial - Rhan I" (7 Ebrill, 1995)
- "Deallusrwydd Artiffisial - Rhan II" (Ebrill 11, 1995)
- "Deallusrwydd Artiffisial III" (Ebrill 13, 1995)
- "Gofod n-Dimensional" (Ebrill 14, 1995)
- "Theori Codio - Cynrychiolaeth Gwybodaeth, Rhan I" (Ebrill 18, 1995)
- "Theori Codio - Cynrychiolaeth Gwybodaeth, Rhan II" (Ebrill 20, 1995)
- "Cywiro Codau Gwall" (Ebrill 21, 1995)
- "Theori Gwybodaeth" (Ebrill 25, 1995)
- "Hidlyddion Digidol, Rhan I" (Ebrill 27, 1995)
- "Hidlyddion Digidol, Rhan II" (Ebrill 28, 1995)
- "Hidlyddion Digidol, Rhan III" (Mai 2, 1995)
- "Hidlyddion Digidol, Rhan IV" (Mai 4, 1995)
- "Efelychiad, Rhan I" (Mai 5, 1995)
- "Efelychiad, Rhan II" (Mai 9, 1995)
- "Efelychiad, Rhan III" (Mai 11, 1995)
- "Fiber Optics" (Mai 12, 1995)
- “Cyfarwyddyd â Chymorth Cyfrifiadur” (Mai 16, 1995)
- "Mathemateg" (Mai 18, 1995)
- "Mecaneg Cwantwm" (Mai 19, 1995)
- "Creadigrwydd" (Mai 23, 1995). Cyfieithiad:
- "Arbenigwyr" (Mai 25, 1995)
- "Data Annibynadwy" (Mai 26, 1995)
- "Peirianneg Systemau" (Mai 30, 1995)
- "Rydych Chi'n Cael Beth Rydych chi'n ei Fesur" (Mehefin 1, 1995)
- (Mehefin 2, 1995) cyfieithu mewn darnau 10 munud
- Hamming, “Chi a'ch Ymchwil” (Mehefin 6, 1995).
Pwy sydd eisiau helpu gyda chyfieithu, gosodiad a chyhoeddi'r llyfr - ysgrifennwch mewn neges bersonol neu e-bost [e-bost wedi'i warchod]
Ffynhonnell: hab.com