Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

Rinn sinn e!

“Is e adhbhar a’ chùrsa seo do ullachadh airson an àm ri teachd teignigeach agad. ”

Richard Hamming: Caibideil 13. Teòiridh an FhiosrachaidhHalò, Habr. Cuimhnich air an artaigil sgoinneil "Thu fhèin agus an obair agad" (+219, 2588 comharran-leabhair, 429k a’ leughadh)?

Mar sin Hamming (tha, tha, fèin-sgrùdadh agus fèin-cheartachadh Còdan airson hamming) tha iomlan leabhar, sgrìobhte stèidhichte air na h-òraidean aige. Tha sinn ga eadar-theangachadh, oir tha an duine a 'bruidhinn na inntinn.

Is e leabhar a tha seo chan ann dìreach mu dheidhinn IT, is e leabhar a th’ ann mu dheidhinn stoidhle smaoineachaidh dhaoine air leth fionnar. “Chan e dìreach àrdachadh de smaoineachadh adhartach a th’ ann; tha e a’ toirt cunntas air na suidheachaidhean a tha a’ cur ris na cothroman air obair mhath a dhèanamh.”

Taing gu Andrey Pakhomov airson an eadar-theangachadh.

Chaidh Teòiridh Fiosrachaidh a leasachadh le CE Shannon aig deireadh nan 1940an. Thuirt luchd-stiùiridh Bell Labs gur e “Teòiridh Conaltraidh” a chanas iad ris oir… is e ainm fada nas cruinne a tha seo. Airson adhbharan follaiseach, tha an t-ainm "Teòiridh Fiosrachaidh" a 'toirt buaidh mòran nas motha air a' phoball, agus is e sin as coireach gun do thagh Shannon e, agus is e an t-ainm a tha fios againn chun an latha an-diugh. Tha an t-ainm fhèin a 'moladh gu bheil an teòiridh a' dèiligeadh ri fiosrachadh, a tha ga dhèanamh cudromach agus sinn a 'gluasad nas doimhne a-steach don aois fiosrachaidh. Anns a 'chaibideil seo, bruidhnidh mi air grunn phrìomh cho-dhùnaidhean bhon teòiridh seo, bheir mi seachad fianais nach eil teann, ach gu math iongantach air cuid de ullachaidhean fa leth den teòiridh seo, gus an tuig thu dè a th' ann an "Teòiridh Fiosrachaidh", far an urrainn dhut a chur an sàs. agus far nach eil.

An toiseach, dè a th’ ann an “fiosrachadh”? Tha Shannon co-ionann ri fiosrachadh agus mì-chinnt. Thagh e an logarithm àicheil airson coltachd tachartas mar thomhas cainneachdail den fhiosrachadh a gheibh thu nuair a thachras tachartas le coltachd p. Mar eisimpleir, ma dh'innseas mi dhut gu bheil an aimsir ann an Los Angeles ceòthach, tha p faisg air 1, rud nach eil a 'toirt mòran fiosrachaidh dhuinn. Ach ma chanas mi gu bheil an t-uisge ann ann am Monterey san Ògmhios, bidh mì-chinnt anns an teachdaireachd agus bidh barrachd fiosrachaidh ann. Chan eil fiosrachadh sam bith ann an tachartas earbsach, oir log 1 = 0.

Bheir sinn sùil nas mionaidiche air seo. Bha Shannon den bheachd gum bu chòir an tomhas cainneachdail de dh'fhiosrachadh a bhith na dhleastanas leantainneach air coltachd tachartas p, agus airson tachartasan neo-eisimeileach bu chòir a bhith na chur-ris - bu chòir an ìre fiosrachaidh a gheibhear mar thoradh air dà thachartas neo-eisimeileach a bhith co-ionann ris an an uiread fiosrachaidh a gheibhear mar thoradh air tachartas co-phàirteach. Mar eisimpleir, mar as trice bithear a’ dèiligeadh ri toradh rolla dìsnean agus rolla coin mar thachartasan neo-eisimeileach. Leig leinn an rud gu h-àrd eadar-theangachadh gu cànan matamataig. Mas e I (p) an uiread fiosrachaidh a tha ann an tachartas le coltachd p, an uairsin airson tachartas co-phàirteach anns a bheil dà thachartas neo-eisimeileach x le coltachd p1 agus y le coltachd p2 gheibh sinn

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh
(Tha x agus y nan tachartasan neo-eisimeileach)

Is e seo an co-aontar gnìomh Cauchy, fìor airson a h-uile p1 agus p2. Gus an co-aontar gnìomh seo fhuasgladh, gabh ris

p1 = p2 = p,

tha seo a' toirt

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

Ma tha p1 = p2 agus p2 = p an uairsin

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

etc. A’ leudachadh a’ phròiseis seo a’ cleachdadh an dòigh àbhaisteach airson exponentials, airson a h-uile àireamh reusanta m/n tha na leanas fìor

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

Bhon leantalachd ris an robhar a’ tomhas fiosrachaidh, tha e a’ leantainn gur e an gnìomh logarithmach an aon fhuasgladh leantainneach air co-aontar gnìomh Cauchy.

Ann an teòiridh fiosrachaidh, tha e cumanta am bonn logarithm a thoirt gu 2, agus mar sin tha dìreach 1 pìos fiosrachaidh ann an roghainn binary. Mar sin, tha fiosrachadh air a thomhas leis an fhoirmle

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

Stadaidh sinn agus tuigidh sinn na thachair gu h-àrd. An toiseach, cha do mhìnich sinn bun-bheachd “fiosrachadh”; mhìnich sinn dìreach am foirmle airson a thomhas cainneachdail.

San dàrna h-àite, tha an ceum seo fo ùmhlachd mì-chinnt, agus ged a tha e reusanta iomchaidh airson innealan - mar eisimpleir, siostaman fòn, rèidio, telebhisean, coimpiutairean, msaa - chan eil e a’ nochdadh beachdan àbhaisteach daonna a thaobh fiosrachaidh.

San treas àite, is e tomhas coimeasach a tha seo, tha e an urra ri staid làithreach an eòlais agad. Ma choimheadas tu air sruth de “àireamhan air thuaiream” bho ghineadair àireamhan air thuaiream, tha thu a’ gabhail ris gu bheil gach ath àireamh mì-chinnteach, ach ma tha fios agad air an fhoirmle airson “àireamhan air thuaiream” obrachadh a-mach, bidh fios air an ath àireamh, agus mar sin cha dèan thu sin. cuir a-steach fiosrachadh.

Mar sin tha mìneachadh Shannon air fiosrachadh iomchaidh airson innealan ann an iomadh cùis, ach chan eil e coltach gu bheil e a’ freagairt air tuigse dhaonna air an fhacal. Is ann air an adhbhar seo a bu chòir “Teòiridh Fiosrachaidh” a bhith air ainmeachadh mar “Teòiridh Conaltraidh.” Ach, tha e ro fhadalach na mìneachaidhean atharrachadh (a thug air an teòiridh a bhith a 'còrdadh ris an toiseach, agus a tha fhathast a' toirt air daoine smaoineachadh gu bheil an teòiridh seo a 'dèiligeadh ri "fiosrachadh"), agus mar sin feumaidh sinn a bhith a' fuireach còmhla riutha, ach aig an aon àm feumaidh tu. tuigsinn gu soilleir dè cho fada ‘s a tha mìneachadh Shannon air fiosrachadh bhon bhrìgh a chleachdar gu cumanta. Tha fiosrachadh Shannon a’ dèiligeadh ri rudeigin gu tur eadar-dhealaichte, is e sin mì-chinnt.

Seo rudeigin ri smaoineachadh nuair a tha thu a’ moladh briathrachas sam bith. Ciamar a tha mìneachadh a thathar a’ moladh, leithid mìneachadh Shannon air fiosrachadh, ag aontachadh ris a’ bheachd thùsail agad agus dè cho eadar-dhealaichte ‘s a tha e? Cha mhòr nach eil teirm sam bith ann a tha dìreach a’ nochdadh an t-sealladh a bh’ agad roimhe air bun-bheachd, ach aig a’ cheann thall, is e am briathrachas a thathar a’ cleachdadh a tha a’ nochdadh brìgh a’ bhun-bheachd, agus mar sin le bhith a’ foirmeil rudeigin tro mhìneachaidhean soilleir bidh an-còmhnaidh beagan fuaim ann.

Beachdaich air siostam anns a bheil an aibidil air a dhèanamh suas de shamhlaidhean q le coltachd pi. Anns a 'chùis seo cuibheasachd fiosrachaidh san t-siostam (a luach ris a bheil dùil) co-ionann ri:

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

Canar entropy an t-siostaim ris an seo le cuairteachadh coltachd {pi}. Bidh sinn a 'cleachdadh an fhacail "entropy" oir tha an aon fhoirm matamataigeach a' nochdadh ann an thermodynamics agus meacanaig staitistigeil. Sin as coireach gu bheil am facal “entropy” a’ cruthachadh aura sònraichte a tha cudromach timcheall air fhèin, nach eil air fhìreanachadh aig a’ cheann thall. Chan eil an aon chruth matamataigeach de chomharradh a’ ciallachadh an aon mhìneachadh air samhlaidhean!

Tha àite mòr aig entropy an t-sgaoilidh coltachd ann an teòiridh còdaidh. Tha neo-ionannachd Gibbs airson dà sgaoileadh coltachd eadar-dhealaichte pi agus qi mar aon de na buaidhean cudromach a tha aig an teòiridh seo. Mar sin feumaidh sinn sin a dhearbhadh

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

Tha an dearbhadh stèidhichte air graf follaiseach, Fig. 13.I, a tha a 'sealltainn sin

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

agus chan eil co-ionannachd air a choileanadh ach nuair a tha x = 1. Cuiridh sinn an neo-ionannachd gu gach teirm den t-suim bhon taobh chlì:

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

Ma tha an aibideil de shiostam conaltraidh air a dhèanamh suas de shamhlaidhean q, an uairsin a’ gabhail ris a’ choltachd gun tèid gach samhla qi = 1/q a chuir a-steach agus q a chuir na àite, gheibh sinn bho neo-ionannachd Gibbs

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

Figear 13.I

Tha seo a’ ciallachadh ma tha coltachd tar-chuir a h-uile samhla q an aon rud agus co-ionann ri - 1 / q, tha an entropy as àirde co-ionann ri ln q, air neo ma tha an neo-ionannachd a’ cumail.

Ann an cùis còd gun choimeas, tha neo-ionannachd Kraft againn

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

A-nis ma tha sinn a 'mìneachadh pseudo-coltachdachdan

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

càite gu dearbh Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh= 1, a tha a’ leantainn bho neo-ionannachd Gibbs,

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

agus cuir beagan ailseabra an sàs (cuimhnich gu bheil K ≤ 1, gus an urrainn dhuinn an teirm logarithmach a leigeil sìos, agus is dòcha an neo-ionannachd a neartachadh nas fhaide air adhart), gheibh sinn

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

far a bheil L an fhad còd cuibheasach.

Mar sin, is e entropy an ìre as ìsle airson còd caractar-air-samhla sam bith le fad cuibheasach còd L. Is e seo teòirim Shannon airson seanail gun eadar-theachd.

A-nis beachdaich air a 'phrìomh theòirim mu chuingealachaidhean siostaman conaltraidh anns a bheil fiosrachadh air a ghluasad mar shruth de phìosan neo-eisimeileach agus fuaim an làthair. Thathas a’ tuigsinn gur e P > 1/2 an coltachd gun tèid aon bhall a thar-chuir gu ceart, agus gu bheil an coltachd gun tèid luach a’ bhiota a thionndadh a-steach aig àm tar-chuir (bidh mearachd a’ tachairt) co-ionann ri Q = 1 - P. Airson goireasachd, bidh sinn gabh ris gu bheil na mearachdan neo-eisimeileach agus gu bheil coltachd mearachd an aon rud airson gach pìos a chaidh a chuir - is e sin, tha “fuaim geal” anns an t-sianal conaltraidh.

Is e an dòigh anns a bheil sruth fada de n bits air a chòdachadh ann an aon teachdaireachd an leudachadh n - meudach air a’ chòd aon-phìos. Dearbhaidh sinn luach n nas fhaide air adhart. Beachdaich air teachdaireachd anns a bheil n-bits mar phuing ann an àite n-dimensional. Leis gu bheil àite n-mheudach againn - agus airson sìmplidheachd gabhaidh sinn ris gu bheil an aon choltas aig gach teachdaireachd - tha M teachdaireachdan comasach (thèid M a mhìneachadh nas fhaide air adhart), mar sin tha coltachd teachdaireachd sam bith a thèid a chuir a-steach.

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh
(seoladair)
Clàr 13.II

An ath rud, beachdaich air a 'bheachd air comas seanail. Gun a bhith a ’dol a-steach gu mion-fhiosrachadh, tha comas seanail air a mhìneachadh mar an ìre as motha de dh’ fhiosrachadh a dh’ fhaodar a chuir thairis gu earbsach thairis air sianal conaltraidh, a ’toirt aire do chleachdadh a’ chòdaidh as èifeachdaiche. Chan eil argamaid sam bith ann gum faodar barrachd fiosrachaidh a thoirt seachad tro sheanal conaltraidh na tha e comasach. Faodar seo a dhearbhadh airson sianal co-chothromach dà-chànanach (a bhios sinn a 'cleachdadh anns a' chùis againn). Tha comas an t-seanail, nuair a thathar a’ cur pìosan, air a shònrachadh mar

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

far a bheil, mar roimhe, P an coltachd nach bi mearachd sam bith ann am pìos sam bith a chaidh a chuir. Nuair a bhios tu a’ cur n pìosan neo-eisimeileach, tha comas an t-seanail air a thoirt seachad le

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

Ma tha sinn faisg air comas an t-seanail, feumaidh sinn cha mhòr an uiread seo de dh'fhiosrachadh a chuir a-steach airson gach samhla ai, i = 1, ..., M. Leis gu bheil an coltachd gun tachair gach samhla ai 1 / M, gheibh sinn

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

nuair a chuireas sinn teachdaireachd sam bith M a tha a cheart cho coltach ai, tha againn

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

Nuair a thèid n pìosan a chuir, tha sinn an dùil gun tachair mearachdan nQ. Ann an cleachdadh, airson teachdaireachd anns a bheil n-bits, bidh timcheall air mearachdan nQ againn anns an teachdaireachd a fhuair sinn. Airson n mòr, atharrachadh coimeasach (caochladh = leud cuairteachaidh, )
bidh sgaoileadh na h-àireimh mhearachdan a’ fàs nas cumhang mar a bhios n a’ dol am meud.

Mar sin, bho thaobh an inneal-sgaoilidh, bidh mi a’ gabhail an teachdaireachd ai gus raon a chuir agus a tharraing timcheall air le radius

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

a tha beagan nas motha le suim co-ionann ri e2 na an àireamh de mhearachdan Q, (Figear 13.II). Ma tha n mòr gu leòr, tha coltas ann gu bheil puing teachdaireachd bj a’ nochdadh air taobh a’ ghlacadair a tha a’ leudachadh nas fhaide na an raon seo. Nach dèan sinn sgeidse den t-suidheachadh mar a chì mi e bho shealladh an neach-sgaoilidh: tha radii sam bith againn bhon teachdaireachd tar-chuir ai chun teachdaireachd a fhuaireadh bj le coltachd mearachd co-ionann (no cha mhòr co-ionann) ris an cuairteachadh àbhaisteach, a’ ruighinn ìre as àirde ann an nQ. Airson e2 sam bith, tha n cho mòr is gu bheil an coltachd gum bi a’ phuing a thig às a sin taobh a-muigh mo raon-sa cho beag ‘s a thogras tu.

A-nis leig dhuinn coimhead air an aon suidheachadh bho do thaobh (Fig. 13.III). Aig taobh an ghlacadair tha raon S(r) den aon radius r timcheall air a’ phuing a fhuaireadh bj ann an àite n-mheudach, mar sin ma tha an teachdaireachd a fhuaireadh bj taobh a-staigh mo raon-sa, tha an teachdaireachd a chuir mi a-steach taobh a-staigh do raon. speur.

Ciamar a dh'fhaodas mearachd tachairt? Faodaidh mearachd tachairt anns na cùisean a tha air am mìneachadh sa chlàr gu h-ìosal:

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

Figear 13.III

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

An seo chì sinn ma tha co-dhiù aon phuing eile anns an raon a chaidh a thogail timcheall air a’ phuing a fhuaireadh a rèir teachdaireachd gun chòd a chaidh a chuir a-steach, an uairsin thachair mearachd rè an tar-chuir, leis nach urrainn dhut faighinn a-mach dè na teachdaireachdan sin a chaidh a chuir a-mach. Chan eil an teachdaireachd a chaidh a chuir a-steach gun mhearachd ach ma tha a’ phuing a tha co-chosmhail ris anns a’ chruinne, agus nach eil puingean eile comasach anns a’ chòd a chaidh a thoirt seachad a tha san aon raon.

Tha co-aontar matamataigeach againn airson coltachd mearachd Pe ma chaidh teachdaireachd ai a chuir

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

Faodaidh sinn a 'chiad fhactar a thilgeil a-mach anns an dàrna teirm, ga ghabhail mar 1. Mar sin gheibh sinn an neo-ionannachd

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

Gu follaiseach,

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

mar sin

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

ath-thagradh chun teirm mu dheireadh air an làimh dheis

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

A’ gabhail n mòr gu leòr, faodar a’ chiad teirm a ghabhail cho beag ‘s a thogras tu, abair nas lugha na cuid de dh’ àireamh d. Mar sin tha againn

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

A-nis leig dhuinn sùil a thoirt air mar as urrainn dhuinn còd ionadachaidh sìmplidh a thogail gus teachdaireachdan M a chòdachadh anns a bheil n bits. Leis nach robh fios agam ciamar a bu chòir còd a thogail (cha deach còdan ceartachaidh mearachd a chruthachadh fhathast), thagh Shannon còdadh air thuaiream. Dèan flip air bonn airson gach aon de na pìosan n anns an teachdaireachd agus cuir a-rithist am pròiseas airson teachdaireachdan M. Gu h-iomlan, feumar flips coin nM a dhèanamh, agus mar sin tha e comasach

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

faclairean còd leis an aon coltachd ½nM. Gu dearbh, tha am pròiseas air thuaiream de bhith a 'cruthachadh leabhar còd a' ciallachadh gu bheil comas ann dùblaidhean a dhèanamh, a bharrachd air puingean còd a bhios faisg air a chèile agus mar sin a bhith nan adhbhar de mhearachdan a dh'fhaodadh a bhith ann. Feumaidh neach dearbhadh mura tachair seo le coltachd nas àirde na ìre mearachd sam bith a chaidh a thaghadh, gu bheil an n a chaidh a thoirt seachad mòr gu leòr.
Is e a’ phuing dheatamach gun do rinn Shannon cuibheasachd de gach leabhar còd a dh’ fhaodadh a bhith ann gus am mearachd cuibheasach a lorg! Cleachdaidh sinn an samhla Av[.] gus an luach cuibheasach thairis air an t-seata de leabhraichean còd air thuaiream a chomharrachadh. Tha cuibheasachd thairis air d seasmhach, gu dearbh, a’ toirt seachad seasmhach, oir airson cuibheasachd tha gach teirm co-ionann ris a h-uile teirm eile san t-suim,

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

a ghabhas àrdachadh (M-1 a’ dol gu M)

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

Airson teachdaireachd sònraichte sam bith, nuair a thathar a’ dèanamh cuibheasachd thairis air a h-uile leabhar còd, bidh an còdachadh a’ ruith tro gach luach a dh’ fhaodadh a bhith ann, agus mar sin is e an coltachd cuibheasach gu bheil puing ann an cruinne an co-mheas eadar meud na cruinne agus meud iomlan an fhànais. Tha meud an t-sruth

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

far am feum s=Q+e2 <1/2 agus ns a bhith na shlànaighear.

Is e an teirm mu dheireadh air an làimh dheis an tè as motha san t-suim seo. An toiseach, dèanamaid tuairmse air a luach a’ cleachdadh foirmle Shruighlea airson factaraidhean. Bheir sinn sùil an uairsin air co-èifeachd lùghdaichte an teirm air a bheulaibh, thoir an aire gu bheil an co-èifeachd seo ag àrdachadh mar a ghluaiseas sinn chun chlì, agus mar sin is urrainn dhuinn: (1) luach an t-suim a chuingealachadh gu suim an adhartais geoimeatrach le a’ chiad cho-èifeachd seo, (2) leudaich an adhartas geoimeatrach bho theirmean n gu àireamh neo-chrìochnach de theirmean, (3) obraich a-mach suim adhartas geoimeatrach gun chrìoch (ailseabra àbhaisteach, gun dad cudromach) agus mu dheireadh faigh an luach cuibhreachaidh (airson àireamh mhòr gu leòr n):

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

Mothaich mar a nochd an entropy H(s) anns an dearbh-aithne binomial. Thoir an aire gu bheil leudachadh sreath Taylor H (s) = H (Q + e2) a’ toirt seachad tuairmse a fhuaireadh a’ toirt aire dìreach don chiad toradh agus a’ seachnadh a h-uile càil eile. A-nis leig dhuinn an abairt mu dheireadh a chuir ri chèile:

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

far a bheil

Richard Hamming: Caibideil 13. Teòiridh an Fhiosrachaidh

Chan eil againn ach e2 a thaghadh mar sin e3 <e1, agus an uairsin bidh an teirm mu dheireadh beag gu neo-riaghailteach, fhad ‘s a tha n mòr gu leòr. Mar thoradh air an sin, gheibhear a’ mhearachd cuibheasach PE cho beag ‘s a thogras tu le comas an t-seanail gu neo-riaghailteach faisg air C.
Ma tha mearachd beag gu leòr aig cuibheasachd nan còdan uile, feumaidh co-dhiù aon chòd a bhith freagarrach, agus mar sin tha co-dhiù aon siostam còdaidh iomchaidh ann. Is e toradh cudromach a tha seo a fhuair Shannon - “Theorem na Sionainne airson seanal fuaimneach”, ged a bu chòir a thoirt fa-near gun do dhearbh e seo airson cùis mòran nas fharsainge na airson an t-sianal binary co-chothromach a chleachd mi. Airson a 'chùis choitcheann, tha àireamhachadh matamataigeach mòran nas iom-fhillte, ach chan eil na beachdan cho eadar-dhealaichte, mar sin glè thric, a' cleachdadh eisimpleir cùis shònraichte, faodaidh tu fìor bhrìgh an teòirim fhoillseachadh.

Dèanamaid càineadh air an toradh. Tha sinn air a-rithist a-rithist: “Airson n mòr gu leòr.” Ach dè cho mòr 'sa tha n? Glè, glè mhòr ma tha thu dha-rìribh ag iarraidh a bhith an dà chuid faisg air comas an t-seanail agus a bhith cinnteach mun ghluasad dàta ceart! Cho mòr, gu dearbh, gum feum thu feitheamh ùine mhòr gus teachdaireachd de phìosan gu leòr a chruinneachadh airson a chòdachadh nas fhaide air adhart. Anns a 'chùis seo, bidh meud an fhaclair còd air thuaiream dìreach mòr (às deidh a h-uile càil, chan urrainnear faclair mar sin a riochdachadh ann an cruth nas giorra na liosta iomlan de na pìosan Mn gu lèir, a dh' aindeoin gu bheil n agus M gu math mòr)!

Bidh còdan ceartachaidh mearachd a’ seachnadh feitheamh ri teachdaireachd glè fhada agus an uairsin ga chòdachadh agus ga chòdachadh tro leabhraichean còd fìor mhòr oir bidh iad a’ seachnadh leabhraichean còd iad fhèin agus a’ cleachdadh àireamhachadh àbhaisteach na àite. Ann an teòiridh shìmplidh, tha còdan mar seo buailteach a bhith a 'call an comas a bhith a' tighinn faisg air comas an t-seanail agus fhathast a 'cumail ìre mearachd ìseal, ach nuair a tha an còd a' ceartachadh àireamh mhòr de mhearachdan, bidh iad a 'coileanadh gu math. Ann am faclan eile, ma tha thu a’ riarachadh cuid de chomas seanail airson ceartachadh mhearachdan, feumaidh tu an comas ceartachaidh mhearachdan a chleachdadh a’ mhòr-chuid den ùine, ie, feumar àireamh mhòr de mhearachdan a cheartachadh anns gach teachdaireachd a thèid a chuir, air neo bidh thu a’ caitheamh an comas seo.

Aig an aon àm, chan eil an teòirim a chaidh a dhearbhadh gu h-àrd fhathast gun bhrìgh! Tha e a’ sealltainn gum feum siostaman tar-chuir èifeachdach sgeamaichean còdaidh ciallach a chleachdadh airson sreangan glè fhada. Is e eisimpleir eisimpleir saidealan a tha air itealaich seachad air na planaidean a-muigh; Mar a bhios iad a 'gluasad air falbh bhon Talamh agus bhon Ghrian, feumaidh iad barrachd is barrachd mhearachdan a cheartachadh anns a' bhloc dàta: bidh cuid de shaidealan a 'cleachdadh panalan grèine, a tha a' toirt seachad mu 5 W, bidh cuid eile a 'cleachdadh stòran cumhachd niùclasach, a tha a' toirt seachad an aon chumhachd. Cumhachd ìosal an t-solarachaidh cumhachd, meud beag soithichean sgaoilidh agus meud cuibhrichte soithichean cuidhteas air an Talamh, an astar mòr a dh’ fheumas an comharra siubhal - feumaidh seo uile còdan a chleachdadh le ìre àrd de cheartachadh mearachd gus faidhle a thogail. siostam conaltraidh èifeachdach.

Tillidh sinn chun àite n-dimensional a chleachd sinn san dearbhadh gu h-àrd. Ann a bhith a’ bruidhinn mu dheidhinn, sheall sinn gu bheil cha mhòr meud iomlan an chruinne faisg air an uachdar a-muigh - mar sin, tha e cha mhòr cinnteach gum bi an comharra a chaidh a chuir a-steach faisg air uachdar na cruinne a chaidh a thogail timcheall air a’ chomharra a fhuaireadh, eadhon le ìre mhath. radius beag de leithid de raon. Mar sin, chan eil e na iongnadh gu bheil an comharra a fhuaireadh, às deidh dha àireamh mhòr de mhearachdan a cheartachadh, nQ, a ’tionndadh a-mach gu bhith gu neo-riaghailteach faisg air comharra gun mhearachdan. Tha an comas ceangail air an do bhruidhinn sinn na bu thràithe na phrìomh dhòigh air an iongantas seo a thuigsinn. Thoir an aire nach eil raointean coltach ris a chaidh a thogail airson còdan Hamming ceartachadh mearachd a’ dol thairis air a chèile. Tha an àireamh mhòr de mheudan cha mhòr orthogonal ann an àite n-thaobhach a’ sealltainn carson as urrainn dhuinn raointean M a chuir a-steach don fhànais gun mòran tar-tharraing. Ma cheadaicheas sinn tar-lùbadh beag, gu neo-riaghailteach, a dh’ adhbhraicheas dìreach àireamh bheag de mhearachdan aig àm dì-chòdachadh, gheibh sinn suidheachadh dùmhail de raointean san fhànais. Bha Hamming a’ gealltainn ìre sònraichte de cheartachadh mhearachdan, Shannon - coltachd ìosal de mhearachd, ach aig an aon àm a’ cumail suas an fhìor thoraidhean gu neo-riaghailteach faisg air comas an t-sianail conaltraidh, rud nach urrainn dha còdan Hamming a dhèanamh.

Chan eil teòiridh fiosrachaidh ag innse dhuinn mar a dhealbhaicheas sinn siostam èifeachdach, ach tha e a’ comharrachadh na slighe gu siostaman conaltraidh èifeachdach. Tha e na inneal luachmhor airson siostaman conaltraidh inneal-gu-inneal a thogail, ach, mar a chaidh ainmeachadh roimhe, chan eil mòran buntainneas aige ri mar a bhios daoine a’ conaltradh ri chèile. Chan eil fios dè an ìre gu bheil oighreachd bith-eòlasach coltach ri siostaman conaltraidh teignigeach, agus mar sin chan eil e soilleir an-dràsta ciamar a tha teòiridh fiosrachaidh a’ buntainn ri ginean. Chan eil roghainn againn ach feuchainn, agus ma sheallas soirbheachas dhuinn nàdar an t-iongantas seo a tha coltach ri inneal, an uairsin bidh fàilligeadh a’ comharrachadh taobhan cudromach eile de nàdar an fhiosrachaidh.

Na bitheamaid ro mhòr. Tha sinn air faicinn gum feum a h-uile mìneachadh tùsail, gu ìre nas motha no nas lugha, brìgh ar creideasan tùsail a chuir an cèill, ach tha iad air an comharrachadh le ìre de shaobhadh agus mar sin chan eil iad iomchaidh. Thathas a' gabhail ris gu traidiseanta gur e am mìneachadh a chleachdas sinn aig a' cheann thall a' mìneachadh brìgh; ach, chan eil seo ach ag innse dhuinn mar a làimhsicheas sinn cùisean agus chan eil e idir a’ toirt brìgh sam bith dhuinn. Tha an dòigh postulational, a tha cho mòr-chòrdte ann an cearcallan matamataigeach, a’ fàgail mòran ri bhith air a mhiannachadh ann an cleachdadh.

A-nis bheir sinn sùil air eisimpleir de dheuchainnean IQ far a bheil am mìneachadh cho cruinn ‘s as toil leat a bhith agus, mar thoradh air an sin, meallta. Tha deuchainn air a chruthachadh a thathar an dùil gus fiosrachadh a thomhas. Tha e an uairsin air ath-sgrùdadh gus a dhèanamh cho cunbhalach ‘s a ghabhas, agus an uairsin tha e air fhoillseachadh agus, ann an dòigh shìmplidh, air a calibratadh gus am bi an “fiosrachadh” a chaidh a thomhas air a chuairteachadh gu h-àbhaisteach (air lùb calibration, gu dearbh). Feumar ath-sgrùdadh a dhèanamh air a h-uile mìneachadh, chan ann a-mhàin nuair a thèid am moladh an toiseach, ach cuideachd fada nas fhaide air adhart, nuair a thèid an cleachdadh anns na co-dhùnaidhean a chaidh a tharraing. Dè an ìre gu bheil na crìochan mìneachaidh iomchaidh airson an duilgheadas a thathar a’ fuasgladh? Dè cho tric ’s a thig mìneachaidhean a thugadh ann an aon shuidheachadh gu bhith air an cur an sàs ann an suidheachaidhean gu tur eadar-dhealaichte? Bidh seo a’ tachairt gu math tric! Anns na daonnachdan, ris an coinnich thu gu do-sheachanta nad bheatha, bidh seo a’ tachairt nas trice.

Mar sin, b 'e aon de na h-adhbharan airson an taisbeanadh seo de theòiridh fiosrachaidh, a bharrachd air a bhith a' sealltainn cho feumail 'sa tha e, rabhadh a thoirt dhut mun chunnart seo, no sealltainn dhut dìreach mar a chleachdas tu e gus an toradh a bha thu ag iarraidh fhaighinn. Chaidh a thoirt fa-near o chionn fhada gu bheil mìneachaidhean tùsail a’ dearbhadh na lorgas tu aig a’ cheann thall, gu ìre fada nas motha na tha e coltach. Feumaidh mìneachaidhean tùsail mòran aire bhuaibh, chan ann a-mhàin ann an suidheachadh ùr sam bith, ach cuideachd ann an raointean leis a bheil thu air a bhith ag obair airson ùine mhòr. Leigidh seo leat tuigsinn dè an ìre gu bheil na toraidhean a gheibhear mar eòlas-eòlas agus chan e rudeigin feumail.

Tha an sgeulachd ainmeil aig Eddington ag innse mu dhaoine a bha ag iasgach sa mhuir le lìon. Às deidh dhaibh sgrùdadh a dhèanamh air meud an èisg a ghlac iad, cho-dhùin iad an ìre as lugha de dh’ iasg a lorgar sa mhuir! Bha an co-dhùnadh aca air a stiùireadh leis an ionnstramaid a chaidh a chleachdadh, chan ann le fìrinn.

Ri leantainn ...

Cò a tha airson cuideachadh le eadar-theangachadh, cruth agus foillseachadh an leabhair - sgrìobh ann am brath pearsanta no post-d [post-d fo dhìon]

Co-dhiù, tha sinn cuideachd air eadar-theangachadh leabhar fionnar eile a chuir air bhog - "An Inneal Bruadar: Eachdraidh an Tionndadh Coimpiutaireachd")

Tha sinn gu sònraichte a’ coimhead airson cò as urrainn cuideachadh le eadar-theangachadh caibideil bonus, a tha dìreach air a 'bhidio. (bidh sinn ag eadar-theangachadh airson 10 mionaidean, chaidh a’ chiad 20 a ghabhail mu thràth)

Susbaint leabhraichean agus caibideilean air an eadar-theangachadhFacal-toisich

  1. Ro-ràdh don Ealain airson Saidheans agus Innleadaireachd a dhèanamh: Ag ionnsachadh ionnsachadh (28 Màrt 1995) Eadar-theangachadh: Caibideil 1
  2. "Stèidheachdan an Ar-a-mach Didseatach (air leth)" (30 Màrt, 1995) Caibideil 2. Bun-stèidh an Ar-a-mach Didseatach (Sgaoil).
  3. "Eachdraidh Coimpiutaireachd - Bathar-cruaidh" (31 Màrt, 1995) Caibideil 3
  4. "Eachdraidh choimpiutairean - bathar-bog" (4 Giblean, 1995) Caibideil 4
  5. "Eachdraidh Coimpiutaireachd - Iarrtasan" (6 Giblean, 1995) Caibideil 5
  6. "Eòlas Artificial - Pàirt I" (7 Giblean, 1995) Caibideil 6. Artificial Intelligence - 1
  7. "Eòlas Artificial - Pàirt II" (11 Giblean, 1995) Caibideil 7. Artificial Intelligence - II
  8. "Eòlas Artificial III" (13 Giblean, 1995) Caibideil 8. Artificial Intelligence- III
  9. "n-Dimensional Space" (14 Giblean, 1995) Caibideil 9
  10. "Teòiridh Còdaidh - Riochdachadh Fiosrachaidh, Pàirt I" (18 Giblean, 1995) Caibideil 10 Teòiridh Còdaidh - I
  11. "Teòiridh Còdaidh - Riochdachadh Fiosrachaidh, Pàirt II" (20 Giblean, 1995) Caibideil 11 Teòiridh Còdaidh II
  12. "Mearachd-ceartachadh còdan" (21 Giblean, 1995) Caibideil 12
  13. "Teòiridh Fiosrachaidh" (25 Giblean, 1995) Caibideil 13. Teòiridh Fiosrachaidh
  14. "Digital Filters, Pàirt I" (27 Giblean, 1995) Caibideil 14 criathragan didseatach - 1
  15. "Digital Filters, Pàirt II" (28 Giblean, 1995) Caibideil 15 criathragan didseatach - 2
  16. "Digital Filters, Pàirt III" (2 Cèitean, 1995) Caibideil 16 criathragan didseatach - 3
  17. "Digital Filters, Pàirt IV" (4 Cèitean, 1995) Caibideil 17 Criathragan Didseatach - IV
  18. "Samhradh, Pàirt I" (5 Cèitean, 1995) Caibideil 18
  19. "Simulation, Pàirt II" (9 Cèitean, 1995) Caibideil 19
  20. "Simulation, Pàirt III" (11 Cèitean, 1995) Caibideil 20 Modail - III
  21. Fibre optics (12 Cèitean, 1995) Caibideil 21
  22. "Stiùireadh le Coimpiutair" (16 Cèitean, 1995) Caibideil 22 Ionnsachadh le Taic Coimpiutaireachd (CAI)
  23. "Matamataig" (18 Cèitean, 1995) Caibideil 23
  24. "Quantum Mechanics" (19 Cèitean, 1995) Caibideil 24
  25. "Cruthachail" (23 Cèitean, 1995). Eadar-theangachadh: Caibideil 25
  26. "Eòlaichean" (25 Cèitean, 1995) Caibideil 26
  27. "Dàta neo-earbsach" (26 Cèitean, 1995) Caibideil 27
  28. Innleadaireachd Siostaman (30 Cèitean, 1995) Caibideil 28. Innleadaireachd Siostaman
  29. "Gheibh thu na tha thu a 'tomhas" (1 Ògmhios, 1995) Caibideil 29
  30. "Ciamar a bhios fios againn dè as aithne dhuinn" (Ògmhios 2, 1995) eadar-theangachadh ann am pìosan 10 mionaidean
  31. Hamming, "Thuit agus do Rannsachadh" (6 Ògmhios, 1995). Eadar-theangachadh: Thu fhèin agus an obair agad

Cò a tha airson cuideachadh le eadar-theangachadh, cruth agus foillseachadh an leabhair - sgrìobh ann am brath pearsanta no post-d [post-d fo dhìon]

Source: www.habr.com

Cuir beachd ann