Fecimus id!
"Propositum hoc sane est pro technica futura parare".
Salve, Habr. Memento terribilis articulum (+219, 2588 notis, 429k legit)?
Ita Hamming (sic, ita, auto-magna et auto-corrigendo ) est totum scripta ex eius lectionibus. Nos vertimus, quia homo mentem suam loquitur.
Hic liber non est de IT, liber est de stilo cogitationis incredibiliter refrigerandi homines. βNon solum boost positivi cogitationis est; condiciones describit quae augent casus magni operis faciendi.
Gratias Andrey Pakhomov pro translatione.
Informatio Theoria a C. E. Shannon nuper 1940 evoluta est. Fabricae administrationis campanae instabat quod "Theoria Communication" eam vocaret quia... hoc nomen multo accuratius est. Ob evidentes rationes, nomen "Theoria Informatio" multo maiorem momenti in re publica habet, quam ob causam Shannon eam elegit, et nomen est hodie scimus. Nomen ipsum opinatur theoriam de informationibus agere, quae magni ponderis facit ut altius in aetatis notitias nos moveamus. In hoc capite plures conclusiones praecipuas ex hac theoria attingam, non stricte, sed potius intuitiva quaedam singularum praescriptorum huius theoriae indicia, ut intelligas quid actu sit "Informatio Theoria", ubi applicari potes. et ubi non .
Primum quid est "notitia"? Shannon aequat informationem incertae. Logarithmum negativum probabilitatis eventus elegit ut mensura quantitatis notitiae quam accipis cum eventus probabiliter p occurrat. Exempli gratia, si dixero tibi tempestatem in Los Angeles nebulosam esse, tum p prope 1 est, quod nos multam informationem vere non dat. Sed si dixerit pluere in Monterey mense Iunio, dubitatio erit per nuntium et plura indicia continebit. Certus eventus nullas informationes continet, cum log 1=0.
Intueamur hoc planius. Shannon credidit mensuram quantitatis informationis debere esse continuam functionem probabilitatis eventus p, et pro eventibus independentibus addere debet - moles informationum consecuta propter eventum duorum independentium eventuum aequalis esse debet. moles informationes consecuti sunt propter eventum communem eventum. Exempli causa, eventus talis volvunt et in nummo volumine tractari solent tamquam eventus independentes. Transeamus haec in linguam mathematicam. Si I (p) sit copia notitiarum quae in eventu probabiliter p, tum pro eventu communi duorum eventuum independentium x constantium probabiliter p1 et y probabiliter p2 obtinemus.
(X et y certe iuris sunt)
Haec est aequatio utilitatis Cauchy, vera pro omnibus p1 et p2. Hanc aequationem functionis solvere, id est
p1 = p2 = p;
hoc dat
Si p1 = p2 et p2 = p erit
etc. Hunc processum extendens utens norma methodi exponentialium, omnibus numeris rationalibus m/n haec vera est
Ex assumpta continuitate mensurae informationis, sequitur munus logarithmicum esse solam solutionem continuam ad aequationem functionis Cauchy.
In theoria notitia, commune est logarithmum basi sumendi esse 2, ita electio binaria exacte 1 aliquid notitiarum continet. Ergo notitia mensuratur formula
Quid supra factum sit, silentium teneamus. Ante omnia conceptum Β« informationis Β» non definivimus, sed formulam quantitatis quantitatis simpliciter definivimus.
Secundo, haec mensura dubitationi obnoxia est, et quamvis machinis rationabiliter apta sit, ut systemata telephonica, radiophonica, televisionis, computatoriorum, etc. β non tamen reflectit normales habitus humanos ad informationes.
Tertio, hoc est mensura relativa, attenditur secundum statum cognitionis tuae. Si rivum numerorum temere a generante spectes, ponis quemque numerum proximum incertum esse, at si scias formulam "numeri temere" calculandi, numerus proximus cognoscetur, et ideo non erit. indicium continent.
Ita definitio Shannon informationis multis machinis apta est, sed intellectus humanus non videtur aptus verbi. Qua de causa debuit dici theoria communicatio "Theoria notitia". Sed nimis sero est definitiones mutare (quas dedit theoriam suam initialem favoris, et quae adhuc faciunt homines existimant hanc theoriam agere cum "informatione"), ut cum illis vivere debeamus, sed simul necesse est. clare intelligitur quam definitio informationum Shannon longe sit a significatione communi usus. Shannon notitia de re prorsus diversa agit, nempe dubitationem.
Hic aliquid cogitandum est cum aliquam terminologiam proponitis. Quomodo definitio proposita, sicut definitio informationis Shannon, cum idea originali convenit et quam dissimilis est? Nulla fere vox est quae tuam priorem visionem conceptus exacte reflectit, sed tandem, usus est dictio quae reflectit sensum conceptus, sic aliquid formalising per claras definitiones semper aliquem sonum inducit.
Ratio cuius alphabeti consistit in symbolis q cum probabilibus considera pi. In hoc casu mediocris copia notitia in systemate (valorem suum expectatum) aequalis est;
Haec entropy systematis probabiliter distributio {pi} appellatur. Hoc nomine "entropy" utimur, quia eadem forma mathematica apparet in mechanicis et statisticis. Inde est, quod vox "entropy" gignit quandam sphaeram momenti circa se, quae tandem non iustificatur. Eadem notationis forma mathematica non eandem symbolorum interpretationem implicat.
Entropy probabilitatis distributio maiorem obtinet locum in theoria coding. Gibbs inaequalitas pro duabus differentiis probabilitatis distributionibus pi et qi est una ex magnis consequentibus huius theoriae. Ita probare debemus quod
Probatur evidenti graphi fundata, Fig. 13.I, quod ostendit
& aequalitas fit tantum, cum x = 1. Ponamus inaequalitatem cuilibet terminorum summae a latere sinistro;
Si alphabetum systematis communicationis in symbolis q consistit, deinde probabilitatem translationis utriusque symboli qi = 1/q sumendo et substituendo q, ex Gibbs inaequalitatem obtinemus.
Figure 13.I
Id est, si probabilitas omnia q symbola tradendi idem est atque aequale - 1 / q, maximum entropy = ln q, alioquin inaequalitas tenet.
In casu unico decodabili codice, inaequalitatem Kraft habemus
Nunc si falsa probabilia definimus
ubi utique = 1, qui sequitur inaequalitatem de Gibbs',
et paulo algebram applicamus (meminisse K β€ I, ut terminum logarithmicum omittamus, et fortasse inaequalitatem postea confirmamus), obtinemus.
where L is the average code length.
Sic entropia minimum tenetur cuilibet characteri-by-symboli cum mediocris codeword longitudinis L. Haec est theorema Shannon pro canali libero impedimento.
Nunc considera theorema principalem de limitibus systematum communicationis in quibus notitiae transmittuntur, sicut rivus frenorum independens et strepitus adest. Intelligitur probabilitas rectae transmissionis unius frenum esse P > 1/2, et probabile obolum valorem in transmissione inverti (error occurret) aequalem esse Q = 1 - P. Pro commodo, nos. Ponere errores independentes et probabilitas erroris idem est pro unoquoque misso, id est, "strepitus albus" in canali communicationis.
Viam habemus longam n frenorum in unum nuntium enodatum, est extensio dimensiva unius-biti codicis. Valorem ipsius n postea determinabimus. Vide nuntium constans ex n-bitulis ut punctum in spatio n dimensionis. Cum spatium n dimensionis habebimus - et pro simplicitate ponamus unumquemque nuntium eandem probabilitatem eventus habere - sunt M nuntii possibiles (etiam postea M definietur), ergo probabilitas cuiuslibet nuntii missi est.
(mitto)
Schedule 13.II
Deinde vide rationem facultatis canalis. Sine pergentis singula, capacitas canalis definitur maxima copia notitiarum quae fideliter per alveum communicationem traduci potest, habita ratione usu efficacissimi coding. Nulla argumentatio magis notitias per canalem communicationis quam eius capacitatem traduci potest. Hoc probari potest pro canali symmetrico binario (quo in casu utimur). Facultas canalis, cum frena mittens, designata est
ubi, ut ante, P nul- lus error in aliqua re proba- bit. Cum mitti n frena independens, capacitas canalis a datur
Si ad capacitatem canalis appropinquamus, fere hanc notitiarum quantitatem pro singulis symbolis ai, i = 1, ..., mittendum est, M. Cum probabilitas utriusque symboli eventum ai sit 1/M. et dabimus tibi
cum aliquem ex M aeque probabiles nuntios mittimus ai, habemus
Cum n frena mittuntur, speramus nQ errores occurrere. Re, ad nuntium n-bitrarum constans, errores proxime nQ in nuntio accepto habebimus. Pro magna n, variatio relativa (latitudo variatio = distributio)
distributio errorum in dies magis magisque angusta fiet ut n augeatur.
Itaque ex parte transfusoris nuntium accipio ai ut mittat et trahat sphaeram circum eam radio
quae copia paulo maior est quam numerus errorum Q expectatus e2 (Figura 13.II). Si n satis magna est, tunc probabilis est parva probabilitas punctum bj nuntii apparentis in recipiente latere qui ultra hanc sphaeram extenditur. Investigemus condicionem sicut eam video a parte transmissionis: radios quoslibet habemus a nuntio transmisso ai ad nuntium acceptum bj probabili errore aequalis (vel fere aequalis) ad distributionem normalem, maximam attingentes. in nQ. Pro quavis data e2, tanta est n ut probabilitas punctum bj consequens extra sphaeram meam tam parva sit quam vis.
Nunc eandem partem a parte tua inspiciamus (Fig. 13.III). Ad latus accipientis sphaera S(r) eiusdem radii r circa punctum receptum bj in spatio n dimensionis, ita ut, si nuntius bj receptus intra sphaeram meam sit, nuntius ai a me missus intus tuus sit. sphaera.
Quomodo potest error accidere? Error potest contingere in casibus in tabula infrascriptis.
Figure 13.III
Hic videmus, si in sphaera circa punctum receptum circumaedificata sit saltem unum punctum respondente possibili nuntio misso, errorem in transmissione factam, quia non potes determinare uter horum nuntiorum transmittatur. Missus nuntius error est-liberum solum si punctum correspondens in sphaera sit, et nulla alia puncta possibilia sunt in dato codice qui in eadem sphaera sunt.
Habemus aequationem mathematicam pro probabilitate erroris Pe si nuntius ai missus est
Primum elementum in secundo termino ejicere possumus, eo sumendo pro 1. Inaequabilitatem sic obtinemus
Patet nimirum quanti momenti
ergo
reapply ad ultimum terminum a dextra
Captus n satis magnus, primus terminus sumi potest pro minimo pro concupito, dic minor quam aliquis numerus d. Ideo habemus
Nunc inspiciamus quomodo codicem simplicis substitutionis construere possimus ad encode M epistulas quae ex n frenis constant. Sine notione quam exacte codicem construere (errore-codices corrigendi nondum reperti sunt), Shannon temere elegit cod. Flip nummum pro singulis n frenis in nuntio et processus pro M nuntiis iterare. In summa, nM nummus flips fieri necesse est, sic fieri potest
codicem dictionarii idem proba- nM. Scilicet, temere processum codicis creandi significat possibilitatem duplicatorum esse, necnon puncta codicis quae inter se proxima erunt et ideo errorum probabilium fons erit. Probabile est, si hoc non fit probabilius maius quam quodlibet parvum gradum erroris electi, tunc datum n satis magnum est.
Punctum atrox est Shannon omnes codices possibilis possibilia ad inveniendum mediocris error! Symbolo utemur Av[.] ad significandum valorem mediocris in statuto omnium possibilium temere codicilorum. Per d constantem utique dat constantem, cum in singulis terminis idem sit quodvis in summa;
quod augeri potest (M-I ad M vadit)
Utcunque nuntius, cum per omnes codices transmissos, per omnes valores possibiles descriptam percurrit, mediocris probabilitatis est punctum in sphaera esse proportio voluminis sphaerae ad totum spatium spatii. Volumen sphaerae est
ubi s=Q+e2 <1/2 et ns integer esse debet.
Ultimus terminus dexter est maxima in hac summa. Primum aestimare valorem suum utentem formulam Stirling pro officinarum. Videbimus ergo de decrescentibus coΓ«fficientibus termini ante ipsum, notandum quod coΓ«fficientem hunc auget prout movemur ad sinistram, et sic possumus: (1) Restringere valorem summae ad summam progressionis geometricae cum. hoc coefficiens initialis, (2) progressionem geometricam ab ns terminis ad infinitas terminorum expando, (3) summam progressionis geometricae infinitae (vexillum algebrae nihil significantis) ac demum valorem limitatum (pro satis amplo) obtinet. n);
Vide quomodo entropia H(s) apparuerit in identitate binomia. Nota Taylor seriem expansionis H(s)=H(Q+e2) aestimationem dare, habita ratione primae derivativae tantum et ceteris omnibus neglectis. Nunc ultimam expressionem componamus:
quibus
Totum faciendum eligendum est e2 ita ut e3 < e1, et tunc ultimus terminus pro libitu suo erit parvus, dummodo n satis amplus sit. Quamobrem error mediocris PE obtineri potest tam parva quam exoptata cum capacitate canali ad C. arbitratu prope C.
Si mediocris omnium codicum error satis exiguum habet, unum saltem codicem aptum esse debet, hinc saltem una ratio coding apta est. Hoc magni momenti effectus apud Shannon - theorema Shannon pro canali tumultuoso consecutus est, quamquam notandum est quod multo magis generale hoc probavit quam pro canali symmetrico binario simplici, quo usus sum. In casu generali, calculi mathematici multo magis implicati sunt, sed ideae non ita diversae sunt, ut saepius, exemplo casu particulari, veram theorematis significationem demonstrare potes.
Consequuntur reprehenderit sit amet. Saepe iteravimus: Satis magnum, n. Sed n quam magnum est? Plurimum, amplissimum, si vere vis et prope canalem facultatem esse, et certa translationis notitia recta! Tantae re vera, ut diutissime exspectare debebis, nuntium satis frenorum cumulare ut postea encode. In hoc casu, magnitudo dictionarii incerti codicis simpliciter ingens erit (post omnia, talis dictionarii forma breviori repraesentari non potest quam indicem completum omnium Mn bitarum, non obstante quod n et M permagna sunt)!
Errores correctores codices fugiunt exspectationem longissimi nuntii ac deinde per amplissimos codes descriptam atque decoctionem, quia ipsi codices fugiunt et pro vulgari computatione utuntur. In simplici theoria, tales codices facultatem amittere tendunt ad canalem facultatem accedens, et adhuc humilem errorem conservant, sed cum in codice permultos errores corrigit, bene praestant. In aliis verbis, si capacitatem erroris ad corrigendum canalem collocant, tunc erroris correctionis facultatem maxime adhibeas oportet, i.e., numerus errorum corrigendus est in singulis nuntiis missis, alioquin hanc facultatem perdis.
Eodem tempore theorema supra probatum adhuc non est vanum! Ostendit systemata transmissionis efficientis utendum esse callide technas descriptas ad chordas longissimas. Exemplum est satellites, qui extra planetas exteriores volaverunt; Cum e Terra et Sole recedunt, magis magisque errores in schedula emendare coguntur: alii satellites tabulis solaris utuntur, quae circiter V W praebent, alii fontes nuclei utuntur, qui eandem potestatem praebent. Humilitas potentiae copia, parvitas ferculorum transfusor et modica accipientis acetabula in Tellure magnitudo, immensum spatium, quod signum peregrinandi est - haec omnia requirit usus codes cum altiori gradu erroris correctionis ad aedificandam rationem. efficax ratio communicationis.
Redeamus ad spatium dimensivum, quo usi sumus in probatione supra. In ea tractando ostendimus totum fere volumen sphaerae conligi prope exteriorem superficiem β ita fere certum est, signum missum missum iri circa superficiem sphaerae circa signum recepto, etiam relativo. parvum radii talis sphaerae. Quare mirum non est, signo recepto, correcto nQ errorum arbitrio, signo sine mendis propinquum esse arbitratu. Nexum capacitatis, de quo antea, clavis est ad hoc phaenomenon intelligendum. Nota similes sphaeras pro errore emendando constructas Codices Hammingos inter se non praetexunt. Magnus numerus dimensionum fere orthogonalium in spatio n dimensio ostendit cur sphaerulae M in spatio parvo connivente aptare possimus. Si parvam, levem concomitantiam, quae ad paucitatem tantum errorum per decoctionem ducere potest, permittimus, densam sphaerarum in spatio collocationem consequi possumus. Hamming certo gradu correctionis erroris Shannon - humilis erroris probabilis praestiterit, sed simul ipsam perputo arbitratu servans prope capacitatem canalis communicationis, quod Codices Hamming facere non possunt.
Informatio theoria non docet quomodo systema efficiens designet, sed viam ad systemata communicationis efficientis ostendit. Est instrumentum perutile ad systemata communicationis machinae aedificandae, sed, ut antea dictum est, parum refert ad quomodo homines inter se communicant. Quatenus hereditas biologica est sicut systemata communicationis technica simpliciter ignoratur, ideo non in praesenti apparet quomodo theoria notitiae ad genes pertineant. Non electionem habemus nisi ut experiamur, et si successus machinationem similem huius phaenomeni nobis ostendit, tunc defectus ad alias notabiles naturae informationis rationes ostendet.
Ne nimium digrediamur. Omnes definitiones originalis, plus minusve, essentiales originalium opinionum exprimendas esse vidimus, sed aliquo pravitatis gradu notatae et ideo non teneri. Traditionaliter accipitur quod finaliter definitio utimur actu definit essentiam; sed hoc solum docet quomodo res agatur et nihil significatum nobis significat. Accessus postulationalis, in circulis mathematicis tam valde favens, multum relinquit in usu desiderandum.
Nunc vide exemplum probatorum IQ, ubi definitio est tam circularis quam tibi placet esse, et per consequens errans. Testimonium autem creatum est, quod mensura intelligentiae supponitur. Recognoscitur deinde ut quam maxime consentaneum sit, deinde divulgetur ac simplici methodo calibratur ut mensus "intelligentia" distribuatur (in curva calibratione, utique). Omnes definitiones retractandae sunt, non solum quando primum proponuntur, sed etiam multo post, quando in conclusionibus adhibentur. Quatenus finitiones definitiones aptae sunt ad problema solvendum? Quoties definitiones quae in uno posito fiunt, in diversis uncinis adhibendae sunt? Hoc saepius accidit! Hoc saepius accidit in humanitatibus, quas in vita inevitabiliter offendes.
Ita una ex propositis theoriae huius notificationis, praeter eius utilitatem demonstrandam, te de hoc periculo admonere vel exacte demonstrare debebit quomodo ea utatur ad optatum effectum. Iam pridem notatum est definitiones initiales determinare quid in fine reperias, multo magis quam videtur. Definitiones initiales multum a te operam requirunt, non solum in quibusvis rebus novis, sed etiam in regionibus quibus diu laborasti. Hoc licebit tibi intelligere, quatenus consecuti sint tautologiam consecuti, non quid utiles.
Celebris narratio Edington narrat de hominibus qui rete in mari piscati sunt. Postquam magnitudinem piscium comprehenderunt, statuerunt minimam magnitudinem piscium, quae in mari invenitur! Conclusio instrumenti usus est, non re.
Ut continued ...
Qui vult adiuvare cum translatione, extensione et publicatione libri - scribere personali nuntio vel electronico [Inscriptio protected]
Obiter etiam translationem alterius libri frigidioris induximus - )
Maxime vultus sumus illi qui auxiliatus sum transferendum , (translatio pro X minuta, prima 10 iam capta est)
Contenta libri et capitum translati
- Intro ad Artem Faciendi Scientiam et Engineering: Discendi ad Discendum (28 Martii 1995)
- "Fundationes Digitalis (Discrete) Revolutionis" (30 Martii 1995)
- "Historia Computers - Hardware" (31 Martii 1995)
- "Historia Computers - Software" (April 4, 1995)
- "Historia Computers - Applications" (6 Aprilis 1995)
- "Intellectus artificialis - Pars I" (April 7, 1995)
- "Intellectus artificialis - Pars II" (April 11, 1995)
- "Intellectus artificialis III" (13 Aprilis 1995).
- "N-dimensionale Spatium" (April 14, 1995)
- "Theoria Coding - Repraesentatio Informationis Pars I" (18 Aprilis 1995)
- "Coding Theoria Repraesentatio Informatio, Pars II" (20 Aprilis 1995).
- "Error-Codices corrigendi" (21 Aprilis 1995).
- "Informatio Theoria" (25 Aprilis 1995).
- "Filters digitalis, Pars I" (27 Aprilis 1995).
- "Filters digitalis, Pars II" (28 Aprilis 1995)
- " Filtra digitalis, Pars III " ( Maii 2 )
- "Filters digitalis, Pars IV" (Mai 4, 1995)
- Simulatio, Pars I (die 5 Maii 1995).
- Simulatio, Pars II (die 9 Maii 1995).
- Simulatio, Pars III (die 11 Maii 1995).
- "Fiber Optica" (12 Maii 1995).
- "Instructio computatrum adiuta" (die 16 Maii 1995).
- "Mathematica" (18 Maii 1995)
- Quantum Mechanica (die 19 maii 1995).
- Β« Creatura Β» (23 maii 1995). Translation:
- Β« periti Β» (25 Maii 1995).
- "Data incertissima" (26 Maii 1995).
- "Rationes Engineering" (30 Maii 1995)
- "Id quod metiris" (I iunii 1)
- (June 2, 1995) translate in X minute chunks
- Hamming, "Tu et investigatio tua" (6 iunii 1995).
Qui vult adiuvare cum translatione, extensione et publicatione libri - scribere personali nuntio vel electronico [Inscriptio protected]
Source: www.habr.com