Wir haben es geschafft!
„Ziel dieses Kurses ist es, Sie auf Ihre technische Zukunft vorzubereiten.“
Hallo, Habr. Erinnern Sie sich an den großartigen Artikel (+219, 2588 in Lesezeichen, 429k Lesungen)?
Also, bei Hamming (ja, ja, selbststeuernde und selbstkorrigierende ) gibt es ein ganzes , das auf Grundlage seiner Vorlesungen geschrieben wurde. Wir übersetzen es, denn der Mann hat etwas zu sagen.
Es ist ein Buch nicht nur über IT, sondern ein Buch über die Denkweise unglaublich cooler Menschen. „Es geht nicht nur um positives Denken; es beschreibt die Bedingungen, die die Chancen erhöhen, großartige Arbeit zu leisten.“
Danke an Andrey Pachomov für die Übersetzung.
Die Informationstheorie wurde von C. E. Shannon in den späten 1940er Jahren entwickelt. Die Leitung der Bell Labs drängte darauf, dass er sie „Theorie der Kommunikation“ nennt, da dies ein viel präziserer Titel ist. Aus offensichtlichen Gründen hat der Titel „Informationstheorie“ jedoch einen erheblich größeren Einfluss auf die Öffentlichkeit, weshalb Shannon ihn gewählt hat und er uns bis heute bekannt ist. Der Titel selbst impliziert, dass die Theorie mit Informationen zu tun hat, was sie wichtig macht, da wir immer tiefer in das Informationszeitalter eindringen. In diesem Kapitel werde ich einige grundlegende Erkenntnisse aus dieser Theorie ansprechen, nicht strenge, sondern eher intuitiv verständliche Beweise für einige spezielle Aspekte dieser Theorie geben, damit Sie verstehen, was die „Informationstheorie“ tatsächlich ist, wo Sie sie anwenden können und wo nicht.
Zunächst einmal, was ist „Information“? Shannon identifiziert Informationen mit Ungewissheit. Er wählte den negativen Logarithmus der Wahrscheinlichkeit eines Ereignisses als quantitative Maß für die Informationen, die Sie erhalten, wenn ein Ereignis mit der Wahrscheinlichkeit p eintritt. Zum Beispiel, wenn ich Ihnen sage, dass in Los Angeles nebliges Wetter herrscht, dann ist p nahe bei 1, was uns im Wesentlichen nicht viel Information gibt. Aber wenn ich sage, dass im Juni in Monterey Regen fällt, dann enthält diese Mitteilung Ungewissheit, und sie wird mehr Informationen enthalten. Ein sicheres Ereignis enthält keine Informationen, da log 1 = 0.
Lassen Sie uns näher darauf eingehen. Shannon war der Meinung, dass ein quantitatives Maß für Information eine kontinuierliche Funktion von der Wahrscheinlichkeit eines Ereignisses p sein sollte und für unabhängige Ereignisse additiv sein müsste – die Menge an Informationen, die aus der Durchführung zweier unabhängiger Ereignisse gewonnen wird, sollte der Menge an Informationen entsprechen, die aus der Durchführung eines gemeinsamen Ereignisses resultiert. Zum Beispiel werden das Ergebnis eines Würfelwurfs und eines Münzwurfs normalerweise als unabhängige Ereignisse betrachtet. Übersetzen wir das Gesagte in die Sprache der Mathematik. Wenn I(p) die Menge an Informationen ist, die in einem Ereignis mit Wahrscheinlichkeit p enthalten ist, dann erhalten wir für ein gemeinsames Ereignis, das aus zwei unabhängigen Ereignissen x mit Wahrscheinlichkeit p1 und y mit Wahrscheinlichkeit p2 besteht,
(x und y sind unabhängige Ereignisse)
Dies ist die funktionale Gleichung von Cauchy, die für alle p1 und p2 gültig ist. Zur Lösung dieser funktionalen Gleichung nehmen wir an, dass
p1 = p2 = p,
das ergibt
Wenn p1 = p2 und p2 = p, dann
und so weiter. Wenn wir diesen Prozess mit der Standardmethode für Exponenten erweitern, gilt für alle rationalen Zahlen m/n Folgendes:
Aus der angenommenen Kontinuität des Informationsmaßes folgt, dass die logarithmische Funktion die einzige kontinuierliche Lösung der funktionalen Gleichung von Cauchy ist.
In der Informationstheorie wird üblicherweise die Basis des Logarithmus auf 2 gesetzt, weshalb eine binäre Entscheidung genau 1 Bit Information enthält. Daher wird Information nach der Formel gemessen:
Lassen Sie uns innehalten und klären, was oben passiert ist. Zunächst einmal haben wir die Definition des Begriffs „Information“ nicht gegeben, wir haben lediglich die Formel für ihr quantitatives Maß definiert.
Zweitens hängt dieses Maß von der Unsicherheit ab, und obwohl es ausreichend geeignet für Maschinen ist – beispielsweise für Telefonanlagen, Radio, Fernsehen, Computer usw. – spiegelt es nicht die normale menschliche Beziehung zur Information wider.
Drittens ist dies ein relatives Maß, es hängt vom aktuellen Zustand Ihres Wissens ab. Wenn Sie sich eine Reihe von „Zufallszahlen“ aus einem Zufallszahlengenerator ansehen, nehmen Sie an, dass jede folgende Zahl ungewiss ist, aber wenn Sie die Formel zur Berechnung der „Zufallszahlen“ kennen, wird die nächste Zahl bekannt sein und wird daher keine Information enthalten.
Somit passt die von Shannon gegebene Definition von Information in vielen Fällen für Maschinen, scheint aber nicht mit dem menschlichen Verständnis dieses Begriffs übereinzustimmen. Aus diesem Grund hätte die „Informationstheorie“ eigentlich „Kommunikationstheorie“ genannt werden sollen. Dennoch ist es bereits zu spät, um die Definitionen zu ändern (die dazu beigetragen haben, dass die Theorie ihre ursprüngliche Popularität erlangte und die immer noch dazu führen, dass Menschen denken, diese Theorie befasse sich mit „Information“), weshalb wir uns damit abfinden müssen, wobei Sie klar verstehen sollten, wie weit die von Shannon gegebene Definition von ihrem gebräuchlichen Sinn entfernt ist. Shannons Information befasst sich mit etwas völlig anderem, und zwar mit Ungewissheit.
Darüber sollten Sie nachdenken, wenn Sie eine Terminologie vorschlagen. Inwieweit stimmt die vorgeschlagene Definition, beispielsweise die von Shannon gegebene Definition von Information, mit Ihrer ursprünglichen Idee überein und wie unterscheidet sie sich? Es gibt fast keinen Begriff, der Ihre ursprüngliche Sichtweise des Konzepts exakt widerspiegelt, aber letztendlich spiegelt die verwendete Terminologie den Sinn des Konzepts wider, weshalb die Formalisierung von etwas durch klare Definitionen immer einen gewissen Lärm verursacht.
Betrachten wir ein System, dessen Alphabet aus Symbolen q mit Wahrscheinlichkeiten pi besteht. In diesem Fall die durchschnittliche Information im System (ihr Erwartungswert) beträgt:
Dies wird als Entropie des Systems mit der Wahrscheinlichkeitsverteilung {pi} bezeichnet. Wir verwenden den Begriff „Entropie“, weil dieselbe mathematische Form auch in der Thermodynamik und statistischen Mechanik vorkommt. Aus diesem Grund erzeugt der Begriff „Entropie“ eine gewisse Aura der Bedeutung, die letztendlich nicht gerechtfertigt ist. Die gleiche mathematische Form der Aufzeichnung impliziert nicht die gleiche Interpretation der Symbole!
Die Entropie der Wahrscheinlichkeitsverteilung spielt eine zentrale Rolle in der Codierungstheorie. Die Gibbs-Ungleichung für zwei verschiedene Wahrscheinlichkeitsverteilungen pi und qi ist eine der wichtigen Folgerungen dieser Theorie. Daher müssen wir beweisen, dass
Der Beweis stützt sich auf die offensichtliche Grafik, Abb. 13.I, die zeigt, dass
und die Gleichheit nur für x = 1 erreicht wird. Wenden wir die Ungleichung auf jedes Glied der Summe aus der linken Seite an:
Wenn das Alphabet des Kommunikationssystems aus q Symbolen besteht, dann nehmen wir die Wahrscheinlichkeit der Übertragung jedes Symbols qi = 1/q an und setzen q ein, um aus der Gibbs-Ungleichung zu erhalten.
Abbildung 13.I
Das bedeutet, dass wenn die Wahrscheinlichkeit der Übertragung aller q Symbole gleich und 1/q beträgt, die maximale Entropie ln q beträgt; andernfalls gilt die Ungleichung.
Im Fall eines eindeutig decodierbaren Codes haben wir die Kraft-Ungleichung.
Jetzt, wenn wir die Pseudowahrscheinlichkeiten definieren,
wo natürlich 
= 1, was aus der Gibbs-Ungleichung folgt,
und etwas Algebra anwenden (denken Sie daran, dass K ≤ 1 ist, also können wir das logarithmische Glied weglassen und möglicherweise die Ungleichung später verstärken), erhalten wir
wobei L die durchschnittliche Länge des Codes ist.
So ist die Entropie die Mindestgrenze für jeden zeichenbasierten Code mit einer durchschnittlichen Codewortlänge L. Dies ist der Shannon-Satz für einen störungsfreien Kanal.
Nun betrachten wir den Hauptsatz über die Einschränkungen von Kommunikationssystemen, in denen Informationen in Form eines Flusses unabhängiger Bits übertragen werden und Rauschen vorhanden ist. Es wird unterstellt, dass die Wahrscheinlichkeit der korrekten Übertragung eines Bits P > 1/2 beträgt und die Wahrscheinlichkeit, dass der Wert des Bits bei der Übertragung invertiert wird (ein Fehler auftritt), Q = 1 - P beträgt. Zur Vereinfachung nehmen wir an, dass die Fehler unabhängig sind und die Fehlerwahrscheinlichkeit für jedes gesendete Bit gleich ist – das heißt, der Kommunikationskanal ist von "weißem Rauschen" betroffen.
Wir haben einen langen Fluss aus n Bits, die in eine Nachricht codiert sind – n-dimensionale Erweiterung eines Ein-Bit-Codes. Den Wert von n werden wir später definieren. Betrachten wir die Nachricht, die aus n Bits besteht, als einen Punkt im n-dimensionalen Raum. Da wir einen n-dimensionalen Raum haben – und der Einfachheit halber annehmen, dass jede Nachricht die gleiche Wahrscheinlichkeit hat, aufzutreten – gibt es M mögliche Nachrichten (M wird ebenfalls später definiert), folglich beträgt die Wahrscheinlichkeit jeder gesendeten Nachricht
(Sender)
Grafik 13.II
Betrachten wir als Nächstes die Idee der Kanalbandbreite. Ohne ins Detail zu gehen, wird die Kanalbandbreite als das maximale Volumen an Informationen definiert, das zuverlässig über einen Kommunikationskanal übertragen werden kann, wobei die maximal effektive Kodierung berücksichtigt wird. Es gibt keine Argumente dafür, dass mehr Informationen über den Kommunikationskanal übertragen werden können, als seine Kapazität. Dies lässt sich für einen binären symmetrischen Kanal (den wir in unserem Fall verwenden) beweisen. Die Kanalbandbreite bei bitweiser Übertragung wird definiert als
wobei, wie bereits erwähnt, P die Wahrscheinlichkeit darstellt, dass in einem gesendeten Bit kein Fehler auftritt. Bei der Übertragung von n unabhängigen Bits wird die Kanalbandbreite wie folgt definiert:
Wenn wir uns der Kanalbandbreite nähern, müssen wir fast das gleiche Volumen an Informationen für jedes der Symbole ai, i = 1, …, M, senden. Da die Wahrscheinlichkeit des Auftretens jedes Symbols ai gleich 1 / M ist, erhalten wir
wenn wir eines der M gleichwahrscheinlichen Nachrichten ai senden, haben wir
Bei der Übertragung von n Bits erwarten wir das Auftreten von nQ Fehlern. In der Praxis haben wir für eine Nachricht aus n Bits ungefähr nQ Fehler in der empfangenen Nachricht. Bei großen n wird die relative Variation (Variation = Breite der Verteilung,)
der Anzahl der Fehlerverteilung wird mit zunehmendem n immer enger.
So nehme ich als Sender die Nachricht ai zur Übertragung und ziehe einen Bereich um sie mit einem Radius von
, der um eine Größe gleich e2 größer ist als die erwartete Anzahl der Fehler Q, (Abbildung 13.II). Wenn n groß genug ist, gibt es eine beliebig kleine Wahrscheinlichkeit, dass der Punkt der Nachricht bj auf der Empfängerseite außerhalb dieses Bereichs liegt. Lassen Sie uns die Situation skizzieren, wie ich sie aus der Perspektive des Senders sehe: Wir haben beliebige Radien von der gesendeten Nachricht ai zur empfangenen Nachricht bj mit einer Fehlerwahrscheinlichkeit, die (oder fast gleich) der Normalverteilung entspricht, die ein Maximum bei nQ erreicht. Für jeden gegebenen e2 gibt es ein n, das so groß ist, dass die Wahrscheinlichkeit, dass der empfangene Punkt bj, der außerhalb meines Bereichs liegt, so gering ist, wie Sie es wünschen.
Betrachten wir nun dasselbe Szenario von Ihrer Seite (Abb. 13.III). Auf der Empfängerseite gibt es eine Sphäre S(r) mit dem gleichen Radius r um den empfangenen Punkt bj im n-dimensionalen Raum, so dass, wenn die empfangene Nachricht bj innerhalb meiner Sphäre liegt, dann die von mir gesendete Nachricht ai innerhalb Ihrer Sphäre liegt.
Wie kann ein Fehler entstehen? Ein Fehler kann in den unten beschriebenen Fällen auftreten:
Abbildung 13.III
Hier sehen wir, dass, wenn es in der um den empfangenen Punkt gebauten Sphäre noch mindestens einen weiteren Punkt gibt, der einer möglichen gesendeten unkodierten Nachricht entspricht, dann ist ein Fehler bei der Übertragung aufgetreten, da Sie nicht bestimmen können, welche dieser Nachrichten tatsächlich gesendet wurde. Die gesendete Nachricht enthält keinen Fehler, wenn der ihr entsprechende Punkt innerhalb der Sphäre liegt und es keine anderen Punkte gibt, die in diesem Code möglich sind und sich in derselben Sphäre befinden.
Wir haben eine mathematische Gleichung für die Fehlerwahrscheinlichkeit Re, wenn die Nachricht ai gesendet wurde.
Wir können den ersten Faktor im zweiten Glied als 1 annehmen. Damit erhalten wir eine Ungleichung:
Offensichtlich gilt,
daher
wenden wir es erneut auf den letzten Term von rechts an:
Wenn wir n groß genug annehmen, kann der erste Term beliebig klein angenommen werden, sagen wir, kleiner als eine gewisse Zahl d. Daher gilt:
Betrachten wir jetzt, wie man einen einfachen Ersetzungscode zum Kodieren von M Nachrichten, die aus n Bits bestehen, erstellen kann. Ohne eine Vorstellung davon, wie man den Code erstellen kann (Fehlerkorrekturcodes wurden noch nicht erfunden), wählte Shannon die zufällige Kodierung. Werfen Sie für jedes der n Bits in der Nachricht eine Münze und wiederholen Sie den Prozess für M Nachrichten. Insgesamt sind nM Münzwürfe erforderlich, sodass möglich sind:
Kodierungswörter, die mit der gleichen Wahrscheinlichkeit von ½nM auftreten. Natürlich bedeutet der zufällige Prozess der Erstellung eines Codebuchs, dass die Wahrscheinlichkeit besteht, dass Duplikate auftreten sowie Codepunkte, die nah beieinander liegen und daher wahrscheinlich Fehlerquellen sein werden. Es muss bewiesen werden, dass, wenn dies nicht mit einer höheren Wahrscheinlichkeit geschieht als einem beliebig kleinen gewählten Fehlerniveau, das gegebene n groß genug ist.
Der entscheidende Moment liegt darin, dass Shannon alle möglichen Codebücher gemittelt hat, um den mittleren Fehler zu finden! Wir werden das Zeichen Av [.] verwenden, um den Durchschnittswert über die Vielzahl aller möglichen zufälligen Codewörter zu kennzeichnen. Die Mittelung über die Konstante d ergibt natürlich eine Konstante, da bei der Mittelung jedes Element mit jedem anderen Element in der Summe übereinstimmt.
die erhöht werden kann (M–1 wird zu M)
Für jede konkrete Nachricht, wobei alle Codebücher gemittelt werden, durchläuft die Codierung alle möglichen Werte, sodass die durchschnittliche Wahrscheinlichkeit, dass der Punkt innerhalb der Kugel liegt, das Verhältnis des Volumens der Kugel zum gesamten Volumen des Raumes ist. Das Volumen der Kugel dabei
wobei s=Q+e2 <1/2 und ns eine ganze Zahl sein muss.
Das letzte Glied ganz rechts ist das größte in dieser Summe. Zuerst bewerten wir seinen Wert anhand der Stirling-Formel für Fakultäten. Dann betrachten wir den Reduktionskoeffizienten des vorhergehenden Gliedes, beachten Sie, dass dieser Koeffizient beim Verschieben nach links zunimmt, und daher können wir: (1) den Wert der Summe durch die Summe einer geometrischen Reihe mit diesem Anfangskoeffizienten beschränken, (2) die geometrische Reihe von ns Gliedern auf eine unendliche Anzahl von Gliedern erweitern, (3) die Summe der unendlichen geometrischen Reihe berechnen (Standardalgebra, nichts Wesentliches) und schließlich den Grenzwert erhalten (für ausreichend großes n):
Beachten Sie, wie die Entropie H(s) im binomialen Identitätszusammenhang auftaucht. Beachten Sie, dass die Taylor-Reihenentwicklung H(s)=H(Q+e2) eine Schätzung liefert, die nur unter Berücksichtigung der ersten Ableitung und unter Vernachlässigung aller anderen gewonnen wurde. Jetzt versammeln wir den endgültigen Ausdruck:
wo
Alles, was wir tun müssen, ist e2 so zu wählen, dass e3 < e1, und dann wird das letzte Glied beliebig klein, bei ausreichend großem n. Folglich kann der mittlere Fehler PE beliebig klein gemacht werden, wenn die Kanalbandbreite beliebig nahe an C heranreicht.
Wenn der Mittelwert über alle Codes einen ausreichend kleinen Fehler hat, sollte mindestens ein Code geeignet sein; folglich gibt es mindestens ein geeignetes Kodierungssystem. Dies ist ein wichtiges Ergebnis, das Shannon erzielt hat – die „Shannon-Theorem für Kanäle mit Störungen“, obwohl angemerkt werden sollte, dass er dies für einen viel allgemeineren Fall bewiesen hat als für den einfachen binären symmetrischen Kanal, den ich verwendet habe. Für den allgemeinen Fall sind die mathematischen Ableitungen viel komplizierter, aber die Ideen sind nicht so unterschiedlich, weshalb sehr oft am Beispiel des speziellen Falls der wahre Sinn des Theorems offenbart werden kann.
Lassen Sie uns das Ergebnis kritisieren. Wir haben immer wieder gesagt: „Bei ausreichend großen n“. Aber wie groß sollte n sein? Sehr, sehr groß, wenn Sie tatsächlich gleichzeitig nahe an der Kanalbandbreite und sicher in der Datenübertragung sein möchten! So groß, dass Sie tatsächlich sehr lange warten müssen, um eine Nachricht aus so vielen Bits anzusammeln, um sie anschließend zu kodieren. In diesem Fall wird die Größe des Wörterbuchs des Zufallscodes einfach riesig sein (dass ein solches Wörterbuch nicht in kürzerer Form als in einer vollständigen Liste aller Mn Bits dargestellt werden kann, wobei n und M sehr groß sind)!
Fehlerkorrekturcodes vermeiden es, auf eine sehr lange Nachricht zu warten, mit ihrer anschließenden Kodierung und Dekodierung über sehr große Codebücher, weil sie Codes als solche vermeiden und stattdessen gewöhnliche Berechnungen verwenden. In der einfachen Theorie verlieren solche Codes in der Regel die Fähigkeit, der Kanalbandbreite nahe zu kommen und gleichzeitig eine ausreichend niedrige Fehlerquote beizubehalten, aber wenn der Code eine große Anzahl von Fehlern korrigiert, zeigen sie gute Ergebnisse. Mit anderen Worten, wenn Sie eine bestimmte Kanal-Kapazität für die Fehlerkorrektur einplanen, müssen Sie die Möglichkeit zur Fehlerkorrektur die meiste Zeit nutzen, d. h. in jeder gesendeten Nachricht müssen eine große Anzahl von Fehlern korrigiert werden, andernfalls verschwenden Sie diese Kapazität.
Die oben bewiesene Theorem ist dennoch nicht belanglos! Sie zeigt, dass effektive Übertragungssysteme durchdachte Kodierungsschemata für sehr lange Bitfolgen verwenden müssen. Ein Beispiel sind Satelliten, die über die äußeren Planeten hinaus geflogen sind; während sie sich von der Erde und der Sonne entfernen, sind sie gezwungen, zunehmend mehr Fehler in ihrem Datenblock zu korrigieren: Einige Satelliten nutzen Solarpanels, die etwa 5 W liefern, während andere atomare Energiequellen verwenden, die eine ähnliche Leistung bieten. Die schwache Leistung der Stromquelle, die kleinen Größen der Übertragungsscheiben und die begrenzten Größen der Empfangsscheiben auf der Erde sowie die enorme Distanz, die das Signal zurücklegen muss – all dies erfordert die Anwendung von Fehlerkorrekturcodes mit hohem Niveau, um ein effektives Kommunikationssystem aufzubauen.
Kehren wir zum n-dimensionalen Raum zurück, den wir in dem obigen Beweis verwendet haben. Bei der Diskussion darüber haben wir gezeigt, dass fast das gesamte Volumen der Kugel sich um die äußere Oberfläche konzentriert; somit ist es nahezu sicher, dass das gesendete Signal an der Oberfläche der Kugel liegt, die um das empfangene Signal herum aufgebaut ist, selbst bei relativ kleinem Radius dieser Kugel. Daher ist es nicht verwunderlich, dass das empfangene Signal nach der Korrektur beliebig vieler Fehler, nQ, beliebig nah an dem fehlerfreien Signal liegt. Die Kanal-Kapazität, die wir zuvor betrachtet haben, ist der Schlüssel zum Verständnis dieses Phänomens. Beachten Sie, dass solche Kugeln, die für Hamming-Codes mit Fehlerkorrektur gebaut wurden, sich nicht überlappen. Eine große Anzahl praktisch orthogonaler Dimensionen im n-dimensionalen Raum zeigt, warum wir M Kugeln im Raum mit geringfügigen Überlappungen unterbringen können. Bei einer geringen, beliebig kleinen Überlappung, die nur zu einer geringen Anzahl von Fehlern bei der Dekodierung führen kann, lässt sich eine dichte Anordnung von Kugeln im Raum erzielen. Hamming gewährte ein gewisses Maß an Fehlerkorrektur, Shannon eine geringe Fehlerwahrscheinlichkeit, wobei die tatsächliche Übertragungsrate dabei jedoch beliebig nah an der Kanal-Kapazität bleibt, was Hamming-Codes nicht erreichen können.
Die Informationstheorie gibt keine direkte Anleitung zur Gestaltung effektiver Systeme, sondern weist den Weg zu effizienten Kommunikationssystemen. Sie ist ein wertvolles Werkzeug für den Aufbau von Kommunikationssystemen zwischen Maschinen, hat jedoch, wie bereits erwähnt, wenig mit der Art und Weise zu tun, wie Menschen Informationen miteinander austauschen. Das Ausmaß, in dem biologische Vererbung technischen Kommunikationssystemen ähnelt, ist schlichtweg unbekannt, daher ist es im Moment unklar, inwieweit die Informationstheorie auf Gene anwendbar ist. Uns bleibt nichts anderes übrig, als es einfach zu versuchen, und wenn der Erfolg uns einen maschinenähnlichen Charakter dieses Phänomens zeigt, wird das Scheitern auf andere wesentliche Aspekte der Natur der Information hinweisen.
Lassen Sie uns nicht zu sehr abschweifen. Wir haben gesehen, dass alle ursprünglichen Definitionen, mehr oder weniger, das Wesen unserer grundlegenden Überzeugungen ausdrücken sollten, aber sie sind mit einem gewissen Grad an Verzerrung behaftet und daher nicht anwendbar. Traditionell wird angenommen, dass letztendlich die Definition, die wir verwenden, tatsächlich das Wesen bestimmt; aber dies weist uns lediglich darauf hin, wie wir Dinge verarbeiten, und trägt uns in keiner Weise Sinn. Der postulierende Ansatz, der in mathematischen Kreisen so stark befürwortet wird, lässt in der Praxis zu wünschen übrig.
Jetzt betrachten wir ein Beispiel für IQ-Tests, bei dem die Definition so zirkulär ist, wie Sie möchten, und somit zu Verwirrung führt. Ein Test wird erstellt, der angeblich dazu dienen soll, Intelligenz zu messen. Danach wird er überarbeitet, um ihn so konsistent wie möglich zu machen, und dann wird er veröffentlicht und auf einfache Weise kalibriert, sodass die gemessene „Intelligenz“ normal verteilt ist (natürlich gemäß der Kalibrierungskurve). Alle Definitionen müssen überprüft werden, nicht nur, wenn sie zum ersten Mal vorgeschlagen werden, sondern auch viel später, wenn sie in gezogenen Schlussfolgerungen verwendet werden. Inwieweit sind die Grenzen der Definitionen für die zu lösende Aufgabe geeignet? Wie oft werden Definitionen, die unter bestimmten Bedingungen gegeben werden, in ausreichend unterschiedlichem Kontext angewendet? Das kommt ziemlich häufig vor! In den Geisteswissenschaften, mit denen Sie in Ihrem Leben unweigerlich konfrontiert werden, passiert dies öfter.
Daher war eines der Ziele dieser Präsentation zur Informationstheorie, neben der Demonstration ihrer Nützlichkeit, Sie vor dieser Gefahr zu warnen oder zu zeigen, wie sie genau eingesetzt werden kann, um das gewünschte Ergebnis zu erzielen. Es wurde schon lange festgestellt, dass die anfänglichen Definitionen in viel größerem Maße bestimmen, was Sie letztendlich finden, als es scheint. Anfängliche Definitionen erfordern von Ihnen große Aufmerksamkeit, nicht nur in jeder neuen Situation, sondern auch in Bereichen, in denen Sie schon lange tätig sind. Dies wird Ihnen helfen zu verstehen, inwiefern die erzielten Ergebnisse eine Tautologie und nicht etwas Nützliches darstellen.
Die bekannte Geschichte von Eddington erzählt von Menschen, die mit einem Netz im Meer Fische fingen. Nachdem sie die Größe der gefangenen Fische untersucht hatten, bestimmten sie die Mindestgröße des Fisches, der im Meer lebt! Ihre Schlussfolgerung war durch das verwendete Werkzeug bedingt, nicht durch die Realität.
Fortsetzung folgt…
Wer bei der Übersetzung, dem Satzbau und der Veröffentlichung eines Buches helfen möchte, kann sich per persönlicher Nachricht oder an die E-Mail magisterludi2016@yandex.ru wenden.
Übrigens haben wir auch die Übersetzung eines weiteren großartigen Buches gestartet — )
Besonders suchen wir nach denjenigen, die helfen, . (wir übersetzen in 10-Minuten-Abschnitten, die ersten 20 haben wir bereits genommen)
Inhalt des Buches und übersetzte Kapitel
- Einführung in die Kunst der Wissenschaft und Technik: Lernen zu lernen (28. März 1995)
- «Grundlagen der digitalen (diskreten) Revolution» (30. März 1995)
- «Geschichte der Computer — Hardware» (31. März 1995)
- «Geschichte der Computer — Software» (4. April 1995)
- «Geschichte der Computer — Anwendungen» (6. April 1995)
- «Künstliche Intelligenz — Teil I» (7. April 1995)
- «Künstliche Intelligenz — Teil II» (11. April 1995)
- «Künstliche Intelligenz III» (13. April 1995)
- «n-dimensionaler Raum» (14. April 1995)
- «Kodierungstheorie — Die Darstellung von Informationen, Teil I» (18. April 1995)
- «Kodierungstheorie — Die Darstellung von Informationen, Teil II» (20. April 1995)
- «Fehlerkorrekturcodes» (21. April 1995)
- «Informationstheorie» (25. April 1995)
- «Digitale Filter, Teil I» (27. April 1995)
- «Digitale Filter, Teil II» (28. April 1995)
- «Digitale Filter, Teil III» (2. Mai 1995)
- «Digitale Filter, Teil IV» (4. Mai 1995)
- «Simulation, Teil I» (5. Mai 1995)
- «Simulation, Teil II» (9. Mai 1995)
- «Simulation, Teil III» (11. Mai 1995)
- «Faseroptik» (12. Mai 1995)
- «Computerunterstützter Unterricht» (16. Mai 1995)
- «Mathematik» (18. Mai 1995)
- «Quantenmechanik» (19. Mai 1995)
- «Kreativität» (23. Mai 1995). Übersetzung:
- «Experten» (25. Mai 1995)
- «Zuverlässige Daten» (26. Mai 1995)
- «Systemtechnik» (30. Mai 1995)
- «Was Sie messen, das bekommen Sie» (1. Juni 1995)
- (2. Juni 1995) wir übersetzen in 10-minütigen Abschnitten
- Hamming, «Sie und Ihre Forschung» (6. Juni 1995).
Wer bei der Übersetzung, dem Satzbau und der Veröffentlichung eines Buches helfen möchte, kann sich per persönlicher Nachricht oder an die E-Mail magisterludi2016@yandex.ru wenden.
Quelle: habr.com
