Richard Hamming: Hoofdstuk 13. Informatietheorie

We hebben het gedaan!

“Het doel van deze cursus is om je voor te bereiden op je technische toekomst.”

Richard Hamming: Hoofdstuk 13. InformatietheorieHallo, Habr. Denk aan het geweldige artikel "Jij en je werk" (+219, 2588 bladwijzers, 429 keer gelezen)?

Dus Hamming (ja, ja, zelfcontrolerend en zelfcorrigerend Hamming-codes) er is een geheel книга, geschreven op basis van zijn lezingen. Wij vertalen het, omdat de man zijn mening uitspreekt.

Dit is een boek dat niet alleen over IT gaat, het is een boek over de denkstijl van ongelooflijk coole mensen. “Het is niet alleen een boost van positief denken; het beschrijft de omstandigheden die de kansen op geweldig werk vergroten.”

Met dank aan Andrej Pakhomov voor de vertaling.

Informatietheorie werd eind jaren veertig ontwikkeld door C.E. Shannon. Het management van Bell Labs stond erop dat hij het 'Communicatietheorie' noemde, omdat... dit is een veel nauwkeurigere naam. Om voor de hand liggende redenen heeft de naam 'Informatietheorie' een veel grotere impact op het publiek, en daarom heeft Shannon ervoor gekozen, en het is de naam die we tot op de dag van vandaag kennen. De naam zelf suggereert dat de theorie over informatie gaat, wat het belangrijk maakt naarmate we dieper het informatietijdperk ingaan. In dit hoofdstuk zal ik een aantal hoofdconclusies uit deze theorie bespreken. Ik zal geen strikt, maar eerder intuïtief bewijs leveren van enkele individuele bepalingen van deze theorie, zodat je begrijpt wat ‘informatietheorie’ eigenlijk is en waar je het kunt toepassen. en waar niet.

Allereerst: wat is ‘informatie’? Shannon stelt informatie gelijk aan onzekerheid. Hij koos de negatieve logaritme van de waarschijnlijkheid van een gebeurtenis als kwantitatieve maatstaf voor de informatie die je ontvangt wanneer een gebeurtenis met waarschijnlijkheid p plaatsvindt. Als ik je bijvoorbeeld vertel dat het weer in Los Angeles mistig is, dan ligt p dicht bij 1, wat ons eigenlijk niet veel informatie geeft. Maar als ik zeg dat het in juni in Monterey regent, zal er onzekerheid in het bericht zitten en zal het meer informatie bevatten. Een betrouwbare gebeurtenis bevat geen informatie, aangezien log 1 = 0.

Laten we dit in meer detail bekijken. Shannon was van mening dat de kwantitatieve maatstaf voor informatie een continue functie zou moeten zijn van de waarschijnlijkheid van een gebeurtenis p, en dat deze voor onafhankelijke gebeurtenissen additief zou moeten zijn: de hoeveelheid informatie die wordt verkregen als gevolg van het optreden van twee onafhankelijke gebeurtenissen moet gelijk zijn aan de hoeveelheid informatie die wordt verkregen als gevolg van het optreden van twee onafhankelijke gebeurtenissen. hoeveelheid informatie die is verkregen als gevolg van het plaatsvinden van een gezamenlijke gebeurtenis. De uitkomst van een dobbelsteenworp en een muntworp worden bijvoorbeeld meestal als onafhankelijke gebeurtenissen behandeld. Laten we het bovenstaande vertalen in de taal van de wiskunde. Als I (p) de hoeveelheid informatie is die vervat zit in een gebeurtenis met waarschijnlijkheid p, dan verkrijgen we voor een gezamenlijke gebeurtenis bestaande uit twee onafhankelijke gebeurtenissen x met waarschijnlijkheid p1 en y met waarschijnlijkheid p2

Richard Hamming: Hoofdstuk 13. Informatietheorie
(x en y zijn onafhankelijke gebeurtenissen)

Dit is de functionele Cauchy-vergelijking, geldig voor alle p1 en p2. Neem dat aan om deze functionele vergelijking op te lossen

p1 = p2 = p,

dit geeft

Richard Hamming: Hoofdstuk 13. Informatietheorie

Als p1 = p2 en p2 = p dan

Richard Hamming: Hoofdstuk 13. Informatietheorie

enz. Als we dit proces uitbreiden met behulp van de standaardmethode voor exponentiële getallen, geldt voor alle rationale getallen m/n het volgende

Richard Hamming: Hoofdstuk 13. Informatietheorie

Uit de veronderstelde continuïteit van de informatiemaatstaf volgt dat de logaritmische functie de enige continue oplossing is voor de functionele Cauchy-vergelijking.

In de informatietheorie is het gebruikelijk om de logaritmebasis op 2 te stellen, dus een binaire keuze bevat precies 1 bit aan informatie. Daarom wordt informatie gemeten met de formule

Richard Hamming: Hoofdstuk 13. Informatietheorie

Laten we even pauzeren en begrijpen wat hierboven is gebeurd. Allereerst hebben we het concept ‘informatie’ niet gedefinieerd; we hebben eenvoudigweg de formule gedefinieerd voor de kwantitatieve maatstaf ervan.

Ten tweede is deze maatregel onderhevig aan onzekerheid, en hoewel hij redelijk geschikt is voor machines – bijvoorbeeld telefoonsystemen, radio, televisie, computers, enz. – weerspiegelt hij niet de normale menselijke houding ten opzichte van informatie.

Ten derde is dit een relatieve maatstaf, het hangt af van de huidige stand van uw kennis. Als je naar een stroom ‘willekeurige getallen’ van een generator voor willekeurige getallen kijkt, ga je ervan uit dat elk volgend getal onzeker is, maar als je de formule kent voor het berekenen van ‘willekeurige getallen’, zal het volgende getal bekend zijn, en daarom niet. informatie bevatten.

Shannons definitie van informatie is dus in veel gevallen geschikt voor machines, maar lijkt niet te passen bij het menselijke begrip van het woord. Het is om deze reden dat de ‘Informatietheorie’ ‘Communicatietheorie’ had moeten heten. Het is echter te laat om de definities te veranderen (die de theorie haar aanvankelijke populariteit gaven, en die mensen nog steeds doen denken dat deze theorie over “informatie” gaat), dus we moeten ermee leven, maar tegelijkertijd moet je duidelijk begrijpen hoe ver Shannons definitie van informatie afwijkt van de algemeen gebruikte betekenis. De informatie van Shannon gaat over iets heel anders, namelijk onzekerheid.

Hier is iets om over na te denken als u terminologie voorstelt. Hoe komt een voorgestelde definitie, zoals Shannons definitie van informatie, overeen met uw oorspronkelijke idee en hoe anders is deze? Er is bijna geen term die precies jouw eerdere visie op een concept weerspiegelt, maar uiteindelijk is het de gebruikte terminologie die de betekenis van het concept weerspiegelt, dus het formaliseren van iets door middel van duidelijke definities brengt altijd wat ruis met zich mee.

Beschouw een systeem waarvan het alfabet bestaat uit symbolen q met waarschijnlijkheden pi. In dit geval gemiddelde hoeveelheid informatie in het systeem (de verwachte waarde) is gelijk aan:

Richard Hamming: Hoofdstuk 13. Informatietheorie

Dit wordt de entropie van het systeem met waarschijnlijkheidsverdeling {pi} genoemd. We gebruiken de term 'entropie' omdat dezelfde wiskundige vorm voorkomt in de thermodynamica en de statistische mechanica. Dit is de reden waarom de term ‘entropie’ een bepaalde aura van belang om zich heen creëert, wat uiteindelijk niet gerechtvaardigd is. Dezelfde wiskundige notatievorm impliceert niet dezelfde interpretatie van symbolen!

De entropie van de waarschijnlijkheidsverdeling speelt een belangrijke rol in de coderingstheorie. De Gibbs-ongelijkheid voor twee verschillende kansverdelingen pi en qi is een van de belangrijke gevolgen van deze theorie. Dat moeten we dus bewijzen

Richard Hamming: Hoofdstuk 13. Informatietheorie

Het bewijs is gebaseerd op een voor de hand liggende grafiek, Fig. 13.I, waaruit dat blijkt

Richard Hamming: Hoofdstuk 13. Informatietheorie

en gelijkheid wordt alleen bereikt als x = 1. Laten we de ongelijkheid toepassen op elke term van de som vanaf de linkerkant:

Richard Hamming: Hoofdstuk 13. Informatietheorie

Als het alfabet van een communicatiesysteem uit q-symbolen bestaat, nemen we de waarschijnlijkheid van transmissie van elk symbool qi = 1/q en vervangen we q, wat we verkrijgen uit de Gibbs-ongelijkheid

Richard Hamming: Hoofdstuk 13. Informatietheorie

Richard Hamming: Hoofdstuk 13. Informatietheorie

Figuur 13.I

Dit betekent dat als de waarschijnlijkheid van het verzenden van alle q-symbolen hetzelfde is en gelijk is aan - 1 / q, de maximale entropie gelijk is aan ln q, anders blijft de ongelijkheid bestaan.

In het geval van een uniek decodeerbare code hebben we de ongelijkheid van Kraft

Richard Hamming: Hoofdstuk 13. Informatietheorie

Als we nu pseudo-waarschijnlijkheden definiëren

Richard Hamming: Hoofdstuk 13. Informatietheorie

waar natuurlijk Richard Hamming: Hoofdstuk 13. Informatietheorie= 1, wat volgt uit de ongelijkheid van Gibbs,

Richard Hamming: Hoofdstuk 13. Informatietheorie

en een beetje algebra toepassen (onthoud dat K ≤ 1, zodat we de logaritmische term kunnen laten vallen en de ongelijkheid later misschien kunnen versterken), krijgen we

Richard Hamming: Hoofdstuk 13. Informatietheorie

waarbij L de gemiddelde codelengte is.

Entropie is dus de minimumgrens voor elke teken-voor-symboolcode met een gemiddelde codewoordlengte L. Dit is de stelling van Shannon voor een interferentievrij kanaal.

Beschouw nu de hoofdstelling over de beperkingen van communicatiesystemen waarin informatie wordt verzonden als een stroom van onafhankelijke bits en waarbij ruis aanwezig is. Het is duidelijk dat de waarschijnlijkheid van een correcte verzending van één bit P > 1/2 is, en de waarschijnlijkheid dat de bitwaarde tijdens de verzending wordt omgekeerd (er zal een fout optreden) gelijk is aan Q = 1 - P. Voor het gemak zullen we neem aan dat de fouten onafhankelijk zijn en dat de kans op een fout hetzelfde is voor elk verzonden bit - dat wil zeggen dat er "witte ruis" in het communicatiekanaal is.

De manier waarop we een lange stroom van n bits in één bericht gecodeerd hebben, is de n-dimensionale uitbreiding van de één-bits code. De waarde van n zullen we later bepalen. Beschouw een bericht bestaande uit n-bits als een punt in de n-dimensionale ruimte. Omdat we een n-dimensionale ruimte hebben - en voor de eenvoud zullen we aannemen dat elk bericht dezelfde waarschijnlijkheid van optreden heeft - zijn er M mogelijke berichten (M zal later ook worden gedefinieerd), daarom is de waarschijnlijkheid dat elk bericht wordt verzonden

Richard Hamming: Hoofdstuk 13. Informatietheorie

Richard Hamming: Hoofdstuk 13. Informatietheorie
(afzender)
Schema 13.II

Overweeg vervolgens het idee van kanaalcapaciteit. Zonder in details te treden, wordt kanaalcapaciteit gedefinieerd als de maximale hoeveelheid informatie die op betrouwbare wijze via een communicatiekanaal kan worden verzonden, rekening houdend met het gebruik van de meest efficiënte codering. Er is geen argument dat er meer informatie via een communicatiekanaal kan worden verzonden dan de capaciteit ervan. Dit kan worden bewezen voor een binair symmetrisch kanaal (dat we in ons geval gebruiken). De kanaalcapaciteit bij het verzenden van bits wordt gespecificeerd als

Richard Hamming: Hoofdstuk 13. Informatietheorie

waarbij, zoals voorheen, P de waarschijnlijkheid is dat er geen fout is in een verzonden bit. Bij het verzenden van n onafhankelijke bits wordt de kanaalcapaciteit gegeven door

Richard Hamming: Hoofdstuk 13. Informatietheorie

Als we dicht bij de kanaalcapaciteit zijn, moeten we bijna deze hoeveelheid informatie verzenden voor elk van de symbolen ai, i = 1, ..., M. Gezien het feit dat de waarschijnlijkheid van voorkomen van elk symbool ai 1 / M is, we krijgen

Richard Hamming: Hoofdstuk 13. Informatietheorie

wanneer we een van M even waarschijnlijke berichten ai sturen, hebben we dat gedaan

Richard Hamming: Hoofdstuk 13. Informatietheorie

Wanneer n bits worden verzonden, verwachten we dat er nQ-fouten optreden. In de praktijk zullen we voor een bericht bestaande uit n-bits ongeveer nQ fouten in het ontvangen bericht hebben. Voor grote n, relatieve variatie (variatie = distributiebreedte, )
de verdeling van het aantal fouten zal steeds nauwer worden naarmate n toeneemt.

Dus vanaf de zenderkant neem ik het bericht ai om te verzenden en teken er een bol omheen met een straal

Richard Hamming: Hoofdstuk 13. Informatietheorie

wat iets groter is dan e2 dan het verwachte aantal fouten Q (Figuur 13.II). Als n groot genoeg is, dan is er een willekeurig kleine kans dat er een berichtpunt bj verschijnt aan de ontvangerzijde dat zich buiten deze sfeer uitstrekt. Laten we de situatie schetsen zoals ik die zie vanuit het standpunt van de zender: we hebben elke straal van het verzonden bericht ai naar het ontvangen bericht bj met een foutkans gelijk (of bijna gelijk) aan de normale verdeling, waarbij een maximum wordt bereikt in nQ. Voor elke gegeven e2 is er een n die zo groot is dat de kans dat het resulterende punt bj zich buiten mijn sfeer bevindt, zo klein is als je wilt.

Laten we nu dezelfde situatie van uw kant bekijken (Fig. 13.III). Aan de ontvangerzijde bevindt zich een bol S(r) met dezelfde straal r rond het ontvangen punt bj in de n-dimensionale ruimte, zodat als het ontvangen bericht bj zich binnen mijn bol bevindt, het door mij verzonden bericht ai zich ook binnen uw sfeer bevindt. gebied.

Hoe kan een fout optreden? De fout kan optreden in de gevallen die in de onderstaande tabel worden beschreven:

Richard Hamming: Hoofdstuk 13. Informatietheorie

Figuur 13.III

Richard Hamming: Hoofdstuk 13. Informatietheorie

Hier zien we dat als er in de bol rond het ontvangen punt nog minstens één punt is dat overeenkomt met een mogelijk verzonden ongecodeerd bericht, er een fout is opgetreden tijdens de verzending, aangezien je niet kunt bepalen welke van deze berichten is verzonden. Het verzonden bericht is alleen foutloos als het corresponderende punt zich in de bol bevindt en er in de gegeven code geen andere punten mogelijk zijn die zich in dezelfde bol bevinden.

We hebben een wiskundige vergelijking voor de waarschijnlijkheid van een fout Pe als bericht ai is verzonden

Richard Hamming: Hoofdstuk 13. Informatietheorie

We kunnen de eerste factor in de tweede term weggooien en deze als 1 nemen. Zo krijgen we de ongelijkheid

Richard Hamming: Hoofdstuk 13. Informatietheorie

Uiteraard de

Richard Hamming: Hoofdstuk 13. Informatietheorie

vandaar

Richard Hamming: Hoofdstuk 13. Informatietheorie

opnieuw toepassen op de laatste term aan de rechterkant

Richard Hamming: Hoofdstuk 13. Informatietheorie

Als we n groot genoeg nemen, kan de eerste term zo klein worden genomen als gewenst, bijvoorbeeld kleiner dan een getal d. Daarom hebben wij

Richard Hamming: Hoofdstuk 13. Informatietheorie

Laten we nu eens kijken hoe we een eenvoudige vervangingscode kunnen construeren om M berichten bestaande uit n bits te coderen. Omdat ze geen idee had hoe ze een code precies moest construeren (foutcorrectiecodes waren nog niet uitgevonden), koos Shannon voor willekeurige codering. Draai een muntje op voor elk van de n bits in het bericht en herhaal het proces voor M berichten. In totaal moeten er nM coinflips gemaakt worden, dus het is mogelijk

Richard Hamming: Hoofdstuk 13. Informatietheorie

codewoordenboeken met dezelfde waarschijnlijkheid ½nM. Het willekeurige proces van het maken van een codeboek betekent uiteraard dat er een mogelijkheid bestaat van duplicaten, evenals van codepunten die dicht bij elkaar liggen en daarom een ​​bron van waarschijnlijke fouten zullen zijn. Men moet bewijzen dat als dit niet gebeurt met een waarschijnlijkheid groter dan welk klein gekozen foutniveau dan ook, de gegeven n groot genoeg is.
Het cruciale punt is dat Shannon het gemiddelde heeft genomen van alle mogelijke codeboeken om de gemiddelde fout te vinden! We zullen het symbool Av[.] gebruiken om de gemiddelde waarde over de verzameling van alle mogelijke willekeurige codeboeken aan te duiden. Het middelen over een constante d levert natuurlijk een constante op, aangezien voor het middelen elke term hetzelfde is als elke andere term in de som,

Richard Hamming: Hoofdstuk 13. Informatietheorie

die kan worden verhoogd (M–1 gaat naar M)

Richard Hamming: Hoofdstuk 13. Informatietheorie

Voor elk gegeven bericht loopt de codering, bij het middelen van alle codeboeken, door alle mogelijke waarden, dus de gemiddelde waarschijnlijkheid dat een punt zich in een bol bevindt, is de verhouding van het volume van de bol tot het totale volume van de ruimte. Het volume van de bol is

Richard Hamming: Hoofdstuk 13. Informatietheorie

waarbij s=Q+e2 <1/2 en ns een geheel getal moet zijn.

De laatste term aan de rechterkant is de grootste in deze som. Laten we eerst de waarde ervan schatten met behulp van de Stirling-formule voor faculteiten. We zullen dan kijken naar de afnemende coëfficiënt van de term ervoor. Merk op dat deze coëfficiënt toeneemt naarmate we naar links gaan, en dus kunnen we: (1) de waarde van de som beperken tot de som van de geometrische progressie met deze initiële coëfficiënt, (2) breid de geometrische progressie uit van ns-termen naar een oneindig aantal termen, (3) bereken de som van een oneindige geometrische progressie (standaardalgebra, niets significants) en verkrijg uiteindelijk de grenswaarde (voor een voldoende grote N):

Richard Hamming: Hoofdstuk 13. Informatietheorie

Merk op hoe de entropie H(s) verscheen in de binomiale identiteit. Merk op dat de Taylorreeksuitbreiding H(s)=H(Q+e2) een schatting oplevert die is verkregen door alleen rekening te houden met de eerste afgeleide en alle andere te negeren. Laten we nu de laatste uitdrukking samenstellen:

Richard Hamming: Hoofdstuk 13. Informatietheorie

waar

Richard Hamming: Hoofdstuk 13. Informatietheorie

Het enige wat we moeten doen is e2 zo kiezen dat e3 < e1, en dan zal de laatste term willekeurig klein zijn, zolang n maar groot genoeg is. Bijgevolg kan de gemiddelde PE-fout zo klein als gewenst worden verkregen met de kanaalcapaciteit willekeurig dicht bij C.
Als het gemiddelde van alle codes een fout heeft die klein genoeg is, dan moet minstens één code geschikt zijn, en dus is er minstens één geschikt coderingssysteem. Dit is een belangrijk resultaat verkregen door Shannon: "Shannon's stelling voor een luidruchtig kanaal", hoewel opgemerkt moet worden dat hij dit bewees voor een veel algemener geval dan voor het eenvoudige binaire symmetrische kanaal dat ik gebruikte. Voor het algemene geval zijn de wiskundige berekeningen veel ingewikkelder, maar de ideeën zijn niet zo verschillend, dus heel vaak kun je aan de hand van het voorbeeld van een bepaald geval de ware betekenis van de stelling onthullen.

Laten we het resultaat bekritiseren. We hebben herhaaldelijk herhaald: “Voor voldoende grote n.” Maar hoe groot is n? Heel, heel groot als je echt dicht bij de kanaalcapaciteit wilt zitten en zeker wilt zijn van de juiste dataoverdracht! Zo groot zelfs dat je heel lang zult moeten wachten om een ​​bericht van voldoende bits te verzamelen om het later te coderen. In dit geval zal de omvang van het willekeurige codewoordenboek simpelweg enorm zijn (zo'n woordenboek kan immers niet in een kortere vorm worden weergegeven dan een volledige lijst van alle Mn-bits, ondanks het feit dat n en M erg groot zijn)!

Foutcorrectiecodes voorkomen dat u op een heel lang bericht moet wachten en dit vervolgens via zeer grote codeboeken moet coderen en decoderen, omdat ze zelf codeboeken vermijden en in plaats daarvan gewone berekeningen gebruiken. In de eenvoudige theorie hebben dergelijke codes de neiging het vermogen te verliezen om de kanaalcapaciteit te benaderen en toch een laag foutenpercentage te behouden, maar wanneer de code een groot aantal fouten corrigeert, presteren ze goed. Met andere woorden, als u enige kanaalcapaciteit toewijst aan foutcorrectie, dan moet u de foutcorrectiemogelijkheid het grootste deel van de tijd gebruiken, d.w.z. er moet een groot aantal fouten worden gecorrigeerd in elk verzonden bericht, anders verspilt u deze capaciteit.

Tegelijkertijd is de hierboven bewezen stelling nog steeds niet betekenisloos! Het laat zien dat efficiënte transmissiesystemen slimme coderingsschema's moeten gebruiken voor zeer lange bitreeksen. Een voorbeeld zijn satellieten die voorbij de buitenplaneten zijn gevlogen; Terwijl ze zich van de aarde en de zon verwijderen, worden ze gedwongen steeds meer fouten in het datablok te corrigeren: sommige satellieten gebruiken zonnepanelen, die ongeveer 5 W leveren, andere gebruiken kernenergiebronnen, die ongeveer hetzelfde vermogen leveren. Het lage vermogen van de voeding, de kleine omvang van zenderschotels en de beperkte omvang van ontvangerschotels op aarde, de enorme afstand die het signaal moet afleggen - dit alles vereist het gebruik van codes met een hoog niveau van foutcorrectie om een effectief communicatiesysteem.

Laten we terugkeren naar de n-dimensionale ruimte die we in het bovenstaande bewijs hebben gebruikt. Bij de bespreking ervan hebben we laten zien dat bijna het gehele volume van de bol geconcentreerd is nabij het buitenoppervlak - het is dus vrijwel zeker dat het verzonden signaal zich nabij het oppervlak van de bol zal bevinden die rond het ontvangen signaal is gebouwd, zelfs met een relatief kleine straal van zo'n bol. Het is daarom niet verrassend dat het ontvangen signaal, na het corrigeren van een willekeurig groot aantal fouten, nQ, willekeurig dichtbij een signaal zonder fouten blijkt te zijn. De eerder besproken verbindingscapaciteit is de sleutel tot het begrijpen van dit fenomeen. Merk op dat soortgelijke bollen die zijn geconstrueerd voor foutcorrectie van Hamming-codes elkaar niet overlappen. Het grote aantal bijna orthogonale dimensies in de n-dimensionale ruimte laat zien waarom we M-bollen met weinig overlap in de ruimte kunnen passen. Als we een kleine, willekeurig kleine overlap toestaan, die tijdens het decoderen tot slechts een klein aantal fouten kan leiden, kunnen we een dichte plaatsing van bollen in de ruimte verkrijgen. Hamming garandeerde een bepaald niveau van foutcorrectie, Shannon - een lage foutkans, maar tegelijkertijd hield hij de werkelijke doorvoer willekeurig dicht bij de capaciteit van het communicatiekanaal, wat Hamming-codes niet kunnen.

De informatietheorie vertelt ons niet hoe we een efficiënt systeem moeten ontwerpen, maar wijst wel de weg naar efficiënte communicatiesystemen. Het is een waardevol hulpmiddel voor het bouwen van communicatiesystemen tussen machines, maar zoals eerder opgemerkt heeft het weinig relevantie voor de manier waarop mensen met elkaar communiceren. De mate waarin biologische overerving lijkt op technische communicatiesystemen is eenvoudigweg onbekend, dus het is momenteel niet duidelijk hoe de informatietheorie van toepassing is op genen. We hebben geen andere keuze dan het te proberen, en als succes ons de machinale aard van dit fenomeen laat zien, zal falen wijzen op andere belangrijke aspecten van de aard van informatie.

Laten we niet te veel afdwalen. We hebben gezien dat alle oorspronkelijke definities, in meer of mindere mate, de essentie van onze oorspronkelijke overtuigingen moeten uitdrukken, maar ze worden gekenmerkt door een zekere mate van vervorming en zijn daarom niet van toepassing. Traditioneel wordt aangenomen dat de definitie die we gebruiken uiteindelijk feitelijk de essentie definieert; maar dit vertelt ons alleen hoe we dingen moeten verwerken en brengt op geen enkele manier enige betekenis voor ons over. De postulatieve benadering, die in wiskundige kringen zo sterk de voorkeur geniet, laat in de praktijk veel te wensen over.

Nu gaan we kijken naar een voorbeeld van IQ-tests waarbij de definitie zo circulair is als je wilt, en als gevolg daarvan misleidend. Er wordt een test gemaakt die intelligentie moet meten. Vervolgens wordt het herzien om het zo consistent mogelijk te maken, en vervolgens wordt het gepubliceerd en op een eenvoudige manier gekalibreerd, zodat de gemeten ‘intelligentie’ normaal verdeeld blijkt te zijn (uiteraard op een kalibratiecurve). Alle definities moeten opnieuw worden gecontroleerd, niet alleen wanneer ze voor het eerst worden voorgesteld, maar ook veel later, wanneer ze worden gebruikt in de getrokken conclusies. In hoeverre zijn de definitiegrenzen geschikt voor het probleem dat wordt opgelost? Hoe vaak worden definities die in één context worden gegeven, in heel verschillende contexten toegepast? Dit gebeurt heel vaak! In de geesteswetenschappen, waar je in je leven onvermijdelijk mee te maken krijgt, gebeurt dit vaker.

Een van de doeleinden van deze presentatie van de informatietheorie was dus, naast het aantonen van het nut ervan, om u voor dit gevaar te waarschuwen, of om u precies te laten zien hoe u deze kunt gebruiken om het gewenste resultaat te verkrijgen. Het is al lang bekend dat initiële definities in veel grotere mate bepalen wat je uiteindelijk aantreft dan het lijkt. De eerste definities vragen veel aandacht van u, niet alleen in elke nieuwe situatie, maar ook op gebieden waar u al lang mee bezig bent. Hierdoor kunt u begrijpen in hoeverre de verkregen resultaten een tautologie zijn en niet iets nuttigs.

Het beroemde verhaal van Eddington vertelt over mensen die met een net in de zee visten. Nadat ze de grootte van de gevangen vis hadden bestudeerd, bepaalden ze de minimale grootte van de vis die in de zee voorkomt! Hun conclusie werd ingegeven door het gebruikte instrument, niet door de werkelijkheid.

Wordt vervolgd ...

Wie wil helpen met de vertaling, opmaak en publicatie van het boek, schrijf in een persoonlijk bericht of e-mail [e-mail beveiligd]

We hebben trouwens ook de vertaling gelanceerd van een ander cool boek: "The Dream Machine: het verhaal van de computerrevolutie")

Wij zijn vooral op zoek degenen die helpen vertalen bonushoofdstuk, dat alleen op video staat. (overdracht gedurende 10 minuten, de eerste 20 zijn al bezet)

Inhoud van het boek en vertaalde hoofdstukkenVoorwoord

  1. Inleiding tot de kunst van het doen van wetenschap en techniek: leren leren (28 maart 1995) Vertaling: Hoofdstuk 1
  2. "Grondslagen van de digitale (discrete) revolutie" (30 maart 1995) Hoofdstuk 2. Grondbeginselen van de digitale (discrete) revolutie
  3. "Geschiedenis van computers - Hardware" (31 maart 1995) Hoofdstuk 3. Geschiedenis van computers - Hardware
  4. "Geschiedenis van computers - Software" (4 april 1995) Hoofdstuk 4. Geschiedenis van computers - Software
  5. "Geschiedenis van computers - Toepassingen" (6 april 1995) Hoofdstuk 5: Geschiedenis van computers - Praktische toepassingen
  6. "Kunstmatige intelligentie - Deel I" (7 april 1995) Hoofdstuk 6. Kunstmatige intelligentie - 1
  7. "Kunstmatige intelligentie - Deel II" (11 april 1995) Hoofdstuk 7. Kunstmatige intelligentie - II
  8. "Kunstmatige intelligentie III" (13 april 1995) Hoofdstuk 8. Kunstmatige intelligentie-III
  9. "n-dimensionale ruimte" (14 april 1995) Hoofdstuk 9. N-dimensionale ruimte
  10. "Codeertheorie - De representatie van informatie, deel I" (18 april 1995) Hoofdstuk 10. Codeertheorie - I
  11. "Codeertheorie - De representatie van informatie, deel II" (20 april 1995) Hoofdstuk 11. Codeertheorie - II
  12. "Foutcorrigerende codes" (21 april 1995) Hoofdstuk 12. Foutcorrectiecodes
  13. "Informatietheorie" (25 april 1995) Hoofdstuk 13. Informatietheorie
  14. "Digitale filters, deel I" (27 april 1995) Hoofdstuk 14. Digitale filters - 1
  15. "Digitale filters, deel II" (28 april 1995) Hoofdstuk 15. Digitale filters - 2
  16. "Digitale filters, deel III" (2 mei 1995) Hoofdstuk 16. Digitale filters - 3
  17. "Digitale filters, deel IV" (4 mei 1995) Hoofdstuk 17. Digitale filters - IV
  18. "Simulatie, deel I" (5 mei 1995) Hoofdstuk 18. Modellering - I
  19. "Simulatie, deel II" (9 mei 1995) Hoofdstuk 19. Modellering - II
  20. "Simulatie, deel III" (11 mei 1995) Hoofdstuk 20. Modellering - III
  21. "Glasvezel" (12 mei 1995) Hoofdstuk 21. Glasvezel
  22. "Computerondersteunde instructie" (16 mei 1995) Hoofdstuk 22: Computerondersteunde instructie (CAI)
  23. "Wiskunde" (18 mei 1995) Hoofdstuk 23. Wiskunde
  24. "Kwantummechanica" (19 mei 1995) Hoofdstuk 24. Kwantummechanica
  25. "Creativiteit" (23 mei 1995). Vertaling: Hoofdstuk 25. Creativiteit
  26. "Deskundigen" (25 mei 1995) Hoofdstuk 26. Deskundigen
  27. "Onbetrouwbare gegevens" (26 mei 1995) Hoofdstuk 27. Onbetrouwbare gegevens
  28. "Systeemtechniek" (30 mei 1995) Hoofdstuk 28. Systeemtechniek
  29. "Je krijgt wat je meet" (1 juni 1995) Hoofdstuk 29: Je krijgt wat je meet
  30. "Hoe weten we wat we weten" (Juni 2, 1995) Vertaal in stukjes van 10 minuten
  31. Hamming, “Jij en je onderzoek” (6 juni 1995). Vertaling: Jij en je werk

Wie wil helpen met de vertaling, opmaak en publicatie van het boek, schrijf in een persoonlijk bericht of e-mail [e-mail beveiligd]

Bron: www.habr.com

Voeg een reactie