áá«ááá¯á·áá¯ááºáá²á·áááº!
"áá®áááºáááºážáá²á· áááºááœááºáá»ááºá áááºážáá²á· áááºážááá¬ááá¯ááºážááá¯ááºáᬠá¡áá¬áááºá¡ááœáẠááŒááºáááºááá¯á·áá«á"
áááºá¹ááá¬áá« Habr á¡ááá¯ááºá
á¬áž áá±á¬ááºážáá«ážááᯠáááááá«á (+219á 2588 á
á¬ááŸááºáá»á¬ážá áááºááŸá¯ááŸá¯ 429k)á
ááá¯á·ááŒá±á¬áá·áº Hamming (áá¯ááºáá²á·á áá¯ááºáá²á·á ááá¯ááºááá¯ááºá á±á¬áá·áºááŒáá·áºááŒá®áž ááááááá¯ááºááᯠááŒá¯ááŒááºáá«á ) á¡áá¯ááºááŸááááºá áá°á·áá²á· áá±á¬ááŒá±á¬áá»ááºááœá±ááᯠá¡ááŒá±áá¶ááŒá®áž áá±ážáá¬ážáá¬áá«á áá°á áá°á·á áááºáá²ááŸááá¬ááᯠááŒááºááá¯ááá¯á·á
á€á á¬á¡á¯ááºááẠá¡áá¯ááºáá®á¡ááŒá±á¬ááºážáá¬ááá ááá¯á¶ááá¯ááºáá±á¬ááºá¡á±á¬áẠááá¯ááºáá²áá°áá»á¬ážá ááœá±ážáá±á«áºáá¯á¶áá¯á¶á á¶á¡ááŒá±á¬ááºáž á á¬á¡á¯ááºááŒá áºáááºá âáá«áᬠá¡ááŒá¯ááá±á¬áá±á¬ááºáá²á· ááœá±ážáá±á«áºááŸá¯ááᯠááŒáŸáá·áºáááºáá¯á¶áá¬ááá ááŒá®ážáá»ááºáááºážáá¬ážáá±á¬ á¡áá¯ááºáá»á¬ážááᯠáá¯ááºáá±á¬ááºááẠá¡ááœáá·áºá¡áááºážáá»á¬áž ááá¯ážááœá¬ážá á±ááá·áº á¡ááŒá±á¡áá±áá»á¬ážááᯠáá±á¬áºááŒáááºáâ
áá¬áá¬ááŒááºá¡ááœáẠAndrey Pakhomov ááᯠáá»á±ážáá°ážáááºáá«áááºá
ááááºážá¡áá»ááºá¡áááºáá®á¡áá¯áá®ááᯠ1940 áá¯ááŸá
áºááŸá±á¬ááºážááá¯ááºážááœáẠC. E. Shannon ááŸáá®ááœááºáá²á·áááºá Bell Labs á០á
á®áá¶ááá·áºááœá²áá±ážááŸá°ážá áááºážááᯠ"Communication Theory" áá¯áá±á«áºáá±á¬ááŒá±á¬áá·áº... áá®áá¬áááºá ááá¯ááŸááºáááºá áááá¬áááºááŸá¬ážáá±á¬á¡ááŒá±á¬ááºážááŒáá»ááºáá»á¬ážá¡ááœááºá "ááááºážá¡áá»ááºá¡áááºáá®á¡áá¯áá®" áá°áá±á¬á¡áááºáááºá¡áá»á¬ážááŒááºáá°ááá¯ááá¯ááá¯á¡áá»áá¯ážáááºáá±á¬ááºááŸá¯ááŸááááºá ááá¯á·ááŒá±á¬áá·áº Shannon ááá¯ááœá±ážáá»ááºáá²á·ááŒááºážááŒá
áºááŒá®ážáááºážáááºááá±á·ááá¯ááºáá»áœááºá¯ááºááá¯á·áááá¬ážáá±á¬á¡áááºááŒá
áºáááºá áá®á¡áá¯áá®ááẠááááºážá¡áá»ááºá¡áááºáá»á¬ážááŸáá·áº áááºááá¯ááºááŒá±á¬ááºáž áááºážááá¯ááºááá¯ááºá ááœáŸááºááŒáá±áá±á¬ááŒá±á¬áá·áº áá»áœááºá¯ááºááá¯á·ááẠááááºážá¡áá»ááºá¡áááºáá±ááºááá¯á· ááá¯ááá¯áááºááŸáá¯ááºážá
áœá¬ ááœá±á·áá»á¬ážáá¬áááºááŸáá·áºá¡áá»áŸ á¡áá±ážááŒá®ážáááºá á€á¡áááºážááœááºá á€áá®á¡áá¯áá®á០á¡ááááááá¯á¶ážáá»á¯ááºáá»ááºáá»á¬ážá
áœá¬ááᯠáá»áœááºá¯ááºáááºááŒáá«áááºá áá»áœááºá¯ááºááẠáááºážáá»ááºáááºááá¯ááºáá±á¬áºáááºáž á€áá®á¡áá¯áá®á áá°áá
áºáŠážáá»ááºážá
á®á ááŒáá¬ááºážáá»ááºá¡áá»áá¯á·á á¡ááá¯ááá¯áááá¬áááºááŸá¬ážáá±á¬ á¡áá±á¬ááºá¡áá¬ážáá»á¬ážááᯠáá±ážá
áœááºážáá«áááºá ááá¯á·ááŒá±á¬áá·áº áááºááẠ"Information Theory" á¡ááŸááºááááºáá°ááẠá¡áááºá¡áá¬ááŒá
áºáááºááᯠáá¬ážáááºá
á±áááºá áááºážááᯠáááºááá·áºáá±áá¬ááœáẠá¡áá¯á¶ážáá»ááá¯ááºáááºáááºážá áááºááŸá¬áá²á
ááááá¯á¶ážá¡áá±áá²á· âááááºážá¡áá»ááºá¡áááºâ ááá¯áᬠáá¬áá²á Shannon ááẠá¡áá»ááºá¡áááºáá»á¬ážááᯠááá±áá»á¬ááá±áá¬ááŸá¯áá»á¬ážááŸáá·áº áá®áá»áŸáááºá ááŒá
áºáááºáá
áºáá¯áááŒá
áºááá¯ááºááŒá±á á¡áá¯ááºáá±á¬áºááá
áºáááºááᯠáááºáááºáá¶áááŸáááá·áº á¡áá»ááºá¡áááºá á¡áá±á¡ááœááºá¡ááá¯ááºážá¡áá¬áá
áºáá¯á¡ááŒá
ẠááŒá
áºáááºáá
áºáá¯ááŒá
áºááá¯ááºááŒá± p ááŒá
áºáá±á«áºáá¬áá±á¬á¡áá«ááœáẠáá°ááœá±ážáá»ááºáá²á·áááºá á¥ááá¬á¡á¬ážááŒáá·áºá áá±á¬á·á
áºá¡áááºáá»ááá
áºááŸá¬ áá¬áá®á¥áá¯á ááŒá°ááŸáá¯ááºážááá¯á· ááŒá±á¬ááẠp á 1 áá²á· áá®ážá
ááºáááºá áá«á ááááºááᯠáá»áœááºáá±á¬áºááá¯á·ááᯠá¡áá»ááºá¡áááºá¡áá»á¬ážááŒá®ážááá±ážáá°ážá áá«áá±ááá·áº ááœááºáááŸá¬ Monterey ááŸá¬ ááá¯ážááœá¬ááẠááá¯á· ááŒá±á¬ááẠáááºáá±á·áá»áºááŸá¬ ááá±áá»á¬ááá±áá¬ááŸá¯ááœá± ááŸááá¬ááŸá¬ ááŒá
áºááŒá®áž á¡áá»ááºá¡áááºááœá± ááá¯áá»á¬ážáá¬áá«áááá·áºáááºá ááŸááºáááºáž 1 = 0 ááŒá
áºáá±á¬ááŒá±á¬áá·áº áá¯á¶ááŒááºá
áááºáá»ááá±á¬ááŒá
áºáááºáá
áºáá¯ááœáẠáááºááá·áºá¡áá»ááºá¡áááºá០ááá«áááºáá«á
áá«ááᯠááá¯ááŒá®ážá¡áá±ážá áááºááŒáá·áºáá¡á±á¬ááºá Shannon ááẠá¡áá»ááºá¡áááºáá»á¬ážá á¡áá±á¡ááœááºááá¯ááºážáá¬ááŸá¯ááẠevent p áááŒá áºááá¯ááºááŒá±á á ááºáááºáááŒááºáá¯ááºáá±á¬ááºááŸá¯ááŒá áºááá·áºááŒá®áž ááœááºáááºáá±á¬ááŒá áºáááºáá»á¬ážá¡ááœáẠáááºážááᯠáá±á«ááºážááá·áºááá·áºááẠ- á¡ááŸá®á¡ááá¯áááºážáá±á¬ááŒá áºáááºááŸá áºáá¯ááŒá áºááœá¬ážááŒááºážááŒá±á¬áá·áºáááŸááá±á¬ááááºážá¡áá»ááºá¡áááºááá¬áááẠáá°áá®ááá·áºáááºá áá°ážááœá²ááŒá áºáááºáá áºáᯠáá±á«áºáá±á«ááºááŒááºážááŒá±á¬áá·áº áááŸááá±á¬ á¡áá»ááºá¡áááºááá¬áá á¥ááá¬á¡á¬ážááŒáá·áºá á¡ááºá á¬áá¯á¶ážááááºááŸáá·áº á¡ááŒáœá±á á±á·ááááºáááááºááᯠá¡áá»á¬ážá¡á¬ážááŒáá·áº áá®ážááŒá¬ážááŒá áºáááºáá»á¬ážá¡ááŒá Ạááá±á¬áá¬ážááŒáááºá á¡áááºáá±á¬áºááŒáá«ááá¯á·ááᯠáááºá¹áá»á¬áá¬áá¬á áá¬ážááá¯á· áá¬áá¬ááŒááºááŒáá«á áá¯á·á I (p) ááẠááŒá áºááá¯ááºááŒá± p áá«áá±á¬ ááŒá áºáááºáá áºáá¯ááœááºáá«ááŸááá±á¬ á¡áá»ááºá¡áááºááá¬áááŒá áºáá«áá ááá¯á·áá±á¬áẠááŒá áºááá¯ááºááŒá± p1 ááŸáá·áº ááŒá áºááá¯ááºááŒá± p2 ááŸááá±á¬ ááœááºáááºáá±á¬ ááŒá áºáááºááŸá áºáá¯áá«ááŸááá±á¬ áá°ážááœá²ááŒá áºáááºá¡ááœáẠáá»áœááºá¯ááºááá¯á·áááŸááááº
(x ááŸáá·áº y ááẠáá®ážááŒá¬ážááŒá
áºáááºáá»á¬ážááŒá
áºáááº)
áááºážááẠp1 ááŸáá·áº p2 á¡á¬ážáá¯á¶ážá¡ááœáẠá¡áá¯á¶ážáááºáá±á¬ Cauchy áá®áá»áŸááŒááºážááŒá áºáááºá á€áá¯ááºáá±á¬ááºáá»ááºááá¯ááºáá¬áá®áá»áŸááŒááºážááá¯ááŒá±ááŸááºážáááºá áá°ááá«á
p1=p2=pá
áá«ááá±ážáááºá
p1=p2 áá²á· p2=p ááá¯áááºáá±á«á·á
á
áááºááá¯á· ááááºážááááºážáá»á¬áž á¡ááœáẠá
á¶áááºážáááºážááᯠá¡áá¯á¶ážááŒá¯á á€áá¯ááºáááºážá
ááºááᯠáá»á²á·ááœááºááŒááºážá áááºááŒááºáá¯á¶ááá¬áž ááááºážááááºážáá»á¬áž m/n áá»á¬ážá¡á¬ážáá¯á¶ážá¡ááœáẠá¡á±á¬ááºáá«ááá¯á·ááẠááŸááºáá«áááºá
ááááºážá¡áá»ááºá¡áááºááá¯ááºážáá¬ááŸá¯á á
ááºáááºáááŒááºáá°ááá»ááºááŸá áá±á¬á·ááá
áºáááºáá¯ááºáá±á¬ááºáá»ááºááẠá¡áá¯ááºáá¯ááºáá±á¬ Cauchy áá®áá»áŸááŒááºážá¡ááœáẠáá
áºáá¯áááºážáá±á¬ á
ááºáááºáááŒááºááŒá±ááŸááºážáá»ááºááŒá
áºááŒá±á¬ááºáž áá±á¬áºááŒáááºá
ááááºážá¡áá»ááºá¡áááºáá®á¡áá¯áá®ááœááºá áá±á¬á·ááá áºáááºá¡ááŒá±ááᯠ2 á¡ááŒá áºáá°ááŒááºážááẠáá¬áá¬ááºá¡á¬ážááŒáá·áºá ááá¯á·ááŒá±á¬áá·áº ááœáááœá±ážáá»ááºááŸá¯áá áºáá¯ááœáẠá¡áá»ááºá¡ááẠ1 bit á¡ááá¡áá»áá«ááŸááááºá ááá¯á·ááŒá±á¬áá·áº á¡áá»ááºá¡áááºááᯠáá¯á¶áá±áááºážááŒáá·áº ááá¯ááºážáá¬áááºá
áá±áá¹ááááºááŒá®áž á¡áá±á«áºá á¡ááŒá
áºá¡áá»ááºááᯠáá¬ážáááºááá¯ááºááŒáá¡á±á¬ááºá ááááŠážá
áœá¬á áá»áœááºá¯ááºááá¯á·ááẠ"ááááºážá¡áá»ááºá¡áááº" áááá±á¬ááá¬ážááá¯ááááºááŸááºáá¬ážáá²á áá»áœááºá¯ááºááá¯á·áááºáááºážáá¡áá±á¡ááœááºááá¯ááºážáá¬ááŸá¯á¡ááœááºáá±á¬áºááŒá°áá¬ááá¯ááá¯ážááŸááºážá
áœá¬áááºááŸááºáá²á·áááºá
áá¯áááá á€á¡ááá¯ááºážá¡áá¬ááẠááá±áá»á¬ááá±áá¬ááŸá¯áá»á¬ážááŒá±á¬áá·áºááŒá áºááŒá®ážá á¥ááá¬á áááºáá®áá¯ááºážá áá áºáá»á¬ážá áá±áá®ááá¯á áá¯ááºááŒááºáá¶ááŒá¬ážá ááœááºáá»á°áá¬á áááºááŒáá·áº á ááºáá»á¬ážá¡ááœáẠááá·áºáá»á±á¬áºáá±á¬áºáááºážâáááºážááẠááááºážá¡áá»ááºá¡áááºá¡áá±á«áº áá¬áááºáá°á·ááá±á¬áá¬ážáá»á¬ážááᯠáááºáááºááŒááºážáááŸááá«á
ááááá¡áá±áá²á·á áá«á ááŸáá¯ááºážááŸá¥áºááá¯ááºážáá¬ááŸá¯ááŒá áºááŒá®ážá áááºážáá²á·áááºááŸáá¡ááŒá±á¡áá±á¡áá±á«áº áá°áááºáááºá áá»áááºážáá¶áá«ááºáá¯ááºáá¯ááºáá°á០"áá»áááºážáá¶áá«ááºáá»á¬áž" áááºážááŒá±á¬ááºážááá¯ááŒáá·áºáá»áŸáẠáá±á¬ááºáá¶áá«ááºáá áºáá¯á á®ááẠááá±áá»á¬áá¯áá°ááá±á¬áºáááºáž "áá»áááºážáá¶áá«ááºáá»á¬áž" ááœááºáá»ááºáááºáá±á¬áºááŒá°áá¬ááá¯áááá«á áá±á¬ááºáá¶áá«ááºááá¯áááááá·áºáááºá ááá¯á·ááŒá±á¬áá·áºááá¯ááºáá±á á¡áá»ááºá¡áááºááœá± áá«áááºáá«áááºá
ááá¯á·ááŒá±á¬áá·áº Shannon á á¡áá»ááºá¡áááºáá»á¬ážá á¡áááá¹áá«ááºááœáá·áºááá¯áá»ááºááẠáá»á¬ážá áœá¬áá±á¬ ááá á¹á áá»á¬ážááœáẠá ááºáá»á¬ážá¡ááœáẠááá·áºáá»á±á¬áºáá±á¬áºáááºáž á áá¬ážáá¯á¶ážá áá°áá¬ážáá¬ážáááºááŸá¯ááŸáá·áº ááá¯ááºáá®áá¯á¶ááá±á«áºáá±á ááá¯á·ááŒá±á¬áá·áº "ááááºážá¡áá»ááºá¡áááºáá®á¡áá¯áá®" ááᯠ"áááºááœááºáá±ážáá®á¡áá¯áá®" áá¯áá±á«áºááá¯ááá·áºáááºá ááá¯á·áá±á¬áºá á¡áááá¹áá«ááºááœáá·áºááá¯ááẠá¡áá»áááºááŸá±á¬ááºážáá±ááŒá® (áá®á¡áá¯áá®á áááºážááááŠážáá°ááŒáá¯ááºáá»á¬ážááŸá¯ááá¯áá±ážáá±á¬ áá®á¡áá¯áá®ááŒá áºááŒá®áž á€áá®á¡áá¯áá®ááẠ"ááááºážá¡áá»ááºá¡áááº" ááŸáá·áºáááºááá¯ááºáááºáᯠáá°á¡áá»á¬ážáááºááŒááºá á±áá±á¬)á ááá¯á·ááŒá±á¬áá·áº áá»áœááºá¯ááºááá¯á·ááẠáááºážááá¯á·ááŸáá·áºá¡áá° áá±ááá¯ááºááááºá ááá¯á·áá±á¬áº áá áºáá»áááºáááºážááœáẠáááºáá¯ááºáá±á¬ááºááááºááŒá áºáááºá Shannon á á¡áá»ááºá¡áááºáá»á¬ážá á¡áááá¹áá«ááºááœáá·áºááá¯áá»ááºááẠáááºážáá¡áá¯á¶ážáá»á¬ážáá±á¬ á¡áááá¹áá¬ááºááŸáá·áº áááºáá»áŸáá±ážááœá¬áááºááᯠááŸááºážááŸááºážáááºážáááºáž áá¬ážáááºáá«á Shannon áá¡áá»ááºá¡áááºáá»á¬ážááẠááá±áá»á¬ááá±áá¬ááŸá¯ ááŸáá·áº áá¯á¶ážáááœá²ááŒá¬ážááá·áºá¡áá¬áá áºáá¯ááŒá áºáááºá
áá±á«áá¬áá¡áá¯á¶ážá¡ááŸá¯ááºážáá áºáá¯áá¯ááᯠá¡ááá¯ááŒá¯ááá·áºá¡áá«ááœáẠá ááºážá á¬ážá áá¬áá áºáá¯ááŒá áºáááºá Shannon áá¡áá»ááºá¡áááºáá»á¬ážáá¡áááá¹áá«ááºááœáá·áºááá¯áá»ááºáá²á·ááá¯á·áá±á¬á¡ááá¯ááŒá¯áá¬ážáá±á¬á¡áááá¹áá«ááºááœáá·áºááá¯áá»ááºáááºáááºááá°áá áááºáá°ážááŸáá·áºáááºáá²á·ááá¯á·ááá±á¬áá°ááááºážá áááºážáááºáááºáá»áŸááœá¬ááŒá¬ážááááºážá á¡áá°á¡ááá áºáá¯á ááááºá¡ááŒááºááᯠá¡ááá¡áá»áááºáááºá á±ááá·áº á áá¬ážáá¯á¶ážáááŸáááá±á¬ááºááŒá áºáá±á¬áºáááºážá áá±á¬ááºáá¯á¶ážááœáẠáááºážááẠá¡áá°á¡ááá¡áááá¹áá¬ááºááᯠáááºáááºá á±ááá·áº á¡áá¯á¶ážá¡ááŸá¯ááºážáá»á¬ážááŒá áºáá±á¬ááŒá±á¬áá·áº ááŸááºážáááºážáá±á¬á¡áááá¹áá«ááºááœáá·áºááá¯áá»ááºáá»á¬ážááŸáá áºááá·áº áá áºá á¯á¶áá áºáá¯ááᯠááá¬ážáááºááŒá¯áá¯ááºááŒááºážááẠáá°áá¶áá¶á¡áá»áá¯á·ááᯠá¡ááŒá²ááááºáááºáá±ážáá«áááºá
ááŒá áºááá¯ááºááŒá± pi áá«áá±á¬ á¡áá¹ááᬠq áááºá¹áá±ááá»á¬ážáá«ááŸááá±á¬ á áá áºáá áºáá¯ááᯠáá¯á¶ážáááºááŒáá·áºáá«á áá«ááá¯ááẠáá»ááºážáá»áŸá¡áá»ááºá¡áááºááá¬á á áá áºááœáẠ(áááºážááá»áŸá±á¬áºááŸááºážáááºááá¯áž) áááº-
ááŒá
áºááá¯ááºááŒá± ááŒáá·áºááŒá°ážááŸá¯ {pi} ááŸááá±á¬ á
áá
áºá á¡ááºáááá¯áá®áᯠáá±á«áºáááºá áá°áá®áá±á¬áááºá¹áá»á¬áá¯á¶á
á¶ááᯠáá¬ááá¯ááá¯ááºážááá
áºááŸáá·áº ááááºážááááºážááá¹áááºážáá
áºáá»á¬ážááœáẠááœá±á·ááá±á¬ááŒá±á¬áá·áº "á¡ááºáááá¯áá®" áá°áá±á¬ á¡áá¯á¶ážá¡ááŸá¯ááºážááᯠáá»áœááºá¯ááºááá¯á·á¡áá¯á¶ážááŒá¯áá«áááºá ááá¯á·ááŒá±á¬áá·áº âá¡ááºáááá¯áá®â áá°áá±á¬ á¡áá¯á¶ážá¡ááŸá¯ááºážááẠá¡áá¯á¶ážá
áœááºááá¬ážáá»áŸáááŸá¯áááŸáááá·áº áá°á·á¡ááá¯á· á¡áá±ážááŒá®ážáá±á¬ ááá¹ááá¬áááºáá
áºáá¯ááᯠáááºáá®ážáá±ážáááºá áá°áá®áá±á¬áááºá¹áá»á¬áá¯á¶á
ᶠáááºá¹áá±ááá»á¬ážááẠáááºá¹áá±ááá»á¬ážááᯠáá°áá®áá±á¬á¡áááá¹áá¬ááºááœáá·áºááá¯ááŒááºážáááŒá¯áá«á
ááŒá áºááá¯ááºááŒá±ááŒáá·áºáá±ááŸá¯á á¡ááºáááá¯áá®ááẠáá¯ááºáá®á¡áá¯áá®ááœáẠá¡áááá¡áááºážááá¹áá០áá«áááºáá«áááºá ááá°áá®áá±á¬ááŒá áºááá¯ááºááŒá±ááŒáá·áºáá±ááŸá¯ pi ááŸáá·áº qi ááŸá áºáá¯á¡ááœáẠGibbs ááá®áá»áŸááŸá¯ááẠá€áá®á¡áá¯áá®á á¡áá±ážááŒá®ážáá±á¬ á¡áá»áá¯ážáááºáá»á¬ážáá²á០áá áºáá¯ááŒá áºáááºá á¡á²áá®áá±á¬á· á¡á²áá«ááᯠáááºáá±ááŒááááºá
áááºáá±ááŒáá»ááºááẠáááºááŸá¬ážáá±á¬ááááºá áá¯á¶á 13.I, which shows that
x = 1 ááŸáááŸáᬠáááºážáá°áá®áá»áŸááŸá¯ááᯠáááŸááááºááŒá
áºáááºá áááºáááºááŒááºážá០áá±á«ááºážáááºá áááºáááºážáá
áºáá¯á
á®á¡ááœáẠááá®áá»áŸááŸá¯ááᯠá¡áá¯á¶ážáá»ááŒáá«á
áá¯á·á
áááºááœááºáá±ážá
áá
áºáá
áºáá¯á á¡áá¹ááá¬áá»á¬ážááœáẠq áááºá¹áá±ááá»á¬ážáá«áááºáá«áá áááºá¹áá±ááá
áºáá¯á
á®á qi = 1/q ááŸáá·áº q á¡á
á¬ážááá¯ážááŒááºážá ááŒá
áºááá¯ááºááŒá±ááá¯áá°ááŒá®ážá Gibbs ááá®áá»áŸááŸá¯á០áá»áœááºá¯ááºááá¯á·áááŸááááº
áá¯á¶ 13.I
ááá¯ááá¯áááºááŸá¬ q áááºá¹áá±ááá»á¬ážá¡á¬ážáá¯á¶ážááᯠáá¯ááºááœáŸáá·áºááŒááºážá ááŒá áºááá¯ááºááŒá±ááẠáá°áá®ááŒá®áž - 1 / q ááŸáá·áº áá®áá»áŸáá«áá á¡áá»á¬ážáá¯á¶áž entropy ááẠln q ááŸáá·áº áá®áá»áŸáááºá ááá¯á·ááá¯ááºáá«á ááá®áá»áŸááŸá¯ááẠááááºážáá¬ážáááºá
áá°ážááŒá¬ážá áœá¬áá¯á¶ážááá¯ááºáá±á¬áá¯ááºáá áºáá¯á¡ááœááºá áá»áœááºá¯ááºááá¯á·ááœáẠKraft áááá®áá»áŸááŸá¯ááŸááááºá
ááᯠáá»áœááºá¯ááºááá¯á·ááẠpseudo-probabilities ááᯠáááºááŸááºáá»áŸááº
áááºááŸá¬áá²á = 1á Gibbs áááá®áá»áŸááŸá¯ááŸáá±á¬ááºáááºááœá²ááŒá
áºáá±á¬á
á¡áá¹ááá¬áááºá¹áá»á¬á¡áááºážáááºááᯠá¡áá¯á¶ážááŒá¯áá« (K †1 ááᯠááŸááºáá¬ážáá¬ážáá«á ááá¯á·ááŒá±á¬áá·áº áá»áœááºá¯ááºááá¯á·ááẠáá±á¬á·ááá
áºáááºá¡áá±á«áºá¡áá±á«áºááᯠáá»áá
áºááá¯ááºááŒá®áž ááá®áá»áŸááŸá¯ááᯠáá±á¬ááºááá¯ááºážááœáẠá¡á¬ážáá±á¬ááºážá
á±áááº)á
L ááẠáá»ááºážáá»áŸáá¯ááºá¡ááŸááºááŒá
áºáááºá
ááá¯á·ááŒá±á¬áá·áºá entropy ááẠáá»ááºážáá»áŸáá¯ááºá á¬áá¯á¶ážá¡ááŸáẠL áá«ááá·áº á á¬áá¯á¶ážá¡ááá¯ááºáááºá¹áá±ááá¯ááºá¡ááœáẠá¡áááá·áºáá¯á¶ážááá·áºáááºáá»ááºááŒá áºáááºá áááºážááẠá¡ááŸá±á¬áá·áºá¡ááŸááºáááºážááá·áºáá»ááºáááºá¡ááœáẠShannon ááá®á¡áá¯áá®ááŒá áºáááºá
ááœááºáááºáá±á¬áá áºáá»á¬ážááŸáá·áº áá°áá¶áá¶áá»á¬ážáá«ááŸááá±ááá·áº ááááºážá¡áá»ááºá¡áááºáá»á¬ážá¡ááŒá Ạááááºážá¡áá»ááºá¡áááºáá»á¬ážááᯠááá¯á·ááœáŸááºááá·áº áááºááœááºáá±ážá áá áºáá»á¬ážá ááá·áºáááºáá»ááºáá»á¬ážá¡ááŒá±á¬ááºáž á¡ááááá®á¡áá¯áá®ááᯠáá¯á¶ážáááºááŒáá·áºáá«á áá áºáá áºá ááŸááºáááºáá±á¬ áá¯ááºááœáŸáá·áºááŒááºážá ááŒá áºááá¯ááºááŒá±ááẠP > 1/2 ááŒá áºááŒá®ážá áá¯ááºááœáŸáá·áºááŸá¯á¡ááœááºáž áá áºáááºááá¯ážááẠááŒá±á¬ááºážááŒááºááŒá áºááá¯ááºááŒá± (á¡ááŸá¬ážáá áºáᯠááŒá áºáá±á«áºáááº) ááẠQ = 1 - P ááŸáá·áº áá®áá»áŸááŒá±á¬ááºáž áá¬ážáááºáá«áááºá á¡áááºááŒá±á á±áááºá¡ááœááºá á¡ááŸá¬ážáá»á¬ážááẠá¡ááŸá®á¡ááá¯áááºážááŒá®áž á¡ááŸá¬ážáá áºáá¯áááŒá áºááá¯ááºááŒá±ááẠáá±ážááá¯á·ááá¯ááºáá±á¬ bit áá áºáá¯á á®á¡ááœáẠá¡áá°áá°áááºááŒá áºáááºáᯠáá°ááá« - ááá¯ááá¯áááºááŸá¬ áááºááœááºáá±ážáá»ááºáááºááœáẠ"á¡ááŒá°áá±á¬ááºáá°áá¶áá¶" ááŸááá±áá«áááºá
áááºáá±á·áá»áºáá áºáá¯ááœáẠn-bits áááŸááºáá»á¬ážáá±á¬á á®ážááŒá±á¬ááºážááᯠáá»áœááºá¯ááºááá¯á·ááœáẠáá¯ááºáá¯ááºáá¬ážááá·áºáááºážáááºážááŸá¬ áá áºáá áºáá¯ááºá n-dimensional extension ááŒá áºáááºá n ááááºááá¯ážááᯠáá±á¬ááºááá¯ááºážááœáẠáá¯á¶ážááŒááºáá«áááºá n-dimensional space ááŸá á¡ááŸááºáá áºáá¯á¡áá±ááŒáá·áº n-bits áá»á¬ážáá«áááºáá±á¬ áááºáá±á·áá»áºááᯠááá·áºááœááºážá ááºážá á¬ážáá«á áá»áœááºá¯ááºááá¯á·ááœáẠn-dimensional space ááŸááááºááŒá áºáá±á¬ááŒá±á¬áá·áºá ááá¯ážááá¯ážááŸááºážááŸááºážááŒá±á¬ááá»áŸáẠáááºáá±á·áá»áºáá áºáá¯á á®ááẠáá°áá®áá±á¬ááŒá áºááá¯ááºááŒá±ááŸáááŒá±á¬ááºáž áá»áœááºá¯ááºááá¯á·áá°ááá«áááº- M ááŒá áºááá¯ááºáá»á±ááŸááá±á¬ áááºáá±á·áá»áºáá»á¬áž (M ááá¯áááºáž áá±á¬ááºááá¯ááºážááœáẠáááºááŸááºáá±ážáááº) ááá¯á·ááŒá±á¬áá·áº áá±ážááá¯á·ááá¯ááºáá±á¬ áááºáá±á·áá»áºá ááŒá áºááá¯ááºááŒá±áááº
(áá±ážááá¯á·áá°)
á¡áá»áááºááá¬áž 13.II
ááá¯á·áá±á¬áẠáá»ááºáááºá áœááºážáááºááᯠá ááºážá á¬ážáá«á á¡áá±ážá áááºá¡áá»ááºá¡áááºáá»á¬ážááᯠááá±á¬áºááŒáá²á á¡áááá±á¬ááºáá¯á¶áž coding ááá¯á¡áá¯á¶ážááŒá¯ááŒááºážááŒáá·áº áááºááœááºáá±ážáá»ááºáááºáá áºáá¯á០áá¯á¶ááŒááºá áááºáá»á áœá¬ áá±ážááá¯á·ááá¯ááºáá±á¬ ááááºážá¡áá»ááºá¡ááẠá¡áá»á¬ážáá¯á¶ážááá¬áá¡ááŒá Ạáá»ááºáááºá áœááºážáááºááᯠáááºááŸááºáááºá áááºážáá áœááºážáááºááẠáááºááœááºáá±ážáá»ááºáááºáá áºáá¯ááŸáá áºááá·áº ááááºážá¡áá»ááºá¡áááºáá»á¬áž ááá¯ááá¯áá±ážááá¯á·ááá¯ááºáááºáᯠá¡ááŒááºážá¡áá¯á¶áááŸááá«á áááºážááᯠbinary symmetric channel (áá»áœááºá¯ááºááá¯á·áááá á¹á ááœááºá¡áá¯á¶ážááŒá¯áááº) á¡ááœááºáááºáá±ááŒááá¯ááºáááºá áá áºáá»á¬ážáá±ážááá¯á·ááá·áºá¡áá« áá»ááºáááºá áœááºážáááºááᯠáááºááŸááºáááºá
ááááºááá²á·ááá¯á· P ááẠááá¯á·ááá¯ááºáá±á¬ bit áá»á¬ážááœáẠá¡ááŸá¬ážá¡ááœááºážáááŸáááŒá
áºááá¯ááºááŒá±ááŒá
áºáááºá á¡ááŸá®á¡ááá¯áááºážáá±á¬ áá
áºáá»á¬ážááᯠáá±ážááá¯á·áá±á¬á¡áá«á áá»ááºáááºá
áœááºážáááºááᯠáá±ážáááºá
á¡áááºá áá»áœááºá¯ááºááá¯á·ááẠáá»ááºáááºá
áœááºážáááºááŸáá·áº áá®ážá
ááºáá«áá áááºá¹áá±ááá
áºáá¯á
á®á¡ááœáẠai, i = 1, ..., M. áááºá¹áá±ááá
áºáá¯á
á®á¡ááœáẠai áááŒá
áºááá¯ááºááŒá±ááẠ1/M ááŒá
áºáááºá áá«ááá¯á·á
M á áá°áá®áá±á¬ ááŒá
áºááá¯ááºáá»á±ááŸááá±á¬ áááºáá±á·áá»áºáá»á¬ážááᯠáá±ážááá¯á·áá±á¬á¡áá«ááœáẠáá»áœááºá¯ááºááá¯á·ááœááºááŸááááºá
n bit áá»á¬áž áá±ážááá¯á·áá±á¬á¡áá«á áá»áœááºá¯ááºááá¯á·ááẠnQ á¡ááŸá¬ážáá»á¬áž ááŒá
áºáá±á«áºáá¬áááºáᯠáá»áŸá±á¬áºááá·áºáá«áááºá áááºááœá±á·ááœááºá n-bits áá»á¬ážáá«áááºáá±á¬ áááºáá±á·áá»áºáá
áºáá¯á¡ááœááºá áááºáá¶áááŸááá±á¬ áááºáá±á·áá»áºááœáẠááá·áºááŸááºážááŒá±á¡á¬ážááŒáá·áº nQ á¡ááŸá¬ážá¡ááœááºážáá»á¬áž ááŸááá«áááºá n ááŒá®ážáá»á¬ážá¡ááœááºá ááœá±áá»áá¯ážááœá²ááœá²ááŸá¯ (ááœá²ááœá²ááŸá¯ = ááŒáá·áºááŒá°ážááŸá¯ á¡áá»ááºá )
n ááá¯ážáá¬áááºááŸáá·áºá¡áá»áŸ á¡ááŸá¬ážá¡áá±á¡ááœáẠááŒáá·áºáá±ááŸá¯ááẠáá»ááºážááŒá±á¬ááºážáá¬áááºá
ááá¯á·ááŒá±á¬áá·áºá transmitter áááºááŒááºážááŸá á¡áá»ááºážáááºááŒáá·áº á ááºáá¯á¶ážáá áºáá¯ááᯠáá±ážááá¯á·áááºááŸáá·áº áá±ážááá¯á·ááẠai áááºáá±á·ááºá»ááᯠáá°áá«áááºá
e2 ááŸáá·áº áá®áá»áŸáá±á¬ ááá¬áá¡á¬ážááŒáá·áº ááá·áºááŸááºážáá¬ážááá·áº á¡ááŸá¬ážá¡ááœááºážáá»á¬áž Q ááẠá¡áááºážáááºááá¯ááŒá®ážááẠ(áá¯á¶ 13.II)á n ááẠá¡áá¯á¶á¡áá±á¬ááºááŒá®ážáá«áá á€á
ááºáá¯á¶ážáááºáá»á±á¬áºááœááºá áááºáá¶ááá·áºáááºááŒááºážááœáẠáá±á«áºáá¬ááá·áº áááºáá±á·áá»áºá¡ááŸáẠbj á ááá¯ááºáááºá
á®ážáááºážááŒá
áºááá¯ááºááŒá± á¡áááºážáááºááŸááááºá Transmitter á ááŸá¯áá±á¬áá·áºá០ááŒááºááá·áºá¡ááá¯ááºáž á¡ááŒá±á¡áá±ááᯠáá¯á¶ááŒááºážááŒáá·áºáá¡á±á¬ááº- áá»áœááºá¯ááºááá¯á·ááœáẠáá±ážááá¯á·áá¬ážáá±á¬ áááºáá±á·áá»áº ai á០áááºáá¶áááŸááá±á¬ áááºáá±á·áá»áº bj ááá¯á· á¡áá»ááºážááẠá¡ááŸá¬ážá¡ááœááºážááŒá
áºááá¯ááºááŒá± (ááá¯á·ááá¯ááº) áá¯á¶ááŸááºááŒáá·áºáá±ááŸá¯ á¡ááŒáá·áºáá¯á¶ážááá¯á· áá±á¬ááºááŸááááºá nQ á áá±ážáá¬ážááá·áº e2 á¡ááœááºá n ááẠá¡ááœááºááŒá®ážáá¬ážáá±á¬ááŒá±á¬áá·áº áá»áœááºá¯ááºáá
ááºáá¯á¶ážá¡ááŒááºáááºááŸá ááá¬ááºá¡ááŸáẠbj ááŒá
áºááá¯ááºááŒá±ááẠáááºááŸá
áºáááºááá±á¬áẠáá±ážáááºáá«áááºá
ááᯠááá·áºáááºá០áá°áá®áá±á¬ á¡ááŒá±á¡áá±ááᯠááŒáá·áºááŒáá«á áá¯á· (áá¯á¶á 13.III)á áááºáá¶áááŸáááá·áºáááºááœáẠáá°áá®áá±á¬á¡áá»ááºážááẠr á á ááºáá¯á¶áž S(r) ááẠn-dimensional space ááŸá áááºáá¶áááŸáááá·áºá¡ááŸáẠbj áááºáááºáááºááœáẠááŸááá±áááºá ááá¯ááá¯á·áá±á¬ áááºáá¶áááŸááá±á¬ áááºáá±á·áá»áº bj ááẠáá»áœááºá¯ááºáá ááºáá¯á¶ážá¡ááœááºážáááŸááá±áá«áá áá»áœááºá¯ááºáá¶ááŸáá±ážááá¯á·áá±á¬ ai áááºáá±á·áá»áºááẠááá·áºá¡ááœááºážá ááŸááá±áá«áááºá á ááºáá¯á¶ážá
error áááºááá¯á·ááŒá áºááá¯ááºááááºážá á¡á±á¬ááºáá«ááá¬ážááœááºáá±á¬áºááŒáá¬ážáá±á¬ ááá á¹á áá»á¬ážááœáẠá¡ááŸá¬ážá¡ááœááºážááŒá áºááœá¬ážááá¯ááºáááº-
áá¯á¶ 13.III
áááºáá¶áááŸáááá·áºáá±áá¬áá
áºááá¯ááºááœáẠáááºáá±á¬ááºáá¬ážáá±á¬ á
ááºáá¯á¶ážááœáẠááŒá
áºááá¯ááºáá»á±ááŸááá±á¬ áá¯ááºáá¶áá«ááºááá¬ážáá±á¬ áááºáá±á·áá»áºáá
áºáá¯ááŸáá·áº áááºááá¯ááºááá·áº áá±á¬ááºáááºá¡ááŸááºáá
áºáá¯ááŸááá±áá«áá áááºážáááºáá±á·áá»áºáá»á¬ážáá²á០áááºááá·áºá¡áá¬ááᯠáá±ážááá¯á·áá¬ážáááºááᯠáááºááá¯á¶ážááŒááºááá¯ááºáá±á¬ááŒá±á¬áá·áº ááá¯á·ááœáŸááºá
ááºá¡ááœááºáž á¡ááŸá¬ážá¡ááœááºážáá
áºáᯠááŒá
áºááœá¬ážáá²á·áááºá áá±ážááá¯á·áá¬ážáá±á¬ áááºáá±á·áá»áºááẠáááºážááŸáá·áºáááºááá¯ááºááá·áºá¡áá»ááºááẠá
ááºáá¯á¶ážá¡ááœááºážááœááºáá¬ááŸáááŒá®áž áá°áá®áá±á¬á
ááºáá¯á¶ážá¡ááœááºážááŸá áá±ážáá¬ážááá·áºáá¯ááºááœáẠá¡ááŒá¬ážá¡ááŸááºáá»á¬áž áááŒá
áºááá¯ááºáá«á á¡ááŸá¬ážá¡ááœááºážáááºážáá«áááºá
áááºáá±á·áá»áº ai ááá¯á·áá«á Pe á¡ááŸá¬ážááŒá áºááá¯ááºááŒá±á¡ááœáẠáááºá¹áá»á¬áá®áá»áŸááŒááºážáá áºáá¯ááŸááááºá
áá¯áááá¡áá¯á¶ážá¡ááŸá¯ááºážááœáẠáááá¡áá»ááºááᯠ1 á¡ááŒá
áºáá°á áááºáá¯ááºááá¯ááºáááºá ááá¯á·ááŒá±á¬áá·áº ááá®áá»áŸááŸá¯ááᯠáááŸááááºá
áá«áá¬áááá¬áá«áááº
á€á¡áááºááŸ
áá¬áááºááŸá áá±á¬ááºáá¯á¶ážáááºáááºážááᯠááŒááºáááºáá»áŸá±á¬ááºáá¬ážáá«á
n áá¯á¶áá±á¬ááºá¡á±á¬ááºáá°áá«á áááá¡áá±á«áºá¡áá±á«áºááᯠááŸá
áºáááºááá±á¬áẠáá±ážáááºá¡á±á¬áẠáá°ááá¯ááºáááºá á¡áá»áá¯á·áá±á¬ áá¶áá«áẠd áááºáááºážáááºáᯠááá¯ááá¯ááºáááºá áá«ááŒá±á¬áá·áº áá«ááá¯á·ááŸá¬ááŸááááºá
ááᯠN bit áá»á¬ážáá«ááŸááá±á¬ M áááºáá±á·áá»áºáá»á¬ážááᯠencode áá¯ááºáááºá¡ááœáẠááá¯ážááŸááºážáá±á¬á¡á
á¬ážááá¯ážáá¯ááºáá
áºáá¯ááᯠáááºááá¯á·áááºáá±á¬ááºááá¯ááºáááºááᯠáá±á·áá¬ááŒáá·áºááŒáá«á
áá¯á·á áá¯ááºáá
áºáá¯ááᯠáááºááá¯á·áááºáá±á¬ááºááááºááᯠá¡ááá¡áá»áááááŒááºáž (á¡ááŸá¬ážááŒááºáááºááŒááºážáá¯ááºáá»á¬ážááᯠááá®ááœááºááá±ážáá«) Shannon ááẠáá»áááºážáá¯ááºááᯠááœá±ážáá»ááºáá²á·áááºá áááºáá±á·áá»áºááŸá n áá
áºáá
áºáá¯á
á®á¡ááœáẠá¡ááŒáœá±á
á±á·áá
áºáá¯ááá¯ááŸááºááŒá®áž M áááºáá±á·áá»áºáá»á¬ážá¡ááœáẠáá¯ááºáááºážá
ááºááᯠááŒááºáá¯ááºáá«á á
á¯á
á¯áá±á«ááºážá nM á¡ááŒáœá±á
á±á·ááŸááºááẠááá¯á¡ááºáá±á¬ááŒá±á¬áá·áº ááŒá
áºááá¯ááºáááºá
áá°áá®áá±á¬ááŒá
áºááá¯ááºááŒá± ÂœnM ááŸááá±á¬ áá¯ááºá¡áááá¬ááºáá»á¬ážá áá¯ááºáá«áááºáá áá¯ááºá
á¬á¡á¯ááºáááºáá®ážááŒááºážá áá»áááºážáá¯ááºáááºážá
ááºááẠáááºáá°áá»á¬ážááŒá
áºááá¯ááºáá»á±ááŸáááŒá®áž áá
áºáá¯ááŸáá·áºáá
áºáá¯áá®ážáááºáá±ááá·áº áá¯ááºá¡ááŸááºáá»á¬ážááẠááŒá
áºááá¯ááºáá»á±ááŸááá±á¬ á¡ááŸá¬ážá¡ááœááºážáá»á¬ážááááºážááŒá
áºááŒá
áºáá¬ááá¯ááºáááºáᯠááá¯ááá¯áááºá ááœá±ážáá»ááºáá¬ážáá±á¬ error á¡ááá·áºááẠáá¬ááœááºáá±á¬ ááŒá
áºááá¯ááºááŒá±ááŸááá±á¬ á€á¡áá¬ááẠáááŒá
áºáá«áá áá±ážáá¬ážáá±á¬ n ááẠáá¯á¶áá±á¬ááºáááºáᯠáááºáá±ááŒááá«áááºá
á¡áá±ážááŒá®ážáá±á¬á¡áá»ááºááŸá¬ Shannon ááẠáá»ááºážáá»áŸá¡ááŸá¬ážááá¯ááŸá¬ááœá±ááẠááŒá
áºááá¯ááºááá·áºáá¯ááºá
á¬á¡á¯ááºáá»á¬ážá¡á¬ážáá¯á¶ážááᯠáá»ááºážáá»áŸá¡á¬áž áá±ážáá²á·áááºá ááŒá
áºááá¯ááºáá»á±ááŸááá±á¬ áá»áááºážáá¯ááºá
á¬á¡á¯ááºáá»á¬ážá¡á
á¯ááœáẠáá»ááºážáá»áŸáááºááá¯ážááᯠáá±á¬áºááŒáááºá¡ááœáẠAv[.] áááºá¹áá±áááᯠá¡áá¯á¶ážááŒá¯áá«áááºá ááááºážáá±áá
áºáá¯ááẠd ááẠáá»ááºážáá»áŸá¡á¬ážááŒáá·áº ááááºážáá±ááá¯áá±ážáááºá á¡áááºááŒá±á¬áá·áºááá¯áá±á¬áº áá»ááºážáá»áŸááááºážáá
áºáá¯á
á®ááẠáá±á«ááºážáááºááŸáá¡ááŒá¬ážááááºážááá¯ááºážááŸáá·áº áá°áá®áá±á¬ááŒá±á¬áá·áºá
ááá¯ážááá¯ááºááẠ(M-1 á០M ááá¯á·)
áá±ážáá¬ážááá·áº áááºáá±á·áá»áºáá
áºáá¯á¡ááœááºá áá¯ááºá
á¬á¡á¯ááºáá»á¬ážá¡á¬ážáá¯á¶ážááœáẠáá»ááºážáá»áŸá¡á¬ážááŒáá·áºá áá¯ááºáá¯ááºááẠááŒá
áºááá¯ááºááá·áºáááºááá¯ážáá»á¬ážá¡á¬ážáá¯á¶ážááᯠááŒááºá á¡áá¯ááºáá¯ááºáááºá ááá¯á·ááŒá±á¬áá·áº á¡ááŸááºááẠá
ááºáá¯á¶ážáá
áºáá¯á¡ááœááºážááŸá ááŒá
áºááá¯ááºááŒá±ááŸááá±á¬ áá»ááºážáá»áŸááŒá
áºááá¯ááºááŒá±ááẠá
ááºáá¯á¶ážáá¡áá¶á¡ááá¯ážá¡áá»ááºá á¡áá»áá¯ážá¡á
á¬ážááŸáá·áº áá±áá¬ááœáẠá
á¯á
á¯áá±á«ááºážááá¯áááºááŒá
áºáááºá á
ááºáá¯á¶ážá áá¯áááºáááº
s=Q+e2 <1/2 ááŸáá·áº ns ááẠááááºážááŒáá·áºááŒá
áºááááºá
áá¬áááºááŸá áá±á¬ááºáá¯á¶ážááááºážááẠá€áá±á«ááºážáááºááœáẠá¡ááŒá®ážáá¯á¶ážááŒá áºáááºá ááááŠážá áœá¬á Factorials á¡ááœáẠStirling áá±á¬áºááŒá°áá¬ááᯠá¡áá¯á¶ážááŒá¯á áááºážááááºááá¯ážááᯠááá·áºááŸááºážááŒáá·áºááŒáá«á áá¯á·á áááºážáá±á¬áẠááááºážáááŸá±á·ááŸá ááááºážááá¬ááºážá áá»á±á¬á·áá»áá¬ááŸá¯ááᯠááŒáá·áºáááºááŒá áºááŒá®ážá áááºáááºááá¯á·ááœáŸá±á·ááá·áºá¡áá« á€ááááºážááááºáž ááá¯ážáá¬áááºááᯠáááááŒá¯áá«á ááá¯á·ááŒá±á¬áá·áº áá»áœááºá¯ááºááá¯á·áá¯ááºááá¯ááºáááº- (á) áá±á«ááºážáááºáááºááá¯ážááᯠáá»á®á©áá±ááŒá®ááá¯ážáááºááŸá¯á áá±á«ááºážáááºááŸáá·áº ááá·áºáááºáá¬ážáááºá á€áááŠážááááºážááááºážá (á) áá»á®á©áá±ááŒá®ááá¯ážáááºááŸá¯ááᯠns áá±á«áá¬ááá»á¬ážáá¶á០á¡áá¯á¶ážáááŸááá±á¬ ááááºážááá¬ááºážáá»á¬ážá¡áá áá»á²á·ááœááºáá«á (á) á¡ááá¹ááá»á®á©áá±ááŒá®ááá¯ážáááºááŸá¯á áá±á«ááºážáááºááᯠááœááºáá»ááºáá« (á á¶á¡áá¹ááá¬áááºá¹áá»á¬á áá°ážáá°ážááŒá¬ážááŒá¬ážáááŸááá«)á áá±á¬ááºáá¯á¶ážááœáẠá¡ááá·áºá¡áááºáááºááá¯ážááᯠááá°áá« (áá¯á¶áá±á¬ááºáá±á¬ááŒá®ážáá¬ážáá±á¬á¡ááœááºá n):
Entropy H(s) ááẠbinomial á¡áá±á¬ááºá¡áá¬ážááœáẠáááºááá¯á·áá±á«áºáá¬áááºááᯠáááááŒá¯áá«á Taylor á
á®ážáá®ážáá»á²á·ááœááºááŸá¯ H(s)=H(Q+e2) ááẠááá áááºážáááºáá¬ááŸá¯ááŸáá·áº á¡ááŒá¬ážá¡áá¬á¡á¬ážáá¯á¶ážááᯠáá»á
áºáá»á°ááŸá¯áá¬ážááŒááºážáá¬ááŒá
áºááŒá®áž áááŸááá¬áá±á¬ ááá·áºááŸááºážáá»ááºááᯠáááááŒá¯áá«á áá² áá±á¬ááºáá¯á¶ážá¡áá¯á¶ážá¡ááŸá¯ááºážááᯠá
á¯á
ááºážááá¯ááºáá¡á±á¬ááºá
áááºááŸá¬
áá»áœááºáá±á¬áºááá¯á·áá¯ááºáááŸá¬á e2 ááŒá
áºáá²á· e3 < e1 ááᯠááœá±ážáá«á ááŒá®ážáá±á¬á· n á áá¯á¶áá±á¬ááºáááœá±á· áá±á¬ááºáá¯á¶áž ááááºážá ááááºáááᯠáá±ážáá±áááá·áºáááºá ááá¯á·ááŒá±á¬áá·áºá áá»ááºážáá»áŸ PE á¡ááŸá¬ážá¡ááœááºážááẠáá»ááºáááºá
áœááºážááẠC ááŸáá·áº áá®ážááœááºážáááŒáá·áº á¡ááá¯ááŸáááá±á¬áẠáá±ážáááºááá¯ááºáááºá
áá¯ááºá¡á¬ážáá¯á¶ážá áá»ááºážáá»áŸááœáẠáá¯á¶áá±á¬ááºáá±á¬ á¡ááŸá¬ážá¡ááœááºáž á¡áááºážáááºááŸááá±áá«áá á¡áááºážáá¯á¶áž áá¯ááºáá
áºáᯠááá·áºáá»á±á¬áºááááºá ááá¯á·ááŒá±á¬áá·áº ááá·áºáá»á±á¬áºáá±á¬ áá¯ááºá
áá
Ạá¡áááºážáá¯á¶ážáá
áºáᯠááŸááá«áááºá á€áááºááŸá¬ Shannon ááŸáááŸááá±á¬á¡áá±ážááŒá®ážáá±á¬ááááºááŒá
áºááẠ- "áá°áá¶áá±á¬áá»ááºáááºá¡ááœáẠShannon ááá®á¡áá¯áá®" ááá¯áá»áœááºá¯ááºá¡áá¯á¶ážááŒá¯áá²á·ááá·áºááá¯ážááŸááºážáá±á¬ binary symmetric channel áááºáá»á¬ážá
áœá¬ááá¯áá±á¬áá±áá°áá»ááŒá
áºáááºáá
áºáá¯á¡ááœáẠáááºážááá¯áááºáá±ááŒáá²á·ááŒá±á¬ááºáž áááááŒá¯ááá·áºáá«áááºá áá±áá°áá»ááá
á¹á
á¡ááœááºá áááºá¹áá»á¬ááœááºáá»ááºááŸá¯áá»á¬ážááẠáá»á¬ážá
áœá¬ááá¯áááŸá¯ááºááœá±ážáá±á¬áºáááºáž á¡áá°á¡ááá»á¬ážááẠá¡ááœááºááœá²ááŒá¬ážááŒááºážáááŸááá±á¬ááŒá±á¬áá·áº ááŒá
áºáááºáá
áºáá¯áá¥ááá¬ááá¯á¡áá¯á¶ážááŒá¯á áá®á¡áá¯áá®áá
á
áºááŸááºáá±á¬á¡áááá¹áá¬ááºááᯠáááŒá¬áááá±á¬áºááŒááá¯ááºáááºá
ááááºááᯠáá±áááºááŒáá·áºáá¡á±á¬ááºá áá»áœááºá¯ááºááá¯á·ááẠâáá¯á¶áá±á¬ááºáá±á¬ ááŒá®ážáá¬ážáá±á¬ nâ á¡ááœáẠáááºáá«áááºáá« áááºáá«ááá²áá² ááŒá±á¬áá±áá«áááºá áá«áá±ááá·áº n á áááºáá±á¬ááºááŒá®ážáá²á á¡áááºá áááºááẠáá»ááºáááºááá¬áááŸáá·áº áá®ážá ááºááŒá®áž ááŸááºáááºáá±á¬áá±áá¬ááœáŸá²ááŒá±á¬ááºážááŸá¯ááᯠáá±áá»á¬á á±ááá¯áá«á á¡ááœááºááŒá®ážáá¬ážáá«áááºá ááááºáá±á¬á·á á¡á²áá«ááᯠáá±á¬ááºááá¯ááºážááŸá¬ áá¯ááºáá¯ááºááá¯á·á¡ááœáẠáá¯á¶áá±á¬ááºáá²á· bits áááºáá±á·ááºá»ááᯠá á¯áá±á¬ááºážááá¯á· á¡ááœááºááŒá¬ááŒá¬á á±á¬áá·áºááá²á·á¡ááœáẠá¡ááœááºááŒá®ážáá¬ážáá«áááºá á€ááá á¹á ááœááºá áá»áááºážáá¯ááºá¡áááá¬ááºáá¡ááœááºá¡á á¬ážááẠááá¯ážááá¯ážááŸááºážááŸááºážááŒá®ážááŒá®ážáá¬ážáá¬ážááŒá áºáááá·áºááẠ(ááá¯á·áá±á¬ááºá ááá¯á¡áááá¬ááºááẠN ááŸáá·áº M ááẠá¡ááœááºááŒá®ážáá¬ážáá±á¬áºáááºáž Mn áá áºá¡á¬ážáá¯á¶ážáá á¬áááºážá¡ááŒáá·áºá¡á á¯á¶ááẠááá¯áá±á¬ááºážáá±á¬áá¯á¶á á¶ááŒáá·áº ááá¯ááºá á¬ážááŒá¯ááááá¯ááºáá«)á
á¡ááŸá¬ážááŒááºáááºááŒááºáž áá¯ááºáá»á¬ážááẠá¡ááœááºááŸááºáá»á¬ážáá±á¬ áááºáá±á·áá»áºááᯠá á±á¬áá·áºááá¯ááºážááŒááºážá០ááŸá±á¬ááºááŒááºááŒá®áž á¡ááœááºááŒá®ážáá¬ážáá±á¬ áá¯ááºá á¬á¡á¯ááºáá»á¬ážááŸáá áºááá·áº áááºážááᯠáá¯ááºá á¬á¡á¯ááºáá»á¬ážááŸáá áºááá·áº áá¯ááºááŸááºááŒááºážáá»á¬ážááᯠááŸá±á¬ááºááŒááºáᬠáá¬áá¬ááºááœááºáá»ááºááŸá¯áá»á¬ážááᯠá¡á á¬ážááŸá±á¬ááºáá«á ááá¯ážááŸááºážáá±á¬áá®á¡áá¯áá®á¡áá ááá¯áá¯ááºáá»á¬ážááẠáá»ááºáááºá áœááºážáááºááᯠáá»ááºážáááºááá¯ááºá áœááºáž áá¯á¶ážááŸá¯á¶ážááœá¬ážáááºááŒá®áž á¡ááŸá¬ážá¡ááœááºážááŸá¯ááºážááᯠáááºáááºááááºážááááºážáá¬ážááá¯ááºáá±á¬áºáááºáž áá¯ááºááẠá¡ááŸá¬ážá¡ááœááºážáá»á¬ážá áœá¬ááᯠááŒá¯ááŒááºáá±á¬á¡áá«ááœáẠáááºážááá¯á·ááẠáá±á¬ááºážááœááºá áœá¬ áá¯ááºáá±á¬ááºááá¯ááºáááºááŒá áºáááºá áá áºáááºážááá¯ááá±á¬áº áááºááẠá¡ááŸá¬ážááŒááºáááºááŒááºážá¡ááœáẠáá»ááºáááºá áœááºážáááºá¡áá»áá¯á·ááᯠááœá²áá±áá±ážáááºááá¯áá«áá áááºááẠá¡ááŸá¬ážááŒááºáááºááŒááºážá áœááºážáááºááᯠá¡áá»áááºá¡áá»á¬ážá á¯ááœáẠá¡áá¯á¶ážááŒá¯ááááºááŒá áºááŒá®ážá ááá¯ááá¯áááºááŸá¬ áá±ážááá¯á·ááá¯ááºáá±á¬ áááºáá±á·áá»áºáá áºáá¯á á®ááœáẠá¡ááŸá¬ážáá»á¬ážá áœá¬ááᯠááŒá¯ááŒááºááááºááŒá áºááŒá®ážá ááá¯ááºáá«á áááºááẠá€á áœááºážáááºááᯠáá¯á¶ážááŸá¯á¶ážááœá¬ážáááºááŒá áºáááºá
áá áºáá»áááºáááºážááŸá¬áááºá á¡áááºááœááºáááºáá±ááŒáá²á·áá±á¬ áá®á¡áá¯áá®ááẠá¡áááá¹áá«ááºáááŸááá±ážáá«á áááá±á¬ááºáá±á¬ áá®áá¬á áá áºáá»á¬ážááẠá¡ááœááºááŸááºáá»á¬ážáá±á¬ áá áºá á¬ááŒá±á¬ááºážáá»á¬ážá¡ááœáẠáááá¹áá¬áá«ážáááºáá±á¬ áá¯ááºááŸááºá áá áºáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯ááááºááᯠááŒááááºá á¥ááá¬áá áºáá¯ááẠááŒááºáááŒáá¯ááºáá»á¬ážáááºááá¯á· áá»á¶áááºážáá¬áá±á¬ ááŒáá¯ááºáá¯áá»á¬ážá áááºážááá¯á·ááẠááá¹áá¬ááŸáá·áº áá±á០áá±ážááœá¬ááœá¬ážáá±á¬á¡áá«á áááºážááá¯á·ááẠáá±áá¬ááááºááá¯á·ááŒááºážááœáẠá¡ááŸá¬ážá¡ááœááºážáá»á¬áž ááá¯áá»á¬ážáá¬áᬠááŒá¯ááŒááºááẠááœááºážá¡á¬ážáá±ážáá¶ááááº- á¡áá»áá¯á·áá±á¬ ááŒáá¯ááºáá¯áá»á¬ážááẠ5 W ááá·áºááᯠáá±ážá áœááºážááá¯ááºáá±á¬ ááá¯áá¬ááŒá¬ážáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯ááŒááŒá®áž á¡áá»áá¯á·ááŸá¬ áá°áá®áá±á¬ á áœááºážá¡ááºááᯠáá±ážá áœááºážááá·áº áá»á°ááá®ážáá¬áž á áœááºážá¡ááºá¡áááºážá¡ááŒá áºáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯ááŒáááºá áá«áá«áá±á¬ááºáá¶á·ááŸá¯á áá«áá«áááá·áºááŒááºážá áá¯ááºááœáŸáá·áºááá·áº áááºážáááºáá»á¬áž á¡ááœááºá¡á á¬áž áá±ážáááºááŒááºážááŸáá·áº ááá¹áá¬áá±á«áºááŸá áááºáá¶ááá·áº áááºážáááºáá»á¬áž á¡ááœááºá¡á á¬áž ááá·áºáááºáá»ááºá á¡áá»ááºááŒááœá¬ážáá¬áááá·áº ááŒá®ážáá¬ážáá±á¬ á¡ááœá¬á¡áá±áž - á€á¡áá¬á¡á¬ážáá¯á¶áž áááºáá±á¬ááºáááºá¡ááœáẠá¡ááŸá¬ážááŒááºáááºááŸá¯ á¡ááá·áºááŒáá·áºáá¬ážáá±á¬ áá¯ááºáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯ááẠááá¯á¡ááºáá«áááºá áááá±á¬ááºáá±á¬áááºááœááºáá±ážá áá áºá
á¡áá±á«áºá á¡áá±á¬ááºá¡áá¬ážááŸá¬ áá¯á¶ážáá¬ážáá²á· n-dimensional space ááᯠááŒááºááŒáá·áºáá¡á±á¬ááºá áááºážááᯠááœá±ážááœá±ážáá¬ááœááºá á ááºáá¯á¶ážá áá¯áááºáá áºáá¯áá¯á¶ážáá®ážáá«ážááẠá¡ááŒááºáá»ááºááŸá¬ááŒááºá¡áá®ážááœáẠá á¯á ááºážáá¬ážáááºááᯠááŒááá²á·ááẠ- ááá¯á·ááŒá±á¬áá·áºá áááºáá¶áááŸáááá·áºá¡áá»ááºááŒááŸá¯áá áºááá¯ááºááœáẠáááºáá±á¬ááºáá¬ážáá±á¬ á ááºáá¯á¶ážááá»ááºááŸá¬ááŒááºá¡áá®ážááœáẠááá¯á·ááá¯ááºáááºááŸá¬ áá±áá»á¬ááá±á¬ááºáá®ážáá«ážáááºá ááá¯ááá¯á·áá±á¬ á ááºáá¯á¶ážá á¡áá»ááºážáááºáááºá ááá¯á·ááŒá±á¬áá·áºá áááºáá¶áááŸááá±á¬ signal ááẠááááºáááᯠá¡ááŸá¬ážá¡ááœááºážáá»á¬ážá áœá¬ááᯠááŒá¯ááŒááºááŒá®ážáá±á¬ááºá nQ ááẠá¡ááŸá¬ážá¡ááœááºážáááŸááá±á¬ á¡áá»ááºááŒáá áºáá¯ááŸáá·áº áá®ážáá®ážáááºááẠááŒá áºááœá¬ážáááºááŸá¬ á¡á¶á·ááŒá áá¬ááá¯ááºáá±á á¡á á±á¬ááá¯ááºážááœáẠáá»áœááºá¯ááºááá¯á· ááœá±ážááœá±ážáá²á·ááá·áº áá»áááºáááºááŸá¯á áœááºážáááºááẠá€ááŒá áºá ááºááᯠáá¬ážáááºááẠáá±á¬á·áá»ááºááŒá áºáááºá á¡ááŸá¬ážááŒááºáááºááá·áº Hamming áá¯ááºáá»á¬ážá¡ááœáẠáááºáá±á¬ááºáá¬ážáá±á¬ á¡áá¬ážáá° á ááºáá¯á¶ážáá»á¬ážááẠáá áºáá¯ááŸáá·áºáá áºáᯠáááºááááºááŒá±á¬ááºáž áááááŒá¯áá«á n-dimensional space ááŸá áá¯á¶áá°áá¶áá®ážáá«ážááŸááá±á¬ á¡ááá¯ááºážá¡áá¬áá»á¬áž á¡áá»á¬ážá¡ááŒá¬ážááẠá¡áááºááŒá±á¬áá·áº áááºáá±áᬠá¡á¬áá¬áá¡ááœááºáž M á ááºáá¯á¶ážáá»á¬ážááŸáá·áº á¡á¶ááá¯ááºááá¯ááºáááºááᯠááŒááááºá áá¯ááºááœáá·áºáá±á ááºá¡ááœááºáž á¡ááŸá¬ážá¡ááœááºážá¡áááºážáááºáá»áŸáᬠááŒá áºáá±á«áºá á±ááá¯ááºááá·áº áá±ážáááºáá±á¬á ááááºáááᯠáá±ážáááºáá±á¬ áááºáá±ááŸá¯ááᯠáá»áœááºá¯ááºááá¯á· ááœáá·áºááŒá¯áá«áá áá»áœááºá¯ááºááá¯á·ááẠá¡á¬áá¬áá¡ááœááºáž á ááºáá¯á¶ážáá»á¬áž áá°áááºá áœá¬ áá±áá¬áá»áá¬ážááŸá¯ááᯠáááŸáááá¯ááºáá«áááºá Hamming ááẠá¡ááŸá¬ážááŒááºáááºááŒááºážá¡ááá·áºá¡áá»áá¯á·ááᯠá¡á¬ááá¶áááºá Shannon - á¡ááŸá¬ážá¡ááœááºážááŒá áºááá¯ááºááŒá±áááºážáá±á¬áºáááºáž áá áºáá»áááºáááºážááœáẠHamming áá¯ááºáá»á¬ážááá¯ááºáá±á¬ááºááá¯ááºááá·áº áááºááœááºáá±ážáááºážááŒá±á¬ááºážáá áœááºážáááºááŸáá·áº áá®ážáá®ážáááºáááºáá±á á¡ááŸááºááááºááŒááºáááºážááŸá¯ááᯠááááºážááááºážáá¬ážáááºá
ááááºážá¡áá»ááºá¡áááºáá®á¡áá¯áá®ááẠáááá±á¬ááºáá±á¬á áá áºáá áºáá¯ááᯠáááºáá²á·ááá¯á· áá®ááá¯ááºážááœá²ááááºááᯠáá»áœááºá¯ááºááá¯á·á¡á¬áž áááŒá±á¬ááŒáá±á¬áºáááºáž áááá±á¬ááºáá±á¬áááºááœááºáá±ážá áá áºáá»á¬ážáá®ááá¯á· ááœáŸááºááŒáááºá áááºážááẠá ááºááŸá ááºáááºááœááºááŸá¯á áá áºáá»á¬ážáááºáá±á¬ááºáááºá¡ááœáẠá¡ááá¯ážáááºáááááá¬áá áºáá¯ááŒá áºáá±á¬áºáááºáž á¡á á±á¬ááá¯ááºážááœááºáá±á¬áºááŒáá²á·ááá·áºá¡ááá¯ááºážá áááºážááẠáá°áá¬ážá¡áá»ááºážáá»ááºážáááºááœááºáá¯á¶ááŸáá·áºáááºáááºá á¡áááºážáááºáá¬áááºááá¯ááºáá«áááºá áá®ááá±áááá¯ááºáᬠá¡ááœá±áááºáá¶ááŸá¯ááẠáááºážááá¬ááá¯ááºáᬠáááºááœááºáá±ážá áá áºáá»á¬ážáá²á·ááá¯á· áááºáá»áŸá¡ááá¯ááºážá¡áá¬á¡áá áááááá¯ááºáá±á¬ááŒá±á¬áá·áº ááááºážá¡áá»ááºá¡áááºáá®á¡áá¯áá®ááẠáá»áá¯ážáá®áááŸáá·áº áááºááá¯á·áááºááá¯ááºááŒá±á¬ááºáž áá±á¬áá±á¬áááºááœáẠááŸááºážáááºážá áœá¬ áááááá±ážáá«á ááŒáá¯ážá á¬ážáááºááŸááœá²á áá»áœááºá¯ááºááá¯á·ááœáẠááœá±ážáá»ááºá áá¬áááŸááá«á á¡á±á¬ááºááŒááºááŸá¯ááẠá€ááŒá áºá ááºáá ááºááá¹áá¬ááºááᯠáá»áœááºá¯ááºááá¯á·á¡á¬áž ááŒááá«áá áá»ááŸá¯á¶ážááŸá¯ááẠááááºážá¡áá»ááºá¡áááºááá±á¬ááá¬áá á¡ááŒá¬ážáá°ážááŒá¬ážáá±á¬ááŸá¯áá±á¬áá·áºáá»á¬ážááᯠááœáŸááºááŒáááºááŒá áºáááºá
á¡ááœááºá¡áá»áœá¶áááœááºáá²áá¡á±á¬ááºá áá°áááºážá¡áááá¹áá«ááºááœáá·áºááá¯áá»ááºá¡á¬ážáá¯á¶ážááẠáá»áœááºá¯ááºááá¯á·ááá°ááá¯á¶ááŒááºáá»ááºáá»á¬ážá á¡ááŸá áºáá¬áááᯠáá±á¬áºááŒááááºááŒá áºáá±á¬áºáááºáž á¡ááá¯ááºážá¡áá¬áá áºáá¯á¡áá áá¯á¶áá»ááºáááºážáá»ááºááŒáá·áº ááœááºááŒááºááá¹ááá¬ááŒá áºáá±áá±á¬ááŒá±á¬áá·áº á¡áá¯á¶ážáá»ááááá«á áá±á¬ááºáá¯á¶ážááœááºá áá»áœááºá¯ááºááá¯á·á¡áá¯á¶ážááŒá¯áá±á¬ á¡áááá¹áá«ááºááœáá·áºááá¯áá»ááºááẠá¡ááŸá áºáá¬áááᯠá¡ááŸááºááááºáááºááŸááºááŒá±á¬ááºáž á¡á ááºá¡áá¬á¡á áááºáá¶áá¬ážáááºá ááá¯á·áá±á¬áºá áááºážááẠá¡áá¬áá»á¬ážááᯠáááºááá¯á·áá¯ááºáá±á¬ááºááááºááá¯áᬠááŒá±á¬ááŒááŒá®áž áá»áœááºá¯ááºááá¯á·á¡á¬áž áááºááá·áºá¡áááá¹áá¬ááºááá¯áá»áŸ áá±á¬áºááŒáááºááá¯ááºáá«á postulational approach ááẠáááºá¹áá»á¬á ááºááá¯ááºážáá»á¬ážááœáẠááŒááºážááŒááºážáááºááẠáá»ááºááŸá¬áá¬áá±ážáá±á¬ááŒá±á¬áá·áº áááºááœá±á·ááœáẠáá»á¬ážá áœá¬á¡ááá¯ááŸáááẠáá»ááºáá¬ážáá²á·ááẠá
ááᯠáá»áœááºá¯ááºááá¯á·ááẠá¡áá¯ááºáá»á°á ááºážáááºááŸá¯á á¥ááá¬ááᯠááŒáá·áºááŒá®áž á¡áááá¹áá«ááºááœáá·áºááá¯áá»ááºááẠáááºááŒáá¯ááºááŸá áºáááºááá·áºá¡ááá¯ááºáž á ááºááá¯ááºážáá¯á¶ááŒá áºááŒá®áž ááááºá¡ááŒá Ạá¡áááºááŸá¬ážá á±ááá·áº ááá°áá¬ááᯠááŒáá·áºáá«áááºá áá¬ááºáááºá¥á¬ááºááœá±ážááᯠááá¯ááºážáá¬ááẠá á¬áá±ážááœá²áá áºáᯠáááºáá®ážáá¬ážáááºá áááºážááᯠáááºááá¯ááºááá»áŸ áááááºáááºážááŒá áºá¡á±á¬áẠááŒááºáááºááŒááºáááºááŒá®ážáá±á¬áẠáááºážááᯠáá¯ááºáá±ááŒá®áž ááá¯ážááŸááºážáá±á¬áááºážáááºážááŒáá·áº áá»áááºááŸááᬠâáá¬ááºáááºáá¬ááºááœá±ážâ ááá¯ááºážáá¬ááŸá¯ááᯠáá¯á¶ááŸááºá¡ááá¯ááºáž ááŒáá·áºáá±ááœá¬ážá á±ááẠ(áá¯á¶ááŸááºá¡ááá¯ááºáž áá»áááºááŸááá»ááºážááœá±ážáá±á«áºááœááº) áá»áááºááŸááá¬ážáááºá á¡áááá¹áá«ááºááœáá·áºááá¯áá»ááºá¡á¬ážáá¯á¶ážááᯠáááá¡ááŒáááºá¡ááá¯ááŒá¯ááá·áºá¡áá«áá¬áá áá±á¬ááºááá¯ááºážááœáẠáá±á¬ááºáá»ááºááœá²áá¬ááœáẠá¡áá¯á¶ážááŒá¯ááá·áºá¡áá«ááœááºáááºáž ááŒááºáááºá á áºáá±ážááááºááŒá áºáááºá ááŒá¿áá¬ááŒá±ááŸááºážááŒááºážá¡ááœáẠá¡áááá¹áá¬ááºááœáá·áºááá¯áá»áẠáááºááááááºáá»á¬ážááẠáááºááá·áºá¡ááá¯ááºážá¡áá¬á¡áá ááá·áºáá»á±á¬áºááááºážá áááºáááºáá áºáá¯ááœáẠáá±ážáá¬ážáá±á¬ á¡áááá¹áá«ááºááœáá·áºááá¯áá»ááºáá»á¬ážááᯠáááºáá»áŸááŒá¬ááŒá¬ ááœá²ááŒá¬ážáá±á¬ áááºáááºáá»á¬ážááœáẠá¡áá¯á¶ážáá»ááá¯ááºááááºážá áá«á áááŒá¬áá ááŒá áºáááºáá«áááºá ááá·áºááááœáẠáááœá²áááœá±ááŒá¯á¶ááœá±á·áááá·áº áá°á·áá±á¬áááœááºá á€á¡áá¬ááẠááá¯ááááŒá¬ááááŒá áºáááºáááºá
ááá¯á·ááŒá±á¬áá·áºá ááááºážá¡áá»ááºá¡áááºáá®á¡áá¯áá®á á€áááºááŒááŸá¯á áááºááœááºáá»ááºáá»á¬ážáá²á០áá áºáá¯ááẠáááºážáá¡áá¯á¶ážáááºááŸá¯ááᯠááá¯ááºááŒááŒááºážá¡ááŒááºá ááá·áºá¡á¬áž á€á¡áá¹ááá¬ááºááᯠááááá±ážááẠááá¯á·ááá¯áẠááá¯áá»ááºáá±á¬ááááºáááŸáááẠáááºážááᯠáááºááá¯á·á¡áá¯á¶ážááŒá¯ááááºááᯠá¡ááá¡áá»ááŒááááºááŒá áºáááºá áááŠáž á¡áááá¹áá«ááºááœáá·áºááá¯áá»ááºáá»á¬ážááẠáááºáááºáá¬ážáááºááẠáá»á¬ážá áœá¬ááá¯á á¡áá¯á¶ážááœáẠáááºááœá±á·áá±á¬á¡áá¬ááᯠáá¯á¶ážááŒááºááŒá±á¬ááºáž áááááŒá¯áááááºááŸá¬ ááŒá¬áá«ááŒá®á áááŠáž á¡áááá¹áá«ááºááœáá·áºááá¯áá»ááºáá»á¬ážááẠááá·áºáá¶á០á¡á¬áá¯á¶á áá¯ááºááŸá¯áá»á¬ážá áœá¬ ááá¯á¡ááºáááºá áááºááá·áº á¡ááŒá±á¡áá±áá áºááœááºáááᯠááẠá¡áá»áááºá¡ááŒá¬ááŒá®áž áá¯ááºááá¯ááºáá²á·ááá·áº áááºáááºáá»á¬ážááœááºáááºáž ááá¯á¡ááºáá«áááºá á€á¡áá¬á áááŸááá±á¬ááááºáá»á¬ážááẠá¡áá¯á¶ážáááºááá·áºá¡áá¬ááá¯ááºááá·áº á¡ááá¯ááºážá¡áá¬á¡áá áááºáá¬ážáááºááá¯ááºáááºááŒá áºáááºá
Eddington á áá»á±á¬áºááŒá¬ážáá±á¬ áá¬ááºáááºážááẠáááºáááºáá²ááœáẠááá¯ááºááœááºááŒáá·áº áá«ážáááºážáá°áá»á¬ážááᯠááŒá±á¬ááŒáááºá áá°ááá¯á·áááºážáááá²á·áá«ážááœá±áá²á· á¡ááœááºá¡á á¬ážááᯠáá±á·áá¬ááŒá®ážáá±á¬áẠáááºáááºáá²ááŸá¬ ááœá±á·ááŸáááá²á· á¡áááá·áºáá¯á¶ážáá«ážá¡ááœááºá¡á á¬ážááᯠáá¯á¶ážááŒááºáá²á·áá«áááºá áá°ááá¯á·á áá±á¬ááºáá»ááºáá»ááŸá¯ááẠáááºááœá±á·á¡á¬ážááŒáá·áºááá¯ááºáá² á¡áá¯á¶ážááŒá¯ááá·áº áááááá¬ááŒáá·áº ááœááºážá¡á¬ážáá±ážáá²á·áááºá
áááºáááºâŠ
á á¬á¡á¯ááºá áá¬áá¬ááŒááºááŒááºážá á¡ááŒááºá¡áááºááŸáá·áº áá¯ááºáá±ááŒááºážá¡ááœáẠáá°áá®ááá¯áá°áá»á¬ážááẠ- ááá¯ááºáá±ážááá¯ááºáᬠáááºáá±á·áá»áº ááá¯á·ááá¯áẠá¡á®ážáá±ážááºááŒáá·áº áá±ážáá«á [á¡á®ážáá±ážááºááá¯áá¬ááœááºáá¬ážáááº]
á áá¬ážáá ááºá áá»áœááºá¯ááºááá¯á·ááẠá¡ááŒá¬ážá á¬á¡á¯ááºáá±á¬ááºážáá áºá¡á¯ááºá áá¬áá¬ááŒááºááá¯áááºáž áá¯ááºáá±áá²á·áááºá )
á¡áá°ážáááŒáá·áº áá»áœááºá¯ááºááá¯á· ááŸá¬ááœá±áá±áá«áááºá áá¬áá¬ááŒááºáá±ážááá·áºáá°áá»á¬áž á (10 áááá áºá¡ááŒá±á¬ááºážá¡ááœáŸá±á·, ááá 20 ááá¯áá°áá¬ážááŒá®ážááŒá áºáááºá)
á á¬á¡á¯ááºáá« á¡ááŒá±á¬ááºážá¡áá¬áá»á¬ážááŸáá·áº áá¬áá¬ááŒááºá¡áááºážáá»á¬áž
- The Art of Doing Science and Engineering- áááºáá°ááŒááºáž (áááºá ááá áááá )
- "áá áºáá»á áºááẠ(ááá®áá¬áá±á¬) áá±á¬áºááŸááºáá±ážá á¡ááŒá±áá¶áá»á¬áž" (áááºá 30á 1995)
- "ááœááºááŒá°áá¬áá»á¬ážááááá¯ááºáž-áá¬á·ááºáá²" (áááºá 31á 1995)
- "ááœááºááŒá°áá¬áá»á¬ážááááá¯ááºáž-áá±á¬á·ááºáá²" (á§ááŒá® 4á 1995)
- "ááœááºááŒá°áá¬áá»á¬ážááááá¯ááºáž - á¡áá¯á¶ážáá»ááŸá¯áá»á¬áž" (á§ááŒá®á 6á 1995)
- "Artificial Intelligence - Part I" (á§ááŒá® 7á 1995)
- "Artificial Intelligence - Part II" (á§ááŒá® 11á 1995)
- "Artificial Intelligence III" (á§ááŒá® 13á 1995)
- "n-Dimensional Space" (á§ááŒá® ááá áááá )
- "Coding Theory - ááááºážá¡áá»ááºá¡áááºáááá¯ááºá á¬ážááŒá¯ááŸá¯á á¡ááá¯ááºáž á" (á§ááŒá® ááá áááá )
- "Coding Theory - ááááºážá¡áá»ááºá¡áááºáááá¯ááºá á¬ážááŒá¯ááŸá¯á á¡ááá¯ááºáž II" (á§ááŒá® 20á 1995)
- "á¡ááŸá¬áž-ááŒááºáá¯ááºáá»á¬áž" (á§ááŒá® 21á 1995)
- "ááááºážá¡áá»ááºá¡áááºáá®á¡áá¯áá®" (á§ááŒá® 25á 1995)
- "áá áºáá»á áºááẠá á áºáá¯ááºááŸá¯áá»á¬ážá á¡ááá¯ááºáž á" (á§ááŒá® ááá áááá )
- "áá áºáá»á áºááẠá á áºáá¯ááºááŸá¯áá»á¬ážá á¡ááá¯ááºáž á" (á§ááŒá® ááá áááá )
- "áá áºáá»á áºááẠá á áºáá¯ááºááŸá¯áá»á¬ážá á¡ááá¯ááºáž III" (áá±á 2á 1995)
- "áá áºáá»á áºááẠá á áºáá¯ááºááŸá¯áá»á¬ážá á¡ááá¯ááºáž IV" (áá± 4á 1995)
- "ááá¯ááºááááºá á¡ááá¯ááºáž á" (áá± á á áááá )á
- "ááá¯ááºááááºá á¡ááá¯ááºáž á" (áááá áá¯ááŸá áºá áá±á á áááº)
- "ááá¯ááºááááºá á¡ááá¯ááºáž III" (áá± 11á 1995)
- "Fiber Optics" (áá± 12á 1995)
- "ááœááºááŒá°áᬠá¡áá±á¬ááºá¡áá°ááŒá¯ ááœáŸááºááŒá¬ážáá»ááº" (áá±á ááá áááá )
- "áááºá¹áá»á¬" (áá± ááá áááá )á
- "ááœááºáááºááá¹áááºážáá áºáá»á¬áž" (áá± 19á 1995)
- "áááºáá®ážááŸá¯" (áá±á 23á 1995)á áá¬áá¬ááŒááº-
- "áá»áœááºážáá»ááºáá°áá»á¬áž" (áá±á 25á 1995)
- "áá¯á¶ááŒááºá áááºáá»ááá±á¬áá±áá¬" (áá± 26á 1995)
- "Systems Engineering" (áá± 30á 1995)á
- "áááºááá¯ááºážáá¬áá±á¬á¡áá¬ááá¯áááºááá°áááº" (ááœááºá 1á 1995)
- (ááœááºá 2, 1995) 10 áááá áºá¡ááá¯ááºážááá¯ááºážááŒáá·áºáá¬áá¬ááŒááºáá«á
- Hammingá âáááºááŸáá·áº áááºááá¯áá±ááâ (ááœáẠáá áááá )á
á á¬á¡á¯ááºá áá¬áá¬ááŒááºááŒááºážá á¡ááŒááºá¡áááºááŸáá·áº áá¯ááºáá±ááŒááºážá¡ááœáẠáá°áá®ááá¯áá°áá»á¬ážááẠ- ááá¯ááºáá±ážááá¯ááºáᬠáááºáá±á·áá»áº ááá¯á·ááá¯áẠá¡á®ážáá±ážááºááŒáá·áº áá±ážáá«á [á¡á®ážáá±ážááºááá¯áá¬ááœááºáá¬ážáááº]
source: www.habr.com