Ричард Хэминг: Боби 13. Назарияи иттилоот

Мо инро кардем!

"Мақсади ин курс омода кардани шумо барои ояндаи техникии шумост."

Ричард Хэминг: Боби 13. Назарияи иттилоотСалом, Хабр. Мақолаи аҷибро дар хотир доред "Шумо ва кори шумо" (+219, 2588 хатчӯб, 429 ҳазор хондан)?

Ҳамин тавр, Ҳамминг (ҳа, ҳа, худидоракунии назорат ва ислоҳи худ Рамзҳои Ҳамминг) як том вуҷуд дорад як китоб, аз руи лекцияхои у навишта шудааст. Тарчума мекунем, зеро мард фикри худро мегуяд.

Ин китоб на танҳо дар бораи IT аст, он китоб дар бораи услуби тафаккури одамони бениҳоят сард аст. «Ин на танҳо афзоиши тафаккури мусбӣ аст; дар он шароитхое тасвир карда шудаанд, ки имкониятхои ичрои корхои бузургро зиёд мекунанд».

Ташаккур ба Андрей Пахомов барои тарҷума.

Назарияи иттилоотро С.Э.Шеннон дар охири солҳои 1940 таҳия кардааст. Роҳбарияти Bell Labs исрор карданд, ки вай онро "Назарияи коммуникатсия" номид, зеро ... ин номи хеле дақиқтар аст. Бо сабабҳои маълум, номи "Назарияи иттилоот" ба ҷомеа таъсири бештар дорад, бинобар ин Шеннон онро интихоб кард ва ин номест, ки мо то имрӯз медонем. Худи ин ном нишон медиҳад, ки назария бо иттилоот сарукор дорад, ки ин муҳим аст, зеро мо ба асри иттилооти амиқтар ҳаракат мекунем. Дар ин боб, ман ба якчанд хулосаҳои асосии ин назария дахл хоҳам кард, ман далелҳои қатъӣ, балки интуитивии баъзе муқаррароти ин назарияро пешкаш мекунам, то шумо бифаҳмед, ки "Назарияи иттилоот" воқеан чист ва шумо метавонед онро дар куҷо татбиқ кунед. ва дар куҷо не.

Пеш аз ҳама, «маълумот» чист? Шеннон маълумотро бо номуайянӣ баробар мекунад. Вай логарифми манфии эҳтимолияти ҳодисаро ҳамчун ченаки миқдории иттилооте, ки шумо ҳангоми рух додани ҳодиса бо эҳтимолияти p ба даст меоред, интихоб кард. Масалан, агар ман ба шумо гӯям, ки ҳаво дар Лос-Анҷелес туман аст, пас p ба 1 наздик аст, ки воқеан ба мо маълумоти зиёд намедиҳад. Аммо агар гӯям, ки дар моҳи июн дар Монтерей борон меборад, дар паём номуайянӣ пайдо мешавад ва он маълумоти бештарро дарбар мегирад. Ҳодисаи боэътимод ягон маълумотро дар бар намегирад, зеро log 1 = 0.

Биёед инро муфассалтар дида бароем. Шеннон чунин мешуморид, ки ченаки миқдории иттилоот бояд функсияи доимии эҳтимолияти ҳодиса p бошад ва барои рӯйдодҳои мустақил он бояд илова бошад - миқдори иттилооте, ки дар натиҷаи пайдоиши ду ҳодисаи мустақил ба даст омадааст, бояд ба микдори маълумоте, ки дар натичаи руй додани ходисаи якчоя ба даст омадааст. Масалан, натиљаи пардаи зарра ва тангањо одатан чун њодисањои мустаќил баррасї карда мешаванд. Биёед гуфтаҳои болоро ба забони математика тарҷума кунем. Агар I (p) миқдори иттилооте бошад, ки дар ҳодисаи эҳтимолияти p мавҷуд аст, пас барои ҳодисаи муштараке, ки аз ду ҳодисаи мустақил иборат аст x бо эҳтимолияти p1 ва y бо эҳтимолияти p2

Ричард Хэминг: Боби 13. Назарияи иттилоот
(x ва y воқеаҳои мустақил мебошанд)

Ин муодилаи функсионалии Коши аст, ки барои ҳама p1 ва p2 дуруст аст. Барои ҳалли ин муодилаи функсионалӣ, фарз кунем, ки

p1 = p2 = p,

ин медихад

Ричард Хэминг: Боби 13. Назарияи иттилоот

Агар p1 = p2 ва p2 = p

Ричард Хэминг: Боби 13. Назарияи иттилоот

ва ғайра. Васеъ кардани ин раванд бо истифода аз усули стандартӣ барои экспоненсиалҳо, барои ҳама ададҳои рационалӣ m/n ин дуруст аст

Ричард Хэминг: Боби 13. Назарияи иттилоот

Аз давомнокии тахминии ченаки иттилоотӣ чунин бармеояд, ки функсияи логарифмӣ ягона ҳалли доимии муодилаи функсионалии Коши мебошад.

Дар назарияи информатсия маъмул аст, ки асоси логарифм 2 бошад, бинобар ин интихоби дуӣ маҳз 1 бит маълумотро дар бар мегирад. Аз ин рӯ, маълумот бо формула чен карда мешавад

Ричард Хэминг: Боби 13. Назарияи иттилоот

Биёед таваққуф кунем ва бифаҳмем, ки дар боло чӣ рӯй дод. Мо пеш аз хама мафхуми «маълумот»-ро муайян накардаем, мо факат формулаи ченаки микдори онро муайян кардем.

Дуюм, ин тадбир ба номуайянӣ дучор мешавад ва гарчанде ки он барои мошинҳо, масалан, системаҳои телефонӣ, радио, телевизор, компютерҳо ва ғайра мувофиқ аст, аммо он муносибати муқаррарии инсонро нисбат ба иттилоот инъикос намекунад.

Сеюм, ин ченаки нисбӣ аст, аз вазъи кунунии дониши шумо вобаста аст. Агар шумо ба ҷараёни "рақамҳои тасодуфӣ" аз генератори рақамҳои тасодуфӣ назар кунед, шумо гумон мекунед, ки ҳар як рақами навбатӣ номуайян аст, аммо агар шумо формулаи ҳисобкунии "рақамҳои тасодуфиро" донед, рақами навбатӣ маълум мешавад ва аз ин рӯ маълум нест. дорои маълумот мебошанд.

Пас, таърифи информатсияи Шеннон дар бисёр мавридҳо барои мошинҳо мувофиқ аст, аммо ба фаҳмиши инсонии ин калима мувофиқат намекунад. Аз ин рӯ, «Назарияи иттилоот» бояд «Назарияи коммуникатсия» номида мешуд. Бо вуҷуди ин, хеле дер шудааст, ки таърифҳоро тағир диҳед (ки ба назария маъруфияти аввалини худро дод ва то ҳол одамонро водор мекунад, ки ин назария бо "маълумот" сарукор дорад), бинобар ин мо бояд бо онҳо зиндагӣ кунем, аммо дар айни замон шумо бояд равшан фаҳмед, ки таърифи Шеннон дар бораи иттилоот аз маънои маъмулии он то чӣ андоза дур аст. Маълумоти Шеннон бо чизи тамоман дигар, яъне номуайянӣ сарукор дорад.

Дар ин ҷо чизе ҳаст, ки ҳангоми пешниҳоди ягон истилоҳот дар бораи он фикр кардан лозим аст. Таърифи пешниҳодшуда, ба монанди таърифи Шеннон дар бораи иттилоот, бо идеяи аслии шумо чӣ гуна мувофиқат мекунад ва то чӣ андоза он фарқ мекунад? Қариб ҳеҷ истилоҳе вуҷуд надорад, ки диди пешинаи шумо дар бораи консепсияро дақиқ инъикос кунад, аммо дар ниҳоят, ин истилоҳоти истифодашудаест, ки маънои консепсияро инъикос мекунад, бинобар ин расман кардани чизе тавассути таърифҳои равшан ҳамеша садоеро ба вуҷуд меорад.

Системаеро дида мебароем, ки алифбои он аз аломатҳои q бо эҳтимолияти pi иборат аст. Дар ин маврид миқдори миёнаи маълумот дар система (арзиши пешбинишудаи он) ба:

Ричард Хэминг: Боби 13. Назарияи иттилоот

Инро энтропияи система бо тақсимоти эҳтимолият {pi} меноманд. Мо истилоҳи «энтропия»-ро истифода мебарем, зеро ҳамон шакли математикӣ дар термодинамика ва механикаи оморӣ пайдо мешавад. Ин аст, ки истилоҳи "энтропия" дар атрофи худ як аураи муайяни аҳамиятро ба вуҷуд меорад, ки дар ниҳоят асоснок нест. Ҳамон шакли математикии қайд маънои ҳамон тафсири рамзҳоро надорад!

Энтропияи тақсимоти эҳтимолият дар назарияи рамзгузорӣ нақши асосиро мебозад. Нобаробарии Гиббс барои ду тақсимоти эҳтимолии гуногун pi ва qi яке аз оқибатҳои муҳими ин назария мебошад. Пас, мо бояд инро исбот кунем

Ричард Хэминг: Боби 13. Назарияи иттилоот

Исбот ба графики возеҳ асос ёфтааст, расм. 13.I, ки нишон медихад

Ричард Хэминг: Боби 13. Назарияи иттилоот

ва баробарӣ танҳо вақте ба даст меояд, ки x = 1. Нобаробариро ба ҳар як ҷузъи ҷамъ аз тарафи чап татбиқ кунем:

Ричард Хэминг: Боби 13. Назарияи иттилоот

Агар алифбои системаи алоқа аз аломатҳои q иборат бошад, пас эҳтимолияти интиқоли ҳар як аломати qi = 1/q ва иваз кардани q, мо аз нобаробарии Гиббс ба даст меорем.

Ричард Хэминг: Боби 13. Назарияи иттилоот

Ричард Хэминг: Боби 13. Назарияи иттилоот

Расми 13.I

Ин маънои онро дорад, ки агар эҳтимолияти интиқоли ҳамаи рамзҳои q якхела ва ба - 1 / q баробар бошад, он гоҳ максималии энтропия ба ln q баробар аст, вагарна нобаробарӣ нигоҳ дошта мешавад.

Дар сурати коди беҳамто, мо нобаробарии Крафт дорем

Ричард Хэминг: Боби 13. Назарияи иттилоот

Акнун агар мо эҳтимолияти псевдо-эҳтимолиятро муайян кунем

Ричард Хэминг: Боби 13. Назарияи иттилоот

дар куҷо албатта Ричард Хэминг: Боби 13. Назарияи иттилоот= 1, ки аз нобаробарии Гиббс бармеояд,

Ричард Хэминг: Боби 13. Назарияи иттилоот

ва каме алгебра истифода кунед (дар хотир доред, ки K ≤ 1, то истилоҳи логарифмикиро партофта, шояд нобаробарӣ баъдтар мустаҳкам карда шавад), мо мегирем

Ричард Хэминг: Боби 13. Назарияи иттилоот

ки дар он L дарозии миёнаи код аст.

Ҳамин тариқ, энтропия ҳадди ақали бастаи ҳар як рамзи аломат ба аломат бо дарозии миёнаи рамзи L мебошад. Ин теоремаи Шеннон барои канали бидуни дахолат аст.

Акнун теоремаи асосиро дар бораи маҳдудиятҳои системаҳои алоқа баррасӣ кунед, ки дар он информатсия ҳамчун ҷараёни битҳои мустақил интиқол дода мешавад ва садо мавҷуд аст. Маълум аст, ки эҳтимолияти интиқоли дурусти як бит P > 1/2 аст ва эҳтимолияти тағир додани арзиши бит ҳангоми интиқол (хато ба вуҷуд меояд) ба Q = 1 - P баробар аст. Барои роҳат, мо фарз кунем, ки хатогиҳо мустақиланд ва эҳтимолияти хатогӣ барои ҳар як бит фиристодашуда як хел аст - яъне дар канали алоқа "садои сафед" вуҷуд дорад.

Роҳе, ки мо ҷараёни тӯлонии n битро дар як паём рамзгузорӣ мекунем, ин тамдиди n - андозагирии рамзи як-бит мебошад. Мо арзиши n-ро баъдтар муайян мекунем. Паёмеро, ки аз n-битҳо иборат аст, ҳамчун нуқта дар фазои n-ченака баррасӣ кунед. Азбаски мо фазои n-ченака дорем - ва барои соддагӣ мо фарз мекунем, ки ҳар як паём эҳтимолияти пайдоиши якхела дорад - M паёмҳои имконпазир мавҷуданд (М низ баъдтар муайян карда мешавад), бинобар ин эҳтимолияти ҳар як паёми ирсолшуда чунин аст.

Ричард Хэминг: Боби 13. Назарияи иттилоот

Ричард Хэминг: Боби 13. Назарияи иттилоот
(фиристанда)
Замимаи 13.II

Минбаъд, идеяи қобилияти каналро баррасӣ кунед. Бе тафсилот, иқтидори канал ҳамчун миқдори максималии иттилооте муайян карда мешавад, ки тавассути канали алоқа бо назардошти истифодаи рамзгузории самараноктарин интиқол дода мешавад. Ҳеҷ далеле вуҷуд надорад, ки иттилоотро тавассути канали иртиботӣ назар ба қобилияти он интиқол додан мумкин аст. Инро барои канали симметрии бинарӣ исбот кардан мумкин аст (ки мо онро дар ҳолати худ истифода мебарем). Иқтидори канал ҳангоми фиристодани битҳо ҳамчун муайян карда мешавад

Ричард Хэминг: Боби 13. Назарияи иттилоот

ки дар он мисли пештара P эњтимолияти дар ягон бит ирсол накардани хатогињост. Ҳангоми фиристодани n битҳои мустақил, қобилияти канал аз ҷониби дода мешавад

Ричард Хэминг: Боби 13. Назарияи иттилоот

Агар мо ба иқтидори канал наздик бошем, пас мо бояд тақрибан ин миқдор маълумотро барои ҳар як аломати ai, i = 1, ..., M фиристем. Бо назардошти он, ки эҳтимолияти пайдоиши ҳар як аломати ai 1 / М аст, мегирем

Ричард Хэминг: Боби 13. Назарияи иттилоот

вақте ки мо яке аз M паёмҳои эҳтимолии баробар ai мефиристем, мо дорем

Ричард Хэминг: Боби 13. Назарияи иттилоот

Вақте ки n бит фиристода мешавад, мо интизорем, ки хатогиҳои nQ рух медиҳанд. Дар амал, барои паёме, ки аз n-битҳо иборат аст, мо дар паёми қабулшуда тақрибан хатогиҳои nQ дорем. Барои n калон, варианти нисбӣ (вариант = паҳнои тақсимот, )
таксимоти шумораи хатохо баробари зиёд шудани n торафт танг мешавад.

Ҳамин тавр, ман аз ҷониби интиқолдиҳанда паёмро мегирам, то ки дар атрофи он сфера бо радиусаш фиристад ва кашад.

Ричард Хэминг: Боби 13. Назарияи иттилоот

ки ба андозаи баробар ба e2 нисбат ба шумораи пешбинишудаи хатогихои Q каме калонтар аст, (расми 13.II). Агар n ба қадри кофӣ калон бошад, пас эҳтимолияти худсарона хурд будани нуқтаи паём bj дар тарафи қабулкунанда, ки берун аз ин соҳа паҳн мешавад, вуҷуд дорад. Биёед вазъиятро тавре тасвир кунем, ки ман онро аз нуқтаи назари интиқолдиҳанда мебинам: мо ягон радиус аз паёми интиқолшуда ai ба паёми қабулшуда bj дорем, ки эҳтимолияти хатогӣ ба тақсимоти муқаррарӣ баробар (ё қариб баробар), ки ба ҳадди аксар мерасад. дар nQ. Барои ҳар як e2 додашуда n он қадар калон аст, ки эҳтимолияти берун аз доираи ман будани нуқтаи bj ба қадри шумо хурд аст.

Акнун биёед ба хамин вазъият аз тарафи шумо назар андозем (расми 13.III). Дар тарафи қабулкунанда як кураи S(r)-и радиусаш якхела r дар атрофи нуқтаи қабулшудаи bj дар фазои n-ченака мавҷуд аст, ки агар паёми қабулшуда bj дар дохили сфераи ман бошад, пас паёми фиристодаи ман дар дохили шумост. сфера.

Чӣ тавр хатогӣ рӯй дода метавонад? Хатогӣ метавонад дар ҳолатҳои дар ҷадвали зер тавсифшуда рух диҳад:

Ричард Хэминг: Боби 13. Назарияи иттилоот

Расми 13.III

Ричард Хэминг: Боби 13. Назарияи иттилоот

Дар ин ҷо мо мебинем, ки агар дар доирае, ки дар атрофи нуқтаи қабулшуда сохта шудааст, ҳадди аққал як нуқтаи дигар ба паёми эҳтимолии рамзнашуда мувофиқ мавҷуд бошад, пас ҳангоми интиқол хатогӣ рух дод, зеро шумо муайян карда наметавонед, ки кадоме аз ин паёмҳо интиқол дода шудааст. Паёми ирсолшуда танҳо дар сурате хато нест, ки нуқтаи ба он мувофиқ дар сфера бошад ва дар коди додашуда нуқтаҳои дигаре вуҷуд надошта бошанд, ки дар ҳамон сфера бошанд.

Мо як муодилаи математикии эҳтимолияти хатогии Pe дорем, агар паёми ai фиристода шуда бошад

Ричард Хэминг: Боби 13. Назарияи иттилоот

Мо метавонем омили якумро дар муҳлати дуюм партоем ва онро ҳамчун 1 қабул кунем. Ҳамин тавр мо нобаробарӣ мегирем

Ричард Хэминг: Боби 13. Назарияи иттилоот

Ин хеле равшан аст

Ричард Хэминг: Боби 13. Назарияи иттилоот

аз ин рӯ

Ричард Хэминг: Боби 13. Назарияи иттилоот

аз тарафи рост ба мухлати охирин мурочиат кунед

Ричард Хэминг: Боби 13. Назарияи иттилоот

Гирифтани n ба қадри кофӣ калон, истилоҳи аввалро ба қадри дилхоҳ гирифтан мумкин аст, гӯед камтар аз баъзе адад г. Бинобар ин мо дорем

Ричард Хэминг: Боби 13. Назарияи иттилоот

Акнун биёед бубинем, ки чӣ тавр мо метавонем як коди ивазкунандаи оддиро барои рамзгузории M паёмҳои иборат аз n бит созем. Шеннон, ки чӣ тавр дақиқ сохтани кодро намедонист (кодҳои ислоҳи хатогӣ ҳанӯз ихтироъ нашудаанд), Шеннон рамзгузории тасодуфиро интихоб кард. Барои ҳар як n бит дар паём як танга буред ва равандро барои M паём такрор кунед. Дар маҷмӯъ, nM flips танга бояд дод, бинобар ин имконпазир аст

Ричард Хэминг: Боби 13. Назарияи иттилоот

луғатҳои рамзӣ, ки эҳтимолияти якхела доранд ½nM. Албатта, раванди тасодуфии эҷоди китобчаи кодҳо маънои онро дорад, ки эҳтимолияти такрорӣ вуҷуд дорад, инчунин нуқтаҳои рамзӣ, ки ба ҳамдигар наздик мешаванд ва аз ин рӯ манбаи хатогиҳои эҳтимолӣ хоҳанд буд. Бояд исбот кард, ки агар ин бо эњтимолияти калонтар аз ягон сатњи хатогии хурди интихобшуда рух надињад, пас n-и додашуда ба кофї калон аст.
Нуктаи муҳим ин аст, ки Шеннон ҳамаи китобҳои кодҳои имконпазирро барои дарёфти хатои миёна ба ҳисоби миёна ҳисоб кард! Мо аломати Av[.]-ро барои нишон додани арзиши миёна дар маҷмӯи ҳама китобҳои тасодуфии имконпазир истифода хоҳем кард. Ба ҳисоби миёна аз рӯи доимии d, албатта, як доимӣ медиҳад, зеро барои ҳисоби миёна ҳар як истилоҳ бо ҳар як истилоҳи дигари ҷамъ яксон аст,

Ричард Хэминг: Боби 13. Назарияи иттилоот

ки онро зиёд кардан мумкин аст (M-1 ба M меравад)

Ричард Хэминг: Боби 13. Назарияи иттилоот

Барои ҳар як паёми додашуда, ҳангоми ба ҳисоби миёна ҳисоб кардан дар тамоми китобҳои код, рамзгузорӣ аз рӯи ҳамаи арзишҳои имконпазир мегузарад, аз ин рӯ эҳтимолияти миёнаи мавҷудияти нуқта дар сфера таносуби ҳаҷми сфера ба ҳаҷми умумии фазо мебошад. Ҳаҷми сфера аст

Ричард Хэминг: Боби 13. Назарияи иттилоот

ки s=Q+e2 <1/2 ва ns бояд адади бутун бошанд.

Истилоҳи охирин дар тарафи рост бузургтарин дар ин маблағ аст. Аввалан, биёед арзиши онро бо истифода аз формулаи Стирлинг барои факториалҳо ҳисоб кунем. Пас аз он мо омили камшавии истилоҳро дар пеши он дида мебароем, қайд мекунем, ки ҳангоми ба тарафи чап ҳаракат кардан ин омил зиёд мешавад ва аз ин рӯ мо метавонем: (1) арзиши ҷамъро ба ҷамъи прогрессияи геометрӣ бо ин коэффисиенти ибтидоӣ, (2) прогрессияи геометриро аз ns узв то ба шумораи бепоёни истилоҳҳо васеъ кунед, (3) ҷамъи прогрессияи беохири геометриро ҳисоб кунед (алгебраи стандартӣ, ҳеҷ чизи муҳиме нест) ва дар ниҳоят арзиши маҳдудро ба даст оред (барои миқдори кофӣ калон) н):

Ричард Хэминг: Боби 13. Назарияи иттилоот

Аҳамият диҳед, ки чӣ тавр энтропия H(s) дар шахсияти биномӣ пайдо шудааст. Аҳамият диҳед, ки тавсеаи силсилаи Тейлор H(s)=H(Q+e2) тахминеро медиҳад, ки танҳо бо дарназардошти ҳосилаи аввал ва нодида гирифтани ҳамаи дигарон ба даст омадааст. Акнун биёед ибораи ниҳоиро якҷоя кунем:

Ричард Хэминг: Боби 13. Назарияи иттилоот

ки

Ричард Хэминг: Боби 13. Назарияи иттилоот

Мо танҳо бояд e2 -ро интихоб кунем, ки e3 < e1 бошад ва он гоҳ истилоҳи охирин худсарона хурд хоҳад буд, то даме ки n кофӣ калон бошад. Аз ин рӯ, хатогии миёнаи PE-ро метавон то ҳадди дилхоҳ бо иқтидори канал худсарона ба C наздик ба даст овард.
Агар ба ҳисоби миёна ҳамаи рамзҳо хатогии кофӣ дошта бошанд, пас ҳадди аққал як код бояд мувофиқ бошад, аз ин рӯ ҳадди аққал як системаи рамзгузории мувофиқ мавҷуд аст. Ин натиҷаи муҳимест, ки Шеннон ба даст овардааст - "теоремаи Шеннон барои канали ғавғо", гарчанде ки бояд қайд кард, ки вай инро барои як ҳолати умумӣ бештар аз канали симметрии бинарии оддӣ, ки ман истифода бурдам, исбот кардааст. Барои ҳолати умумӣ, ҳисобҳои математикӣ хеле мураккабтаранд, аммо ғояҳо он қадар гуногун нестанд, бинобар ин аксар вақт бо истифода аз мисоли як ҳолати мушаххас шумо метавонед маънои аслии теоремаро ошкор кунед.

Биёед, натиҷаро танқид кунем. Мо борҳо такрор кардем: "Барои n кофӣ калон." Аммо n чӣ қадар калон аст? Хеле, хеле калон, агар шумо дар ҳақиқат хоҳед, ки ҳам ба қобилияти канал наздик шавед ва ҳам ба интиқоли дурусти маълумот боварӣ ҳосил кунед! Он қадар калон, воқеан, ба шумо лозим меояд, ки муддати тӯлонӣ интизор шавед, то паёми битҳои кофӣ ҷамъ кунед, то баъдтар онро рамзгузорӣ кунед. Дар ин ҳолат, андозаи луғати рамзии тасодуфӣ хеле бузург хоҳад буд (охир, чунин луғатро дар шакли кӯтоҳтар аз рӯйхати пурраи ҳамаи битҳои Mn, сарфи назар аз он, ки n ва M хеле калонанд, муаррифӣ кардан мумкин нест)!

Рамзҳои ислоҳи хатогиҳо аз интизории паёми хеле тӯлонӣ худдорӣ мекунанд ва пас аз рамзгузорӣ ва рамзкушоӣ аз он тавассути китобҳои коди хеле калон худдорӣ мекунанд, зеро онҳо худ аз китобҳои кодҳо канорагирӣ мекунанд ва ба ҷои он ҳисобкунии оддиро истифода мебаранд. Дар назарияи оддӣ, чунин рамзҳо майл доранд қобилияти наздик шудан ба иқтидори каналро аз даст медиҳанд ва то ҳол сатҳи пасти хатогиро нигоҳ медоранд, аммо вақте ки код шумораи зиёди хатогиҳоро ислоҳ мекунад, онҳо хуб кор мекунанд. Ба ибораи дигар, агар шумо иқтидори каналро барои ислоҳи хатоҳо ҷудо кунед, пас шумо бояд аксар вақт қобилияти ислоҳи хатоҳоро истифода баред, яъне дар ҳар як паёми ирсолшуда шумораи зиёди хатогиҳо бояд ислоҳ карда шаванд, вагарна ин қобилиятро сарф мекунед.

Дар баробари ин теоремаи дар боло исботшуда хануз бемаънй нест! Он нишон медиҳад, ки системаҳои интиқоли муассир бояд схемаҳои рамзгузории оқилонаро барои сатрҳои хеле дароз истифода баранд. Як мисол шуда метавонад, ки моҳвораҳое, ки берун аз сайёраҳои беруна парвоз кардаанд; Баробари аз Замин ва Офтоб дур шудани онхо мачбур мешаванд, ки хатогихои блоки маълумотхоро торафт бештар ислох кунанд: баъзе радифи маснуъхо панелхои офтобиро истифода мебаранд, ки онхо такрибан 5 Вт кувваи электр медиханд, баъзеи дигар аз манбаъхои энергияи атомй истифода мебаранд, ки такрибан як хел кувваро медиханд. Қувваи ками таъминоти барқ, андозаи хурди табақҳои интиқолдиҳанда ва андозаи маҳдуди табақҳои қабулкунанда дар рӯи Замин, масофаи бузурге, ки сигнал бояд тай кунад - ҳамаи ин истифодаи рамзҳоро бо сатҳи баланди ислоҳи хатогиҳо барои сохтани системаи муассири коммуникатсия.

Биёед ба фазои n-ченакае, ки мо дар далели боло истифода кардем, бармегардем. Ҳангоми муҳокимаи он мо нишон додем, ки қариб тамоми ҳаҷми сфера дар наздикии сатҳи берунӣ мутамарказ шудааст - ҳамин тавр, тақрибан мутмаин аст, ки сигнали фиристодашуда дар наздикии сатҳи сфера, ки дар атрофи сигнали қабулшуда сохта шудааст, ҳатто бо суръати нисбатан радиуси хурди чунин кура. Аз ин рӯ, тааҷҷубовар нест, ки сигнали қабулшуда пас аз ислоҳи шумораи худсарона зиёди хатогиҳо, nQ, худсарона ба сигнали бидуни хато наздик мешавад. Иқтидори пайванде, ки мо қаблан муҳокима кардем, калиди дарки ин падида аст. Аҳамият диҳед, ки соҳаҳои шабеҳе, ки барои ислоҳи хатогиҳои кодҳои Ҳамминг сохта шудаанд, якдигарро такрор намекунанд. Миқдори зиёди андозаҳои тақрибан ортогоналӣ дар фазои n-ченака нишон медиҳад, ки чаро мо метавонем M сфераҳоро дар фазо бо такрори кам ҷойгир кунем. Агар мо ба такрори хурд, худсарона хурд иҷозат диҳем, ки метавонад дар вақти рамзкушоӣ ба шумораи ками хатогиҳо оварда расонад, мо метавонем ҷойгиршавии зиччи сфераҳоро дар фазо ба даст орем. Ҳэмминг сатҳи муайяни ислоҳи хатогиро кафолат дод, Шеннон - эҳтимолияти ками хатогиҳо, аммо дар айни замон нигоҳ доштани интиқоли воқеии худсарона ба қобилияти канали алоқа наздик аст, ки рамзҳои Ҳамминг инро карда наметавонанд.

Назарияи иттилоот ба мо намегӯяд, ки чӣ тавр як системаи муассирро тарҳрезӣ кунем, аммо он роҳро ба сӯи системаҳои муассири коммуникатсия нишон медиҳад. Ин як воситаи пурарзиш барои сохтани системаҳои алоқаи мошин ба мошин аст, аммо, тавре ки қаблан қайд карда шуд, он ба муносибати одамон бо ҳамдигар чандон аҳамият надорад. То чӣ андоза мероси биологӣ ба системаҳои алоқаи техникӣ монанд аст, маълум нест, бинобар ин ҳоло маълум нест, ки назарияи иттилоот ба генҳо чӣ гуна татбиқ мешавад. Мо илоҷи дигаре надорем, ки кӯшиш кунем ва агар муваффақият ба мо хусусияти мошинмонанди ин падидаро нишон диҳад, пас нокомӣ ба ҷанбаҳои дигари муҳими табиати иттилоот ишора мекунад.

Биёед аз ҳад зиёд дур нашавем. Мо дидем, ки ҳама таърифҳои аслӣ ба андозаи каму беш бояд моҳияти эътиқоди аслии моро баён кунанд, аммо онҳо бо як дараҷа таҳриф хосанд ва аз ин рӯ, қобили татбиқ нестанд. Аз руи анъана кабул карда мешавад, ки дар нихояти кор таърифе, ки мо истифода мебарем, дар асл мохиятро муайян мекунад; аммо, ин танҳо ба мо мегӯяд, ки чӣ тавр коркарди чизҳо ва ба ҳеҷ ваҷҳ ба мо ягон маъно намерасонад. Муносибати постулятсионӣ, ки дар доираҳои риёзӣ хеле маъқул аст, дар амал бисёр чизҳои дилхоҳро мегузорад.

Ҳоло мо як мисоли санҷишҳои IQ-ро дида мебароем, ки дар он таъриф ба қадри шумо даврашакл аст ва дар натиҷа гумроҳкунанда аст. Санҷиш сохта шудааст, ки бояд зеҳнро чен кунад. Пас аз он, он аз нав дида баромада мешавад, то ки он то ҳадди имкон мувофиқ бошад ва сипас интишор карда мешавад ва бо усули оддӣ калибр карда мешавад, то ин ки "разведка" -и ченшуда одатан тақсим карда шавад (албатта дар каҷи калибрченкунӣ). Ҳама таърифҳоро на танҳо ҳангоми пешниҳоди аввал, балки баъдтар, вақте ки онҳо дар хулосаҳои қабулшуда истифода мешаванд, бояд дубора санҷида шаванд. Сарҳадҳои таърифӣ то чӣ андоза барои ҳалли мушкилот мувофиқанд? Чӣ қадар вақт таърифҳое, ки дар як танзимот дода шудаанд, дар танзимоти тамоман гуногун татбиқ мешаванд? Ин бисёр вақт рӯй медиҳад! Дар илмҳои гуманитарӣ, ки шумо дар ҳаёти худ ногузир дучор мешавед, ин бештар рӯй медиҳад.

Ҳамин тариқ, яке аз ҳадафҳои ин муаррифии назарияи иттилоот дар баробари нишон додани фоиданокии он, огоҳ кардани шуморо аз ин хатар ва ё аниқ нишон додани он буд, ки чӣ тавр истифода бурдани он барои ба даст овардани натиҷаи дилхоҳ. Кайҳо боз қайд карда шудааст, ки таърифҳои ибтидоӣ он чизеро, ки шумо дар ниҳоят пайдо мекунед, то андозае бештар аз он ки ба назар мерасад, муайян мекунанд. Таърифҳои ибтидоӣ аз шумо на танҳо дар ҳама гуна вазъияти нав, балки дар соҳаҳое, ки шумо муддати тӯлонӣ бо онҳо кор карда истодаед, таваҷҷӯҳи зиёдро талаб мекунад. Ин ба шумо имкон медиҳад фаҳмед, ки то чӣ андоза натиҷаҳои бадастомада тавтология мебошанд, на чизи муфид.

Қиссаи машҳури Эддингтон дар бораи одамоне нақл мекунад, ки бо тӯр дар баҳр моҳидорӣ мекарданд. Пас аз омух-тани ​​андозаи мохихои сайдашон, онхо андозаи минималии мохихоеро муайян карданд, ки дар бахр мавчуд аст! Хулосаи онҳо на аз воқеият, балки аз асбоби истифодашуда асос ёфтааст.

Давом дорад…

Кӣ мехоҳад дар тарҷума, тарҳрезӣ ва нашри китоб кӯмак кунад - дар паёми шахсӣ ё почтаи электронӣ нависед [почтаи электронӣ ҳифз карда шудааст]

Зимнан, мо тарҷумаи боз як китоби ҷолибро низ оғоз кардем - "Мошини орзу: Ҳикояи инқилоби компютерӣ")

Мо махсусан ҷустуҷӯ дорем ки ба тарчима ёрй мерасонанд боби бонус, ки танҳо дар видео аст. (интиқол барои 10 дақиқа, 20 дақиқаи аввал аллакай гирифта шудааст)

Мундариҷаи китоб ва бобҳои тарҷумашудаПешгуфтор

  1. Муқаддима ба Санъати пешбурди илм ва муҳандисӣ: Омӯзиш барои омӯхтан (28 марти 1995) Тарҷума: Боби 1
  2. "Асосҳои инқилоби рақамӣ (дискретӣ)" (30 марти 1995) Боби 2. Асосҳои инқилоби рақамӣ (дискретӣ).
  3. «Таърихи компютерҳо - сахтафзор» (31 марти 1995) Боби 3. Таърихи компютерҳо - сахтафзор
  4. "Таърихи компютерҳо - нармафзор" (4 апрели 1995) Боби 4. Таърихи компютерҳо - нармафзор
  5. "Таърихи компютерҳо - Барномаҳо" (6 апрели 1995) Боби 5: Таърихи компютерҳо - Барномаҳои амалӣ
  6. "Интеллектуалии сунъӣ - Қисми I" (7 апрели 1995) Боби 6. Интеллекти сунъӣ - 1
  7. "Интеллектуалии сунъӣ - Қисми II" (11 апрели 1995) Боби 7. Интеллекти сунъӣ - II
  8. "Интеллектуалии сунъӣ III" (13 апрели 1995) Боби 8. Интеллекти сунъӣ-III
  9. "n-Dimensional Space" (14 апрели 1995) Боби 9. Фазои N-ченака
  10. "Назарияи рамзгузорӣ - Намояндагии иттилоот, Қисми I" (18 апрели 1995) Боби 10. Назарияи рамзгузорӣ - I
  11. "Назарияи рамзгузорӣ - Намояндагии иттилоот, Қисми II" (20 апрели 1995) Боби 11. Назарияи рамзгузорӣ - II
  12. "Рамзҳои ислоҳи хатоҳо" (21 апрели 1995) Боби 12. Рамзҳои ислоҳи хатогиҳо
  13. «Назарияи иттилоот» (25 апрели 1995) Боби 13. Назарияи иттилоот
  14. "Филтрҳои рақамӣ, Қисми I" (27 апрели 1995) Боби 14. Филтрҳои рақамӣ - 1
  15. "Филтрҳои рақамӣ, Қисми II" (28 апрели 1995) Боби 15. Филтрҳои рақамӣ - 2
  16. "Филтрҳои рақамӣ, Қисми III" (2 майи 1995) Боби 16. Филтрҳои рақамӣ - 3
  17. "Филтрҳои рақамӣ, Қисми IV" (4 майи 1995) Боби 17. Филтрҳои рақамӣ - IV
  18. "Симуляция, Қисми I" (5 майи 1995) Боби 18. Моделсозй — И
  19. "Симуляция, Қисми II" (9 майи 1995) Боби 19. Моделсозӣ - II
  20. "Симуляция, Қисми III" (11 майи 1995) Боби 20. Моделсозӣ - III
  21. "Нахи оптикӣ" (12 майи 1995) Боби 21. Нахи оптикӣ
  22. «Дастур бо ёрии компютер» (16 майи 1995) Боби 22: Дастури компютерӣ (CAI)
  23. «Математика» (18 майи 1995) Боби 23. Математика
  24. "Механикаи квантӣ" (19 майи 1995) Боби 24. Механикаи квантй
  25. «Эҷодкорӣ» (23 майи соли 1995). Тарҷума: Боби 25. Эҷодкорӣ
  26. "Мутахассисон" (25 майи 1995) Боби 26. Коршиносон
  27. "Маълумоти беэътимод" (26 майи 1995) Боби 27. Маълумоти беэътимод
  28. «Муҳандисии системавӣ» (30 майи 1995) Боби 28. Муҳандиси системаҳо
  29. "Шумо он чизеро, ки шумо чен мекунед, мегиред" (1 июни 1995) Боби 29: Шумо он чизеро, ки чен мекунед, мегиред
  30. "Мо аз куҷо медонем, ки мо медонем" (Июн 2, 1995) дар қисмҳои 10 дақиқа тарҷума кунед
  31. Хамминг, «Шумо ва тадқиқоти шумо» (6 июни 1995). Тарҷума: Шумо ва кори шумо

Кӣ мехоҳад дар тарҷума, тарҳрезӣ ва нашри китоб кӯмак кунад - дар паёми шахсӣ ё почтаи электронӣ нависед [почтаи электронӣ ҳифз карда шудааст]

Манбаъ: will.com

Илова Эзоҳ