رچرڊ هيمنگ: باب 13. انفارميشن ٿيوري

اسان ڪيو!

"هن ڪورس جو مقصد توهان کي توهان جي ٽيڪنيڪل مستقبل لاء تيار ڪرڻ آهي."

هيلو، حبر. ياد رکو شاندار مضمون ”تون ۽ تنهنجو ڪم“ (+219، 2588 بک مارڪ، 429k پڙهي)؟

تنهنڪري هيمنگ (ها، ها، خود نگراني ۽ پاڻ کي درست ڪرڻ هيمنگ ڪوڊس) اتي هڪ سڄو آهي هڪ ڪتاب، سندس ليڪچر جي بنياد تي لکيو ويو آهي. اسان ان کي ترجمو ڪريون ٿا، ڇاڪاڻ ته انسان پنهنجي ذهن کي ڳالهائيندو آهي.

هي هڪ ڪتاب آهي نه صرف آئي ٽي بابت، اهو هڪ ڪتاب آهي سوچڻ جي انداز بابت ناقابل اعتبار حد تائين ٿڌي ماڻهن جي. "اهو صرف مثبت سوچ جي واڌاري ناهي؛ اهو انهن حالتن کي بيان ڪري ٿو جيڪي عظيم ڪم ڪرڻ جا موقعا وڌائين ٿا.

ترجمي لاء Andrey Pakhomov جي مهرباني.

انفارميشن ٿيوري 1940ع واري ڏهاڪي جي آخر ۾ C.E. Shannon پاران تيار ڪئي وئي. بيل ليبز جي انتظاميا اصرار ڪيو ته هو ان کي سڏين ٿا "ڪميونيڪيشن ٿيوري" ڇاڪاڻ ته ... اھو ھڪڙو وڌيڪ صحيح نالو آھي. واضع سببن جي ڪري، نالو "معلوماتي ٿيوري" جو عوام تي تمام گهڻو اثر آهي، اهو ئي سبب آهي ته شانن ان کي چونڊيو، ۽ اهو نالو آهي جيڪو اسان اڄ تائين ڄاڻون ٿا. نالو پاڻ پتوڙي ٿو ته نظريو معلومات سان واسطو رکي ٿو، جيڪو ان کي اهم بڻائي ٿو جيئن اسين ڄاڻ جي عمر ۾ اونداھيون وڃون ٿا. هن باب ۾، آئون هن نظريي مان ڪيترن ئي مکيه نتيجن کي ڇڪيندس، آئون هن نظريي جي ڪجهه انفرادي شقن جا سخت نه، بلڪه شعوري ثبوت فراهم ڪندس، ته جيئن توهان سمجھو ته "معلوماتي ٿيوري" اصل ۾ ڇا آهي، جتي توهان ان کي لاڳو ڪري سگهو ٿا. ۽ ڪٿي نه.

سڀ کان پهرين، "معلومات" ڇا آهي؟ شانن معلومات کي غير يقيني صورتحال سان برابر ڪري ٿو. هن هڪ ايونٽ جي امڪان جي منفي لاگارٿم کي چونڊيو ان معلومات جي مقداري ماپ جي طور تي جيڪو توهان حاصل ڪيو جڏهن هڪ واقعو امڪاني p سان ٿئي ٿو. مثال طور، جيڪڏهن مان توهان کي ٻڌايان ته لاس اينجلس ۾ موسم ڪوهيڙي آهي، ته پوءِ p 1 جي ويجهو آهي، جيڪا حقيقت ۾ اسان کي وڌيڪ معلومات نٿي ڏئي. پر جيڪڏهن مان چوان ته جون ۾ مونٽيري ۾ برسات پوندي، پيغام ۾ غير يقيني صورتحال هوندي ۽ ان ۾ وڌيڪ معلومات هوندي. هڪ قابل اعتماد واقعي ۾ ڪا به ڄاڻ نه هوندي آهي، ڇاڪاڻ ته لاگ 1 = 0.

اچو ته هن کي وڌيڪ تفصيل سان ڏسو. شانن جو خيال هو ته معلومات جي مقداري ماپ کي ڪنهن واقعي پي جي امڪان جي مسلسل ڪم ڪرڻ گهرجي، ۽ آزاد واقعن لاءِ ان کي اضافي هجڻ گهرجي - ٻن آزاد واقعن جي واقعن جي نتيجي ۾ حاصل ڪيل معلومات جي مقدار برابر هجڻ گهرجي. گڏيل واقعي جي واقعن جي نتيجي ۾ حاصل ڪيل معلومات جو مقدار. مثال طور، هڪ ڊائس رول ۽ ڪوئن رول جو نتيجو عام طور تي آزاد واقعن وانگر علاج ڪيو ويندو آهي. اچو ته مٿين کي رياضي جي ٻولي ۾ ترجمو ڪريون. جيڪڏهن I (p) هڪ واقعي ۾ موجود معلومات جو مقدار آهي جنهن ۾ امڪاني p سان گڏ هوندو آهي، ته پوءِ هڪ گڏيل واقعي لاءِ جنهن ۾ ٻه آزاد واقعا شامل هوندا آهن x امڪاني p1 سان ۽ y امڪاني p2 سان.

(x ۽ y آزاد واقعا آهن)

هي فعلي Cauchy مساوات آهي، سڀني p1 ۽ p2 لاءِ صحيح آهي. ھن فنڪشنل مساوات کي حل ڪرڻ لاء، فرض ڪريو

p1 = p2 = p،

هي ڏئي ٿو

جيڪڏهن p1 = p2 ۽ p2 = p پوءِ

وغيره معياري طريقي سان استعمال ڪندي هن عمل کي وڌايو Exponentials لاءِ، سڀني منطقي انگن لاءِ m/n هيٺ ڏنل صحيح آهي

معلومات جي ماپ جي فرض ڪيل تسلسل مان، اهو هيٺ ڏنل آهي ته لاگارٿمڪ فنڪشن واحد مسلسل حل آهي فنڪشنل Cauchy مساوات جو.

معلومات جي نظريي ۾، اهو عام آهي ته لاگارٿم جو بنياد 2 هجي، تنهنڪري هڪ بائنري انتخاب ۾ بلڪل 1 بٽ معلومات شامل آهي. تنهن ڪري، معلومات فارمولا سان ماپي ويندي آهي

اچو ته رکو ۽ سمجھون ته مٿي ڇا ٿيو. سڀ کان پهريان، اسان "معلومات" جي تصور جي وضاحت نه ڪئي؛ اسان صرف ان جي مقدار جي ماپ لاء فارمولا بيان ڪيو.

ٻيو، هي ماپ غير يقيني صورتحال جي تابع آهي، ۽ جيتوڻيڪ اهو مناسب طور تي مشينن لاء مناسب آهي- مثال طور، ٽيليفون سسٽم، ريڊيو، ٽيليويزن، ڪمپيوٽرن، وغيره. - اهو معلومات ڏانهن عام انساني رويي کي ظاهر نٿو ڪري.

ٽيون، اهو هڪ نسبتا ماپ آهي، اهو توهان جي ڄاڻ جي موجوده حالت تي منحصر آهي. جيڪڏهن توهان بي ترتيب نمبر جنريٽر مان ”بي ترتيب نمبرن“ جي وهڪري تي نظر وجهو ٿا، ته توهان سمجهو ٿا ته هر ايندڙ نمبر غير يقيني آهي، پر جيڪڏهن توهان ڄاڻو ٿا ته ”بي ترتيب نمبرن“ جي ڳڻپ جو فارمولو، ته پوءِ ايندڙ نمبر معلوم ٿيندو، ۽ ان ڪري نه. معلومات تي مشتمل.

تنهن ڪري شينن جي معلومات جي تعريف ڪيترن ئي ڪيسن ۾ مشينن لاء مناسب آهي، پر اهو نٿو لڳي ته لفظ جي انساني سمجهه سان. اهو ئي سبب آهي ته ”انفارميشن ٿيوري“ کي ”ڪميونيڪيشن ٿيوري“ سڏيو وڃي ها. بهرحال، وصفن کي تبديل ڪرڻ ۾ تمام گهڻي دير ٿي چڪي آهي (جنهن هن نظريي کي ان جي ابتدائي مقبوليت ڏني، ۽ جيڪو اڃا تائين ماڻهن کي سوچڻ تي مجبور ڪري ٿو ته هي نظريو "معلومات" سان تعلق رکي ٿو)، تنهنڪري اسان کي انهن سان گڏ رهڻو پوندو، پر ساڳئي وقت توهان کي لازمي آهي. واضح طور تي سمجھو ته شانن جي معلومات جي تعريف ان جي عام استعمال جي معني کان ڪيتري پري آهي. شانن جي معلومات مڪمل طور تي مختلف شين سان تعلق رکي ٿي، يعني غير يقيني صورتحال.

هتي ڪجهه سوچڻ لاءِ آهي جڏهن توهان ڪنهن به اصطلاح جي تجويز پيش ڪندا آهيو. ڪيئن تجويز ڪيل وصف، جھڙوڪ Shannon جي معلومات جي وصف، توهان جي اصل خيال سان متفق آهي ۽ ڪيئن مختلف آهي؟ هتي تقريبن ڪو به اصطلاح ناهي جيڪو توهان جي تصور جي اڳئين نظر کي ظاهر ڪري ٿو، پر آخرڪار، اهو اصطلاح استعمال ڪيو ويو آهي جيڪو تصور جي معني کي ظاهر ڪري ٿو، تنهنڪري واضح تعريف ذريعي ڪنهن به شيء کي رسمي ڪرڻ هميشه ڪجهه شور متعارف ڪرايو آهي.

ھڪڙي سسٽم تي غور ڪريو جنھن جي الفابيٽ ۾ علامتون q سان گڏ امڪانن pi سان. هن معاملي ۾ معلومات جي سراسري مقدار سسٽم ۾ (ان جي متوقع قيمت) برابر آهي:

ھن کي سسٽم جي اينٽراپي چيو ويندو آھي امڪاني تقسيم سان {pi}. اسان اصطلاح "اينٽراپي" استعمال ڪندا آهيون ڇاڪاڻ ته ساڳئي رياضياتي شڪل thermodynamics ۽ شمارياتي ميڪانيڪس ۾ ظاهر ٿئي ٿي. اھو ئي سبب آھي جو اصطلاح ”اينٽراپي“ پنھنجي چوڌاري ھڪ خاص اھميت پيدا ڪري ٿو، جيڪو آخرڪار جائز نه آھي. اشارن جي ساڳي رياضياتي شڪل علامتن جي ساڳي تشريح جو مطلب نه آهي!

امڪاني تقسيم جي اينٽراپي ڪوڊنگ نظريي ۾ اهم ڪردار ادا ڪري ٿي. گبس جي عدم مساوات ٻن مختلف امڪاني تقسيم pi ۽ qi لاءِ هن نظريي جي اهم نتيجن مان هڪ آهي. تنهنڪري اسان کي اهو ثابت ڪرڻو پوندو

ثبوت هڪ واضح گراف تي ٻڌل آهي، تصوير. 13.I، جيڪو ڏيکاري ٿو ته

۽ برابري تڏهن ئي حاصل ٿئي ٿي جڏهن x = 1. اچو ته کاٻي پاسي کان رقم جي هر اصطلاح تي عدم مساوات لاڳو ڪريون:

جيڪڏهن ڪميونيڪيشن سسٽم جو الفابيٽ q علامتن تي مشتمل آهي، ته پوءِ هر علامت جي منتقلي جي امڪان کي qi = 1/q ۽ q کي متبادل بڻايو وڃي، اسان گبس جي عدم مساوات مان حاصل ڪريون ٿا.

شڪل 13.I

هن جو مطلب اهو آهي ته جيڪڏهن سڀني q علامتن جي منتقلي جو امڪان ساڳيو آهي ۽ - 1 / q جي برابر آهي، ته پوء وڌ ۾ وڌ اينٽراپي ln q جي برابر آهي، ٻي صورت ۾ اڻ برابري برقرار رکي ٿي.

هڪ منفرد ڊيڪوڊبل ڪوڊ جي صورت ۾، اسان وٽ ڪرافٽ جي عدم مساوات آهي

هاڻي جيڪڏهن اسان pseudo-probabilities جي وضاحت ڪريون

جتي يقينا = 1، جيڪو گبس جي عدم مساوات کان پوء،

۽ ٿورو الجبرا لاڳو ڪريو (ياد رکو ته K ≤ 1، تنهنڪري اسان لاگارٿمڪ اصطلاح کي ڇڏي سگهون ٿا، ۽ شايد بعد ۾ عدم مساوات کي مضبوط ڪري سگهون ٿا)، اسان حاصل ڪريون ٿا.

جتي L اوسط ڪوڊ ڊگھائي آھي.

اهڙيءَ طرح، اينٽراپي گهٽ ۾ گهٽ پابند آهي ڪنهن به اکر-بائي-سبل ڪوڊ لاءِ هڪ سراسري ڪوڊورڊ ڊگھائي L سان. هي شنن جو نظريو آهي مداخلت کان پاڪ چينل لاءِ.

ھاڻي بنيادي نظريي تي غور ڪريو ڪميونيڪيشن سسٽم جي حدن جي باري ۾ جنھن ۾ معلومات کي آزاد بٽ ۽ شور جي ھڪڙي وهڪرو طور منتقل ڪيو ويندو آھي. اهو سمجھيو ويو آهي ته هڪ بٽ جي صحيح ٽرانسميشن جو امڪان P > 1/2 آهي، ۽ امڪان اهو آهي ته بٽ جي قيمت ٽرانسميشن دوران ڦيرائي ويندي (هڪ غلطي ٿيندي) Q = 1 - P جي برابر آهي. سهولت لاء، اسان فرض ڪريو ته غلطيون آزاد آهن ۽ غلطي جو امڪان هر موڪليل بٽ لاءِ ساڳيو آهي - اهو آهي، مواصلاتي چينل ۾ "سفيد شور" آهي.

جنهن طريقي سان اسان وٽ n بٽس جو هڪ ڊگهو وهڪرو هڪ پيغام ۾ انڪوڊ ٿيل آهي اهو آهي ون-بٽ ڪوڊ جي n-dimensional ايڪسٽينشن. اسان بعد ۾ n جي قيمت جو تعين ڪنداسين. n-bits تي مشتمل هڪ پيغام تي غور ڪريو جيئن n-dimensional space ۾ پوائنٽ. جيئن ته اسان وٽ هڪ n-dimensional space آهي - ۽ سادگي لاءِ اسان فرض ڪنداسين ته هر پيغام ۾ اچڻ جو ساڳيو امڪان آهي - اتي M ممڪن پيغام آهن (M پڻ بعد ۾ بيان ڪيو ويندو)، تنهن ڪري ڪنهن به پيغام جي موڪليل جو امڪان آهي.

(موڪلندڙ)
شيڊول 13.II

اڳيون، چينل جي گنجائش جي خيال تي غور. تفصيل ۾ وڃڻ جي بغير، چينل جي گنجائش بيان ڪيل معلومات جي وڌ ۾ وڌ مقدار جي طور تي بيان ڪئي وئي آهي جيڪا قابل اعتماد طور تي مواصلاتي چينل تي منتقل ڪري سگهجي ٿي، اڪائونٽ ۾ سڀ کان وڌيڪ موثر ڪوڊنگ جي استعمال کي. ان ۾ ڪو به دليل نه آهي ته ان جي گنجائش کان وڌيڪ معلومات مواصلاتي چينل ذريعي منتقل ٿي سگهي ٿي. اهو ثابت ٿي سگهي ٿو هڪ بائنري سميٽرڪ چينل لاءِ (جيڪو اسان پنهنجي ڪيس ۾ استعمال ڪندا آهيون). چينل جي گنجائش، بٽ موڪلڻ وقت، بيان ڪيو ويو آھي جيئن

جتي، اڳ وانگر، P ڪنهن به موڪليل بٽ ۾ غلطي جو امڪان آهي. جڏهن n آزاد بٽ موڪلڻ، چينل جي گنجائش طرفان ڏنل آهي

جيڪڏهن اسان چينل جي ظرفيت جي ويجهو آهيون، ته پوءِ اسان کي هر هڪ علامت ai، i = 1، ...، M لاءِ معلومات جي تقريبن اها رقم موڪلڻ گهرجي. غور ڪندي ته هر علامت ai جي اچڻ جو امڪان 1 / M آهي، اسان حاصل ڪريون ٿا

جڏهن اسان M جي برابر ممڪن پيغام موڪليندا آهيون، اسان وٽ آهي

جڏهن n بٽ موڪليا ويا آهن، اسان کي اميد آهي ته nQ غلطيون ٿينديون. عملي طور تي، n-bits تي مشتمل هڪ پيغام لاءِ، اسان وٽ مليل پيغام ۾ تقريبن nQ غلطيون هونديون. وڏي n لاءِ، لاڳاپا تغير (variation = تقسيم جي چوٽي، )
غلطين جي تعداد جي ورڇ تيزي سان تنگ ٿي ويندي جيئن n وڌندو.

تنهن ڪري، ٽرانسميٽر جي پاسي کان، مان پيغام کڻان ٿو ai موڪلڻ لاءِ ۽ ان جي چوڌاري دائرو ٺاھيو ريڊيس سان

جيڪو E2 جي برابر رقم کان ٿورو وڏو آهي غلطين جي متوقع تعداد کان Q، (شڪل 13.II). جيڪڏهن n ڪافي وڏو آهي، ته پوءِ رسيور جي پاسي تي ظاهر ٿيڻ واري پيغام جي پوائنٽ bj جو هڪ ارادي طور تي ننڍڙو امڪان آهي جيڪو هن دائري کان ٻاهر وڌندو آهي. اچو ته صورتحال کي خاڪو ڪريون جيئن مان ان کي ٽرانسميٽر جي نقطي نظر کان ڏسان ٿو: اسان وٽ ڪا به ريڊي آئي آهي منتقل ٿيل پيغام ai کان وصول ٿيل پيغام تائين Bj جي غلطي جي امڪان سان برابر (يا لڳ ڀڳ برابر) عام تقسيم جي وڌ ۾ وڌ تائين پهچي. nQ ۾. ڪنهن به ڏنل e2 لاءِ، هڪ n ايترو وڏو هوندو آهي جو نتيجو نڪتل نقطو bj منهنجي دائري کان ٻاهر هجڻ جو امڪان جيترو توهان چاهيو.

هاڻي اچو ته ساڳي صورتحال کي پنهنجي پاسي کان ڏسو (تصوير 13.III). وصول ڪندڙ پاسي تي n-dimensional اسپيس ۾ مليل پوائنٽ bj جي چوڌاري ساڳي ريڊيس r جو هڪ دائرو S(r) آهي، جيئن ته جيڪڏهن موصول ٿيل پيغام bj منهنجي دائري جي اندر آهي، ته پوءِ مون طرفان موڪليو ويو پيغام توهان جي اندر آهي. دائرو.

هڪ غلطي ڪيئن ٿي سگهي ٿي؟ هيٺ ڏنل جدول ۾ بيان ڪيل ڪيسن ۾ غلطي ٿي سگھي ٿي:

شڪل 13.III

هتي اسان ڏسون ٿا ته جيڪڏهن حاصل ڪيل نقطي جي چوڌاري ٺهيل دائري ۾ گهٽ ۾ گهٽ هڪ وڌيڪ نقطو آهي جيڪو ممڪن طور تي موڪليل اڻ ڪوڊ ٿيل پيغام سان ملندڙ جلندڙ آهي، پوء ٽرانسميشن دوران هڪ غلطي ٿي وئي، ڇو ته توهان اهو طئي نه ڪري سگهو ٿا ته انهن پيغامن مان ڪهڙو منتقل ڪيو ويو. موڪليو ويو پيغام غلطي کان پاڪ آهي صرف ان صورت ۾ جڏهن ان سان لاڳاپيل نقطو دائري ۾ هجي، ۽ ڏنل ڪوڊ ۾ اهڙا ٻيا نقطا ممڪن نه آهن جيڪي ساڳئي دائري ۾ هجن.

اسان وٽ هڪ رياضياتي مساوات آهي غلطي جي امڪان لاءِ پي جيڪڏهن پيغام ai موڪليو ويو هو

اسان پهرين عنصر کي ٻئي اصطلاح ۾ اڇلائي سگھون ٿا، ان کي 1 طور وٺي.

ظاهر آهي،

ان ڪري

ساڄي پاسي آخري اصطلاح تي ٻيهر لاڳو ڪريو

ڪافي n کي کڻڻ سان، پھريون اصطلاح کڻي سگھجي ٿو جيترو ننڍو گھربل، چئو ڪجھ نمبر کان گھٽ. تنهن ڪري اسان وٽ آهي

ھاڻي اچو ته ڏسون ته ڪيئن ھڪڙو سادو متبادل ڪوڊ ٺاھي سگھون ٿا جيڪو M پيغامن کي انڪوڊ ڪرڻ لاءِ n بٽس تي مشتمل آھي. ڪا به خبر نه آهي ته ڪوڊ ڪيئن ٺاهجي (غلطي کي درست ڪرڻ وارا ڪوڊ اڃا ايجاد نه ڪيا ويا هئا)، شانن بي ترتيب ڪوڊنگ کي چونڊيو. پيغام ۾ هر هڪ n بٽس لاءِ هڪ سڪو ڦٽو ڪريو ۽ M پيغامن لاءِ عمل کي ورجايو. مجموعي طور تي، nM سکين فلپس ٺاهڻ جي ضرورت آهي، تنهنڪري اهو ممڪن آهي

ڪوڊ ڊڪشنريون ساڳيون امڪان آهن ½nM. يقينا، ڪوڊ بڪ ٺاهڻ جي بي ترتيب واري عمل جو مطلب آهي ته نقلن جو امڪان آهي، انهي سان گڏ ڪوڊ پوائنٽون جيڪي هڪ ٻئي جي ويجهو هوندا ۽ ان ڪري امڪاني غلطين جو هڪ ذريعو هوندو. هڪ کي اهو ثابت ڪرڻ گهرجي ته جيڪڏهن اهو ڪنهن به ننڍي چونڊيل غلطي جي سطح کان وڏي امڪان سان نه ٿو ٿئي، ته پوءِ ڏنل n ڪافي وڏو آهي.
اهم نقطو اهو آهي ته شانن اوسط غلطي کي ڳولڻ لاءِ سڀني ممڪن ڪوڊ بڪ جي اوسط ڪئي! اسان استعمال ڪنداسين علامت Av[.] کي ظاهر ڪرڻ لاءِ سراسري قدر سڀني ممڪن بي ترتيب ڪوڊ بڪ جي سيٽ تي. هڪ مستقل d مٿان سراسري، يقينا، هڪ مستقل ڏئي ٿو، ڇاڪاڻ ته هر اصطلاح جي اوسط لاءِ رقم ۾ هر ٻئي اصطلاح جي برابر آهي،

جيڪو وڌائي سگھجي ٿو (M-1 وڃي ٿو M)

ڪنهن به ڏنل پيغام لاءِ، جڏهن سڀني ڪوڊ بڪ تي سراسري طور تي، انڪوڊنگ سڀني ممڪن قدرن جي ذريعي هلندي آهي، تنهن ڪري سراسري امڪان اهو آهي ته هڪ نقطو هڪ دائري ۾ آهي، اهو تناسب آهي خلا جي مجموعي مقدار جي دائري جي مقدار جو. گول جو حجم آهي

جتي s=Q+e2 <1/2 ۽ ns لازمي هجي هڪ عدد.

ساڄي پاسي آخري اصطلاح هن رقم ۾ سڀ کان وڏو آهي. پهرين، اچو ته ان جي قيمت جو اندازو لڳايو حقيقتن لاءِ اسٽريلنگ فارمولا استعمال ڪندي. ان کان پوءِ اسان ان جي سامهون اصطلاح جي گھٽجندڙ کوٽائي کي ڏسنداسين، ياد رکو ته هي کوٽائي وڌندي ويندي آهي جيئن اسان کاٻي طرف هلون ٿا، ۽ ان ڪري اسين ڪري سگهون ٿا: (1) رقم جي قدر کي جاميٽري ترقي جي مجموعن تائين محدود ڪري سگھون ٿا. هي ابتدائي کوٽائي، (2) جاميٽري ترقي کي وڌايو ns اصطلاحن کان اصطلاحن جي لامحدود تعداد تائين، (3) هڪ لامحدود جاميٽري پيش رفت جو مجموعو ڳڻيو (معياري الجبرا، ڪجھ به اهم ناهي) ۽ آخر ۾ محدود قدر حاصل ڪريو (ڪافي وڏي لاءِ ن):

نوٽ ڪريو ته ڪيئن اينٽراپي H(s) binomial identity ۾ ظاهر ٿيو. نوٽ ڪريو ته ٽيلر سيريز جي توسيع H(s)=H(Q+e2) هڪ تخمينو ڏئي ٿو حاصل ڪيل حساب ۾ صرف پهرين نڪتل ۽ ٻين سڀني کي نظرانداز ڪندي. هاڻي اچو ته آخري جملي کي گڏ ڪريون:

جتي

اسان کي صرف اهو ڪرڻو آهي ته e2 چونڊيو جيئن e3 < e1، ۽ پوءِ آخري اصطلاح بيحد ننڍو هوندو، جيستائين n ڪافي وڏو آهي. نتيجي طور، اوسط PE نقص حاصل ڪري سگھجي ٿو جيترو گھٽ چاھيو چينل جي گنجائش سان منڍي طور تي C جي ويجهو.
جيڪڏهن سڀني ڪوڊن جي اوسط ۾ هڪ ننڍڙي ڪافي غلطي آهي، ته پوء گهٽ ۾ گهٽ هڪ ڪوڊ مناسب هجڻ گهرجي، تنهنڪري اتي گهٽ ۾ گهٽ هڪ مناسب ڪوڊنگ سسٽم آهي. اھو ھڪڙو اھم نتيجو آھي جيڪو شنن پاران حاصل ڪيو ويو آھي - "Shannon's theorem for a noisy channel"، جيتوڻيڪ اھو ياد رکڻ گھرجي ته ھن اھو ثابت ڪيو آھي وڌيڪ عام ڪيس جي ڀيٽ ۾ ان سادي بائنري سميٽري چينل لاءِ جيڪو مون استعمال ڪيو آھي. عام صورت ۾، رياضياتي حساب تمام گهڻو پيچيدو آهي، پر خيال مختلف نه آهن، تنهنڪري اڪثر ڪري، هڪ خاص صورت جو مثال استعمال ڪندي، توهان نظريي جي صحيح معني کي ظاهر ڪري سگهو ٿا.

اچو ته نتيجي تي تنقيد ڪريون. اسان بار بار ورجايو آهي: "ڪافي وڏي ن لاء." پر ن ڪيترو وڏو آهي؟ تمام وڏو، تمام وڏو جيڪڏهن توهان واقعي چاهيو ٿا ته ٻنهي چينل جي گنجائش جي ويجهو ۽ صحيح ڊيٽا جي منتقلي جي پڪ ڪريو! ايترو وڏو، حقيقت ۾، ته توهان کي ڪافي بِٽس جو پيغام گڏ ڪرڻ لاءِ ان کي بعد ۾ انڪوڊ ڪرڻ لاءِ تمام ڊگهو انتظار ڪرڻو پوندو. انهي صورت ۾، بي ترتيب ڪوڊ ڊڪشنري جي سائيز تمام وڏي هوندي (آخرڪار، اهڙي ڊڪشنري کي سڀني Mn بٽس جي مڪمل فهرست کان ننڍڙي شڪل ۾ پيش نٿو ڪري سگهجي، ان حقيقت جي باوجود ته n ۽ M تمام وڏا آهن)!

غلطي کي درست ڪرڻ وارا ڪوڊ تمام ڊگھي پيغام جو انتظار ڪرڻ کان پاسو ڪن ٿا ۽ پوءِ ان کي انڪوڊنگ ۽ ڊيڪوڊنگ تمام وڏي ڪوڊ بڪ ذريعي ڪن ٿا ڇاڪاڻ ته اھي پاڻ ڪوڊ بڪ کان پاسو ڪندا آھن ۽ ان جي بدران عام حسابن کي استعمال ڪندا آھن. سادي نظريي ۾، اهڙا ڪوڊ جيڪي چينل جي گنجائش تائين پهچڻ جي صلاحيت کي وڃائي ڇڏيندا آهن ۽ اڃا به گهٽ غلطي جي شرح برقرار رکندا آهن، پر جڏهن ڪوڊ غلطين جي وڏي تعداد کي درست ڪري ٿو، اهي سٺو ڪم ڪن ٿا. ٻين لفظن ۾، جيڪڏھن توھان ڪجھ چينل جي صلاحيت کي غلطي جي اصلاح لاءِ مختص ڪريو ٿا، ته توھان کي ضرور استعمال ڪرڻ گھرجي نقص سڌارڻ جي صلاحيت گھڻو ڪري، يعني، موڪليل ھر پيغام ۾ وڏي تعداد ۾ غلطين کي درست ڪيو وڃي، ٻي صورت ۾ توھان ھي صلاحيت ضايع ڪندا.

ساڳئي وقت، مٿي ثابت ڪيل نظريو اڃا به بي معني نه آهي! اهو ڏيکاري ٿو ته موثر ٽرانسميشن سسٽم کي تمام ڊگهو بٽ تارن لاءِ هوشيار انڪوڊنگ اسڪيمون استعمال ڪرڻ گهرجن. ھڪڙو مثال سيٽلائيٽ آھي جيڪي ٻاھرين سيارن کان ٻاھر اڏامي ويا آھن. جيئن اهي ڌرتي ۽ سج کان پري ٿين ٿا، اهي ڊيٽا بلاڪ ۾ وڌيڪ ۽ وڌيڪ غلطيون درست ڪرڻ تي مجبور آهن: ڪجهه سيٽلائيٽ شمسي پينل استعمال ڪن ٿا، جيڪي تقريبا 5 W مهيا ڪن ٿا، ٻيا ايٽمي توانائي جا ذريعا استعمال ڪن ٿا، جيڪي ساڳئي طاقت مهيا ڪن ٿا. پاور سپلائي جي گھٽ طاقت، ٽرانسميٽر ڊشز جي ننڍڙي سائيز ۽ ڌرتيءَ تي رسيور ڊشز جي محدود سائيز، تمام وڏو فاصلو جيڪو سگنل کي سفر ڪرڻ گهرجي - اهو سڀ ڪجهه ڪوڊس جي استعمال جي ضرورت آهي اعلي سطحي غلطي جي اصلاح سان گڏ ڪوڊ ٺاهڻ لاءِ. موثر مواصلاتي نظام.

اچو ته n-dimensional اسپيس ڏانھن واپس وڃون جيڪو اسان مٿي ڏنل ثبوت ۾ استعمال ڪيو آھي. ان تي بحث ڪندي، اسان ڏيکاريو ته تقريباً سڄي گولي جو مقدار ٻاهرئين مٿاڇري جي ويجهو مرڪوز ٿيل آهي- ان ڪري، اهو لڳ ڀڳ پڪ آهي ته موڪليل سگنل موصول ٿيل سگنل جي چوڌاري ٺهيل گولي جي مٿاڇري جي ويجهو واقع هوندو، جيتوڻيڪ نسبتاً اهڙي دائري جو ننڍڙو ريڊيس. تنهن ڪري، اها تعجب جي ڳالهه ناهي ته موصول ٿيل سگنل، غلطين جي هڪ وڏي تعداد کي درست ڪرڻ کان پوء، nQ، بغير ڪنهن غلطي جي سگنل جي ويجهو هوندو آهي. لنڪ جي گنجائش اسان اڳ ۾ بحث ڪيو آهي هن رجحان کي سمجهڻ لاء اهم آهي. ياد رهي ته هيمنگ ڪوڊ جي غلطي کي درست ڪرڻ لاءِ ٺاهيل ساڳيا دائرا هڪ ٻئي کي اوورليپ نٿا ​​ڪن. n-dimensional اسپيس ۾ لڳ ڀڳ آرٿوگونل طول و عرض جو وڏو تعداد ڏيکاري ٿو ته اسان خلا ۾ M اسپيرس کي ٿوري اوورليپ سان ڇو فٽ ڪري سگهون ٿا. جيڪڏهن اسان اجازت ڏيون ٿا هڪ ننڍڙي، بي ترتيب ننڍڙي اوورليپ، جيڪا ڊيڪوڊنگ دوران صرف ٿورين غلطين جو سبب بڻجي سگهي ٿي، اسان خلا ۾ گولن جي گھڻائي واري جاءِ حاصل ڪري سگهون ٿا. هيمنگ هڪ خاص سطح جي غلطي کي درست ڪرڻ جي ضمانت ڏني، شنن - غلطي جو گهٽ امڪان، پر ساڳئي وقت حقيقي ٿرو پُٽ کي پاڻمرادو ڪميونيڪيشن چينل جي گنجائش جي ويجهو رکي، جيڪو هيمنگ ڪوڊ نٿو ڪري سگهي.

معلوماتي نظريو اسان کي اهو نه ٿو ٻڌائي ته هڪ ڪارائتو نظام ڪيئن ٺاهيو، پر اهو موثر ڪميونيڪيشن سسٽم ڏانهن اشارو ڪري ٿو. اهو مشين کان مشين ڪميونيڪيشن سسٽم جي تعمير لاءِ هڪ قيمتي اوزار آهي، پر، جيئن اڳ ذڪر ڪيو ويو آهي، ان جو ٿورو لاڳاپو آهي ته انسان ڪيئن هڪ ٻئي سان رابطو ڪن ٿا. ڪيتري حد تائين حياتياتي وراثت ٽيڪنيڪل ڪميونيڪيشن سسٽم وانگر آهي صرف اڻڄاتل آهي، تنهنڪري اهو في الحال واضح ناهي ته معلومات جو نظريو جين تي ڪيئن لاڳو ٿئي ٿو. اسان وٽ ڪوشش ڪرڻ کان سواءِ ٻيو ڪو به رستو نه آھي، ۽ جيڪڏھن ڪاميابي اسان کي ڏيکاري ٿي مشين جھڙي فطرت جي ھن رجحان جي، ته پوءِ ناڪامي ڄاڻ جي نوعيت جي ٻين اهم پهلوئن ڏانھن اشارو ڪندي.

اچو ته تمام گهڻو ڌيان نه ڏيو. اسان ڏٺو آهي ته سڀ اصلي وصفون، وڏي يا گهٽ حد تائين، اسان جي اصلي عقيدن جي جوهر کي ضرور ظاهر ڪن ٿيون، پر انهن ۾ ڪنهن حد تائين تحريف جي خاصيت آهي، ان ڪري اهي لاڳو نه ٿيون ٿين. اهو روايتي طور تي قبول ڪيو ويو آهي ته، آخرڪار، جيڪو اسان استعمال ڪريون ٿا، اهو اصل ۾ جوهر جي وضاحت ڪري ٿو. پر، اهو صرف اسان کي ٻڌائي ٿو ته شين کي ڪيئن پروسيس ڪيو وڃي ۽ ڪنهن به طريقي سان اسان کي ڪا به معني نه پهچائي. پوسٽوليشنل طريقه ڪار، رياضياتي حلقن ۾ تمام گهڻو پسند ڪيو ويو آهي، عملي طور تي گهربل گهڻو ڪجهه ڇڏي ٿو.

ھاڻي اسان IQ ٽيسٽ جو ھڪڙو مثال ڏينداسين جتي تعريف جيتري سرڪلر آھي جيئن توھان چاھيو ٿا ۽ نتيجي طور گمراھ ڪندڙ. ھڪڙو امتحان ٺاھيو ويو آھي جيڪو سمجھڻ کي ماپڻ گھرجي. ان کان پوء ان کي تبديل ڪيو ويو آهي ان کي ممڪن طور تي هڪجهڙائي ڪرڻ لاء، ۽ پوء ان کي شايع ڪيو ويو آهي ۽، هڪ سادي طريقي سان، ان کي ترتيب ڏنو ويو آهي ته جيئن "انٽيليجنس" جي ماپ کي عام طور تي ورهايو وڃي (حقيقت جي حساب سان وکر تي). سڀني وصفن کي ٻيهر جانچڻ گهرجي، نه رڳو جڏهن اهي پهرين تجويز ڪيل آهن، پر ان کان پوء پڻ، جڏهن اهي تيار ڪيل نتيجن ۾ استعمال ڪيا ويا آهن. مسئلي جي حل لاءِ ڪهڙي حد تائين تعريف جون حدون مناسب آهن؟ ڪيترا ڀيرا هڪ سيٽنگ ۾ ڏنل وصفون ڪافي مختلف سيٽنگن ۾ لاڳو ٿينديون آهن؟ اهو اڪثر ٿئي ٿو! انسانيت ۾، جيڪو توهان کي لازمي طور تي توهان جي زندگي ۾ منهن ڏيندو، اهو گهڻو ڪري ٿئي ٿو.

اهڙيءَ طرح، معلوماتي نظريي جي هن پيشڪش جو هڪ مقصد، ان جي افاديت کي ظاهر ڪرڻ کان علاوه، توهان کي هن خطري کان ڊيڄارڻ، يا توهان کي اهو ڏيکارڻ هو ته مطلوب نتيجو حاصل ڪرڻ لاءِ ان کي ڪيئن استعمال ڪجي. اهو گهڻو وقت ياد ڪيو ويو آهي ته ابتدائي معنائون اهو طئي ڪنديون آهن ته توهان آخر ۾ ڇا ڳوليندا آهيو، ان کان وڌيڪ وڏي حد تائين جيڪا لڳي ٿي. شروعاتي وصفون توهان کان تمام گهڻو ڌيان ڏيڻ جي ضرورت آهي، نه رڳو ڪنهن نئين صورتحال ۾، پر انهن علائقن ۾ پڻ جن سان توهان ڊگهي عرصي کان ڪم ڪري رهيا آهيو. اهو توهان کي سمجهڻ جي اجازت ڏيندو ته ڪهڙي حد تائين حاصل ڪيل نتيجا هڪ ٽيوٽالوجي آهي ۽ ڪجهه مفيد ناهي.

ايڊنگٽن جي مشهور ڪهاڻي انهن ماڻهن جي باري ۾ ٻڌائي ٿي، جيڪي جال سان سمنڊ ۾ مڇي ماريندا هئا. انهن مڇين جي ماپ جو مطالعو ڪرڻ کان پوءِ، انهن مڇيءَ جي گھٽ ۾ گھٽ ماپ جو اندازو لڳايو، جيڪا سمنڊ ۾ ملي ٿي! انهن جو نتيجو استعمال ٿيل اوزار جي ذريعي هليو ويو، حقيقت طرفان نه.

جاري رکڻ گهرجي…

جيڪو ڪتاب جي ترجمي، ترتيب ۽ اشاعت ۾ مدد ڪرڻ چاهي ٿو - ذاتي پيغام يا اي ميل ۾ لکو [ايميل محفوظ ٿيل]

رستي ۾، اسان هڪ ٻئي سٺي ڪتاب جو ترجمو پڻ شروع ڪيو آهي - "ڊريم مشين: ڪمپيوٽر جي انقلاب جي ڪهاڻي")

اسان خاص طور تي ڳولي رهيا آهيون جيڪي ترجمي ۾ مدد ڪري سگھن ٿا بونس باب، جيڪو صرف وڊيو تي آهي. (10 منٽن لاء منتقلي، پهرين 20 اڳ ۾ ئي ورتو ويو آهي)

ڪتاب جو مواد ۽ ترجمو ڪيل باباڳوڻي

1. سائنس ۽ انجنيئرنگ ڪرڻ جي فن جو تعارف: سکڻ لاءِ سکيا (مارچ 28، 1995) ترجمو: باب 1
2. "ڊجيٽل (ڊيسڪريٽ) انقلاب جو بنياد" (مارچ 30، 1995) باب 2. ڊجيٽل (مجرد) انقلاب جا بنيادي
3. "ڪمپيوٽرن جي تاريخ - هارڊويئر" (مارچ 31، 1995) باب 3. ڪمپيوٽرن جي تاريخ - هارڊويئر
4. "ڪمپيوٽرن جي تاريخ - سافٽ ويئر" (اپريل 4، 1995) باب 4. ڪمپيوٽرن جي تاريخ - سافٽ ويئر
5. "ڪمپيوٽرن جي تاريخ - ايپليڪيشنون" (اپريل 6، 1995) باب 5: ڪمپيوٽرن جي تاريخ - عملي ايپليڪيشنون
6. "مصنوعي ذهانت - حصو I" (اپريل 7، 1995) باب 6. مصنوعي ذهانت - 1
7. "مصنوعي ذهانت - حصو II" (اپريل 11، 1995) باب 7. مصنوعي ذهانت - II
8. "مصنوعي ذهانت III" (اپريل 13، 1995) باب 8. مصنوعي ذهانت-III
9. "n-Dimensional Space" (اپريل 14، 1995) باب 9. N-dimensional space
10. "ڪوڊنگ ٿيوري - معلومات جي نمائندگي، حصو I" (اپريل 18، 1995) باب 10. ڪوڊنگ ٿيوري - I
11. "ڪوڊنگ ٿيوري - معلومات جي نمائندگي، حصو II" (اپريل 20، 1995) باب 11. ڪوڊنگ ٿيوري - II
12. "غلطي کي درست ڪرڻ جا ڪوڊ" (اپريل 21، 1995) باب 12. غلطي جي اصلاح جا ڪوڊ
13. "انفارميشن ٿيوري" (اپريل 25، 1995) باب 13. انفارميشن ٿيوري
14. "ڊجيٽل فلٽر، حصو I" (اپريل 27، 1995) باب 14. ڊجيٽل فلٽر - 1
15. "ڊجيٽل فلٽر، حصو II" (اپريل 28، 1995) باب 15. ڊجيٽل فلٽر - 2
16. "ڊجيٽل فلٽر، حصو III" (مئي 2، 1995) باب 16. ڊجيٽل فلٽر - 3
17. "ڊجيٽل فلٽر، حصو IV" (مئي 4، 1995) باب 17. ڊجيٽل فلٽر - IV
18. "تقليد، حصو I" (5 مئي 1995) باب 18. ماڊلنگ - I
19. "تقليد، حصو II" (مئي 9، 1995) باب 19. ماڊلنگ - II
20. "تقليد، حصو III" (مئي 11، 1995) باب 20. ماڊلنگ - III
21. "فائبر آپٽڪس" (مئي 12، 1995) باب 21. فائبر آپٽڪس
22. "ڪمپيوٽر امدادي هدايتون" (مئي 16، 1995) باب 22: ڪمپيوٽر جي مدد سان هدايتون (CAI)
23. "رياضي" (مئي 18، 1995) باب 23. رياضي
24. "Quantum Mechanics" (مئي 19، 1995) باب 24. ڪوانٽم ميڪنڪس
25. "تخليق" (مئي 23، 1995). ترجمو: باب 25. تخليق
26. "ماهر" (مئي 25، 1995) باب 26. ماهر
27. "ناقابل اعتماد ڊيٽا" (مئي 26، 1995) باب 27. ناقابل اعتبار ڊيٽا
28. "سسٽم انجنيئرنگ" (مئي 30، 1995) باب 28. سسٽم انجنيئرنگ
29. "توهان حاصل ڪريو جيڪو توهان ماپيو" (جون 1، 1995) باب 29: توهان حاصل ڪيو جيڪو توهان ماپيو
30. "اسان ڪيئن ڄاڻون ٿا جيڪو اسان ڄاڻون ٿا" (جون 2، 1995) 10 منٽن ۾ ترجمو ڪريو
31. هيمنگ، "توهان ۽ توهان جي تحقيق" (جون 6، 1995). ترجمو: تون ۽ تنهنجو ڪم

جيڪو ڪتاب جي ترجمي، ترتيب ۽ اشاعت ۾ مدد ڪرڻ چاهي ٿو - ذاتي پيغام يا اي ميل ۾ لکو [ايميل محفوظ ٿيل]

جو ذريعو: www.habr.com