रिचर्ड हैमिंग: अध्याय 13. सूचना सिद्धांत

हमने यह किया!

"इस पाठ्यक्रम का उद्देश्य आपको आपके तकनीकी भविष्य के लिए तैयार करना है।"

नमस्ते, हबर। अद्भुत लेख याद रखें "आप और आपका काम" (+219, 2588 बुकमार्क, 429k पठन)?

तो हैमिंग (हाँ, हाँ, आत्म-निगरानी और आत्म-सुधार हैमिंग कोड) एक संपूर्ण है книга, उनके व्याख्यानों के आधार पर लिखा गया। हम इसका अनुवाद करते हैं, क्योंकि आदमी अपने मन की बात कहता है।

यह किताब सिर्फ आईटी के बारे में नहीं है, यह अविश्वसनीय रूप से अच्छे लोगों की सोचने की शैली के बारे में एक किताब है। “यह सिर्फ सकारात्मक सोच को बढ़ावा नहीं है; यह उन स्थितियों का वर्णन करता है जो महान कार्य करने की संभावनाओं को बढ़ाती हैं।”

अनुवाद के लिए एंड्री पखोमोव को धन्यवाद।

सूचना सिद्धांत 1940 के दशक के अंत में सी. ई. शैनन द्वारा विकसित किया गया था। बेल लैब्स प्रबंधन ने जोर देकर कहा कि वह इसे "संचार सिद्धांत" कहें क्योंकि... यह बहुत अधिक सटीक नाम है. स्पष्ट कारणों से, "सूचना सिद्धांत" नाम का जनता पर बहुत अधिक प्रभाव पड़ता है, यही कारण है कि शैनन ने इसे चुना, और यह वह नाम है जिसे हम आज तक जानते हैं। नाम से ही पता चलता है कि सिद्धांत सूचना से संबंधित है, जो इसे महत्वपूर्ण बनाता है क्योंकि हम सूचना युग में गहराई से आगे बढ़ते हैं। इस अध्याय में, मैं इस सिद्धांत से कई मुख्य निष्कर्षों पर बात करूंगा, मैं इस सिद्धांत के कुछ व्यक्तिगत प्रावधानों के सख्त नहीं, बल्कि सहज साक्ष्य प्रदान करूंगा, ताकि आप समझ सकें कि "सूचना सिद्धांत" वास्तव में क्या है, आप इसे कहां लागू कर सकते हैं और कहाँ नहीं.

सबसे पहले, "सूचना" क्या है? शैनन जानकारी की तुलना अनिश्चितता से करते हैं। उन्होंने किसी घटना की संभाव्यता के नकारात्मक लघुगणक को उस जानकारी के मात्रात्मक माप के रूप में चुना जो आपको तब प्राप्त होती है जब संभाव्यता पी वाली कोई घटना घटित होती है। उदाहरण के लिए, यदि मैं आपसे कहूं कि लॉस एंजिल्स में मौसम धूमिल है, तो p 1 के करीब है, जो वास्तव में हमें अधिक जानकारी नहीं देता है। लेकिन अगर मैं कहूं कि जून में मोंटेरे में बारिश होती है, तो संदेश में अनिश्चितता होगी और इसमें अधिक जानकारी होगी। एक विश्वसनीय घटना में कोई जानकारी नहीं होती है, क्योंकि लॉग 1 = 0.

आइए इसे और अधिक विस्तार से देखें। शैनन का मानना ​​था कि जानकारी का मात्रात्मक माप किसी घटना पी की संभावना का एक निरंतर कार्य होना चाहिए, और स्वतंत्र घटनाओं के लिए इसे योगात्मक होना चाहिए - दो स्वतंत्र घटनाओं के घटित होने के परिणामस्वरूप प्राप्त जानकारी की मात्रा बराबर होनी चाहिए किसी संयुक्त घटना के घटित होने के परिणामस्वरूप प्राप्त जानकारी की मात्रा। उदाहरण के लिए, एक पासा पलटने और एक सिक्का उछालने के परिणाम को आमतौर पर स्वतंत्र घटनाओं के रूप में माना जाता है। आइए उपरोक्त का गणित की भाषा में अनुवाद करें। यदि I (p) संभाव्यता p वाली किसी घटना में निहित जानकारी की मात्रा है, तो एक संयुक्त घटना के लिए जिसमें दो स्वतंत्र घटनाएँ x संभाव्यता p1 और y संभाव्यता p2 के साथ होती हैं, हम प्राप्त करते हैं

(x और y स्वतंत्र घटनाएँ हैं)

यह कार्यात्मक कॉची समीकरण है, जो सभी p1 और p2 के लिए सत्य है। इस कार्यात्मक समीकरण को हल करने के लिए, यह मान लें

पी1 = पी2 = पी,

यह देता है

यदि p1 = p2 और p2 = p है तो

वगैरह। घातांक के लिए मानक विधि का उपयोग करके इस प्रक्रिया का विस्तार करना, सभी परिमेय संख्याओं m/n के लिए निम्नलिखित सत्य है

सूचना माप की अनुमानित निरंतरता से, यह निष्कर्ष निकलता है कि लॉगरिदमिक फ़ंक्शन कॉची कार्यात्मक समीकरण का एकमात्र निरंतर समाधान है।

सूचना सिद्धांत में, लघुगणक आधार को 2 मानना ​​आम बात है, इसलिए एक बाइनरी विकल्प में बिल्कुल 1 बिट जानकारी होती है। इसलिए, जानकारी को सूत्र द्वारा मापा जाता है

आइए थोड़ा रुकें और समझें कि ऊपर क्या हुआ। सबसे पहले, हमने "सूचना" की अवधारणा को परिभाषित नहीं किया; हमने केवल इसके मात्रात्मक माप के सूत्र को परिभाषित किया।

दूसरा, यह माप अनिश्चितता के अधीन है, और यद्यपि यह मशीनों के लिए उचित रूप से उपयुक्त है - उदाहरण के लिए, टेलीफोन सिस्टम, रेडियो, टेलीविजन, कंप्यूटर, आदि - यह जानकारी के प्रति सामान्य मानवीय दृष्टिकोण को प्रतिबिंबित नहीं करता है।

तीसरा, यह एक सापेक्ष माप है, यह आपके ज्ञान की वर्तमान स्थिति पर निर्भर करता है। यदि आप एक यादृच्छिक संख्या जनरेटर से "यादृच्छिक संख्याओं" की एक धारा को देखते हैं, तो आप मानते हैं कि प्रत्येक अगली संख्या अनिश्चित है, लेकिन यदि आप "यादृच्छिक संख्याओं" की गणना करने का सूत्र जानते हैं, तो अगली संख्या ज्ञात होगी, और इसलिए नहीं होगी जानकारी शामिल है.

इसलिए शैनन की सूचना की परिभाषा कई मामलों में मशीनों के लिए उपयुक्त है, लेकिन शब्द की मानवीय समझ में फिट नहीं बैठती है। यही कारण है कि "सूचना सिद्धांत" को "संचार सिद्धांत" कहा जाना चाहिए। हालाँकि, परिभाषाओं को बदलने में बहुत देर हो चुकी है (जिसने सिद्धांत को इसकी प्रारंभिक लोकप्रियता दी, और जो अभी भी लोगों को यह सोचने पर मजबूर करती है कि यह सिद्धांत "जानकारी" से संबंधित है), इसलिए हमें उनके साथ रहना होगा, लेकिन साथ ही आपको यह भी करना होगा स्पष्ट रूप से समझें कि शैनन की सूचना की परिभाषा उसके सामान्य रूप से उपयोग किए जाने वाले अर्थ से कितनी दूर है। शैनन की जानकारी पूरी तरह से अलग चीज़ से संबंधित है, अर्थात् अनिश्चितता।

जब आप कोई शब्दावली प्रस्तावित करते हैं तो यहां कुछ बातें सोचने लायक होती हैं। एक प्रस्तावित परिभाषा, जैसे शैनन की सूचना की परिभाषा, आपके मूल विचार से कैसे मेल खाती है और यह कितनी भिन्न है? ऐसा लगभग कोई शब्द नहीं है जो किसी अवधारणा के बारे में आपके पिछले दृष्टिकोण को सटीक रूप से प्रतिबिंबित करता हो, लेकिन अंततः, यह उपयोग की जाने वाली शब्दावली है जो अवधारणा के अर्थ को दर्शाती है, इसलिए स्पष्ट परिभाषाओं के माध्यम से किसी चीज़ को औपचारिक बनाना हमेशा कुछ शोर पैदा करता है।

एक ऐसी प्रणाली पर विचार करें जिसकी वर्णमाला में संभावनाओं pi के साथ प्रतीक q शामिल हैं। इस मामले में जानकारी की औसत मात्रा सिस्टम में (इसका अपेक्षित मूल्य) इसके बराबर है:

इसे संभाव्यता वितरण {pi} वाले सिस्टम की एन्ट्रापी कहा जाता है। हम "एन्ट्रॉपी" शब्द का उपयोग करते हैं क्योंकि वही गणितीय रूप थर्मोडायनामिक्स और सांख्यिकीय यांत्रिकी में दिखाई देता है। यही कारण है कि "एन्ट्रॉपी" शब्द अपने चारों ओर महत्व की एक निश्चित आभा बनाता है, जो अंततः उचित नहीं है। अंकन का एक ही गणितीय रूप प्रतीकों की एक ही व्याख्या का संकेत नहीं देता है!

संभाव्यता वितरण की एन्ट्रापी कोडिंग सिद्धांत में एक प्रमुख भूमिका निभाती है। दो अलग-अलग संभाव्यता वितरण pi और qi के लिए गिब्स असमानता इस सिद्धांत के महत्वपूर्ण परिणामों में से एक है। तो हमें यह साबित करना होगा

प्रमाण एक स्पष्ट ग्राफ, चित्र पर आधारित है। 13.I, जो यह दर्शाता है

और समानता तभी प्राप्त होती है जब x = 1. आइए हम बाईं ओर से योग के प्रत्येक पद पर असमानता लागू करें:

यदि किसी संचार प्रणाली की वर्णमाला में q प्रतीक शामिल हैं, तो प्रत्येक प्रतीक qi = 1/q के संचरण की संभावना लेने और q को प्रतिस्थापित करने पर, हम गिब्स असमानता से प्राप्त करते हैं

चित्र 13.आई

इसका मतलब यह है कि यदि सभी q प्रतीकों को प्रसारित करने की संभावना समान है और - 1 / q के बराबर है, तो अधिकतम एन्ट्रापी ln q के बराबर है, अन्यथा असमानता बनी रहती है।

विशिष्ट रूप से डिकोड करने योग्य कोड के मामले में, हमारे पास क्राफ्ट की असमानता है

अब यदि हम छद्म संभावनाओं को परिभाषित करें

बेशक कहाँ = 1, जो गिब्स की असमानता से अनुसरण करता है,

और थोड़ा बीजगणित लागू करें (याद रखें कि K ≤ 1, ताकि हम लघुगणकीय पद को हटा सकें, और शायद बाद में असमानता को मजबूत कर सकें), हमें मिलता है

जहाँ L औसत कोड लंबाई है।

इस प्रकार, औसत कोडवर्ड लंबाई एल के साथ किसी भी वर्ण-दर-प्रतीक कोड के लिए एन्ट्रॉपी न्यूनतम सीमा है। यह एक हस्तक्षेप-मुक्त चैनल के लिए शैनन का प्रमेय है।

अब संचार प्रणालियों की सीमाओं के बारे में मुख्य प्रमेय पर विचार करें जिसमें सूचना स्वतंत्र बिट्स की एक धारा के रूप में प्रसारित होती है और शोर मौजूद होता है। यह समझा जाता है कि एक बिट के सही ट्रांसमिशन की संभावना P > 1/2 है, और ट्रांसमिशन के दौरान बिट मान उलटा होने की संभावना (एक त्रुटि होगी) Q = 1 - P के बराबर है। सुविधा के लिए, हम मान लें कि त्रुटियाँ स्वतंत्र हैं और प्रत्येक भेजे गए बिट के लिए त्रुटि की संभावना समान है - अर्थात, संचार चैनल में "सफेद शोर" है।

जिस तरह से हमारे पास एक संदेश में एनकोडेड एन बिट्स की एक लंबी स्ट्रीम है, वह एक-बिट कोड का एन-आयामी विस्तार है। हम n का मान बाद में निर्धारित करेंगे। एन-आयामी अंतरिक्ष में एक बिंदु के रूप में एन-बिट्स वाले संदेश पर विचार करें। चूँकि हमारे पास एक एन-आयामी स्थान है - और सरलता के लिए हम मान लेंगे कि प्रत्येक संदेश के घटित होने की संभावना समान है - एम संभावित संदेश हैं (एम को बाद में भी परिभाषित किया जाएगा), इसलिए भेजे गए किसी भी संदेश की संभावना है

(प्रेषक)
अनुसूची 13.II

इसके बाद, चैनल क्षमता के विचार पर विचार करें। विवरण में जाए बिना, चैनल क्षमता को सूचना की अधिकतम मात्रा के रूप में परिभाषित किया गया है जिसे सबसे कुशल कोडिंग के उपयोग को ध्यान में रखते हुए संचार चैनल पर विश्वसनीय रूप से प्रसारित किया जा सकता है। इसमें कोई तर्क नहीं है कि संचार माध्यम से उसकी क्षमता से अधिक सूचना प्रसारित की जा सकती है। इसे बाइनरी सममित चैनल (जिसे हम अपने मामले में उपयोग करते हैं) के लिए सिद्ध किया जा सकता है। बिट्स भेजते समय चैनल क्षमता को इस प्रकार निर्दिष्ट किया जाता है

जहां, पहले की तरह, P किसी भी भेजे गए बिट में कोई त्रुटि न होने की संभावना है। एन स्वतंत्र बिट्स भेजते समय, चैनल क्षमता दी जाती है

यदि हम चैनल क्षमता के करीब हैं, तो हमें प्रत्येक प्रतीक ai, i = 1, ..., M के लिए लगभग इतनी ही जानकारी भेजनी होगी। यह मानते हुए कि प्रत्येक प्रतीक ai के घटित होने की संभावना 1 / M है, हम पाते हैं

जब हम एम में से कोई भी समान रूप से संभावित संदेश भेजते हैं, तो हमारे पास होता है

जब n बिट्स भेजे जाते हैं, तो हम उम्मीद करते हैं कि nQ त्रुटियाँ घटित होंगी। व्यवहार में, n-बिट्स वाले संदेश के लिए, हमें प्राप्त संदेश में लगभग nQ त्रुटियाँ होंगी। बड़े n के लिए, सापेक्ष भिन्नता (भिन्नता = वितरण चौड़ाई, )
जैसे-जैसे n बढ़ता है त्रुटियों की संख्या का वितरण तेजी से संकीर्ण होता जाएगा।

इसलिए, ट्रांसमीटर की ओर से, मैं संदेश भेजने के लिए एआई लेता हूं और उसके चारों ओर त्रिज्या के साथ एक गोला बनाता हूं

जो त्रुटियों की अपेक्षित संख्या Q से e2 के बराबर मात्रा में थोड़ा बड़ा है, (चित्र 13.II)। यदि n पर्याप्त बड़ा है, तो संदेश बिंदु bj के रिसीवर पक्ष पर दिखाई देने की एक मनमाने ढंग से छोटी संभावना है जो इस क्षेत्र से परे फैली हुई है। आइए स्थिति का चित्रण करें जैसा कि मैं इसे ट्रांसमीटर के दृष्टिकोण से देखता हूं: हमारे पास प्रेषित संदेश एआई से प्राप्त संदेश बीजे तक कोई भी रेडी है जिसमें त्रुटि की संभावना सामान्य वितरण के बराबर (या लगभग बराबर) होती है, अधिकतम तक पहुंचती है nQ का. किसी दिए गए e2 के लिए, n इतना बड़ा है कि परिणामी बिंदु bj के मेरे क्षेत्र के बाहर होने की संभावना उतनी ही छोटी है जितनी आप चाहें।

आइए अब उसी स्थिति को अपनी ओर से देखें (चित्र 13.III)। रिसीवर की तरफ एन-डायमेंशनल स्पेस में प्राप्त बिंदु bj के चारों ओर समान त्रिज्या r का एक गोला S(r) है, जैसे कि यदि प्राप्त संदेश bj मेरे गोले के अंदर है, तो मेरे द्वारा भेजा गया संदेश ai आपके अंदर है गोला।

त्रुटि कैसे हो सकती है? त्रुटि नीचे दी गई तालिका में वर्णित मामलों में हो सकती है:

चित्र 13.III

यहां हम देखते हैं कि यदि प्राप्त बिंदु के चारों ओर बने गोले में संभावित भेजे गए अनएनकोडेड संदेश के अनुरूप कम से कम एक और बिंदु है, तो ट्रांसमिशन के दौरान एक त्रुटि हुई, क्योंकि आप यह निर्धारित नहीं कर सकते कि इनमें से कौन सा संदेश प्रसारित किया गया था। भेजा गया संदेश केवल तभी त्रुटि-मुक्त होता है जब उसके अनुरूप बिंदु गोले में हो, और दिए गए कोड में कोई अन्य बिंदु संभव नहीं है जो उसी क्षेत्र में हो।

यदि संदेश एआई भेजा गया था तो त्रुटि पीई की संभावना के लिए हमारे पास गणितीय समीकरण है

हम दूसरे पद में पहले कारक को 1 मानकर बाहर कर सकते हैं। इस प्रकार हमें असमानता प्राप्त होती है

जाहिर है,

इसलिये

दाईं ओर अंतिम पद पर पुनः आवेदन करें

n को पर्याप्त रूप से बड़ा लेते हुए, पहले पद को इच्छानुसार छोटा लिया जा सकता है, मान लीजिए किसी संख्या d से कम। इसलिए हमारे पास है

अब आइए देखें कि हम n बिट्स वाले M संदेशों को एनकोड करने के लिए एक सरल प्रतिस्थापन कोड कैसे बना सकते हैं। यह पता नहीं होने पर कि वास्तव में कोड कैसे बनाया जाए (त्रुटि-सुधार करने वाले कोड का अभी तक आविष्कार नहीं हुआ था), शैनन ने यादृच्छिक कोडिंग को चुना। संदेश में प्रत्येक n बिट के लिए एक सिक्का पलटें और M संदेश के लिए प्रक्रिया को दोहराएं। कुल मिलाकर, nM कॉइन फ़्लिप बनाने की आवश्यकता है, इसलिए यह संभव है

समान संभावना ½nM वाले कोड शब्दकोश। बेशक, कोडबुक बनाने की यादृच्छिक प्रक्रिया का मतलब है कि डुप्लिकेट की संभावना है, साथ ही कोड बिंदु भी एक-दूसरे के करीब होंगे और इसलिए संभावित त्रुटियों का स्रोत होंगे। किसी को यह साबित करना होगा कि यदि यह किसी छोटे चुने हुए त्रुटि स्तर से अधिक संभावना के साथ नहीं होता है, तो दिया गया n काफी बड़ा है।
महत्वपूर्ण बात यह है कि शैनन ने औसत त्रुटि खोजने के लिए सभी संभावित कोडबुक का औसत निकाला! हम सभी संभावित यादृच्छिक कोडबुक के सेट पर औसत मूल्य को दर्शाने के लिए प्रतीक Av[.] का उपयोग करेंगे। निश्चित रूप से, एक स्थिरांक d पर औसत लगाने से एक स्थिरांक प्राप्त होता है, क्योंकि औसत के लिए प्रत्येक पद योग में प्रत्येक दूसरे पद के समान होता है,

जिसे बढ़ाया जा सकता है (एम-1 एम पर जाता है)

किसी भी दिए गए संदेश के लिए, जब सभी कोडबुक का औसत निकाला जाता है, तो एन्कोडिंग सभी संभावित मानों के माध्यम से चलती है, इसलिए एक बिंदु के गोले में होने की औसत संभावना गोले के आयतन और अंतरिक्ष के कुल आयतन का अनुपात है। गोले का आयतन है

जहां s=Q+e2 <1/2 और ns एक पूर्णांक होना चाहिए।

दाईं ओर का अंतिम पद इस योग में सबसे बड़ा है। सबसे पहले, आइए फैक्टोरियल के लिए स्टर्लिंग फॉर्मूला का उपयोग करके इसके मूल्य का अनुमान लगाएं। फिर हम इसके सामने वाले पद के घटते गुणांक को देखेंगे, ध्यान दें कि जैसे-जैसे हम बाईं ओर जाते हैं यह गुणांक बढ़ता जाता है, और इसलिए हम यह कर सकते हैं: (1) योग के मान को ज्यामितीय प्रगति के योग तक सीमित रखें यह प्रारंभिक गुणांक, (2) ज्यामितीय प्रगति को एनएस शब्दों से अनंत संख्या तक विस्तारित करता है, (3) एक अनंत ज्यामितीय प्रगति (मानक बीजगणित, कुछ भी महत्वपूर्ण नहीं) के योग की गणना करता है और अंत में सीमित मूल्य प्राप्त करता है (पर्याप्त रूप से बड़े के लिए) एन):

ध्यान दें कि एन्ट्रापी H(s) द्विपद पहचान में कैसे प्रकट हुई। ध्यान दें कि टेलर श्रृंखला विस्तार H(s)=H(Q+e2) केवल पहले व्युत्पन्न को ध्यान में रखते हुए और अन्य सभी को अनदेखा करते हुए प्राप्त अनुमान देता है। आइए अब अंतिम अभिव्यक्ति को एक साथ रखें:

जहां

हमें बस e2 को इस प्रकार चुनना है कि e3 < e1, और फिर अंतिम पद मनमाने ढंग से छोटा होगा, जब तक कि n पर्याप्त बड़ा है। नतीजतन, औसत पीई त्रुटि को मनमाने ढंग से सी के करीब चैनल क्षमता के साथ वांछित के रूप में छोटा प्राप्त किया जा सकता है।
यदि सभी कोडों के औसत में काफी छोटी त्रुटि है, तो कम से कम एक कोड उपयुक्त होना चाहिए, इसलिए कम से कम एक उपयुक्त कोडिंग प्रणाली है। यह शैनन द्वारा प्राप्त एक महत्वपूर्ण परिणाम है - "एक शोर चैनल के लिए शैनन का प्रमेय", हालांकि यह ध्यान दिया जाना चाहिए कि उन्होंने इसे मेरे द्वारा उपयोग किए गए सरल बाइनरी सममित चैनल की तुलना में कहीं अधिक सामान्य मामले के लिए साबित किया। सामान्य मामले के लिए, गणितीय गणनाएँ बहुत अधिक जटिल होती हैं, लेकिन विचार इतने भिन्न नहीं होते हैं, इसलिए अक्सर, किसी विशेष मामले के उदाहरण का उपयोग करके, आप प्रमेय का सही अर्थ प्रकट कर सकते हैं।

आइये परिणाम की आलोचना करें. हमने बार-बार दोहराया है: "पर्याप्त रूप से बड़े एन के लिए।" लेकिन n कितना बड़ा है? बहुत, बहुत बड़ा यदि आप वास्तव में चैनल क्षमता के करीब होना चाहते हैं और सही डेटा स्थानांतरण के बारे में सुनिश्चित होना चाहते हैं! वास्तव में, इतना बड़ा कि आपको बाद में इसे एन्कोड करने के लिए पर्याप्त बिट्स का संदेश जमा करने के लिए बहुत लंबे समय तक इंतजार करना होगा। इस मामले में, यादृच्छिक कोड शब्दकोश का आकार बहुत बड़ा होगा (आखिरकार, इस तरह के शब्दकोश को सभी एमएन बिट्स की पूरी सूची से छोटे रूप में प्रस्तुत नहीं किया जा सकता है, इस तथ्य के बावजूद कि एन और एम बहुत बड़े हैं)!

त्रुटि-सुधार करने वाले कोड बहुत लंबे संदेश की प्रतीक्षा करने और फिर उसे बहुत बड़ी कोडबुक के माध्यम से एन्कोडिंग और डिकोड करने से बचते हैं क्योंकि वे स्वयं कोडबुक से बचते हैं और इसके बजाय सामान्य गणना का उपयोग करते हैं। सरल सिद्धांत में, ऐसे कोड चैनल क्षमता तक पहुंचने की क्षमता खो देते हैं और फिर भी कम त्रुटि दर बनाए रखते हैं, लेकिन जब कोड बड़ी संख्या में त्रुटियों को ठीक करता है, तो वे अच्छा प्रदर्शन करते हैं। दूसरे शब्दों में, यदि आप त्रुटि सुधार के लिए कुछ चैनल क्षमता आवंटित करते हैं, तो आपको अधिकांश समय त्रुटि सुधार क्षमता का उपयोग करना होगा, यानी, भेजे गए प्रत्येक संदेश में बड़ी संख्या में त्रुटियों को ठीक किया जाना चाहिए, अन्यथा आप इस क्षमता को बर्बाद कर देंगे।

साथ ही, ऊपर सिद्ध प्रमेय अभी भी निरर्थक नहीं है! यह दर्शाता है कि कुशल ट्रांसमिशन सिस्टम को बहुत लंबी बिट स्ट्रिंग के लिए चतुर एन्कोडिंग योजनाओं का उपयोग करना चाहिए। एक उदाहरण वे उपग्रह हैं जो बाहरी ग्रहों से परे उड़ान भर चुके हैं; जैसे-जैसे वे पृथ्वी और सूर्य से दूर जाते हैं, उन्हें डेटा ब्लॉक में अधिक से अधिक त्रुटियों को ठीक करने के लिए मजबूर किया जाता है: कुछ उपग्रह सौर पैनलों का उपयोग करते हैं, जो लगभग 5 डब्ल्यू प्रदान करते हैं, अन्य परमाणु ऊर्जा स्रोतों का उपयोग करते हैं, जो लगभग समान शक्ति प्रदान करते हैं। बिजली आपूर्ति की कम शक्ति, ट्रांसमीटर डिश का छोटा आकार और पृथ्वी पर रिसीवर डिश का सीमित आकार, सिग्नल को तय की जाने वाली विशाल दूरी - इन सभी को बनाने के लिए उच्च स्तर के त्रुटि सुधार वाले कोड के उपयोग की आवश्यकता होती है प्रभावी संचार प्रणाली.

आइए उस एन-डायमेंशनल स्पेस पर वापस लौटें जिसका उपयोग हमने उपरोक्त प्रमाण में किया था। इस पर चर्चा करते हुए, हमने दिखाया कि गोले का लगभग पूरा आयतन बाहरी सतह के पास केंद्रित है - इस प्रकार, यह लगभग निश्चित है कि भेजा गया सिग्नल प्राप्त सिग्नल के चारों ओर बने गोले की सतह के पास स्थित होगा, भले ही अपेक्षाकृत ऐसे गोले की छोटी त्रिज्या। इसलिए, यह आश्चर्य की बात नहीं है कि प्राप्त सिग्नल, मनमाने ढंग से बड़ी संख्या में त्रुटियों को ठीक करने के बाद, एनक्यू, त्रुटियों के बिना सिग्नल के मनमाने ढंग से करीब हो जाता है। जिस लिंक क्षमता पर हमने पहले चर्चा की थी वह इस घटना को समझने की कुंजी है। ध्यान दें कि त्रुटि-सुधार करने वाले हैमिंग कोड के लिए बनाए गए समान गोले एक-दूसरे को ओवरलैप नहीं करते हैं। एन-आयामी अंतरिक्ष में लगभग ऑर्थोगोनल आयामों की बड़ी संख्या दर्शाती है कि हम एम क्षेत्रों को थोड़े ओवरलैप के साथ अंतरिक्ष में क्यों फिट कर सकते हैं। यदि हम एक छोटे, मनमाने ढंग से छोटे ओवरलैप की अनुमति देते हैं, जिससे डिकोडिंग के दौरान केवल थोड़ी संख्या में त्रुटियां हो सकती हैं, तो हम अंतरिक्ष में गोले का सघन स्थान प्राप्त कर सकते हैं। हैमिंग ने त्रुटि सुधार के एक निश्चित स्तर की गारंटी दी, शैनन ने - त्रुटि की कम संभावना, लेकिन साथ ही वास्तविक थ्रूपुट को संचार चैनल की क्षमता के करीब मनमाने ढंग से बनाए रखा, जो हैमिंग कोड नहीं कर सकते।

सूचना सिद्धांत हमें यह नहीं बताता कि एक कुशल प्रणाली को कैसे डिज़ाइन किया जाए, लेकिन यह कुशल संचार प्रणालियों की ओर रास्ता दिखाता है। यह मशीन-टू-मशीन संचार प्रणालियों के निर्माण के लिए एक मूल्यवान उपकरण है, लेकिन, जैसा कि पहले उल्लेख किया गया है, इसकी इस बात से बहुत कम प्रासंगिकता है कि मनुष्य एक-दूसरे के साथ कैसे संवाद करते हैं। तकनीकी संचार प्रणालियों की तरह जैविक वंशानुक्रम किस हद तक अज्ञात है, इसलिए यह वर्तमान में स्पष्ट नहीं है कि सूचना सिद्धांत जीन पर कैसे लागू होता है। हमारे पास प्रयास करने के अलावा कोई विकल्प नहीं है, और यदि सफलता हमें इस घटना की मशीन जैसी प्रकृति दिखाती है, तो विफलता सूचना की प्रकृति के अन्य महत्वपूर्ण पहलुओं की ओर इशारा करेगी।

आइए ज्यादा विषयांतर न करें। हमने देखा है कि सभी मूल परिभाषाएँ, अधिक या कम हद तक, हमारी मूल मान्यताओं का सार व्यक्त करती हैं, लेकिन उनमें कुछ हद तक विकृति होती है और इसलिए वे लागू नहीं होती हैं। यह परंपरागत रूप से स्वीकार किया जाता है कि, अंततः, हम जिस परिभाषा का उपयोग करते हैं वह वास्तव में सार को परिभाषित करती है; लेकिन, यह हमें केवल यह बताता है कि चीजों को कैसे संसाधित किया जाए और किसी भी तरह से हमें कोई मतलब नहीं बताया जाता है। अभिधारणापरक दृष्टिकोण, जिसे गणितीय हलकों में बहुत अधिक पसंद किया जाता है, व्यवहार में वांछित होने के लिए बहुत कुछ छोड़ देता है।

अब हम आईक्यू परीक्षणों का एक उदाहरण देखेंगे जहां परिभाषा उतनी ही गोलाकार है जितनी आप चाहते हैं और, परिणामस्वरूप, भ्रामक है। एक परीक्षण बनाया गया है जिसका उद्देश्य बुद्धि को मापना है। फिर इसे यथासंभव सुसंगत बनाने के लिए संशोधित किया जाता है, और फिर इसे प्रकाशित किया जाता है और, एक सरल विधि में, कैलिब्रेट किया जाता है ताकि मापा गया "बुद्धिमत्ता" सामान्य रूप से वितरित हो (निश्चित रूप से एक अंशांकन वक्र पर)। सभी परिभाषाओं की दोबारा जाँच की जानी चाहिए, न केवल जब वे पहली बार प्रस्तावित की गई थीं, बल्कि बहुत बाद में भी, जब उनका उपयोग निकाले गए निष्कर्षों में किया गया हो। समस्या के समाधान के लिए पारिभाषिक सीमाएँ किस हद तक उपयुक्त हैं? कितनी बार एक ही सेटिंग में दी गई परिभाषाएँ बिल्कुल अलग-अलग सेटिंग्स में लागू होती हैं? ऐसा अक्सर होता है! मानविकी में, जिसका सामना आप अपने जीवन में अनिवार्य रूप से करेंगे, ऐसा अक्सर होता है।

इस प्रकार, सूचना सिद्धांत की इस प्रस्तुति का एक उद्देश्य, इसकी उपयोगिता प्रदर्शित करने के अलावा, आपको इस खतरे से आगाह करना था, या आपको यह दिखाना था कि वांछित परिणाम प्राप्त करने के लिए इसका उपयोग कैसे किया जाए। यह लंबे समय से देखा गया है कि प्रारंभिक परिभाषाएँ यह निर्धारित करती हैं कि आप अंत में क्या पाते हैं, जितना लगता है उससे कहीं अधिक हद तक। प्रारंभिक परिभाषाओं के लिए आपको बहुत अधिक ध्यान देने की आवश्यकता होती है, न केवल किसी नई स्थिति में, बल्कि उन क्षेत्रों में भी जिनमें आप लंबे समय से काम कर रहे हैं। इससे आपको यह समझने में मदद मिलेगी कि प्राप्त परिणाम किस हद तक एक तनातनी है और कुछ उपयोगी नहीं है।

एडिंगटन की प्रसिद्ध कहानी उन लोगों के बारे में बताती है जो जाल के साथ समुद्र में मछलियाँ पकड़ते थे। पकड़ी गई मछली के आकार का अध्ययन करने के बाद, उन्होंने समुद्र में पाई जाने वाली मछली का न्यूनतम आकार निर्धारित किया! उनका निष्कर्ष प्रयुक्त उपकरण से प्रेरित था, वास्तविकता से नहीं।

को जारी रखा जाएगा ...

जो कोई पुस्तक के अनुवाद, लेआउट और प्रकाशन में सहायता करना चाहता है - व्यक्तिगत संदेश या ईमेल में लिखें [ईमेल संरक्षित]

वैसे, हमने एक और बेहतरीन किताब का अनुवाद भी लॉन्च किया है - "द ड्रीम मशीन: द स्टोरी ऑफ़ द कंप्यूटर रिवोल्यूशन")

हम विशेष रूप से तलाश कर रहे हैं जो अनुवाद में मदद करेंगे बोनस अध्याय, जो केवल वीडियो पर है। (10 मिनट के लिए स्थानांतरण, पहले 20 मिनट पहले ही लिए जा चुके हैं)

पुस्तक की सामग्री और अनुवादित अध्यायप्रस्तावना

1. विज्ञान और इंजीनियरिंग करने की कला का परिचय: सीखना सीखना (28 मार्च, 1995) अनुवाद: अध्याय 1
2. "डिजिटल (असतत) क्रांति की नींव" (30 मार्च, 1995) अध्याय 2. डिजिटल (अलग) क्रांति के मूल सिद्धांत
3. "कंप्यूटर का इतिहास - हार्डवेयर" (31 मार्च, 1995) अध्याय 3. कंप्यूटर का इतिहास - हार्डवेयर
4. "कंप्यूटर का इतिहास - सॉफ्टवेयर" (4 अप्रैल, 1995) अध्याय 4. कंप्यूटर का इतिहास - सॉफ्टवेयर
5. "कंप्यूटर का इतिहास - अनुप्रयोग" (6 अप्रैल, 1995) अध्याय 5: कंप्यूटर का इतिहास - व्यावहारिक अनुप्रयोग
6. "कृत्रिम बुद्धिमत्ता - भाग I" (7 अप्रैल, 1995) अध्याय 6. आर्टिफिशियल इंटेलिजेंस - 1
7. "कृत्रिम बुद्धिमत्ता - भाग II" (11 अप्रैल, 1995) अध्याय 7. आर्टिफिशियल इंटेलिजेंस - II
8. "आर्टिफिशियल इंटेलिजेंस III" (13 अप्रैल, 1995) अध्याय 8. आर्टिफिशियल इंटेलिजेंस-III
9. "एन-डायमेंशनल स्पेस" (14 अप्रैल, 1995) अध्याय 9. एन-आयामी स्थान
10. "कोडिंग सिद्धांत - सूचना का प्रतिनिधित्व, भाग I" (अप्रैल 18, 1995) अध्याय 10. कोडिंग सिद्धांत - I
11. "कोडिंग सिद्धांत - सूचना का प्रतिनिधित्व, भाग II" (20 अप्रैल, 1995) अध्याय 11. कोडिंग सिद्धांत - II
12. "त्रुटि-सुधार कोड" (21 अप्रैल, 1995) अध्याय 12. त्रुटि सुधार कोड
13. "सूचना सिद्धांत" (25 अप्रैल, 1995) अध्याय 13. सूचना सिद्धांत
14. "डिजिटल फिल्टर, भाग I" (27 अप्रैल, 1995) अध्याय 14. डिजिटल फ़िल्टर - 1
15. "डिजिटल फिल्टर, भाग II" (28 अप्रैल, 1995) अध्याय 15. डिजिटल फ़िल्टर - 2
16. "डिजिटल फिल्टर, भाग III" (2 मई, 1995) अध्याय 16. डिजिटल फ़िल्टर - 3
17. "डिजिटल फिल्टर, भाग IV" (4 मई, 1995) अध्याय 17. डिजिटल फ़िल्टर - IV
18. "सिमुलेशन, भाग I" (5 मई, 1995) अध्याय 18. मॉडलिंग - I
19. "सिमुलेशन, भाग II" (9 मई, 1995) अध्याय 19. मॉडलिंग - II
20. "सिमुलेशन, भाग III" (11 मई, 1995) अध्याय 20. मॉडलिंग - III
21. "फाइबर ऑप्टिक्स" (12 मई, 1995) अध्याय 21. फाइबर ऑप्टिक्स
22. "कंप्यूटर सहायता प्राप्त निर्देश" (16 मई, 1995) अध्याय 22: कंप्यूटर सहायता प्राप्त निर्देश (सीएआई)
23. "गणित" (18 मई, 1995) अध्याय 23. गणित
24. "क्वांटम मैकेनिक्स" (19 मई, 1995) अध्याय 24. क्वांटम यांत्रिकी
25. "रचनात्मकता" (23 मई, 1995)। अनुवाद: अध्याय 25. रचनात्मकता
26. "विशेषज्ञ" (25 मई, 1995) अध्याय 26. विशेषज्ञ
27. "अविश्वसनीय डेटा" (26 मई, 1995) अध्याय 27. अविश्वसनीय डेटा
28. "सिस्टम इंजीनियरिंग" (30 मई, 1995) अध्याय 28. सिस्टम इंजीनियरिंग
29. "आपको वही मिलता है जो आप मापते हैं" (1 जून, 1995) अध्याय 29: आप जो मापते हैं वही आपको मिलता है
30. "हम कैसे जानें कि हम क्या जानते हैं" (जून 2, 1995) 10 मिनट के टुकड़ों में अनुवाद करें
31. हैमिंग, "यू एंड योर रिसर्च" (6 जून, 1995)। अनुवाद: आप और आपका काम

जो कोई पुस्तक के अनुवाद, लेआउट और प्रकाशन में सहायता करना चाहता है - व्यक्तिगत संदेश या ईमेल में लिखें [ईमेल संरक्षित]

स्रोत: www.habr.com