ريتشارد هامينج: الفصل 13. نظرية المعلومات

لقد تم بيعها!

"الغرض من هذه الدورة هو إعدادك لمستقبلك التقني."

ريتشارد هامينج: الفصل 13. نظرية المعلوماتأهلا هبر. تذكر المقال الرائع "أنت وعملك" (+219، 2588 إشارة مرجعية، 429 ألف قراءة)؟

لذا هامينج (نعم، نعم، المراقبة الذاتية والتصحيح الذاتي رموز هامينغ) هناك ككل книга، مكتوبة بناء على محاضراته. نحن نترجمها، لأن الرجل يتحدث عن رأيه.

هذا الكتاب لا يدور حول تكنولوجيا المعلومات فحسب، بل يدور حول أسلوب تفكير الأشخاص الرائعين بشكل لا يصدق. "إنها ليست مجرد دفعة للتفكير الإيجابي؛ فهو يصف الظروف التي تزيد من فرص القيام بعمل عظيم.

شكرا لأندريه باخوموف على الترجمة.

تم تطوير نظرية المعلومات بواسطة سي إي شانون في أواخر الأربعينيات. وأصرت إدارة مختبرات بيل على تسميتها "نظرية الاتصال" لأن... هذا اسم أكثر دقة. لأسباب واضحة، فإن اسم "نظرية المعلومات" له تأثير أكبر بكثير على الجمهور، ولهذا اختاره شانون، وهو الاسم الذي نعرفه حتى يومنا هذا. يشير الاسم نفسه إلى أن النظرية تتعامل مع المعلومات، مما يجعلها مهمة ونحن نتعمق في عصر المعلومات. في هذا الفصل، سأتطرق إلى عدة استنتاجات رئيسية من هذه النظرية، وسأقدم أدلة غير صارمة، بل بديهية لبعض الأحكام الفردية لهذه النظرية، حتى تتمكن من فهم ما هي "نظرية المعلومات" في الواقع، حيث يمكنك تطبيقها وأين لا .

بداية، ما هي "المعلومات"؟ شانون يساوي المعلومات مع عدم اليقين. لقد اختار اللوغاريتم السلبي لاحتمالية حدث ما كمقياس كمي للمعلومات التي تتلقاها عند وقوع حدث ذو احتمالية p. على سبيل المثال، إذا أخبرتك أن الطقس في لوس أنجلوس ضبابي، فإن p يقترب من 1، وهو ما لا يقدم لنا الكثير من المعلومات. ولكن إذا قلت إنها ستمطر في مونتيري في يونيو/حزيران، فسيكون هناك عدم يقين في الرسالة وستحتوي على مزيد من المعلومات. لا يحتوي الحدث الموثوق به على أية معلومات، حيث أن السجل 1 = 0.

دعونا ننظر إلى هذا بمزيد من التفصيل. يعتقد شانون أن المقياس الكمي للمعلومات يجب أن يكون دالة مستمرة لاحتمال وقوع حدث p، وبالنسبة للأحداث المستقلة يجب أن يكون مضافًا - يجب أن تكون كمية المعلومات التي تم الحصول عليها نتيجة لحدوث حدثين مستقلين مساوية لـ كمية المعلومات التي تم الحصول عليها نتيجة لحدوث حدث مشترك. على سبيل المثال، عادة ما يتم التعامل مع نتيجة رمي النرد ولف العملة كحدثين مستقلين. دعونا نترجم ما سبق إلى لغة الرياضيات. إذا كانت I (p) هي مقدار المعلومات الموجودة في حدث ذي احتمالية p، فبالنسبة لحدث مشترك يتكون من حدثين مستقلين x مع احتمالية p1 وy مع احتمالية p2 نحصل على

ريتشارد هامينج: الفصل 13. نظرية المعلومات
(x وy حدثان مستقلان)

هذه هي معادلة كوشي الوظيفية، وهي صحيحة لكل من p1 وp2. لحل هذه المعادلة الوظيفية، افترض ذلك

ص1 = ص2 = ص،

هذا يعطي

ريتشارد هامينج: الفصل 13. نظرية المعلومات

إذا كانت p1 = p2 و p2 = p إذن

ريتشارد هامينج: الفصل 13. نظرية المعلومات

إلخ. توسيع هذه العملية باستخدام الطريقة القياسية للأسس، لجميع الأعداد النسبية م/ن ما يلي صحيح

ريتشارد هامينج: الفصل 13. نظرية المعلومات

من الاستمرارية المفترضة لقياس المعلومات، يترتب على ذلك أن الدالة اللوغاريتمية هي الحل المستمر الوحيد لمعادلة كوشي الوظيفية.

في نظرية المعلومات، من الشائع اعتبار قاعدة اللوغاريتم 2، وبالتالي فإن الاختيار الثنائي يحتوي بالضبط على بت واحد من المعلومات. لذلك، يتم قياس المعلومات بواسطة الصيغة

ريتشارد هامينج: الفصل 13. نظرية المعلومات

دعونا نتوقف ونفهم ما حدث أعلاه. بادئ ذي بدء، لم نقم بتعريف مفهوم "المعلومات"، بل قمنا ببساطة بتعريف صيغة قياسها الكمي.

ثانيا، يخضع هذا المقياس لعدم اليقين، ورغم أنه مناسب بشكل معقول للآلات ــ على سبيل المثال، أنظمة الهاتف والراديو والتلفزيون وأجهزة الكمبيوتر، وما إلى ذلك ــ فإنه لا يعكس المواقف البشرية الطبيعية تجاه المعلومات.

ثالثا، هذا مقياس نسبي، ويعتمد على الوضع الحالي لمعرفتك. إذا نظرت إلى دفق من "الأرقام العشوائية" من مولد أرقام عشوائية، فإنك تفترض أن كل رقم تالٍ غير مؤكد، ولكن إذا كنت تعرف صيغة حساب "الأرقام العشوائية"، فسيتم معرفة الرقم التالي، وبالتالي لن تحتوي على معلومات.

لذا فإن تعريف شانون للمعلومات مناسب للآلات في كثير من الحالات، ولكن لا يبدو أنه يتناسب مع الفهم البشري للكلمة. ولهذا السبب كان ينبغي أن تسمى "نظرية المعلومات" "نظرية الاتصال". ومع ذلك، فقد فات الأوان لتغيير التعريفات (التي أعطت للنظرية شعبيتها الأولية، والتي لا تزال تجعل الناس يعتقدون أن هذه النظرية تتعامل مع "المعلومات")، لذلك علينا أن نتعايش معها، ولكن في الوقت نفسه يجب عليك فهم بوضوح مدى ابتعاد تعريف شانون للمعلومات عن معناها الشائع الاستخدام. تتعامل معلومات شانون مع شيء مختلف تمامًا، ألا وهو عدم اليقين.

إليك شيء يجب التفكير فيه عند اقتراح أي مصطلحات. كيف يتفق التعريف المقترح، مثل تعريف شانون للمعلومات، مع فكرتك الأصلية وما مدى اختلافها؟ لا يوجد تقريبًا مصطلح يعكس بالضبط رؤيتك السابقة للمفهوم، ولكن في النهاية، المصطلحات المستخدمة هي التي تعكس معنى المفهوم، لذا فإن إضفاء الطابع الرسمي على شيء ما من خلال تعريفات واضحة يؤدي دائمًا إلى بعض الضجيج.

خذ بعين الاعتبار نظامًا تتكون أبجديته من الرموز q مع الاحتمالات pi. في هذه الحالة متوسط ​​كمية المعلومات في النظام (قيمته المتوقعة) تساوي:

ريتشارد هامينج: الفصل 13. نظرية المعلومات

وهذا ما يسمى إنتروبيا النظام مع التوزيع الاحتمالي {pi}. نحن نستخدم مصطلح "الإنتروبيا" لأن نفس الشكل الرياضي يظهر في الديناميكا الحرارية والميكانيكا الإحصائية. ولهذا السبب يخلق مصطلح "الإنتروبيا" هالة معينة من الأهمية حول نفسه، وهو أمر غير مبرر في النهاية. نفس الشكل الرياضي للتدوين لا يعني نفس تفسير الرموز!

تلعب إنتروبيا التوزيع الاحتمالي دورًا رئيسيًا في نظرية الترميز. تعد متباينة جيبس ​​لتوزيعين احتماليين مختلفين pi وqi أحد النتائج المهمة لهذه النظرية. لذلك يجب علينا أن نثبت ذلك

ريتشارد هامينج: الفصل 13. نظرية المعلومات

ويستند الدليل على رسم بياني واضح، الشكل 13. XNUMX.أنا مما يدل على ذلك

ريتشارد هامينج: الفصل 13. نظرية المعلومات

وتتحقق المساواة فقط عندما تكون x = 1. دعونا نطبق المتباينة على كل حد من المجموع من الجانب الأيسر:

ريتشارد هامينج: الفصل 13. نظرية المعلومات

إذا كانت الأبجدية لنظام الاتصالات تتكون من رموز q، فعند أخذ احتمالية انتقال كل رمز qi = 1/q واستبدال q، نحصل على متباينة جيبس

ريتشارد هامينج: الفصل 13. نظرية المعلومات

ريتشارد هامينج: الفصل 13. نظرية المعلومات

الشكل 13.I

هذا يعني أنه إذا كان احتمال إرسال جميع رموز q هو نفسه ويساوي - 1 / q، فإن الإنتروبيا القصوى تساوي ln q، وإلا فإن عدم المساواة يظل قائمًا.

في حالة الكود القابل للفك بشكل فريد، لدينا متباينة كرافت

ريتشارد هامينج: الفصل 13. نظرية المعلومات

الآن إذا قمنا بتعريف الاحتمالات الزائفة

ريتشارد هامينج: الفصل 13. نظرية المعلومات

حيث بالطبع ريتشارد هامينج: الفصل 13. نظرية المعلومات= 1، والذي يتبع من متباينة جيبس،

ريتشارد هامينج: الفصل 13. نظرية المعلومات

ونطبق القليل من الجبر (تذكر أن K ≥ 1، حتى نتمكن من إسقاط الحد اللوغاريتمي، وربما تعزيز المتباينة لاحقًا)، نحصل على

ريتشارد هامينج: الفصل 13. نظرية المعلومات

حيث L هو متوسط ​​طول الكود.

وبالتالي، فإن الإنتروبيا هي الحد الأدنى لأي رمز حرف برمز بمتوسط ​​طول كلمة مشفرة L. هذه هي نظرية شانون لقناة خالية من التداخل.

الآن فكر في النظرية الرئيسية حول قيود أنظمة الاتصالات التي يتم فيها نقل المعلومات كتدفق من البتات المستقلة ويوجد ضوضاء. من المفهوم أن احتمال الإرسال الصحيح لبتة واحدة هو P > 1/2، واحتمال عكس قيمة البت أثناء الإرسال (سيحدث خطأ) يساوي Q = 1 - P. وللتيسير، نحن افترض أن الأخطاء مستقلة وأن احتمال الخطأ هو نفسه لكل بتة مرسلة - أي أن هناك "ضوضاء بيضاء" في قناة الاتصال.

الطريقة التي نحصل بها على دفق طويل من البتات n المشفرة في رسالة واحدة هي الامتداد n الأبعاد لرمز البت الواحد. وسنحدد قيمة n لاحقًا. اعتبر رسالة تتكون من n-bits كنقطة في الفضاء n- الأبعاد. بما أن لدينا مساحة ذات أبعاد n - ومن أجل التبسيط سنفترض أن كل رسالة لها نفس احتمالية الحدوث - فهناك عدد M من الرسائل المحتملة (سيتم تعريف M أيضًا لاحقًا)، وبالتالي فإن احتمال أي رسالة مرسلة هو

ريتشارد هامينج: الفصل 13. نظرية المعلومات

ريتشارد هامينج: الفصل 13. نظرية المعلومات
(مرسل)
الجدول 13.II

بعد ذلك، فكر في فكرة سعة القناة. دون الخوض في التفاصيل، يتم تعريف سعة القناة على أنها الحد الأقصى لكمية المعلومات التي يمكن نقلها بشكل موثوق عبر قناة الاتصال، مع مراعاة استخدام التشفير الأكثر كفاءة. لا يوجد حجة مفادها أنه يمكن نقل المزيد من المعلومات عبر قناة اتصال أكبر من قدرتها. يمكن إثبات ذلك بالنسبة للقناة الثنائية المتماثلة (والتي نستخدمها في حالتنا). يتم تحديد سعة القناة، عند إرسال البتات، على أنها

ريتشارد هامينج: الفصل 13. نظرية المعلومات

حيث، كما كان من قبل، P هو احتمال عدم وجود خطأ في أي بتة مرسلة. عند إرسال عدد n من البتات المستقلة، يتم تحديد سعة القناة بواسطة

ريتشارد هامينج: الفصل 13. نظرية المعلومات

وإذا اقتربنا من سعة القناة فيجب علينا إرسال هذا القدر من المعلومات تقريبًا لكل رمز من الرموز ai, i = 1, ..., M. وباعتبار أن احتمال حدوث كل رمز ai هو 1/M، نحن نحصل

ريتشارد هامينج: الفصل 13. نظرية المعلومات

عندما نرسل أيًا من الرسائل المحتملة بنفس القدر، لدينا

ريتشارد هامينج: الفصل 13. نظرية المعلومات

عند إرسال n بتات، نتوقع حدوث أخطاء nQ. من الناحية العملية، بالنسبة للرسالة التي تتكون من n-bit، سيكون لدينا أخطاء nQ تقريبًا في الرسالة المستلمة. بالنسبة لـ n الكبيرة، التباين النسبي (التباين = عرض التوزيع، )
سيصبح توزيع عدد الأخطاء ضيقًا بشكل متزايد مع زيادة n.

لذلك، من جانب المرسل، آخذ الرسالة ai لإرسالها ورسم كرة حولها بنصف القطر

ريتشارد هامينج: الفصل 13. نظرية المعلومات

وهو أكبر قليلاً بمقدار يساوي e2 من العدد المتوقع للأخطاء Q (الشكل 13.II). إذا كانت n كبيرة بدرجة كافية، فهناك احتمال صغير اعتباطيًا لظهور نقطة الرسالة bj على جانب المستقبل الذي يمتد إلى ما وراء هذه الكرة. دعونا نرسم الموقف كما أراه من وجهة نظر المرسل: لدينا أي نصف قطر من الرسالة المرسلة ai إلى الرسالة المستلمة bj مع احتمال خطأ يساوي (أو يساوي تقريبًا) التوزيع الطبيعي، ويصل إلى الحد الأقصى في نك. بالنسبة لأي e2 معين، هناك n كبير جدًا بحيث يكون احتمال أن تكون النقطة الناتجة bj خارج كرتي صغيرًا كما تريد.

الآن دعونا نلقي نظرة على نفس الموقف من جانبك (الشكل 13.III). في جانب المستقبل توجد كرة S(r) لها نفس نصف القطر r حول النقطة المستقبلة bj في الفضاء ذي الأبعاد n، بحيث إذا كانت الرسالة المستلمة bj داخل المجال الخاص بي، فإن الرسالة ai التي أرسلتها موجودة داخل مجالك جسم كروي.

كيف يمكن أن يحدث خطأ؟ قد يحدث الخطأ في الحالات الموضحة في الجدول أدناه:

ريتشارد هامينج: الفصل 13. نظرية المعلومات

الشكل 13.III

ريتشارد هامينج: الفصل 13. نظرية المعلومات

نرى هنا أنه إذا كانت هناك نقطة أخرى على الأقل في المجال المبني حول النقطة المستقبلة المقابلة لرسالة غير مشفرة مرسلة محتملة، فقد حدث خطأ أثناء الإرسال، حيث لا يمكنك تحديد أي من هذه الرسائل تم إرسالها. تكون الرسالة المرسلة خالية من الأخطاء فقط إذا كانت النقطة المقابلة لها موجودة في المجال، ولا توجد نقاط أخرى ممكنة في الكود المحدد موجودة في نفس المجال.

لدينا معادلة رياضية لاحتمال الخطأ Pe إذا تم إرسال الرسالة ai

ريتشارد هامينج: الفصل 13. نظرية المعلومات

يمكننا التخلص من العامل الأول في الحد الثاني، ونأخذه على أنه 1. وبذلك نحصل على المتباينة

ريتشارد هامينج: الفصل 13. نظرية المعلومات

ومن الواضح أن

ريتشارد هامينج: الفصل 13. نظرية المعلومات

ول

ريتشارد هامينج: الفصل 13. نظرية المعلومات

أعد تطبيقه على المصطلح الأخير على اليمين

ريتشارد هامينج: الفصل 13. نظرية المعلومات

إذا أخذنا n كبيرًا بدرجة كافية، فيمكن أخذ الحد الأول صغيرًا حسب الرغبة، على سبيل المثال أقل من رقم ما d. لذلك لدينا

ريتشارد هامينج: الفصل 13. نظرية المعلومات

الآن دعونا نلقي نظرة على كيفية إنشاء رمز بديل بسيط لتشفير رسائل M التي تتكون من n بت. نظرًا لعدم وجود أي فكرة عن كيفية إنشاء الكود بالضبط (لم تكن رموز تصحيح الأخطاء قد اخترعت بعد)، اختار شانون التشفير العشوائي. اقلب عملة معدنية لكل بت من n في الرسالة وكرر العملية لرسائل M. في المجمل، يجب إجراء تقلبات لعملة nM، لذا فهذا ممكن

ريتشارد هامينج: الفصل 13. نظرية المعلومات

قواميس الكود لها نفس الاحتمال ½nM. بالطبع، تعني العملية العشوائية لإنشاء كتاب الرموز أن هناك احتمالًا للتكرارات، بالإضافة إلى نقاط التعليمات البرمجية التي ستكون قريبة من بعضها البعض وبالتالي تكون مصدرًا للأخطاء المحتملة. يجب على المرء أن يثبت أنه إذا لم يحدث هذا مع احتمال أكبر من أي مستوى خطأ صغير مختار، فإن n المعطى كبير بما فيه الكفاية.
النقطة الحاسمة هي أن شانون قام بحساب متوسط ​​جميع كتب الشفرات الممكنة للعثور على متوسط ​​الخطأ! سوف نستخدم الرمز Av[.] للإشارة إلى متوسط ​​القيمة على مجموعة جميع كتب الشفرات العشوائية الممكنة. إن حساب المتوسط ​​على ثابت d، بالطبع، يعطي ثابتًا، حيث أن حساب متوسط ​​كل حد هو نفس كل حد آخر في المجموع،

ريتشارد هامينج: الفصل 13. نظرية المعلومات

والتي يمكن زيادتها (M-1 يذهب إلى M)

ريتشارد هامينج: الفصل 13. نظرية المعلومات

بالنسبة لأي رسالة معينة، عند حساب المتوسط ​​عبر جميع كتب الشفرات، فإن التشفير يمر عبر جميع القيم الممكنة، وبالتالي فإن متوسط ​​احتمال وجود نقطة في كرة هو نسبة حجم الكرة إلى الحجم الإجمالي للمساحة. حجم الكرة هو

ريتشارد هامينج: الفصل 13. نظرية المعلومات

حيث s=Q+e2 <1/2 وns يجب أن يكون عددًا صحيحًا.

الحد الأخير على اليمين هو الأكبر في هذا المجموع. أولاً، دعونا نقدر قيمتها باستخدام صيغة ستيرلنغ للمضروب. وسننظر بعد ذلك إلى معامل تناقص الحد الذي أمامه، لاحظ أن هذا المعامل يزداد كلما اتجهنا إلى اليسار، وبذلك يمكننا: (1) تقييد قيمة المجموع بمجموع المتوالية الهندسية مع هذا المعامل الأولي، (2) قم بتوسيع التقدم الهندسي من حدود ns إلى عدد لا نهائي من الحدود، (3) احسب مجموع التقدم الهندسي اللانهائي (الجبر القياسي، لا شيء مهم) وأخيرًا احصل على القيمة المحددة (لعدد كبير بما فيه الكفاية ن):

ريتشارد هامينج: الفصل 13. نظرية المعلومات

لاحظ كيف ظهر الإنتروبيا H(s) في الهوية ذات الحدين. لاحظ أن توسيع سلسلة تايلور H(s)=H(Q+e2) يعطي تقديرًا تم الحصول عليه مع الأخذ في الاعتبار المشتق الأول فقط وتجاهل جميع المشتقات الأخرى. الآن دعونا نجمع التعبير النهائي:

ريتشارد هامينج: الفصل 13. نظرية المعلومات

حيث

ريتشارد هامينج: الفصل 13. نظرية المعلومات

كل ما علينا فعله هو اختيار e2 بحيث يكون e3 < e1، ومن ثم سيكون الحد الأخير صغيرًا بشكل تعسفي، طالما أن n كبيرة بدرجة كافية. وبالتالي، يمكن الحصول على متوسط ​​خطأ PE صغيرًا حسب الرغبة مع سعة القناة القريبة بشكل تعسفي من C.
إذا كان متوسط ​​جميع الرموز يحتوي على خطأ صغير بما فيه الكفاية، فيجب أن يكون رمز واحد على الأقل مناسبًا، وبالتالي يوجد نظام ترميز مناسب واحد على الأقل. هذه نتيجة مهمة حصل عليها شانون - "نظرية شانون للقناة الصاخبة"، على الرغم من أنه تجدر الإشارة إلى أنه أثبت ذلك في حالة أكثر عمومية بكثير من القناة المتماثلة الثنائية البسيطة التي استخدمتها. بالنسبة للحالة العامة، تكون الحسابات الرياضية أكثر تعقيدًا، لكن الأفكار ليست مختلفة جدًا، لذلك في كثير من الأحيان، باستخدام مثال حالة معينة، يمكنك الكشف عن المعنى الحقيقي للنظرية.

دعونا ننتقد النتيجة. لقد كررنا مرارًا وتكرارًا: "من أجل n كبير بما فيه الكفاية." ولكن ما هو حجم ن؟ كبير جدًا جدًا إذا كنت تريد حقًا أن تكون قريبًا من سعة القناة وتتأكد من النقل الصحيح للبيانات! كبيرة جدًا، في الواقع، بحيث سيتعين عليك الانتظار لفترة طويلة جدًا لتجميع رسالة تحتوي على ما يكفي من البتات لتشفيرها لاحقًا. في هذه الحالة، سيكون حجم قاموس الكود العشوائي ضخمًا (بعد كل شيء، لا يمكن تمثيل مثل هذا القاموس في شكل أقصر من القائمة الكاملة لجميع بتات Mn، على الرغم من حقيقة أن n وM كبيران جدًا)!

تتجنب رموز تصحيح الأخطاء انتظار رسالة طويلة جدًا ثم تشفيرها وفك تشفيرها من خلال كتب الرموز الكبيرة جدًا لأنها تتجنب كتب الرموز نفسها وتستخدم الحساب العادي بدلاً من ذلك. من الناحية النظرية البسيطة، تميل هذه الرموز إلى فقدان القدرة على الاقتراب من سعة القناة وتظل تحافظ على معدل خطأ منخفض، ولكن عندما تقوم الشفرة بتصحيح عدد كبير من الأخطاء، فإنها تؤدي أداءً جيدًا. بمعنى آخر، إذا خصصت بعض سعة القناة لتصحيح الأخطاء، فيجب عليك استخدام إمكانية تصحيح الأخطاء في معظم الأوقات، أي أنه يجب تصحيح عدد كبير من الأخطاء في كل رسالة مرسلة، وإلا فإنك تضيع هذه القدرة.

وفي الوقت نفسه، فإن النظرية المثبتة أعلاه لا تزال لا معنى لها! إنه يوضح أن أنظمة النقل الفعالة يجب أن تستخدم أنظمة تشفير ذكية لسلاسل البتات الطويلة جدًا. ومن الأمثلة على ذلك الأقمار الصناعية التي طارت إلى ما وراء الكواكب الخارجية؛ أثناء ابتعادهم عن الأرض والشمس، يضطرون إلى تصحيح المزيد والمزيد من الأخطاء في كتلة البيانات: تستخدم بعض الأقمار الصناعية الألواح الشمسية، التي توفر حوالي 5 واط، والبعض الآخر يستخدم مصادر الطاقة النووية، والتي توفر نفس الطاقة تقريبًا. الطاقة المنخفضة لمصدر الطاقة، وصغر حجم أطباق الإرسال، والحجم المحدود لأطباق الاستقبال على الأرض، والمسافة الهائلة التي يجب أن تقطعها الإشارة - كل هذا يتطلب استخدام أكواد ذات مستوى عالٍ من تصحيح الأخطاء لبناء نظام نظام اتصالات فعال.

دعونا نعود إلى الفضاء ذو ​​الأبعاد n الذي استخدمناه في الدليل أعلاه. في مناقشته، أظهرنا أن الحجم الكامل للكرة تقريبًا يتركز بالقرب من السطح الخارجي - وبالتالي، فمن المؤكد تقريبًا أن الإشارة المرسلة ستكون موجودة بالقرب من سطح الكرة المبنية حول الإشارة المستقبلة، حتى مع وجود مسافة نسبية نصف قطر صغير من هذا المجال. لذلك، ليس من المستغرب أن تكون الإشارة المستقبلة، بعد تصحيح عدد كبير من الأخطاء بشكل تعسفي، nQ، قريبة بشكل تعسفي من الإشارة دون أخطاء. إن قدرة الارتباط التي ناقشناها سابقًا هي المفتاح لفهم هذه الظاهرة. لاحظ أن المجالات المماثلة التي تم إنشاؤها لتصحيح الأخطاء في رموز هامينج لا تتداخل مع بعضها البعض. يُظهر العدد الكبير من الأبعاد المتعامدة تقريبًا في الفضاء ذي الأبعاد n سبب إمكانية تركيب المجالات M في الفضاء مع القليل من التداخل. إذا سمحنا بتداخل صغير اعتباطي، والذي يمكن أن يؤدي إلى عدد صغير فقط من الأخطاء أثناء فك التشفير، فيمكننا الحصول على موضع كثيف للمجالات في الفضاء. يضمن هامينج مستوى معين من تصحيح الخطأ، شانون - احتمالية منخفضة للخطأ، ولكن في نفس الوقت يحافظ على الإنتاجية الفعلية قريبة بشكل تعسفي من سعة قناة الاتصال، وهو ما لا تستطيع أكواد هامينج القيام به.

لا تخبرنا نظرية المعلومات عن كيفية تصميم نظام فعال، ولكنها تشير إلى الطريق نحو أنظمة اتصالات فعالة. إنها أداة قيمة لبناء أنظمة الاتصال من آلة إلى آلة، ولكن، كما ذكرنا سابقًا، ليس لها صلة تذكر بكيفية تواصل البشر مع بعضهم البعض. إن مدى تشابه الميراث البيولوجي مع أنظمة الاتصالات التقنية غير معروف، لذلك ليس من الواضح حاليًا كيفية تطبيق نظرية المعلومات على الجينات. ليس لدينا خيار سوى المحاولة، وإذا أظهر لنا النجاح طبيعة هذه الظاهرة الشبيهة بالآلة، فإن الفشل سيشير إلى جوانب مهمة أخرى من طبيعة المعلومات.

دعونا لا نستطرد كثيرا. لقد رأينا أن جميع التعريفات الأصلية، بدرجة أكبر أو أقل، يجب أن تعبر عن جوهر معتقداتنا الأصلية، ولكنها تتميز بدرجة ما من التشويه، وبالتالي لا تنطبق. من المقبول تقليديًا أن التعريف الذي نستخدمه، في نهاية المطاف، يحدد الجوهر فعليًا؛ لكن هذا يخبرنا فقط بكيفية معالجة الأشياء ولا ينقل لنا أي معنى بأي حال من الأحوال. إن النهج الافتراضي، المفضل بشدة في الأوساط الرياضية، يترك الكثير مما هو مرغوب فيه في الممارسة العملية.

سنلقي الآن نظرة على مثال لاختبارات الذكاء حيث يكون التعريف دائريًا كما تريد، ونتيجة لذلك، يكون مضللًا. يتم إنشاء اختبار من المفترض أن يقيس الذكاء. ثم تتم مراجعته لجعله متسقًا قدر الإمكان، ثم يتم نشره ومعايرته بطريقة بسيطة بحيث يتبين أن "الذكاء" المقاس موزع بشكل طبيعي (على منحنى المعايرة بالطبع). يجب إعادة فحص جميع التعريفات، ليس فقط عند اقتراحها لأول مرة، ولكن أيضًا بعد ذلك بكثير، عندما يتم استخدامها في الاستنتاجات المستخلصة. إلى أي مدى تعتبر الحدود التعريفية مناسبة للمشكلة التي يتم حلها؟ كم مرة يتم تطبيق التعريفات الواردة في أحد الإعدادات في إعدادات مختلفة تمامًا؟ يحدث هذا في كثير من الأحيان! في العلوم الإنسانية، التي ستواجهها حتما في حياتك، يحدث هذا في كثير من الأحيان.

وبالتالي، كان أحد أغراض هذا العرض لنظرية المعلومات، بالإضافة إلى إظهار فائدتها، هو تحذيرك من هذا الخطر، أو توضيح كيفية استخدامها بالضبط للحصول على النتيجة المرجوة. لقد لوحظ منذ فترة طويلة أن التعريفات الأولية تحدد ما ستجده في النهاية، إلى حد أكبر بكثير مما يبدو. تتطلب التعريفات الأولية الكثير من الاهتمام منك، ليس فقط في أي موقف جديد، ولكن أيضًا في المجالات التي تعمل بها لفترة طويلة. سيسمح لك هذا بفهم إلى أي مدى تعتبر النتائج التي تم الحصول عليها مجرد حشو وليست شيئًا مفيدًا.

تحكي قصة إدينجتون الشهيرة عن أشخاص كانوا يصطادون في البحر بالشبكة. وبعد دراسة حجم الأسماك التي اصطادوها، حددوا الحد الأدنى لحجم الأسماك التي توجد في البحر! وكان استنتاجهم مدفوعًا بالأداة المستخدمة، وليس بالواقع.

يتبع ...

من يريد المساعدة في ترجمة الكتاب وتخطيطه ونشره - يكتب في رسالة شخصية أو عبر البريد الإلكتروني [البريد الإلكتروني محمي]

بالمناسبة، لقد أطلقنا أيضًا ترجمة كتاب رائع آخر - "آلة الحلم: قصة ثورة الكمبيوتر")

نحن نبحث بشكل خاص عن أولئك الذين سوف يساعدون في الترجمة فصل المكافأة، والذي هو فقط على الفيديو. (نقل لمدة 10 دقائق، وقد تم بالفعل أخذ أول 20 دقيقة)

محتويات الكتاب والفصول المترجمةمقدمة

  1. مقدمة إلى فن ممارسة العلوم والهندسة: تعلم كيفية التعلم (28 مارس 1995) الترجمة: الفصل 1
  2. "أسس الثورة الرقمية (المنفصلة)" (30 مارس 1995) الفصل الثاني. أساسيات الثورة الرقمية (المنفصلة).
  3. "تاريخ أجهزة الكمبيوتر - الأجهزة" (31 مارس 1995) الفصل 3. تاريخ أجهزة الكمبيوتر - الأجهزة
  4. "تاريخ أجهزة الكمبيوتر - البرمجيات" (4 أبريل 1995) الفصل 4. تاريخ أجهزة الكمبيوتر - البرمجيات
  5. "تاريخ أجهزة الكمبيوتر - التطبيقات" (6 أبريل 1995) الفصل الخامس: تاريخ الحاسب الآلي - تطبيقات عملية
  6. "الذكاء الاصطناعي - الجزء الأول" (7 أبريل 1995) الفصل 6. الذكاء الاصطناعي - 1
  7. "الذكاء الاصطناعي - الجزء الثاني" (11 أبريل 1995) الفصل 7. الذكاء الاصطناعي - II
  8. "الذكاء الاصطناعي 13" (1995 أبريل XNUMX) الفصل 8. الذكاء الاصطناعي-III
  9. "الفضاء ذو ​​الأبعاد n" (14 أبريل 1995) الفصل 9. الفضاء ذو ​​الأبعاد N
  10. "نظرية الترميز - تمثيل المعلومات، الجزء الأول" (18 أبريل 1995) الفصل 10. نظرية الترميز - XNUMX
  11. "نظرية الترميز - تمثيل المعلومات، الجزء الثاني" (20 أبريل 1995) الفصل 11. نظرية الترميز - II
  12. "رموز تصحيح الأخطاء" (21 أبريل 1995) الفصل 12. رموز تصحيح الخطأ
  13. "نظرية المعلومات" (25 أبريل 1995) الفصل 13. نظرية المعلومات
  14. "المرشحات الرقمية، الجزء الأول" (27 أبريل 1995) الفصل 14. المرشحات الرقمية - 1
  15. "المرشحات الرقمية، الجزء الثاني" (28 أبريل 1995) الفصل 15. المرشحات الرقمية - 2
  16. "المرشحات الرقمية، الجزء الثالث" (2 مايو 1995) الفصل 16. المرشحات الرقمية - 3
  17. "المرشحات الرقمية، الجزء الرابع" (4 مايو 1995) الفصل 17. المرشحات الرقمية - رابعا
  18. "المحاكاة، الجزء الأول" (5 مايو 1995) الفصل 18. النمذجة - I
  19. "المحاكاة، الجزء الثاني" (9 مايو 1995) الفصل 19. النمذجة - II
  20. "المحاكاة، الجزء الثالث" (11 مايو 1995) الفصل 20. النمذجة - III
  21. "الألياف الضوئية" (12 مايو 1995) الفصل 21. الألياف الضوئية
  22. "التعليم بمساعدة الكمبيوتر" (16 مايو 1995) الفصل الثاني والعشرون: التعليم بمساعدة الحاسوب (CAI)
  23. "الرياضيات" (18 مايو 1995) الفصل 23. الرياضيات
  24. "ميكانيكا الكم" (19 مايو 1995) الفصل 24. ميكانيكا الكم
  25. "الإبداع" (23 مايو 1995). ترجمة: الفصل 25. الإبداع
  26. "الخبراء" (25 مايو 1995) الفصل 26. الخبراء
  27. "بيانات غير موثوقة" (26 مايو 1995) الفصل 27. بيانات غير موثوقة
  28. "هندسة النظم" (30 مايو 1995) الفصل 28. هندسة النظم
  29. "أنت تحصل على ما تقيسه" (1 يونيو 1995) الفصل 29: تحصل على ما تقيسه
  30. "كيف نعرف ما نعرفه" (يونيو 2، 1995) ترجمة في أجزاء 10 دقيقة
  31. هامينج، "أنت وأبحاثك" (6 يونيو 1995). الترجمة: أنت وعملك

من يريد المساعدة في ترجمة الكتاب وتخطيطه ونشره - يكتب في رسالة شخصية أو عبر البريد الإلكتروني [البريد الإلكتروني محمي]

المصدر: www.habr.com

إضافة تعليق