ہم نے کر لیا!
"اس کورس کا مقصد آپ کو اپنے تکنیکی مستقبل کے لیے تیار کرنا ہے۔"
ہیلو، حبر۔ زبردست مضمون یاد رکھیں (+219، 2588 بک مارکس، 429k پڑھے گئے)؟
تو ہیمنگ (ہاں، ہاں، خود نگرانی اور خود کو درست کرنا ) ایک مکمل ہے ان کے لیکچرز کی بنیاد پر لکھا گیا۔ ہم اس کا ترجمہ کرتے ہیں، کیونکہ آدمی اپنے دماغ کی بات کرتا ہے۔
یہ کتاب صرف IT کے بارے میں نہیں ہے، یہ ناقابل یقین حد تک ٹھنڈے لوگوں کے سوچنے کے انداز کے بارے میں ایک کتاب ہے۔ "یہ صرف مثبت سوچ کا فروغ نہیں ہے۔ یہ ان حالات کو بیان کرتا ہے جو عظیم کام کرنے کے امکانات کو بڑھاتے ہیں۔
ترجمہ کے لیے آندرے پخوموف کا شکریہ۔
انفارمیشن تھیوری سی ای شینن نے 1940 کی دہائی کے آخر میں تیار کی تھی۔ بیل لیبز کی انتظامیہ نے اصرار کیا کہ وہ اسے "کمیونیکیشن تھیوری" کہتے ہیں کیونکہ... یہ ایک بہت زیادہ درست نام ہے۔ واضح وجوہات کی بناء پر، "انفارمیشن تھیوری" نام کا عوام پر بہت زیادہ اثر ہے، یہی وجہ ہے کہ شینن نے اس کا انتخاب کیا، اور یہ وہ نام ہے جسے ہم آج تک جانتے ہیں۔ نام ہی بتاتا ہے کہ نظریہ معلومات سے نمٹتا ہے، جو اسے اہم بناتا ہے کیونکہ ہم معلومات کے دور میں گہرائی میں جاتے ہیں۔ اس باب میں، میں اس نظریہ سے کئی اہم نتائج کو چھوؤں گا، میں اس نظریہ کی کچھ انفرادی دفعات کے سخت نہیں، بلکہ بدیہی ثبوت فراہم کروں گا، تاکہ آپ سمجھ سکیں کہ "انفارمیشن تھیوری" دراصل کیا ہے، جہاں آپ اسے لاگو کر سکتے ہیں۔ اور کہاں نہیں
سب سے پہلے، "معلومات" کیا ہے؟ شینن معلومات کو غیر یقینی صورتحال سے ہم آہنگ کرتا ہے۔ اس نے ایک واقعہ کے امکان کے منفی لوگارتھم کا انتخاب اس معلومات کے مقداری پیمائش کے طور پر کیا جو آپ کو موصول ہوتی ہے جب کوئی واقعہ p کے ساتھ ہوتا ہے۔ مثال کے طور پر، اگر میں آپ کو بتاؤں کہ لاس اینجلس میں موسم دھند والا ہے، تو p 1 کے قریب ہے، جو واقعی ہمیں زیادہ معلومات نہیں دیتا۔ لیکن اگر میں یہ کہوں کہ جون میں مونٹیری میں بارش ہوتی ہے، تو پیغام میں غیر یقینی صورتحال ہوگی اور اس میں مزید معلومات ہوں گی۔ لاگ 1 = 0 کے بعد سے قابل اعتماد ایونٹ میں کوئی معلومات نہیں ہوتی ہیں۔
آئیے اس کو مزید تفصیل سے دیکھتے ہیں۔ شینن کا خیال تھا کہ معلومات کا مقداری پیمانہ ایک واقعہ p کے امکان کا ایک مسلسل فعل ہونا چاہیے، اور آزاد واقعات کے لیے یہ اضافی ہونا چاہیے - دو آزاد واقعات کے وقوع پذیر ہونے کے نتیجے میں حاصل ہونے والی معلومات کی مقدار کے برابر ہونا چاہیے۔ مشترکہ واقعہ کی موجودگی کے نتیجے میں حاصل کردہ معلومات کی مقدار۔ مثال کے طور پر، ڈائس رول اور کوائن رول کے نتائج کو عام طور پر آزاد واقعات کے طور پر سمجھا جاتا ہے۔ آئیے اوپر کا ترجمہ ریاضی کی زبان میں کرتے ہیں۔ اگر I (p) امکان p کے ساتھ ایک ایونٹ میں موجود معلومات کی مقدار ہے، تو ایک مشترکہ ایونٹ کے لیے جو دو آزاد واقعات پر مشتمل ہوتا ہے x امکان p1 کے ساتھ اور y امکان p2 کے ساتھ ہم حاصل کرتے ہیں۔
(x اور y آزاد واقعات ہیں)
یہ فنکشنل کاچی مساوات ہے، تمام p1 اور p2 کے لیے درست ہے۔ اس فعلی مساوات کو حل کرنے کے لیے، فرض کریں۔
p1 = p2 = p،
یہ دیتا ہے
اگر p1 = p2 اور p2 = p تو
وغیرہ ایکسپونینشل کے لیے معیاری طریقہ استعمال کرتے ہوئے اس عمل کو بڑھانا، تمام ناطق نمبروں کے لیے مندرجہ ذیل درست ہے
معلومات کی پیمائش کے مفروضہ تسلسل سے، یہ مندرجہ ذیل ہے کہ لوگارتھمک فنکشن کاچی فنکشنل مساوات کا واحد مسلسل حل ہے۔
انفارمیشن تھیوری میں، لوگارتھم کی بنیاد کو 2 لینا ایک عام بات ہے، لہذا بائنری انتخاب میں بالکل 1 بٹ معلومات ہوتی ہے۔ لہذا، معلومات کو فارمولے سے ماپا جاتا ہے
آئیے توقف کریں اور سمجھتے ہیں کہ اوپر کیا ہوا ہے۔ سب سے پہلے، ہم نے "معلومات" کے تصور کی وضاحت نہیں کی؛ ہم نے صرف اس کی مقداری پیمائش کے فارمولے کی وضاحت کی۔
دوسرا، یہ پیمانہ غیر یقینی صورتحال سے مشروط ہے، اور جب کہ یہ مشینوں کے لیے مناسب ہے، جیسے کہ ٹیلی فون سسٹم، ریڈیو، ٹیلی ویژن، کمپیوٹر وغیرہ۔ یہ معلومات کے بارے میں عام انسانی رویوں کی عکاسی نہیں کرتا ہے۔
تیسرا، یہ ایک رشتہ دار پیمانہ ہے، یہ آپ کے علم کی موجودہ حالت پر منحصر ہے۔ اگر آپ بے ترتیب نمبر جنریٹر سے "رینڈم نمبرز" کے سلسلے کو دیکھتے ہیں، تو آپ فرض کریں گے کہ ہر اگلا نمبر غیر یقینی ہے، لیکن اگر آپ کو "بے ترتیب نمبرز" کا حساب لگانے کا فارمولہ معلوم ہے، تو اگلا نمبر معلوم ہو جائے گا، اور اس وجہ سے نہیں ہوگا۔ معلومات پر مشتمل ہے.
اس لیے شینن کی معلومات کی تعریف بہت سے معاملات میں مشینوں کے لیے موزوں ہے، لیکن یہ لفظ کی انسانی سمجھ کے مطابق نہیں لگتی۔ یہی وجہ ہے کہ "انفارمیشن تھیوری" کو "کمیونیکیشن تھیوری" کہا جانا چاہیے تھا۔ تاہم، تعریفوں کو تبدیل کرنے میں بہت دیر ہو چکی ہے (جس نے نظریہ کو اس کی ابتدائی مقبولیت دی، اور جو اب بھی لوگوں کو یہ سوچنے پر مجبور کرتی ہے کہ یہ نظریہ "معلومات" سے متعلق ہے)، اس لیے ہمیں ان کے ساتھ رہنا ہوگا، لیکن ساتھ ہی ساتھ آپ کو بھی واضح طور پر سمجھیں کہ شینن کی معلومات کی تعریف اس کے عام استعمال شدہ معنی سے کتنی دور ہے۔ شینن کی معلومات بالکل مختلف، یعنی غیر یقینی صورتحال سے متعلق ہے۔
جب آپ کوئی اصطلاح تجویز کرتے ہیں تو اس کے بارے میں سوچنے کے لیے یہاں کچھ ہے۔ ایک مجوزہ تعریف، جیسا کہ شینن کی معلومات کی تعریف، آپ کے اصل خیال سے کیسے اتفاق کرتی ہے اور یہ کتنی مختلف ہے؟ تقریباً کوئی ایسی اصطلاح نہیں ہے جو کسی تصور کے بارے میں آپ کے سابقہ وژن کی قطعی طور پر عکاسی کرتی ہو، لیکن بالآخر، یہ اصطلاحات استعمال ہوتی ہیں جو تصور کے معنی کی عکاسی کرتی ہیں، اس لیے واضح تعریفوں کے ذریعے کسی چیز کو رسمی بنانا ہمیشہ کچھ شور کو متعارف کرواتا ہے۔
ایک ایسے نظام پر غور کریں جس کے حروف تہجی علامتوں پر مشتمل ہوں q کے ساتھ احتمالات pi۔ اس معاملے میں معلومات کی اوسط رقم سسٹم میں (اس کی متوقع قیمت) اس کے برابر ہے:
اسے امکانی تقسیم {pi} کے ساتھ نظام کی انٹراپی کہا جاتا ہے۔ ہم "انٹروپی" کی اصطلاح استعمال کرتے ہیں کیونکہ ایک ہی ریاضیاتی شکل تھرموڈینامکس اور شماریاتی میکانکس میں ظاہر ہوتی ہے۔ یہی وجہ ہے کہ "انٹروپی" کی اصطلاح اپنے اردگرد ایک خاص اہمیت کی چمک پیدا کرتی ہے، جو بالآخر جائز نہیں ہے۔ اشارے کی ایک ہی ریاضیاتی شکل علامتوں کی ایک ہی تشریح کا مطلب نہیں ہے!
امکانی تقسیم کی اینٹروپی کوڈنگ تھیوری میں اہم کردار ادا کرتی ہے۔ دو مختلف امکانات کی تقسیم pi اور qi کے لیے گِبس کی عدم مساوات اس نظریہ کے اہم نتائج میں سے ایک ہے۔ تو ہمیں یہ ثابت کرنا ہوگا۔
ثبوت ایک واضح گراف پر مبنی ہے، تصویر۔ 13.I، جو ظاہر کرتا ہے کہ
اور مساوات صرف اس وقت حاصل ہوتی ہے جب x = 1۔ آئیے ہم بائیں جانب سے رقم کی ہر اصطلاح پر عدم مساوات کا اطلاق کریں:
اگر مواصلاتی نظام کا حروف تہجی q علامتوں پر مشتمل ہے، تو ہر علامت qi = 1/q کی منتقلی کے امکان کو لے کر اور q کی جگہ لے کر، ہم گِبز کی عدم مساوات سے حاصل کرتے ہیں۔
تصویر 13.I
اس کا مطلب ہے کہ اگر تمام q علامتوں کو منتقل کرنے کا امکان یکساں اور - 1 / q کے برابر ہے، تو زیادہ سے زیادہ اینٹروپی ln q کے برابر ہے، بصورت دیگر عدم مساوات برقرار رہتی ہے۔
ایک منفرد ڈی کوڈ ایبل کوڈ کی صورت میں، ہمارے پاس Kraft کی عدم مساوات ہے۔
اب اگر ہم pseudo-probabilities کی وضاحت کریں۔
جہاں یقینا = 1، جو گبس کی عدم مساوات سے آتا ہے،
اور تھوڑا سا الجبرا لگائیں (یاد رکھیں کہ K ≤ 1، تاکہ ہم لوگاریتھمک اصطلاح کو چھوڑ سکیں، اور شاید بعد میں عدم مساوات کو مضبوط کر سکیں)، ہمیں ملتا ہے
جہاں L اوسط کوڈ کی لمبائی ہے۔
اس طرح، اینٹروپی اوسط کوڈ ورڈ کی لمبائی L کے ساتھ کسی بھی حرف بہ علامت کوڈ کے لیے کم از کم پابند ہے۔ یہ مداخلت سے پاک چینل کے لیے شینن کا تھیوریم ہے۔
اب مواصلاتی نظام کی حدود کے بارے میں مرکزی نظریہ پر غور کریں جس میں معلومات کو آزاد بٹس اور شور کی ایک ندی کے طور پر منتقل کیا جاتا ہے۔ یہ سمجھا جاتا ہے کہ ایک بٹ کی درست ترسیل کا امکان P > 1/2 ہے، اور اس بات کا امکان کہ ٹرانسمیشن کے دوران بٹ ویلیو الٹ جائے گی (ایک خرابی واقع ہو گی) Q = 1 - P کے برابر ہے۔ سہولت کے لیے، ہم فرض کریں کہ غلطیاں آزاد ہیں اور ہر بھیجے گئے بٹ کے لیے غلطی کا امکان یکساں ہے - یعنی کمیونیکیشن چینل میں "سفید شور" ہے۔
جس طرح سے ہمارے پاس ایک پیغام میں n بٹس کا ایک طویل سلسلہ انکوڈ ہوتا ہے وہ ون بٹ کوڈ کی n - جہتی توسیع ہے۔ ہم بعد میں n کی قدر کا تعین کریں گے۔ N-bits پر مشتمل ایک پیغام کو n-dimensional space میں ایک نقطہ کے طور پر غور کریں۔ چونکہ ہمارے پاس ایک n-جہتی جگہ ہے - اور سادگی کے لیے ہم فرض کریں گے کہ ہر پیغام کے وقوع پذیر ہونے کا ایک ہی امکان ہے - وہاں M ممکنہ پیغامات ہیں (M کی وضاحت بعد میں کی جائے گی)، اس لیے کسی بھی پیغام کے بھیجے جانے کا امکان
(بھیجنے والا)
شیڈول 13.II
اگلا، چینل کی صلاحیت کے خیال پر غور کریں. تفصیلات میں جانے کے بغیر، چینل کی صلاحیت کو معلومات کی زیادہ سے زیادہ مقدار کے طور پر بیان کیا جاتا ہے جو انتہائی موثر کوڈنگ کے استعمال کو مدنظر رکھتے ہوئے، مواصلاتی چینل پر قابل اعتماد طریقے سے منتقل کیا جا سکتا ہے۔ اس میں کوئی دلیل نہیں ہے کہ مواصلاتی چینل کے ذریعے اس کی صلاحیت سے زیادہ معلومات کی ترسیل کی جاسکتی ہے۔ یہ ایک بائنری ہم آہنگی چینل (جسے ہم اپنے معاملے میں استعمال کرتے ہیں) کے لیے ثابت کیا جا سکتا ہے۔ چینل کی گنجائش، بٹس بھیجتے وقت، اس طرح بیان کی جاتی ہے۔
جہاں، پہلے کی طرح، P کسی بھی بھیجے گئے بٹ میں غلطی کا امکان ہے۔ n آزاد بٹس بھیجتے وقت، چینل کی صلاحیت کی طرف سے دیا جاتا ہے
اگر ہم چینل کی گنجائش کے قریب ہیں، تو ہمیں ہر ایک علامت ai، i = 1، ...، M کے لیے تقریباً اتنی مقدار میں معلومات بھیجنی چاہیے۔ ہم حاصل
جب ہم M مساوی طور پر ممکنہ پیغامات بھیجتے ہیں تو ہمارے پاس ہوتا ہے۔
جب n بٹس بھیجے جاتے ہیں، تو ہم توقع کرتے ہیں کہ nQ کی غلطیاں ہوں گی۔ عملی طور پر، n-bits پر مشتمل پیغام کے لیے، ہمیں موصول ہونے والے پیغام میں تقریباً nQ کی غلطیاں ہوں گی۔ بڑے n کے لیے، رشتہ دار تغیر (متغیر = تقسیم کی چوڑائی، )
ن کے بڑھنے کے ساتھ ہی غلطیوں کی تعداد کی تقسیم تیزی سے تنگ ہوتی جائے گی۔
لہذا، ٹرانسمیٹر کی طرف سے، میں پیغام ai کو بھیجنے کے لیے لیتا ہوں اور اس کے گرد دائرے کے ساتھ ایک دائرہ کھینچتا ہوں
جو کہ غلطیوں کی متوقع تعداد سے e2 کے برابر رقم سے قدرے بڑا ہے Q، (شکل 13.II)۔ اگر n کافی بڑا ہے، تو وصول کنندہ کی طرف ایک پیغام نقطہ bj ظاہر ہونے کا من مانی طور پر چھوٹا امکان ہے جو اس دائرے سے باہر پھیلا ہوا ہے۔ آئیے اس صورت حال کا خاکہ بنائیں جیسا کہ میں اسے ٹرانسمیٹر کے نقطہ نظر سے دیکھ رہا ہوں: ہمارے پاس منتقل شدہ پیغام ai سے موصولہ پیغام bj تک کوئی بھی ریڈی ہے جس میں غلطی کا امکان عام تقسیم کے برابر (یا تقریبا برابر) ہے، زیادہ سے زیادہ تک پہنچ جاتا ہے۔ nQ کا کسی بھی دیے گئے e2 کے لیے، ایک n اتنا بڑا ہے کہ نتیجے میں نقطہ bj کا میرے دائرے سے باہر ہونے کا امکان اتنا ہی چھوٹا ہے جتنا آپ چاہیں۔
اب آئیے اپنی طرف سے اسی صورت حال کو دیکھتے ہیں (تصویر 13.III)۔ وصول کنندہ کی طرف n-جہتی جگہ میں موصولہ نقطہ bj کے ارد گرد اسی رداس کا ایک دائرہ S(r) ہے، اس طرح کہ اگر موصول ہونے والا پیغام bj میرے دائرے کے اندر ہے، تو میری طرف سے بھیجا گیا پیغام آپ کے اندر ہے۔ کرہ.
غلطی کیسے ہو سکتی ہے؟ مندرجہ ذیل جدول میں بیان کردہ صورتوں میں غلطی ہو سکتی ہے:
شکل 13.III
یہاں ہم دیکھتے ہیں کہ اگر موصول ہونے والے پوائنٹ کے ارد گرد بنائے گئے دائرے میں ممکنہ طور پر بھیجے گئے بغیر انکوڈ شدہ پیغام کے مطابق کم از کم ایک اور نقطہ ہے، تو ٹرانسمیشن کے دوران ایک خرابی واقع ہوئی، کیونکہ آپ یہ تعین نہیں کر سکتے کہ ان میں سے کون سا پیغام منتقل ہوا تھا۔ بھیجا گیا پیغام غلطی سے پاک ہے صرف اس صورت میں جب اس سے متعلقہ نقطہ کرہ میں ہو، اور دیے گئے کوڈ میں کوئی اور پوائنٹ ممکن نہیں جو اسی دائرے میں ہوں۔
اگر پیغام ai بھیجا گیا تھا تو ہمارے پاس غلطی Pe کے امکان کے لیے ایک ریاضیاتی مساوات ہے۔
ہم دوسری اصطلاح میں پہلے عنصر کو 1 کے طور پر لے کر باہر پھینک سکتے ہیں۔ اس طرح ہمیں عدم مساوات حاصل ہوتی ہے۔
ظاہر ہے ،
لہذا
دائیں جانب آخری مدت کے لیے دوبارہ درخواست دیں۔
n کافی بڑا لے کر، پہلی اصطلاح کو مطلوبہ حد تک چھوٹا لیا جا سکتا ہے، کچھ نمبر سے کم کہیں۔ اس لیے ہمارے پاس ہے۔
اب دیکھتے ہیں کہ ہم n بٹس پر مشتمل M پیغامات کو انکوڈ کرنے کے لیے ایک سادہ متبادل کوڈ کیسے بنا سکتے ہیں۔ کوڈ بنانے کا طریقہ (غلطی کو درست کرنے والے کوڈز ابھی تک ایجاد نہیں ہوئے تھے) کے بارے میں کوئی اندازہ نہ رکھتے ہوئے، شینن نے بے ترتیب کوڈنگ کا انتخاب کیا۔ پیغام میں ہر ایک n بٹس کے لیے ایک سکے کو پلٹائیں اور M پیغامات کے لیے عمل کو دہرائیں۔ مجموعی طور پر، nM سکے پلٹنے کی ضرورت ہے، لہذا یہ ممکن ہے۔
کوڈ لغات جس کا ایک ہی امکان ½nM ہے۔ بلاشبہ، کوڈ بک بنانے کے بے ترتیب عمل کا مطلب یہ ہے کہ ڈپلیکیٹس کے ساتھ ساتھ کوڈ پوائنٹس جو ایک دوسرے کے قریب ہوں گے اور اس وجہ سے ممکنہ غلطیوں کا ذریعہ ہوں گے۔ کسی کو یہ ثابت کرنا ہوگا کہ اگر یہ کسی بھی چھوٹی منتخب غلطی کی سطح سے زیادہ امکان کے ساتھ نہیں ہوتا ہے، تو دیا گیا n کافی بڑا ہے۔
اہم نکتہ یہ ہے کہ شینن نے اوسط غلطی تلاش کرنے کے لیے تمام ممکنہ کوڈ بکس کا اوسط لگایا! ہم تمام ممکنہ بے ترتیب کوڈ بکس کے سیٹ پر اوسط قدر کو ظاہر کرنے کے لیے علامت Av[.] کا استعمال کریں گے۔ ایک مستقل d سے زیادہ کا اوسط، یقیناً، ایک مستقل دیتا ہے، کیونکہ ہر اصطلاح کی اوسط رقم میں ہر دوسری اصطلاح کی طرح ہے،
جس میں اضافہ کیا جا سکتا ہے (M-1 جاتا ہے M)
کسی بھی پیغام کے لیے، تمام کوڈ بکس میں اوسط کرتے وقت، انکوڈنگ تمام ممکنہ قدروں کے ذریعے چلتی ہے، لہذا اوسط امکان کہ ایک نقطہ کسی کرہ میں ہے، کرہ کے حجم اور خلا کے کل حجم کا تناسب ہے۔ کرہ کا حجم ہے۔
جہاں s=Q+e2 <1/2 اور ns ایک عدد عدد ہونا چاہیے۔
دائیں طرف آخری اصطلاح اس رقم میں سب سے بڑی ہے۔ سب سے پہلے، آئیے فیکٹوریلز کے لیے سٹرلنگ فارمولے کا استعمال کرتے ہوئے اس کی قدر کا اندازہ لگائیں۔ اس کے بعد ہم اس کے سامنے اصطلاح کے گھٹتے گتانک کو دیکھیں گے، نوٹ کریں کہ جب ہم بائیں طرف جاتے ہیں تو یہ گتانک بڑھتا ہے، اور اس طرح ہم یہ کر سکتے ہیں: (1) رقم کی قدر کو ہندسی ترقی کے مجموعے تک محدود کر سکتے ہیں۔ یہ ابتدائی گتانک، (2) جیومیٹرک ترقی کو ns اصطلاحات سے لامحدود تعداد میں اصطلاحات تک بڑھاتا ہے، (3) لامحدود ہندسی ترقی کے مجموعے کا حساب لگاتا ہے (معیاری الجبرا، کچھ بھی اہم نہیں) اور آخر میں محدود قدر حاصل کریں (کافی بڑے کے لیے n):
غور کریں کہ کس طرح اینٹروپی H(s) binomial identity میں ظاہر ہوئی۔ نوٹ کریں کہ ٹیلر سیریز کی توسیع H(s)=H(Q+e2) صرف پہلی مشتق کو مدنظر رکھتے ہوئے اور باقی تمام چیزوں کو نظر انداز کرتے ہوئے حاصل کردہ تخمینہ دیتا ہے۔ اب حتمی اظہار کو ایک ساتھ رکھتے ہیں:
جہاں
ہمیں صرف e2 کا انتخاب کرنا ہے کہ e3 < e1، اور پھر آخری اصطلاح من مانی طور پر چھوٹی ہوگی، جب تک کہ n کافی بڑا ہو۔ نتیجتاً، اوسط PE نقص حاصل کیا جا سکتا ہے جتنا چاہیں چینل کی صلاحیت من مانی طور پر C کے قریب ہو۔
اگر تمام کوڈز کی اوسط میں کافی چھوٹی غلطی ہے، تو کم از کم ایک کوڈ مناسب ہونا چاہیے، اس لیے کم از کم ایک مناسب کوڈنگ سسٹم موجود ہے۔ یہ شینن کی طرف سے حاصل کردہ ایک اہم نتیجہ ہے - "ایک شور والے چینل کے لیے شینن کا نظریہ"، حالانکہ یہ واضح رہے کہ اس نے اس کو سادہ بائنری سمیٹرک چینل کے مقابلے میں زیادہ عام کیس کے لیے ثابت کیا جو میں نے استعمال کیا تھا۔ عام صورت کے لیے، ریاضی کا حساب بہت زیادہ پیچیدہ ہوتا ہے، لیکن خیالات اتنے مختلف نہیں ہوتے، اس لیے اکثر، کسی خاص کیس کی مثال کا استعمال کرتے ہوئے، آپ تھیوریم کے حقیقی معنی کو ظاہر کر سکتے ہیں۔
آئیے نتیجہ پر تنقید کرتے ہیں۔ ہم نے بار بار دہرایا ہے: "کافی بڑے این کے لئے۔" لیکن ن کتنا بڑا ہے؟ بہت، بہت بڑا اگر آپ واقعی چینل کی گنجائش کے قریب رہنا چاہتے ہیں اور درست ڈیٹا کی منتقلی کو یقینی بنانا چاہتے ہیں! اتنا بڑا، درحقیقت، کہ آپ کو بعد میں انکوڈ کرنے کے لیے کافی بٹس کا پیغام جمع کرنے کے لیے بہت طویل انتظار کرنا پڑے گا۔ اس صورت میں، بے ترتیب کوڈ لغت کا سائز بہت بڑا ہوگا (آخر کار، اس طرح کی لغت کو تمام Mn بٹس کی مکمل فہرست سے چھوٹی شکل میں پیش نہیں کیا جا سکتا، اس حقیقت کے باوجود کہ n اور M بہت بڑے ہیں)!
خرابی کو درست کرنے والے کوڈز ایک بہت طویل پیغام کا انتظار کرنے سے گریز کرتے ہیں اور پھر اسے بہت بڑی کوڈ بکس کے ذریعے انکوڈنگ اور ڈی کوڈ کرنے سے گریز کرتے ہیں کیونکہ وہ خود کوڈ بکس سے گریز کرتے ہیں اور اس کے بجائے عام کمپیوٹیشن کا استعمال کرتے ہیں۔ سادہ نظریہ میں، اس طرح کے کوڈز چینل کی گنجائش تک پہنچنے کی صلاحیت کھو دیتے ہیں اور پھر بھی کم غلطی کی شرح برقرار رکھتے ہیں، لیکن جب کوڈ بڑی تعداد میں غلطیوں کو درست کرتا ہے، تو وہ اچھی کارکردگی کا مظاہرہ کرتے ہیں۔ دوسرے لفظوں میں، اگر آپ چینل کی کچھ گنجائش غلطی کی اصلاح کے لیے مختص کرتے ہیں، تو آپ کو زیادہ تر وقت غلطی کی اصلاح کی صلاحیت کا استعمال کرنا چاہیے، یعنی بھیجے گئے ہر پیغام میں بڑی تعداد میں غلطیوں کو درست کرنا ضروری ہے، ورنہ آپ اس صلاحیت کو ضائع کر دیتے ہیں۔
ایک ہی وقت میں، اوپر ثابت شدہ نظریہ اب بھی بے معنی نہیں ہے! یہ ظاہر کرتا ہے کہ موثر ٹرانسمیشن سسٹم کو بہت لمبی بٹ تاروں کے لیے ہوشیار انکوڈنگ اسکیموں کا استعمال کرنا چاہیے۔ ایک مثال ایسے سیٹلائٹ ہیں جو بیرونی سیاروں سے آگے نکل چکے ہیں۔ جیسا کہ وہ زمین اور سورج سے دور ہوتے ہیں، وہ ڈیٹا بلاک میں زیادہ سے زیادہ غلطیوں کو درست کرنے پر مجبور ہوتے ہیں: کچھ سیٹلائٹ شمسی پینل استعمال کرتے ہیں، جو تقریبا 5 ڈبلیو فراہم کرتے ہیں، دوسرے جوہری توانائی کے ذرائع استعمال کرتے ہیں، جو تقریبا ایک ہی طاقت فراہم کرتے ہیں. پاور سپلائی کی کم طاقت، ٹرانسمیٹر ڈشز کا چھوٹا سائز اور زمین پر رسیور ڈشز کا محدود سائز، بہت زیادہ فاصلہ جس پر سگنل کو سفر کرنا ضروری ہے - یہ سب کچھ کوڈز کے استعمال کی ضرورت ہوتی ہے جس میں ایک اعلی درجے کی خرابی کی اصلاح ہوتی ہے۔ مؤثر مواصلاتی نظام.
آئیے اس n-dimensional اسپیس پر واپس آتے ہیں جو ہم نے اوپر ثبوت میں استعمال کیا تھا۔ اس پر بحث کرتے ہوئے، ہم نے ظاہر کیا کہ کرہ کا تقریباً پورا حجم بیرونی سطح کے قریب مرتکز ہے - اس طرح، یہ تقریباً یقینی ہے کہ بھیجے گئے سگنل موصول ہونے والے سگنل کے گرد بنائے گئے کرہ کی سطح کے قریب واقع ہوں گے، یہاں تک کہ نسبتاً اس طرح کے دائرے کا چھوٹا رداس۔ لہذا، یہ حیرت کی بات نہیں ہے کہ موصول ہونے والا سگنل، من مانی طور پر بڑی تعداد میں غلطیوں کو درست کرنے کے بعد، nQ، بغیر کسی غلطی کے سگنل کے قریب نکلا۔ لنک کی گنجائش جس پر ہم نے پہلے بات کی ہے اس رجحان کو سمجھنے کی کلید ہے۔ نوٹ کریں کہ غلطی کو درست کرنے والے ہیمنگ کوڈز کے لیے بنائے گئے ملتے جلتے دائرے ایک دوسرے کو اوورلیپ نہیں کرتے ہیں۔ این ڈائمینشنل اسپیس میں تقریباً آرتھوگونل ڈائمینشنز کی بڑی تعداد یہ ظاہر کرتی ہے کہ ہم خلا میں M اسفیئرز کو تھوڑا اوورلیپ کے ساتھ کیوں فٹ کر سکتے ہیں۔ اگر ہم ایک چھوٹے، من مانی طور پر چھوٹے اوورلیپ کی اجازت دیتے ہیں، جو ضابطہ کشائی کے دوران صرف ایک چھوٹی سی غلطیوں کا باعث بن سکتا ہے، تو ہم خلا میں دائروں کی گھنی جگہ حاصل کر سکتے ہیں۔ ہیمنگ نے غلطی کی اصلاح کی ایک خاص سطح کی ضمانت دی، شینن - غلطی کا کم امکان، لیکن ساتھ ہی اصل تھرو پٹ کو من مانی طور پر کمیونیکیشن چینل کی صلاحیت کے قریب رکھنا، جو ہیمنگ کوڈز نہیں کر سکتے۔
انفارمیشن تھیوری ہمیں یہ نہیں بتاتی کہ ایک موثر نظام کو کیسے ڈیزائن کیا جائے، لیکن یہ موثر مواصلاتی نظام کی طرف اشارہ کرتا ہے۔ یہ مشین ٹو مشین مواصلاتی نظام کی تعمیر کے لیے ایک قابل قدر ٹول ہے، لیکن جیسا کہ پہلے بتایا گیا ہے کہ انسان ایک دوسرے کے ساتھ کیسے بات چیت کرتے ہیں اس سے اس کا کوئی تعلق نہیں ہے۔ حیاتیاتی وراثت کس حد تک تکنیکی مواصلاتی نظام کی طرح ہے، صرف نامعلوم ہے، لہذا یہ فی الحال واضح نہیں ہے کہ معلومات کا نظریہ جین پر کیسے لاگو ہوتا ہے. ہمارے پاس کوشش کرنے کے سوا کوئی چارہ نہیں ہے، اور اگر کامیابی ہمیں اس رجحان کی مشین جیسی نوعیت دکھاتی ہے، تو ناکامی معلومات کی نوعیت کے دیگر اہم پہلوؤں کی طرف اشارہ کرے گی۔
آئیے زیادہ ہچکچاہٹ نہ کریں۔ ہم نے دیکھا ہے کہ تمام اصل تعریفیں، زیادہ یا کم حد تک، ہمارے اصل عقائد کے جوہر کا اظہار ضرور کرتی ہیں، لیکن ان میں کسی حد تک تحریف ہوتی ہے اور اس لیے ان کا اطلاق نہیں ہوتا۔ یہ روایتی طور پر قبول کیا جاتا ہے کہ، بالآخر، جو تعریف ہم استعمال کرتے ہیں وہ دراصل جوہر کی وضاحت کرتی ہے۔ لیکن، یہ ہمیں صرف یہ بتاتا ہے کہ چیزوں کو کیسے پروسیس کیا جائے اور کسی بھی طرح سے ہمیں کوئی مطلب نہیں پہنچتا۔ ریاضی کے حلقوں میں تقلید کا نقطہ نظر، بہت زیادہ پسند کیا جاتا ہے، عملی طور پر مطلوبہ بہت کچھ چھوڑ دیتا ہے۔
اب ہم آئی کیو ٹیسٹ کی ایک مثال دیکھیں گے جہاں تعریف اتنی ہی سرکلر ہے جتنی آپ اسے پسند کرتے ہیں اور نتیجے کے طور پر گمراہ کن ہے۔ ایک ٹیسٹ تیار کیا جاتا ہے جو ذہانت کی پیمائش کرتا ہے۔ اس کے بعد اسے ہر ممکن حد تک ہم آہنگ بنانے کے لیے اس پر نظر ثانی کی جاتی ہے، اور پھر اسے شائع کیا جاتا ہے اور، ایک آسان طریقہ میں، کیلیبریٹ کیا جاتا ہے تاکہ "ذہانت" کی پیمائش عام طور پر تقسیم ہو جائے (یقیناً ایک انشانکن وکر پر)۔ تمام تعریفوں کی دوبارہ جانچ پڑتال کی جانی چاہیے، نہ صرف جب وہ پہلی بار تجویز کی جائیں، بلکہ بہت بعد میں، جب وہ اخذ کیے گئے نتائج میں استعمال کی جائیں۔ اس مسئلے کے حل کے لیے تعریفی حدود کس حد تک موزوں ہیں؟ کتنی بار ایک ترتیب میں دی گئی تعریفیں بالکل مختلف ترتیبات میں لاگو ہوتی ہیں؟ یہ اکثر ہوتا ہے! انسانیت میں، جس کا آپ کو اپنی زندگی میں لامحالہ سامنا کرنا پڑے گا، ایسا اکثر ہوتا ہے۔
اس طرح، انفارمیشن تھیوری کی اس پیشکش کا ایک مقصد، اس کی افادیت کو ظاہر کرنے کے علاوہ، آپ کو اس خطرے سے خبردار کرنا، یا آپ کو یہ بتانا تھا کہ اسے مطلوبہ نتیجہ حاصل کرنے کے لیے کس طرح استعمال کیا جائے۔ یہ طویل عرصے سے نوٹ کیا گیا ہے کہ ابتدائی تعریفیں اس بات کا تعین کرتی ہیں کہ آپ آخر میں کیا تلاش کرتے ہیں، اس سے کہیں زیادہ حد تک جو لگتا ہے۔ ابتدائی تعریفیں آپ کی طرف سے بہت زیادہ توجہ کی متقاضی ہیں، نہ صرف کسی بھی نئی صورتحال میں، بلکہ ان شعبوں میں بھی جن کے ساتھ آپ طویل عرصے سے کام کر رہے ہیں۔ اس سے آپ کو یہ سمجھنے میں مدد ملے گی کہ حاصل کردہ نتائج کس حد تک ٹیوٹولوجی ہیں اور کچھ مفید نہیں۔
ایڈنگٹن کی مشہور کہانی ان لوگوں کے بارے میں بتاتی ہے جو جال سے سمندر میں مچھلیاں پکڑتے تھے۔ مچھلی کے سائز کا مطالعہ کرنے کے بعد، انہوں نے سمندر میں پائی جانے والی مچھلی کی کم از کم سائز کا تعین کیا! ان کا نتیجہ حقیقت سے نہیں بلکہ استعمال شدہ آلے کے ذریعہ کارفرما تھا۔
جاری رکھنا ...
جو کتاب کے ترجمہ، ترتیب اور اشاعت میں مدد کرنا چاہتے ہیں - ذاتی پیغام یا ای میل میں لکھیں۔ [ای میل محفوظ]
ویسے ہم نے ایک اور عمدہ کتاب کا ترجمہ بھی لانچ کیا ہے- )
ہم خاص طور پر تلاش کر رہے ہیں۔ جو ترجمہ کرنے میں مدد کریں گے۔ ہے. (10 منٹ کے لیے منتقلی، پہلے 20 پہلے ہی لے جا چکے ہیں۔)
کتاب کے مشمولات اور ترجمہ شدہ ابواب
- سائنس اور انجینئرنگ کے فن کا تعارف: سیکھنا سیکھنا (28 مارچ 1995)
- "ڈیجیٹل (مجرد) انقلاب کی بنیادیں" (30 مارچ 1995)
- "کمپیوٹرز کی تاریخ - ہارڈ ویئر" (31 مارچ 1995)
- "کمپیوٹرز کی تاریخ - سافٹ ویئر" (4 اپریل 1995)
- "کمپیوٹرز کی تاریخ - ایپلی کیشنز" (6 اپریل 1995)
- "مصنوعی ذہانت - حصہ اول" (7 اپریل 1995)
- "مصنوعی ذہانت - حصہ II" (11 اپریل 1995)
- "مصنوعی ذہانت III" (13 اپریل 1995)
- "n-Dimensional Space" (14 اپریل 1995)
- "کوڈنگ تھیوری - معلومات کی نمائندگی، حصہ اول" (اپریل 18، 1995)
- "کوڈنگ تھیوری - معلومات کی نمائندگی، حصہ II" (20 اپریل 1995)
- "غلطی کو درست کرنے والے کوڈز" (21 اپریل 1995)
- "انفارمیشن تھیوری" (25 اپریل 1995)
- "ڈیجیٹل فلٹرز، حصہ اول" (27 اپریل 1995)
- "ڈیجیٹل فلٹرز، حصہ دوم" (28 اپریل 1995)
- "ڈیجیٹل فلٹرز، حصہ III" (2 مئی 1995)
- "ڈیجیٹل فلٹرز، حصہ چہارم" (4 مئی 1995)
- "تقلی، حصہ اول" (5 مئی 1995)
- "تقلید، حصہ دوم" (9 مئی 1995)
- "تقلید، حصہ III" (11 مئی 1995)
- "فائبر آپٹکس" (12 مئی 1995)
- "کمپیوٹر ایڈیڈ انسٹرکشن" (16 مئی 1995)
- "ریاضی" (18 مئی 1995)
- "کوانٹم میکانکس" (19 مئی 1995)
- "تخلیق" (23 مئی 1995)۔ ترجمہ:
- "ماہرین" (25 مئی 1995)
- "ناقابل اعتماد ڈیٹا" (26 مئی 1995)
- "سسٹم انجینئرنگ" (30 مئی 1995)
- "آپ کو وہی ملتا ہے جو آپ ماپتے ہیں" (1 جون، 1995)
- (جون 2، 1995) 10 منٹ کے ٹکڑوں میں ترجمہ کریں۔
- ہیمنگ، "آپ اور آپ کی تحقیق" (6 جون، 1995)۔
جو کتاب کے ترجمہ، ترتیب اور اشاعت میں مدد کرنا چاہتے ہیں - ذاتی پیغام یا ای میل میں لکھیں۔ [ای میل محفوظ]
ماخذ: www.habr.com