ریچارد همینگ: فصل 13. نظریه اطلاعات

ما آن را انجام دادیم!

"هدف این دوره این است که شما را برای آینده فنی خود آماده کند."

سلام هابر مقاله فوق العاده را به خاطر بسپارید "شما و کارتان" (+219، 2588 نشانک، 429 هزار بار خوانده شده)؟

بنابراین همینگ (بله، بله، خود نظارتی و خود اصلاحی کدهای همینگ) یک کل وجود دارد книга، بر اساس سخنرانی های او نوشته شده است. ما آن را ترجمه می کنیم، زیرا مرد نظر خود را می گوید.

این کتاب نه فقط در مورد IT، بلکه کتابی است در مورد سبک تفکر افراد فوق العاده باحال. «این فقط تقویت تفکر مثبت نیست. شرایطی را توصیف می کند که شانس انجام کار بزرگ را افزایش می دهد.

با تشکر از آندری پاخوموف برای ترجمه.

نظریه اطلاعات توسط سی. ای. شانون در اواخر دهه 1940 توسعه یافت. مدیریت آزمایشگاه بل اصرار داشت که او آن را "تئوری ارتباطات" نامید زیرا ... این نام بسیار دقیق تر است. بنا به دلایل واضح، نام "تئوری اطلاعات" تاثیر بسیار بیشتری بر مردم دارد، به همین دلیل شانون آن را انتخاب کرد و این نامی است که تا به امروز می شناسیم. خود نام نشان می‌دهد که این نظریه با اطلاعات سروکار دارد و همین امر باعث می‌شود که هر چه به عصر اطلاعات عمیق‌تر می‌رویم، اهمیت پیدا کند. در این فصل، من به چندین نتیجه اصلی از این نظریه دست خواهم زد، شواهد دقیقی از برخی مفاد این نظریه ارائه خواهم کرد، به طوری که شما درک کنید که "نظریه اطلاعات" در واقع چیست، جایی که می توانید آن را اعمال کنید. و کجا نیست .

اول از همه، "اطلاعات" چیست؟ شانون اطلاعات را معادل عدم قطعیت می داند. او لگاریتم منفی احتمال یک رویداد را به عنوان معیار کمی از اطلاعاتی که هنگام وقوع رویدادی با احتمال p دریافت می‌کنید، انتخاب کرد. به عنوان مثال، اگر به شما بگویم که هوای لس آنجلس مه آلود است، آنگاه p نزدیک به 1 است که واقعاً اطلاعات زیادی به ما نمی دهد. اما اگر بگویم در ماه ژوئن در مونتری باران می بارد، عدم اطمینان در پیام وجود دارد و حاوی اطلاعات بیشتری است. یک رویداد قابل اعتماد حاوی هیچ اطلاعاتی نیست، زیرا log 1 = 0.

بیایید به این موضوع با جزئیات بیشتری نگاه کنیم. شانون معتقد بود که اندازه گیری کمی اطلاعات باید تابعی پیوسته از احتمال یک رویداد p باشد و برای رویدادهای مستقل باید افزودنی باشد - مقدار اطلاعات به دست آمده در نتیجه وقوع دو رویداد مستقل باید برابر باشد. مقدار اطلاعات به دست آمده در نتیجه وقوع یک رویداد مشترک. به عنوان مثال، نتیجه یک تاس انداختن و یک سکه انداختن معمولاً به عنوان رویدادهای مستقل در نظر گرفته می شود. اجازه دهید موارد فوق را به زبان ریاضیات ترجمه کنیم. اگر I (p) مقدار اطلاعات موجود در یک رویداد با احتمال p باشد، برای یک رویداد مشترک متشکل از دو رویداد مستقل x با احتمال p1 و y با احتمال p2 به دست می آوریم.

(x و y رویدادهای مستقل هستند)

این معادله تابعی کوشی است که برای همه p1 و p2 صادق است. برای حل این معادله تابعی، فرض کنید

p1 = p2 = p،

این می دهد

اگر p1 = p2 و p2 = p پس

و غیره. گسترش این فرآیند با استفاده از روش استاندارد برای نمایی، برای همه اعداد گویا m/n موارد زیر درست است.

از تداوم فرضی اندازه گیری اطلاعات، نتیجه می شود که تابع لگاریتمی تنها راه حل پیوسته برای معادله کوشی تابعی است.

در تئوری اطلاعات، معمول است که مبنای لگاریتم را 2 در نظر بگیریم، بنابراین یک انتخاب باینری دقیقاً حاوی 1 بیت اطلاعات است. بنابراین، اطلاعات با فرمول اندازه گیری می شود

بیایید مکث کنیم و بفهمیم که در بالا چه اتفاقی افتاد. اول از همه، ما مفهوم "اطلاعات" را تعریف نکردیم، ما به سادگی فرمول اندازه گیری کمی آن را تعریف کردیم.

ثانیاً، این معیار در معرض عدم قطعیت است، و اگرچه به طور منطقی برای ماشین‌ها مناسب است - برای مثال، سیستم‌های تلفن، رادیو، تلویزیون، رایانه‌ها و غیره - نگرش عادی انسان را نسبت به اطلاعات منعکس نمی‌کند.

ثالثاً این یک اندازه گیری نسبی است، بستگی به وضعیت فعلی دانش شما دارد. اگر به جریانی از "اعداد تصادفی" از یک مولد اعداد تصادفی نگاه کنید، فرض می کنید که هر عدد بعدی نامشخص است، اما اگر فرمول محاسبه "اعداد تصادفی" را بدانید، عدد بعدی مشخص خواهد شد، و بنابراین مشخص نخواهد شد. حاوی اطلاعات

بنابراین تعریف شانون از اطلاعات در بسیاری از موارد برای ماشین‌ها مناسب است، اما به نظر نمی‌رسد با درک انسان از این کلمه مطابقت داشته باشد. به همین دلیل است که «نظریه اطلاعات» را باید «نظریه ارتباطات» نامید. با این حال، برای تغییر تعاریف (که باعث محبوبیت اولیه این نظریه شد و هنوز مردم را وادار می کند که این نظریه با «اطلاعات» سروکار دارد، خیلی دیر است)، بنابراین ما باید با آنها زندگی کنیم، اما در عین حال شما باید به وضوح درک کنید که تعریف شانون از اطلاعات تا چه اندازه با معنای رایج آن فاصله دارد. اطلاعات شانون با چیزی کاملاً متفاوت، یعنی عدم قطعیت سروکار دارد.

در اینجا چیزی است که باید در هنگام پیشنهاد هر اصطلاحی به آن فکر کنید. یک تعریف ارائه شده، مانند تعریف شانون از اطلاعات، چگونه با ایده اصلی شما مطابقت دارد و چقدر متفاوت است؟ تقریباً هیچ اصطلاحی وجود ندارد که دقیقاً دیدگاه قبلی شما را از یک مفهوم منعکس کند، اما در نهایت، این اصطلاحات استفاده شده است که معنای مفهوم را منعکس می کند، بنابراین رسمی کردن چیزی از طریق تعاریف واضح همیشه باعث ایجاد نویز می شود.

سیستمی را در نظر بگیرید که الفبای آن از نمادهای q با احتمالات پی تشکیل شده است. در این مورد مقدار متوسط ​​اطلاعات در سیستم (مقدار مورد انتظار آن) برابر است با:

به این آنتروپی سیستم با توزیع احتمال {pi} می گویند. ما از اصطلاح "آنتروپی" استفاده می کنیم زیرا همان شکل ریاضی در ترمودینامیک و مکانیک آماری ظاهر می شود. به همین دلیل است که اصطلاح "آنتروپی" هاله ای از اهمیت را در اطراف خود ایجاد می کند که در نهایت قابل توجیه نیست. همان شکل ریاضی نمادها به معنای همان تفسیر نمادها نیست!

آنتروپی توزیع احتمال نقش اصلی را در نظریه کدگذاری ایفا می کند. نابرابری گیبس برای دو توزیع احتمال مختلف pi و qi یکی از پیامدهای مهم این نظریه است. پس باید این را ثابت کنیم

اثبات بر اساس یک نمودار واضح است، شکل. 13.I که نشان می دهد

و برابری فقط زمانی حاصل می شود که x = 1 باشد. اجازه دهید نابرابری را برای هر جمله از مجموع از سمت چپ اعمال کنیم:

اگر الفبای یک سیستم ارتباطی از نمادهای q تشکیل شده باشد، احتمال انتقال هر نماد qi = 1/q را گرفته و q را جایگزین کنیم، از نابرابری گیبس به دست می‌آییم.

شکل 13.I

این بدان معنی است که اگر احتمال انتقال همه نمادهای q یکسان و برابر با - 1 / q باشد، حداکثر آنتروپی برابر با ln q است، در غیر این صورت نابرابری برقرار است.

در مورد یک کد منحصر به فرد قابل رمزگشایی، نابرابری کرافت را داریم

حال اگر شبه احتمالات را تعریف کنیم

که البته = 1 که از نابرابری گیبز ناشی می شود،

و کمی جبر را اعمال کنیم (به یاد داشته باشید که K ≤ 1، تا بتوانیم عبارت لگاریتمی را حذف کنیم و شاید بعداً نابرابری را تقویت کنیم)، دریافت می کنیم

که در آن L میانگین طول کد است.

بنابراین، آنتروپی حداقل کران برای هر کد کاراکتر به نماد با طول کلمه رمز متوسط ​​L است. این قضیه شانون برای یک کانال بدون تداخل است.

حال قضیه اصلی را در مورد محدودیت های سیستم های ارتباطی در نظر بگیرید که در آن اطلاعات به صورت جریانی از بیت های مستقل منتقل می شود و نویز وجود دارد. قابل درک است که احتمال انتقال صحیح یک بیت P > 1/2 است و احتمال اینکه مقدار بیت در حین انتقال معکوس شود (خطا رخ خواهد داد) برابر است با Q = 1 - P. برای راحتی کار، ما فرض کنید که خطاها مستقل هستند و احتمال خطا برای هر بیت ارسالی یکسان است - یعنی "نویز سفید" در کانال ارتباطی وجود دارد.

روشی که ما یک جریان طولانی از n بیت رمزگذاری شده در یک پیام داریم، پسوند n بعدی کد یک بیتی است. مقدار n را بعداً تعیین خواهیم کرد. پیامی متشکل از n بیت را به عنوان نقطه ای در فضای n بعدی در نظر بگیرید. از آنجایی که ما یک فضای n بعدی داریم - و برای سادگی فرض می کنیم که هر پیام احتمال وقوع یکسانی دارد - M پیام های احتمالی وجود دارد (M نیز بعداً تعریف خواهد شد)، بنابراین احتمال هر پیام ارسال شده است.

(فرستنده)
جدول 13.II

بعد، ایده ظرفیت کانال را در نظر بگیرید. بدون پرداختن به جزئیات، ظرفیت کانال به عنوان حداکثر مقدار اطلاعاتی که می تواند به طور قابل اعتماد از طریق یک کانال ارتباطی با در نظر گرفتن استفاده از کارآمدترین کدگذاری منتقل شود، تعریف می شود. هیچ بحثی وجود ندارد که اطلاعاتی بیش از ظرفیت آن از طریق یک کانال ارتباطی قابل انتقال باشد. این را می توان برای یک کانال متقارن باینری (که در مورد خود استفاده می کنیم) اثبات کرد. ظرفیت کانال، هنگام ارسال بیت، به صورت مشخص شده است

که در آن، مانند قبل، P احتمال عدم خطا در هر بیت ارسالی است. هنگام ارسال n بیت مستقل، ظرفیت کانال توسط داده می شود

اگر به ظرفیت کانال نزدیک باشیم، باید تقریباً این مقدار اطلاعات را برای هر یک از نمادهای ai، i = 1، ...، M ارسال کنیم. با توجه به اینکه احتمال وقوع هر نماد ai 1 / M است. ما گرفتیم

هنگامی که ما هر یک از M پیام های به همان اندازه محتمل ai را ارسال می کنیم، داریم

وقتی n بیت ارسال می شود، انتظار داریم خطاهای nQ رخ دهد. در عمل برای پیامی متشکل از n بیت، تقریباً nQ خطا در پیام دریافتی خواهیم داشت. برای n بزرگ، تغییرات نسبی (تغییر = عرض توزیع، )
با افزایش n توزیع تعداد خطاها به طور فزاینده ای باریک می شود.

بنابراین، از سمت فرستنده، پیام ai را برای ارسال می‌گیرم و یک کره با شعاع به دور آن می‌کشم

که مقداری برابر با e2 کمی بزرگتر از تعداد مورد انتظار خطاهای Q است (شکل 13.II). اگر n به اندازه کافی بزرگ باشد، احتمال کمی وجود دارد که نقطه پیام bj در سمت گیرنده ظاهر شود که فراتر از این کره است. بیایید وضعیت را همانطور که از دیدگاه فرستنده می بینم ترسیم کنیم: ما هر شعاع از پیام ارسالی ai تا پیام دریافتی bj با احتمال خطا برابر (یا تقریباً برابر) با توزیع نرمال داریم که به حداکثر می رسد. از nQ. برای هر e2 معین، یک n آنقدر بزرگ وجود دارد که احتمال اینکه نقطه حاصل bj خارج از کره من باشد به اندازه دلخواه شما کوچک است.

حال بیایید به همین وضعیت از سمت شما نگاه کنیم (شکل 13.III). در سمت گیرنده یک کره S(r) به همان شعاع r در اطراف نقطه دریافتی bj در فضای n بعدی وجود دارد، به طوری که اگر پیام دریافتی bj داخل کره من باشد، پیام ارسال شده توسط من در داخل شما است. کره.

چگونه ممکن است خطا رخ دهد؟ این خطا ممکن است در مواردی که در جدول زیر توضیح داده شده است رخ دهد:

شکل 13. III

در اینجا می بینیم که اگر در کره ساخته شده در اطراف نقطه دریافتی حداقل یک نقطه دیگر مربوط به یک پیام رمزگذاری نشده ارسال شده احتمالی وجود داشته باشد، در حین انتقال خطایی رخ داده است، زیرا شما نمی توانید تعیین کنید که کدام یک از این پیام ها منتقل شده است. پیام ارسال شده فقط در صورتی بدون خطا است که نقطه مربوط به آن در کره باشد و هیچ نقطه دیگری در کد داده شده وجود نداشته باشد که در همان کره باشد.

اگر پیام ai ارسال شود، یک معادله ریاضی برای احتمال خطا Pe داریم

ما می‌توانیم عامل اول را در جمله دوم حذف کنیم و آن را 1 در نظر بگیریم. بنابراین نابرابری را دریافت می‌کنیم

بدیهی است،

در نتیجه

برای آخرین ترم سمت راست دوباره درخواست دهید

با در نظر گرفتن n به اندازه کافی بزرگ، عبارت اول را می توان به اندازه دلخواه کوچک در نظر گرفت، مثلاً کمتر از مقداری d. بنابراین ما داریم

حال بیایید ببینیم چگونه می‌توانیم یک کد جایگزین ساده برای رمزگذاری پیام‌های M متشکل از n بیت بسازیم. شانون که نمی‌دانست دقیقاً چگونه یک کد بسازد (کدهای تصحیح خطا هنوز اختراع نشده بودند)، کدگذاری تصادفی را انتخاب کرد. برای هر یک از n بیت های پیام یک سکه برگردانید و این روند را برای پیام های M تکرار کنید. در مجموع، باید nM سکه ورق بزند، بنابراین ممکن است

فرهنگ لغت کد با احتمال یکسان ½nM. البته فرآیند تصادفی ایجاد کتاب کد به این معنی است که امکان تکرار وجود دارد و همچنین نقاط کد نزدیک به یکدیگر و در نتیجه منشا خطاهای احتمالی خواهند بود. باید ثابت کرد که اگر این اتفاق با احتمالی بیشتر از هر سطح خطای انتخابی کوچکی رخ ندهد، n داده شده به اندازه کافی بزرگ است.
نکته مهم این است که شانون تمام کدهای ممکن را برای یافتن خطای میانگین میانگین گرفت! ما از نماد Av[.] برای نشان دادن مقدار متوسط ​​روی مجموعه همه کدهای تصادفی ممکن استفاده خواهیم کرد. البته میانگین گیری روی یک ثابت d یک عدد ثابت می دهد، زیرا برای میانگین هر جمله با مجموع هر جمله دیگر یکسان است.

که می تواند افزایش یابد (M–1 به M می رود)

برای هر پیام داده شده، هنگام میانگین گیری در تمام کتاب های کد، رمزگذاری از طریق تمام مقادیر ممکن اجرا می شود، بنابراین میانگین احتمال اینکه یک نقطه در یک کره باشد، نسبت حجم کره به حجم کل فضا است. حجم کره است

که در آن s=Q+e2 <1/2 و ns باید یک عدد صحیح باشد.

آخرین عبارت سمت راست بزرگترین در این مجموع است. ابتدا بیایید مقدار آن را با استفاده از فرمول استرلینگ برای فاکتوریل ها تخمین بزنیم. سپس به ضریب نزولی عبارت مقابل نگاه خواهیم کرد، توجه داشته باشید که این ضریب با حرکت به سمت چپ افزایش می‌یابد، و بنابراین می‌توانیم: (1) مقدار حاصل را به مجموع پیشرفت هندسی محدود کنیم. این ضریب اولیه، (2) پیشرفت هندسی را از ns ترم به تعداد نامتناهی ترم بسط می دهد، (3) مجموع یک پیشرفت هندسی نامحدود را محاسبه می کند (جبر استاندارد، هیچ چیز مهمی نیست) و در نهایت مقدار محدود را به دست می آورد (برای یک عدد به اندازه کافی بزرگ) n):

توجه کنید که چگونه آنتروپی H(s) در هویت دوجمله ای ظاهر شد. توجه داشته باشید که بسط سری تیلور H(s)=H(Q+e2) تخمینی را به دست می‌دهد که تنها مشتق اول را در نظر می‌گیرد و همه مشتق‌های دیگر را نادیده می‌گیرد. حال بیایید عبارت نهایی را با هم جمع کنیم:

جایی که

تنها کاری که باید انجام دهیم این است که e2 را طوری انتخاب کنیم که e3 < e1 باشد، و تا زمانی که n به اندازه کافی بزرگ باشد، آخرین جمله دلخواه کوچک خواهد بود. در نتیجه، میانگین خطای PE را می توان به اندازه دلخواه با ظرفیت کانال به طور دلخواه نزدیک به C به دست آورد.
اگر میانگین همه کدها دارای خطای کافی کوچک باشد، حداقل یک کد باید مناسب باشد، بنابراین حداقل یک سیستم کدگذاری مناسب وجود دارد. این یک نتیجه مهم به دست آمده توسط شانون است - "قضیه شانون برای یک کانال نویزدار"، اگرچه باید توجه داشت که او این را برای یک مورد بسیار کلی تر از کانال متقارن باینری ساده ای که من استفاده کردم ثابت کرد. برای حالت کلی، محاسبات ریاضی بسیار پیچیده تر است، اما ایده ها چندان متفاوت نیستند، بنابراین اغلب، با استفاده از مثال یک مورد خاص، می توانید معنای واقعی قضیه را آشکار کنید.

نتیجه را نقد کنیم. ما بارها و بارها تکرار کرده ایم: "برای n به اندازه کافی بزرگ." اما n چقدر بزرگ است؟ خیلی خیلی بزرگ است اگر واقعاً می خواهید هم به ظرفیت کانال نزدیک شوید و هم از انتقال صحیح اطلاعات مطمئن باشید! در واقع آنقدر بزرگ است که باید مدت زیادی منتظر بمانید تا پیامی حاوی بیت های کافی برای رمزگذاری بعداً جمع آوری کنید. در این حالت، اندازه فرهنگ لغت کد تصادفی به سادگی بزرگ خواهد بود (در نهایت، چنین فرهنگ لغتی را نمی توان به شکل کوتاهتر از یک لیست کامل از تمام بیت های Mn نشان داد، با وجود این واقعیت که n و M بسیار بزرگ هستند)!

کدهای تصحیح کننده خطا از انتظار برای یک پیام بسیار طولانی و سپس رمزگذاری و رمزگشایی آن از طریق کتاب‌های کد بسیار بزرگ اجتناب می‌کنند، زیرا خود از کتاب‌های کد اجتناب می‌کنند و به جای آن از محاسبات معمولی استفاده می‌کنند. در تئوری ساده، چنین کدهایی تمایل دارند که توانایی نزدیک شدن به ظرفیت کانال را از دست بدهند و همچنان نرخ خطای پایینی را حفظ کنند، اما زمانی که کد تعداد زیادی از خطاها را تصحیح کند، عملکرد خوبی دارند. به عبارت دیگر، اگر مقداری ظرفیت کانال را به تصحیح خطا اختصاص دهید، باید در بیشتر مواقع از قابلیت تصحیح خطا استفاده کنید، یعنی در هر پیام ارسالی تعداد زیادی خطا تصحیح شود، در غیر این صورت این ظرفیت را هدر می دهید.

در عین حال، قضیه ای که در بالا ثابت شد هنوز بی معنی نیست! این نشان می دهد که سیستم های انتقال کارآمد باید از طرح های رمزگذاری هوشمندانه برای رشته های بیت بسیار طولانی استفاده کنند. به عنوان مثال ماهواره هایی هستند که فراتر از سیارات بیرونی پرواز کرده اند. همانطور که آنها از زمین و خورشید دور می شوند، مجبور می شوند خطاهای بیشتری را در بلوک داده تصحیح کنند: برخی از ماهواره ها از پنل های خورشیدی استفاده می کنند که حدود 5 وات را ارائه می دهند، برخی دیگر از منابع انرژی هسته ای استفاده می کنند که تقریباً همان قدرت را ارائه می دهند. قدرت کم منبع تغذیه، اندازه کوچک ظروف فرستنده و اندازه محدود ظروف گیرنده روی زمین، مسافت عظیمی که سیگنال باید طی کند - همه اینها نیاز به استفاده از کدهایی با سطح بالایی از تصحیح خطا برای ایجاد یک سیستم ارتباطی موثر

بیایید به فضای n بعدی که در اثبات بالا استفاده کردیم برگردیم. در بحث آن، نشان دادیم که تقریباً کل حجم کره در نزدیکی سطح بیرونی متمرکز شده است - بنابراین، تقریباً مطمئن است که سیگنال ارسالی در نزدیکی سطح کره ساخته شده در اطراف سیگنال دریافتی قرار خواهد گرفت، حتی با یک نسبت نسبتاً شعاع کوچک چنین کره ای. بنابراین، جای تعجب نیست که سیگنال دریافتی، پس از تصحیح تعداد زیادی از خطاها، nQ، به طور دلخواه به سیگنال بدون خطا نزدیک شود. ظرفیت پیوندی که قبلاً در مورد آن صحبت کردیم، کلید درک این پدیده است. توجه داشته باشید که کره‌های مشابهی که برای تصحیح خطا کدهای همینگ ساخته شده‌اند، روی یکدیگر همپوشانی ندارند. تعداد زیاد ابعاد تقریباً متعامد در فضای n بعدی نشان می‌دهد که چرا می‌توانیم کره‌های M را با همپوشانی کمی در فضا قرار دهیم. اگر اجازه یک همپوشانی کوچک و دلخواه کوچک بدهیم، که می‌تواند منجر به تعداد کمی خطا در حین رمزگشایی شود، می‌توانیم به یک قرارگیری متراکم از کره‌ها در فضا دست پیدا کنیم. هامینگ سطح معینی از تصحیح خطا را تضمین کرد، شانون - احتمال خطا کم است، اما در عین حال توان عملیاتی واقعی را به طور دلخواه نزدیک به ظرفیت کانال ارتباطی حفظ می کند، که کدهای همینگ نمی توانند انجام دهند.

تئوری اطلاعات به ما نمی گوید که چگونه یک سیستم کارآمد طراحی کنیم، اما راه را به سمت سیستم های ارتباطی کارآمد نشان می دهد. این ابزار ارزشمندی برای ساختن سیستم‌های ارتباطی ماشین به ماشین است، اما همانطور که قبلا ذکر شد، ارتباط کمی با نحوه ارتباط انسان‌ها با یکدیگر دارد. میزان وراثت بیولوژیکی مانند سیستم های ارتباطی فنی به سادگی ناشناخته است، بنابراین در حال حاضر مشخص نیست که نظریه اطلاعات چگونه بر ژن ها اعمال می شود. ما چاره ای جز تلاش نداریم و اگر موفقیت ماهیت ماشینی این پدیده را به ما نشان دهد، شکست به جنبه های مهم دیگری از ماهیت اطلاعات اشاره خواهد کرد.

زیاد منحرف نشویم دیدیم که همه تعاریف اصلی، کم و بیش، باید جوهر باورهای اصلی ما را بیان کنند، اما آنها با درجه ای از تحریف مشخص می شوند و بنابراین قابل اجرا نیستند. به طور سنتی پذیرفته شده است که، در نهایت، تعریفی که ما استفاده می کنیم، در واقع ماهیت را تعریف می کند. اما، این فقط به ما می گوید که چگونه چیزها را پردازش کنیم و به هیچ وجه معنایی به ما نمی رساند. رویکرد فرضی، که به شدت در محافل ریاضی مورد علاقه است، در عمل چیزهای زیادی برای دلخواه باقی می گذارد.

اکنون نمونه‌ای از تست‌های هوش را بررسی می‌کنیم که در آن تعریف به همان اندازه که دوست دارید دایره‌ای است و در نتیجه گمراه‌کننده است. تستی ایجاد می شود که قرار است هوش را اندازه گیری کند. سپس برای اینکه تا حد امکان سازگار باشد، تجدید نظر می‌شود، و سپس منتشر می‌شود و به روشی ساده، کالیبره می‌شود تا «هوش» اندازه‌گیری شده به طور معمول توزیع شود (البته بر روی یک منحنی کالیبراسیون). همه تعاریف باید دوباره بررسی شوند، نه تنها زمانی که برای اولین بار ارائه می شوند، بلکه بسیار بعداً، زمانی که در نتیجه گیری به کار می روند. مرزهای تعریفی تا چه حد برای مسئله ای که حل می شود مناسب است؟ هر چند وقت یکبار تعاریف ارائه شده در یک تنظیم در تنظیمات کاملاً متفاوت اعمال می شوند؟ این اغلب اتفاق می افتد! در علوم انسانی که به ناچار در زندگی خود با آن مواجه خواهید شد، این اتفاق بیشتر می افتد.

بنابراین، یکی از اهداف این ارائه تئوری اطلاعات، علاوه بر نشان دادن سودمندی آن، هشدار دادن به شما در مورد این خطر و یا نشان دادن دقیق نحوه استفاده از آن برای به دست آوردن نتیجه مطلوب بود. مدتهاست که ذکر شده است که تعاریف اولیه بسیار بیشتر از آنچه به نظر می رسد تعیین می کند که در نهایت چه چیزی پیدا می کنید. تعاریف اولیه نه تنها در هر موقعیت جدید، بلکه در زمینه هایی که برای مدت طولانی با آنها کار کرده اید، توجه زیادی را از شما می طلبد. این به شما این امکان را می دهد که بفهمید نتایج به دست آمده تا چه حد یک توتولوژی هستند و مفید نیستند.

داستان معروف ادینگتون از افرادی می گوید که با تور در دریا ماهی می گرفتند. آنها پس از مطالعه اندازه ماهی هایی که صید کردند، حداقل اندازه ماهی را که در دریا یافت می شود، تعیین کردند! نتیجه گیری آنها بر اساس ابزار مورد استفاده انجام شد، نه واقعیت.

ادامه ...

کسانی که می خواهند در ترجمه، صفحه آرایی و انتشار کتاب کمک کنند - در پیام شخصی یا ایمیل بنویسند [ایمیل محافظت شده]

ضمنا ما ترجمه کتاب جالب دیگری را نیز راه اندازی کرده ایم - "ماشین رویایی: داستان انقلاب کامپیوتری")

ما به خصوص به دنبال آن هستیم کسانی که در ترجمه کمک خواهند کرد فصل جایزه، که فقط در ویدیو استاست. (انتقال به مدت 10 دقیقه، 20 دقیقه اول قبلا گرفته شده است)

محتویات کتاب و فصل های ترجمه شدهپیش گفتار

1. مقدمه ای بر هنر انجام علم و مهندسی: یادگیری برای یادگیری (28 مارس 1995) ترجمه: فصل 1
2. "مبانی انقلاب دیجیتال (گسسته)" (30 مارس 1995) فصل 2. مبانی انقلاب دیجیتال (گسسته).
3. "تاریخ کامپیوتر - سخت افزار" (31 مارس 1995) فصل 3. تاریخچه کامپیوتر - سخت افزار
4. "تاریخ کامپیوتر - نرم افزار" (4 آوریل 1995) فصل 4. تاریخچه کامپیوتر - نرم افزار
5. "تاریخچه کامپیوترها - کاربردها" (6 آوریل 1995) فصل پنجم: تاریخچه کامپیوتر - کاربردهای عملی
6. "هوش مصنوعی - قسمت اول" (7 آوریل 1995) فصل 6. هوش مصنوعی - 1
7. "هوش مصنوعی - قسمت دوم" (11 آوریل 1995) فصل 7. هوش مصنوعی - II
8. "هوش مصنوعی III" (13 آوریل 1995) فصل 8. هوش مصنوعی-III
9. "فضای n بعدی" (14 آوریل 1995) فصل 9. فضای N بعدی
10. "تئوری کدگذاری - بازنمایی اطلاعات، قسمت اول" (18 آوریل 1995) فصل 10. نظریه کدگذاری - ط
11. "تئوری کدگذاری - بازنمایی اطلاعات، قسمت دوم" (20 آوریل 1995) فصل 11. نظریه کدگذاری - II
12. "کدهای تصحیح خطا" (21 آوریل 1995) فصل 12. کدهای تصحیح خطا
13. "نظریه اطلاعات" (25 آوریل 1995) فصل 13. نظریه اطلاعات
14. "فیلترهای دیجیتال، قسمت اول" (27 آوریل 1995) فصل 14. فیلترهای دیجیتال - 1
15. "فیلترهای دیجیتال، قسمت دوم" (28 آوریل 1995) فصل 15. فیلترهای دیجیتال - 2
16. "فیلترهای دیجیتال، قسمت سوم" (2 مه 1995) فصل 16. فیلترهای دیجیتال - 3
17. "فیلترهای دیجیتال، قسمت چهارم" (4 مه 1995) فصل 17. فیلترهای دیجیتال - IV
18. "شبیه سازی، قسمت اول" (5 مه 1995) فصل 18. مدلسازی - I
19. "شبیه سازی، قسمت دوم" (9 مه 1995) فصل 19. مدلسازی - II
20. "شبیه سازی، قسمت سوم" (11 مه 1995) فصل 20. مدلسازی - III
21. "فیبر نوری" (12 مه 1995) فصل 21. فیبر نوری
22. "آموزش به کمک کامپیوتر" (16 مه 1995) فصل 22: آموزش به کمک کامپیوتر (CAI)
23. "ریاضیات" (18 مه 1995) فصل 23. ریاضیات
24. "مکانیک کوانتومی" (19 مه 1995) فصل 24. مکانیک کوانتومی
25. «خلاقیت» (23 اردیبهشت 1995). ترجمه: فصل 25. خلاقیت
26. "کارشناسان" (25 اردیبهشت 1995) فصل 26. کارشناسان
27. "داده های غیر قابل اعتماد" (26 مه 1995) فصل 27. داده های غیر قابل اعتماد
28. "مهندسی سیستم" (30 مه 1995) فصل 28. مهندسی سیستم ها
29. "شما آنچه را که اندازه می گیرید دریافت می کنید" (1 ژوئن 1995) فصل 29: آنچه را که اندازه می گیرید به دست می آورید
30. "چگونه می دانیم آنچه می دانیم" (2، 1995) ترجمه در قطعات 10 دقیقه ای
31. همینگ، "شما و تحقیقات شما" (6 ژوئن 1995). ترجمه: شما و کارتان

کسانی که می خواهند در ترجمه، صفحه آرایی و انتشار کتاب کمک کنند - در پیام شخصی یا ایمیل بنویسند [ایمیل محافظت شده]

منبع: www.habr.com