Richard Hamming: Chương 13. Lý thuyết thông tin

Chúng ta làm được rồi!

“Mục đích của khóa học này là giúp bạn chuẩn bị cho tương lai kỹ thuật của mình.”

Richard Hamming: Chương 13. Lý thuyết thông tinXin chào, Habr. Hãy nhớ bài viết tuyệt vời "Bạn và công việc của bạn" (+219, 2588 dấu trang, 429k lượt đọc)?

Vì vậy, Hamming (vâng, vâng, tự giám sát và tự sửa lỗi Mã Hamming) có một tổng thể книга, được viết dựa trên các bài giảng của ông. Chúng tôi dịch nó, bởi vì người đàn ông nói lên suy nghĩ của mình.

Đây là một cuốn sách không chỉ về CNTT, nó còn là cuốn sách nói về phong cách tư duy của những con người cực kỳ ngầu. “Nó không chỉ là sự thúc đẩy suy nghĩ tích cực; nó mô tả những điều kiện làm tăng cơ hội làm được việc tốt.”

Cảm ơn Andrey Pakhomov vì bản dịch.

Lý thuyết thông tin được phát triển bởi C. E. Shannon vào cuối những năm 1940. Ban quản lý Bell Labs nhấn mạnh rằng ông gọi nó là "Lý thuyết truyền thông" bởi vì... đây là một cái tên chính xác hơn nhiều. Vì những lý do hiển nhiên, cái tên "Lý thuyết thông tin" có tác động lớn hơn nhiều đến công chúng, đó là lý do Shannon chọn nó và đó là cái tên mà chúng ta biết cho đến ngày nay. Bản thân cái tên đã gợi ý rằng lý thuyết này đề cập đến thông tin, điều này khiến nó trở nên quan trọng khi chúng ta tiến sâu hơn vào thời đại thông tin. Trong chương này, tôi sẽ đề cập đến một số kết luận chính từ lý thuyết này, tôi sẽ cung cấp bằng chứng không nghiêm ngặt nhưng khá trực quan về một số điều khoản riêng lẻ của lý thuyết này, để bạn hiểu “Lý thuyết thông tin” thực sự là gì, bạn có thể áp dụng nó ở đâu và ở đâu không.

Trước hết, “thông tin” là gì? Shannon đánh đồng thông tin với sự không chắc chắn. Ông đã chọn logarit âm của xác suất xảy ra một sự kiện làm thước đo định lượng cho thông tin bạn nhận được khi một sự kiện có xác suất p xảy ra. Ví dụ: nếu tôi nói với bạn rằng thời tiết ở Los Angeles có sương mù thì p gần bằng 1, điều này thực sự không cung cấp cho chúng ta nhiều thông tin. Nhưng nếu tôi nói rằng trời sẽ mưa ở Monterey vào tháng 1, thông điệp sẽ có sự không chắc chắn và nó sẽ chứa đựng nhiều thông tin hơn. Một sự kiện đáng tin cậy không chứa bất kỳ thông tin nào vì log 0 = XNUMX.

Hãy xem xét điều này chi tiết hơn. Shannon tin rằng phép đo định lượng của thông tin phải là một hàm liên tục của xác suất của một sự kiện p, và đối với các sự kiện độc lập thì nó phải là phép cộng - lượng thông tin thu được do sự xuất hiện của hai sự kiện độc lập phải bằng với lượng thông tin thu được do sự xuất hiện của một sự kiện chung. Ví dụ: kết quả của việc tung xúc xắc và tung đồng xu thường được coi là các sự kiện độc lập. Hãy để chúng tôi dịch những điều trên sang ngôn ngữ toán học. Nếu I (p) là lượng thông tin chứa trong một sự kiện có xác suất p, thì đối với một sự kiện kết hợp gồm hai sự kiện độc lập x với xác suất p1 và y với xác suất p2, chúng ta thu được

Richard Hamming: Chương 13. Lý thuyết thông tin
(x và y là các sự kiện độc lập)

Đây là phương trình Cauchy, đúng với mọi p1 và p2. Để giải phương trình hàm này, giả sử rằng

p1 = p2 = p,

điều này mang lại

Richard Hamming: Chương 13. Lý thuyết thông tin

Nếu p1 = p2 và p2 = p thì

Richard Hamming: Chương 13. Lý thuyết thông tin

vân vân. Mở rộng quá trình này bằng cách sử dụng phương pháp tiêu chuẩn cho số mũ, với mọi số hữu tỉ m/n điều sau đây là đúng

Richard Hamming: Chương 13. Lý thuyết thông tin

Từ tính liên tục giả định của thước đo thông tin, suy ra rằng hàm logarit là nghiệm liên tục duy nhất của phương trình Cauchy.

Trong lý thuyết thông tin, người ta thường lấy logarit cơ số là 2 nên một lựa chọn nhị phân chứa đúng 1 bit thông tin. Vì vậy, thông tin được đo bằng công thức

Richard Hamming: Chương 13. Lý thuyết thông tin

Hãy tạm dừng và hiểu những gì đã xảy ra ở trên. Trước hết, chúng tôi không định nghĩa khái niệm “thông tin”; chúng tôi chỉ định nghĩa công thức đo lường định lượng của nó.

Thứ hai, thước đo này có tính không chắc chắn và mặc dù nó phù hợp một cách hợp lý với máy móc—ví dụ: hệ thống điện thoại, đài, tivi, máy tính, v.v.—nó không phản ánh thái độ bình thường của con người đối với thông tin.

Thứ ba, đây là thước đo tương đối, nó phụ thuộc vào trình độ hiểu biết hiện tại của bạn. Nếu bạn nhìn vào một dòng "số ngẫu nhiên" từ một trình tạo số ngẫu nhiên, bạn cho rằng mỗi số tiếp theo là không chắc chắn, nhưng nếu bạn biết công thức tính "số ngẫu nhiên" thì số tiếp theo sẽ được biết và do đó sẽ không chứa thông tin.

Vì vậy, định nghĩa về thông tin của Shannon phù hợp với máy móc trong nhiều trường hợp, nhưng dường như không phù hợp với cách hiểu của con người về từ này. Chính vì lý do này mà “Lý thuyết thông tin” đáng lẽ phải được gọi là “Lý thuyết truyền thông”. Tuy nhiên, đã quá muộn để thay đổi các định nghĩa (điều đã khiến lý thuyết này trở nên phổ biến ban đầu và vẫn khiến mọi người nghĩ rằng lý thuyết này đề cập đến “thông tin”), vì vậy chúng ta phải sống chung với chúng, nhưng đồng thời bạn cũng phải chấp nhận. hiểu rõ định nghĩa về thông tin của Shannon khác xa với ý nghĩa thường được sử dụng của nó như thế nào. Thông tin của Shannon đề cập đến một điều hoàn toàn khác, cụ thể là sự không chắc chắn.

Đây là điều cần suy nghĩ khi bạn đề xuất bất kỳ thuật ngữ nào. Làm thế nào một định nghĩa được đề xuất, chẳng hạn như định nghĩa về thông tin của Shannon, phù hợp với ý tưởng ban đầu của bạn như thế nào và nó khác nhau như thế nào? Hầu như không có thuật ngữ nào phản ánh chính xác tầm nhìn trước đây của bạn về một khái niệm, nhưng cuối cùng, chính thuật ngữ được sử dụng mới phản ánh ý nghĩa của khái niệm đó, do đó, việc chính thức hóa một điều gì đó thông qua các định nghĩa rõ ràng luôn tạo ra một số tiếng ồn.

Hãy xem xét một hệ thống có bảng chữ cái bao gồm các ký hiệu q với xác suất pi. Trong trường hợp này lượng thông tin trung bình trong hệ thống (giá trị mong đợi của nó) bằng:

Richard Hamming: Chương 13. Lý thuyết thông tin

Đây được gọi là entropy của hệ có phân bố xác suất {pi}. Chúng tôi sử dụng thuật ngữ "entropy" vì dạng toán học tương tự xuất hiện trong nhiệt động lực học và cơ học thống kê. Đây là lý do tại sao thuật ngữ “entropy” tạo ra một luồng ánh sáng quan trọng nhất định xung quanh nó, điều này cuối cùng không được chứng minh. Hình thức ký hiệu toán học giống nhau không hàm ý cách giải thích giống nhau về các ký hiệu!

Entropy của phân bố xác suất đóng vai trò chính trong lý thuyết mã hóa. Bất đẳng thức Gibbs cho hai phân bố xác suất khác nhau pi và qi là một trong những hệ quả quan trọng của lý thuyết này. Vậy ta phải chứng minh rằng

Richard Hamming: Chương 13. Lý thuyết thông tin

Việc chứng minh dựa trên đồ thị hiển nhiên, Hình 13. XNUMX.I, thể hiện điều đó

Richard Hamming: Chương 13. Lý thuyết thông tin

và đẳng thức chỉ đạt được khi x = 1. Ta áp dụng bất đẳng thức cho mỗi số hạng của tổng từ vế trái:

Richard Hamming: Chương 13. Lý thuyết thông tin

Nếu bảng chữ cái của một hệ thống truyền thông bao gồm q ký hiệu thì lấy xác suất truyền của mỗi ký hiệu qi = 1/q và thay q, chúng ta thu được từ bất đẳng thức Gibbs

Richard Hamming: Chương 13. Lý thuyết thông tin

Richard Hamming: Chương 13. Lý thuyết thông tin

Hình 13.I

Điều này có nghĩa là nếu xác suất truyền tất cả các ký hiệu q bằng nhau và bằng -1 / q thì entropy cực đại bằng ln q, nếu không thì bất đẳng thức vẫn giữ nguyên.

Trong trường hợp mã giải mã được duy nhất, ta có bất đẳng thức Kraft

Richard Hamming: Chương 13. Lý thuyết thông tin

Bây giờ nếu chúng ta định nghĩa xác suất giả

Richard Hamming: Chương 13. Lý thuyết thông tin

tất nhiên là ở đâu Richard Hamming: Chương 13. Lý thuyết thông tin= 1, suy ra từ bất đẳng thức Gibbs,

Richard Hamming: Chương 13. Lý thuyết thông tin

và áp dụng một chút đại số (hãy nhớ rằng K ≤ 1, vì vậy chúng ta có thể bỏ số hạng logarit và có thể củng cố bất đẳng thức sau này), chúng ta nhận được

Richard Hamming: Chương 13. Lý thuyết thông tin

trong đó L là độ dài mã trung bình.

Do đó, entropy là giới hạn tối thiểu cho bất kỳ mã từng ký tự nào có độ dài từ mã trung bình L. Đây là định lý của Shannon cho kênh không bị nhiễu.

Bây giờ hãy xem xét định lý chính về những hạn chế của hệ thống truyền thông trong đó thông tin được truyền đi dưới dạng một dòng bit độc lập và có hiện tượng nhiễu. Điều này được hiểu rằng xác suất truyền đúng một bit là P > 1/2 và xác suất giá trị bit bị đảo ngược trong quá trình truyền (sẽ xảy ra lỗi) bằng Q = 1 - P. Để thuận tiện, chúng tôi giả sử rằng các lỗi là độc lập và xác suất xảy ra lỗi là như nhau đối với mỗi bit được gửi - nghĩa là có “nhiễu trắng” trong kênh liên lạc.

Cách chúng ta mã hóa một dòng dài n bit thành một thông báo là mở rộng n chiều của mã một bit. Chúng ta sẽ xác định giá trị của n sau. Hãy xem một thông điệp gồm n-bit là một điểm trong không gian n chiều. Vì chúng ta có không gian n chiều - và để đơn giản, chúng ta giả sử rằng mỗi thông báo có cùng xác suất xuất hiện - có M thông báo có thể xảy ra (M cũng sẽ được xác định sau), do đó xác suất của bất kỳ thông báo nào được gửi là

Richard Hamming: Chương 13. Lý thuyết thông tin

Richard Hamming: Chương 13. Lý thuyết thông tin
(người gửi)
Phụ lục 13.II

Tiếp theo, hãy xem xét ý tưởng về dung lượng kênh. Không đi sâu vào chi tiết, dung lượng kênh được định nghĩa là lượng thông tin tối đa có thể được truyền qua kênh liên lạc một cách đáng tin cậy, có tính đến việc sử dụng mã hóa hiệu quả nhất. Không có gì phải bàn cãi rằng nhiều thông tin có thể được truyền qua một kênh liên lạc hơn khả năng của nó. Điều này có thể được chứng minh cho kênh đối xứng nhị phân (mà chúng tôi sử dụng trong trường hợp của mình). Dung lượng kênh, khi gửi bit, được chỉ định là

Richard Hamming: Chương 13. Lý thuyết thông tin

trong đó, như trước đây, P là xác suất không có lỗi trong bất kỳ bit nào được gửi. Khi gửi n bit độc lập, dung lượng kênh được cho bởi

Richard Hamming: Chương 13. Lý thuyết thông tin

Nếu chúng ta gần đạt đến dung lượng kênh thì chúng ta phải gửi lượng thông tin gần như này cho mỗi ký hiệu ai, i = 1, ..., M. Xét rằng xác suất xuất hiện của mỗi ký hiệu ai là 1 / M, chúng tôi nhận được

Richard Hamming: Chương 13. Lý thuyết thông tin

khi chúng tôi gửi bất kỳ tin nhắn nào trong số M tin nhắn có khả năng xảy ra như nhau ai, chúng tôi có

Richard Hamming: Chương 13. Lý thuyết thông tin

Khi n bit được gửi đi, chúng ta có thể dự kiến ​​sẽ xảy ra lỗi nQ. Trong thực tế, đối với một tin nhắn gồm n-bit, chúng ta sẽ có khoảng nQ lỗi trong tin nhắn nhận được. Đối với n lớn, biến thiên tương đối (biến thiên = độ rộng phân bố, )
sự phân bổ số lượng lỗi sẽ ngày càng thu hẹp khi n tăng.

Vì vậy, từ phía máy phát, tôi lấy tin nhắn ai gửi và vẽ một hình cầu xung quanh nó có bán kính

Richard Hamming: Chương 13. Lý thuyết thông tin

lớn hơn một chút bằng e2 so với số lỗi dự kiến ​​Q, (Hình 13.II). Nếu n đủ lớn thì có một xác suất nhỏ tùy ý để một điểm thông báo bj xuất hiện ở phía bên nhận và vượt ra ngoài phạm vi này. Hãy phác họa tình huống theo quan điểm của tôi từ quan điểm của người phát: chúng ta có bất kỳ bán kính nào từ tin nhắn được truyền ai đến tin nhắn nhận được bj với xác suất xảy ra lỗi bằng (hoặc gần như bằng) phân bố chuẩn, đạt cực đại của nQ. Với bất kỳ e2 nào, có một n lớn đến mức xác suất để điểm bj nằm ngoài phạm vi của tôi sẽ nhỏ như bạn muốn.

Bây giờ hãy xem xét tình huống tương tự từ phía bạn (Hình 13.III). Ở phía người nhận có một quả cầu S(r) có cùng bán kính r xung quanh điểm nhận được bj trong không gian n chiều, sao cho nếu tin nhắn bj nhận được nằm trong quả cầu của tôi thì tin nhắn ai do tôi gửi cũng nằm trong quả cầu của bạn. quả cầu.

Làm thế nào một lỗi có thể xảy ra? Lỗi có thể xảy ra trong các trường hợp được mô tả trong bảng dưới đây:

Richard Hamming: Chương 13. Lý thuyết thông tin

Hình 13.III

Richard Hamming: Chương 13. Lý thuyết thông tin

Ở đây, chúng ta thấy rằng nếu trong hình cầu được xây dựng xung quanh điểm nhận có ít nhất một điểm nữa tương ứng với một tin nhắn chưa được mã hóa có thể được gửi, thì đã xảy ra lỗi trong quá trình truyền vì bạn không thể xác định tin nhắn nào trong số này đã được truyền. Tin nhắn đã gửi chỉ không có lỗi nếu điểm tương ứng với nó nằm trong hình cầu và không có điểm nào khác có thể có trong mã đã cho nằm trong cùng một hình cầu.

Chúng ta có phương trình toán học cho xác suất xảy ra lỗi Pe nếu tin nhắn ai được gửi đi

Richard Hamming: Chương 13. Lý thuyết thông tin

Chúng ta có thể loại bỏ thừa số thứ nhất trong số hạng thứ hai, lấy nó bằng 1. Như vậy chúng ta thu được bất đẳng thức

Richard Hamming: Chương 13. Lý thuyết thông tin

Rõ ràng,

Richard Hamming: Chương 13. Lý thuyết thông tin

hậu quả là

Richard Hamming: Chương 13. Lý thuyết thông tin

nộp đơn xin lại học kỳ cuối cùng bên phải

Richard Hamming: Chương 13. Lý thuyết thông tin

Lấy n đủ lớn, số hạng đầu tiên có thể được lấy nhỏ tùy ý, chẳng hạn như nhỏ hơn một số d. Vì vậy chúng tôi có

Richard Hamming: Chương 13. Lý thuyết thông tin

Bây giờ hãy xem cách chúng ta có thể xây dựng một mã thay thế đơn giản để mã hóa M thông điệp gồm n bit. Không biết chính xác cách xây dựng một mã (mã sửa lỗi vẫn chưa được phát minh), Shannon đã chọn mã hóa ngẫu nhiên. Lật một đồng xu cho mỗi bit trong số n bit trong tin nhắn và lặp lại quy trình cho M tin nhắn. Tổng cộng cần phải thực hiện nM lần tung đồng xu, vì vậy điều đó là có thể

Richard Hamming: Chương 13. Lý thuyết thông tin

các từ điển mã có cùng xác suất ½nM. Tất nhiên, quá trình tạo sổ mã ngẫu nhiên có nghĩa là có khả năng trùng lặp, cũng như các điểm mã sẽ gần nhau và do đó có thể là nguồn gây ra lỗi. Người ta phải chứng minh rằng nếu điều này không xảy ra với xác suất lớn hơn bất kỳ mức lỗi nhỏ nào được chọn thì n đã cho là đủ lớn.
Điểm cốt yếu là Shannon đã tính trung bình tất cả các bảng mã có thể có để tìm ra lỗi trung bình! Chúng ta sẽ sử dụng ký hiệu Av[.] để biểu thị giá trị trung bình trên tập hợp tất cả các bảng mã ngẫu nhiên có thể có. Tất nhiên, tính trung bình trên một hằng số d sẽ cho ra một hằng số, vì để tính trung bình mỗi số hạng cũng giống như mọi số hạng khác trong tổng,

Richard Hamming: Chương 13. Lý thuyết thông tin

có thể tăng lên (M–1 chuyển sang M)

Richard Hamming: Chương 13. Lý thuyết thông tin

Đối với bất kỳ thông báo nào, khi tính trung bình trên tất cả các sổ mã, quá trình mã hóa sẽ chạy qua tất cả các giá trị có thể có, do đó xác suất trung bình để một điểm nằm trong hình cầu là tỷ lệ giữa thể tích của hình cầu và tổng thể tích của không gian. Thể tích của quả cầu là

Richard Hamming: Chương 13. Lý thuyết thông tin

trong đó s=Q+e2 <1/2 và ns phải là số nguyên.

Số hạng cuối cùng bên phải là số hạng lớn nhất trong tổng này. Trước tiên, hãy ước tính giá trị của nó bằng công thức Stirling cho giai thừa. Sau đó chúng ta sẽ xét hệ số giảm dần của số hạng đứng trước nó, lưu ý rằng hệ số này tăng khi chúng ta di chuyển sang trái, và vì vậy chúng ta có thể: (1) giới hạn giá trị của tổng bằng tổng của cấp số nhân với hệ số ban đầu này, (2) mở rộng cấp số nhân từ số hạng ns đến vô số số hạng, (3) tính tổng của cấp số nhân vô hạn (đại số chuẩn, không có gì đáng kể) và cuối cùng thu được giá trị giới hạn (đối với một số đủ lớn). N):

Richard Hamming: Chương 13. Lý thuyết thông tin

Lưu ý cách entropy H(s) xuất hiện trong danh tính nhị thức. Lưu ý rằng khai triển chuỗi Taylor H(s)=H(Q+e2) đưa ra ước tính thu được chỉ tính đến đạo hàm bậc nhất và bỏ qua tất cả các đạo hàm khác. Bây giờ chúng ta hãy tập hợp biểu thức cuối cùng:

Richard Hamming: Chương 13. Lý thuyết thông tin

đâu

Richard Hamming: Chương 13. Lý thuyết thông tin

Tất cả những gì chúng ta phải làm là chọn e2 sao cho e3 < e1, và khi đó số hạng cuối cùng sẽ nhỏ tùy ý, miễn là n đủ lớn. Do đó, sai số PE trung bình có thể đạt được nhỏ như mong muốn với dung lượng kênh tùy ý gần với C.
Nếu giá trị trung bình của tất cả các mã có sai số đủ nhỏ thì ít nhất một mã phải phù hợp, do đó có ít nhất một hệ thống mã hóa phù hợp. Đây là một kết quả quan trọng mà Shannon đạt được - "Định lý Shannon cho kênh nhiễu", mặc dù cần lưu ý rằng ông đã chứng minh điều này cho một trường hợp tổng quát hơn nhiều so với kênh đối xứng nhị phân đơn giản mà tôi đã sử dụng. Đối với trường hợp tổng quát, các phép tính toán học phức tạp hơn nhiều, nhưng ý tưởng không quá khác nhau, vì vậy, rất thường xuyên, bằng cách sử dụng ví dụ của một trường hợp cụ thể, bạn có thể tiết lộ ý nghĩa thực sự của định lý.

Hãy phê bình kết quả. Chúng ta đã lặp đi lặp lại nhiều lần: “Với n đủ lớn”. Nhưng n lớn đến mức nào? Rất, rất lớn nếu bạn thực sự muốn vừa gần với dung lượng kênh vừa đảm bảo truyền dữ liệu chính xác! Trên thực tế, lớn đến mức bạn sẽ phải đợi rất lâu để tích lũy một thông điệp đủ bit để mã hóa nó sau này. Trong trường hợp này, kích thước của từ điển mã ngẫu nhiên sẽ rất lớn (xét cho cùng, một từ điển như vậy không thể được biểu diễn dưới dạng ngắn hơn danh sách đầy đủ tất cả Mn bit, mặc dù thực tế là n và M rất lớn)!

Các mã sửa lỗi tránh phải chờ đợi một tin nhắn rất dài rồi mã hóa và giải mã nó thông qua các sổ mã rất lớn vì chúng tránh các sổ mã và thay vào đó sử dụng tính toán thông thường. Về lý thuyết đơn giản, các mã như vậy có xu hướng mất khả năng tiếp cận dung lượng kênh và vẫn duy trì tỷ lệ lỗi thấp, nhưng khi mã sửa được số lượng lớn lỗi thì chúng hoạt động tốt. Nói cách khác, nếu bạn phân bổ một số dung lượng kênh để sửa lỗi thì bạn phải sử dụng khả năng sửa lỗi trong hầu hết thời gian, tức là phải sửa một số lượng lớn lỗi trong mỗi tin nhắn được gửi đi, nếu không bạn sẽ lãng phí dung lượng này.

Đồng thời, định lý chứng minh trên vẫn không phải là vô nghĩa! Nó cho thấy các hệ thống truyền dẫn hiệu quả phải sử dụng các sơ đồ mã hóa thông minh cho các chuỗi bit rất dài. Một ví dụ là các vệ tinh đã bay ra ngoài các hành tinh bên ngoài; Khi di chuyển ra khỏi Trái đất và Mặt trời, họ buộc phải sửa ngày càng nhiều lỗi trong khối dữ liệu: một số vệ tinh sử dụng các tấm pin mặt trời, cung cấp khoảng 5 W, một số khác sử dụng nguồn năng lượng hạt nhân, cung cấp năng lượng tương đương. Công suất nguồn thấp, kích thước nhỏ của đĩa phát và kích thước hạn chế của đĩa thu trên Trái đất, khoảng cách rất lớn mà tín hiệu phải truyền đi - tất cả những điều này đòi hỏi phải sử dụng mã có mức độ sửa lỗi cao để xây dựng một hệ thống truyền thông hiệu quả.

Hãy quay trở lại không gian n chiều mà chúng ta đã sử dụng trong chứng minh ở trên. Khi thảo luận về nó, chúng tôi đã chỉ ra rằng gần như toàn bộ thể tích của quả cầu tập trung gần bề mặt bên ngoài - do đó, gần như chắc chắn rằng tín hiệu được gửi sẽ nằm gần bề mặt của quả cầu được xây dựng xung quanh tín hiệu nhận được, ngay cả với một tín hiệu tương đối. bán kính nhỏ của hình cầu đó. Vì vậy, không có gì đáng ngạc nhiên khi tín hiệu thu được sau khi sửa một lượng lớn lỗi tùy ý nQ sẽ trở nên gần tùy ý với tín hiệu không có lỗi. Dung lượng liên kết mà chúng ta đã thảo luận trước đó là chìa khóa để hiểu hiện tượng này. Lưu ý rằng các hình cầu tương tự được xây dựng để sửa lỗi mã Hamming không trùng lặp với nhau. Số lượng lớn các chiều gần như trực giao trong không gian n chiều cho thấy tại sao chúng ta có thể ghép M quả cầu trong không gian với ít sự chồng chéo. Nếu chúng ta cho phép một sự chồng lấp nhỏ, nhỏ tùy ý, điều này có thể chỉ dẫn đến một số lỗi nhỏ trong quá trình giải mã, thì chúng ta có thể thu được một vị trí dày đặc của các quả cầu trong không gian. Hamming đảm bảo mức độ sửa lỗi nhất định, Shannon - xác suất xảy ra lỗi thấp nhưng đồng thời duy trì thông lượng thực tế tùy ý gần với dung lượng của kênh liên lạc, điều mà mã Hamming không thể làm được.

Lý thuyết thông tin không cho chúng ta biết cách thiết kế một hệ thống hiệu quả nhưng nó chỉ ra con đường hướng tới các hệ thống truyền thông hiệu quả. Nó là một công cụ có giá trị để xây dựng các hệ thống giao tiếp giữa máy với máy, nhưng, như đã lưu ý trước đó, nó ít liên quan đến cách con người giao tiếp với nhau. Mức độ di truyền sinh học giống như các hệ thống truyền thông kỹ thuật vẫn chưa được biết rõ, vì vậy hiện tại vẫn chưa rõ lý thuyết thông tin áp dụng cho gen như thế nào. Chúng ta không có lựa chọn nào khác ngoài việc thử, và nếu thành công cho chúng ta thấy bản chất giống như máy móc của hiện tượng này, thì thất bại sẽ chỉ ra những khía cạnh quan trọng khác về bản chất của thông tin.

Chúng ta đừng lạc đề quá nhiều. Chúng ta đã thấy rằng tất cả các định nghĩa ban đầu, ở mức độ lớn hơn hoặc thấp hơn, đều phải thể hiện bản chất của niềm tin ban đầu của chúng ta, nhưng chúng có đặc điểm là bị bóp méo ở một mức độ nào đó và do đó không thể áp dụng được. Theo truyền thống, người ta chấp nhận rằng, xét cho cùng, định nghĩa mà chúng ta sử dụng thực sự xác định được bản chất; tuy nhiên, điều này chỉ cho chúng ta biết cách xử lý mọi thứ và không hề truyền đạt bất kỳ ý nghĩa nào cho chúng ta. Cách tiếp cận định đề, rất được ưa chuộng trong giới toán học, vẫn còn nhiều điều đáng mong đợi trong thực tế.

Bây giờ chúng ta sẽ xem xét một ví dụ về các bài kiểm tra IQ trong đó định nghĩa xoay quanh theo ý muốn của bạn và kết quả là gây hiểu lầm. Một bài kiểm tra được tạo ra nhằm đo lường trí thông minh. Sau đó, nó được sửa đổi để làm cho nó nhất quán nhất có thể, sau đó nó được xuất bản và, theo một phương pháp đơn giản, được hiệu chỉnh sao cho “trí thông minh” đo được có phân bố chuẩn (tất nhiên là trên đường cong hiệu chuẩn). Tất cả các định nghĩa phải được kiểm tra lại, không chỉ khi chúng được đề xuất lần đầu mà còn rất lâu sau đó, khi chúng được sử dụng trong các kết luận được rút ra. Các ranh giới định nghĩa phù hợp ở mức độ nào cho vấn đề đang được giải quyết? Các định nghĩa được đưa ra trong một bối cảnh có thường xuyên được áp dụng trong các bối cảnh hoàn toàn khác nhau không? Điều này xảy ra khá thường xuyên! Trong lĩnh vực nhân văn mà bạn chắc chắn sẽ gặp phải trong đời, điều này xảy ra thường xuyên hơn.

Vì vậy, một trong những mục đích của việc trình bày lý thuyết thông tin này, ngoài việc chứng minh tính hữu dụng của nó, còn là cảnh báo bạn về mối nguy hiểm này hoặc chỉ cho bạn chính xác cách sử dụng nó để đạt được kết quả mong muốn. Từ lâu, người ta đã lưu ý rằng những định nghĩa ban đầu xác định những gì bạn tìm thấy cuối cùng, ở mức độ lớn hơn nhiều so với những gì bạn tưởng. Những định nghĩa ban đầu đòi hỏi bạn phải chú ý rất nhiều, không chỉ trong bất kỳ tình huống mới nào mà còn trong những lĩnh vực mà bạn đã làm việc trong một thời gian dài. Điều này sẽ cho phép bạn hiểu mức độ kết quả thu được là trùng lặp chứ không phải thứ gì đó hữu ích.

Câu chuyện nổi tiếng của Eddington kể về những người đánh cá trên biển bằng lưới. Sau khi nghiên cứu kích thước của loài cá họ bắt được, họ đã xác định được kích thước tối thiểu của loài cá được tìm thấy ở biển! Kết luận của họ được thúc đẩy bởi công cụ được sử dụng chứ không phải bởi thực tế.

Để được tiếp tục ...

Ai muốn hỗ trợ dịch, trình bày và xuất bản cuốn sách - hãy viết bằng tin nhắn cá nhân hoặc email [email được bảo vệ]

Nhân tiện, chúng tôi cũng đã tung ra bản dịch của một cuốn sách thú vị khác - "Cỗ máy mơ ước: Câu chuyện về cuộc cách mạng máy tính")

Chúng tôi đặc biệt đang tìm kiếm những người sẽ giúp dịch chương thưởng, chỉ có trên video. (chuyển khoản trong 10 phút, 20 phút đầu tiên đã được thực hiện)

Nội dung sách và các chương đã dịchlời tựa

  1. Giới thiệu Nghệ thuật Làm Khoa học và Kỹ thuật: Học để Học (28/1995/XNUMX) Bản dịch: Chương 1
  2. "Nền tảng của cuộc cách mạng kỹ thuật số (rời rạc)" (30 tháng 1995 năm XNUMX) Chương 2. Nền tảng của cuộc cách mạng số (rời rạc)
  3. “Lịch sử Máy tính - Phần cứng” (31/1995/XNUMX) Chương 3. Lịch sử máy tính - Phần cứng
  4. “Lịch sử Máy tính - Phần mềm” (4/1995/XNUMX) Chương 4. Lịch sử máy tính - Phần mềm
  5. "Lịch sử máy tính - Ứng dụng" (6/1995/XNUMX) Chương 5: Lịch sử máy tính - Ứng dụng thực tế
  6. "Trí tuệ nhân tạo - Phần I" (7/1995/XNUMX) Chương 6. Trí tuệ nhân tạo - 1
  7. "Trí tuệ nhân tạo - Phần II" (11/1995/XNUMX) Chương 7. Trí tuệ nhân tạo - II
  8. "Trí tuệ nhân tạo III" (13/1995/XNUMX) Chương 8. Trí tuệ nhân tạo-III
  9. "Không gian n chiều" (14 tháng 1995 năm XNUMX) Chương 9. Không gian N chiều
  10. "Lý thuyết mã hóa - Sự biểu diễn thông tin, Phần I" (18/1995/XNUMX) Chương 10. Lý thuyết mã hóa - I
  11. "Lý thuyết mã hóa - Biểu diễn thông tin, Phần II" (20/1995/XNUMX) Chương 11. Lý thuyết mã hóa - II
  12. "Mã sửa lỗi" (21 tháng 1995 năm XNUMX) Chương 12. Mã sửa lỗi
  13. “Lý thuyết thông tin” (25/1995/XNUMX) Chương 13. Lý thuyết thông tin
  14. "Bộ lọc kỹ thuật số, Phần I" (27 tháng 1995 năm XNUMX) Chương 14. Bộ Lọc Kỹ Thuật Số - 1
  15. "Bộ lọc kỹ thuật số, Phần II" (28 tháng 1995 năm XNUMX) Chương 15. Bộ Lọc Kỹ Thuật Số - 2
  16. "Bộ lọc kỹ thuật số, Phần III" (2 tháng 1995 năm XNUMX) Chương 16. Bộ Lọc Kỹ Thuật Số - 3
  17. "Bộ lọc kỹ thuật số, Phần IV" (4 tháng 1995 năm XNUMX) Chương 17. Bộ lọc kỹ thuật số - IV
  18. "Mô phỏng, Phần I" (5 tháng 1995 năm XNUMX) Chương 18. Làm người mẫu - Tôi
  19. "Mô phỏng, Phần II" (9 tháng 1995 năm XNUMX) Chương 19. Mô hình hóa - II
  20. "Mô phỏng, Phần III" (11 tháng 1995 năm XNUMX) Chương 20. Làm người mẫu - III
  21. "Sợi quang" (12 tháng 1995 năm XNUMX) Bài 21. Sợi quang
  22. "Hướng dẫn có sự trợ giúp của máy tính" (16 tháng 1995 năm XNUMX) Chương 22: Hướng dẫn có sự hỗ trợ của máy tính (CAI)
  23. "Toán học" (18/1995/XNUMX) Chương 23. Toán học
  24. "Cơ học lượng tử" (19 tháng 1995 năm XNUMX) Chương 24. Cơ học lượng tử
  25. "Sáng tạo" (23 tháng 1995 năm XNUMX). Dịch: Chương 25. Sáng tạo
  26. “Chuyên gia” (25/1995/XNUMX) Chương 26. Chuyên gia
  27. "Dữ liệu không đáng tin cậy" (26 tháng 1995 năm XNUMX) Chương 27. Dữ liệu không đáng tin cậy
  28. "Kỹ thuật hệ thống" (30 tháng 1995 năm XNUMX) Bài 28. Kỹ thuật hệ thống
  29. "Bạn nhận được những gì bạn đo lường" (ngày 1 tháng 1995 năm XNUMX) Chương 29: Bạn nhận được những gì bạn đo lường được
  30. "Làm sao chúng ta biết những gì chúng ta biết" (Tháng Sáu 2, 1995) dịch từng đoạn 10 phút
  31. Hamming, “Bạn và nghiên cứu của bạn” (6/1995/XNUMX). Bản dịch: Bạn và công việc của bạn

Ai muốn hỗ trợ dịch, trình bày và xuất bản cuốn sách - hãy viết bằng tin nhắn cá nhân hoặc email [email được bảo vệ]

Nguồn: www.habr.com

Thêm một lời nhận xét