Richard Hamming: Bab 13. Teori Informasi

Kamu sangat cantik!

“Tujuan kursus ini adalah untuk mempersiapkan Anda menghadapi masa depan teknis.”

Richard Hamming: Bab 13. Teori InformasiHalo, Habr. Ingat artikel yang luar biasa ini "Kamu dan pekerjaanmu" (+219, 2588 bookmark, 429k dibaca)?

Jadi Hamming (ya, ya, pemantauan diri dan koreksi diri Kode Hamming) ada keseluruhan buku, ditulis berdasarkan ceramahnya. Kami menerjemahkannya, karena pria mengutarakan pikirannya.

Ini adalah buku bukan hanya tentang IT, ini adalah buku tentang gaya berpikir orang-orang yang sangat keren. “Ini bukan hanya sekedar meningkatkan pemikiran positif; ini menggambarkan kondisi yang meningkatkan peluang untuk melakukan pekerjaan hebat.”

Terima kasih kepada Andrey Pakhomov atas terjemahannya.

Teori Informasi dikembangkan oleh C. E. Shannon pada akhir tahun 1940-an. Manajemen Bell Labs bersikukuh ia menyebutnya “Teori Komunikasi” karena... ini adalah nama yang jauh lebih akurat. Untuk alasan yang jelas, nama "Teori Informasi" memiliki dampak yang jauh lebih besar terhadap publik, itulah sebabnya Shannon memilihnya, dan itulah nama yang kita kenal hingga saat ini. Namanya sendiri menunjukkan bahwa teori ini berhubungan dengan informasi, sehingga teori ini penting ketika kita memasuki era informasi. Dalam bab ini, saya akan menyentuh beberapa kesimpulan utama dari teori ini, saya tidak akan memberikan bukti yang ketat, melainkan bukti intuitif dari beberapa ketentuan individu teori ini, sehingga Anda memahami apa sebenarnya “Teori Informasi”, di mana Anda dapat menerapkannya. dan di mana tidak.

Pertama-tama, apa itu “informasi”? Shannon menyamakan informasi dengan ketidakpastian. Dia memilih logaritma negatif dari probabilitas suatu peristiwa sebagai ukuran kuantitatif dari informasi yang Anda terima ketika suatu peristiwa dengan probabilitas p terjadi. Misalnya, jika saya memberi tahu Anda bahwa cuaca di Los Angeles berkabut, maka p mendekati 1, yang sebenarnya tidak memberikan banyak informasi kepada kita. Tetapi jika saya mengatakan bahwa hujan turun di Monterey pada bulan Juni, akan ada ketidakpastian dalam pesan tersebut dan akan berisi lebih banyak informasi. Peristiwa yang dapat diandalkan tidak mengandung informasi apapun, karena log 1 = 0.

Mari kita lihat ini lebih terinci. Shannon percaya bahwa ukuran kuantitatif informasi harus merupakan fungsi kontinu dari probabilitas suatu peristiwa p, dan untuk peristiwa independen harus bersifat tambahan - jumlah informasi yang diperoleh sebagai hasil dari terjadinya dua peristiwa independen harus sama dengan sejumlah informasi yang diperoleh sebagai akibat terjadinya suatu peristiwa bersama. Misalnya, hasil pelemparan dadu dan pelemparan koin biasanya diperlakukan sebagai kejadian independen. Mari kita terjemahkan hal di atas ke dalam bahasa matematika. Jika I (p) adalah banyaknya informasi yang terkandung dalam suatu kejadian dengan peluang p, maka untuk kejadian gabungan yang terdiri dari dua kejadian bebas x dengan peluang p1 dan y dengan peluang p2 kita peroleh

Richard Hamming: Bab 13. Teori Informasi
(x dan y adalah kejadian bebas)

Ini adalah persamaan fungsional Cauchy yang berlaku untuk semua p1 dan p2. Untuk menyelesaikan persamaan fungsional ini, asumsikan bahwa

p1 = p2 = p,

ini memberi

Richard Hamming: Bab 13. Teori Informasi

Jika p1 = p2 dan p2 = p maka

Richard Hamming: Bab 13. Teori Informasi

dll. Memperluas proses ini dengan menggunakan metode standar untuk eksponensial, untuk semua bilangan rasional m/n, berikut ini benar

Richard Hamming: Bab 13. Teori Informasi

Dari asumsi kontinuitas ukuran informasi, maka fungsi logaritma adalah satu-satunya solusi kontinu persamaan fungsional Cauchy.

Dalam teori informasi, biasanya basis logaritmanya adalah 2, sehingga pilihan biner berisi tepat 1 bit informasi. Oleh karena itu, informasi diukur dengan rumus

Richard Hamming: Bab 13. Teori Informasi

Mari kita berhenti sejenak dan memahami apa yang terjadi di atas. Pertama-tama, kami tidak mendefinisikan konsep “informasi”; kami hanya mendefinisikan rumus ukuran kuantitatifnya.

Kedua, ukuran ini mempunyai ketidakpastian, dan walaupun ukuran ini cocok untuk mesin—misalnya, sistem telepon, radio, televisi, komputer, dan lain-lain—ukuran ini tidak mencerminkan sikap normal manusia terhadap informasi.

Ketiga, ini adalah ukuran relatif, tergantung pada kondisi pengetahuan Anda saat ini. Jika Anda melihat aliran “bilangan acak” dari generator bilangan acak, Anda berasumsi bahwa setiap bilangan berikutnya tidak pasti, tetapi jika Anda mengetahui rumus untuk menghitung “bilangan acak”, bilangan berikutnya akan diketahui, dan oleh karena itu tidak akan diketahui. berisi informasi.

Jadi definisi informasi Shannon cocok untuk mesin dalam banyak kasus, namun tampaknya tidak sesuai dengan pemahaman manusia tentang kata tersebut. Karena alasan inilah “Teori Informasi” seharusnya disebut “Teori Komunikasi”. Namun, sudah terlambat untuk mengubah definisi (yang membuat teori ini awalnya populer, dan yang masih membuat orang berpikir bahwa teori ini berhubungan dengan “informasi”), jadi kita harus menerimanya, tetapi pada saat yang sama Anda harus memahami dengan jelas seberapa jauh definisi informasi Shannon dari makna yang umum digunakan. Informasi Shannon berhubungan dengan sesuatu yang sama sekali berbeda, yaitu ketidakpastian.

Inilah sesuatu yang perlu dipikirkan ketika Anda mengusulkan terminologi apa pun. Bagaimana definisi yang diusulkan, seperti definisi informasi Shannon, sesuai dengan gagasan awal Anda dan seberapa berbedakah definisi tersebut? Hampir tidak ada istilah yang benar-benar mencerminkan visi Anda sebelumnya tentang suatu konsep, namun pada akhirnya, terminologi yang digunakan itulah yang mencerminkan makna konsep tersebut, sehingga memformalkan sesuatu melalui definisi yang jelas selalu menimbulkan gangguan.

Misalkan suatu sistem yang alfabetnya terdiri dari simbol q dengan probabilitas pi. Pada kasus ini jumlah rata-rata informasi dalam sistem (nilai yang diharapkan) sama dengan:

Richard Hamming: Bab 13. Teori Informasi

Ini disebut entropi sistem dengan distribusi probabilitas {pi}. Kami menggunakan istilah "entropi" karena bentuk matematika yang sama muncul dalam termodinamika dan mekanika statistik. Inilah sebabnya mengapa istilah “entropi” menciptakan aura penting tertentu di sekelilingnya, yang pada akhirnya tidak dapat dibenarkan. Bentuk notasi matematika yang sama tidak berarti interpretasi simbol yang sama!

Entropi distribusi probabilitas memainkan peran utama dalam teori pengkodean. Ketidaksetaraan Gibbs untuk dua distribusi probabilitas pi dan qi yang berbeda merupakan salah satu konsekuensi penting dari teori ini. Jadi kita harus membuktikannya

Richard Hamming: Bab 13. Teori Informasi

Pembuktiannya berdasarkan grafik yang jelas, Gambar. 13.I, yang menunjukkan hal itu

Richard Hamming: Bab 13. Teori Informasi

dan persamaan hanya tercapai jika x = 1. Mari kita terapkan pertidaksamaan pada setiap suku jumlah dari ruas kiri:

Richard Hamming: Bab 13. Teori Informasi

Jika alfabet suatu sistem komunikasi terdiri dari simbol q, maka dengan mengambil peluang terkirimnya setiap simbol qi = 1/q dan mensubstitusikan q, kita peroleh dari pertidaksamaan Gibbs

Richard Hamming: Bab 13. Teori Informasi

Richard Hamming: Bab 13. Teori Informasi

Gambar 13.I

Artinya jika peluang terkirimnya semua simbol q sama dan sama dengan - 1 / q, maka entropi maksimumnya sama dengan ln q, jika tidak maka pertidaksamaan tetap ada.

Dalam kasus kode unik yang dapat didekodekan, kita memiliki ketidaksetaraan Kraft

Richard Hamming: Bab 13. Teori Informasi

Sekarang jika kita mendefinisikan probabilitas semu

Richard Hamming: Bab 13. Teori Informasi

dimana tentu saja Richard Hamming: Bab 13. Teori Informasi= 1, yang berasal dari pertidaksamaan Gibbs,

Richard Hamming: Bab 13. Teori Informasi

dan menerapkan sedikit aljabar (ingat bahwa K ≤ 1, sehingga kita dapat menghilangkan suku logaritmiknya, dan mungkin nanti akan memperkuat pertidaksamaannya), kita mendapatkan

Richard Hamming: Bab 13. Teori Informasi

di mana L adalah panjang kode rata-rata.

Jadi, entropi adalah batas minimum untuk setiap kode karakter demi simbol dengan panjang kata sandi rata-rata L. Ini adalah teorema Shannon untuk saluran bebas interferensi.

Sekarang perhatikan teorema utama tentang keterbatasan sistem komunikasi di mana informasi ditransmisikan sebagai aliran bit independen dan terdapat noise. Dapat dipahami bahwa probabilitas transmisi yang benar dari satu bit adalah P > 1/2, dan probabilitas bahwa nilai bit akan dibalik selama transmisi (akan terjadi kesalahan) adalah sama dengan Q = 1 - P. Untuk kenyamanan, kita asumsikan bahwa kesalahannya independen dan kemungkinan kesalahannya sama untuk setiap bit yang dikirim - yaitu, ada “white noise” di saluran komunikasi.

Cara kita memiliki aliran panjang n bit yang dikodekan menjadi satu pesan adalah ekstensi n - dimensi dari kode satu bit. Nanti kita tentukan nilai nnya. Misalkan sebuah pesan yang terdiri dari n-bit sebagai sebuah titik dalam ruang berdimensi n. Karena kita mempunyai ruang berdimensi n - dan untuk mempermudah kita asumsikan bahwa setiap pesan mempunyai probabilitas kemunculan yang sama - ada M kemungkinan pesan (M juga akan ditentukan nanti), oleh karena itu probabilitas setiap pesan yang terkirim adalah

Richard Hamming: Bab 13. Teori Informasi

Richard Hamming: Bab 13. Teori Informasi
(pengirim)
Jadwal 13.II

Selanjutnya, pertimbangkan gagasan tentang kapasitas saluran. Tanpa menjelaskan secara rinci, kapasitas saluran didefinisikan sebagai jumlah maksimum informasi yang dapat ditransmisikan secara andal melalui saluran komunikasi, dengan mempertimbangkan penggunaan pengkodean yang paling efisien. Tidak ada argumen bahwa lebih banyak informasi yang dapat dikirimkan melalui saluran komunikasi melebihi kapasitasnya. Hal ini dapat dibuktikan untuk saluran simetris biner (yang kami gunakan dalam kasus kami). Kapasitas saluran, saat mengirim bit, ditentukan sebagai

Richard Hamming: Bab 13. Teori Informasi

dimana, seperti sebelumnya, P adalah probabilitas tidak adanya kesalahan pada bit yang dikirim. Saat mengirim n bit independen, kapasitas saluran diberikan oleh

Richard Hamming: Bab 13. Teori Informasi

Jika kita mendekati kapasitas saluran, maka kita harus mengirimkan informasi dalam jumlah yang hampir sama untuk setiap simbol ai, i = 1, ..., M. Mengingat peluang munculnya setiap simbol ai adalah 1 / M, kita mendapatkan

Richard Hamming: Bab 13. Teori Informasi

ketika kita mengirim salah satu dari M pesan yang kemungkinannya sama ai, kita punya

Richard Hamming: Bab 13. Teori Informasi

Ketika n bit dikirim, kami memperkirakan kesalahan nQ akan terjadi. Dalam praktiknya, untuk pesan yang terdiri dari n-bit, kita akan mendapatkan kesalahan sekitar nQ dalam pesan yang diterima. Untuk n besar, variasi relatif (variasi = lebar distribusi, )
distribusi jumlah kesalahan akan semakin sempit seiring bertambahnya n.

Jadi, dari sisi pemancar, saya mengambil pesan ai untuk dikirim dan menggambar sebuah bola di sekelilingnya dengan radius

Richard Hamming: Bab 13. Teori Informasi

yang sedikit lebih besar dengan jumlah yang sama dengan e2 dari jumlah kesalahan yang diharapkan Q, (Gambar 13.II). Jika n cukup besar, maka ada kemungkinan kecil bahwa titik pesan bj muncul di sisi penerima yang melampaui lingkup ini. Mari kita buat sketsa situasinya seperti yang saya lihat dari sudut pandang pemancar: kita memiliki jari-jari apa pun dari pesan yang dikirimkan ai ke pesan yang diterima bj dengan probabilitas kesalahan yang sama (atau hampir sama) dengan distribusi normal, mencapai maksimum dari nQ. Untuk setiap e2 tertentu, terdapat n yang sangat besar sehingga kemungkinan titik bj yang dihasilkan berada di luar bola saya adalah sekecil yang Anda inginkan.

Sekarang mari kita lihat situasi yang sama dari pihak Anda (Gbr. 13.III). Di sisi penerima terdapat bola S(r) dengan jari-jari yang sama r di sekitar titik penerimaan bj dalam ruang berdimensi n, sehingga jika pesan yang diterima bj ada di dalam bola saya, maka pesan ai yang saya kirimkan ada di dalam bola Anda bola.

Bagaimana kesalahan bisa terjadi? Kesalahan mungkin terjadi dalam kasus yang dijelaskan dalam tabel di bawah ini:

Richard Hamming: Bab 13. Teori Informasi

Gambar 13.III

Richard Hamming: Bab 13. Teori Informasi

Di sini kita melihat bahwa jika dalam lingkup yang dibangun di sekitar titik yang diterima ada setidaknya satu titik lagi yang sesuai dengan kemungkinan pesan terkirim yang tidak dikodekan, maka terjadi kesalahan selama transmisi, karena Anda tidak dapat menentukan pesan mana yang dikirimkan. Pesan yang dikirim bebas dari kesalahan hanya jika titik yang sesuai dengannya berada di dalam bola, dan tidak ada titik lain yang mungkin dalam kode yang diberikan yang berada di bola yang sama.

Kita mempunyai persamaan matematis untuk probabilitas kesalahan Pe jika pesan ai terkirim

Richard Hamming: Bab 13. Teori Informasi

Kita bisa membuang faktor pertama pada suku kedua, dengan menganggapnya 1. Jadi kita mendapatkan pertidaksamaan

Richard Hamming: Bab 13. Teori Informasi

Jelas,

Richard Hamming: Bab 13. Teori Informasi

Akibatnya

Richard Hamming: Bab 13. Teori Informasi

mengajukan permohonan kembali ke istilah terakhir di sebelah kanan

Richard Hamming: Bab 13. Teori Informasi

Jika n cukup besar, suku pertama dapat diambil sekecil yang diinginkan, katakanlah kurang dari suatu bilangan d. Oleh karena itu kita punya

Richard Hamming: Bab 13. Teori Informasi

Sekarang mari kita lihat bagaimana kita dapat membuat kode substitusi sederhana untuk mengkodekan M pesan yang terdiri dari n bit. Karena tidak tahu bagaimana tepatnya membuat kode (kode koreksi kesalahan belum ditemukan), Shannon memilih pengkodean acak. Balikkan koin untuk masing-masing n bit dalam pesan dan ulangi proses untuk M pesan. Secara total, pelemparan koin nM perlu dilakukan, sehingga memungkinkan

Richard Hamming: Bab 13. Teori Informasi

kamus kode memiliki probabilitas yang sama ½nM. Tentu saja, proses pembuatan buku kode yang acak berarti ada kemungkinan duplikat, serta titik-titik kode yang berdekatan satu sama lain dan oleh karena itu menjadi sumber kemungkinan kesalahan. Kita harus membuktikan bahwa jika hal ini tidak terjadi dengan probabilitas lebih besar dari tingkat kesalahan kecil mana pun yang dipilih, maka n yang diberikan cukup besar.
Poin krusialnya adalah Shannon menghitung rata-rata semua kemungkinan buku kode untuk menemukan kesalahan rata-rata! Kita akan menggunakan simbol Av[.] untuk menunjukkan nilai rata-rata pada himpunan semua kemungkinan buku kode acak. Merata-ratakan konstanta d, tentu saja, menghasilkan sebuah konstanta, karena untuk merata-ratakan setiap suku sama dengan suku lainnya dalam penjumlahan,

Richard Hamming: Bab 13. Teori Informasi

yang dapat ditingkatkan (M–1 menjadi M)

Richard Hamming: Bab 13. Teori Informasi

Untuk pesan apa pun, ketika membuat rata-rata di seluruh buku kode, pengkodean akan menelusuri semua nilai yang mungkin, sehingga probabilitas rata-rata suatu titik berada di dalam bola adalah rasio volume bola terhadap total volume ruang. Volume bola tersebut adalah

Richard Hamming: Bab 13. Teori Informasi

dimana s=Q+e2 <1/2 dan ns harus berupa bilangan bulat.

Suku terakhir di sebelah kanan adalah suku terbesar dalam penjumlahan ini. Pertama, mari kita perkirakan nilainya menggunakan rumus faktorial Stirling. Kita kemudian akan melihat koefisien penurunan suku di depannya, perhatikan bahwa koefisien ini meningkat seiring kita bergerak ke kiri, sehingga kita dapat: (1) membatasi nilai penjumlahan menjadi penjumlahan barisan geometri dengan koefisien awal ini, (2) memperluas barisan geometri dari n suku ke suku-suku yang tak terhingga, (3) menghitung jumlah barisan geometri tak terhingga (aljabar standar, tidak signifikan) dan akhirnya memperoleh nilai pembatas (untuk bilangan yang cukup besar N):

Richard Hamming: Bab 13. Teori Informasi

Perhatikan bagaimana entropi H(s) muncul dalam identitas binomial. Perhatikan bahwa ekspansi deret Taylor H(s)=H(Q+e2) memberikan perkiraan yang diperoleh hanya dengan memperhitungkan turunan pertama dan mengabaikan turunan lainnya. Sekarang mari kita susun ekspresi terakhirnya:

Richard Hamming: Bab 13. Teori Informasi

dimana

Richard Hamming: Bab 13. Teori Informasi

Yang harus kita lakukan adalah memilih e2 sehingga e3 < e1, dan suku terakhirnya akan kecil, asalkan n cukup besar. Akibatnya, kesalahan PE rata-rata dapat diperoleh sekecil yang diinginkan dengan kapasitas saluran mendekati C.
Jika rata-rata semua kode memiliki kesalahan yang cukup kecil, maka paling sedikit harus ada satu kode yang sesuai, maka paling tidak ada satu sistem pengkodean yang sesuai. Ini adalah hasil penting yang diperoleh Shannon - "Teorema Shannon untuk saluran berisik", meskipun perlu dicatat bahwa ia membuktikan ini untuk kasus yang jauh lebih umum daripada saluran simetris biner sederhana yang saya gunakan. Untuk kasus umum, perhitungan matematis jauh lebih rumit, tetapi gagasannya tidak jauh berbeda, sehingga sangat sering, dengan menggunakan contoh kasus tertentu, Anda dapat mengungkapkan arti sebenarnya dari teorema tersebut.

Mari kita kritik hasilnya. Kami berulang kali mengulangi: “Untuk n yang cukup besar.” Tapi seberapa besar n? Sangat, sangat besar jika Anda benar-benar ingin mendekati kapasitas saluran dan memastikan transfer data yang benar! Faktanya, begitu besar sehingga Anda harus menunggu sangat lama untuk mengumpulkan pesan dengan bit yang cukup untuk dikodekan nanti. Dalam hal ini, ukuran kamus kode acak akan sangat besar (bagaimanapun juga, kamus seperti itu tidak dapat direpresentasikan dalam bentuk yang lebih pendek dari daftar lengkap semua bit Mn, meskipun faktanya n dan M sangat besar)!

Kode yang mengoreksi kesalahan menghindari menunggu pesan yang sangat panjang dan kemudian menyandikan dan mendekodekannya melalui buku kode yang sangat besar karena kode tersebut menghindari buku kode itu sendiri dan sebagai gantinya menggunakan komputasi biasa. Dalam teori sederhana, kode-kode tersebut cenderung kehilangan kemampuan untuk mendekati kapasitas saluran dan masih mempertahankan tingkat kesalahan yang rendah, namun ketika kode tersebut memperbaiki sejumlah besar kesalahan, kinerjanya baik. Dengan kata lain, jika Anda mengalokasikan sejumlah kapasitas saluran untuk koreksi kesalahan, maka Anda harus sering menggunakan kemampuan koreksi kesalahan, yaitu, sejumlah besar kesalahan harus diperbaiki di setiap pesan yang dikirim, jika tidak, Anda akan menyia-nyiakan kapasitas ini.

Pada saat yang sama, teorema yang dibuktikan di atas masih bermakna! Hal ini menunjukkan bahwa sistem transmisi yang efisien harus menggunakan skema pengkodean yang cerdas untuk string bit yang sangat panjang. Contohnya adalah satelit yang terbang melampaui planet luar; Saat mereka menjauh dari Bumi dan Matahari, mereka dipaksa untuk memperbaiki lebih banyak kesalahan di blok data: beberapa satelit menggunakan panel surya, yang menghasilkan sekitar 5 W, yang lain menggunakan sumber tenaga nuklir, yang menyediakan daya yang hampir sama. Rendahnya daya catu daya, kecilnya ukuran piringan pemancar dan terbatasnya ukuran piringan penerima di Bumi, jarak yang sangat jauh yang harus ditempuh sinyal - semua ini memerlukan penggunaan kode dengan tingkat koreksi kesalahan yang tinggi untuk membangun sebuah sistem komunikasi yang efektif.

Mari kita kembali ke ruang n-dimensi yang kita gunakan pada pembuktian di atas. Dalam pembahasannya, kami menunjukkan bahwa hampir seluruh volume bola terkonsentrasi di dekat permukaan luar - dengan demikian, hampir pasti bahwa sinyal yang dikirim akan ditempatkan di dekat permukaan bola yang dibangun di sekitar sinyal yang diterima, bahkan dengan jarak yang relatif dekat. radius kecil dari bola tersebut. Oleh karena itu, tidak mengherankan jika sinyal yang diterima, setelah mengoreksi sejumlah besar kesalahan, nQ, ternyata mendekati sinyal tanpa kesalahan. Kapasitas link yang kita bahas sebelumnya adalah kunci untuk memahami fenomena ini. Perhatikan bahwa bidang serupa yang dibuat untuk kode Hamming yang mengoreksi kesalahan tidak saling tumpang tindih. Banyaknya dimensi yang hampir ortogonal dalam ruang berdimensi n menunjukkan mengapa kita dapat memuat M bola dalam ruang dengan sedikit tumpang tindih. Jika kita membiarkan tumpang tindih yang kecil dan sewenang-wenang, yang hanya dapat menyebabkan sejumlah kecil kesalahan selama penguraian kode, kita dapat memperoleh penempatan bola yang padat di ruang angkasa. Hamming menjamin tingkat koreksi kesalahan tertentu, Shannon - kemungkinan kesalahan yang rendah, tetapi pada saat yang sama mempertahankan throughput aktual mendekati kapasitas saluran komunikasi, yang tidak dapat dilakukan oleh kode Hamming.

Teori informasi tidak memberitahu kita bagaimana merancang sistem yang efisien, namun teori ini menunjukkan jalan menuju sistem komunikasi yang efisien. Ini adalah alat yang berharga untuk membangun sistem komunikasi mesin-ke-mesin, namun, seperti disebutkan sebelumnya, ini memiliki sedikit relevansi dengan cara manusia berkomunikasi satu sama lain. Sejauh mana pewarisan biologis mirip dengan sistem komunikasi teknis masih belum diketahui, sehingga saat ini tidak jelas bagaimana teori informasi diterapkan pada gen. Kita tidak punya pilihan selain mencoba, dan jika keberhasilan menunjukkan kepada kita sifat fenomena ini yang mirip mesin, maka kegagalan akan menunjukkan aspek penting lainnya dari sifat informasi.

Jangan terlalu banyak ngelantur. Kita telah melihat bahwa semua definisi asli, pada tingkat yang lebih besar atau lebih kecil, harus mengungkapkan esensi dari keyakinan awal kita, namun definisi tersebut dicirikan oleh beberapa tingkat distorsi dan oleh karena itu tidak dapat diterapkan. Secara tradisional diterima bahwa, pada akhirnya, definisi yang kita gunakan sebenarnya mendefinisikan esensi; namun, ini hanya memberi tahu kita cara memproses sesuatu dan sama sekali tidak memberikan arti apa pun kepada kita. Pendekatan postulasi, yang sangat disukai dalam kalangan matematika, masih menyisakan banyak hal yang tidak diinginkan dalam praktiknya.

Sekarang kita akan melihat contoh tes IQ yang definisinya melingkar sesuai keinginan Anda, dan akibatnya menyesatkan. Sebuah tes dibuat yang seharusnya mengukur kecerdasan. Kemudian direvisi agar sekonsisten mungkin, lalu dipublikasikan dan dikalibrasi secara sederhana sehingga “kecerdasan” yang diukur ternyata terdistribusi secara normal (tentu saja pada kurva kalibrasi). Semua definisi harus diperiksa ulang, tidak hanya ketika definisi tersebut pertama kali diajukan, namun juga di kemudian hari, ketika definisi tersebut digunakan dalam pengambilan kesimpulan. Sejauh mana batasan definisi tersebut sesuai dengan permasalahan yang sedang dipecahkan? Seberapa sering definisi yang diberikan dalam satu situasi diterapkan dalam situasi yang sangat berbeda? Hal ini cukup sering terjadi! Dalam ilmu humaniora, yang pasti akan Anda temui dalam hidup Anda, hal ini lebih sering terjadi.

Oleh karena itu, salah satu tujuan presentasi teori informasi ini, selain untuk menunjukkan kegunaannya, adalah untuk memperingatkan Anda tentang bahaya ini, atau untuk menunjukkan kepada Anda bagaimana tepatnya menggunakannya untuk memperoleh hasil yang diinginkan. Telah lama diketahui bahwa definisi awal menentukan apa yang Anda temukan pada akhirnya, jauh lebih besar daripada yang terlihat. Definisi awal memerlukan banyak perhatian dari Anda, tidak hanya dalam situasi baru, tetapi juga di bidang yang sudah lama Anda kerjakan. Ini akan memungkinkan Anda untuk memahami sejauh mana hasil yang diperoleh merupakan tautologi dan bukan sesuatu yang berguna.

Kisah terkenal Eddington menceritakan tentang orang-orang yang memancing di laut dengan jaring. Setelah mempelajari ukuran ikan yang mereka tangkap, mereka menentukan ukuran minimum ikan yang terdapat di laut! Kesimpulan mereka ditentukan oleh instrumen yang digunakan, bukan oleh kenyataan.

Untuk dilanjutkan ...

Siapa yang ingin membantu penerjemahan, tata letak, dan penerbitan buku - tulis dalam pesan pribadi atau email [email dilindungi]

Omong-omong, kami juga meluncurkan terjemahan buku keren lainnya - "Mesin Impian: Kisah Revolusi Komputer")

Kami secara khusus mencarinya mereka yang akan membantu menerjemahkan bab bonus, yang hanya ada di video. (transfer selama 10 menit, 20 menit pertama sudah diambil)

Isi buku dan bab terjemahankata pengantar

  1. Pengantar Seni Melakukan Sains dan Teknik: Belajar untuk Belajar (28 Maret 1995) Terjemahan: Bab 1
  2. "Fondasi Revolusi Digital (Diskrit)" (30 Maret 1995) Bab 2. Dasar-dasar revolusi digital (diskrit).
  3. "Sejarah Komputer - Perangkat Keras" (31 Maret 1995) Bab 3. Sejarah Komputer – Perangkat Keras
  4. "Sejarah Komputer - Perangkat Lunak" (4 April 1995) Bab 4. Sejarah Komputer - Perangkat Lunak
  5. "Sejarah Komputer - Aplikasi" (6 April 1995) Bab 5: Sejarah Komputer - Aplikasi Praktis
  6. "Kecerdasan Buatan - Bagian I" (7 April 1995) Bab 6. Kecerdasan Buatan - 1
  7. "Kecerdasan Buatan - Bagian II" (11 April 1995) Bab 7. Kecerdasan Buatan - II
  8. "Kecerdasan Buatan III" (13 April 1995) Bab 8. Kecerdasan Buatan-III
  9. "Ruang n-Dimensi" (14 April 1995) Bab 9. Ruang N-dimensi
  10. "Teori Pengkodean - Representasi Informasi, Bagian I" (18 April 1995) Bab 10. Teori Pengkodean - I
  11. "Teori Pengkodean - Representasi Informasi, Bagian II" (20 April 1995) Bab 11. Teori Pengkodean - II
  12. "Kode Koreksi Kesalahan" (21 April 1995) Bab 12. Kode Koreksi Kesalahan
  13. "Teori Informasi" (25 April 1995) Bab 13. Teori Informasi
  14. "Filter Digital, Bagian I" (27 April 1995) Bab 14. Filter Digital - 1
  15. "Filter Digital, Bagian II" (28 April 1995) Bab 15. Filter Digital - 2
  16. "Filter Digital, Bagian III" (2 Mei 1995) Bab 16. Filter Digital - 3
  17. "Filter Digital, Bagian IV" (4 Mei 1995) Bab 17. Filter Digital - IV
  18. "Simulasi, Bagian I" (5 Mei 1995) Bab 18. Pemodelan - I
  19. "Simulasi, Bagian II" (9 Mei 1995) Bab 19. Pemodelan - II
  20. "Simulasi, Bagian III" (11 Mei 1995) Bab 20. Pemodelan - III
  21. "Fiber Optik" (12 Mei 1995) Bab 21. Serat optik
  22. "Instruksi Berbantuan Komputer" (16 Mei 1995) Bab 22: Instruksi Berbantuan Komputer (CAI)
  23. "Matematika" (18 Mei 1995) Bab 23. Matematika
  24. "Mekanika Kuantum" (19 Mei 1995) Bab 24. Mekanika kuantum
  25. "Kreativitas" (23 Mei 1995). Terjemahan: Bab 25. Kreativitas
  26. "Para Ahli" (25 Mei 1995) Bab 26. Para Ahli
  27. "Data Tidak Dapat Diandalkan" (26 Mei 1995) Bab 27. Data tidak dapat diandalkan
  28. "Rekayasa Sistem" (30 Mei 1995) Bab 28. Rekayasa Sistem
  29. "Anda Mendapatkan Apa yang Anda Ukur" (1 Juni 1995) Bab 29: Anda mendapatkan apa yang Anda ukur
  30. "Bagaimana Kita Mengetahui Apa yang Kita Ketahui" (Juni 2, 1995) terjemahkan dalam potongan 10 menit
  31. Hamming, “Anda dan Penelitian Anda” (6 Juni 1995). Terjemahan: Anda dan pekerjaan Anda

Siapa yang ingin membantu penerjemahan, tata letak, dan penerbitan buku - tulis dalam pesan pribadi atau email [email dilindungi]

Sumber: www.habr.com

Tambah komentar