Richard Hamming: Bab 13. Teori Maklumat

Kita berjaya!

"Tujuan kursus ini adalah untuk menyediakan anda untuk masa depan teknikal anda."

Richard Hamming: Bab 13. Teori MaklumatHello, Habr. Ingat artikel yang hebat "Awak dan kerja awak" (+219, 2588 penanda halaman, 429k bacaan)?

Jadi Hamming (ya, ya, pemantauan diri dan pembetulan diri Kod hamming) ada keseluruhan ΠΊΠ½ΠΈΠ³Π°, ditulis berdasarkan syarahannya. Kami menterjemahkannya, kerana lelaki itu bercakap fikirannya.

Ini adalah buku bukan sahaja tentang IT, ia adalah buku tentang gaya pemikiran orang yang sangat keren. β€œIa bukan sekadar rangsangan pemikiran positif; ia menerangkan keadaan yang meningkatkan peluang untuk melakukan kerja yang hebat.”

Terima kasih kepada Andrey Pakhomov untuk terjemahan.

Teori Maklumat telah dibangunkan oleh C. E. Shannon pada akhir 1940-an. Pengurusan Bell Labs menegaskan bahawa dia memanggilnya "Teori Komunikasi" kerana... ini adalah nama yang lebih tepat. Atas sebab-sebab yang jelas, nama "Teori Maklumat" mempunyai kesan yang lebih besar kepada orang ramai, itulah sebabnya Shannon memilihnya, dan ia adalah nama yang kita kenali sehingga hari ini. Nama itu sendiri menunjukkan bahawa teori itu berkaitan dengan maklumat, yang menjadikannya penting ketika kita melangkah lebih jauh ke dalam era maklumat. Dalam bab ini, saya akan menyentuh beberapa kesimpulan utama dari teori ini, saya tidak akan memberikan bukti yang ketat, tetapi lebih intuitif mengenai beberapa peruntukan individu teori ini, supaya anda memahami apa sebenarnya "Teori Maklumat", di mana anda boleh menggunakannya. dan di mana tidak.

Pertama sekali, apakah itu "maklumat"? Shannon menyamakan maklumat dengan ketidakpastian. Dia memilih logaritma negatif kebarangkalian sesuatu peristiwa sebagai ukuran kuantitatif maklumat yang anda terima apabila peristiwa dengan kebarangkalian p berlaku. Sebagai contoh, jika saya memberitahu anda bahawa cuaca di Los Angeles berkabus, maka p adalah hampir 1, yang benar-benar tidak memberi kami banyak maklumat. Tetapi jika saya mengatakan bahawa hujan di Monterey pada bulan Jun, akan ada ketidakpastian dalam mesej dan ia akan mengandungi lebih banyak maklumat. Acara yang boleh dipercayai tidak mengandungi sebarang maklumat, kerana log 1 = 0.

Mari kita lihat ini dengan lebih terperinci. Shannon percaya bahawa ukuran maklumat kuantitatif harus menjadi fungsi berterusan kebarangkalian peristiwa p, dan untuk peristiwa bebas ia harus bersifat tambahan - jumlah maklumat yang diperolehi akibat berlakunya dua peristiwa bebas harus sama dengan jumlah maklumat yang diperoleh hasil daripada berlakunya peristiwa bersama. Sebagai contoh, hasil lemparan dadu dan lemparan syiling biasanya dianggap sebagai acara bebas. Mari kita terjemahkan perkara di atas ke dalam bahasa matematik. Jika I (p) ialah jumlah maklumat yang terkandung dalam peristiwa dengan kebarangkalian p, maka untuk peristiwa bersama yang terdiri daripada dua peristiwa bebas x dengan kebarangkalian p1 dan y dengan kebarangkalian p2 kita perolehi

Richard Hamming: Bab 13. Teori Maklumat
(x dan y ialah peristiwa bebas)

Ini ialah persamaan Cauchy berfungsi, benar untuk semua p1 dan p2. Untuk menyelesaikan persamaan fungsi ini, andaikan bahawa

p1 = p2 = p,

ini memberi

Richard Hamming: Bab 13. Teori Maklumat

Jika p1 = p2 dan p2 = p maka

Richard Hamming: Bab 13. Teori Maklumat

dan lain-lain. Memperluaskan proses ini menggunakan kaedah standard untuk eksponen, untuk semua nombor rasional m/n yang berikut adalah benar

Richard Hamming: Bab 13. Teori Maklumat

Daripada kesinambungan yang diandaikan bagi ukuran maklumat, ia berikutan bahawa fungsi logaritma adalah satu-satunya penyelesaian berterusan kepada persamaan Cauchy berfungsi.

Dalam teori maklumat, adalah perkara biasa untuk mengambil asas logaritma menjadi 2, jadi pilihan binari mengandungi tepat 1 bit maklumat. Oleh itu, maklumat diukur dengan formula

Richard Hamming: Bab 13. Teori Maklumat

Mari berhenti sejenak dan fahami apa yang berlaku di atas. Pertama sekali, kami tidak mentakrifkan konsep "maklumat"; kami hanya mentakrifkan formula untuk ukuran kuantitatifnya.

Kedua, langkah ini tertakluk kepada ketidakpastian, dan walaupun ia semunasabahnya sesuai untuk mesinβ€”contohnya, sistem telefon, radio, televisyen, komputer, dsbβ€”ia tidak menggambarkan sikap manusia biasa terhadap maklumat.

Ketiga, ini adalah ukuran relatif, ia bergantung pada keadaan semasa pengetahuan anda. Jika anda melihat aliran "nombor rawak" daripada penjana nombor rawak, anda menganggap bahawa setiap nombor seterusnya tidak pasti, tetapi jika anda tahu formula untuk mengira "nombor rawak", nombor seterusnya akan diketahui, dan oleh itu tidak akan mengandungi maklumat.

Jadi definisi maklumat Shannon sesuai untuk mesin dalam banyak kes, tetapi nampaknya tidak sesuai dengan pemahaman manusia tentang perkataan itu. Atas sebab inilah "Teori Maklumat" sepatutnya dipanggil "Teori Komunikasi." Walau bagaimanapun, sudah terlambat untuk menukar definisi (yang memberikan teori itu populariti awalnya, dan yang masih membuat orang berfikir bahawa teori ini berkaitan dengan "maklumat"), jadi kita harus hidup bersama mereka, tetapi pada masa yang sama anda mesti memahami dengan jelas sejauh mana definisi maklumat Shannon daripada makna yang biasa digunakan. Maklumat Shannon memperkatakan sesuatu yang sama sekali berbeza, iaitu ketidakpastian.

Berikut ialah sesuatu untuk difikirkan apabila anda mencadangkan sebarang istilah. Bagaimanakah takrifan yang dicadangkan, seperti takrifan maklumat Shannon, bersetuju dengan idea asal anda dan sejauh mana perbezaannya? Hampir tiada istilah yang betul-betul menggambarkan visi anda sebelum ini tentang sesuatu konsep, tetapi akhirnya, terminologi yang digunakan yang mencerminkan makna konsep, jadi memformalkan sesuatu melalui definisi yang jelas sentiasa memperkenalkan sedikit bunyi.

Pertimbangkan sistem yang abjadnya terdiri daripada simbol q dengan kebarangkalian pi. Dalam kes ini jumlah purata maklumat dalam sistem (nilai jangkaannya) adalah sama dengan:

Richard Hamming: Bab 13. Teori Maklumat

Ini dipanggil entropi sistem dengan taburan kebarangkalian {pi}. Kami menggunakan istilah "entropi" kerana bentuk matematik yang sama muncul dalam termodinamik dan mekanik statistik. Inilah sebabnya istilah "entropi" mencipta aura kepentingan tertentu di sekelilingnya, yang akhirnya tidak wajar. Bentuk notasi matematik yang sama tidak membayangkan tafsiran simbol yang sama!

Entropi taburan kebarangkalian memainkan peranan utama dalam teori pengekodan. Ketaksamaan Gibbs untuk dua taburan kebarangkalian berbeza pi dan qi adalah salah satu akibat penting teori ini. Jadi kita mesti buktikan itu

Richard Hamming: Bab 13. Teori Maklumat

Buktinya adalah berdasarkan graf yang jelas, Rajah. 13.I, yang menunjukkan bahawa

Richard Hamming: Bab 13. Teori Maklumat

dan kesamaan dicapai hanya apabila x = 1. Mari kita gunakan ketaksamaan pada setiap sebutan jumlah dari sebelah kiri:

Richard Hamming: Bab 13. Teori Maklumat

Jika abjad sistem komunikasi terdiri daripada simbol q, maka mengambil kebarangkalian penghantaran setiap simbol qi = 1/q dan menggantikan q, kita peroleh daripada ketaksamaan Gibbs

Richard Hamming: Bab 13. Teori Maklumat

Richard Hamming: Bab 13. Teori Maklumat

Rajah 13.I

Ini bermakna jika kebarangkalian untuk menghantar semua simbol q adalah sama dan sama dengan - 1 / q, maka entropi maksimum adalah sama dengan ln q, jika tidak, ketaksamaan kekal.

Dalam kes kod unik yang boleh dinyahkod, kami mempunyai ketaksamaan Kraft

Richard Hamming: Bab 13. Teori Maklumat

Sekarang jika kita mentakrifkan kebarangkalian pseudo

Richard Hamming: Bab 13. Teori Maklumat

di mana sudah tentu Richard Hamming: Bab 13. Teori Maklumat= 1, yang berikut daripada ketaksamaan Gibbs,

Richard Hamming: Bab 13. Teori Maklumat

dan gunakan sedikit algebra (ingat bahawa K ≀ 1, supaya kita boleh menggugurkan sebutan logaritma, dan mungkin mengukuhkan ketaksamaan kemudian), kita dapat

Richard Hamming: Bab 13. Teori Maklumat

di mana L ialah purata panjang kod.

Oleh itu, entropi ialah batas minimum untuk mana-mana kod aksara demi simbol dengan purata panjang kata kod L. Ini adalah teorem Shannon untuk saluran bebas gangguan.

Sekarang pertimbangkan teorem utama tentang batasan sistem komunikasi di mana maklumat dihantar sebagai aliran bit bebas dan bunyi bising. Difahamkan bahawa kebarangkalian penghantaran yang betul bagi satu bit ialah P > 1/2, dan kebarangkalian bahawa nilai bit akan terbalik semasa penghantaran (ralat akan berlaku) adalah sama dengan Q = 1 - P. Untuk kemudahan, kita anggap bahawa ralat adalah bebas dan kebarangkalian ralat adalah sama untuk setiap bit yang dihantar - iaitu, terdapat "bunyi putih" dalam saluran komunikasi.

Cara kami mempunyai aliran panjang n bit yang dikodkan ke dalam satu mesej ialah sambungan n - dimensi kod satu bit. Kami akan menentukan nilai n kemudian. Pertimbangkan mesej yang terdiri daripada n-bit sebagai titik dalam ruang dimensi-n. Oleh kerana kita mempunyai ruang n-dimensi - dan untuk kesederhanaan kita akan menganggap bahawa setiap mesej mempunyai kebarangkalian kejadian yang sama - terdapat M mesej yang mungkin (M juga akan ditakrifkan kemudian), oleh itu kebarangkalian sebarang mesej yang dihantar adalah

Richard Hamming: Bab 13. Teori Maklumat

Richard Hamming: Bab 13. Teori Maklumat
(penghantar)
Jadual 13.II

Seterusnya, pertimbangkan idea kapasiti saluran. Tanpa perincian, kapasiti saluran ditakrifkan sebagai jumlah maksimum maklumat yang boleh dihantar dengan pasti melalui saluran komunikasi, dengan mengambil kira penggunaan pengekodan yang paling cekap. Tidak ada hujah bahawa lebih banyak maklumat boleh dihantar melalui saluran komunikasi daripada kapasitinya. Ini boleh dibuktikan untuk saluran simetri binari (yang kami gunakan dalam kes kami). Kapasiti saluran, apabila menghantar bit, ditentukan sebagai

Richard Hamming: Bab 13. Teori Maklumat

di mana, seperti sebelum ini, P ialah kebarangkalian tiada ralat dalam mana-mana bit yang dihantar. Apabila menghantar n bit bebas, kapasiti saluran diberikan oleh

Richard Hamming: Bab 13. Teori Maklumat

Jika kita hampir dengan kapasiti saluran, maka kita mesti menghantar hampir jumlah maklumat ini untuk setiap simbol ai, i = 1, ..., M. Memandangkan kebarangkalian berlakunya setiap simbol ai ialah 1 / M, kita mendapatkan

Richard Hamming: Bab 13. Teori Maklumat

apabila kami menghantar mana-mana mesej M yang berkemungkinan sama ai, kami ada

Richard Hamming: Bab 13. Teori Maklumat

Apabila n bit dihantar, kami menjangkakan ralat nQ akan berlaku. Dalam amalan, untuk mesej yang terdiri daripada n-bit, kita akan mempunyai kira-kira ralat nQ dalam mesej yang diterima. Untuk n besar, variasi relatif (variasi = lebar taburan, )
taburan bilangan ralat akan menjadi semakin sempit apabila n bertambah.

Jadi, dari sisi pemancar, saya mengambil mesej ai untuk menghantar dan melukis sfera di sekelilingnya dengan jejari

Richard Hamming: Bab 13. Teori Maklumat

yang lebih besar sedikit dengan jumlah yang sama dengan e2 daripada bilangan ralat yang dijangkakan Q, (Rajah 13.II). Jika n cukup besar, maka terdapat kebarangkalian kecil sewenang-wenangnya bagi titik mesej bj muncul di bahagian penerima yang melangkaui sfera ini. Mari kita lakarkan keadaan seperti yang saya lihat dari sudut pemancar: kita mempunyai sebarang jejari dari mesej yang dihantar ai kepada mesej yang diterima bj dengan kebarangkalian ralat sama (atau hampir sama) dengan taburan normal, mencapai maksimum dalam nQ. Untuk mana-mana e2 tertentu, terdapat n yang begitu besar sehingga kebarangkalian titik bj yang terhasil berada di luar sfera saya adalah sekecil yang anda suka.

Sekarang mari kita lihat situasi yang sama dari sisi anda (Rajah 13.III). Di bahagian penerima terdapat sfera S(r) dengan jejari r yang sama di sekeliling titik bj yang diterima dalam ruang dimensi-n, supaya jika mesej yang diterima bj berada di dalam sfera saya, maka mesej yang dihantar oleh saya berada di dalam anda. sfera.

Bagaimanakah ralat boleh berlaku? Ralat mungkin berlaku dalam kes yang diterangkan dalam jadual di bawah:

Richard Hamming: Bab 13. Teori Maklumat

Rajah 13.III

Richard Hamming: Bab 13. Teori Maklumat

Di sini kita melihat bahawa jika dalam sfera yang dibina di sekitar titik yang diterima terdapat sekurang-kurangnya satu titik lagi sepadan dengan kemungkinan mesej yang tidak dikodkan dihantar, maka ralat berlaku semasa penghantaran, kerana anda tidak dapat menentukan yang mana antara mesej ini dihantar. Mesej yang dihantar adalah bebas ralat hanya jika titik yang sepadan dengannya berada dalam sfera, dan tiada titik lain yang mungkin dalam kod yang diberikan yang berada dalam sfera yang sama.

Kami mempunyai persamaan matematik untuk kebarangkalian ralat Pe jika mesej ai dihantar

Richard Hamming: Bab 13. Teori Maklumat

Kita boleh membuang faktor pertama dalam penggal kedua, mengambilnya sebagai 1. Oleh itu kita mendapat ketaksamaan

Richard Hamming: Bab 13. Teori Maklumat

Jelas sekali,

Richard Hamming: Bab 13. Teori Maklumat

oleh itu

Richard Hamming: Bab 13. Teori Maklumat

memohon semula ke penggal terakhir di sebelah kanan

Richard Hamming: Bab 13. Teori Maklumat

Mengambil n cukup besar, sebutan pertama boleh diambil sekecil yang dikehendaki, katakan kurang daripada beberapa bilangan d. Oleh itu kita ada

Richard Hamming: Bab 13. Teori Maklumat

Sekarang mari kita lihat bagaimana kita boleh membina kod penggantian mudah untuk mengekod mesej M yang terdiri daripada n bit. Tidak tahu cara tepat untuk membina kod (kod pembetulan ralat belum lagi dicipta), Shannon memilih pengekodan rawak. Balikkan syiling untuk setiap n bit dalam mesej dan ulangi proses untuk mesej M. Secara keseluruhannya, pembalikan syiling nM perlu dibuat, jadi mungkin

Richard Hamming: Bab 13. Teori Maklumat

kamus kod yang mempunyai kebarangkalian yang sama Β½nM. Sudah tentu, proses rawak mencipta buku kod bermakna terdapat kemungkinan pendua, serta titik kod yang akan berdekatan antara satu sama lain dan oleh itu menjadi sumber ralat yang berkemungkinan. Seseorang mesti membuktikan bahawa jika ini tidak berlaku dengan kebarangkalian yang lebih besar daripada mana-mana tahap ralat yang dipilih kecil, maka n yang diberikan adalah cukup besar.
Perkara penting ialah Shannon membuat purata semua buku kod yang mungkin untuk mencari ralat purata! Kami akan menggunakan simbol Av[.] untuk menandakan nilai purata ke atas set semua kemungkinan buku kod rawak. Purata atas pemalar d, sudah tentu, memberikan pemalar, kerana untuk purata setiap sebutan adalah sama dengan setiap sebutan lain dalam jumlah,

Richard Hamming: Bab 13. Teori Maklumat

yang boleh ditambah (M–1 pergi ke M)

Richard Hamming: Bab 13. Teori Maklumat

Untuk mana-mana mesej yang diberikan, apabila purata merentas semua buku kod, pengekodan berjalan melalui semua nilai yang mungkin, jadi kebarangkalian purata bahawa titik berada dalam sfera ialah nisbah isipadu sfera kepada jumlah isipadu ruang. Isipadu sfera ialah

Richard Hamming: Bab 13. Teori Maklumat

di mana s=Q+e2 <1/2 dan ns mestilah integer.

Penggal terakhir di sebelah kanan adalah yang terbesar dalam jumlah ini. Mula-mula, mari kita anggarkan nilainya menggunakan formula Stirling untuk pemfaktoran. Kami kemudian akan melihat faktor penurunan bagi istilah di hadapannya, ambil perhatian bahawa faktor ini meningkat apabila kita bergerak ke kiri, dan supaya kita boleh: (1) menyekat nilai jumlah kepada jumlah janjang geometri dengan pekali awal ini, (2) mengembangkan janjang geometri daripada sebutan ns kepada bilangan sebutan tak terhingga, (3) mengira hasil tambah janjang geometri tak terhingga (algebra piawai, tiada signifikan) dan akhirnya memperoleh nilai had (untuk cukup besar. n):

Richard Hamming: Bab 13. Teori Maklumat

Perhatikan bagaimana entropi H(s) muncul dalam identiti binomial. Ambil perhatian bahawa pengembangan siri Taylor H(s)=H(Q+e2) memberikan anggaran yang diperoleh dengan mengambil kira hanya terbitan pertama dan mengabaikan semua yang lain. Sekarang mari kita kumpulkan ungkapan terakhir:

Richard Hamming: Bab 13. Teori Maklumat

mana

Richard Hamming: Bab 13. Teori Maklumat

Apa yang perlu kita lakukan ialah memilih e2 supaya e3 < e1, dan kemudian sebutan terakhir akan menjadi kecil sewenang-wenangnya, asalkan n cukup besar. Akibatnya, ralat PE purata boleh diperolehi sekecil yang dikehendaki dengan kapasiti saluran sewenang-wenangnya hampir dengan C.
Jika purata semua kod mempunyai ralat yang cukup kecil, maka sekurang-kurangnya satu kod mesti sesuai, oleh itu terdapat sekurang-kurangnya satu sistem pengekodan yang sesuai. Ini adalah keputusan penting yang diperolehi oleh Shannon - "teorem Shannon untuk saluran yang bising", walaupun harus diperhatikan bahawa dia membuktikannya untuk kes yang lebih umum daripada saluran simetri binari mudah yang saya gunakan. Untuk kes umum, pengiraan matematik adalah lebih rumit, tetapi ideanya tidak begitu berbeza, jadi selalunya, menggunakan contoh kes tertentu, anda boleh mendedahkan maksud sebenar teorem.

Mari kita mengkritik hasilnya. Kami telah berulang kali mengulangi: "Untuk n yang cukup besar." Tetapi berapa besar n? Sangat, sangat besar jika anda benar-benar mahu berada dekat dengan kapasiti saluran dan pastikan pemindahan data yang betul! Begitu besar, sebenarnya, anda perlu menunggu masa yang sangat lama untuk mengumpul mesej bit yang cukup untuk mengekodnya kemudian. Dalam kes ini, saiz kamus kod rawak akan menjadi besar (lagipun, kamus sedemikian tidak boleh diwakili dalam bentuk yang lebih pendek daripada senarai lengkap semua bit Mn, walaupun pada hakikatnya n dan M adalah sangat besar)!

Kod pembetulan ralat mengelakkan menunggu mesej yang sangat panjang dan kemudian mengekod dan menyahkodnya melalui buku kod yang sangat besar kerana ia mengelakkan buku kod sendiri dan sebaliknya menggunakan pengiraan biasa. Dalam teori mudah, kod tersebut cenderung kehilangan keupayaan untuk mendekati kapasiti saluran dan masih mengekalkan kadar ralat yang rendah, tetapi apabila kod itu membetulkan sejumlah besar ralat, ia berfungsi dengan baik. Dalam erti kata lain, jika anda memperuntukkan beberapa kapasiti saluran kepada pembetulan ralat, maka anda mesti menggunakan keupayaan pembetulan ralat pada kebanyakan masa, iaitu, sejumlah besar ralat mesti diperbetulkan dalam setiap mesej yang dihantar, jika tidak, anda membazirkan kapasiti ini.

Pada masa yang sama, teorem yang dibuktikan di atas masih tidak bermakna! Ia menunjukkan bahawa sistem penghantaran yang cekap mesti menggunakan skema pengekodan pintar untuk rentetan bit yang sangat panjang. Contohnya ialah satelit yang telah terbang melepasi planet luar; Apabila mereka bergerak menjauhi Bumi dan Matahari, mereka terpaksa membetulkan lebih banyak ralat dalam blok data: sesetengah satelit menggunakan panel solar, yang menyediakan kira-kira 5 W, yang lain menggunakan sumber kuasa nuklear, yang menyediakan kuasa yang sama. Kuasa bekalan kuasa yang rendah, saiz hidangan pemancar yang kecil dan saiz hidangan penerima yang terhad di Bumi, jarak yang sangat besar yang mesti dilalui oleh isyarat - semua ini memerlukan penggunaan kod dengan tahap pembetulan ralat yang tinggi untuk membina sistem komunikasi yang berkesan.

Mari kembali ke ruang n-dimensi yang kita gunakan dalam bukti di atas. Dalam membincangkannya, kami menunjukkan bahawa hampir keseluruhan isipadu sfera tertumpu berhampiran permukaan luar - oleh itu, hampir pasti isyarat yang dihantar akan terletak berhampiran permukaan sfera yang dibina di sekeliling isyarat yang diterima, walaupun dengan jejari kecil sfera sedemikian. Oleh itu, tidaklah menghairankan bahawa isyarat yang diterima, selepas membetulkan sejumlah besar ralat, nQ, ternyata sewenang-wenangnya hampir kepada isyarat tanpa ralat. Kapasiti pautan yang kita bincangkan sebelum ini adalah kunci untuk memahami fenomena ini. Ambil perhatian bahawa sfera serupa yang dibina untuk pembetulan ralat kod Hamming tidak bertindih antara satu sama lain. Bilangan besar dimensi hampir ortogon dalam ruang dimensi-n menunjukkan sebab kita boleh memuatkan sfera M dalam ruang dengan sedikit pertindihan. Jika kita membenarkan pertindihan kecil yang sewenang-wenangnya kecil, yang boleh membawa kepada hanya sebilangan kecil ralat semasa penyahkodan, kita boleh mendapatkan peletakan sfera yang padat di angkasa. Hamming menjamin tahap pembetulan ralat tertentu, Shannon - kebarangkalian ralat yang rendah, tetapi pada masa yang sama mengekalkan daya pemprosesan sebenar sewenang-wenangnya dekat dengan kapasiti saluran komunikasi, yang tidak boleh dilakukan oleh kod Hamming.

Teori maklumat tidak memberitahu kita cara mereka bentuk sistem yang cekap, tetapi ia menunjukkan jalan ke arah sistem komunikasi yang cekap. Ia adalah alat yang berharga untuk membina sistem komunikasi mesin-ke-mesin, tetapi, seperti yang dinyatakan sebelum ini, ia mempunyai sedikit kaitan dengan cara manusia berkomunikasi antara satu sama lain. Sejauh mana pewarisan biologi seperti sistem komunikasi teknikal tidak diketahui, jadi pada masa ini tidak jelas bagaimana teori maklumat digunakan untuk gen. Kami tidak mempunyai pilihan selain mencuba, dan jika kejayaan menunjukkan kepada kita sifat seperti mesin dari fenomena ini, maka kegagalan akan menunjukkan aspek penting lain dari sifat maklumat.

Janganlah kita menyimpang sangat. Kita telah melihat bahawa semua definisi asal, pada tahap yang lebih besar atau lebih kecil, mesti menyatakan intipati kepercayaan asal kita, tetapi ia dicirikan oleh beberapa tahap penyelewengan dan oleh itu tidak boleh digunakan. Secara tradisinya diterima bahawa, akhirnya, definisi yang kita gunakan sebenarnya mentakrifkan intipati; tetapi, ini hanya memberitahu kita cara memproses sesuatu dan sama sekali tidak memberikan apa-apa makna kepada kita. Pendekatan postulasi, yang sangat digemari dalam kalangan matematik, meninggalkan banyak perkara yang diingini dalam amalan.

Sekarang kita akan melihat contoh ujian IQ di mana definisinya adalah bulat seperti yang anda suka dan, akibatnya, mengelirukan. Ujian dicipta yang sepatutnya mengukur kecerdasan. Ia kemudian disemak untuk menjadikannya sekonsisten yang mungkin, dan kemudian diterbitkan dan, dalam kaedah mudah, ditentukur supaya "kepintaran" yang diukur ternyata diedarkan secara normal (pada lengkung penentukuran, sudah tentu). Semua definisi mesti disemak semula, bukan sahaja apabila ia mula-mula dicadangkan, tetapi juga lebih lama kemudian, apabila ia digunakan dalam kesimpulan yang dibuat. Sejauh manakah sempadan definisi sesuai untuk masalah yang diselesaikan? Berapa kerapkah takrifan yang diberikan dalam satu tetapan digunakan dalam tetapan yang agak berbeza? Ini berlaku agak kerap! Dalam bidang kemanusiaan, yang pasti akan anda temui dalam hidup anda, ini berlaku lebih kerap.

Oleh itu, salah satu tujuan pembentangan teori maklumat ini, di samping menunjukkan kegunaannya, adalah untuk memberi amaran kepada anda tentang bahaya ini, atau untuk menunjukkan kepada anda dengan tepat cara menggunakannya untuk mendapatkan hasil yang diingini. Telah lama diperhatikan bahawa definisi awal menentukan apa yang anda temui pada akhirnya, pada tahap yang lebih besar daripada yang kelihatan. Takrifan awal memerlukan banyak perhatian daripada anda, bukan sahaja dalam sebarang situasi baharu, tetapi juga dalam bidang yang anda telah bekerja untuk masa yang lama. Ini akan membolehkan anda memahami sejauh mana keputusan yang diperolehi adalah tautologi dan bukan sesuatu yang berguna.

Kisah terkenal Eddington menceritakan tentang orang yang memancing di laut dengan pukat. Selepas mengkaji saiz ikan yang ditangkap, mereka menentukan saiz minimum ikan yang terdapat di laut! Kesimpulan mereka didorong oleh instrumen yang digunakan, bukan oleh realiti.

Perlu diteruskan ...

Siapa yang ingin membantu terjemahan, susun atur dan penerbitan buku - tulis dalam mesej peribadi atau e-mel [e-mel dilindungi]

Ngomong-ngomong, kami juga telah melancarkan terjemahan buku hebat yang lain - "Mesin Impian: Kisah Revolusi Komputer")

Kami terutama mencari mereka yang akan membantu menterjemah bab bonus, yang hanya pada video. (pemindahan selama 10 minit, 20 yang pertama telah diambil)

Kandungan buku dan bab terjemahanPerutusan

  1. Intro to The Art of Doing Science and Engineering: Learning to Learn (28 Mac 1995) Terjemahan: Bab 1
  2. "Asas Revolusi Digital (Diskrit)" (30 Mac 1995) Bab 2. Asas revolusi digital (diskrit).
  3. "Sejarah Komputer - Perkakasan" (31 Mac 1995) Bab 3. Sejarah Komputer - Perkakasan
  4. "Sejarah Komputer - Perisian" (4 April 1995) Bab 4. Sejarah Komputer - Perisian
  5. "Sejarah Komputer - Aplikasi" (6 April 1995) Bab 5: Sejarah Komputer - Aplikasi Praktikal
  6. "Kecerdasan Buatan - Bahagian I" (7 April 1995) Bab 6. Kepintaran Buatan - 1
  7. "Kecerdasan Buatan - Bahagian II" (11 April 1995) Bab 7. Kepintaran Buatan - II
  8. "Kecerdasan Buatan III" (13 April 1995) Bab 8. Kepintaran Buatan-III
  9. "Ruang Dimensi-n" (14 April 1995) Bab 9. Ruang N-dimensi
  10. "Teori Pengekodan - Perwakilan Maklumat, Bahagian I" (18 April 1995) Bab 10. Teori Pengekodan - I
  11. "Teori Pengekodan - Perwakilan Maklumat, Bahagian II" (20 April 1995) Bab 11. Teori Pengekodan - II
  12. "Kod Pembetulan Ralat" (21 April 1995) Bab 12. Kod Pembetulan Ralat
  13. "Teori Maklumat" (25 April 1995) Bab 13. Teori Maklumat
  14. "Penapis Digital, Bahagian I" (27 April 1995) Bab 14. Penapis Digital - 1
  15. "Penapis Digital, Bahagian II" (28 April 1995) Bab 15. Penapis Digital - 2
  16. "Penapis Digital, Bahagian III" (2 Mei 1995) Bab 16. Penapis Digital - 3
  17. "Penapis Digital, Bahagian IV" (4 Mei 1995) Bab 17. Penapis Digital - IV
  18. "Simulasi, Bahagian I" (5 Mei 1995) Bab 18. Permodelan - I
  19. "Simulasi, Bahagian II" (9 Mei 1995) Bab 19. Permodelan - II
  20. "Simulasi, Bahagian III" (11 Mei 1995) Bab 20. Permodelan - III
  21. "Fiber Optik" (12 Mei 1995) Bab 21. Gentian optik
  22. "Arahan Berbantukan Komputer" (16 Mei 1995) Bab 22: Arahan Berbantukan Komputer (CAI)
  23. "Matematik" (18 Mei 1995) Bab 23. Matematik
  24. "Mekanik Kuantum" (19 Mei 1995) Bab 24. Mekanik kuantum
  25. "Kreativiti" (23 Mei 1995). Terjemahan: Bab 25. Kreativiti
  26. "Pakar" (25 Mei 1995) Bab 26. Pakar
  27. "Data Tidak Boleh Dipercayai" (26 Mei 1995) Bab 27. Data tidak boleh dipercayai
  28. "Kejuruteraan Sistem" (30 Mei 1995) Bab 28. Kejuruteraan Sistem
  29. "Anda Dapat Apa yang Anda Ukur" (1 Jun 1995) Bab 29: Anda mendapat apa yang anda ukur
  30. "Bagaimana Kita Tahu Apa yang Kita Tahu" (Jun 2, 1995) terjemah dalam 10 minit ketulan
  31. Hamming, "Anda dan Penyelidikan Anda" (6 Jun 1995). Terjemahan: Anda dan kerja anda

Siapa yang ingin membantu terjemahan, susun atur dan penerbitan buku - tulis dalam mesej peribadi atau e-mel [e-mel dilindungi]

Sumber: www.habr.com

Tambah komen