Richard Hamming: Bölüm 13. Bilgi Teorisi

Çok güzel!

“Bu kursun amacı sizi teknik geleceğinize hazırlamaktır.”

Richard Hamming: Bölüm 13. Bilgi TeorisiMerhaba Habr. Harika makaleyi hatırla "Sen ve işin" (+219, 2588 yer imi, 429 bin okuma)?

Yani Hamming (evet, evet, kendi kendini izleme ve kendi kendini düzeltme) Hamming kodları) bir bütün var книга, derslerinden yola çıkılarak yazılmıştır. Adam fikrini söylediği için tercüme ediyoruz.

Bu sadece BT ile ilgili bir kitap değil, aynı zamanda inanılmaz derecede havalı insanların düşünme tarzları hakkında da bir kitap. “Bu sadece olumlu düşüncenin desteklenmesi değil; harika işler yapma şansını artıran koşulları anlatıyor.”

Çeviri için Andrey Pakhomov'a teşekkürler.

Bilgi Teorisi 1940'ların sonlarında C. E. Shannon tarafından geliştirildi. Bell Laboratuvarı yönetimi buna "İletişim Teorisi" adını vermesi konusunda ısrar etti çünkü... bu çok daha doğru bir isim. Belli nedenlerden dolayı, "Bilgi Teorisi" isminin halk üzerinde çok daha büyük bir etkisi var, bu yüzden Shannon onu seçti ve bugüne kadar bildiğimiz isim bu. İsmin kendisi, teorinin bilgiyle ilgilendiğini öne sürüyor ve bu da bilgi çağının derinliklerine doğru ilerledikçe onu önemli kılıyor. Bu bölümde, bu teoriden çıkan birkaç ana sonuca değineceğim, bu teorinin bazı bireysel hükümlerine dair kesin değil, sezgisel kanıtlar sunacağım, böylece "Bilgi Teorisi"nin gerçekte ne olduğunu ve onu nerede uygulayabileceğinizi anlayacaksınız. ve nerede değil.

Öncelikle “bilgi” nedir? Shannon bilgiyi belirsizlikle eşitliyor. P olasılığına sahip bir olay meydana geldiğinde aldığınız bilginin niceliksel bir ölçüsü olarak, bir olayın olasılığının negatif logaritmasını seçti. Örneğin size Los Angeles'ta havanın sisli olduğunu söylersem p 1'e yakındır ve bu bize pek fazla bilgi vermez. Ancak Haziran ayında Monterey'de yağmur yağdığını söylersem mesajda belirsizlik olacak ve daha fazla bilgi içerecektir. Güvenilir bir olay, log 1 = 0 olduğundan herhangi bir bilgi içermez.

Buna daha detaylı bakalım. Shannon, bilginin niceliksel ölçüsünün, bir p olayının olasılığının sürekli bir fonksiyonu olması gerektiğine ve bağımsız olaylar için ilave olması gerektiğine inanıyordu - iki bağımsız olayın meydana gelmesi sonucu elde edilen bilgi miktarı, şuna eşit olmalıdır: Ortak bir olayın meydana gelmesi sonucunda elde edilen bilgi miktarı. Örneğin, bir zar atışının ve bir madeni para atışının sonucu genellikle bağımsız olaylar olarak ele alınır. Yukarıdakileri matematik diline çevirelim. Eğer I(p), p olasılığı olan bir olayın içerdiği bilgi miktarı ise, p1 olasılığı olan x ve p2 olasılığı olan y'den oluşan iki bağımsız olaydan oluşan ortak bir olay için şunu elde ederiz:

Richard Hamming: Bölüm 13. Bilgi Teorisi
(x ve y bağımsız olaylardır)

Bu, tüm p1 ve p2 için geçerli olan fonksiyonel Cauchy denklemidir. Bu fonksiyonel denklemi çözmek için şunu varsayalım:

p1 = p2 = p,

bu verir

Richard Hamming: Bölüm 13. Bilgi Teorisi

Eğer p1 = p2 ve p2 = p ise

Richard Hamming: Bölüm 13. Bilgi Teorisi

vesaire. Üstel sayılar için standart yöntemi kullanarak bu süreci genişletirsek, tüm m/n rasyonel sayılar için aşağıdakiler doğrudur

Richard Hamming: Bölüm 13. Bilgi Teorisi

Bilgi ölçüsünün varsayılan sürekliliğinden, logaritmik fonksiyonun Cauchy fonksiyonel denkleminin tek sürekli çözümü olduğu sonucu çıkar.

Bilgi teorisinde logaritma tabanını 2 olarak almak yaygındır, dolayısıyla ikili seçim tam olarak 1 bit bilgi içerir. Bu nedenle bilgi şu formülle ölçülür:

Richard Hamming: Bölüm 13. Bilgi Teorisi

Biraz duralım ve yukarıda ne olduğunu anlayalım. Öncelikle “bilgi” kavramını tanımlamadık; sadece onun niceliksel ölçüm formülünü tanımladık.

İkincisi, bu önlem belirsizliğe tabidir ve makineler (örneğin telefon sistemleri, radyo, televizyon, bilgisayarlar vb.) için makul ölçüde uygun olmasına rağmen, bilgiye yönelik normal insan tutumlarını yansıtmaz.

Üçüncüsü, bu göreceli bir ölçüdür, bilginizin mevcut durumuna bağlıdır. Bir rastgele sayı üretecinden gelen "rastgele sayılar" akışına bakarsanız, sonraki her sayının belirsiz olduğunu varsayarsınız, ancak "rastgele sayıları" hesaplama formülünü biliyorsanız, bir sonraki sayı bilinecek ve bu nedenle de bilinmeyecektir. bilgi içerir.

Dolayısıyla Shannon'ın bilgi tanımı çoğu durumda makineler için uygundur, ancak insanın bu kelimeyi anlama biçimine uymuyor gibi görünmektedir. Bu nedenle “Bilgi Teorisi”nin “İletişim Teorisi” olarak adlandırılması gerekirdi. Ancak tanımları değiştirmek için artık çok geç (bu, teoriye ilk popülerliğini kazandıran ve insanların hala bu teorinin "bilgi" ile ilgili olduğunu düşünmesine neden oluyor), bu yüzden onlarla yaşamak zorundayız, ama aynı zamanda da onlarla yaşamak zorundayız. Shannon'ın bilgi tanımının yaygın olarak kullanılan anlamından ne kadar uzak olduğunu açıkça anlıyoruz. Shannon'ın bilgisi tamamen farklı bir şeyle, yani belirsizlikle ilgilidir.

Herhangi bir terminoloji önerdiğinizde düşünmeniz gereken bir şey var. Shannon'ın bilgi tanımı gibi önerilen bir tanım orijinal fikrinizle nasıl örtüşüyor ve ne kadar farklı? Bir kavrama ilişkin önceki vizyonunuzu tam olarak yansıtan neredeyse hiçbir terim yoktur, ancak sonuçta kavramın anlamını yansıtan, kullanılan terminolojidir, bu nedenle bir şeyi net tanımlar yoluyla resmileştirmek her zaman biraz gürültüye neden olur.

Alfabesi pi olasılıklı q sembollerinden oluşan bir sistem düşünün. Bu durumda ortalama bilgi miktarı sistemdeki (beklenen değeri) şuna eşittir:

Richard Hamming: Bölüm 13. Bilgi Teorisi

Buna {pi} olasılık dağılımına sahip sistemin entropisi denir. "Entropi" terimini kullanıyoruz çünkü aynı matematiksel form termodinamikte ve istatistiksel mekanikte de görülüyor. Bu nedenle “entropi” terimi kendi etrafında belli bir önem havası yaratır ki bu da sonuçta haklı değildir. Gösterimin aynı matematiksel biçimi, sembollerin aynı şekilde yorumlanması anlamına gelmez!

Olasılık dağılımının entropisi kodlama teorisinde önemli bir rol oynar. İki farklı olasılık dağılımı pi ve qi için Gibbs eşitsizliği bu teorinin önemli sonuçlarından biridir. Yani bunu kanıtlamalıyız

Richard Hamming: Bölüm 13. Bilgi Teorisi

Kanıt, açık bir grafiğe dayanmaktadır, Şekil 13. XNUMX.I, bunu gösteriyor

Richard Hamming: Bölüm 13. Bilgi Teorisi

ve eşitlik ancak x = 1 olduğunda elde edilir. Eşitsizliği toplamın her terimine sol taraftan uygulayalım:

Richard Hamming: Bölüm 13. Bilgi Teorisi

Bir iletişim sisteminin alfabesi q sembollerinden oluşuyorsa, her sembolün iletim olasılığını qi = 1/q alıp yerine q koyarak Gibbs eşitsizliğinden elde ederiz.

Richard Hamming: Bölüm 13. Bilgi Teorisi

Richard Hamming: Bölüm 13. Bilgi Teorisi

Şekil 13.I

Bu, tüm q sembollerinin iletilme olasılığı aynıysa ve -1/q'ya eşitse, o zaman maksimum entropinin ln q'ya eşit olacağı, aksi halde eşitsizliğin geçerli olacağı anlamına gelir.

Benzersiz şekilde kodu çözülebilen bir kod durumunda, Kraft eşitsizliğine sahibiz

Richard Hamming: Bölüm 13. Bilgi Teorisi

Şimdi sözde olasılıkları tanımlarsak

Richard Hamming: Bölüm 13. Bilgi Teorisi

elbette nerede Richard Hamming: Bölüm 13. Bilgi Teorisi= 1, Gibbs eşitsizliğinden çıkan sonuç,

Richard Hamming: Bölüm 13. Bilgi Teorisi

ve biraz cebir uygularsak (K ≤ 1 olduğunu unutmayın, böylece logaritmik terimi bırakabiliriz ve belki eşitsizliği daha sonra güçlendirebiliriz), şunu elde ederiz:

Richard Hamming: Bölüm 13. Bilgi Teorisi

burada L ortalama kod uzunluğudur.

Dolayısıyla entropi, ortalama kod sözcüğü uzunluğu L olan herhangi bir karakter-sembol kodu için minimum sınırdır. Bu, parazitsiz bir kanal için Shannon teoremidir.

Şimdi bilginin bağımsız bit akışı olarak iletildiği ve gürültünün mevcut olduğu iletişim sistemlerinin sınırlamaları hakkındaki ana teoremi düşünün. Bir bitin doğru iletilme olasılığının P > 1/2 olduğu ve iletim sırasında bit değerinin ters çevrilme (bir hata meydana gelme) olasılığının Q = 1 - P'ye eşit olduğu anlaşılmaktadır. Kolaylık sağlamak için, hataların bağımsız olduğunu ve gönderilen her bit için hata olasılığının aynı olduğunu, yani iletişim kanalında "beyaz gürültü" olduğunu varsayalım.

Bir mesaja kodlanmış n bitlik uzun bir akışa sahip olmamızın yolu, bir bitlik kodun n boyutlu uzantısıdır. N'nin değerini daha sonra belirleyeceğiz. N boyutlu uzayda bir nokta olarak n bitten oluşan bir mesaj düşünün. N boyutlu bir uzaya sahip olduğumuz için - ve basitlik açısından her mesajın aynı oluşma olasılığına sahip olduğunu varsayacağız - M tane olası mesaj vardır (M ayrıca daha sonra tanımlanacaktır), dolayısıyla gönderilen herhangi bir mesajın olasılığı şöyledir:

Richard Hamming: Bölüm 13. Bilgi Teorisi

Richard Hamming: Bölüm 13. Bilgi Teorisi
(gönderen)
Çizelge 13.II

Daha sonra kanal kapasitesi fikrini düşünün. Detaylara girmeden kanal kapasitesi, en verimli kodlamanın kullanılması dikkate alınarak bir iletişim kanalı üzerinden güvenilir bir şekilde iletilebilecek maksimum bilgi miktarı olarak tanımlanır. Bir iletişim kanalı aracılığıyla kapasitesinden daha fazla bilginin iletilebileceğine dair hiçbir tartışma yoktur. Bu, ikili simetrik bir kanal için kanıtlanabilir (bizim durumumuzda bunu kullanıyoruz). Bit gönderilirken kanal kapasitesi şu şekilde belirtilir:

Richard Hamming: Bölüm 13. Bilgi Teorisi

burada, daha önce olduğu gibi, P gönderilen herhangi bir bitte hata olmaması olasılığıdır. N bağımsız bit gönderilirken kanal kapasitesi şu şekilde verilir:

Richard Hamming: Bölüm 13. Bilgi Teorisi

Kanal kapasitesine yakınsak o zaman ai, i = 1, ..., M sembollerinin her biri için hemen hemen bu miktarda bilgi göndermemiz gerekir. Her ai sembolünün oluşma olasılığının 1/M olduğunu düşünürsek, aldık

Richard Hamming: Bölüm 13. Bilgi Teorisi

M eşit olasılıklı mesajlardan herhangi birini ai gönderdiğimizde, elimizde

Richard Hamming: Bölüm 13. Bilgi Teorisi

N bit gönderildiğinde, nQ hatalarının oluşmasını bekleriz. Uygulamada, n-bitten oluşan bir mesaj için, alınan mesajda yaklaşık olarak nQ hata olacaktır. Büyük n için göreceli değişim (varyasyon = dağılım genişliği, )
n arttıkça hata sayısının dağılımı giderek daralacaktır.

Böylece, verici tarafından ai mesajını gönderiyorum ve etrafına yarıçaplı bir küre çiziyorum

Richard Hamming: Bölüm 13. Bilgi Teorisi

beklenen hata sayısından (Q) e2'ye eşit bir miktarda biraz daha büyüktür (Şekil 13.II). Eğer n yeterince büyükse, o zaman bu kürenin ötesine uzanan alıcı tarafta bir bj mesaj noktasının ortaya çıkma olasılığı keyfi olarak küçüktür. Durumu vericinin bakış açısından gördüğüm gibi çizelim: iletilen ai mesajından alınan bj mesajına kadar, hata olasılığı normal dağılıma eşit (veya neredeyse eşit) olan ve maksimuma ulaşan herhangi bir yarıçapa sahibiz nQ'da. Herhangi bir e2 için o kadar büyük bir n vardır ki, ortaya çıkan bj noktasının benim küremin dışında olma olasılığı istediğiniz kadar küçüktür.

Şimdi aynı duruma sizin tarafınızdan bakalım (Şekil 13.III). Alıcı tarafında, n boyutlu uzayda alınan bj noktası etrafında aynı r yarıçaplı bir S(r) küresi vardır; öyle ki, eğer alınan bj mesajı benim küremin içindeyse, o zaman benim tarafımdan gönderilen ai mesajı da sizin kürenizin içindedir. küre.

Bir hata nasıl meydana gelebilir? Hata aşağıdaki tabloda açıklanan durumlarda ortaya çıkabilir:

Richard Hamming: Bölüm 13. Bilgi Teorisi

Şekil 13.III

Richard Hamming: Bölüm 13. Bilgi Teorisi

Burada, alınan noktanın etrafında oluşturulan alanda, gönderilen olası kodlanmamış bir mesaja karşılık gelen en az bir nokta daha varsa, bu mesajlardan hangisinin iletildiğini belirleyemediğiniz için iletim sırasında bir hata oluştuğunu görüyoruz. Gönderilen mesaj, yalnızca kendisine karşılık gelen nokta kürenin içindeyse ve verilen kodda aynı küre içinde başka hiçbir nokta mümkün değilse hatasız olur.

ai mesajı gönderildiğinde Pe hatasının olasılığı için matematiksel bir denklemimiz var

Richard Hamming: Bölüm 13. Bilgi Teorisi

İkinci terimde birinci çarpanı 1 alarak atabiliriz. Böylece eşitsizliği elde ederiz.

Richard Hamming: Bölüm 13. Bilgi Teorisi

Açıktır ki,

Richard Hamming: Bölüm 13. Bilgi Teorisi

следовательно

Richard Hamming: Bölüm 13. Bilgi Teorisi

sağdaki son döneme tekrar başvurun

Richard Hamming: Bölüm 13. Bilgi Teorisi

N'yi yeterince büyük alarak, ilk terim istenildiği kadar küçük alınabilir, örneğin bir d sayısından daha küçük. Bu nedenle elimizde

Richard Hamming: Bölüm 13. Bilgi Teorisi

Şimdi n bitten oluşan M mesajı kodlamak için basit bir ikame kodunu nasıl oluşturabileceğimize bakalım. Bir kodun tam olarak nasıl oluşturulacağı hakkında hiçbir fikri olmayan (hata düzelten kodlar henüz icat edilmemişti) Shannon, rastgele kodlamayı seçti. Mesajdaki n bitin her biri için bir yazı tura atın ve işlemi M mesaj için tekrarlayın. Toplamda nM yazı tura atılması gerekiyor, dolayısıyla bu mümkün

Richard Hamming: Bölüm 13. Bilgi Teorisi

½nM aynı olasılığa sahip kod sözlükleri. Elbette, bir kod kitabı oluşturmanın rastgele süreci, kopyalanma olasılığının yanı sıra birbirine yakın olacak ve dolayısıyla olası hataların kaynağı olabilecek kod noktalarının da olması anlamına gelir. Eğer bu, seçilen herhangi bir küçük hata seviyesinden daha büyük bir olasılıkla gerçekleşmiyorsa, verilen n'nin yeterince büyük olduğu kanıtlanmalıdır.
Önemli olan nokta Shannon'ın ortalama hatayı bulmak için tüm olası kod kitaplarının ortalamasını almasıdır! Tüm olası rastgele kod çizelgeleri kümesi üzerindeki ortalama değeri belirtmek için Av[.] sembolünü kullanacağız. Bir sabit d üzerinden ortalama almak elbette bir sabit verir, çünkü her terimin ortalaması toplamdaki diğer tüm terimlerle aynıdır,

Richard Hamming: Bölüm 13. Bilgi Teorisi

artırılabilir (M–1, M'ye gider)

Richard Hamming: Bölüm 13. Bilgi Teorisi

Herhangi bir mesaj için, tüm kod kitaplarının ortalaması alınırken kodlama tüm olası değerler üzerinden yürütülür, dolayısıyla bir noktanın bir küre içinde olmasının ortalama olasılığı, kürenin hacminin uzayın toplam hacmine oranıdır. Kürenin hacmi

Richard Hamming: Bölüm 13. Bilgi Teorisi

burada s=Q+e2 <1/2 ve ns bir tamsayı olmalıdır.

Sağdaki son terim bu toplamın en büyüğüdür. Öncelikle faktöriyeller için Stirling formülünü kullanarak değerini tahmin edelim. Daha sonra önündeki terimin azalan katsayısına bakacağız, sola doğru ilerledikçe bu katsayının arttığına dikkat edeceğiz ve böylece şunları yapabiliriz: (1) toplamın değerini geometrik ilerlemenin toplamı ile sınırlandıracağız Bu başlangıç ​​katsayısı, (2) geometrik ilerlemeyi ns terimlerden sonsuz sayıda terime genişletir, (3) sonsuz bir geometrik ilerlemenin toplamını hesaplar (standart cebir, anlamlı bir şey yok) ve son olarak sınırlayıcı değeri elde eder (yeterince büyük bir sayı için) N):

Richard Hamming: Bölüm 13. Bilgi Teorisi

Entropi H(s)'nin binom özdeşliğinde nasıl göründüğüne dikkat edin. Taylor serisi açılımı H(s)=H(Q+e2)'nin yalnızca birinci türevi hesaba katarak ve diğerlerini göz ardı ederek elde edilen bir tahmin verdiğini unutmayın. Şimdi son ifadeyi bir araya getirelim:

Richard Hamming: Bölüm 13. Bilgi Teorisi

nerede

Richard Hamming: Bölüm 13. Bilgi Teorisi

Yapmamız gereken tek şey e2'yi e3 < e1 olacak şekilde seçmek ve n yeterince büyük olduğu sürece son terim keyfi olarak küçük olacaktır. Sonuç olarak, kanal kapasitesi keyfi olarak C'ye yakın olduğunda ortalama PE hatası istenildiği kadar küçük elde edilebilir.
Tüm kodların ortalaması yeterince küçük bir hataya sahipse, en az bir kodun uygun olması gerekir, dolayısıyla en az bir uygun kodlama sistemi vardır. Bu, Shannon tarafından elde edilen önemli bir sonuçtur - "Gürültülü bir kanal için Shannon teoremi", ancak bunu benim kullandığım basit ikili simetrik kanaldan çok daha genel bir durum için kanıtladığını da belirtmek gerekir. Genel durumda, matematiksel hesaplamalar çok daha karmaşıktır, ancak fikirler o kadar da farklı değildir, bu nedenle çoğu zaman belirli bir durumun örneğini kullanarak teoremin gerçek anlamını ortaya çıkarabilirsiniz.

Sonucu eleştirelim. Tekrar tekrar şunu tekrarladık: "Yeterince büyük n için." Peki n ne kadar büyük? Gerçekten hem kanal kapasitesine yakın olmak hem de doğru veri aktarımından emin olmak istiyorsanız çok ama çok büyük! Aslında o kadar büyük ki, daha sonra kodlamak için yeterli miktardaki bir mesajı biriktirmek için çok uzun bir süre beklemeniz gerekecek. Bu durumda, rastgele kod sözlüğünün boyutu çok büyük olacaktır (sonuçta, böyle bir sözlük, n ve M'nin çok büyük olmasına rağmen, tüm Mn bitlerinin tam listesinden daha kısa bir biçimde temsil edilemez)!

Hata düzeltme kodları, çok uzun bir mesajı beklemekten ve daha sonra onu çok büyük kod kitapları aracılığıyla kodlamaktan ve kodunu çözmekten kaçınır çünkü kod kitaplarından kaçınırlar ve bunun yerine sıradan hesaplamayı kullanırlar. Basit teoride, bu tür kodlar kanal kapasitesine yaklaşma yeteneğini kaybetme eğilimindedir ve yine de düşük bir hata oranını korur, ancak kod çok sayıda hatayı düzelttiğinde iyi performans gösterirler. Yani hata düzeltmeye bir miktar kanal kapasitesi ayırırsanız çoğu zaman hata düzeltme özelliğini kullanmanız gerekir, yani gönderilen her mesajda çok sayıda hatanın düzeltilmesi gerekir, aksi halde bu kapasiteyi boşa harcamış olursunuz.

Aynı zamanda yukarıda ispatlanan teorem hala anlamsız değildir! Verimli iletim sistemlerinin çok uzun bit dizileri için akıllı kodlama şemaları kullanması gerektiğini gösterir. Bir örnek, dış gezegenlerin ötesine uçan uydulardır; Dünya'dan ve Güneş'ten uzaklaştıkça veri bloğundaki daha fazla hatayı düzeltmek zorunda kalıyorlar: Bazı uydular yaklaşık 5 W sağlayan güneş panelleri kullanıyor, diğerleri ise yaklaşık aynı gücü sağlayan nükleer güç kaynaklarını kullanıyor. Güç kaynağının düşük gücü, verici antenlerin küçük boyutu ve Dünya üzerindeki alıcı antenlerin sınırlı boyutu, sinyalin kat etmesi gereken muazzam mesafe - tüm bunlar, bir sinyal oluşturmak için yüksek düzeyde hata düzeltmeye sahip kodların kullanılmasını gerektirir. etkili iletişim sistemi.

Yukarıdaki ispatta kullandığımız n boyutlu uzaya dönelim. Bunu tartışırken, kürenin hacminin neredeyse tamamının dış yüzeyin yakınında yoğunlaştığını gösterdik; dolayısıyla gönderilen sinyalin, göreceli olarak daha küçük olsa bile, alınan sinyalin etrafında oluşturulan kürenin yüzeyinin yakınında konumlandırılacağı neredeyse kesindir. böyle bir kürenin küçük yarıçapı. Bu nedenle, alınan sinyalin, keyfi olarak çok sayıda hata (nQ) düzeltildikten sonra, hatasız bir sinyale keyfi olarak yakın olması şaşırtıcı değildir. Daha önce tartıştığımız bağlantı kapasitesi bu olguyu anlamanın anahtarıdır. Hata düzeltme Hamming kodları için oluşturulan benzer kürelerin birbiriyle örtüşmediğine dikkat edin. N-boyutlu uzaydaki neredeyse dik boyutların çok sayıda olması, M kürelerini neden çok az örtüşmeyle uzaya yerleştirebildiğimizi gösteriyor. Kod çözme sırasında yalnızca az sayıda hataya yol açabilecek küçük, keyfi olarak küçük bir örtüşmeye izin verirsek, uzayda yoğun bir küre yerleşimi elde edebiliriz. Hamming belirli bir seviyede hata düzeltmeyi garanti etti, Shannon - düşük bir hata olasılığı, ancak aynı zamanda gerçek verimi, Hamming kodlarının yapamayacağı şekilde iletişim kanalının kapasitesine keyfi olarak yakın tutmak.

Bilgi teorisi bize verimli bir sistemin nasıl tasarlanacağını söylemez, ancak verimli iletişim sistemlerine giden yolu işaret eder. Makineden makineye iletişim sistemleri oluşturmak için değerli bir araçtır ancak daha önce de belirtildiği gibi insanların birbirleriyle nasıl iletişim kurduğuyla pek ilgisi yoktur. Biyolojik kalıtımın teknik iletişim sistemlerine ne ölçüde benzediği tam olarak bilinmiyor; dolayısıyla bilgi teorisinin genlere nasıl uygulanacağı henüz açık değil. Denemekten başka seçeneğimiz yok ve eğer başarı bize bu olgunun makine benzeri doğasını gösteriyorsa, başarısızlık da bilginin doğasının diğer önemli yönlerine işaret edecektir.

Konuyu fazla uzatmayalım. Tüm orijinal tanımların, az ya da çok, orijinal inançlarımızın özünü ifade etmesi gerektiğini, ancak bunların bir dereceye kadar çarpıklıkla karakterize edildiğini ve bu nedenle uygulanamaz olduğunu gördük. Sonuçta kullandığımız tanımın aslında özü tanımladığı geleneksel olarak kabul edilir; ancak bu bize yalnızca olayları nasıl işlememiz gerektiğini anlatır ve hiçbir şekilde bize bir anlam ifade etmez. Matematik çevrelerinde çok güçlü bir şekilde tercih edilen varsayımsal yaklaşım, pratikte arzulanan çok şey bırakmaktadır.

Şimdi tanımın istediğiniz kadar döngüsel olduğu ve sonuç olarak yanıltıcı olduğu bir IQ testi örneğine bakacağız. Zekayı ölçmesi gereken bir test oluşturuldu. Daha sonra mümkün olduğu kadar tutarlı hale getirmek için revize edilir ve ardından yayınlanır ve basit bir yöntemle, ölçülen "zekanın" normal şekilde dağıldığı ortaya çıkacak şekilde kalibre edilir (tabii ki bir kalibrasyon eğrisi üzerinde). Tüm tanımların, yalnızca ilk önerildiklerinde değil, aynı zamanda daha sonra, varılan sonuçlarda kullanıldıklarında da yeniden kontrol edilmesi gerekir. Tanımsal sınırlar çözülen probleme ne ölçüde uygundur? Bir ortamda verilen tanımlar ne sıklıkla tamamen farklı ortamlarda uygulanıyor? Bu oldukça sık oluyor! Hayatınızda kaçınılmaz olarak karşılaşacağınız beşeri bilimlerde bu daha sık olur.

Dolayısıyla, bilgi teorisinin bu sunumunun amaçlarından biri, yararlılığını göstermenin yanı sıra, sizi bu tehlikeye karşı uyarmak veya istenen sonucu elde etmek için onu tam olarak nasıl kullanacağınızı göstermekti. Başlangıçtaki tanımların, sonunda ne bulacağınızı, göründüğünden çok daha büyük ölçüde belirlediği uzun zamandır biliniyordu. İlk tanımlar, yalnızca yeni bir durumda değil, aynı zamanda uzun süredir üzerinde çalıştığınız alanlarda da çok fazla dikkat etmenizi gerektirir. Bu, elde edilen sonuçların ne ölçüde totoloji olduğunu ve yararlı bir şey olmadığını anlamanızı sağlayacaktır.

Eddington'un ünlü hikayesi, denizde ağla balık tutan insanları anlatır. Yakaladıkları balıkların büyüklüğünü inceledikten sonra denizde bulunabilecek minimum balık büyüklüğünü belirlediler! Vardıkları sonuç gerçeklikten değil, kullanılan araçtan kaynaklanıyordu.

Devam edecek ...

Kitabın çevirisine, düzenine ve yayınlanmasına kim yardım etmek ister - kişisel bir mesaj veya e-postayla yazın [e-posta korumalı]

Bu arada, başka bir harika kitabın çevirisine de başladık - "Rüya Makinesi: Bilgisayar Devriminin Hikayesi")

Özellikle arıyoruz tercümeye yardım edecek olanlar Yalnızca videoda bulunan bonus bölümü. (10 dakikalık transfer, ilk 20 dakikası çoktan çekilmiştir)

Kitabın içeriği ve tercüme edilen bölümlerÖnsöz

  1. Bilim ve Mühendislik Yapma Sanatına Giriş: Öğrenmeyi Öğrenmek (28 Mart 1995) Çeviri: Bölüm 1
  2. "Dijital (Ayrık) Devrimin Temelleri" (30 Mart 1995) Bölüm 2. Dijital (ayrık) devrimin temelleri
  3. "Bilgisayarların Tarihi - Donanım" (31 Mart 1995) Bölüm 3. Bilgisayarların Tarihi - Donanım
  4. "Bilgisayarın Tarihi - Yazılım" (4 Nisan 1995) Bölüm 4. Bilgisayarların Tarihi - Yazılım
  5. "Bilgisayarların Tarihi - Uygulamalar" (6 Nisan 1995) Bölüm 5: Bilgisayarların Tarihi - Pratik Uygulamalar
  6. "Yapay Zeka - Bölüm I" (7 Nisan 1995) Bölüm 6. Yapay Zeka - 1
  7. "Yapay Zeka - Bölüm II" (11 Nisan 1995) Bölüm 7. Yapay Zeka - II
  8. "Yapay Zeka III" (13 Nisan 1995) Bölüm 8. Yapay Zeka-III
  9. "n-Boyutlu Uzay" (14 Nisan 1995) Bölüm 9. N boyutlu uzay
  10. "Kodlama Teorisi - Bilginin Temsili, Bölüm I" (18 Nisan 1995) Bölüm 10. Kodlama Teorisi - I
  11. "Kodlama Teorisi - Bilginin Temsili, Bölüm II" (20 Nisan 1995) Bölüm 11. Kodlama Teorisi - II
  12. "Hata Düzeltme Kodları" (21 Nisan 1995) Bölüm 12. Hata Düzeltme Kodları
  13. "Bilgi Teorisi" (25 Nisan 1995) Bölüm 13. Bilgi Teorisi
  14. "Dijital Filtreler, Bölüm I" (27 Nisan 1995) Bölüm 14. Dijital Filtreler - 1
  15. "Dijital Filtreler, Bölüm II" (28 Nisan 1995) Bölüm 15. Dijital Filtreler - 2
  16. "Dijital Filtreler, Bölüm III" (2 Mayıs 1995) Bölüm 16. Dijital Filtreler - 3
  17. "Dijital Filtreler, Bölüm IV" (4 Mayıs 1995) Bölüm 17. Dijital Filtreler - IV
  18. "Simülasyon, Bölüm I" (5 Mayıs 1995) Bölüm 18. Modelleme - I
  19. "Simülasyon, Bölüm II" (9 Mayıs 1995) Bölüm 19. Modelleme - II
  20. "Simülasyon, Bölüm III" (11 Mayıs 1995) Bölüm 20. Modelleme - III
  21. "Fiber Optik" (12 Mayıs 1995) Bölüm 21. Fiber optik
  22. "Bilgisayar Destekli Öğretim" (16 Mayıs 1995) Bölüm 22: Bilgisayar Destekli Öğretim (CAI)
  23. "Matematik" (18 Mayıs 1995) Bölüm 23. Matematik
  24. "Kuantum Mekaniği" (19 Mayıs 1995) Bölüm 24. Kuantum mekaniği
  25. "Yaratıcılık" (23 Mayıs 1995). Tercüme: Bölüm 25. Yaratıcılık
  26. "Uzmanlar" (25 Mayıs 1995) Bölüm 26. Uzmanlar
  27. "Güvenilmez Veriler" (26 Mayıs 1995) Bölüm 27. Güvenilmez veriler
  28. "Sistem Mühendisliği" (30 Mayıs 1995) Bölüm 28. Sistem Mühendisliği
  29. "Ölçtüğünüzü alırsınız" (1 Haziran 1995) Bölüm 29: Ölçtüğünüzü elde edersiniz
  30. "Ne bildiğimizi nasıl biliyoruz?" (Haziran 2, 1995) 10 dakikalık parçalar halinde tercüme edin
  31. Hamming, “Siz ve Araştırmanız” (6 Haziran 1995). Çeviri: Siz ve işiniz

Kitabın çevirisine, düzenine ve yayınlanmasına kim yardım etmek ister - kişisel bir mesaj veya e-postayla yazın [e-posta korumalı]

Kaynak: habr.com

Yorum ekle