Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

Biz bunu etdik!

“Bu kursun məqsədi sizi texniki gələcəyinizə hazırlamaqdır.”

Riçard Hamminq: Fəsil 13. İnformasiya NəzəriyyəsiSalam, Habr. Möhtəşəm məqaləni xatırlayın "Sən və işin" (+219, 2588 əlfəcin, 429k oxunuş)?

Beləliklə, Hamming (bəli, bəli, özünə nəzarət və özünü düzəltmə Hamming kodları) bütövlük var книга, mühazirələri əsasında yazılmışdır. Tərcümə edirik, çünki kişi öz fikrini deyir.

Bu, təkcə İT haqqında deyil, inanılmaz dərəcədə sərin insanların düşüncə tərzi haqqında bir kitabdır. “Bu, yalnız müsbət düşüncənin gücləndirilməsi deyil; böyük iş görmək şansını artıran şərtləri təsvir edir”.

Tərcümə üçün Andrey Paxomova təşəkkür edirik.

İnformasiya Nəzəriyyəsi 1940-cı illərin sonlarında C. E. Shannon tərəfindən hazırlanmışdır. Bell Labs rəhbərliyi onu "Ünsiyyət nəzəriyyəsi" adlandırmaqda israr etdi, çünki... bu daha dəqiq addır. Məlum səbəblərə görə, "İnformasiya nəzəriyyəsi" adı ictimaiyyətə daha çox təsir edir, buna görə də Şennon onu seçdi və bu günə qədər bildiyimiz addır. Adın özü nəzəriyyənin informasiya ilə məşğul olduğunu göstərir ki, bu da informasiya əsrinə getdikcə onu vacib edir. Bu fəsildə mən bu nəzəriyyədən bir neçə əsas nəticəyə toxunacağam, bu nəzəriyyənin bəzi fərdi müddəalarına dair ciddi deyil, intuitiv sübutlar təqdim edəcəyəm ki, siz “İnformasiya Nəzəriyyəsi”nin əslində nə olduğunu, onu harada tətbiq edə biləcəyinizi başa düşəsiniz. və harada deyil.

Əvvəla, “informasiya” nədir? Şennon məlumatı qeyri-müəyyənliklə eyniləşdirir. O, ehtimalı p olan hadisə baş verdikdə aldığınız məlumatın kəmiyyət ölçüsü kimi hadisənin baş vermə ehtimalının mənfi loqarifmini seçdi. Məsələn, sizə Los-Ancelesdə havanın dumanlı olduğunu desəm, o zaman p 1-ə yaxındır, bu, həqiqətən də bizə çox məlumat vermir. Amma desəm ki, iyun ayında Montereydə yağış yağır, mesajda qeyri-müəyyənlik olacaq və daha çox məlumat olacaq. Etibarlı hadisə heç bir məlumat ehtiva etmir, çünki log 1 = 0.

Buna daha ətraflı baxaq. Şennon hesab edirdi ki, məlumatın kəmiyyət ölçüsü p hadisəsinin baş vermə ehtimalının davamlı funksiyası olmalıdır və müstəqil hadisələr üçün əlavə olmalıdır - iki müstəqil hadisənin baş verməsi nəticəsində əldə edilən məlumatın miqdarı, p hadisəsinin baş vermə ehtimalına bərabər olmalıdır. birgə hadisənin baş verməsi nəticəsində əldə edilən məlumatların miqdarı. Məsələn, zər və sikkə atışının nəticəsi adətən müstəqil hadisələr kimi qəbul edilir. Yuxarıdakıları riyaziyyat dilinə tərcümə edək. Əgər I (p) ehtimalı p olan hadisədə olan məlumatın miqdarıdırsa, onda p1 ehtimalı ilə x və p2 ehtimalı ilə y olan iki müstəqil hadisədən ibarət birgə hadisə üçün alırıq.

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi
(x və y müstəqil hadisələrdir)

Bu, bütün p1 və p2 üçün doğru olan funksional Koşi tənliyidir. Bu funksional tənliyi həll etmək üçün fərz edək ki

p1 = p2 = p,

bu verir

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

Əgər p1 = p2 və p2 = p olarsa

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

və s. Eksponensiallar üçün standart metoddan istifadə edərək bu prosesi genişləndirmək, bütün rasional ədədlər üçün m/n aşağıdakılar doğrudur.

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

İnformasiya ölçüsünün fərz edilən davamlılığından belə nəticə çıxır ki, loqarifmik funksiya Koşi funksional tənliyinin yeganə davamlı həllidir.

İnformasiya nəzəriyyəsində loqarifm əsasını 2 qəbul etmək adi haldır, ona görə də ikili seçim tam olaraq 1 bit məlumat ehtiva edir. Buna görə də məlumat düsturla ölçülür

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

Gəlin yuxarıda nə baş verdiyini dayandıraq və anlayaq. Əvvəla, biz “informasiya” anlayışını müəyyən etmədik, sadəcə olaraq onun kəmiyyət ölçüsünün düsturunu müəyyən etdik.

İkincisi, bu tədbir qeyri-müəyyənliyə məruz qalır və maşınlar üçün - məsələn, telefon sistemləri, radio, televiziya, kompüterlər və s. üçün ağlabatan dərəcədə uyğun olsa da, informasiyaya insanların normal münasibətini əks etdirmir.

Üçüncüsü, bu, nisbi ölçüdür, bu, sizin biliklərinizin hazırkı vəziyyətindən asılıdır. Təsadüfi ədədlər generatorundan "təsadüfi ədədlər" axınına baxsanız, hər bir növbəti nömrənin qeyri-müəyyən olduğunu güman edirsiniz, lakin "təsadüfi ədədlərin" hesablanması düsturunu bilirsinizsə, növbəti nömrə məlum olacaq və buna görə də olmayacaq. məlumatları ehtiva edir.

Beləliklə, Şennonun məlumat tərifi bir çox hallarda maşınlar üçün uyğundur, lakin sözün insan anlayışına uyğun gəlmir. Məhz bu səbəbdən “İnformasiya nəzəriyyəsi” “Ünsiyyət nəzəriyyəsi” adlandırılmalı idi. Bununla belə, tərifləri (nəzəriyyəyə ilkin populyarlıq qazandıran və hələ də insanlara bu nəzəriyyənin “məlumat”la əlaqəli olduğunu düşünməyə vadar edən) dəyişdirmək üçün çox gecdir, ona görə də biz onlarla yaşamalıyıq, lakin eyni zamanda Şennonun məlumat tərifinin onun ümumi istifadə edilən mənasından nə qədər uzaq olduğunu aydın başa düşür. Şennonun məlumatları tamamilə fərqli bir şeylə, yəni qeyri-müəyyənliklə məşğul olur.

Hər hansı bir terminologiya təklif edəndə bu barədə düşünmək lazımdır. Təklif olunan tərif, məsələn, Şennonun məlumat tərifi sizin orijinal ideyanızla nə dərəcədə uyğundur və o, nə dərəcədə fərqlidir? Konsepsiya haqqında əvvəlki baxışınızı tam olaraq əks etdirən termin demək olar ki, yoxdur, lakin son nəticədə konsepsiyanın mənasını əks etdirən istifadə olunan terminologiyadır, ona görə də aydın təriflər vasitəsilə nəyisə rəsmiləşdirmək həmişə müəyyən səs-küyə səbəb olur.

Əlifbası pi ehtimalları olan q simvollarından ibarət olan sistemi nəzərdən keçirək. Bu halda orta məlumat miqdarı sistemdə (onun gözlənilən dəyəri) bərabərdir:

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

Buna {pi} ehtimal paylanması ilə sistemin entropiyası deyilir. Biz "entropiya" terminindən istifadə edirik, çünki eyni riyazi forma termodinamikada və statistik mexanikada görünür. Məhz buna görə də “entropiya” termini öz ətrafında müəyyən əhəmiyyət aurası yaradır ki, bu da son nəticədə özünü doğrultmur. Eyni riyazi qeyd forması simvolların eyni şərhini nəzərdə tutmur!

Ehtimal paylanmasının entropiyası kodlaşdırma nəzəriyyəsində böyük rol oynayır. İki fərqli ehtimal paylanması pi və qi üçün Gibbs bərabərsizliyi bu nəzəriyyənin mühüm nəticələrindən biridir. Beləliklə, biz bunu sübut etməliyik

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

Sübut açıq bir qrafikə əsaslanır, Şek. 13.I, bunu göstərir

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

və bərabərlik yalnız x = 1 olduqda əldə edilir. Bərabərsizliyi cəminin hər bir üzvünə sol tərəfdən tətbiq edək:

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

Rabitə sisteminin əlifbası q simvollarından ibarətdirsə, onda hər bir simvolun ötürülmə ehtimalını qi = 1/q alaraq və q əvəz edərək Gibbs bərabərsizliyindən alırıq.

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

Şəkil 13.I

Bu o deməkdir ki, əgər bütün q simvollarının ötürülmə ehtimalı eyni və bərabərdirsə - 1 / q, onda maksimum entropiya ln q-a bərabərdir, əks halda bərabərsizlik özünü saxlayır.

Unikal şəkildə deşifrə edilə bilən kod vəziyyətində biz Kraft bərabərsizliyinə sahibik

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

İndi psevdoehtimalları müəyyən etsək

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

əlbəttə hara Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi= 1, Gibbs bərabərsizliyindən irəli gəlir,

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

və bir az cəbr tətbiq edin (yadda saxlayın ki, K ≤ 1, ona görə də loqarifmik termini atıb, bəlkə də bərabərsizliyi daha sonra gücləndirə bilərik), alırıq

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

burada L orta kod uzunluğudur.

Beləliklə, entropiya orta kod sözünün uzunluğu L olan hər hansı simvol-simvol kodu üçün minimum məhduddur. Bu, müdaxiləsiz kanal üçün Şennon teoremidir.

İndi məlumatın müstəqil bitlər axını kimi ötürüldüyü və səs-küyün mövcud olduğu rabitə sistemlərinin məhdudiyyətləri haqqında əsas teoremi nəzərdən keçirin. Bir bitin düzgün ötürülmə ehtimalının P > 1/2 olduğu və ötürülmə zamanı bit dəyərinin tərsinə çevrilmə ehtimalının (səhv baş verəcək) Q = 1 - P-ə bərabər olduğu başa düşülür. Rahatlıq üçün biz fərz edək ki, səhvlər müstəqildir və hər göndərilən bit üçün xəta ehtimalı eynidir - yəni rabitə kanalında “ağ səs-küy” var.

Bir mesajda kodlanmış n bitdən ibarət uzun bir axının yolu bir bitlik kodun n - ölçülü genişləndirilməsidir. n-nin qiymətini sonra müəyyən edəcəyik. N-ölçülü fəzada bir nöqtə kimi n-bitlərdən ibarət mesajı nəzərdən keçirək. Bizim n-ölçülü fəzamız olduğundan - və sadəlik üçün hər bir mesajın eyni baş vermə ehtimalına malik olduğunu güman edəcəyik - M mümkün mesaj var (M də sonra müəyyən ediləcək), ona görə də göndərilən hər hansı mesajın ehtimalı belədir.

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi
(göndərən)
Cədvəl 13.II

Sonra, kanal tutumu ideyasını nəzərdən keçirin. Təfərrüatlara varmadan, kanalın tutumu ən səmərəli kodlaşdırmanın istifadəsini nəzərə alaraq rabitə kanalı üzərində etibarlı şəkildə ötürülə bilən məlumatın maksimum miqdarı kimi müəyyən edilir. Rabitə kanalı vasitəsilə onun tutumundan daha çox məlumatın ötürülə biləcəyinə dair heç bir arqument yoxdur. Bu, ikili simmetrik kanal (bizim vəziyyətimizdə istifadə etdiyimiz) üçün sübut edilə bilər. Bitləri göndərərkən kanal tutumu kimi müəyyən edilir

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

burada, əvvəlki kimi, P hər hansı göndərilən bitdə səhv olma ehtimalıdır. n müstəqil bit göndərilərkən kanal tutumu ilə verilir

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

Əgər kanal tutumuna yaxın olsaq, o zaman ai, i = 1, ..., M simvollarının hər biri üçün demək olar ki, bu qədər məlumat göndərməliyik. Hər bir ai simvolunun baş vermə ehtimalının 1/M olduğunu nəzərə alsaq, alırıq

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

biz M bərabər ehtimal mesaj ai hər hansı göndərmək zaman, biz var

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

n bit göndərildikdə, nQ xətalarının baş verəcəyini gözləyirik. Praktikada n-bitlərdən ibarət mesaj üçün qəbul edilən mesajda təxminən nQ xətalarımız olacaq. Böyük n üçün nisbi variasiya (variasiya = paylanma eni, )
n artdıqca səhvlərin sayının paylanması getdikcə daralacaq.

Beləliklə, ötürücü tərəfdən mesajı götürürəm ki, onun ətrafında radiuslu bir kürə göndərib çəkin.

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

gözlənilən səhv sayından e2-yə bərabər olan bir qədər böyükdür Q, (Şəkil 13.II). Əgər n kifayət qədər böyükdürsə, o zaman bu sferanın hüdudlarından kənara çıxan qəbuledici tərəfdə bj mesaj nöqtəsinin görünməsinin ixtiyari kiçik ehtimalı var. Vəziyyəti ötürücü nöqteyi-nəzərdən gördüyüm kimi eskiz edək: ai mesajından qəbul edilən bj mesajına normal paylanmaya bərabər (və ya demək olar ki, bərabər) xəta ehtimalı ilə maksimuma çatan istənilən radiusumuz var. nQ. Hər hansı verilmiş e2 üçün n o qədər böyükdür ki, nəticədə bj nöqtəsinin mənim sferamdan kənarda olma ehtimalı istədiyiniz qədər kiçikdir.

İndi eyni vəziyyətə sizin tərəfdən baxaq (şək. 13.III). Qəbul edən tərəfdə n ölçülü fəzada qəbul edilən bj nöqtəsinin ətrafında eyni radiuslu r S(r) sferası var ki, əgər alınan mesaj bj mənim sferamın daxilindədirsə, mənim göndərdiyim mesaj ai sizin sferamın daxilindədir. kürə.

Səhv necə baş verə bilər? Səhv aşağıdakı cədvəldə təsvir olunan hallarda baş verə bilər:

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

Şəkil 13.III

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

Burada görürük ki, qəbul edilmiş nöqtə ətrafında qurulmuş sferada mümkün göndərilən şifrələnməmiş mesaja uyğun gələn ən azı bir nöqtə daha varsa, ötürmə zamanı xəta baş verdi, çünki bu mesajlardan hansının ötürüldüyünü müəyyən edə bilməzsiniz. Göndərilən mesaj o zaman xətasız olur ki, ona uyğun olan nöqtə sferada olsun və verilən kodda eyni sferada olan başqa nöqtələr mümkün deyil.

Əgər ai mesajı göndərilibsə, Pe xəta ehtimalı üçün riyazi tənliyimiz var

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

Birinci amili ikinci müstəvidə 1 olaraq götürərək xaric edə bilərik. Beləliklə, bərabərsizliyi əldə edirik

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

Aydındır ki

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

buna görə

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

sağdakı son müddətə yenidən müraciət edin

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

Kifayət qədər böyük n götürdükdə, birinci termini istədiyiniz qədər kiçik götürə bilərsiniz, deyək ki, bəzi d ədədindən az. Ona görə də bizdə var

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

İndi n bitdən ibarət M mesajı kodlaşdırmaq üçün sadə əvəzetmə kodunu necə qura biləcəyimizə baxaq. Kodun dəqiq necə qurulacağına dair heç bir fikri olmayan (səhvləri düzəldən kodlar hələ icad edilməmişdi), Şennon təsadüfi kodlaşdırmanı seçdi. Mesajdakı n bitin hər biri üçün bir sikkə çevirin və M mesajı üçün prosesi təkrarlayın. Ümumilikdə, nM sikkə çevirmək lazımdır, buna görə də mümkündür

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

eyni ehtimalı olan kod lüğətləri ½nM. Əlbəttə ki, kod kitabçasının yaradılmasının təsadüfi prosesi o deməkdir ki, dublikatların, eləcə də bir-birinə yaxın olacaq və buna görə də ehtimal olunan səhvlərin mənbəyi olacaq kod nöqtələrinin olması ehtimalı var. Sübut etmək lazımdır ki, əgər bu hər hansı kiçik seçilmiş xəta səviyyəsindən böyük ehtimalla baş vermirsə, verilmiş n kifayət qədər böyükdür.
Əhəmiyyətli məqam odur ki, Şennon orta xətanı tapmaq üçün bütün mümkün kod kitablarını orta hesabla götürdü! Bütün mümkün təsadüfi kod kitabları dəstinin orta dəyərini göstərmək üçün Av[.] simvolundan istifadə edəcəyik. Sabit d üzərində orta hesablama, əlbəttə ki, sabiti verir, çünki orta hesabla hər bir termin cəminin hər bir üzvü ilə eynidir,

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

artırıla bilər (M-1 M-ə gedir)

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

Hər hansı bir mesaj üçün, bütün kod kitabları üzrə orta hesablama aparılarkən, kodlaşdırma bütün mümkün dəyərlərdən keçir, ona görə də nöqtənin sferada olmasının orta ehtimalı sferanın həcminin ümumi məkan həcminə nisbətidir. Kürənin həcmi

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

burada s=Q+e2 <1/2 və ns tam ədəd olmalıdır.

Sağdakı son termin bu məbləğdə ən böyüyüdür. Əvvəlcə faktoriallar üçün Stirling düsturundan istifadə edərək onun dəyərini qiymətləndirək. Daha sonra qarşısındakı terminin azalan əmsalına baxacağıq, qeyd edək ki, biz sola doğru hərəkət etdikcə bu əmsal artır və beləliklə, biz: (1) cəminin qiymətini həndəsi irəliləyişin cəmi ilə məhdudlaşdıra bilərik. bu ilkin əmsal, (2) həndəsi irəliləyişi ns-dən sonsuz sayda həddə genişləndirmək, (3) sonsuz həndəsi irəliləyişin cəmini hesablamaq (standart cəbr, əhəmiyyətli bir şey yoxdur) və nəhayət, məhdudlaşdırıcı dəyəri əldə etmək (kifayət qədər böyük üçün) n):

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

H(s) entropiyasının binomial eynilikdə necə göründüyünə diqqət yetirin. Qeyd edək ki, Taylor seriyasının genişləndirilməsi H(s)=H(Q+e2) yalnız birinci törəmə nəzərə alınmaqla və bütün digərlərinə məhəl qoyulmadan əldə edilmiş təxminləri verir. İndi son ifadəni bir araya gətirək:

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

hara

Riçard Hamminq: Fəsil 13. İnformasiya Nəzəriyyəsi

Etməli olduğumuz yeganə şey e2-ni elə seçməkdir ki, e3 < e1, sonra isə n kifayət qədər böyük olduğu müddətcə sonuncu termin özbaşına kiçik olacaq. Nəticə etibarı ilə, orta PE xətası, özbaşına C-yə yaxın kanal tutumu ilə istənilən qədər kiçik əldə edilə bilər.
Bütün kodların ortalaması kifayət qədər kiçik bir səhvə malikdirsə, ən azı bir kod uyğun olmalıdır, deməli, ən azı bir uyğun kodlaşdırma sistemi var. Bu, Şennonun əldə etdiyi mühüm nəticədir - "Səs-küylü kanal üçün Şennon teoremi", baxmayaraq ki, qeyd etmək lazımdır ki, o, mənim istifadə etdiyim sadə binar simmetrik kanaldan daha çox ümumi hal üçün bunu sübut etdi. Ümumi vəziyyət üçün riyazi hesablamalar daha mürəkkəbdir, lakin fikirlər o qədər də fərqli deyil, buna görə də çox vaxt müəyyən bir halın nümunəsindən istifadə edərək teoremin əsl mənasını aça bilərsiniz.

Nəticəni tənqid edək. Biz dəfələrlə təkrar etdik: "Kifayət qədər böyük n üçün." Amma n nə qədər böyükdür? Həqiqətən həm kanal tutumuna yaxın olmaq, həm də düzgün məlumat ötürülməsinə əmin olmaq istəyirsinizsə, çox, çox böyükdür! O qədər böyükdür ki, daha sonra onu kodlaşdırmaq üçün kifayət qədər bitdən ibarət mesaj toplamaq üçün çox uzun müddət gözləməli olacaqsınız. Bu halda, təsadüfi kod lüğətinin ölçüsü sadəcə böyük olacaq (axı, belə bir lüğət n və M çox böyük olmasına baxmayaraq, bütün Mn bitlərinin tam siyahısından daha qısa formada təqdim edilə bilməz)!

Səhvləri düzəldən kodlar çox uzun mesaj gözləməkdən və sonra onu çox böyük kod kitabları vasitəsilə kodlaşdırmaqdan və deşifrə etməkdən çəkinirlər, çünki onlar kod kitablarının özündən qaçırlar və əvəzinə adi hesablamalardan istifadə edirlər. Sadə nəzəriyyədə belə kodlar kanal tutumuna yaxınlaşmaq qabiliyyətini itirməyə meyllidir və hələ də aşağı xəta dərəcəsini saxlayır, lakin kod çoxlu sayda səhvləri düzəldəndə yaxşı işləyir. Başqa sözlə desək, əgər siz xətaların düzəldilməsi üçün müəyyən bir kanal tutumunu ayırsanız, o zaman səhvlərin düzəldilməsi imkanından çox vaxt istifadə etməlisiniz, yəni hər göndərilən mesajda çoxlu sayda səhvlər düzəldilməlidir, əks halda bu tutumu israf etmiş olarsınız.

Eyni zamanda, yuxarıda sübut edilmiş teorem hələ də mənasız deyil! Bu göstərir ki, səmərəli ötürmə sistemləri çox uzun bit sətirləri üçün ağıllı kodlaşdırma sxemlərindən istifadə etməlidir. Buna misal olaraq xarici planetlərin hüdudlarından kənarda uçmuş peykləri göstərmək olar; Onlar Yerdən və Günəşdən uzaqlaşdıqca, verilənlər blokunda getdikcə daha çox səhvləri düzəltməyə məcbur olurlar: bəzi peyklər təxminən 5 Vt enerji verən günəş panellərindən, digərləri isə təxminən eyni gücü təmin edən nüvə enerjisi mənbələrindən istifadə edirlər. Enerji təchizatının aşağı gücü, ötürücü qabların kiçik ölçüsü və Yer kürəsində qəbuledici qabların məhdud ölçüsü, siqnalın qət etməli olduğu nəhəng məsafə - bütün bunlar bir sistem qurmaq üçün yüksək səviyyəli səhvlərin düzəldilməsi ilə kodların istifadəsini tələb edir. effektiv rabitə sistemi.

Yuxarıdakı sübutda istifadə etdiyimiz n ölçülü fəzaya qayıdaq. Onu müzakirə edərkən göstərdik ki, sferanın demək olar ki, bütün həcmi xarici səthin yaxınlığında cəmləşib - beləliklə, demək olar ki, göndərilən siqnal qəbul edilmiş siqnalın ətrafında qurulmuş sferanın səthinə yaxın yerləşəcək, hətta nisbətən belə bir sferanın kiçik radiusu. Buna görə də təəccüblü deyil ki, qəbul edilən siqnal, ixtiyari çoxlu sayda səhvləri düzəltdikdən sonra, nQ, səhvsiz bir siqnala ixtiyari olaraq yaxın olur. Daha əvvəl müzakirə etdiyimiz keçid qabiliyyəti bu fenomeni başa düşmək üçün açardır. Nəzərə alın ki, səhvlərin düzəldilməsi Hamming kodları üçün qurulmuş oxşar sferalar bir-birini üst-üstə düşmür. n-ölçülü fəzada çoxlu sayda demək olar ki, ortoqonal ölçülər nə üçün M kürələrini kosmosa az üst-üstə düşməklə yerləşdirə biləcəyimizi göstərir. Deşifrə zamanı yalnız az sayda səhvlərə səbəb ola biləcək kiçik, özbaşına kiçik bir üst-üstə düşməyə icazə versək, kosmosda kürələrin sıx yerləşdirilməsini əldə edə bilərik. Hamming müəyyən bir səhv düzəliş səviyyəsinə zəmanət verdi, Shannon - aşağı səhv ehtimalı, lakin eyni zamanda Hamming kodlarının edə bilmədiyi faktiki ötürmə qabiliyyətini rabitə kanalının tutumuna yaxın saxlayır.

İnformasiya nəzəriyyəsi bizə səmərəli sistemin necə dizayn ediləcəyini demir, lakin səmərəli kommunikasiya sistemlərinə doğru yolu göstərir. O, maşından maşına kommunikasiya sistemlərinin qurulması üçün qiymətli bir vasitədir, lakin əvvəllər qeyd edildiyi kimi, insanların bir-biri ilə ünsiyyət qurmalarına çox az aidiyyəti var. Bioloji irsiyyətin texniki kommunikasiya sistemləri kimi olması sadəcə məlum deyil, ona görə də informasiya nəzəriyyəsinin genlərə necə tətbiq olunduğu hazırda aydın deyil. Bizim cəhd etməkdən başqa çarəmiz yoxdur və əgər uğur bizə bu fenomenin maşına bənzər təbiətini göstərirsə, onda uğursuzluq informasiyanın təbiətinin digər mühüm aspektlərinə işarə edəcək.

Çox da yayınmayaq. Gördük ki, bütün orijinal təriflər az və ya çox dərəcədə bizim ilkin inanclarımızın mahiyyətini ifadə etməlidir, lakin onlar müəyyən dərəcədə təhrif ilə xarakterizə olunur və buna görə də tətbiq olunmur. Ənənəvi olaraq qəbul edilir ki, son nəticədə bizim istifadə etdiyimiz tərif əslində mahiyyəti müəyyən edir; lakin, bu yalnız bizə şeyləri necə emal edəcəyimizi izah edir və heç bir şəkildə bizə heç bir məna vermir. Riyazi dairələrdə çox bəyənilən postulyasiya yanaşması praktikada arzuolunmaz bir şey qoyur.

İndi biz tərifin istədiyiniz qədər dairəvi və nəticədə yanıltıcı olduğu IQ testlərinin nümunəsinə baxacağıq. Zəkanın ölçülməsi üçün nəzərdə tutulan bir test yaradılır. Daha sonra onu mümkün qədər ardıcıl etmək üçün ona yenidən baxılır, sonra dərc edilir və sadə üsulla kalibrlənir ki, ölçülmüş “kəşfiyyat” normal paylanmış olsun (əlbəttə ki, kalibrləmə əyrisində). Bütün təriflər nəinki ilk dəfə təklif olunduqda, həm də daha sonralar, çıxarılan nəticələrdə istifadə olunduqda yenidən yoxlanılmalıdır. Tərif sərhədləri həll olunan problemə nə dərəcədə uyğundur? Bir şəraitdə verilən təriflər nə qədər tez-tez tamamilə fərqli şəraitlərdə tətbiq olunur? Bu olduqca tez-tez olur! Həyatınızda istər-istəməz qarşılaşacağınız humanitar elmlərdə bu daha tez-tez olur.

Beləliklə, informasiya nəzəriyyəsinin bu təqdimatının məqsədlərindən biri onun faydalılığını nümayiş etdirməklə yanaşı, sizi bu təhlükədən xəbərdar etmək və ya ondan istədiyiniz nəticəni əldə etmək üçün necə istifadə edəcəyinizi dəqiq göstərmək idi. Çoxdan qeyd edilmişdir ki, ilkin təriflər sonda nə tapdığınızı, göründüyündən daha çox müəyyən edir. İlkin təriflər yalnız hər hansı yeni vəziyyətdə deyil, həm də uzun müddət işlədiyiniz sahələrdə sizdən çox diqqət tələb edir. Bu, əldə edilən nəticələrin nə dərəcədə faydalı bir şey deyil, tautologiya olduğunu başa düşməyə imkan verəcəkdir.

Eddinqtonun məşhur hekayəsi dənizdə torla balıq tutan insanlardan bəhs edir. Tutduqları balığın ölçüsünü öyrəndikdən sonra dənizdə olan balıqların minimum ölçüsünü müəyyən etdilər! Onların gəldiyi nəticə reallıqdan deyil, istifadə edilən alətdən irəli gəlirdi.

Davam etmək üçün ...

Kitabın tərcüməsi, tərtibatı və nəşrində kim kömək etmək istəyir - şəxsi mesaj və ya elektron poçtla yazın [e-poçt qorunur]

Yeri gəlmişkən, daha bir gözəl kitabın tərcüməsinə də başlamışıq - "Xəyal maşını: Kompüter İnqilabının Hekayəsi")

Xüsusilə axtarırıq tərcümə etməyə kömək edə bilənlər yalnız videoda olan bonus bölməsi. (10 dəqiqəlik transfer, ilk 20 artıq alındı)

Kitabın məzmunu və tərcümə edilmiş fəsillərMüqəddimə

  1. Elm və Mühəndislik Etmə Sənətinə Giriş: Öyrənməyi öyrənmək (28 Mart 1995) Tərcümə: 1-ci fəsil
  2. "Rəqəmsal (diskret) inqilabın əsasları" (30 mart 1995) Fəsil 2. Rəqəmsal (diskret) inqilabın əsasları
  3. "Kompüterlərin tarixi - Hardware" (31 mart 1995) Fəsil 3. Kompüterlərin tarixi - Aparat
  4. "Kompüterlərin tarixi - proqram təminatı" (4 aprel 1995) Fəsil 4. Kompüterlərin tarixi - Proqram təminatı
  5. "Kompüterlərin tarixi - Tətbiqlər" (6 aprel 1995) Fəsil 5: Kompüterlərin tarixi - Praktik tətbiqlər
  6. "Süni intellekt - I hissə" (7 aprel 1995) Fəsil 6. Süni intellekt - 1
  7. "Süni intellekt - II hissə" (11 aprel 1995) Fəsil 7. Süni intellekt - II
  8. "Süni intellekt III" (13 aprel 1995) Fəsil 8. Süni intellekt-III
  9. "n-Dimensional Space" (14 aprel 1995) Fəsil 9. N-ölçülü fəza
  10. "Kodlaşdırma Nəzəriyyəsi - Məlumatın Təmsil olunması, I hissə" (18 aprel 1995) Fəsil 10. Kodlaşdırma nəzəriyyəsi - I
  11. "Kodlaşdırma Nəzəriyyəsi - Məlumatın Təmsil edilməsi, II hissə" (20 aprel 1995) Fəsil 11. Kodlaşdırma nəzəriyyəsi - II
  12. "Səhvləri düzəldən kodlar" (21 aprel 1995-ci il) Fəsil 12. Səhvlərin düzəldilməsi kodları
  13. “İnformasiya nəzəriyyəsi” (25 aprel 1995) Fəsil 13. İnformasiya nəzəriyyəsi
  14. "Rəqəmsal filtrlər, I hissə" (27 aprel 1995) Fəsil 14. Rəqəmsal Filtrlər - 1
  15. "Rəqəmsal filtrlər, II hissə" (28 aprel 1995) Fəsil 15. Rəqəmsal Filtrlər - 2
  16. "Rəqəmsal filtrlər, III hissə" (2 may 1995) Fəsil 16. Rəqəmsal Filtrlər - 3
  17. "Rəqəmsal filtrlər, IV hissə" (4 may 1995) Fəsil 17. Rəqəmsal filtrlər - IV
  18. "Simulyasiya, I hissə" (5 may 1995) Fəsil 18. Modelləşdirmə - I
  19. "Simulyasiya, II hissə" (9 may 1995) Fəsil 19. Modelləşdirmə - II
  20. "Simulyasiya, III hissə" (11 may 1995) Fəsil 20. Modelləşdirmə - III
  21. "Fiber Optik" (12 may 1995) Fəsil 21. Fiber optika
  22. "Kompüter Dəstəkli Təlimat" (16 may 1995) Fəsil 22: Kompüter dəstəkli təlimat (CAI)
  23. "Riyaziyyat" (18 may 1995) Fəsil 23. Riyaziyyat
  24. "Kvant mexanikası" (19 may 1995) Fəsil 24. Kvant mexanikası
  25. “Yaradıcılıq” (23 may 1995-ci il). Tərcümə: Fəsil 25. Yaradıcılıq
  26. "Ekspertlər" (25 may 1995) Fəsil 26. Ekspertlər
  27. "Etibarsız məlumatlar" (26 may 1995) Fəsil 27. Etibarsız məlumatlar
  28. "Sistem mühəndisliyi" (30 may 1995) Fəsil 28. Sistem mühəndisliyi
  29. "Ölçdüyünüzü alırsınız" (1 iyun 1995) Fəsil 29: Ölçdüyünüzü alırsınız
  30. "Biz nə bildiyimizi necə bilirik" (İyun 2, 1995) 10 dəqiqəlik hissələrə tərcümə edin
  31. Hamming, “Sən və sənin tədqiqatın” (6 iyun 1995). Tərcümə: Siz və işiniz

Kitabın tərcüməsi, tərtibatı və nəşrində kim kömək etmək istəyir - şəxsi mesaj və ya elektron poçtla yazın [e-poçt qorunur]

Mənbə: www.habr.com

Добавить комментарий