Richard Xemming: 13-bob. Axborot nazariyasi

Biz uddaladik!

"Ushbu kursning maqsadi sizni texnik kelajagingizga tayyorlashdir."

Richard Xemming: 13-bob. Axborot nazariyasiSalom, Xabr. Ajoyib maqolani eslang "Siz va ishingiz" (+219, 2588 xatcho'p, 429 ming o'qilgan)?

Shunday qilib, Xemming (ha, ha, o'z-o'zini nazorat qilish va o'z-o'zini tuzatish Hamming kodlari) bir butun bor kitob, ma'ruzalari asosida yozilgan. Biz uni tarjima qilamiz, chunki odam o'z fikrini aytadi.

Bu kitob nafaqat IT haqida, balki ajoyib odamlarning fikrlash tarzi haqidagi kitobdir. β€œBu shunchaki ijobiy fikrlashni kuchaytirish emas; u buyuk ishlarni amalga oshirish imkoniyatlarini oshiradigan shartlarni tasvirlaydi.

Tarjima uchun Andrey Paxomovga rahmat.

Axborot nazariyasi 1940-yillarning oxirida C. E. Shennon tomonidan ishlab chiqilgan. Bell Labs rahbariyati uni "Muloqot nazariyasi" deb atashini ta'kidladi, chunki... bu ancha aniqroq nom. Ma'lum sabablarga ko'ra, "Axborot nazariyasi" nomi jamoatchilikka ko'proq ta'sir ko'rsatadi, shuning uchun Shennon uni tanladi va biz hozirgi kungacha bilamiz. Nomning o'zi bu nazariya axborot bilan shug'ullanayotganini ko'rsatadi, bu esa biz axborot asriga chuqurroq kirib borishimizni muhim qiladi. Ushbu bobda men ushbu nazariyaning bir nechta asosiy xulosalariga to'xtalib o'taman, men "Axborot nazariyasi" aslida nima ekanligini, uni qayerda qo'llashingiz mumkinligini tushunishingiz uchun ushbu nazariyaning ba'zi individual qoidalarining qat'iy emas, balki intuitiv dalillarini keltiraman. va qaerda emas.

Avvalo, β€œaxborot” nima? Shennon axborotni noaniqlik bilan tenglashtiradi. U p ehtimoli bo'lgan voqea sodir bo'lganda olingan ma'lumotning miqdoriy o'lchovi sifatida hodisa ehtimolining salbiy logarifmini tanladi. Misol uchun, agar sizga Los-Anjelesdagi ob-havo tumanli ekanligini aytsam, u holda p 1 ga yaqin, bu bizga juda ko'p ma'lumot bermaydi. Ammo agar Montereyda iyun oyida yomg'ir yog'adi, desam, xabarda noaniqlik bo'ladi va u ko'proq ma'lumotni o'z ichiga oladi. Ishonchli hodisa hech qanday ma'lumotni o'z ichiga olmaydi, chunki log 1 = 0.

Keling, buni batafsil ko'rib chiqaylik. Shennon ma'lumotlarning miqdoriy o'lchovi p hodisa ehtimolining uzluksiz funktsiyasi bo'lishi kerak, va mustaqil hodisalar uchun u qo'shimcha bo'lishi kerak - ikkita mustaqil hodisaning sodir bo'lishi natijasida olingan ma'lumotlar miqdori teng bo'lishi kerak, deb hisobladi. qo'shma hodisaning yuzaga kelishi natijasida olingan ma'lumotlar miqdori. Misol uchun, zar va tanga o'ramining natijasi odatda mustaqil hodisalar sifatida ko'rib chiqiladi. Keling, yuqoridagilarni matematika tiliga tarjima qilaylik. Agar I (p) p ehtimolli hodisa tarkibidagi ma'lumotlar miqdori bo'lsa, u holda ikkita mustaqil hodisadan tashkil topgan qo'shma hodisa uchun p1 ehtimollik bilan x va p2 ehtimollik bilan y ni olamiz.

Richard Xemming: 13-bob. Axborot nazariyasi
(x va y mustaqil hodisalardir)

Bu barcha p1 va p2 uchun to'g'ri bo'lgan Koshi funktsional tenglamasidir. Ushbu funktsional tenglamani yechish uchun, deb faraz qiling

p1 = p2 = p,

bu beradi

Richard Xemming: 13-bob. Axborot nazariyasi

Agar p1 = p2 va p2 = p bo'lsa

Richard Xemming: 13-bob. Axborot nazariyasi

va hokazo. Ushbu jarayonni ko'rsatkichlar uchun standart usul yordamida kengaytirsak, barcha ratsional sonlar m/n uchun quyidagi to'g'ri bo'ladi.

Richard Xemming: 13-bob. Axborot nazariyasi

Axborot o'lchovining taxmin qilingan uzluksizligidan kelib chiqadiki, logarifmik funktsiya Koshi funktsional tenglamasining yagona uzluksiz yechimidir.

Axborot nazariyasida logarifm bazasini 2 ga olish odatiy holdir, shuning uchun ikkilik tanlov aniq 1 bit ma'lumotni o'z ichiga oladi. Shuning uchun ma'lumot formula bilan o'lchanadi

Richard Xemming: 13-bob. Axborot nazariyasi

Keling, to'xtatib turamiz va yuqorida nima bo'lganini tushunamiz. Avvalo, biz "axborot" tushunchasiga ta'rif bermadik, shunchaki uning miqdoriy o'lchovi formulasini aniqladik.

Ikkinchidan, bu o'lchov noaniqlikka bog'liq bo'lib, u mashinalar uchun (masalan, telefon tizimlari, radio, televizor, kompyuterlar va boshqalar) uchun oqilona mos bo'lsa-da, insonning ma'lumotga nisbatan normal munosabatini aks ettirmaydi.

Uchinchidan, bu nisbiy o'lchovdir, bu sizning bilimingizning hozirgi holatiga bog'liq. Agar siz tasodifiy sonlar generatoridan "tasodifiy raqamlar" oqimiga qarasangiz, har bir keyingi raqam noaniq deb hisoblaysiz, lekin agar siz "tasodifiy raqamlar" ni hisoblash formulasini bilsangiz, keyingi raqam ma'lum bo'ladi va shuning uchun bo'lmaydi. ma'lumotlarni o'z ichiga oladi.

Shunday qilib, Shennonning axborot ta'rifi ko'p hollarda mashinalar uchun mos keladi, lekin bu so'zni inson tushunishiga mos kelmaydi. Shuning uchun ham "Axborot nazariyasi" "Muloqot nazariyasi" deb nomlanishi kerak edi. Biroq, ta'riflarni o'zgartirish juda kech (bu nazariyaga o'zining dastlabki mashhurligini bergan va odamlarni bu nazariya "ma'lumot" bilan bog'liq deb o'ylashga majbur qiladi), shuning uchun biz ular bilan yashashimiz kerak, lekin ayni paytda siz Shannonning axborot ta'rifi uning keng tarqalgan ma'nosidan qanchalik uzoq ekanligini aniq tushunadi. Shennonning ma'lumotlari butunlay boshqacha, ya'ni noaniqlik bilan bog'liq.

Har qanday terminologiyani taklif qilganda, bu erda o'ylash kerak bo'lgan narsa. Shennonning axborot ta'rifi kabi taklif qilingan ta'rif sizning asl fikringizga qanday mos keladi va u qanchalik farq qiladi? Sizning kontseptsiya haqidagi oldingi qarashlaringizni aniq aks ettiruvchi deyarli hech qanday atama yo'q, lekin oxir-oqibat, bu kontseptsiyaning ma'nosini aks ettiruvchi ishlatiladigan atamadir, shuning uchun aniq ta'riflar orqali biror narsani rasmiylashtirish har doim shovqinni keltirib chiqaradi.

Alifbosi pi ehtimolli q belgilardan tashkil topgan tizimni ko'rib chiqaylik. Ushbu holatda ma'lumotlarning o'rtacha miqdori tizimda (uning kutilgan qiymati) teng:

Richard Xemming: 13-bob. Axborot nazariyasi

Bunga {pi} ehtimollik taqsimoti bilan tizimning entropiyasi deyiladi. Biz "entropiya" atamasidan foydalanamiz, chunki bir xil matematik shakl termodinamika va statistik mexanikada paydo bo'ladi. Shuning uchun "entropiya" atamasi o'z atrofida ma'lum bir ahamiyatga ega bo'lgan aurani yaratadi, bu oxir-oqibat oqlanmaydi. Belgilanishning bir xil matematik shakli belgilarning bir xil talqinini bildirmaydi!

Kodlash nazariyasida ehtimollik taqsimotining entropiyasi katta rol o'ynaydi. Ikki xil ehtimollik taqsimoti pi va qi uchun Gibbs tengsizligi bu nazariyaning muhim natijalaridan biridir. Shuning uchun biz buni isbotlashimiz kerak

Richard Xemming: 13-bob. Axborot nazariyasi

Dalil aniq grafikga asoslangan, rasm. 13.I, bu shuni ko'rsatadi

Richard Xemming: 13-bob. Axborot nazariyasi

va tenglik faqat x = 1 bo'lganda erishiladi. Tengsizlikni chap tomondan yig'indining har bir a'zosiga qo'llaymiz:

Richard Xemming: 13-bob. Axborot nazariyasi

Agar aloqa tizimining alifbosi q belgilardan iborat bo'lsa, u holda har bir belgining uzatilish ehtimoli qi = 1/q va o'rniga q ni qo'ysak, Gibbs tengsizligidan olamiz.

Richard Xemming: 13-bob. Axborot nazariyasi

Richard Xemming: 13-bob. Axborot nazariyasi

13.I-rasm

Bu shuni anglatadiki, agar barcha q belgilarni uzatish ehtimoli bir xil va - 1 / q ga teng bo'lsa, u holda maksimal entropiya ln q ga teng, aks holda tengsizlik o'rinli bo'ladi.

Noyob dekodlanadigan kod bo'lsa, bizda Kraft tengsizligi mavjud

Richard Xemming: 13-bob. Axborot nazariyasi

Endi psevdo-ehtimollarni aniqlasak

Richard Xemming: 13-bob. Axborot nazariyasi

qayerda albatta Richard Xemming: 13-bob. Axborot nazariyasi= 1, bu Gibbs tengsizligidan kelib chiqadi,

Richard Xemming: 13-bob. Axborot nazariyasi

va bir oz algebra qo'llang (esda tutingki, K ≀ 1, shuning uchun biz logarifmik atamani tashlab qo'yishimiz va ehtimol tengsizlikni keyinroq mustahkamlashimiz mumkin), biz olamiz

Richard Xemming: 13-bob. Axborot nazariyasi

bu erda L - o'rtacha kod uzunligi.

Shunday qilib, entropiya o'rtacha kodli so'z uzunligi L bo'lgan har qanday belgilar kodlari uchun minimal chegaralangan. Bu shovqinsiz kanal uchun Shennon teoremasi.

Endi axborot mustaqil bitlar oqimi sifatida uzatiladigan va shovqin mavjud bo'lgan aloqa tizimlarining cheklovlari haqidagi asosiy teoremani ko'rib chiqing. Bitta bitni to'g'ri uzatish ehtimoli P > 1/2 ekanligi tushuniladi va uzatish paytida bit qiymatining teskari bo'lish ehtimoli (xatolik yuzaga keladi) Q = 1 - P ga teng. Qulaylik uchun biz Xatolar mustaqil va har bir yuborilgan bit uchun xatolik ehtimoli bir xil deb hisoblaymiz - ya'ni aloqa kanalida "oq shovqin" mavjud.

Bitta xabarga kodlangan n bitdan iborat uzun oqimga ega bo'lishimiz bir bitli kodning n o'lchovli kengaytmasidir. n ning qiymatini keyinroq aniqlaymiz. n o'lchovli fazodagi nuqta sifatida n-bitlardan iborat xabarni ko'rib chiqing. Bizda n o'lchovli bo'shliq mavjud bo'lgani uchun - va soddaligi uchun biz har bir xabarning paydo bo'lish ehtimoli bir xil deb hisoblaymiz - M mumkin bo'lgan xabarlar mavjud (M ham keyinroq aniqlanadi), shuning uchun yuborilgan har qanday xabarning ehtimoli

Richard Xemming: 13-bob. Axborot nazariyasi

Richard Xemming: 13-bob. Axborot nazariyasi
(yuboruvchi)
13.II-jadval

Keyinchalik, kanal sig'imi g'oyasini ko'rib chiqing. Tafsilotlarga kirmasdan, kanal sig'imi eng samarali kodlashdan foydalanishni hisobga olgan holda, aloqa kanali orqali ishonchli uzatilishi mumkin bo'lgan maksimal ma'lumot miqdori sifatida belgilanadi. Aloqa kanali orqali uning sig'imidan ko'ra ko'proq ma'lumot uzatilishi mumkinligi haqida hech qanday dalil yo'q. Buni ikkilik simmetrik kanal uchun isbotlash mumkin (biz uni bizning holatlarimizda ishlatamiz). Bitlarni yuborishda kanal sig'imi sifatida belgilanadi

Richard Xemming: 13-bob. Axborot nazariyasi

Bu yerda, avvalgidek, P - yuborilgan bitda xato bo'lmasligi ehtimoli. n ta mustaqil bitni jo'natishda kanal sig'imi bilan beriladi

Richard Xemming: 13-bob. Axborot nazariyasi

Agar biz kanal sig'imiga yaqin bo'lsak, u holda ai, i = 1, ..., M belgilarining har biri uchun deyarli shu miqdordagi ma'lumotni yuborishimiz kerak. Har bir ai belgisining paydo bo'lish ehtimoli 1 / M ekanligini hisobga olsak, olamiz

Richard Xemming: 13-bob. Axborot nazariyasi

biz M teng ehtimolli xabarlar ai har qanday yuborish qachon, biz bor

Richard Xemming: 13-bob. Axborot nazariyasi

n bit yuborilganda, biz nQ xatolarini kutamiz. Amalda, n-bitlardan iborat xabar uchun biz qabul qilingan xabarda taxminan nQ xatolarga ega bo'lamiz. Katta n uchun nisbiy o'zgarish (variatsiya = tarqatish kengligi, )
xatolar sonining taqsimlanishi n ortishi bilan tobora torayib boradi.

Shunday qilib, uzatuvchi tomondan men xabarni yuboraman va uning atrofida radiusli sharni chizaman.

Richard Xemming: 13-bob. Axborot nazariyasi

bu e2 ga teng miqdor bilan kutilgan xatolar sonidan bir oz kattaroqdir Q, (13.II-rasm). Agar n etarlicha katta bo'lsa, u holda qabul qiluvchi tomonda bu sohadan tashqarida joylashgan bj xabar nuqtasi paydo bo'lishining ixtiyoriy ravishda kichik ehtimoli mavjud. Vaziyatni transmitter nuqtai nazaridan ko'rib turganimdek chizamiz: bizda uzatilgan xabardan ai qabul qilingan xabarga bj xatolik ehtimoli normal taqsimotga teng (yoki deyarli teng), maksimal darajaga yetadigan har qanday radius mavjud. ning nQ. Har qanday berilgan e2 uchun n shunchalik kattaki, natijada bj nuqtasining mening sferamdan tashqarida bo'lish ehtimoli siz xohlagancha kichikdir.

Endi xuddi shu holatni siz tomondan ko'rib chiqamiz (13.III-rasm). Qabul qiluvchi tomonda n o'lchovli fazoda qabul qilingan bj nuqtasi atrofida bir xil radiusli S(r) sfera mavjud bo'lib, agar qabul qilingan xabar bj mening sferam ichida bo'lsa, u holda men yuborgan xabar ai sizning ichingizda bo'ladi. shar.

Qanday qilib xatolik yuz berishi mumkin? Xato quyidagi jadvalda tavsiflangan hollarda yuzaga kelishi mumkin:

Richard Xemming: 13-bob. Axborot nazariyasi

13.III-rasm

Richard Xemming: 13-bob. Axborot nazariyasi

Bu erda biz ko'ramizki, agar qabul qilingan nuqta atrofida qurilgan sferada yuborilgan kodlanmagan xabarga mos keladigan kamida bitta nuqta bo'lsa, uzatish paytida xatolik yuz berdi, chunki siz ushbu xabarlarning qaysi biri uzatilganligini aniqlay olmaysiz. Yuborilgan xabar, agar unga mos keladigan nuqta sferada bo'lsa, xatosiz bo'ladi va berilgan kodda bir xil sferada bo'lgan boshqa nuqtalar bo'lmasa.

Agar ai xabari yuborilgan bo'lsa, Pe xato ehtimoli uchun bizda matematik tenglama mavjud

Richard Xemming: 13-bob. Axborot nazariyasi

Birinchi omilni ikkinchi hadda 1 deb olib, chiqarib tashlashimiz mumkin. Shunday qilib, biz tengsizlikka erishamiz

Richard Xemming: 13-bob. Axborot nazariyasi

Bu aniq

Richard Xemming: 13-bob. Axborot nazariyasi

shu sababli

Richard Xemming: 13-bob. Axborot nazariyasi

o'ngdagi oxirgi muddatga qayta murojaat qiling

Richard Xemming: 13-bob. Axborot nazariyasi

Yetarlicha katta boβ€˜lgan n ni olib, birinchi a’zoni kerakli darajada kichik, deylik, d sonidan kamroq olish mumkin. Shuning uchun bizda bor

Richard Xemming: 13-bob. Axborot nazariyasi

Keling, n bitdan iborat M xabarni kodlash uchun oddiy almashtirish kodini qanday yaratishimiz mumkinligini ko'rib chiqamiz. Kodni qanday aniq yaratishni bilmay (xatolarni tuzatuvchi kodlar hali ixtiro qilinmagan) Shennon tasodifiy kodlashni tanladi. Xabardagi n bitning har biri uchun tanga aylantiring va M xabar uchun jarayonni takrorlang. Hammasi bo'lib, nM tangalarni aylantirish kerak, shuning uchun bu mumkin

Richard Xemming: 13-bob. Axborot nazariyasi

Β½nM ehtimoli bir xil bo'lgan kodli lug'atlar. Albatta, kod kitobini yaratishning tasodifiy jarayoni takroriy nusxalar, shuningdek, bir-biriga yaqin bo'ladigan va shuning uchun ehtimoliy xatolar manbai bo'ladigan kod nuqtalari mavjudligini anglatadi. Agar bu har qanday kichik tanlangan xato darajasidan kattaroq ehtimol bilan sodir bo'lmasa, berilgan n etarlicha katta ekanligini isbotlash kerak.
Muhim nuqta shundaki, Shennon o'rtacha xatoni topish uchun barcha mumkin bo'lgan kod kitoblarini o'rtacha hisoblagan! Barcha mumkin bo'lgan tasodifiy kod kitoblari to'plamidagi o'rtacha qiymatni belgilash uchun Av[.] belgisidan foydalanamiz. Doimiy d dan o'rtacha olish, albatta, konstantani beradi, chunki o'rtacha hisoblash uchun har bir atama yig'indidagi barcha boshqa hadlar bilan bir xil bo'ladi,

Richard Xemming: 13-bob. Axborot nazariyasi

oshirish mumkin (M–1 M ga boradi)

Richard Xemming: 13-bob. Axborot nazariyasi

Har qanday berilgan xabar uchun, barcha kod kitoblari bo'yicha o'rtacha hisoblanganda, kodlash barcha mumkin bo'lgan qiymatlar bo'ylab ishlaydi, shuning uchun nuqtaning sharda bo'lishining o'rtacha ehtimoli sfera hajmining bo'shliqning umumiy hajmiga nisbati hisoblanadi. Sferaning hajmi

Richard Xemming: 13-bob. Axborot nazariyasi

bu yerda s=Q+e2 <1/2 va ns butun son bo'lishi kerak.

O'ngdagi oxirgi muddat bu summadagi eng kattasi. Birinchidan, faktoriallar uchun Stirling formulasidan foydalanib, uning qiymatini baholaymiz. Keyin uning oldidagi hadning kamayish koeffitsientini ko'rib chiqamiz, bu koeffitsient chapga siljiganimizda ortib borishiga e'tibor qaratamiz va shuning uchun biz: (1) yig'indining qiymatini geometrik progressiya yig'indisi bilan cheklashimiz mumkin. bu boshlang'ich koeffitsient, (2) geometrik progressiyani ns haddan cheksiz sonli hadlargacha kengaytirish, (3) cheksiz geometrik progressiyaning yig'indisini hisoblash (standart algebra, hech qanday muhim narsa yo'q) va nihoyat chegaraviy qiymatni olish (etarlicha kattalik uchun) n):

Richard Xemming: 13-bob. Axborot nazariyasi

H(s) entropiyaning binomial identifikatsiyada qanday paydo bo'lganiga e'tibor bering. E'tibor bering, Teylor seriyasining kengayishi H(s)=H(Q+e2) faqat birinchi hosilani hisobga olgan holda va qolganlarini hisobga olmaganda olingan bahoni beradi. Endi yakuniy ifodani birlashtiramiz:

Richard Xemming: 13-bob. Axborot nazariyasi

qayerda

Richard Xemming: 13-bob. Axborot nazariyasi

Biz qilishimiz kerak bo'lgan narsa e2 ni shunday tanlashimiz kerakki, e3 < e1, keyin esa oxirgi had o'zboshimchalik bilan kichik bo'ladi, n yetarlicha katta bo'lsa. Shunday qilib, o'rtacha PE xatosi o'zboshimchalik bilan C ga yaqin bo'lgan kanal sig'imi bilan istalgan darajada kichik bo'lishi mumkin.
Agar barcha kodlarning o'rtacha qiymati etarlicha kichik xatolikka ega bo'lsa, unda kamida bitta kod mos bo'lishi kerak, shuning uchun kamida bitta mos kodlash tizimi mavjud. Bu Shennon tomonidan olingan muhim natija - "Shovqinli kanal uchun Shennon teoremasi", garchi u buni men foydalangan oddiy ikkilik simmetrik kanalga qaraganda ancha umumiy holat uchun isbotlaganligini ta'kidlash kerak. Umumiy holat uchun matematik hisob-kitoblar ancha murakkab, ammo g'oyalar unchalik farq qilmaydi, shuning uchun ko'pincha ma'lum bir ish misolidan foydalanib, teoremaning haqiqiy ma'nosini ochib berishingiz mumkin.

Keling, natijani tanqid qilaylik. Biz bir necha bor takrorladik: "Etarli darajada katta n uchun." Lekin n qanchalik katta? Agar siz haqiqatan ham kanal sig'imiga yaqin bo'lishni va ma'lumotlarning to'g'ri uzatilishiga ishonch hosil qilishni istasangiz, juda, juda katta! Haqiqatan ham shunchalik kattaki, keyinchalik uni kodlash uchun etarli bitli xabarni to'plash uchun siz juda uzoq vaqt kutishingiz kerak bo'ladi. Bunday holda, tasodifiy kod lug'atining hajmi juda katta bo'ladi (axir, bunday lug'at n va M juda katta bo'lishiga qaramay, barcha Mn bitlarining to'liq ro'yxatidan qisqaroq shaklda taqdim etilmaydi)!

Xatolarni to'g'rilash kodlari juda uzoq xabarni kutishdan va keyin uni juda katta kod kitoblari orqali kodlash va dekodlashdan qochadi, chunki ular kod kitoblarining o'zidan qochadi va buning o'rniga oddiy hisoblashdan foydalanadi. Oddiy nazariyaga ko'ra, bunday kodlar kanal sig'imiga yaqinlashish qobiliyatini yo'qotadi va hali ham past xatolik darajasini saqlab qoladi, lekin kod ko'p sonli xatolarni tuzatganda, ular yaxshi ishlaydi. Boshqacha qilib aytadigan bo'lsak, agar siz xatoni tuzatish uchun ba'zi kanal sig'imini ajratsangiz, unda siz ko'pincha xatolarni tuzatish imkoniyatidan foydalanishingiz kerak, ya'ni har bir yuborilgan xabarda ko'p sonli xatolar tuzatilishi kerak, aks holda siz bu imkoniyatlarni behuda sarf qilasiz.

Shu bilan birga, yuqorida isbotlangan teorema hali ham ma'nosiz emas! Bu shuni ko'rsatadiki, samarali uzatish tizimlari juda uzun bit satrlari uchun aqlli kodlash sxemalaridan foydalanishi kerak. Masalan, tashqi sayyoralardan tashqariga uchib ketgan sun'iy yo'ldoshlar; Ular Yer va Quyoshdan uzoqlashgani sari ma'lumotlar blokidagi ko'proq va ko'proq xatolarni tuzatishga majbur bo'lishadi: ba'zi sun'iy yo'ldoshlar taxminan 5 Vt quvvatni ta'minlaydigan quyosh panellaridan foydalanadi, boshqalari taxminan bir xil quvvatni ta'minlaydigan yadroviy energiya manbalaridan foydalanadi. Elektr ta'minotining past quvvati, transmitter idishlarining kichik o'lchamlari va Yerdagi qabul qiluvchi idishlarning cheklangan o'lchamlari, signalning bosib o'tishi kerak bo'lgan juda katta masofa - bularning barchasi yuqori darajadagi xatolarni tuzatishga ega bo'lgan kodlardan foydalanishni talab qiladi. samarali aloqa tizimi.

Keling, yuqoridagi isbotda foydalangan n o'lchovli fazoga qaytaylik. Uni muhokama qilishda biz sharning deyarli butun hajmi tashqi sirt yaqinida to'planganligini ko'rsatdik - shuning uchun yuborilgan signal qabul qilingan signal atrofida qurilgan sfera yuzasiga yaqin joyda joylashgan bo'lishi deyarli aniq. bunday sharning kichik radiusi. Shuning uchun, qabul qilingan signal, o'zboshimchalik bilan katta miqdordagi xatolarni tuzatgandan so'ng, nQ, xatosiz signalga o'zboshimchalik bilan yaqin bo'lib chiqishi ajablanarli emas. Yuqorida muhokama qilgan aloqa sig'imi bu hodisani tushunishning kalitidir. Xatolarni tuzatish uchun yaratilgan shunga o'xshash sohalar Hamming kodlari bir-birining ustiga chiqmasligini unutmang. n o'lchovli fazoda deyarli ortogonal o'lchamlarning ko'pligi nima uchun biz M sharni kosmosga bir-birining ustiga yopishgan holda joylashtirishimiz mumkinligini ko'rsatadi. Agar biz dekodlash paytida faqat oz sonli xatolarga olib keladigan kichik, o'zboshimchalik bilan kichik bir-birining ustiga chiqishiga yo'l qo'ysak, biz kosmosda sharlarning zich joylashishini olishimiz mumkin. Xemming ma'lum darajadagi xatolarni tuzatishni kafolatladi, Shannon - xato ehtimoli past, lekin ayni paytda Xemming kodlari qila olmaydigan aloqa kanalining sig'imiga o'zboshimchalik bilan yaqin haqiqiy o'tkazuvchanlikni saqlab qoladi.

Axborot nazariyasi bizga samarali tizimni qanday loyihalashtirishni aytmaydi, lekin u samarali aloqa tizimlariga yo'l ko'rsatadi. Bu mashinadan mashinaga aloqa tizimlarini qurish uchun qimmatli vositadir, lekin yuqorida aytib o'tilganidek, u odamlarning bir-biri bilan qanday aloqa qilishiga unchalik ahamiyat bermaydi. Biologik merosning texnik aloqa tizimlariga o'xshash darajasi shunchaki noma'lum, shuning uchun axborot nazariyasi genlarga qanday tatbiq etilishi hozircha aniq emas. Sinab ko'rishdan boshqa ilojimiz yo'q va agar muvaffaqiyat bizga ushbu hodisaning mashinaga o'xshashligini ko'rsatsa, unda muvaffaqiyatsizlik axborot tabiatining boshqa muhim jihatlariga ishora qiladi.

Keling, haddan tashqari chetga chiqmaylik. Biz ko'rdikki, barcha asl ta'riflar ozmi-ko'pmi, bizning asl e'tiqodimizning mohiyatini ifodalashi kerak, ammo ular ma'lum darajada buzilish bilan tavsiflanadi va shuning uchun qo'llanilmaydi. An'anaga ko'ra, pirovard natijada biz foydalanadigan ta'rif aslida mohiyatni belgilaydi; ammo, bu bizga narsalarni qanday qayta ishlashni aytadi va hech qanday tarzda bizga hech qanday ma'no bildirmaydi. Matematik doiralarda juda qo'llab-quvvatlanadigan postulyatsion yondashuv amalda juda ko'p narsani talab qiladi.

Endi biz IQ testlarining misolini ko'rib chiqamiz, bu erda ta'rif siz xohlagancha aylana bo'lib, natijada chalg'ituvchi bo'ladi. Aql-idrokni o'lchashi kerak bo'lgan test yaratiladi. Keyin uni iloji boricha izchil qilish uchun qayta ko'rib chiqiladi va keyin nashr etiladi va oddiy usulda o'lchangan "razvedka" normal taqsimlangan bo'lishi uchun kalibrlanadi (albatta, kalibrlash egri chizig'ida). Barcha ta'riflar nafaqat birinchi marta taklif qilinganda, balki ancha keyinroq, xulosalar chiqarishda foydalanilganda ham qayta tekshirilishi kerak. Ta'rif chegaralari hal qilinayotgan muammoga qay darajada mos keladi? Bitta sozlamada berilgan ta'riflar qanchalik tez-tez boshqa sharoitlarda qo'llaniladi? Bu juda tez-tez sodir bo'ladi! Hayotingizda muqarrar ravishda duch keladigan gumanitar fanlarda bu ko'proq sodir bo'ladi.

Shunday qilib, axborot nazariyasining ushbu taqdimotining maqsadlaridan biri uning foydaliligini ko'rsatishdan tashqari, sizni ushbu xavfdan ogohlantirish yoki kerakli natijaga erishish uchun undan qanday foydalanishni aniq ko'rsatish edi. Dastlabki ta'riflar oxirida nimani topayotganingizni, tuyulganidan ko'ra ko'proq darajada aniqlashi uzoq vaqtdan beri ta'kidlangan. Dastlabki ta'riflar sizdan nafaqat har qanday yangi vaziyatda, balki uzoq vaqt davomida ishlayotgan sohalarda ham katta e'tibor talab qiladi. Bu sizga olingan natijalar qanchalik foydali narsa emas, balki tavtologiya ekanligini tushunishga imkon beradi.

Eddingtonning mashhur hikoyasi dengizda to'r bilan baliq tutgan odamlar haqida hikoya qiladi. Tutgan baliqlarning hajmini o'rgangach, dengizda topilgan baliqlarning minimal hajmini aniqladilar! Ularning xulosasi haqiqatdan emas, balki ishlatilgan asbobdan kelib chiqqan.

Davomi bor…

Kitobning tarjimasi, tartibi va nashrida kim yordam berishni xohlasa - shaxsiy xabar yoki elektron pochta orqali yozing [elektron pochta bilan himoyalangan]

Aytgancha, biz yana bir ajoyib kitobning tarjimasini ham boshladik - "Orzular mashinasi: kompyuter inqilobi tarixi")

Biz ayniqsa qidiramiz tarjima qilishga yordam beradiganlar bonus bo'limi, bu faqat videoda. (10 daqiqaga transfer, dastlabki 20 tasi allaqachon olingan)

Kitob mazmuni va tarjima qilingan boblarmuqaddima

  1. Ilm-fan va muhandislik bilan shug'ullanish san'atiga kirish: o'rganishni o'rganish (28 yil 1995 mart) Tarjimasi: 1-bob
  2. "Raqamli (diskret) inqilob asoslari" (30 yil 1995 mart) 2-bob. Raqamli (diskret) inqilob asoslari
  3. "Kompyuterlar tarixi - apparat ta'minoti" (31 yil 1995 mart) 3-bob. Kompyuterlar tarixi - Uskuna
  4. "Kompyuterlar tarixi - dasturiy ta'minot" (4 yil 1995 aprel) 4-bob. Kompyuterlar tarixi - Dasturiy ta'minot
  5. "Kompyuterlar tarixi - ilovalar" (6 yil 1995 aprel) 5-bob: Kompyuterlar tarixi - Amaliy ilovalar
  6. "Sun'iy intellekt - I qism" (7 yil 1995 aprel) 6-bob. Sun'iy intellekt - 1
  7. "Sun'iy intellekt - II qism" (11 yil 1995 aprel) 7-bob. Sun'iy intellekt - II
  8. "Sun'iy intellekt III" (13 yil 1995 aprel) 8-bob. Sun'iy intellekt-III
  9. "n-o'lchovli fazo" (14 yil 1995 aprel) 9-bob. N oβ€˜lchamli fazo
  10. "Kodlash nazariyasi - axborotni ifodalash, I qism" (18 yil 1995 aprel) 10-bob. Kodlash nazariyasi - I
  11. "Kodlash nazariyasi - axborotni ifodalash, II qism" (20 yil 1995 aprel) 11-bob. Kodlash nazariyasi - II
  12. "Xatolarni tuzatish kodlari" (21 yil 1995 aprel) 12-bob. Xatolarni tuzatish kodlari
  13. β€œAxborot nazariyasi” (25 yil 1995 aprel) 13-bob. Axborot nazariyasi
  14. "Raqamli filtrlar, I qism" (27 yil 1995 aprel) 14-bob. Raqamli filtrlar - 1
  15. "Raqamli filtrlar, II qism" (28 yil 1995 aprel) 15-bob. Raqamli filtrlar - 2
  16. "Raqamli filtrlar, III qism" (2 yil 1995 may) 16-bob. Raqamli filtrlar - 3
  17. "Raqamli filtrlar, IV qism" (4 yil 1995 may) 17-bob. Raqamli filtrlar - IV
  18. "Simulyatsiya, I qism" (5 yil 1995 may) 18-bob. Modellashtirish - I
  19. "Simulyatsiya, II qism" (9 yil 1995 may) 19-bob. Modellashtirish - II
  20. "Simulyatsiya, III qism" (11 yil 1995 may) 20-bob. Modellashtirish - III
  21. "Optik tolalar" (12 yil 1995 may) 21-bob. Optik tolali
  22. "Kompyuter yordamida o'qitish" (16 yil 1995 may) 22-bob: Kompyuter yordamida oβ€˜qitish (CAI)
  23. "Matematika" (18 yil 1995 may) 23-bob. Matematika
  24. "Kvant mexanikasi" (19 yil 1995 may) 24-bob. Kvant mexanikasi
  25. "Ijodkorlik" (23 yil 1995 may). Tarjimasi: 25-bob. Ijodkorlik
  26. "Mutaxassislar" (25 yil 1995 may) 26-bob. Ekspertlar
  27. "Ishonchsiz ma'lumotlar" (26 yil 1995 may) 27-bob. Ishonchsiz ma'lumotlar
  28. "Tizim muhandisligi" (30 yil 1995 may) 28-bob. Tizim muhandisligi
  29. "Siz o'lchagan narsangizni olasiz" (1 yil 1995 iyun) 29-bob: Siz o'lchagan narsangizni olasiz
  30. "Biz bilganimizni qanday bilamiz" (Iyun 2, 1995) 10 daqiqalik bo'laklarga tarjima qiling
  31. Hamming, "Siz va sizning tadqiqotingiz" (6 yil 1995 iyun). Tarjimasi: Siz va ishingiz

Kitobning tarjimasi, tartibi va nashrida kim yordam berishni xohlasa - shaxsiy xabar yoki elektron pochta orqali yozing [elektron pochta bilan himoyalangan]

Manba: www.habr.com

a Izoh qo'shish