Бид үүнийг хийсэн!
"Энэ сургалтын зорилго нь таныг техникийн ирээдүйд бэлтгэх явдал юм."
Сайн уу, Хабр. Гайхалтай нийтлэлийг санаарай (+219, 2588 хавчуурга, 429 мянга уншсан)?
Тиймээс Хамминг (тиймээ, тийм, өөрийгөө хянах, өөрийгөө засах ) бүхэл бүтэн байдаг , түүний лекц дээр үндэслэн бичсэн. Эр хүн үгээ хэлдэг учраас бид орчуулдаг.
Энэ бол зөвхөн мэдээллийн технологийн тухай биш, гайхалтай дажгүй хүмүүсийн сэтгэлгээний хэв маягийн тухай ном юм. “Энэ бол зүгээр л эерэг сэтгэлгээг нэмэгдүүлэх явдал биш; Энэ нь агуу ажил хийх боломжийг нэмэгдүүлэх нөхцөлийг тодорхойлдог."
Орчуулсан Андрей Пахомовт баярлалаа.
Мэдээллийн онолыг 1940-өөд оны сүүлээр C. E. Shannon боловсруулсан. Bell Labs-ын удирдлага түүнийг "Харилцааны онол" гэж нэрлэхийг шаардав, учир нь... Энэ бол илүү үнэн зөв нэр юм. Тодорхой шалтгааны улмаас "Мэдээллийн онол" гэсэн нэр нь олон нийтэд илүү их нөлөө үзүүлдэг тул Шеннон үүнийг сонгосон бөгөөд энэ нь өнөөг хүртэл бидний мэддэг нэр юм. Нэр нь өөрөө онол нь мэдээлэлтэй холбоотой болохыг харуулж байгаа бөгөөд энэ нь бид мэдээллийн эрин үе рүү гүнзгийрэх тусам үүнийг чухал болгодог. Энэ бүлэгт би энэ онолын хэд хэдэн үндсэн дүгнэлтийг хөндөж, энэ онолын бие даасан заалтуудын хатуу биш, харин зөн совингийн нотолгоог өгөх болно, ингэснээр та "Мэдээллийн онол" гэж юу болохыг, хаана хэрэглэж болохыг ойлгох болно. мөн хаана үгүй.
Юуны өмнө "мэдээлэл" гэж юу вэ? Шеннон мэдээллийг тодорхой бус байдалтай адилтгадаг. Тэрээр p магадлалтай үйл явдал тохиолдох үед таны хүлээн авах мэдээллийн тоон хэмжүүр болгон үйл явдлын магадлалын сөрөг логарифмыг сонгосон. Жишээлбэл, хэрэв би Лос Анжелесийн цаг агаар манантай гэж хэлвэл p нь 1-тэй ойролцоо байгаа нь бидэнд тийм ч их мэдээлэл өгөхгүй. Гэхдээ хэрэв би 1-р сард Монтерейд бороо орно гэж хэлвэл зурваст тодорхойгүй байдал үүсч, илүү их мэдээлэл агуулагдах болно. Бүртгэл 0 = XNUMX тул найдвартай үйл явдал ямар ч мэдээлэл агуулаагүй болно.
Үүнийг илүү дэлгэрэнгүй авч үзье. Мэдээллийн тоон хэмжүүр нь p үйл явдлын магадлалын тасралтгүй функц байх ёстой бөгөөд бие даасан үйл явдлын хувьд энэ нь нэмэлт байх ёстой - хоёр бие даасан үйл явдлын үр дүнд олж авсан мэдээллийн хэмжээ нь дараахтай тэнцүү байх ёстой гэж Шеннон үзсэн. хамтарсан үйл явдлын үр дүнд олж авсан мэдээллийн хэмжээ. Жишээлбэл, шоо болон зоос шидэлтийн үр дүнг ихэвчлэн бие даасан үйл явдал гэж үздэг. Дээрхийг математикийн хэл рүү орчуулъя. Хэрэв I (p) нь p магадлалтай үйл явдалд агуулагдах мэдээллийн хэмжээ юм бол p1 магадлал бүхий х, р2 магадлал бүхий хоёр бие даасан үйл явдлуудаас бүрдэх хамтарсан үйл явдлын хувьд бид олж авна.
(x ба y нь бие даасан үйл явдал юм)
Энэ бол бүх p1 ба p2-д үнэн зөв Коши функциональ тэгшитгэл юм. Энэ функциональ тэгшитгэлийг шийдэхийн тулд гэж үзье
p1 = p2 = p,
энэ өгдөг
Хэрэв p1 = p2 ба p2 = p байвал
гэх мэт. Экспоненциалуудын стандарт аргыг ашиглан энэ процессыг өргөтгөхөд бүх рационал тоо m/n хувьд дараах нь үнэн юм.
Мэдээллийн хэмжүүрийн таамагласан тасралтгүй байдлаас үзэхэд логарифм функц нь функциональ Коши тэгшитгэлийн цорын ганц тасралтгүй шийдэл юм.
Мэдээллийн онолд логарифмын суурийг 2 гэж авах нь түгээмэл байдаг тул хоёртын сонголт нь яг 1 бит мэдээлэл агуулдаг. Тиймээс мэдээллийг томъёогоор хэмждэг
Дээр юу болсныг түр зогсоогоод ойлгоцгооё. Юуны өмнө бид "мэдээлэл" гэсэн ойлголтыг тодорхойлоогүй, харин түүний тоон хэмжүүрийн томъёог л тодорхойлсон.
Хоёрдугаарт, энэ хэмжүүр нь тодорхой бус байдалд хамаарах бөгөөд энэ нь машинд, тухайлбал, утасны систем, радио, телевиз, компьютер гэх мэтэд тохиромжтой боловч мэдээлэлд хандах хүний хэвийн хандлагыг тусгадаггүй.
Гуравдугаарт, энэ нь харьцангуй хэмжүүр бөгөөд таны мэдлэгийн өнөөгийн байдлаас хамаарна. Хэрэв та санамсаргүй тооны үүсгэгчээс "санамсаргүй тоонуудын" урсгалыг харвал дараагийн тоо бүр тодорхойгүй байна гэж таамаглаж байгаа боловч хэрэв та "санамсаргүй тоо"-ыг тооцоолох томъёог мэддэг бол дараагийн тоо нь мэдэгдэх бөгөөд тиймээс болохгүй. мэдээллийг агуулсан.
Тиймээс Шенноны мэдээллийн тухай тодорхойлолт нь олон тохиолдолд машинд тохирсон боловч хүний ойлголтод тохирохгүй юм шиг санагддаг. Ийм учраас “Мэдээллийн онол”-ыг “Харилцааны онол” гэж нэрлэх ёстой байсан. Гэсэн хэдий ч, тодорхойлолтуудыг өөрчлөхөд хэтэрхий оройтсон (онолыг анх алдаршуулсан бөгөөд энэ онол нь "мэдээлэл"-тэй холбоотой гэж хүмүүст бодогдуулдаг) тиймээс бид тэдэнтэй хамт амьдрах ёстой, гэхдээ тэр үед та Мэдээллийн тухай Шенноны тодорхойлолт нь нийтлэг хэрэглэгддэг утгаас нь хэр хол байгааг тодорхой ойлгох болно. Шенноны мэдээлэл нь огт өөр зүйл, тухайлбал тодорхойгүй байдлын тухай өгүүлдэг.
Та ямар нэгэн нэр томъёо санал болгохдоо нэг зүйлийг анхаарч үзэх хэрэгтэй. Санал болгож буй тодорхойлолт, тухайлбал, Шенноны мэдээллийн тодорхойлолт нь таны анхны санаатай хэрхэн нийцэж байгаа вэ, энэ нь хэр ялгаатай вэ? Үзэл баримтлалын талаарх таны өмнөх төсөөллийг яг таг тусгасан нэр томьёо бараг байдаггүй, гэхдээ эцсийн дүндээ энэ нь тухайн ойлголтын утгыг илэрхийлдэг нэр томьёо байдаг тул тодорхой тодорхойлолтоор аливаа зүйлийг албажуулах нь үргэлж чимээ шуугиан үүсгэдэг.
Цагаан толгой нь pi магадлал бүхий q тэмдэгтүүдээс бүрдэх системийг авч үзье. Энэ тохиолдолд мэдээллийн дундаж хэмжээ системд (түүний хүлээгдэж буй утга) тэнцүү байна:
Үүнийг {pi} магадлалын тархалттай системийн энтропи гэнэ. Термодинамик болон статистик механикт ижил математик хэлбэр гарч ирдэг тул бид "энтропи" гэсэн нэр томъёог ашигладаг. Ийм учраас "энтропи" гэсэн нэр томъёо нь өөрийн эргэн тойронд тодорхой ач холбогдлыг бий болгодог бөгөөд энэ нь эцсийн дүндээ үндэслэлгүй юм. Тэмдэглэгээний ижил математик хэлбэр нь тэмдгүүдийн ижил тайлбарыг илэрхийлдэггүй!
Магадлалын тархалтын энтропи нь кодлох онолд чухал үүрэг гүйцэтгэдэг. Пи ба qi хоёр өөр магадлалын тархалтын Гиббсийн тэгш бус байдал нь энэ онолын чухал үр дагаврын нэг юм. Тиймээс бид үүнийг батлах ёстой
Нотолгоо нь тодорхой график дээр үндэслэсэн болно, Зураг. 13.Би үүнийг харуулж байна
x = 1 үед л тэгш байдал бий болно. Зүүн талын нийлбэрийн гишүүн бүрт тэгш бус байдлыг хэрэглэцгээе:
Хэрэв холбооны системийн цагаан толгой нь q тэмдэгтээс тогтдог бол тэмдэг тус бүрийн дамжих магадлалыг qi = 1/q авч q-г орлуулбал Гиббсын тэгш бус байдлаас гарна.
Зураг 13.I
Энэ нь хэрэв бүх q тэмдэгтийг дамжуулах магадлал ижил бөгөөд тэнцүү - 1 / q байвал хамгийн их энтропи нь ln q-тай тэнцүү, эс тэгвээс тэгш бус байдал хадгалагдана гэсэн үг юм.
Өвөрмөц тайлагдах кодын хувьд бид Крафтын тэгш бус байдалтай байна
Одоо бид псевдо магадлалыг тодорхойлох юм бол
мэдээж хаана = 1, энэ нь Гиббсын тэгш бус байдлаас үүдэлтэй,
бага зэрэг алгебр ашигла (K ≤ 1 гэдгийг санаарай, ингэснээр бид логарифмын гишүүнийг хасч, дараа нь тэгш бус байдлыг бэхжүүлж болно) бид олж авна.
Энд L нь кодын дундаж урт юм.
Иймд энтропи нь дундаж код үгийн урттай L тэмдэгт тус бүрээр кодлох хамгийн бага хязгаар юм. Энэ нь хөндлөнгийн оролцоогүй сувгийн Шенноны теорем юм.
Одоо мэдээлэл нь бие даасан битийн урсгал хэлбэрээр дамждаг харилцаа холбооны системийн хязгаарлалтын талаархи үндсэн теоремыг авч үзье. Нэг битийн зөв дамжуулах магадлал нь P > 1/2, дамжуулах явцад битийн утга урвуу гарах магадлал (алдаа гарах) Q = 1 - P-тэй тэнцүү байна. Тохиромжтой болгох үүднээс бид Алдаанууд нь бие даасан бөгөөд илгээсэн бит бүрийн хувьд алдаа гарах магадлал ижил байна гэж бодъё - өөрөөр хэлбэл харилцааны сувагт "цагаан дуу чимээ" байна.
Бид нэг зурваст кодлогдсон n битийн урт урсгалтай байх арга бол нэг бит кодын n - хэмжээст өргөтгөл юм. Бид дараа нь n-ийн утгыг тодорхойлох болно. n-битээс бүрдэх мэдээг n хэмжээст орон зайн цэг гэж үзье. Бидэнд n хэмжээст орон зай байгаа тул энгийн байх үүднээс мессеж бүр гарах магадлал ижил байна гэж үзэх болно - М мессеж байж болно (М-ийг мөн дараа нь тодорхойлох болно), тиймээс илгээсэн мессежийн магадлал нь дараах байдалтай байна.
(илгээгч)
Хуваарь 13.II
Дараа нь сувгийн багтаамжийн санааг анхаарч үзээрэй. Нарийвчилсан мэдээлэлгүйгээр сувгийн багтаамжийг хамгийн үр ашигтай кодчилол ашиглахыг харгалзан холбооны сувгаар найдвартай дамжуулж болох мэдээллийн дээд хэмжээ гэж тодорхойлдог. Харилцаа холбооны сувгаар түүний багтаамжаас илүү мэдээлэл дамжуулах боломжтой гэдэгтэй маргах зүйл байхгүй. Үүнийг хоёртын тэгш хэмийн сувгийн хувьд нотолж болно (бидний хувьд үүнийг ашигладаг). Бит илгээх үед сувгийн багтаамжийг дараах байдлаар тодорхойлно
Энд өмнөх шиг P нь илгээсэн битэд алдаа гарахгүй байх магадлал юм. n бие даасан битийг илгээх үед сувгийн багтаамжийг дараах байдлаар өгнө
Хэрэв бид сувгийн багтаамжтай ойролцоо байгаа бол ai, i = 1, ..., M тэмдэгт бүрт бараг ийм хэмжээний мэдээлэл илгээх ёстой. бид авдаг
Бид ижил магадлалтай M мессежийн аль нэгийг илгээх үед ai, бидэнд байна
n битийг илгээх үед бид nQ алдаа гарна гэж найдаж байна. Практикт n-битээс бүрдэх мессежийн хувьд бид хүлээн авсан мэдээнд ойролцоогоор nQ алдаатай байх болно. Том n хувьд харьцангуй хэлбэлзэл (хувилбар = тархалтын өргөн, )
n нэмэгдэх тусам алдааны тооны хуваарилалт улам нарийсна.
Тиймээс, дамжуулагч талаас би мессежийг авч, түүнийг тойрон радиустай бөмбөрцөг зурж илгээдэг.
Энэ нь хүлээгдэж буй алдааны тоо Q, (Зураг 2.II) хэмжээнээс e13-тэй тэнцүү хэмжээгээр бага зэрэг их байна. Хэрэв n нь хангалттай том бол энэ бөмбөрцөгөөс цааш үргэлжлэх хүлээн авагч талд bj мессежийн цэг гарч ирэх магадлал бага байна. Нөхцөл байдлыг дамжуулагчийн өнцгөөс харж байгаагаар тоймлон зуръя: дамжуулсан мессежээс хүлээн авсан bj мессеж хүртэлх аль ч радиус нь хэвийн тархалттай тэнцүү (эсвэл бараг тэнцүү) алдааны магадлалтай, хамгийн ихдээ хүрч байна. nQ-д. Аливаа өгөгдсөн e2-ийн хувьд n нь маш том байх тул үүссэн bj цэг миний бөмбөрцгийн гадна байх магадлал таны хүссэнээр бага байна.
Одоо ижил нөхцөл байдлыг таны талаас харцгаая (Зураг 13.III). Хүлээн авагч талд n хэмжээст орон зайд хүлээн авсан bj цэгийн эргэн тойронд ижил r радиустай S(r) бөмбөрцөг байх бөгөөд хэрэв хүлээн авсан bj мессеж миний бөмбөрцөг дотор байгаа бол миний илгээсэн ai мессеж таны дотор байна. бөмбөрцөг.
Хэрхэн алдаа гарч болох вэ? Дараах хүснэгтэд заасан тохиолдолд алдаа гарч болно.
Зураг 13.III
Хүлээн авсан цэгийн эргэн тойронд баригдсан бөмбөрцөгт илгээсэн кодлогдоогүй мессежтэй тохирох дор хаяж нэг цэг байгаа бол дамжуулах явцад алдаа гарсныг бид харж байна, учир нь та эдгээр мессежүүдийн алийг нь дамжуулсныг тодорхойлох боломжгүй юм. Илгээсэн зурваст тохирох цэг нь бөмбөрцөгт байгаа тохиолдолд л алдаагүй бөгөөд өгөгдсөн кодонд ижил бөмбөрцөгт байгаа өөр цэг байхгүй.
ai мессеж илгээсэн тохиолдолд Pe алдаа гарах магадлалын математикийн тэгшитгэл бидэнд байна
Бид эхний хүчин зүйлийг 1-р гишүүнд XNUMX гэж авч хаях боломжтой. Тиймээс бид тэгш бус байдлыг олж авна
Мэдээжийн хэрэг
Тиймээс
баруун талд байгаа сүүлийн хугацаа хүртэл дахин өргөдөл гаргах
n-ийг хангалттай том болговол эхний гишүүнийг хүссэн хэмжээгээр авч болно, d тооноос бага гэж хэлье. Тиймээс бидэнд байгаа
Одоо n битээс бүрдэх M мессежийг кодлох энгийн орлуулах кодыг хэрхэн бүтээхийг харцгаая. Шэннон кодыг яг яаж бүтээх талаар ямар ч ойлголтгүй байсан (алдаа засах кодыг хараахан зохион бүтээгээгүй байсан) Шеннон санамсаргүй кодлох аргыг сонгосон. Мессеж дэх n бит тус бүрд зоос эргүүлж, M мессежийн үйл явцыг давтана уу. Нийтдээ nM зоосны эргэлт хийх шаардлагатай тул боломжтой
½nM магадлалтай ижил кодын толь бичгүүд. Мэдээжийн хэрэг, кодын дэвтэр үүсгэх санамсаргүй үйл явц нь давхардал, түүнчлэн кодын цэгүүд хоорондоо ойрхон байх тул алдааны эх үүсвэр болох боломжтой гэсэн үг юм. Хэрэв энэ нь ямар ч жижиг сонгосон алдааны түвшнээс илүү магадлалаар тохиолдоогүй бол өгөгдсөн n нь хангалттай том гэдгийг батлах ёстой.
Хамгийн чухал зүйл бол Шеннон дундаж алдааг олохын тулд бүх боломжит кодын дунджийг гаргасан явдал юм! Бид бүх боломжит санамсаргүй кодын багцын дундаж утгыг тэмдэглэхийн тулд Av[.] тэмдгийг ашиглана. Тогтмол d-ийн дунджийг дундажлах нь мэдээжийн хэрэг тогтмолыг өгдөг, учир нь гишүүн бүрийг дундажлахын тулд нийлбэр дэх бусад гишүүн бүртэй ижил байна.
үүнийг нэмэгдүүлэх боломжтой (M–1 M руу шилждэг)
Аливаа өгөгдсөн мессежийн хувьд бүх кодын дунджийг авах үед кодчилол нь бүх боломжит утгуудаар дамждаг тул бөмбөрцөгт цэг байх дундаж магадлал нь бөмбөрцгийн эзэлхүүнийг орон зайн нийт эзлэхүүнтэй харьцуулсан харьцаа юм. Бөмбөрцгийн эзэлхүүн нь
Энд s=Q+e2 <1/2 ба ns нь бүхэл тоо байх ёстой.
Баруун талын сүүлчийн нэр томъёо нь энэ нийлбэрийн хамгийн том нь юм. Эхлээд хүчин зүйлийн хувьд Stirling томьёог ашиглан түүний утгыг тооцоолъё. Дараа нь бид түүний урд байгаа нэр томъёоны буурах хүчин зүйлийг харж, зүүн тийш шилжих үед энэ хүчин зүйл нэмэгдэж байгааг анхаарна уу, ингэснээр бид: (1) нийлбэрийн утгыг геометр прогрессийн нийлбэрээр хязгаарлаж болно. Энэ анхны коэффициент, (2) геометрийн прогрессийг ns гишүүнээс хязгааргүй тооны гишүүн болгон өргөжүүлэх, (3) хязгааргүй геометр прогрессийн нийлбэрийг (стандарт алгебр, чухал зүйл биш) тооцоолж, эцэст нь хязгаарын утгыг олж авах (хангалттай том хувьд) n):
Энтропи H(s) нь binomial identity-д хэрхэн гарч ирснийг анхаарч үзээрэй. Тейлорын цувралын өргөтгөл H(s)=H(Q+e2) нь зөвхөн эхний деривативыг тооцож, бусад бүх зүйлийг үл тоомсорлосон тооцооллыг өгдөг болохыг анхаарна уу. Одоо эцсийн илэрхийлэлийг нэгтгэж үзье:
хаана
Бидний хийх ёстой зүйл бол e2 < e3 байхаар e1-г сонгох бөгөөд дараа нь n нь хангалттай том байвал сүүлчийн гишүүн дур зоргоороо жижиг байх болно. Иймээс PE-ийн дундаж алдааг дур мэдэн C-тэй ойролцоо сувгийн багтаамжтай бол хүссэн хэмжээгээрээ бага хэмжээгээр авч болно.
Хэрэв бүх кодын дундаж нь хангалттай бага алдаатай байвал дор хаяж нэг код тохиромжтой байх ёстой, тиймээс дор хаяж нэг кодлох систем байдаг. Энэ бол Шенноны олж авсан чухал үр дүн - "Шуу шуугиантай сувгийн Шенноны теорем" боловч тэр үүнийг миний ашигласан энгийн хоёртын тэгш хэмийн сувгаас хамаагүй илүү ерөнхий тохиолдолд нотолсон гэдгийг тэмдэглэх нь зүйтэй. Ерөнхий тохиолдлын хувьд математик тооцоолол нь илүү төвөгтэй боловч санаа нь тийм ч их ялгаатай биш тул тодорхой тохиолдлын жишээг ашиглан та теоремын жинхэнэ утгыг илчлэх боломжтой.
Үр дүнг шүүмжилье. Бид "Хангалттай том n-ийн хувьд" гэж олон удаа давтан хэлсэн. Гэхдээ n нь хэр том вэ? Хэрэв та сувгийн багтаамжтай ойрхон байхыг хүсч байгаа бол маш том бөгөөд өгөгдөл дамжуулахдаа итгэлтэй байх болно! Маш том хэмжээтэй тул дараа нь кодлоход хангалттай битийн мессежийг хуримтлуулахын тулд та маш удаан хүлээх хэрэгтэй болно. Энэ тохиолдолд санамсаргүй кодын толь бичгийн хэмжээ ердөө л асар том байх болно (эцэст нь ийм толь бичгийг n ба M нь маш том боловч бүх Mn битийн бүрэн жагсаалтаас богино хэлбэрээр төлөөлөх боломжгүй юм)!
Алдаа засах кодууд нь маш урт мессеж хүлээхээс зайлсхийж, дараа нь маш том кодын дэвтэрээр дамжуулан кодлох, тайлахаас зайлсхийдэг, учир нь тэд өөрсдөө кодын номноос зайлсхийж, оронд нь энгийн тооцооллыг ашигладаг. Энгийн онолын хувьд ийм кодууд нь сувгийн хүчин чадалд ойртох чадвараа алдаж, алдаа багатай хэвээр байх хандлагатай байдаг ч код нь олон тооны алдааг засах үед тэд сайн ажилладаг. Өөрөөр хэлбэл, хэрэв та зарим сувгийн хүчин чадлыг алдаа засахад хуваарилах юм бол алдаа засах чадварыг ихэвчлэн ашиглах ёстой, өөрөөр хэлбэл илгээсэн мессеж бүрт олон тооны алдаа засч залруулах ёстой, эс тэгвээс та энэ хүчин чадлыг дэмий үрэх болно.
Үүний зэрэгцээ дээр батлагдсан теорем нь утгагүй хэвээр байна! Энэ нь үр ашигтай дамжуулах системүүд нь маш урт бит мөрүүдэд ухаалаг кодчиллын схемийг ашиглах ёстойг харуулж байна. Үүний нэг жишээ бол гаднах гаригуудын дээгүүр ниссэн хиймэл дагуулууд юм; Дэлхий болон Нарнаас холдох тусам тэд мэдээллийн блок дахь алдаагаа засахаас өөр аргагүйд хүрдэг: зарим хиймэл дагуулууд ойролцоогоор 5 Вт эрчим хүч өгдөг нарны хавтанг ашигладаг бол зарим нь ижил эрчим хүчийг өгдөг цөмийн эрчим хүчний эх үүсвэрийг ашигладаг. Цахилгаан хангамжийн бага чадал, дамжуулагчийн тавагны жижиг хэмжээ, дэлхий дээрх хүлээн авагчийн тавагны хэмжээ хязгаарлагдмал, дохио явах ёстой асар их зай - энэ бүхэн нь өндөр түвшний алдаа засах кодыг ашиглахыг шаарддаг. үр дүнтэй харилцааны систем.
Дээрх нотолгоонд ашигласан n хэмжээст орон зай руугаа буцъя. Үүнийг хэлэлцэхдээ бид бөмбөрцгийн бараг бүх эзэлхүүн нь гаднах гадаргуугийн ойролцоо төвлөрч байгааг харуулсан - иймээс илгээсэн дохио нь хүлээн авсан дохионы эргэн тойронд баригдсан бөмбөрцгийн гадаргуугийн ойролцоо байрлах нь бараг тодорхой юм. ийм бөмбөрцгийн жижиг радиус. Тиймээс хүлээн авсан дохио нь дур мэдэн олон тооны алдааг зассаны дараа nQ нь алдаагүй дохионд дур мэдэн ойрхон болж хувирах нь гайхах зүйл биш юм. Бидний өмнө нь авч үзсэн холбоосын хүчин чадал нь энэ үзэгдлийг ойлгох түлхүүр юм. Алдаа засах Хаммингийн кодуудад зориулж бүтээсэн ижил төстэй бөмбөрцөгүүд хоорондоо давхцдаггүйг анхаарна уу. n хэмжээст огторгуйд олон тооны бараг ортогональ хэмжээсүүд нь бид яагаад огторгуйд M бөмбөрцөг бага зэрэг давхцалтайгаар багтааж болохыг харуулж байна. Хэрэв бид код тайлах явцад цөөн тооны алдаа гаргахад хүргэдэг жижиг, дур зоргоороо жижиг давхцлыг зөвшөөрвөл бид бөмбөрцөгийг орон зайд нягт байрлуулах боломжтой болно. Хэмминг тодорхой түвшний алдааг засах баталгаатай, Шеннон - алдаа гарах магадлал бага, гэхдээ үүнтэй зэрэгцэн Хаммингийн кодууд үүнийг хийж чадахгүй харилцаа холбооны сувгийн хүчин чадалтай ойролцоо бодит дамжуулалтыг дур мэдэн хадгалдаг.
Мэдээллийн онол нь үр ашигтай системийг хэрхэн зохион бүтээхийг бидэнд заадаггүй ч үр ашигтай харилцаа холбооны системд хүрэх замыг зааж өгдөг. Энэ нь машин хоорондын харилцааны системийг бий болгоход үнэ цэнэтэй хэрэгсэл боловч өмнө дурдсанчлан энэ нь хүмүүс хоорондоо хэрхэн харилцаж байгаатай огт хамаагүй юм. Биологийн өв залгамжлал нь техникийн харилцаа холбооны системтэй адил хэр зэрэг нь тодорхойгүй байгаа тул мэдээллийн онол генд хэрхэн хамааралтай болох нь одоогоор тодорхойгүй байна. Бид хичээхээс өөр аргагүй бөгөөд хэрэв амжилт нь энэ үзэгдлийн машин шинж чанарыг харуулж байвал бүтэлгүйтэл нь мэдээллийн мөн чанарын бусад чухал талуудыг зааж өгөх болно.
Хэт их хазайхгүй байцгаая. Бүх анхны тодорхойлолтууд нь их бага хэмжээгээр бидний анхны итгэл үнэмшлийн мөн чанарыг илэрхийлэх ёстой гэдгийг бид харсан боловч тэдгээр нь тодорхой хэмжээний гажуудлаар тодорхойлогддог тул хэрэглэх боломжгүй юм. Эцсийн эцэст бидний ашигладаг тодорхойлолт нь мөн чанарыг тодорхойлдог гэж уламжлал ёсоор хүлээн зөвшөөрдөг; гэхдээ, энэ нь зөвхөн зүйлийг хэрхэн боловсруулахыг хэлж өгдөг бөгөөд бидэнд ямар ч утгыг илэрхийлэхгүй. Математикийн хүрээлэлд маш их таалагддаг постуляцийн хандлага нь практикт хүссэн зүйлээ үлдээдэг.
Одоо бид IQ тестийн жишээг авч үзэх болно, үүнд тодорхойлолт нь таны хүссэнээр дугуй хэлбэртэй бөгөөд үр дүнд нь төөрөгдөл үүсгэдэг. Оюун ухааныг хэмжих тестийг бий болгодог. Дараа нь үүнийг аль болох тууштай болгохын тулд засварлаж, дараа нь хэвлэн нийтэлж, энгийн аргаар хэмжсэн "оюун ухаан" нь хэвийн тархсан (мэдээж тохируулгын муруй дээр) байхаар тохируулдаг. Бүх тодорхойлолтыг зөвхөн анх санал болгоход төдийгүй, хожим нь дүгнэлт гаргахдаа ашиглах үед дахин шалгах ёстой. Шийдэж буй асуудалд тодорхойлолтын хил хязгаар хэр тохиромжтой вэ? Нэг тохиргоонд өгөгдсөн тодорхойлолтууд өөр өөр орчинд хэр олон удаа хэрэглэгдэх вэ? Энэ нь ихэвчлэн тохиолддог! Таны амьдралд зайлшгүй тулгарах хүмүүнлэгийн салбарт энэ нь илүү олон тохиолддог.
Иймд мэдээллийн онолын энэхүү танилцуулгын нэг зорилго нь ашиг тустайг харуулахаас гадна энэ аюулаас сэрэмжлүүлэх, эсвэл хүссэн үр дүндээ хэрхэн яаж ашиглахыг зааж өгөх явдал байв. Анхны тодорхойлолтууд нь эцсийн эцэст юу олж мэдэхийг төсөөлж байгаагаас хамаагүй илүү тодорхойлдог гэдгийг эрт дээр үеэс тэмдэглэж ирсэн. Анхны тодорхойлолтууд нь зөвхөн аливаа шинэ нөхцөл байдалд төдийгүй таны удаан хугацаанд хамтран ажиллаж байсан салбарт маш их анхаарал шаарддаг. Энэ нь олж авсан үр дүн нь хэр зэрэг ашигтай зүйл биш харин тавтологи болохыг ойлгох боломжийг танд олгоно.
Эддингтоны алдарт түүх далайд тороор загасчилж байсан хүмүүсийн тухай өгүүлдэг. Барьсан загасныхаа хэмжээг судалсны дараа тэд далайд байдаг загасны хамгийн бага хэмжээг тогтоожээ! Тэдний дүгнэлт нь бодит байдлаас бус ашигласан хэрэглүүрээс үүдэлтэй байв.
Үргэлжлэл бий…
Номын орчуулга, зохион байгуулалт, хэвлэхэд туслахыг хүссэн хүн хувийн мессеж эсвэл имэйлээр бичнэ үү [имэйлээр хамгаалагдсан]
Дашрамд хэлэхэд бид бас нэгэн гайхалтай номын орчуулгыг эхлүүлсэн. )
Бид ялангуяа хайж байна орчуулахад туслах хүмүүс . (10 минутын турш шилжүүлэх, эхний 20 нь аль хэдийн авсан)
Номын агуулга, орчуулсан бүлгүүд
- Шинжлэх ухаан, инженерчлэл хийх урлаг: Суралцаж сурах нь (28 оны 1995-р сарын XNUMX)
- "Дижитал (дискрет) хувьсгалын үндэс" (30 оны 1995-р сарын XNUMX)
- "Компьютерийн түүх - Техник хангамж" (31 оны 1995-р сарын XNUMX)
- "Компьютерийн түүх - Програм хангамж" (4 оны 1995-р сарын XNUMX)
- "Компьютерийн түүх - Хэрэглээ" (6 оны 1995-р сарын XNUMX)
- "Хиймэл оюун ухаан - I хэсэг" (7 оны 1995-р сарын XNUMX)
- "Хиймэл оюун ухаан - II хэсэг" (11 оны 1995-р сарын XNUMX)
- "Хиймэл оюун ухаан III" (13 оны 1995-р сарын XNUMX)
- "n-Dimensional Space" (14 оны 1995-р сарын XNUMX)
- "Кодчлолын онол - Мэдээллийн төлөөлөл, I хэсэг" (18 оны 1995-р сарын XNUMX)
- "Кодчлолын онол - Мэдээллийн төлөөлөл, II хэсэг" (20 оны 1995-р сарын XNUMX)
- "Алдаа засах кодууд" (21 оны 1995-р сарын XNUMX)
- "Мэдээллийн онол" (25 оны 1995-р сарын XNUMX)
- "Дижитал шүүлтүүр, I хэсэг" (27 оны 1995-р сарын XNUMX)
- "Дижитал шүүлтүүрүүд, II хэсэг" (28 оны 1995-р сарын XNUMX)
- "Дижитал шүүлтүүрүүд, III хэсэг" (2 оны 1995-р сарын XNUMX)
- "Дижитал шүүлтүүрүүд, IV хэсэг" (4 оны 1995-р сарын XNUMX)
- "Симуляция, I хэсэг" (5 оны 1995-р сарын XNUMX)
- "Симуляция, II хэсэг" (9 оны 1995-р сарын XNUMX)
- "Симуляция, III хэсэг" (11 оны 1995-р сарын XNUMX)
- "Fiber Optics" (12 оны 1995-р сарын XNUMX)
- "Компьютерийн тусламжтай заавар" (16 оны 1995-р сарын XNUMX)
- "Математик" (18 оны 1995-р сарын XNUMX)
- "Квантын механик" (19 оны 1995-р сарын XNUMX)
- "Бүтээлч байдал" (23 оны 1995-р сарын XNUMX). Орчуулга:
- "Мэргэжилтнүүд" (25 оны 1995-р сарын XNUMX)
- "Найдваргүй өгөгдөл" (26 оны 1995-р сарын XNUMX)
- "Системийн инженерчлэл" (30 оны 1995-р сарын XNUMX)
- "Та юу хэмжсэнээ авдаг" (1 оны 1995-р сарын XNUMX)
- (Зургадугаар сар 2, 1995) 10 минутын хэсэгчлэн орчуулна
- Хамминг, "Та ба таны судалгаа" (6 оны 1995-р сарын XNUMX).
Номын орчуулга, зохион байгуулалт, хэвлэхэд туслахыг хүссэн хүн хувийн мессеж эсвэл имэйлээр бичнэ үү [имэйлээр хамгаалагдсан]
Эх сурвалж: www.habr.com