Багато хто пам'ятає, що серіал «Кремнієва долина» розповідає про програміста Річарда
Хендрікс, який випадково придумав революційний алгоритм стиснення даних і вирішив
збудувати свій стартап.
Консультанти серіалу навіть запропонували метрику, за допомогою якої можна оцінювати
подібні алгоритми - вигаданий коефіцієнт Вайзмана (Weissman Score).
Далі за сюжетом стартап зробив відеочат, використовуючи це рішення.
Шановній спільноті пропонується до обговорення інший, зовсім незвичайний
принцип стиснення даних для аудіо та відеодзвінків, який вирішує проблему з новою,
несподіваного боку.
Якщо ви хочете взяти участь в обговоренні цього рішення, а також дізнатися, що спільного у цієї
концепції з Джонатаном Свіфтом та творами Льва Толстого, прошу під кат.
Трохи теорії
Опишемо в загальних рисах як працює сучасний аудіозв'язок - принцип однаковий як для
дзвінків по GSM мережі, так і для месенджерів та VOIP мереж.
Звукові коливання надходять на мікрофон смартфона, далі в аналого-цифровий
перетворювач (АЦП або ADC):
Далі відбувається кодування різноманітними кодеками (G711, G729, OPUS, GSM тощо),
додається або не додається шифрування (SRTP, ZPTP тощо) та відправляється в середу
передачі даних.
Наприклад, майже всі месенджери (WhatsApp, Viber і т.д.) користуються одними і тими ж кодеками (останнім часом це як правило Opus), і практично одними і тими ж злегка
зміненими протоколами (з урахуванням SIP, WebRTC).
Як мережа передачі може виступати і паблік інтернет і GSM мережу чи
інтранет:
Шифрування – необов'язковий елемент у цій схемі, наприклад у більшості випадків для
SIP телефонії шифрування не використовується.
А ось у месенджерах навпаки — як правило використовуються свої пропрієрітарні
протоколи для шифрування голосу та відео.
Далі відбувається зворотний процес - адресат, отримавши дані, декодує отриману інформацію, потім сигнал надходить на ЦАП (цифро-аналоговий перетворювач) і потім надходить у звуковий підсилювач, підключений до динаміка:
Характеристики сучасних кодеків:
G.711 64 Кб/сек.
G.726 16, 24, 32 або 40 Кб/сек.
G.729А 8 Кб/сек.
GSM 13 Кб/сек.
iLBC 13.3 Кб/сек. (30 мс кадру); 15.2 Кб/сек. (20 мс кадру)
Speex Діапазон від 2.15 до 22.4 Кб/сек.
G.722 64 Кб/сек.
Таким чином, наприклад при 7 хвилинній розмові по WhatsApp або Скайп буде
витрачено близько 1 МБ.
Запам'ятаймо ці цифри — 1Мб на 7 хвилин розмови, незабаром вони нам знадобляться.
"Лев Толстой як дзеркало ... революції ..."
Давайте згадаємо найзнаменитіший роман цього великого російського письменника:
"Війна і мир" - роман-епопея Льва Миколайовича Толстого, що описує російську
суспільство за доби воєн проти Наполеона в 1805—1812 роках. Епілог роману доводить
оповідання до 1820 року.
Роману «Війна та мир» Л.М. Толстой присвятив сім років напруженої та завзятої праці. Про те, як створювалося одне з найбільших світових творінь, свідчать рукописи
«Війни та миру»: в архіві письменника збереглося понад 5200 дрібно списаних аркушів.
Якщо ви зараз захочете прочитати цей роман, його можна легко скачати.
І це файл важить всього… 1 МБ:
Формати fb2 і epub, як і zip, rar можна розсмартувати як свого роду
кодеки.
Давайте замислимося - 7 хвилин нашої розмови по WhatsApp рівні за обсягом трафіку
великому твору, що писалося 7 років!
Розмова 7 хвилин кодувався кодеком opus, роман кодувався ePub, об'єм той самий –
1Мб, але якась колосальна різниця!
Подорожі Гулівера
Всі знають цей твір Джонатана Свіфта з дитинства, але насправді ця книга не для
дітей.
"Подорожі Гулівера" - це політична сатира для дорослих, звичайно в контексті 18
століття.
Дивно те, що Свіфт, будучи затятим противником іншого свого сучасника -
Ньютона, у своїх “Подорожах Гулівера” як передбачив відкриття супутників
Марса (з досить точним описом їх характеристик), але й описав досить цікавий
спосіб комунікацій між людьми:
“…проект вимагав повного скасування всіх слів;
автор цього проекту посилався головним чином на його користь для здоров'я та заощадження
часу.
Адже очевидно, що кожне сказане нами слово пов'язане з деяким зношуванням.
легень і, отже, призводить до скорочення нашого життя.
Оскільки слова суть тільки назви речей, то автор проекту висловлює припущення,
що для нас буде набагато зручніше носити при собі речі, необхідні для вираження наших
думок та бажань.
… багато вельми вчені та мудрі люди користуються цим новим способом вираження своїх
думок за допомогою речей.
Єдиною його незручністю є та обставина, що, у разі потреби
вести велику розмову на різноманітні теми, співрозмовникам доводиться тягати на
плечах великі вузли з речами, якщо кошти не дозволяють найняти для цього одного або
двох дужих хлопців. Мені часто траплялося бачити двох таких мудреців, що знемагали під
вагою ноші, подібно до наших торговців врознос. Під час зустрічі на вулиці вони знімали з
плечей мішки, відкривали їх і, діставши звідти необхідні речі, вели таким чином розмову в
продовження години; потім складали своє начиння, допомагали один одному звалювати вантаж на
плечі, прощалися та розходилися.
Втім, для коротких та нескладних розмов можна носити все необхідне у кишені
або під пахвою, а розмова, що відбувається в домашній обстановці, не викликає жодних
труднощів. Тому кімнати, де збираються особи, які застосовують цей метод, наповнені
всілякими предметами, придатними служити матеріалом для таких штучних
розмов.
Іншою великою перевагою цього винаходу є те, що ним можна користуватися
як всесвітньою мовою, зрозумілою для всіх цивілізованих націй, бо меблі та домашня
начиння скрізь однакова або дуже схожа, так що її вживання легко може бути зрозуміле.
Таким чином, посланці легко можуть говорити з іноземними королями або
міністрами, мова яких їм абсолютно невідома…”
Отже, ви напевно вже здогадуєтеся, до чого я веду 🙂
Навіщо передавати струси повітря (звуки) на багато сотень і тисяч кілометрів,
заморочуватися з кодуванням (для того, щоб якомога точніше і якісніше передати ці струси повітря адресату), тримати необхідну смугу пропускання, якщо смислова
навантаження цієї передачі - мінімальна, а то й зовсім прагне нуля?
Адже люди комунікують між собою не звуками, а значенням, контентом, семантикою, думками...
Концепт нової системи комунікації досить простий – на боці джерела звукові
коливання також оцифровуються, але не передаються відразу ж іншій стороні, а
перетворюються на текст (Speech To Text) і далі передається вже осмислений текст від
абонента А, який:
- може бути переданий з мінімальною необхідною смугою передачі даних (можливий навіть радіозв'язок типу КВ і т.д.)
- може бути зашифрований будь-яким сильним алгоритмом шифрування
На боці Б отримані повідомлення розшифровуються та відтворюються вже як голос від
абонента А (Text To Speech).
Також можна завантажити на боці т.зв. голосовий аватар абонента А, який би в
точності повторював манеру промови абонента А.
Окремим каналом можна передавати фонові шуми та емоції.
Все те саме справедливо і для відеозв'язку – тим паче окремі елементи вже давно
існують у додатках (різноманітні маски, заднє тло в Zoom тощо).
Так, є технічні моменти, які зараз до кінця не реалізовані належним чином –
наприклад, критичною буде швидкість перетворення Speech To Text, але використовуючи
Предиктивні AI алгоритми перетворення можна цю швидкість суттєво підвищити.
Найголовніша перевага – потрібна мінімальна смуга пропускання серед передачі
даних.
Тобто. такий принцип можна використовувати не тільки для звичайних повсякденних
комунікацій, але також і для військових та для далекого зв'язку з великими затримками
(космічний зв'язок, міжпланетний - Місяць, Марс і т.д. 🙂)
Хоча це опис концепту, але насправді в одному нашому проекті вже кілька
місяців використовується прототип із цим принципом.
Але про це наступного разу...
Джерело: habr.com