Изучаваме VoIP двигателя Mediastreamer2. Част 1

Материалът на статията е взет от моя дзен-канал.

Въведение

Тази статия е начало на серия от статии за реално време обработка на медиаданиа с помощта на движка Mediastreamer2. По време на изложението ще бъдат използвани минимални умения за работа в терминала на Linux и програмиране на езика C.

Mediastreamer2 е VoIP двигател, който стои в основата на популярния open-source проект софтуерен voip телефон. Linphone. В Linphone, Mediastreamer2 реализира всички функции, свързани със звук и видео. Подробен списък с възможностите на двигателя може да бъде видян на тази страница Mediastreamer. Изходният код се намира тук: GitLab.

В текста по-долу, за удобство, вместо думата Mediastreamer2, ще използваме руската му нотация: "медиастример".

Историята на неговото създаване не е напълно ясна, но судейки по неговия изходен код, той по-рано е използвал библиотеката Glib, което ни подсказва за евентуалната му далечна родственица с GStreamer. В сравнение с него, медиастример изглежда по-лек. Първата версия на Linphone е излязла през 2001 година, така че в момента медиастример съществува и се развива вече почти 20 години.

В основата на медиастримера лежи архитектура, наречена "Data flow" (поток от данни). Пример за такава архитектура е изобразен на схемата по-долу.

В тази архитектура алгоритъмът за обработка на данните е зададен не от програмния код, а от схема (граф) на свързване на функции, които могат да бъдат изработени в произволен ред. Тези функции се наричат филтри.

Такава архитектура позволява реализиране на функционалността на обработка на медиа под формата на набор от филтри, свързани в схема за обработване и предаване на RTP трафик на VoIP телефон.

Възможността да свързвате филтри в произволни схеми, лесното разработване на нови филтри и реализирането на медиастримера като самостоятелна библиотека, позволяват да се използва и в други проекти. Проектът може да бъде в сферата на VoIP, тъй като има възможност да добавяте филтри, направени от вас.

Доставената по подразбиране библиотека от филтри е доста богата и, както вече беше споменато, може да бъде разширена с филтри, направени от вас. Но първо ще опишем готовите филтри, които пристигат с медиастримера. Ето техния списък:

Звукови филтри

Улавяне и възпроизвеждане на звук

• Alsa (Linux): MS_ALSA_WRITE, MS_ALSA_READ
• Android native sound (libmedia): MS_ANDROID_SOUND_WRITE, MS_ANDROID_SOUND_READ
• Audio Queue Service (Mac OS X): MS_AQ_WRITE, MS_AQ_READ
• Audio Unit Service (Mac OS X)
• Arts (Linux): MS_ARTS_WRITE, MS_ARTS_READ
• DirectSound (Windows): MS_WINSNDDS_WRITE, MS_WINSNDDS_READ
• Възпроизвеждане на файлове (raw/wav/pcap файлове) (Linux): MS_FILE_PLAYER
• Възпроизвеждане на файлове (raw/wav файлове) (Windows): MS_WINSND_READ
• Запис в файл (wav файлове) (Linux): MS_FILE_REC
• Запис в файл (wav файлове) (Windows): MS_WINSND_WRITE
• Mac Audio Unit (Mac OS X)
• MME (Windows)
• OSS (Linux): MS_OSS_WRITE, MS_OSS_READ
• PortAudio (Mac OS X)
• PulseAudio (Linux): MS_PULSE_WRITE, MS_PULSE_READ
• Windows Sound (Windows)

Кодиране/декодиране на звук

• G.711 a-закон: MS_ALAW_DEC, MS_ALAW_ENC
• G.711 µ-закон: MS_ULAW_DEC, MS_ULAW_ENC
• G.722: MS_G722_DEC, MS_G722_ENC
• G.726: MS_G726_32_ENC, MS_G726_24_ENC, MS_G726_16_ENC
• GSM: MS_GSM_DEC, MS_GSM_ENC
• Линейна ИКМ: MS_L16_ENC, MS_L16_DEC
• Speex: MS_SPEEX_ENC, MS_SPEEX_DEC

Обработка на звук

• Преобразуване на канала (моно->стерео, стерео->моно): MS_CHANNEL_ADAPTER
• Конференция: MS_CONF
• Генератор DTMF: MS_DTMF_GEN
• Подавяне на ехо (speex): MS_SPEEX_EC
• Еквалайзер: MS_EQUALIZER
• Миксер: MS_MIXER
• Компенсатор за загуба на пакети (PLC): MS_GENERIC_PLC
• Ресемплер: MS_RESAMPLE
• Детектор на тонове: MS_TONE_DETECTOR
• Управление на силата на звука и измерване на нивото на сигнала: MS_VOLUME

Филтри за видео

Захващане и възпроизвеждане на видео

• Android захващане
• Android възпроизвеждане
• AV Foundation захващане (iOS)
• AV Foundation възпроизвеждане (iOS)
• DirectShow захващане (Windows)
• DrawDib възпроизвеждане (Windows)
• Външно възпроизвеждане — Изпращане на видео на горно ниво
• GLX възпроизвеждане (Linux): MS_GLXVIDEO
• Mire — Синтетично движещо се изображение: MS_MIRE
• OpenGL възпроизвеждане (Mac OS X)
• OpenGL ES2 възпроизвеждане (Android)
• Quicktime захващане (Mac OS X)
• SDL възпроизвеждане: MS_SDL_OUT
• Извеждане на статични изображения: MS_STATIC_IMAGE
• Video For Linux (V4L) захващане (Linux): MS_V4L
• Video For Linux 2 (V4L2) захващане (Linux): MS_V4L2_CAPTURE
• Video4windows (DirectShow) захващане (Windows)
• Video4windows (DirectShow) захващане (Windows CE)
• Video For Windows (vfw) захващане (Windows)
• XV възпроизвеждане (Linux)

Кодиране/декодиране на видео

• H.263, H.263-1998, MP4V-ES, JPEG, MJPEG, Snow: MS_MJPEG_DEC, MS_H263_ENC, MS_H263_DEC
• H.264 (само декодер): MS_H264_DEC
• Theora: MS_THEORA_ENC, MS_THEORA_DEC
• VP8: MS_VP8_ENC, MS_VP8_DEC

Обработка на видео

• JPEG снимка
• Конвертор на пикселен формат: MS_PIX_CONV
• Ресайзер
• Други филтри
• Обмен на блокове данни между нишки: MS_ITC_SOURCE, MS_ITC_SINK
• Събиране на блокове данни от няколко входа на един изход: MS_JOIN
• RTP прием/предаване: MS_RTP_SEND, MS_RTP_RECV
• Копиране на входни данни на няколко изхода: MS_TEE
• Съгласувана натовареност: MS_VOID_SINK
• Източник на тишина: MS_VOID_SOURCE

Плъгини

Звукови филтри

• AMR-NB кодер/декодер
• G.729 кодер/декодер
• iLBC кодер/декодер
• SILK кодер/декодер
  

  Филтри за видео

• H.264 софтуерен кодер
• H.264 V4L2 кодер/декодер с хардуерно ускорение

След краткото описание на филтъра е показано името на типа, което се използва при създаване на нов екземпляр на този филтър. В по-нататъшния текст ще се позоваваме на този списък.

Инсталация под Linux Ubuntu

Сега ще извършим инсталация на медиастримера на компютъра и ще изградим нашето първо приложение с него.

Инсталацията на Mediastremer2 на компютър или виртуална машина с Ubuntu не изисква специални умения. Тук и в бъдеще символът «$» ще обозначава подканата на shell за въвеждане на команди. Т.е. ако в листинга видите този символ в началото на реда, значи това е ред, в който се показват командите за изпълнение в терминала.

Предполага се, че по време на изпълнението на действията, описани в тази статия, вашият компютър има достъп до интернет.

Инсталация на пакета libmediastremer-dev

Стартираме терминала и въвеждаме командата:

$ sudo apt-get update

Ще бъде поискан парола за въвеждане на промени, въведете я и мениджърът на пакети ще обнови своите бази. След това трябва да изпълните:

$ sudo apt-get install libmediastreamer-dev

Автоматично ще бъдат изтеглени и инсталирани необходимите пакети зависимости и самата библиотека на медиастримера.

Общият размер на изтеглените deb-пакети зависимости ще бъде около 35 MB. Подробности за инсталирания пакет могат да бъдат получени с командата:

$ dpkg -s libmediastreamer-dev

Примерен отговор:

Package: libmediastreamer-dev
Status: install ok installed
Priority: optional
Section: libdevel
Installed-Size: 244
Maintainer: Ubuntu Developers 
Architecture: amd64
Source: linphone
Version: 3.6.1-2.5
Depends: libmediastreamer-base3 (= 3.6.1-2.5), libortp-dev
Description: Linphone web phone's media library - development files
Linphone is an audio and video internet phone using the SIP protocol. It
has a GTK+ and console interface, includes a large variety of audio and video
codecs, and provides IM features.
.
This package contains the development libraries for handling media operations.
Original-Maintainer: Debian VoIP Team 
Homepage: http://www.linphone.org/

Инсталация на инструментите за разработка

Инсталираме компилатор на C и свързаните с него инструменти:

$ sudo apt-get install gcc

Проверяваме резултата, запитвайки версията на компилятора:

$ gcc --version

Отговорът трябва да изглежда приблизително така:

gcc (Ubuntu 5.4.0-6ubuntu1~16.04.12) 5.4.0 20160609
Copyright (C) 2015 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

Сборка и стартиране на пробно приложение

Създаваме в home папка за нашите учебни проекти, която ще наречем mstutorial:

$ mkdir ~/mstutorial

Използвайте любимия си текстов редактор и създайте файл на C програмата с име mstest.c с следното съдържание:

#include "stdio.h"
#include <mediastreamer2/mscommon.h>
int main()
{
  ms_init();
  printf ("Mediastreamer is ready.n");
}

Тя инициализира медиастримера, отпечатва поздравление и завършва изпълнението.

Запазете файла и компилирайте тестовото приложение с командата:

$ gcc mstest.c -o mstest `pkg-config mediastreamer --libs --cflags`

Обърнете внимание, че редът

`pkg-config mediastreamer --libs --cflags`

е заобиколен от кавички, които се намират на клавиатурата точно там, където е и буквата „Ё.“

Ако файлът не съдържа грешки, след компилация в директорията ще се появи файл mstest. Стартираме програмата:

$ .\/mstest

Резултатът ще бъде следният:

ALSA lib conf.c:4738:(snd_config_expand) Непознати параметри 0
ALSA lib control.c:954:(snd_ctl_open_noupdate) Невалиден CTL default:0
ortp-warning-Не успяхме да свържем миксера с картата: Невалиден аргумент
ALSA lib conf.c:4738:(snd_config_expand) Непознати параметри 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Непознат PCM default:0
ALSA lib conf.c:4738:(snd_config_expand) Непознати параметри 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Непознат PCM default:0
ortp-warning-Странно, звуковата карта HDA Intel PCH изглежда не е способна на нищо, опитваме отново с plughw...
Mediastreamer е готов.

В този листинг виждаме съобщения за грешки, които библиотеката ALSA извежда, той се използва за управление на звуковата карта. Самите разработчици на медиастримера смятат, че това е нормално. Ние в този случай по принуда ще се съгласим с тях.

Сега всичко е готово за работа с медиастримера. Ние инсталирахме библиотеката на медиастримера, инструмента за компилация и с тестовото приложение проверихме, че инструментите са конфигурирани и медиастримера се инициализира успешно.

В следващата статията ще създадем приложение, което ще обедини и стартира обработката на звуковия сигнал в верига от няколко филтъра.

Източник: habr.com