Проучване на VoIP двигателя на Mediastreamer2. част 1

Материалът на статията е взет от моя дзен канал.

въведение

Тази статия е началото на поредица от статии за обработка на мултимедия в реално време с помощта на двигателя Mediastreamer2. Презентацията включва минимални умения за работа в Linux терминал и програмиране на езика C.

Mediastreamer2 е VoIP машината зад популярния проект за VoIP телефон с отворен код. Линфон. В Linphone Mediastreamer2 изпълнява всички функции, свързани със звук и видео. Подробен списък с функции на двигателя може да се види на тази страница на Mediastreamer. Изходният код е тук: GitLab.

По-нататък в текста, за удобство, вместо думата Mediastreamer2 ще използваме руската й нотация: „media streamer“.

Историята на създаването му не е напълно ясна, но съдейки по изходния код, преди това е използвала библиотеката Глиб, което като че ли намеква за възможна далечна връзка с GStreamer. В сравнение с което медийният стример изглежда по-лек. Първата версия на Linphone се появи през 2001 г., така че в момента медийният стример съществува и се развива почти 20 години.

В основата на медийния стример е архитектура, наречена "Поток от данни" (поток от данни). Пример за такава архитектура е показан на фигурата по-долу.

В тази архитектура алгоритъмът за обработка на данни се определя не от програмен код, а от схема (графика) за свързване на функции, които могат да бъдат подредени в произволен ред. Тези функции се наричат ​​филтри.

Тази архитектура прави възможно реализирането на функционалността за обработка на мултимедия под формата на набор от филтри, свързани към схемата за обработка и предаване на трафика на VoIP телефон RTP.

Възможността за комбиниране на филтри в произволни схеми, простото разработване на нови филтри, внедряването на медийния стример като независима отделна библиотека, позволяват използването му в други проекти. Освен това проектът може да бъде в областта на VoIP, тъй като има възможност за добавяне на собственоръчно направени филтри.

Библиотеката с филтри, предоставена по подразбиране, е доста богата и, както вече споменахме, може да бъде разширена с филтри по наш собствен дизайн. Но първо, нека опишем готовите филтри, които идват с медийния стример. Ето техния списък:

Звукови филтри

Заснемане и възпроизвеждане на звук

• Alsa (Linux): MS_ALSA_WRITE, MS_ALSA_READ
• Android естествен звук (libmedia): MS_ANDROID_SOUND_WRITE, MS_ANDROID_SOUND_READ
• Услуга за аудио опашка (Mac OS X): MS_AQ_WRITE, MS_AQ_READ
• Услуга за аудио модул (Mac OS X)
• Изкуства (Linux): MS_ARTS_WRITE, MS_ARTS_READ
• DirectSound (Windows): MS_WINSNDDS_WRITE, MS_WINSNDDS_READ
• Файлов плейър (raw/wav/pcap файлове) (Linux): MS_FILE_PLAYER
• Файлов плейър (raw/wav файлове) (Windows): MS_WINSND_READ
• Запис във файл (wav файлове) (Linux): MS_FILE_REC
• Запис във файл (wav файлове) (Windows): MS_WINSND_WRITE
• Mac Audio Unit (Mac OS X)
• MME (Windows)
• OSS (Linux): MS_OSS_WRITE, MS_OSS_READ
• PortAudio (Mac OS X)
• PulseAudio (Linux): MS_PULSE_WRITE, MS_PULSE_READ
• Windows Sound (Windows)

Аудио кодиране/декодиране

• G.711 a-закон: MS_ALAW_DEC, MS_ALAW_ENC
• G.711 µ-закон: MS_ULAW_DEC, MS_ULAW_ENC
• G.722: MS_G722_DEC, MS_G722_ENC
• G.726: MS_G726_32_ENC, MS_G726_24_ENC, MS_G726_16_ENC
• GSM: MS_GSM_DEC, MS_GSM_ENC
• Линеен PCM: MS_L16_ENC, MS_L16_DEC
• Говор: MS_SPEEX_ENC, MS_SPEEX_DEC

Обработка на звука

• Преобразуване на канал (моно->стерео, стерео->моно): MS_CHANNEL_ADAPTER
• Конференция: MS_CONF
• DTMF генератор: MS_DTMF_GEN
• Отмяна на ехото (speex): MS_SPEEX_EC
• Еквалайзер: MS_EQUALIZER
• Миксер: MS_MIXER
• Компенсатор за загуба на пакети (PLC): MS_GENERIC_PLC
• Resampler: MS_RESAMPLE
• Тон детектор: MS_TONE_DETECTOR
• Контрол на силата на звука и измерване на нивото на сигнала: MS_VOLUME

Видео филтри

Заснемане и възпроизвеждане на видео

• андроид заснемане
• възпроизвеждане на android
• Заснемане на AV Foundation (iOS)
• Възпроизвеждане на AV Foundation (iOS)
• DirectShow Capture (Windows)
• Възпроизвеждане на DrawDib (Windows)
• Външно възпроизвеждане - Изпращане на видео към горния слой
• GLX възпроизвеждане (Linux): MS_GLXVIDEO
• Mire - Синтетична движеща се картина: MS_MIRE
• OpenGL възпроизвеждане (Mac OS X)
• Възпроизвеждане на OpenGL ES2 (Android)
• Quicktime Capture (Mac OS X)
• SDL възпроизвеждане: MS_SDL_OUT
• Извеждане на статично изображение: MS_STATIC_IMAGE
• Видео за заснемане на Linux (V4L) (Linux): MS_V4L
• Видео за заснемане на Linux 2 (V4L2) (Linux): MS_V4L2_CAPTURE
• Video4windows (DirectShow) заснемане (Windows)
• Video4windows (DirectShow) заснемане (Windows CE)
• Заснемане на видео за Windows (vfw) (Windows)
• XV възпроизвеждане (Linux)

Видео кодиране/декодиране

• H.263, H.263-1998, MP4V-ES, JPEG, MJPEG, сняг: MS_MJPEG_DEC, MS_H263_ENC, MS_H263_DEC
• H.264 (само декодер): MS_H264_DEC
• Theora: MS_THEORA_ENC, MS_THEORA_DEC
• VP8: MS_VP8_ENC, MS_VP8_DEC

Обработка на видео

• jpeg моментна снимка
• Конвертор на пикселен формат: MS_PIX_CONV
• Преоразмерител
• Други филтри
• Обмен на блокове данни между нишки: MS_ITC_SOURCE, MS_ITC_SINK
• Събиране на блокове от данни от множество входове към един изход: MS_JOIN
• RTP получаване/предаване: MS_RTP_SEND, MS_RTP_RECV
• Копиране на входни данни към множество изходи: MS_TEE
• Прекратено натоварване: MS_VOID_SINK
• Мълчание Източник: MS_VOID_SOURCE

плъгини

Звукови филтри

• AMR-NB енкодер/декодер
• G.729 енкодер/декодер
• iLBC енкодер/декодер
• SILK енкодер/декодер
  

  Видео филтри

• H.264 софтуерен енкодер
• H.264 V4L2 хардуерно ускорен енкодер/декодер

След кратко описание на филтъра се показва името на типа, който се използва при създаване на нов екземпляр на този филтър. По-нататък ще се позоваваме на този списък.

Инсталация под Linux Ubuntu

Сега ще инсталираме медийния стример на компютъра и ще създадем първото си приложение с него.

Инсталирането на Mediastremer2 на компютър или виртуална машина, работеща с Ubuntu, не изисква никакви специални умения. Тук и по-долу символът "$" ще обозначава подканата за въвеждане на команди. Тези. ако в списъка видите този символ в началото на реда, това е редът, в който са показани команди, които трябва да бъдат изпълнени в терминала.

Предполага се, че по време на стъпките в тази статия вашият компютър има достъп до интернет.

Инсталиране на пакета libmediastremer-dev

Стартирайте терминала и въведете командата:

$ sudo apt-get update

Ще бъдете помолени за парола, за да правите промени, въведете я и мениджърът на пакети ще актуализира своите бази данни. След това трябва да стартирате:

$ sudo apt-get install libmediastreamer-dev

Необходимите пакети за зависимости и самата библиотека за медиен стриймър ще бъдат изтеглени и инсталирани автоматично.

Общият размер на изтеглените dependency deb пакети ще бъде приблизително 35 MB. Подробности за инсталирания пакет могат да бъдат намерени с командата:

$ dpkg -s libmediastreamer-dev

Примерен отговор:

Package: libmediastreamer-dev
Status: install ok installed
Priority: optional
Section: libdevel
Installed-Size: 244
Maintainer: Ubuntu Developers <[email protected]>
Architecture: amd64
Source: linphone
Version: 3.6.1-2.5
Depends: libmediastreamer-base3 (= 3.6.1-2.5), libortp-dev
Description: Linphone web phone's media library - development files
Linphone is an audio and video internet phone using the SIP protocol. It
has a GTK+ and console interface, includes a large variety of audio and video
codecs, and provides IM features.
.
This package contains the development libraries for handling media operations.
Original-Maintainer: Debian VoIP Team <[email protected]>
Homepage: http://www.linphone.org/

Инсталиране на инструменти за разработка

Инсталирайте C компилатора и придружаващите го инструменти:

$ sudo apt-get install gcc

Проверяваме резултата чрез запитване до версията на компилатора:

$ gcc --version

Отговорът трябва да бъде нещо подобно:

gcc (Ubuntu 5.4.0-6ubuntu1~16.04.12) 5.4.0 20160609
Copyright (C) 2015 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

Изграждане и стартиране на пробното приложение

Ние създаваме в У дома папка за нашите учебни проекти, нека я наречем mstutorial:

$ mkdir ~/mstutorial

Използвайте любимия си текстов редактор и създайте C програмен файл, наречен mstest.c със следното съдържание:

#include "stdio.h"
#include <mediastreamer2/mscommon.h>
int main()
{
  ms_init();
  printf ("Mediastreamer is ready.n");
}

Той инициализира медийния стример, отпечатва поздрав и излиза.

Запазете файла и компилирайте тестовото приложение с командата:

$ gcc mstest.c -o mstest `pkg-config mediastreamer --libs --cflags`

Имайте предвид, че линията

`pkg-config mediastreamer --libs --cflags`

оградени в кавички, които се намират на клавиатурата на същото място като буквата "Ё".

Ако файлът не съдържа грешки, тогава след компилация в директорията ще се появи файл mstest. Стартираме програмата:

$ ./mstest

Резултатът ще бъде така:

ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib control.c:954:(snd_ctl_open_noupdate) Invalid CTL default:0
ortp-warning-Could not attach mixer to card: Invalid argument
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ortp-warning-Strange, sound card HDA Intel PCH does not seems to be capable of anything, retrying with plughw...
Mediastreamer is ready.

В този списък виждаме съобщенията за грешка, които библиотеката ALSA показва, тя се използва за управление на звуковата карта. Самите разработчици на медийния стример смятат, че това е нормално. В този случай ние неохотно се съгласяваме с тях.

Сега всички сме готови да работим с медийния стример. Инсталирахме библиотеката за медийни стриймъри, инструмента за компилиране и с помощта на пробно приложение проверихме, че инструментите са конфигурирани и медийният стриймър се инициализира успешно.

Следващия Статия ще създадем приложение, което ще сглоби и стартира обработката на аудио сигнал във верига от няколко филтъра.

Източник: www.habr.com