Истражување на VoIP моторот Mediastreamer2. Дел 1

Материјалот на статијата е преземен од моето зен канал.

Вовед

Оваа статија е почеток на серијата написи за обработка на медиуми во реално време со помош на моторот Mediastreamer2. За време на презентацијата ќе се користат минимални вештини за работа во терминал Линукс и програмирање на јазикот Ц.

Mediastreamer2 е VoIP моторот зад популарниот софтвер со отворен код Voip телефонски проект Линфон. Во Linphone Mediastreamer2 ги имплементира сите функции поврзани со звук и видео. Детален список на карактеристики на моторот може да се види на оваа страница на Mediastreamer. Изворниот код е тука: GitLab.

Понатаму во текстот, за погодност, наместо зборот Mediastreamer2 ќе ја користиме неговата руска нотација: „media streamer“.

Историјата на неговото создавање не е сосема јасна, но судејќи според изворниот код, таа претходно ја користела библиотеката Глиб, што, како што беше, навестува можна далечна врска со GStreamer. За споредба, медиумскиот стример изгледа полесен. Првата верзија на Linphone се појави во 2001 година, така што во моментов медиумскиот стример постои и се развива речиси 20 години.

Во срцето на медиумскиот стример е архитектура наречена „Проток на податоци“ (проток на податоци). Пример за таква архитектура е прикажан на сликата подолу.

Во оваа архитектура, алгоритмот за обработка на податоци не е одреден со програмски код, туку со шема (график) за поврзување на функции што може да се подредат по кој било редослед. Овие функции се нарекуваат филтри.

Оваа архитектура овозможува да се имплементира функционалноста за обработка на медиуми во форма на збир на филтри поврзани во шема за обработка и пренос на RTP сообраќај на телефон VoIP.

Способноста да се комбинираат филтри во произволни шеми, едноставниот развој на нови филтри, имплементацијата на медиумскиот стример како независна посебна библиотека, овозможуваат да се користи во други проекти. Покрај тоа, проектот може да биде во полето на VoIP, бидејќи е можно да се додадат филтри направени од самиот себе.

Библиотеката со филтри што е стандардно обезбедена е доста богата и, како што веќе беше споменато, може да се прошири со филтри од наш сопствен дизајн. Но, прво, да ги опишеме готовите филтри што доаѓаат со медиумскиот стример. Еве ја нивната листа:

Филтри за звук

Аудио снимање и репродукција

• Алса (Линукс): MS_ALSA_WRITE, MS_ALSA_READ
• мајчин звук на Android (libmedia): MS_ANDROID_SOUND_WRITE, MS_ANDROID_SOUND_READ
• Услуга за аудио редици (Mac OS X): MS_AQ_WRITE, MS_AQ_READ
• Услуга за аудио единица (Mac OS X)
• Уметности (Linux): MS_ARTS_WRITE, MS_ARTS_READ
• DirectSound (Windows): MS_WINSNDDS_WRITE, MS_WINSNDDS_READ
• Плеер на датотеки (raw/wav/pcap-датотеки) (Linux): MS_FILE_PLAYER
• Плеер на датотеки (raw/wav-датотеки) (Windows): MS_WINSND_READ
• Запишување во датотека (wav-датотеки) (Linux): MS_FILE_REC
• Запишување во датотека (wav-датотеки) (Windows): MS_WINSND_WRITE
• Mac аудио единица (Mac OS X)
• MME (Windows)
• OSS (Linux): MS_OSS_WRITE, MS_OSS_READ
• PortAudio (Mac OS X)
• PulseAudio (Linux): MS_PULSE_WRITE, MS_PULSE_READ
• Звук на Windows (Windows)

Аудио кодирање/декодирање

• G.711 a-закон: MS_ALAW_DEC, MS_ALAW_ENC
• G.711 µ-закон: MS_ULAW_DEC, MS_ULAW_ENC
• G.722: MS_G722_DEC, MS_G722_ENC
• G.726: MS_G726_32_ENC, MS_G726_24_ENC, MS_G726_16_ENC
• GSM: MS_GSM_DEC, MS_GSM_ENC
• Линеарен PCM: MS_L16_ENC, MS_L16_DEC
• Speex: MS_SPEEX_ENC, MS_SPEEX_DEC

Обработка на аудио

• Конверзија на канали (моно-> стерео, стерео-> моно): MS_CHANNEL_ADAPTER
• Конференција: MS_CONF
• DTMF генератор: MS_DTMF_GEN
• Откажување на ехо (speex): MS_SPEEX_EC
• Еквилајзер: MS_EQUALIZER
• Миксер: MS_MIXER
• Компензатор за загуба на пакети (PLC): MS_GENERIC_PLC
• Ресемплер: MS_RESAMPLE
• Детектор за тонови: MS_TONE_DETECTOR
• Контрола на јачината на звукот и мерење на нивото на сигналот: MS_VOLUME

Филтри за видео

Снимање и репродукција на видео

• Снимање со Android
• репродукција на андроид
• AV Foundation Capture (iOS)
• Репродукција на AV Foundation (iOS)
• Снимање DirectShow (Windows)
• Репродукција на DrawDib (Windows)
• Надворешна репродукција - Испраќање видео до горниот слој
• Репродукција на GLX (Linux): MS_GLXVIDEO
• Mire - Синтетичка подвижна слика: MS_MIRE
• Репродукција на OpenGL (Mac OS X)
• Репродукција на OpenGL ES2 (Андроид)
• Quicktime Capture (Mac OS X)
• Репродукција на SDL: MS_SDL_OUT
• Излез на статични слики: MS_STATIC_IMAGE
• Снимање видео за Linux (V4L) (Linux): MS_V4L
• Снимање видео за Linux 2 (V4L2) (Linux): MS_V4L2_CAPTURE
• Снимање Video4windows (DirectShow) (Windows)
• Снимање Video4windows (DirectShow) (Windows CE)
• Снимање видео за Windows (vfw) (Windows)
• XV репродукција (Linux)

Видео кодирање/декодирање

• H.263, H.263-1998, MP4V-ES, JPEG, MJPEG, снег: MS_MJPEG_DEC, MS_H263_ENC, MS_H263_DEC
• H.264 (само декодер): MS_H264_DEC
• Теора: MS_THEORA_ENC, MS_THEORA_DEC
• VP8: MS_VP8_ENC, MS_VP8_DEC

Обработка на видео

• jpeg снимка
• Конвертор на формат на пиксели: MS_PIX_CONV
• Промена на големината
• Други филтри
• Размена на блокови на податоци помеѓу нишки: MS_ITC_SOURCE, MS_ITC_SINK
• Собирање блокови податоци од повеќе влезови до еден излез: MS_JOIN
• RTP прием/пренос: MS_RTP_SEND, MS_RTP_RECV
• Копирање на влезните податоци на повеќе излези: MS_TEE
• Завршено оптоварување: MS_VOID_SINK
• Извор на тишина: MS_VOID_SOURCE

Додатоци

Филтри за звук

• AMR-NB енкодер/декодер
• G.729 енкодер/декодер
• iLBC енкодер/декодер
• SILK енкодер/декодер
  

  Филтри за видео

• H.264 софтверски енкодер
• H.264 V4L2 хардверски забрзан енкодер/декодер

По краток опис на филтерот, се прикажува името на типот, кое се користи при креирање на нов примерок на овој филтер. Во продолжение ќе се осврнеме на оваа листа.

Инсталација под Linux Ubuntu

Сега ќе го инсталираме медиумскиот стример на вашиот компјутер и ќе ја изградиме нашата прва апликација со него.

Инсталирањето на Mediastremer2 на компјутер или виртуелна машина со Ubuntu не бара никакви посебни вештини. Овде и подолу, симболот „$“ ќе го означи промптот за школка за внесување команди. Оние. ако во списокот го гледате овој симбол на почетокот на линијата, тогаш ова е линијата во која командите се прикажани дека се извршуваат во терминалот.

Се претпоставува дека додека ги извршувате чекорите опишани во овој напис, вашиот компјутер има пристап до Интернет.

Инсталирање на пакетот libmediastremer-dev

Стартувајте го терминалот и напишете ја командата:

$ sudo apt-get update

Ќе ви биде побарана лозинка за да направите промени; внесете ја и менаџерот на пакети ќе ги ажурира своите бази на податоци. По ова треба да направите:

$ sudo apt-get install libmediastreamer-dev

Потребните пакети за зависности и самата библиотека за стриминг на медиуми ќе бидат автоматски преземени и инсталирани.

Вкупната големина на преземените деб-пакети за зависност ќе биде приближно 35 MB. Детали за инсталираниот пакет може да се најдат со командата:

$ dpkg -s libmediastreamer-dev

Пример за одговор:

Package: libmediastreamer-dev
Status: install ok installed
Priority: optional
Section: libdevel
Installed-Size: 244
Maintainer: Ubuntu Developers <[email protected]>
Architecture: amd64
Source: linphone
Version: 3.6.1-2.5
Depends: libmediastreamer-base3 (= 3.6.1-2.5), libortp-dev
Description: Linphone web phone's media library - development files
Linphone is an audio and video internet phone using the SIP protocol. It
has a GTK+ and console interface, includes a large variety of audio and video
codecs, and provides IM features.
.
This package contains the development libraries for handling media operations.
Original-Maintainer: Debian VoIP Team <[email protected]>
Homepage: http://www.linphone.org/

Инсталирање алатки за развој

Инсталирајте го компајлерот C и неговите придружни алатки:

$ sudo apt-get install gcc

Го проверуваме резултатот со барање на верзијата на компајлерот:

$ gcc --version

Одговорот треба да биде отприлика вака:

gcc (Ubuntu 5.4.0-6ubuntu1~16.04.12) 5.4.0 20160609
Copyright (C) 2015 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

Изградба и водење на пробната апликација

Ние создаваме во дома папка за нашите туторијални проекти, ајде да ја наречеме mstutorial:

$ mkdir ~/mstutorial

Користете го вашиот омилен уредувач на текст и креирајте програмска датотека C наречена mstest.в со следнава содржина:

#include "stdio.h"
#include <mediastreamer2/mscommon.h>
int main()
{
  ms_init();
  printf ("Mediastreamer is ready.n");
}

Го иницијализира медиумскиот стример, печати честитка и излегува.

Зачувајте ја датотеката и составете ја тест апликацијата со командата:

$ gcc mstest.c -o mstest `pkg-config mediastreamer --libs --cflags`

Ве молиме имајте предвид дека линијата

`pkg-config mediastreamer --libs --cflags`

затворени во наводници, кои се наоѓаат на тастатурата на истото место како буквата „Y“.

Ако датотеката не содржи грешки, тогаш по компилацијата датотеката ќе се појави во директориумот mstest. Ја започнуваме програмата:

$ ./mstest

Резултатот ќе биде вака:

ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib control.c:954:(snd_ctl_open_noupdate) Invalid CTL default:0
ortp-warning-Could not attach mixer to card: Invalid argument
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ortp-warning-Strange, sound card HDA Intel PCH does not seems to be capable of anything, retrying with plughw...
Mediastreamer is ready.

Во оваа листа гледаме пораки за грешка генерирани од библиотеката ALSA, која се користи за контрола на звучната картичка. Самите развивачи на медиумскиот стример веруваат дека тоа е нормално. Во овој случај, ние неизбежно ќе се согласиме со нив.

Сега сите сме подготвени да работиме со медиумскиот стример. Ја инсталиравме библиотеката за медиумски стример, алатката за компајлирање и со помош на пробна апликација, потврдивме дека алатките се конфигурирани и медиумскиот стример успешно се иницијализира.

Во следниот Член ќе создадеме апликација која ќе состави и ќе изврши обработка на аудио сигнал во синџир од неколку филтри.

Извор: www.habr.com