Uurime VoIP-mootorit Mediastreamer2. Osa 1

Artikli materjal on saadud minu Dzen-kanalist.

Sissejuhatus

See artikkel on algus seeriale artikleid reaalajas meediaandmete töötlemisest Mediastreamer2 mootori abil. Teksti esitamiseks on vaja minimaalset Linuxi terminali ja C keele programmeerimisoskust.

Mediastreamer2 on VoIP-mootor, mis on populaarse avatud lähtekoodiga VoIP-telefoni projekti aluseks. Linphone. Linphone'i sees rakendab Mediastreamer2 kõiki heliga ja videoga seotud funktsioone. Mootori funktsioonide üksikasjalikku loetelu saab vaadata sellel lehel Mediastreamer. Allikakood on siin: GitLab.

Edasi tekstis, mugavuse huvides, kasutame Mediastreamer2 asemel selle vene nime: «midiastreamer».

Selle loomise ajalugu ei ole päris selge, kuid tema allikakoodi põhjal on näha, et ta kasutas varem raamatukogu Glib, mis vihjab meile võimaliku kaugema sugulusesse GStreamer. Võrreldes sellega näeb midiastreamer välja kergem. Esimene Linphone'i versioon ilmus 2001. aastal, seega on midiastreamer praegu eksisteerinud ja arenemas peaaegu 20 aastat.

Midiastreameri aluseks on arhitektuur, mida nimetatakse „Data flow“ (andmevoog). Sellise arhitektuuri näide on kujutatud alloleval pildil.

Selles arhitektuuris määratakse andmete töötlemise algoritm mitte programmi koodi, vaid funktsioonide ühendamise skeemiga (graafikuga), mida saab seada igas järjekorras. Neid funktsioone nimetatakse filtriteks.

Selline arhitektuur võimaldab rakendada meedia töötlemise funktsioone filtrite komplektina, mis on ühendatud VoIP-telefoni RTP-traffiku töötlemise ja edastamise skeemi.

Filtreid on võimalik ühendada meelevaldselt skeemidesse, uute filtrite lihtne arendamine, midiastreameri rakendamine omaette raamatukoguna võimaldab seda kasutada ka teistes projektides. Samuti võib projekt olla VoIP-valdkonnas, kuna on võimalik lisada ise loodud filtreid.

Vaikeselt tarnitud filtrite raamatukogu on piisavalt rikkalik ja nagu juba öeldud, saab seda laiendada enda arendatud filtritega. Kuid kõigepealt kirjeldame valmis filtreid, mis tulevad koos midiastreameriga. Siin on nende nimekiri:

Helifiltrid

Heli salvestamine ja taasesitus

• Alsa (Linux): MS_ALSA_WRITE, MS_ALSA_READ
• Androidi natiivne heli (libmedia): MS_ANDROID_SOUND_WRITE, MS_ANDROID_SOUND_READ
• Audio Queue Service (Mac OS X): MS_AQ_WRITE, MS_AQ_READ
• Audio Unit Service (Mac OS X)
• Arts (Linux): MS_ARTS_WRITE, MS_ARTS_READ
• DirectSound (Windows): MS_WINSNDDS_WRITE, MS_WINSNDDS_READ
• Failide taasesitaja (raw/wav/pcap failid) (Linux): MS_FILE_PLAYER
• Failide taasesitaja (raw/wav failid) (Windows): MS_WINSND_READ
• Faili salvestamine (wav failid) (Linux): MS_FILE_REC
• Faili salvestamine (wav failid) (Windows): MS_WINSND_WRITE
• Mac Audio Unit (Mac OS X)
• MME (Windows)
• OSS (Linux): MS_OSS_WRITE, MS_OSS_READ
• PortAudio (Mac OS X)
• PulseAudio (Linux): MS_PULSE_WRITE, MS_PULSE_READ
• Windows Sound (Windows)

Heli kodeerimine/dekodeerimine

• G.711 a-žanr: MS_ALAW_DEC, MS_ALAW_ENC
• G.711 µ-žanr: MS_ULAW_DEC, MS_ULAW_ENC
• G.722: MS_G722_DEC, MS_G722_ENC
• G.726: MS_G726_32_ENC, MS_G726_24_ENC, MS_G726_16_ENC
• GSM: MS_GSM_DEC, MS_GSM_ENC
• Lineaarne PCM: MS_L16_ENC, MS_L16_DEC
• Speex: MS_SPEEX_ENC, MS_SPEEX_DEC

Heli töötlemine

• Kanali konverteerimine (mono->stereo, stereo->mono): MS_CHANNEL_ADAPTER
• Konverents: MS_CONF
• DTMF generaator: MS_DTMF_GEN
• Kaja summutamine (speex): MS_SPEEX_EC
• Ekvalaiser: MS_EQUALIZER
• Mikser: MS_MIXER
• Pakettide kaotuse kompensaator (PLC): MS_GENERIC_PLC
• Uusamplija: MS_RESAMPLE
• Toonide detektor: MS_TONE_DETECTOR
• Heli valimise ja signaali taseme mõõtmise süsteem: MS_VOLUME

Video filtrid

Video salvestamine ja taasesitamine

• Androidi salvestamine
• Androidi taasesitamine
• AV Foundation salvestamine (iOS)
• AV Foundation taasesitamine (iOS)
• DirectShow salvestamine (Windows)
• DrawDib taasesitamine (Windows)
• Välise taasesitamine — video saatmine ülemisele tasemele
• GLX taasesitamine (Linux): MS_GLXVIDEO
• Mire — sünteetiline liikuv pilt: MS_MIRE
• OpenGL taasesitamine (Mac OS X)
• OpenGL ES2 taasesitamine (Android)
• Quicktime salvestamine (Mac OS X)
• SDL taasesitamine: MS_SDL_OUT
• Staaticute piltide väljund: MS_STATIC_IMAGE
• Video For Linux (V4L) salvestamine (Linux): MS_V4L
• Video For Linux 2 (V4L2) salvestamine (Linux): MS_V4L2_CAPTURE
• Video4windows (DirectShow) salvestamine (Windows)
• Video4windows (DirectShow) salvestamine (Windows CE)
• Video For Windows (vfw) salvestamine (Windows)
• XV taasesitamine (Linux)

Video encoding/decoding

• H.263, H.263-1998, MP4V-ES, JPEG, MJPEG, Snow: MS_MJPEG_DEC, MS_H263_ENC, MS_H263_DEC
• H.264 (ainult dekooder): MS_H264_DEC
• Theora: MS_THEORA_ENC, MS_THEORA_DEC
• VP8: MS_VP8_ENC, MS_VP8_DEC

Video töötlemine

• JPEG snapshot
• Pikseliformaadi konverter: MS_PIX_CONV
• Mõõtmine
• Teised filtrid
• Andmeplokkide vahetamine niitide vahel: MS_ITC_SOURCE, MS_ITC_SINK
• Andmeplokkide kogumine mitmest sisendist ühe väljundi jaoks: MS_JOIN
• RTP vastuvõtt/saatmine: MS_RTP_SEND, MS_RTP_RECV
• Sisseseadmise andmete kopeerimine mitmele väljundile: MS_TEE
• Konsolideeritud koormus: MS_VOID_SINK
• Vaikusallikas: MS_VOID_SOURCE

Pluginad

Helifiltrid

• AMR-NB kodeerija/dekodeerija
• G.729 kodeerija/dekodeerija
• iLBC kodeerija/dekodeerija
• SILK kodeerija/dekodeerija
  

  Video filtrid

• H.264 tarkvaraline kodeerija
• H.264 V4L2 kodeerija/dekodeerija riistvara kiirusel

Lühikese filtri kirjelduse järel on näidatud tüüp, mida kasutatakse uue filtri eksemplari loomisel. Edasi räägime sellest nimekirjast.

Linux Ubuntu installimine

Nüüd teeme mediastreameri paigaldamise arvutisse ja koostame selle abil meie esimesi rakendusi.

Mediastremer2 paigaldamine arvutisse või virtuaalmasinasse, mis töötab Ubuntu all, ei nõua erilisi oskusi. Edasi on sümbol "$" tähistab shell-i käskluste sisestamise kutset. St kui näete loendis selle sümboliga algavat rida, tähendab see, et rida, milles on näidatud terminalis täidetavad käsud.

Eeldatakse, et artiklis kirjeldatud toimingute teostamise ajal on teie arvutil juurdepääs Internetile.

Paketi libmediastremer-dev paigaldamine

Käivitame terminali ja sisestame käsu:

$ sudo apt-get update

Küsite salasõna muudatuste tegemiseks, sisestage see ja pakettide haldur värskendab oma andmebaase. Pärast seda tuleb täita:

$ sudo apt-get install libmediastreamer-dev

Vajalikud sõltuvuspaketid ja mediastreameri teek installitakse automaatselt.

Allalaaditud deb-pakettide kogusuurus on umbes 35 MB. Installitud paketi kohta teabe saamiseks kasutage käsku:

$ dpkg -s libmediastreamer-dev

Näide vastusest:

Pakett: libmediastreamer-dev
Olek: install ok installed
Prioriteet: valikuline
Jaotis: libdevel
Installitud suurus: 244
Hooldaja: Ubuntu arendajad 
Arhitektuur: amd64
Allikas: linphone
Versioon: 3.6.1-2.5
Sõltub: libmediastreamer-base3 (= 3.6.1-2.5), libortp-dev
Kirjeldus: Linphone'i veebi telefoni meediaraamatukogu - arendusfailid
Linphone on audio- ja videointerneti telefon, mis kasutab SIP protokolli. See
omab GTK+ ja konsoolli liidest, sisaldab suurt hulka audio ja video
koodekeid ning pakub kiirsõnumite funktsioone.
.
See pakett sisaldab arendusteeke meediaoperatsioonide haldamiseks.
Algne hooldaja: Debian VoIP meeskond 
Avaleht: http://www.linphone.org/

Arendustööriistade paigaldamine

Paigaldame C keele kompilaatori ja sellega seotud tööriistad:

$ sudo apt-get install gcc

Kontrollime tulemust, küsides kompilaatori versiooni:

$ gcc --version

Vastus peaks olema umbes järgmine:

gcc (Ubuntu 5.4.0-6ubuntu1~16.04.12) 5.4.0 20160609
Kopeerimise õigused (C) 2015 Free Software Foundation, Inc.
See on tasuta tarkvara; vaadake allika kopeerimise tingimusi. Ei ole
garantii; isegi mitte KAUBANDUSLIKULT RIKKUMISE või TEATAVAD OTSTARBE AED.

Proovirakenduse koostamine ja käivitamine

Loome kausta home meie õppeprojektide jaoks, nimetame selle mstutorial:

$ mkdir ~/mstutorial

Kasutage oma lemmik tekstiredaktorit ja looge C-programmi fail nimega mstest.c järgmise sisuga:

#include "stdio.h"
#include <mediastreamer2/mscommon.h>
int main()
{
  ms_init();
  printf ("Mediastreamer is ready.n");
}

See teostab mediastreameri initsialiseerimise, prindib tervituse ja lõpetab täitmise.

Salvestame faili ja kompileerime testrakenduse käsuga:

$ gcc mstest.c -o mstest `pkg-config mediastreamer --libs --cflags`

Pange tähele, et rida

`pkg-config mediastreamer --libs --cflags`

on ümbritsetud jutumärkidega, mis asuvad klaviatuuril seal, kus on täht «Ё».

Kui fail ei sisalda vigu, siis pärast kompileerimist ilmub katalooge fail mstest. Käivitage programm:

$ ./mstest

Tulemus näeb välja selline:

ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib control.c:954:(snd_ctl_open_noupdate) Invalid CTL default:0
ortp-warning-Could not attach mixer to card: Invalid argument
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ortp-warning-Strange, sound card HDA Intel PCH does not seems to be capable of anything, retrying with plughw...
Mediastreamer is ready.

Käesolevas loendis näeme vigade teadete, mille annab välja ALSA raamatukogu, mida kasutatakse helikaardi haldamiseks. Mediastreameri arendajad peavad seda normaalseks. Me nõustume nendega sel juhul paratamatult.

Nüüd on meil kõik valmis mediastreameriga töötamiseks. Oleme paigaldanud mediastreameri raamatukogu, kompileerimistööriista ja proovirakenduse abil kontrollinud, et tööriistad on seadistatud ning mediastreamer käivitatakse edukalt.

Järgmises artiklis loome rakenduse, mis kogub ja käivitab helisignaali töötlemise mitme filtri ahelas.

Allikas: habr.com