Vi utforskar VoIP-motorn Mediastreamer2. Del 1

Artikelmaterialet är hämtat från min Zen-kanal.

Introduktion

Den här artikeln är början på en serie artiklar om realtidsbehandling av mediadata med hjälp av motoren Mediastreamer2. Under framställningen kommer minimala färdigheter i Linux-terminal och programmering i C att användas.

Mediastreamer2 är en VoIP-motor som ligger till grund för det populära öppen källkodsprojektet för programvaruvoip-telefonen. Linphone. I Linphone implementerar Mediastreamer2 alla funktioner relaterade till ljud och video. En detaljerad lista över motorens möjligheter kan ses på den här sidan Mediastreamer. Källkoden finns här: GitLab.

För att underlätta kommer vi i texten att använda den ryska notationen för Mediastreamer2: «медиастример».

Historien om dess skapande är inte helt tydlig, men enligt dess källkod använde den tidigare biblioteket Glib, vilket antyder en potentiell avlägsen släktskap med GStreamer. Jämfört med det ser mediastreamern mer lättviktig ut. Den första versionen av Linphone släpptes 2001, så just nu har mediastreamern funnits och utvecklats i nästan 20 år.

I grunden för mediastreamern ligger en arkitektur som kallas "Data flow" (datatström). Ett exempel på en sådan arkitektur visas i bilden nedan.

I denna arkitektur definieras algoritmen för databehandling inte av programkod, utan av en schema (graf) som kopplar samman funktioner, som kan ordnas i valfri ordning. Dessa funktioner kallas filter.

Denna arkitektur gör det möjligt att implementera funktionaliteten för mediahantering som en uppsättning filter som kopplas ihop i ett schema för bearbetning och överföring av RTP-trafik till VoIP-telefonen.

Möjligheten att koppla filter i godtyckliga scheman, enkel utveckling av nya filter och implementeringen av mediastreamern som ett fristående, separat bibliotek möjliggör dess användning i andra projekt. Dessutom kan projektet vara inom VoIP, eftersom det finns möjligheter att lägga till filter som du själv har skapat.

Det förinstallerade filterbiblioteket är ganska omfattande och som redan nämnts kan det utvidgas med filter av egen utveckling. Men först ska vi beskriva de färdiga filter som levereras tillsammans med mediastreamern. Här är deras lista:

Ljudfilter

Inspelning och uppspelning av ljud

• Alsa (Linux): MS_ALSA_WRITE, MS_ALSA_READ
• Android native sound (libmedia): MS_ANDROID_SOUND_WRITE, MS_ANDROID_SOUND_READ
• Audio Queue Service (Mac OS X): MS_AQ_WRITE, MS_AQ_READ
• Audio Unit Service (Mac OS X)
• Arts (Linux): MS_ARTS_WRITE, MS_ARTS_READ
• DirectSound (Windows): MS_WINSNDDS_WRITE, MS_WINSNDDS_READ
• Filspelare för filer (raw/wav/pcap-filer) (Linux): MS_FILE_PLAYER
• Filspelare för filer (raw/wav-filer) (Windows): MS_WINSND_READ
• Skriv till fil (wav-filer) (Linux): MS_FILE_REC
• Skriv till fil (wav-filer) (Windows): MS_WINSND_WRITE
• Mac Audio Unit (Mac OS X)
• MME (Windows)
• OSS (Linux): MS_OSS_WRITE, MS_OSS_READ
• PortAudio (Mac OS X)
• PulseAudio (Linux): MS_PULSE_WRITE, MS_PULSE_READ
• Windows-ljud (Windows)

Kodning/decodning av ljud

• G.711 a-law: MS_ALAW_DEC, MS_ALAW_ENC
• G.711 µ-law: MS_ULAW_DEC, MS_ULAW_ENC
• G.722: MS_G722_DEC, MS_G722_ENC
• G.726: MS_G726_32_ENC, MS_G726_24_ENC, MS_G726_16_ENC
• GSM: MS_GSM_DEC, MS_GSM_ENC
• Linjära PCM: MS_L16_ENC, MS_L16_DEC
• Speex: MS_SPEEX_ENC, MS_SPEEX_DEC

Ljudbehandling

• Kanalkonvertering (mono->stereo, stereo->mono): MS_CHANNEL_ADAPTER
• Konferens: MS_CONF
• DTMF-generator: MS_DTMF_GEN
• Ekkodämpning (speex): MS_SPEEX_EC
• Equalizer: MS_EQUALIZER
• Mixer: MS_MIXER
• Pakettapp kompensator (PLC): MS_GENERIC_PLC
• Resampler: MS_RESAMPLE
• Ton-detektor: MS_TONE_DETECTOR
• Volymkontroll och signalnivåmätning: MS_VOLUME

Videofilter

Videofångst och -uppspelning

• Android-fångst
• Android-uppspelning
• AV Foundation-fångst (iOS)
• AV Foundation-uppspelning (iOS)
• DirectShow-fångst (Windows)
• DrawDib-uppspelning (Windows)
• Extern uppspelning – Skicka video till hög nivå
• GLX-uppspelning (Linux): MS_GLXVIDEO
• Mire – Syntetisk rörlig bild: MS_MIRE
• OpenGL-uppspelning (Mac OS X)
• OpenGL ES2-uppspelning (Android)
• Quicktime-fångst (Mac OS X)
• SDL-uppspelning: MS_SDL_OUT
• Utdata av statiska bilder: MS_STATIC_IMAGE
• Video For Linux (V4L) fångst (Linux): MS_V4L
• Video For Linux 2 (V4L2) fångst (Linux): MS_V4L2_CAPTURE
• Video4windows (DirectShow) fångst (Windows)
• Video4windows (DirectShow) fångst (Windows CE)
• Video For Windows (vfw) fångst (Windows)
• XV-uppspelning (Linux)

Kodning/decodning av video

• H.263, H.263-1998, MP4V-ES, JPEG, MJPEG, Snow: MS_MJPEG_DEC, MS_H263_ENC, MS_H263_DEC
• H.264 (endast decoder): MS_H264_DEC
• Theora: MS_THEORA_ENC, MS_THEORA_DEC
• VP8: MS_VP8_ENC, MS_VP8_DEC

Videobehandling

• JPEG snapshot
• Pixelformatkonverterare: MS_PIX_CONV
• Resizer
• Andra filter
• Byte av datablok mellan trådar: MS_ITC_SOURCE, MS_ITC_SINK
• Samla datablok från flera ingångar till en utgång: MS_JOIN
• RTP mottagning/överföring: MS_RTP_SEND, MS_RTP_RECV
• Kopiera ingångsdata till flera utgångar: MS_TEE
• Konsistent belastning: MS_VOID_SINK
• Tysthetskälla: MS_VOID_SOURCE

Plugins

Ljudfilter

• AMR-NB kodare/decoder
• G.729 kodare/decoder
• iLBC kodare/decoder
• SILK kodare/decoder
  

  Videofilter

• H.264 programkodare
• H.264 V4L2 kodare/decoder med hårdvaruacceleration

Efter en kort beskrivning av filtret visas typnamnet som används för att skapa en ny instans av detta filter. I fortsättningen kommer vi att hänvisa till den här listan.

Installation på Linux Ubuntu

Nu kommer vi att installera mediastreamern på datorn och bygga vår första applikation med den.

Installationen av Mediastremer2 på datorn eller virtuella maskinen som kör Ubuntu kräver inga speciella färdigheter. Här och framåt kommer vi att använda tecknet „$” för att beteckna kommandotolken för inmatning av kommandon. D.v.s. om du ser detta tecken i början av en rad i listan, betyder det att det är en rad som visar kommandon som ska köras i terminalen.

Det antas att din dator har tillgång till Internet under genomförandet av åtgärderna som beskrivs i denna artikel.

Installation av paketet libmediastremer-dev

Öppna terminalen och skriv in kommandot:

$ sudo apt-get update

Du kommer att bli ombedd att ange ett lösenord för att göra ändringar, ange det och pakethanteraren kommer att uppdatera sina databaser. Efter detta måste du köra:

$ sudo apt-get install libmediastreamer-dev

Nödvändiga beroendepaket och själva mediastreamerbiblioteket kommer automatiskt att laddas ner och installeras.

Den totala storleken på de nedladdade deb-baserade beroendepaketen kommer att vara ungefär 35 MB. Detaljer om den installerade paketet kan fås med kommandot:

$ dpkg -s libmediastreamer-dev

Exempel på svar:

Paket: libmediastreamer-dev
Status: installerat ok installerat
Prioritet: valfri
Avsnitt: libdevel
Installerad storlek: 244
Underhållare: Ubuntu Developers 
Arkitektur: amd64
Källa: linphone
Version: 3.6.1-2.5
Beroenden: libmediastreamer-base3 (= 3.6.1-2.5), libortp-dev
Beskrivning: Linphone webbtelefonens mediebibliotek - utvecklingsfiler
Linphone är en ljud- och video-internettelefon som använder SIP-protokollet.
Den har ett GTK+ och konsolgränssnitt, inkluderar en stor variation av ljud- och videokodekar, och erbjuder IM-funktioner.
.
Detta paket innehåller utvecklingsbiblioteken för hantering av mediaoperationer.
Ursprunglig underhållare: Debian VoIP Team 
Startsida: http://www.linphone.org/

Installation av utvecklingsverktyg

Vi installerar C-kompilatorn och tillhörande verktyg:

$ sudo apt-get install gcc

Kontrollera resultatet genom att begära kompilatorns version:

$ gcc --version

Svaret ska vara ungefär så här:

gcc (Ubuntu 5.4.0-6ubuntu1~16.04.12) 5.4.0 20160609
Copyright (C) 2015 Free Software Foundation, Inc.
Detta är fri programvara; se källan för kopieringsvillkor. Det finns INGEN
garanti; inte ens för SALGBARHET eller LÄMPLIGHET FÖR ETT VISST SYFTE.

Bygg och kör en provapplikation

Skapa en home mapp för våra utbildningsprojekt, kalla den mstutorial:

$ mkdir ~/mstutorial

Använd din favorittextredigerare och skapa en C-programfil som heter mstest.c med följande innehåll:

#include "stdio.h"
#include <mediastreamer2/mscommon.h>
int main()
{
  ms_init();
  printf ("Mediastreamer is ready.n");
}

Det initierar mediastreamern, skriver ut ett välkomnande och avslutar körningen.

Spara filen och kompilera testapplikationen med följande kommando:

$ gcc mstest.c -o mstest `pkg-config mediastreamer --libs --cflags`

Observera att raden

`pkg-config mediastreamer --libs --cflags`

är innesluten i citationstecken, som finns på tangentbordet där bokstaven «Ё» också finns.

Om filen inte innehåller några fel, kommer en fil att skapas i katalogen efter kompileringen. mstest. Vi kör programmet:

$ .\/mstest

Resultatet kommer att se ut så här:

ALSA lib conf.c:4738:(snd_config_expand) Okända parametrar 0
ALSA lib control.c:954:(snd_ctl_open_noupdate) Ogiltig CTL default:0
ortp-warning-Kunde inte fästa mixer till kort: Ogiltigt argument
ALSA lib conf.c:4738:(snd_config_expand) Okända parametrar 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Okänd PCM default:0
ALSA lib conf.c:4738:(snd_config_expand) Okända parametrar 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Okänd PCM default:0
ortp-warning-Konstig, ljudkort HDA Intel PCH verkar inte vara kapabel till någonting, försöker igen med plughw...
Mediastreamer är redo.

I detta utdrag ser vi felmeddelanden som ALSA-biblioteket ger, som används för att styra ljudkortet. Själva utvecklarna av mediastreamern anser att detta är normalt. I detta fall håller vi oss motvilligt med dem.

Nu har vi allt klart för att arbeta med mediastreamern. Vi har installerat mediastreamer-biblioteket, kompilering verktyget och genom ett testprogram kontrollerat att verktygen är inställda och att mediastreamern initieras framgångsrikt.

I nästa artikeln vi kommer att skapa en applikation som samlar in och kör ljudsignalbehandling i en kedja av flera filter.

Källa: habr.com