Mediastreamer2 VoIP એન્જિનની શોધખોળ. ભાગ 1

લેખની સામગ્રી મારા પરથી લેવામાં આવી છે ઝેન ચેનલ.

પરિચય

આ લેખ Mediastreamer2 એન્જિનનો ઉપયોગ કરીને રીઅલ-ટાઇમ મીડિયા પ્રોસેસિંગ વિશેના લેખોની શ્રેણીની શરૂઆત છે. પ્રેઝન્ટેશન દરમિયાન, લિનક્સ ટર્મિનલમાં કામ કરવાની લઘુત્તમ કુશળતા અને સી ભાષામાં પ્રોગ્રામિંગ સામેલ કરવામાં આવશે.

Mediastreamer2 લોકપ્રિય ઓપન-સોર્સ સોફ્ટવેર voip ફોન પ્રોજેક્ટ પાછળનું VoIP એન્જિન છે. લિનફોન. Linphone Mediastreamer2 માં ધ્વનિ અને વિડિયો સંબંધિત તમામ કાર્યો અમલમાં મૂકે છે. આ Mediastreamer પૃષ્ઠ પર એન્જિન સુવિધાઓની વિગતવાર સૂચિ જોઈ શકાય છે. સ્રોત કોડ અહીં છે: GitLab.

આગળ ટેક્સ્ટમાં, સગવડ માટે, Mediastreamer2 શબ્દને બદલે આપણે તેના રશિયન સંકેતનો ઉપયોગ કરીશું: "મીડિયા સ્ટ્રીમર".

તેની રચનાનો ઈતિહાસ સંપૂર્ણ રીતે સ્પષ્ટ નથી, પરંતુ તેના સ્ત્રોત કોડને આધારે, તે અગાઉ પુસ્તકાલયનો ઉપયોગ કરતું હતું. ગ્લિબ, જે, જેમ તે હતા, તેની સાથે સંભવિત દૂરના સંબંધનો સંકેત આપે છે જીસ્ટ્રીમર. જેની સરખામણીમાં મીડિયા સ્ટ્રીમર વધુ હળવા લાગે છે. લિનફોનનું પ્રથમ સંસ્કરણ 2001 માં દેખાયું હતું, તેથી આ ક્ષણે મીડિયા સ્ટ્રીમર અસ્તિત્વમાં છે અને લગભગ 20 વર્ષથી વિકસિત છે.

મીડિયા સ્ટ્રીમરના કેન્દ્રમાં "ડેટા ફ્લો" (ડેટા ફ્લો) નામનું એક આર્કિટેક્ચર છે. આવા આર્કિટેક્ચરનું ઉદાહરણ નીચેની આકૃતિમાં બતાવવામાં આવ્યું છે.

આ આર્કિટેક્ચરમાં, ડેટા પ્રોસેસિંગ અલ્ગોરિધમ પ્રોગ્રામ કોડ દ્વારા નહીં, પરંતુ કોઈપણ ક્રમમાં ગોઠવી શકાય તેવા કાર્યોને કનેક્ટ કરવા માટેની સ્કીમ (ગ્રાફ) દ્વારા નિર્દિષ્ટ કરવામાં આવે છે. આ કાર્યોને ફિલ્ટર કહેવામાં આવે છે.

આ આર્કિટેક્ચર VoIP ફોન RTP ટ્રાફિક પ્રોસેસિંગ અને ટ્રાન્સમિશન સ્કીમ સાથે જોડાયેલા ફિલ્ટર્સના સમૂહના સ્વરૂપમાં મીડિયા પ્રોસેસિંગ કાર્યક્ષમતાને અમલમાં મૂકવાનું શક્ય બનાવે છે.

ફિલ્ટરને મનસ્વી યોજનાઓમાં જોડવાની ક્ષમતા, નવા ફિલ્ટર્સનો સરળ વિકાસ, સ્વતંત્ર અલગ પુસ્તકાલય તરીકે મીડિયા સ્ટ્રીમરનો અમલ, અન્ય પ્રોજેક્ટ્સમાં તેનો ઉપયોગ કરવાની મંજૂરી આપે છે. તદુપરાંત, પ્રોજેક્ટ વીઓઆઈપીના ક્ષેત્રમાં હોઈ શકે છે, કારણ કે પોતાના હાથ દ્વારા બનાવેલા ફિલ્ટર્સ ઉમેરવાનું શક્ય છે.

ડિફૉલ્ટ રૂપે પૂરી પાડવામાં આવેલ ફિલ્ટર લાઇબ્રેરી ખૂબ સમૃદ્ધ છે અને, પહેલેથી જ ઉલ્લેખ કર્યો છે તેમ, તમારી પોતાની ડિઝાઇનના ફિલ્ટર્સ સાથે વિસ્તૃત કરી શકાય છે. પરંતુ પહેલા, ચાલો મીડિયા સ્ટ્રીમર સાથે આવતા તૈયાર ફિલ્ટર્સનું વર્ણન કરીએ. અહીં તેમની સૂચિ છે:

સાઉન્ડ ફિલ્ટર્સ

ઓડિયો કેપ્ચર અને પ્લેબેક

• અલ્સા (લિનક્સ): MS_ALSA_WRITE, MS_ALSA_READ
• એન્ડ્રોઇડ મૂળ અવાજ (લિબમીડિયા): MS_ANDROID_SOUND_WRITE, MS_ANDROID_SOUND_READ
• ઓડિયો કતાર સેવા (Mac OS X): MS_AQ_WRITE, MS_AQ_READ
• ઓડિયો યુનિટ સર્વિસ (મેક ઓએસ એક્સ)
• આર્ટસ (લિનક્સ): MS_ARTS_WRITE, MS_ARTS_READ
• ડાયરેક્ટ સાઉન્ડ (Windows): MS_WINSNDDS_WRITE, MS_WINSNDDS_READ
• ફાઇલ પ્લેયર (raw/wav/pcap ફાઇલો) (Linux): MS_FILE_PLAYER
• ફાઇલ પ્લેયર (raw/wav ફાઇલો) (Windows): MS_WINSND_READ
• ફાઇલમાં લખો (wav ફાઇલો) (Linux): MS_FILE_REC
• ફાઇલમાં લખો (wav ફાઇલો) (Windows): MS_WINSND_WRITE
• મેક ઓડિયો યુનિટ (મેક ઓએસ એક્સ)
• MME (Windows)
• OSS (Linux): MS_OSS_WRITE, MS_OSS_READ
• પોર્ટઓડિયો (મેક ઓએસ એક્સ)
• પલ્સ ઓડિયો (લિનક્સ): MS_PULSE_WRITE, MS_PULSE_READ
• વિન્ડોઝ સાઉન્ડ (વિન્ડોઝ)

ઓડિયો એન્કોડિંગ/ડીકોડિંગ

• G.711 એ-લો: MS_ALAW_DEC, MS_ALAW_ENC
• G.711 µ-લો: MS_ULAW_DEC, MS_ULAW_ENC
• G.722: MS_G722_DEC, MS_G722_ENC
• G.726: MS_G726_32_ENC, MS_G726_24_ENC, MS_G726_16_ENC
• GSM: MS_GSM_DEC, MS_GSM_ENC
• લીનિયર PCM: MS_L16_ENC, MS_L16_DEC
• ઝડપ: MS_SPEEX_ENC, MS_SPEEX_DEC

સાઉન્ડ પ્રોસેસિંગ

• ચેનલ કન્વર્ઝન (મોનો->સ્ટીરિયો, સ્ટીરિયો->મોનો): MS_CHANNEL_ADAPTER
• કોન્ફરન્સ: MS_CONF
• DTMF જનરેટર: MS_DTMF_GEN
• ઇકો કેન્સલેશન (સ્પીક્સ): MS_SPEEX_EC
• બરાબરી: MS_EQUALIZER
• મિક્સર: MS_MIXER
• પેકેટ નુકશાન વળતર આપનાર (PLC): MS_GENERIC_PLC
• રિસેમ્પલર: MS_RESAMPLE
• ટોન ડિટેક્ટર: MS_TONE_DETECTOR
• વોલ્યુમ નિયંત્રણ અને સિગ્નલ સ્તર માપન: MS_VOLUME

વિડિઓ ફિલ્ટર્સ

વિડિઓ કેપ્ચર અને પ્લેબેક

• એન્ડ્રોઇડ કેપ્ચર
• એન્ડ્રોઇડ પ્લેબેક
• AV ફાઉન્ડેશન કેપ્ચર (iOS)
• AV ફાઉન્ડેશન પ્લેબેક (iOS)
• ડાયરેક્ટ શો કેપ્ચર (વિન્ડોઝ)
• DrawDib પ્લેબેક (Windows)
• બાહ્ય પ્લેબેક - ટોચના સ્તર પર વિડિઓ મોકલી રહ્યું છે
• GLX પ્લેબેક (Linux): MS_GLXVIDEO
• મીર - સિન્થેટિક મૂવિંગ પિક્ચર: MS_MIRE
• ઓપનજીએલ પ્લેબેક (મેક ઓએસ એક્સ)
• OpenGL ES2 પ્લેબેક (Android)
• ક્વિકટાઇમ કેપ્ચર (મેક ઓએસ એક્સ)
• SDL પ્લેબેક: MS_SDL_OUT
• સ્થિર છબી આઉટપુટ: MS_STATIC_IMAGE
• Linux (V4L) કેપ્ચર (Linux) માટે વિડિઓ: MS_V4L
• Linux 2 (V4L2) કેપ્ચર (Linux) માટે વિડિયો: MS_V4L2_CAPTURE
• Video4windows (DirectShow) કેપ્ચર (Windows)
• Video4windows (DirectShow) કેપ્ચર (Windows CE)
• વિન્ડોઝ (vfw) કેપ્ચર (વિન્ડોઝ) માટે વિડિઓ
• XV પ્લેબેક (Linux)

વિડિઓ એન્કોડિંગ/ડીકોડિંગ

• H.263, H.263-1998, MP4V-ES, JPEG, MJPEG, Snow: MS_MJPEG_DEC, MS_H263_ENC, MS_H263_DEC
• H.264 (માત્ર ડીકોડર): MS_H264_DEC
• થિયોરા: MS_THIORA_ENC, MS_THIORA_DEC
• VP8: MS_VP8_ENC, MS_VP8_DEC

વિડિઓ પ્રક્રિયા

• jpeg સ્નેપશોટ
• પિક્સેલ ફોર્મેટ કન્વર્ટર: MS_PIX_CONV
• રિસાઈઝર
• અન્ય ફિલ્ટર્સ
• થ્રેડો વચ્ચે ડેટા બ્લોકનું વિનિમય: MS_ITC_SOURCE, MS_ITC_SINK
• બહુવિધ ઇનપુટ્સમાંથી એક જ આઉટપુટમાં ડેટાના બ્લોક્સ એકત્રિત કરવા: MS_JOIN
• RTP પ્રાપ્ત/પ્રસારણ: MS_RTP_SEND, MS_RTP_RECV
• બહુવિધ આઉટપુટમાં ઇનપુટ ડેટાની નકલ કરી રહ્યા છીએ: MS_TEE
• સમાપ્ત થયેલ લોડ: MS_VOID_SINK
• મૌન સ્ત્રોત: MS_VOID_SOURCE

પ્લગઇન્સ

સાઉન્ડ ફિલ્ટર્સ

• AMR-NB એન્કોડર/ડીકોડર
• G.729 એન્કોડર/ડીકોડર
• iLBC એન્કોડર/ડીકોડર
• SILK એન્કોડર/ડીકોડર
  

  વિડિઓ ફિલ્ટર્સ

• H.264 સોફ્ટવેર એન્કોડર
• H.264 V4L2 હાર્ડવેર એક્સિલરેટેડ એન્કોડર/ડીકોડર

ફિલ્ટરના ટૂંકા વર્ણન પછી, પ્રકારનું નામ બતાવવામાં આવે છે, જેનો ઉપયોગ આ ફિલ્ટરનો નવો દાખલો બનાવતી વખતે થાય છે. નીચેનામાં, અમે આ સૂચિનો સંદર્ભ લઈશું.

Linux ઉબુન્ટુ હેઠળ સ્થાપન

હવે અમે કમ્પ્યુટર પર મીડિયા સ્ટ્રીમર ઇન્સ્ટોલ કરીશું અને તેની સાથે અમારી પ્રથમ એપ્લિકેશન બનાવીશું.

ઉબુન્ટુ ચલાવતા કમ્પ્યુટર અથવા વર્ચ્યુઅલ મશીન પર Mediastremer2 ઇન્સ્ટોલ કરવા માટે કોઈ વિશેષ કુશળતાની જરૂર નથી. અહીં અને નીચે, "$" પ્રતીક આદેશો દાખલ કરવા માટે શેલ પ્રોમ્પ્ટને સૂચવે છે. તે. જો સૂચિમાં તમે લીટીની શરૂઆતમાં આ પ્રતીક જુઓ છો, તો આ તે લીટી છે જેમાં ટર્મિનલમાં આદેશો ચલાવવામાં આવે છે.

એવું માનવામાં આવે છે કે આ લેખમાંના પગલાઓ દરમિયાન, તમારા કમ્પ્યુટરને ઇન્ટરનેટની ઍક્સેસ છે.

libmediastremer-dev પેકેજ સ્થાપિત કરી રહ્યા છીએ

ટર્મિનલ લોંચ કરો અને આદેશ લખો:

$ sudo apt-get update

ફેરફારો કરવા માટે તમને પાસવર્ડ પૂછવામાં આવશે, તેને દાખલ કરો અને પેકેજ મેનેજર તેના ડેટાબેસેસને અપડેટ કરશે. તે પછી, તમારે ચલાવવાની જરૂર છે:

$ sudo apt-get install libmediastreamer-dev

આવશ્યક નિર્ભરતા પેકેજો અને મીડિયા સ્ટ્રીમર લાઇબ્રેરી સ્વયં આપમેળે ડાઉનલોડ અને ઇન્સ્ટોલ થઈ જશે.

ડાઉનલોડ કરેલ ડિપેન્ડન્સી ડેબ પેકેજોનું કુલ કદ આશરે 35 MB હશે. ઇન્સ્ટોલ કરેલ પેકેજ વિશેની વિગતો આદેશ સાથે મળી શકે છે:

$ dpkg -s libmediastreamer-dev

જવાબ ઉદાહરણ:

Package: libmediastreamer-dev
Status: install ok installed
Priority: optional
Section: libdevel
Installed-Size: 244
Maintainer: Ubuntu Developers <[email protected]>
Architecture: amd64
Source: linphone
Version: 3.6.1-2.5
Depends: libmediastreamer-base3 (= 3.6.1-2.5), libortp-dev
Description: Linphone web phone's media library - development files
Linphone is an audio and video internet phone using the SIP protocol. It
has a GTK+ and console interface, includes a large variety of audio and video
codecs, and provides IM features.
.
This package contains the development libraries for handling media operations.
Original-Maintainer: Debian VoIP Team <[email protected]>
Homepage: http://www.linphone.org/

વિકાસ સાધનો સ્થાપિત કરી રહ્યા છીએ

C કમ્પાઇલર અને તેની સાથેના ટૂલ્સ ઇન્સ્ટોલ કરો:

$ sudo apt-get install gcc

અમે કમ્પાઇલર સંસ્કરણને ક્વેરી કરીને પરિણામ તપાસીએ છીએ:

$ gcc --version

જવાબ કંઈક આવો હોવો જોઈએ:

gcc (Ubuntu 5.4.0-6ubuntu1~16.04.12) 5.4.0 20160609
Copyright (C) 2015 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

ટ્રાયલ એપ્લિકેશન બનાવવી અને ચલાવવી

અમે માં બનાવીએ છીએ ઘર અમારા ટ્યુટોરીયલ પ્રોજેક્ટ માટે ફોલ્ડર, ચાલો તેને કૉલ કરીએ mstutorial:

$ mkdir ~/mstutorial

તમારા મનપસંદ ટેક્સ્ટ એડિટરનો ઉપયોગ કરો અને C પ્રોગ્રામ ફાઇલ બનાવો mstest.c નીચેની સામગ્રી સાથે:

#include "stdio.h"
#include <mediastreamer2/mscommon.h>
int main()
{
  ms_init();
  printf ("Mediastreamer is ready.n");
}

તે મીડિયા સ્ટ્રીમરને પ્રારંભ કરે છે, શુભેચ્છા છાપે છે અને બહાર નીકળે છે.

ફાઇલને સાચવો અને આદેશ સાથે પરીક્ષણ એપ્લિકેશનને કમ્પાઇલ કરો:

$ gcc mstest.c -o mstest `pkg-config mediastreamer --libs --cflags`

નોંધ કરો કે લીટી

`pkg-config mediastreamer --libs --cflags`

અવતરણ ચિહ્નોમાં બંધ, જે કીબોર્ડ પર "Ё" અક્ષરની સમાન જગ્યાએ સ્થિત છે.

જો ફાઇલમાં ભૂલો નથી, તો સંકલન પછી ડિરેક્ટરીમાં ફાઇલ દેખાશે mstest. અમે પ્રોગ્રામ શરૂ કરીએ છીએ:

$ ./mstest

પરિણામ આના જેવું હશે:

ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib control.c:954:(snd_ctl_open_noupdate) Invalid CTL default:0
ortp-warning-Could not attach mixer to card: Invalid argument
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ortp-warning-Strange, sound card HDA Intel PCH does not seems to be capable of anything, retrying with plughw...
Mediastreamer is ready.

આ સૂચિમાં, અમે ALSA લાઇબ્રેરી પ્રદર્શિત કરતી ભૂલ સંદેશાઓ જોઈએ છીએ, તેનો ઉપયોગ સાઉન્ડ કાર્ડને નિયંત્રિત કરવા માટે થાય છે. મીડિયા સ્ટ્રીમરના વિકાસકર્તાઓ પોતે માને છે કે આ સામાન્ય છે. આ કિસ્સામાં, અમે અનિચ્છાએ તેમની સાથે સંમત છીએ.

હવે અમે મીડિયા સ્ટ્રીમર સાથે કામ કરવા માટે તૈયાર છીએ. અમે મીડિયા સ્ટ્રીમર લાઇબ્રેરી, કમ્પાઇલેશન ટૂલ ઇન્સ્ટોલ કર્યું છે અને ટ્રાયલ એપ્લિકેશનનો ઉપયોગ કરીને ચકાસ્યું છે કે ટૂલ્સ ગોઠવેલ છે અને મીડિયા સ્ટ્રીમર સફળતાપૂર્વક શરૂ થાય છે.

આગળ લેખ અમે એક એપ્લીકેશન બનાવીશું જે ઓડિયો સિગ્નલની પ્રક્રિયાને ઘણા ફિલ્ટર્સની સાંકળમાં એસેમ્બલ કરશે અને ચલાવશે.

સોર્સ: www.habr.com