Mediastreamer2 VoIP इंजिन एक्सप्लोर करत आहे. भाग 1

लेखाचे साहित्य माझ्याकडून घेतले आहे झेन चॅनेल.

परिचय

हा लेख Mediastreamer2 इंजिन वापरून रिअल-टाइम मीडिया प्रक्रियेबद्दल लेखांच्या मालिकेची सुरुवात आहे. प्रेझेंटेशनमध्ये लिनक्स टर्मिनलमध्ये काम करण्याची किमान कौशल्ये आणि सी भाषेतील प्रोग्रामिंग यांचा समावेश असेल.

Mediastreamer2 हे लोकप्रिय मुक्त-स्रोत सॉफ्टवेअर voip फोन प्रकल्पामागील VoIP इंजिन आहे. लिनफोन. Linphone Mediastreamer2 मध्ये ध्वनी आणि व्हिडिओशी संबंधित सर्व कार्ये लागू करते. इंजिन वैशिष्ट्यांची तपशीलवार सूची या Mediastreamer पृष्ठावर पाहिली जाऊ शकते. स्त्रोत कोड येथे आहे: गिटॅब.

पुढे मजकूरात, सोयीसाठी, Mediastreamer2 या शब्दाऐवजी आम्ही त्याचे रशियन नोटेशन वापरू: “मीडिया स्ट्रीमर”.

त्याच्या निर्मितीचा इतिहास पूर्णपणे स्पष्ट नाही, परंतु त्याच्या स्त्रोत कोडच्या आधारावर, तो पूर्वी लायब्ररी वापरत असे ग्लिब, जे, जसे होते, त्याच्याशी संभाव्य दूरच्या नातेसंबंधाचे संकेत देते जीस्ट्रीमर. ज्याच्या तुलनेत मीडिया स्ट्रीमर अधिक हलका दिसतो. लिनफोनची पहिली आवृत्ती 2001 मध्ये आली होती, म्हणून या क्षणी मीडिया स्ट्रीमर अस्तित्वात आहे आणि जवळजवळ 20 वर्षांपासून विकसित होतो.

मीडिया स्ट्रीमरच्या केंद्रस्थानी "डेटा प्रवाह" (डेटा प्रवाह) नावाचे आर्किटेक्चर आहे. अशा आर्किटेक्चरचे उदाहरण खालील आकृतीमध्ये दर्शविले आहे.

या आर्किटेक्चरमध्ये, डेटा प्रोसेसिंग अल्गोरिदम प्रोग्राम कोडद्वारे नाही तर कनेक्टिंग फंक्शन्ससाठी स्कीम (ग्राफ) द्वारे निर्दिष्ट केले आहे जे कोणत्याही क्रमाने व्यवस्थित केले जाऊ शकते. या फंक्शन्सना फिल्टर म्हणतात.

हे आर्किटेक्चर व्हीओआयपी फोन आरटीपी ट्रॅफिक प्रोसेसिंग आणि ट्रान्समिशन स्कीमशी कनेक्ट केलेल्या फिल्टरच्या संचाच्या रूपात मीडिया प्रोसेसिंग कार्यक्षमता लागू करणे शक्य करते.

अनियंत्रित योजनांमध्ये फिल्टर एकत्र करण्याची क्षमता, नवीन फिल्टरचा साधा विकास, मीडिया स्ट्रीमरची स्वतंत्र स्वतंत्र लायब्ररी म्हणून अंमलबजावणी, इतर प्रकल्पांमध्ये वापरण्याची परवानगी देते. शिवाय, प्रकल्प व्हीओआयपीच्या क्षेत्रात असू शकतो, कारण स्वतः बनवलेले फिल्टर जोडणे शक्य आहे.

डीफॉल्टनुसार पुरवलेली फिल्टर लायब्ररी खूप समृद्ध आहे आणि आधीच नमूद केल्याप्रमाणे, आमच्या स्वतःच्या डिझाइनच्या फिल्टरसह वाढवता येते. परंतु प्रथम, मीडिया स्ट्रीमरसह येणाऱ्या रेडीमेड फिल्टरचे वर्णन करूया. त्यांची यादी येथे आहे:

ध्वनी फिल्टर

ऑडिओ कॅप्चर आणि प्लेबॅक

• अल्सा (लिनक्स): MS_ALSA_WRITE, MS_ALSA_READ
• Android नेटिव्ह ध्वनी (libmedia): MS_ANDROID_SOUND_WRITE, MS_ANDROID_SOUND_READ
• ऑडिओ रांग सेवा (Mac OS X): MS_AQ_WRITE, MS_AQ_READ
• ऑडिओ युनिट सेवा (मॅक ओएस एक्स)
• कला (Linux): MS_ARTS_WRITE, MS_ARTS_READ
• डायरेक्ट साउंड (विंडोज): MS_WINSNDDS_WRITE, MS_WINSNDDS_READ
• फाइल प्लेयर (रॉ/wav/pcap फाइल्स) (लिनक्स): MS_FILE_PLAYER
• फाइल प्लेयर (रॉ/wav फाइल्स) (Windows): MS_WINSND_READ
• फाइलवर लिहा (wav फाइल्स) (लिनक्स): MS_FILE_REC
• फाइलवर लिहा (wav फाइल्स) (Windows): MS_WINSND_WRITE
• मॅक ऑडिओ युनिट (मॅक ओएस एक्स)
• MME (विंडोज)
• OSS (Linux): MS_OSS_WRITE, MS_OSS_READ
• पोर्टऑडिओ (मॅक ओएस एक्स)
• पल्सऑडिओ (लिनक्स): MS_PULSE_WRITE, MS_PULSE_READ
• विंडोज साउंड (विंडोज)

ऑडिओ एन्कोडिंग/डीकोडिंग

• G.711 a-law: MS_ALAW_DEC, MS_ALAW_ENC
• G.711 µ-कायदा: MS_ULAW_DEC, MS_ULAW_ENC
• G.722: MS_G722_DEC, MS_G722_ENC
• G.726: MS_G726_32_ENC, MS_G726_24_ENC, MS_G726_16_ENC
• GSM: MS_GSM_DEC, MS_GSM_ENC
• रेखीय PCM: MS_L16_ENC, MS_L16_DEC
• स्पीक्स: MS_SPEEX_ENC, MS_SPEEX_DEC

ध्वनी प्रक्रिया

• चॅनल रूपांतरण (मोनो->स्टिरीओ, स्टिरिओ->मोनो): MS_CHANNEL_ADAPTER
• परिषद: MS_CONF
• DTMF जनरेटर: MS_DTMF_GEN
• इको रद्दीकरण (स्पीक्स): MS_SPEEX_EC
• बरोबरी: MS_EQUALIZER
• मिक्सर: MS_MIXER
• पॅकेट लॉस कम्पेन्सेटर (PLC): MS_GENERIC_PLC
• रिसॅम्पलर: MS_RESAMPLE
• टोन डिटेक्टर: MS_TONE_DETECTOR
• आवाज नियंत्रण आणि सिग्नल पातळी मापन: MS_VOLUME

व्हिडिओ फिल्टर

व्हिडिओ कॅप्चर आणि प्लेबॅक

• Android कॅप्चर
• Android प्लेबॅक
• AV फाउंडेशन कॅप्चर (iOS)
• AV फाउंडेशन प्लेबॅक (iOS)
• डायरेक्ट शो कॅप्चर (विंडोज)
• DrawDib प्लेबॅक (विंडोज)
• बाह्य प्लेबॅक - शीर्ष स्तरावर व्हिडिओ पाठवत आहे
• GLX प्लेबॅक (Linux): MS_GLXVIDEO
• Mire - सिंथेटिक हलणारे चित्र: MS_MIRE
• ओपनजीएल प्लेबॅक (मॅक ओएस एक्स)
• OpenGL ES2 प्लेबॅक (Android)
• क्विकटाइम कॅप्चर (मॅक ओएस एक्स)
• SDL प्लेबॅक: MS_SDL_OUT
• स्थिर प्रतिमा आउटपुट: MS_STATIC_IMAGE
• लिनक्स (V4L) कॅप्चरसाठी व्हिडिओ (Linux): MS_V4L
• लिनक्स 2 (V4L2) कॅप्चर (लिनक्स) साठी व्हिडिओ: MS_V4L2_CAPTURE
• Video4windows (डायरेक्ट शो) कॅप्चर (विंडोज)
• Video4windows (DirectShow) कॅप्चर (Windows CE)
• विंडोज (vfw) कॅप्चरसाठी व्हिडिओ (विंडोज)
• XV प्लेबॅक (लिनक्स)

व्हिडिओ एन्कोडिंग/डीकोडिंग

• H.263, H.263-1998, MP4V-ES, JPEG, MJPEG, हिमवर्षाव: MS_MJPEG_DEC, MS_H263_ENC, MS_H263_DEC
• H.264 (केवळ डीकोडर): MS_H264_DEC
• थिओरा: MS_THIORA_ENC, MS_THIORA_DEC
• VP8: MS_VP8_ENC, MS_VP8_DEC

व्हिडिओ प्रक्रिया

• jpeg स्नॅपशॉट
• पिक्सेल फॉरमॅट कन्व्हर्टर: MS_PIX_CONV
• रिसायझर
• इतर फिल्टर
• थ्रेड्समधील डेटा ब्लॉक्सची देवाणघेवाण: MS_ITC_SOURCE, MS_ITC_SINK
• एकाधिक इनपुटमधून एकाच आउटपुटवर डेटाचे ब्लॉक्स गोळा करणे: MS_JOIN
• RTP प्राप्त/प्रसारण: MS_RTP_SEND, MS_RTP_RECV
• एकाधिक आउटपुटमध्ये इनपुट डेटा कॉपी करत आहे: MS_TEE
• समाप्त लोड: MS_VOID_SINK
• मौन स्त्रोत: MS_VOID_SOURCE

प्लगइन

ध्वनी फिल्टर

• AMR-NB एन्कोडर/डीकोडर
• G.729 एन्कोडर/डीकोडर
• iLBC एन्कोडर/डीकोडर
• SILK एन्कोडर/डीकोडर
  

  व्हिडिओ फिल्टर

• H.264 सॉफ्टवेअर एन्कोडर
• H.264 V4L2 हार्डवेअर प्रवेगक एन्कोडर/डीकोडर

फिल्टरच्या छोट्या वर्णनानंतर, प्रकाराचे नाव दर्शविले जाते, जे या फिल्टरचे नवीन उदाहरण तयार करताना वापरले जाते. पुढील गोष्टींमध्ये, आम्ही या यादीचा संदर्भ घेऊ.

लिनक्स उबंटू अंतर्गत स्थापना

आता आम्ही संगणकावर मीडिया स्ट्रीमर स्थापित करू आणि त्यासह आमचा पहिला अनुप्रयोग तयार करू.

उबंटू चालवणाऱ्या संगणकावर किंवा आभासी मशीनवर Mediastremer2 स्थापित करण्यासाठी कोणत्याही विशेष कौशल्याची आवश्यकता नाही. येथे आणि खाली, "$" हे चिन्ह आदेश प्रविष्ट करण्यासाठी शेल प्रॉम्प्ट दर्शवेल. त्या. जर सूचीमध्ये तुम्हाला हे चिन्ह ओळीच्या सुरुवातीला दिसले, तर ही ती ओळ आहे ज्यामध्ये टर्मिनलमध्ये कमांड्स कार्यान्वित केल्या जातात.

असे गृहीत धरले जाते की या लेखातील चरणांदरम्यान, आपल्या संगणकास इंटरनेटवर प्रवेश आहे.

libmediastremer-dev पॅकेज स्थापित करत आहे

टर्मिनल लाँच करा आणि कमांड टाइप करा:

$ sudo apt-get update

तुम्हाला बदल करण्यासाठी पासवर्ड विचारला जाईल, तो एंटर करा आणि पॅकेज मॅनेजर त्याचा डेटाबेस अपडेट करेल. यानंतर, आपल्याला धावण्याची आवश्यकता आहे:

$ sudo apt-get install libmediastreamer-dev

आवश्यक अवलंबित्व पॅकेजेस आणि मीडिया स्ट्रीमर लायब्ररी स्वयंचलितपणे डाउनलोड आणि स्थापित केली जाईल.

डाउनलोड केलेल्या अवलंबन डेब पॅकेजेसचा एकूण आकार अंदाजे 35 MB असेल. स्थापित पॅकेजबद्दल तपशील कमांडसह आढळू शकतात:

$ dpkg -s libmediastreamer-dev

उत्तर उदाहरण:

Package: libmediastreamer-dev
Status: install ok installed
Priority: optional
Section: libdevel
Installed-Size: 244
Maintainer: Ubuntu Developers <[email protected]>
Architecture: amd64
Source: linphone
Version: 3.6.1-2.5
Depends: libmediastreamer-base3 (= 3.6.1-2.5), libortp-dev
Description: Linphone web phone's media library - development files
Linphone is an audio and video internet phone using the SIP protocol. It
has a GTK+ and console interface, includes a large variety of audio and video
codecs, and provides IM features.
.
This package contains the development libraries for handling media operations.
Original-Maintainer: Debian VoIP Team <[email protected]>
Homepage: http://www.linphone.org/

विकास साधने स्थापित करणे

सी कंपाइलर आणि त्याच्या सोबतची साधने स्थापित करा:

$ sudo apt-get install gcc

आम्ही कंपाइलर आवृत्तीची चौकशी करून परिणाम तपासतो:

$ gcc --version

उत्तर असे काहीतरी असावे:

gcc (Ubuntu 5.4.0-6ubuntu1~16.04.12) 5.4.0 20160609
Copyright (C) 2015 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

चाचणी अर्ज तयार करणे आणि चालवणे

आम्ही मध्ये तयार करतो घर आमच्या ट्यूटोरियल प्रोजेक्टसाठी फोल्डर, चला कॉल करूया mstutorial:

$ mkdir ~/mstutorial

तुमचा आवडता टेक्स्ट एडिटर वापरा आणि नावाची C प्रोग्राम फाइल तयार करा mstest.c खालील सामग्रीसह:

#include "stdio.h"
#include <mediastreamer2/mscommon.h>
int main()
{
  ms_init();
  printf ("Mediastreamer is ready.n");
}

हे मीडिया स्ट्रीमर सुरू करते, ग्रीटिंग प्रिंट करते आणि बाहेर पडते.

फाइल जतन करा आणि कमांडसह चाचणी अनुप्रयोग संकलित करा:

$ gcc mstest.c -o mstest `pkg-config mediastreamer --libs --cflags`

ओळ लक्षात घ्या

`pkg-config mediastreamer --libs --cflags`

अवतरण चिन्हांमध्ये बंद केलेले, जे कीबोर्डवर "Ё" अक्षराच्या त्याच ठिकाणी स्थित आहेत.

फाइलमध्ये त्रुटी नसल्यास, संकलित केल्यानंतर निर्देशिकामध्ये एक फाइल दिसेल mstest. आम्ही प्रोग्राम सुरू करतो:

$ ./mstest

परिणाम असा असेल:

ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib control.c:954:(snd_ctl_open_noupdate) Invalid CTL default:0
ortp-warning-Could not attach mixer to card: Invalid argument
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ortp-warning-Strange, sound card HDA Intel PCH does not seems to be capable of anything, retrying with plughw...
Mediastreamer is ready.

या सूचीमध्ये, आम्ही एएलएसए लायब्ररी दाखवत असलेले त्रुटी संदेश पाहतो, ते साउंड कार्ड नियंत्रित करण्यासाठी वापरले जाते. मीडिया स्ट्रीमरचे विकसक स्वत: मानतात की हे सामान्य आहे. या प्रकरणात, आम्ही अनिच्छेने त्यांच्याशी सहमत आहोत.

आता आम्ही मीडिया स्ट्रीमरसह काम करण्यासाठी सज्ज आहोत. आम्ही मीडिया स्ट्रीमर लायब्ररी, संकलन साधन स्थापित केले आहे आणि चाचणी ऍप्लिकेशन वापरून, साधने कॉन्फिगर केली आहेत आणि मीडिया स्ट्रीमर यशस्वीरित्या सुरू होत असल्याचे सत्यापित केले आहे.

पुढे लेख आम्ही एक ऍप्लिकेशन तयार करू जे अनेक फिल्टरच्या साखळीमध्ये ऑडिओ सिग्नलची प्रक्रिया एकत्र करेल आणि चालवेल.

स्त्रोत: www.habr.com