🥇 Mediastreamer2 VoIP इन्जिन सिक्दै। भाग 1

लेखको सामग्री मेरो बाट लिइएको हो zen च्यानल.

परिचय

यो लेख Mediastreamer2 इन्जिन प्रयोग गरेर वास्तविक-समय मिडिया प्रशोधन बारे लेखहरूको श्रृंखलाको सुरुवात हो। प्रस्तुतीकरणले लिनक्स टर्मिनलमा काम गर्ने र सी भाषामा प्रोग्रामिङ गर्ने न्यूनतम सीपहरू समावेश गर्नेछ।

Mediastreamer2 लोकप्रिय ओपन सोर्स सफ्टवेयर वीओआईपी फोन परियोजना पछाडिको VoIP इन्जिन हो। लिनफोन। Linphone Mediastreamer2 मा ध्वनि र भिडियो सम्बन्धित सबै प्रकार्यहरू लागू गर्दछ। इन्जिन सुविधाहरूको विस्तृत सूची यस Mediastreamer पृष्ठमा देख्न सकिन्छ। स्रोत कोड यहाँ छ: GitLab.

थप पाठमा, सुविधाको लागि, Mediastreamer2 शब्दको सट्टा हामी यसको रूसी नोटेशन प्रयोग गर्नेछौं: "मिडिया स्ट्रिमर"।

यसको सिर्जनाको इतिहास पूर्ण रूपमा स्पष्ट छैन, तर यसको स्रोत कोड द्वारा न्याय गर्दै, यसले पहिले पुस्तकालय प्रयोग गर्‍यो। Gibib, जुन, यो जस्तो थियो, सम्भावित टाढाको सम्बन्धमा संकेत गर्दछ GStreamer। जसको तुलनामा मिडिया स्ट्रिमर बढी हल्का देखिन्छ। Linphone को पहिलो संस्करण 2001 मा देखा पर्‍यो, त्यसैले अहिले मिडिया स्ट्रिमर अवस्थित छ र लगभग 20 वर्षको लागि विकसित छ।

मिडिया स्ट्रिमरको मुटुमा "डेटा प्रवाह" (डेटा प्रवाह) भनिने वास्तुकला हो। यस्तो वास्तुकला को एक उदाहरण तल चित्र मा देखाइएको छ।

यस वास्तुकलामा, डेटा प्रशोधन एल्गोरिदम प्रोग्राम कोड द्वारा होइन, तर कुनै पनि क्रममा व्यवस्थित गर्न सकिने प्रकार्यहरू जडान गर्नको लागि योजना (ग्राफ) द्वारा निर्दिष्ट गरिएको छ। यी प्रकार्यहरूलाई फिल्टर भनिन्छ।

यो वास्तुकलाले वीओआईपी फोन आरटीपी ट्राफिक प्रशोधन र प्रसारण योजनामा जडान भएका फिल्टरहरूको सेटको रूपमा मिडिया प्रशोधन कार्यक्षमता कार्यान्वयन गर्न सम्भव बनाउँछ।

फिल्टरहरूलाई स्वेच्छाचारी योजनाहरूमा संयोजन गर्ने क्षमता, नयाँ फिल्टरहरूको सरल विकास, मिडिया स्ट्रिमरलाई स्वतन्त्र छुट्टै पुस्तकालयको रूपमा कार्यान्वयन गर्ने, यसलाई अन्य परियोजनाहरूमा प्रयोग गर्न अनुमति दिन्छ। यसबाहेक, परियोजना VoIP को क्षेत्रमा हुन सक्छ, किनकि यो आफैले बनाएको फिल्टरहरू थप्न सम्भव छ।

पूर्वनिर्धारित रूपमा प्रदान गरिएको फिल्टर पुस्तकालय धेरै धनी छ र, पहिले नै उल्लेख गरिए अनुसार, तपाईंको आफ्नै डिजाइनका फिल्टरहरूसँग विस्तार गर्न सकिन्छ। तर पहिले, मिडिया स्ट्रिमरको साथ आउने रेडीमेड फिल्टरहरूको वर्णन गरौं। यहाँ तिनीहरूको सूची छ:

ध्वनि फिल्टरहरू

अडियो क्याप्चर र प्लेब्याक

Alsa (Linux): MS_ALSA_WRITE, MS_ALSA_READ
एन्ड्रोइड नेटिभ ध्वनि (libmedia): MS_ANDROID_SOUND_WRITE, MS_ANDROID_SOUND_READ
अडियो लाइन सेवा (Mac OS X): MS_AQ_WRITE, MS_AQ_READ
अडियो एकाइ सेवा (म्याक ओएस एक्स)
कला (Linux): MS_ARTS_WRITE, MS_ARTS_READ
DirectSound (Windows): MS_WINSNDDS_WRITE, MS_WINSNDDS_READ
फाइल प्लेयर (कच्चा/wav/pcap फाइलहरू) (लिनक्स): MS_FILE_PLAYER
फाइल प्लेयर (कच्चा/वाभ फाइलहरू) (विन्डोज): MS_WINSND_READ
फाइलमा लेख्नुहोस् (wav फाइलहरू) (Linux): MS_FILE_REC
फाइलमा लेख्नुहोस् (wav फाइलहरू) (Windows): MS_WINSND_WRITE
म्याक अडियो एकाइ (म्याक ओएस एक्स)
MME (विन्डोज)
OSS (Linux): MS_OSS_WRITE, MS_OSS_READ
पोर्टअडियो (म्याक ओएस एक्स)
पल्स अडियो (लिनक्स): MS_PULSE_WRITE, MS_PULSE_READ
विन्डोज ध्वनि (विन्डोज)

अडियो एन्कोडिङ/डिकोडिङ

G.711 a-law: MS_ALAW_DEC, MS_ALAW_ENC
G.711 µ-कानून: MS_ULAW_DEC, MS_ULAW_ENC
G.722: MS_G722_DEC, MS_G722_ENC
G.726: MS_G726_32_ENC, MS_G726_24_ENC, MS_G726_16_ENC
GSM: MS_GSM_DEC, MS_GSM_ENC
रैखिक PCM: MS_L16_ENC, MS_L16_DEC
स्पीक्स: MS_SPEEX_ENC, MS_SPEEX_DEC

ध्वनि प्रशोधन

च्यानल रूपान्तरण (मोनो->स्टेरियो, स्टेरियो->मोनो): MS_CHANNEL_ADAPTER
सम्मेलन: MS_CONF
DTMF जेनरेटर: MS_DTMF_GEN
इको रद्द (स्पीक्स): MS_SPEEX_EC
इक्वेलाइजर: MS_EQUALIZER
मिक्सर: MS_MIXER
प्याकेट घाटा क्षतिपूर्तिकर्ता (PLC): MS_GENERIC_PLC
पुन: नमूना: MS_RESAMPLE
टोन डिटेक्टर: MS_TONE_DETECTOR
भोल्युम नियन्त्रण र संकेत स्तर मापन: MS_VOLUME

भिडियो फिल्टरहरू

भिडियो खिच्ने र प्लेब्याक

एन्ड्रोइड कब्जा
एन्ड्रोइड प्लेब्याक
AV फाउन्डेशन क्याप्चर (iOS)
AV फाउन्डेशन प्लेब्याक (iOS)
प्रत्यक्ष शो क्याप्चर (विन्डोज)
DrawDib प्लेब्याक (विन्डोज)
बाह्य प्लेब्याक - शीर्ष तहमा भिडियो पठाउँदै
GLX प्लेब्याक (Linux): MS_GLXVIDEO
Mire - सिंथेटिक चलिरहेको तस्वीर: MS_MIRE
ओपनजीएल प्लेब्याक (म्याक ओएस एक्स)
OpenGL ES2 प्लेब्याक (एन्ड्रोइड)
क्विकटाइम क्याप्चर (म्याक ओएस एक्स)
SDL प्लेब्याक: MS_SDL_OUT
स्थिर छवि आउटपुट: MS_STATIC_IMAGE
लिनक्स (V4L) क्याप्चरको लागि भिडियो (Linux): MS_V4L
लिनक्स 2 (V4L2) क्याप्चर (लिनक्स) को लागी भिडियो: MS_V4L2_CAPTURE
Video4windows (DirectShow) क्याप्चर (Windows)
Video4windows (DirectShow) क्याप्चर (Windows CE)
विन्डोजका लागि भिडियो (vfw) क्याप्चर (विन्डोज)
XV प्लेब्याक (Linux)

भिडियो इन्कोडिङ/डिकोडिङ

H.263, H.263-1998, MP4V-ES, JPEG, MJPEG, Snow: MS_MJPEG_DEC, MS_H263_ENC, MS_H263_DEC
H.264 (डिकोडर मात्र): MS_H264_DEC
थिओरा: MS_THIORA_ENC, MS_THIORA_DEC
VP8: MS_VP8_ENC, MS_VP8_DEC

भिडियो प्रशोधन

jpeg स्न्यापसट
पिक्सेल ढाँचा कनवर्टर: MS_PIX_CONV
रिसाइजर
अन्य फिल्टरहरू
थ्रेडहरू बीच डेटा ब्लकहरूको आदानप्रदान: MS_ITC_SOURCE, MS_ITC_SINK
एकल आउटपुटमा बहु इनपुटहरूबाट डेटाको ब्लकहरू सङ्कलन गर्दै: MS_JOIN
RTP प्राप्त/प्रसारण: MS_RTP_SEND, MS_RTP_RECV
बहु आउटपुटहरूमा इनपुट डेटा प्रतिलिपि गर्दै: MS_TEE
समाप्त लोड: MS_VOID_SINK
मौन स्रोत: MS_VOID_SOURCE

प्लगइनहरू

ध्वनि फिल्टरहरू

AMR-NB एन्कोडर/डिकोडर
G.729 एन्कोडर/डिकोडर
iLBC एन्कोडर/डिकोडर
SILK एन्कोडर/डिकोडर

भिडियो फिल्टरहरू
H.264 सफ्टवेयर इन्कोडर
H.264 V4L2 हार्डवेयर एक्सेलेरेटेड एन्कोडर/डिकोडर

फिल्टरको छोटो विवरण पछि, प्रकारको नाम देखाइन्छ, जुन यो फिल्टरको नयाँ उदाहरण सिर्जना गर्दा प्रयोग गरिन्छ। निम्नमा, हामी यो सूचीलाई सन्दर्भ गर्नेछौं।

लिनक्स Ubuntu अन्तर्गत स्थापना

अब हामी कम्प्युटरमा मिडिया स्ट्रिमर स्थापना गर्नेछौं र यसको साथ हाम्रो पहिलो अनुप्रयोग निर्माण गर्नेछौं।

Ubuntu चलिरहेको कम्प्युटर वा भर्चुअल मेसिनमा Mediastremer2 स्थापना गर्न कुनै विशेष सीपहरू आवश्यक पर्दैन। यहाँ र तल, प्रतीक "$" ले आदेशहरू प्रविष्ट गर्न शेल प्रम्प्टलाई जनाउनेछ। ती। यदि सूचीमा तपाईंले लाइनको सुरुमा यो प्रतीक देख्नुहुन्छ भने, यो त्यो रेखा हो जसमा टर्मिनलमा आदेशहरू कार्यान्वयन गर्न देखाइन्छ।

यो लेख मा चरणहरु को समयमा, तपाइँको कम्प्यूटर इन्टरनेट को लागी पहुँच छ कि मानिन्छ।

libmediastremer-dev प्याकेज स्थापना गर्दै

टर्मिनल सुरु गर्नुहोस् र आदेश टाइप गर्नुहोस्:

$ sudo apt-get update

तपाईंलाई परिवर्तनहरू गर्न पासवर्डको लागि सोधिनेछ, यसलाई प्रविष्ट गर्नुहोस् र प्याकेज प्रबन्धकले यसको डाटाबेसहरू अद्यावधिक गर्नेछ। त्यस पछि, तपाईंले चलाउन आवश्यक छ:

$ sudo apt-get install libmediastreamer-dev

आवश्यक निर्भरता प्याकेजहरू र मिडिया स्ट्रिमर पुस्तकालय आफैं स्वचालित रूपमा डाउनलोड र स्थापना हुनेछ।

डाउनलोड गरिएका निर्भरता डेब प्याकेजहरूको कुल आकार लगभग 35 MB हुनेछ। स्थापित प्याकेज बारे विवरण आदेश संग फेला पार्न सकिन्छ:

$ dpkg -s libmediastreamer-dev

जवाफ उदाहरण:

Package: libmediastreamer-dev
Status: install ok installed
Priority: optional
Section: libdevel
Installed-Size: 244
Maintainer: Ubuntu Developers <[email protected]>
Architecture: amd64
Source: linphone
Version: 3.6.1-2.5
Depends: libmediastreamer-base3 (= 3.6.1-2.5), libortp-dev
Description: Linphone web phone's media library - development files
Linphone is an audio and video internet phone using the SIP protocol. It
has a GTK+ and console interface, includes a large variety of audio and video
codecs, and provides IM features.
.
This package contains the development libraries for handling media operations.
Original-Maintainer: Debian VoIP Team <[email protected]>
Homepage: http://www.linphone.org/

विकास उपकरणहरू स्थापना गर्दै

C कम्पाइलर र यसको साथमा उपकरणहरू स्थापना गर्नुहोस्:

$ sudo apt-get install gcc

हामी कम्पाइलर संस्करण क्वेरी गरेर परिणाम जाँच गर्छौं:

$ gcc --version

जवाफ यस्तो हुनुपर्छ:

gcc (Ubuntu 5.4.0-6ubuntu1~16.04.12) 5.4.0 20160609
Copyright (C) 2015 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

परीक्षण आवेदन निर्माण र चलाउने

हामी भित्र सिर्जना गर्छौं घर हाम्रो ट्यूटोरियल परियोजनाहरूको लागि फोल्डर, यसलाई कल गरौं mstutorial:

$ mkdir ~/mstutorial

आफ्नो मनपर्ने पाठ सम्पादक प्रयोग गर्नुहोस् र भनिन्छ C कार्यक्रम फाइल सिर्जना गर्नुहोस् mstest.c निम्न सामग्री संग:

#include "stdio.h"
#include <mediastreamer2/mscommon.h>
int main()
{
  ms_init();
  printf ("Mediastreamer is ready.n");
}

यसले मिडिया स्ट्रिमर सुरु गर्छ, अभिवादन छाप्छ र बाहिर निस्कन्छ।

फाइल बचत गर्नुहोस् र आदेशको साथ परीक्षण अनुप्रयोग कम्पाइल गर्नुहोस्:

$ gcc mstest.c -o mstest `pkg-config mediastreamer --libs --cflags`

नोट गर्नुहोस् कि रेखा

`pkg-config mediastreamer --libs --cflags`

उद्धरण चिन्हहरूमा संलग्न, जुन किबोर्डमा अक्षर "Ё" जस्तै ठाउँमा अवस्थित छन्।

यदि फाइलमा त्रुटिहरू छैनन् भने, त्यसपछि संकलन पछि फाइल डाइरेक्टरीमा देखा पर्नेछ mstest। हामी कार्यक्रम सुरु गर्छौं:

$ ./mstest

परिणाम यस्तो हुनेछ:

ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib control.c:954:(snd_ctl_open_noupdate) Invalid CTL default:0
ortp-warning-Could not attach mixer to card: Invalid argument
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ortp-warning-Strange, sound card HDA Intel PCH does not seems to be capable of anything, retrying with plughw...
Mediastreamer is ready.

यस सूचीमा, हामी त्रुटि सन्देशहरू देख्छौं जुन ALSA पुस्तकालयले प्रदर्शन गर्दछ, यो ध्वनि कार्ड नियन्त्रण गर्न प्रयोग गरिन्छ। मिडिया स्ट्रिमरका विकासकर्ताहरूले यो सामान्य हो भन्ने विश्वास गर्छन्। यस अवस्थामा, हामी अनिच्छुक तिनीहरूसँग सहमत छौं।

अब हामी सबै मिडिया स्ट्रिमरसँग काम गर्न तयार छौं। हामीले मिडिया स्ट्रिमर लाइब्रेरी, कम्पाइलेशन उपकरण स्थापना गरेका छौं, र परीक्षण अनुप्रयोग प्रयोग गरेर उपकरणहरू कन्फिगर गरिएको छ र मिडिया स्ट्रिमर सफलतापूर्वक सुरु हुन्छ भनेर प्रमाणित गरेका छौं।

अर्को लेख हामी एउटा एप्लिकेसन सिर्जना गर्नेछौं जसले धेरै फिल्टरहरूको श्रृंखलामा अडियो सिग्नलको प्रशोधनलाई भेला र चलाउनेछ।

स्रोत: www.habr.com

Mediastreamer2 VoIP इन्जिन अन्वेषण गर्दै। भाग ८

परिचय

ध्वनि फिल्टरहरू

अडियो क्याप्चर र प्लेब्याक

अडियो एन्कोडिङ/डिकोडिङ

ध्वनि प्रशोधन

भिडियो फिल्टरहरू

भिडियो खिच्ने र प्लेब्याक

भिडियो इन्कोडिङ/डिकोडिङ

भिडियो प्रशोधन

प्लगइनहरू

ध्वनि फिल्टरहरू

भिडियो फिल्टरहरू

लिनक्स Ubuntu अन्तर्गत स्थापना

libmediastremer-dev प्याकेज स्थापना गर्दै

विकास उपकरणहरू स्थापना गर्दै

परीक्षण आवेदन निर्माण र चलाउने