Mediastreamer2 VoIP ძრავის შესწავლა. ნაწილი 1

სტატიის მასალა აღებულია ჩემი ზენ არხი.

შესავალი

ეს სტატია არის სტატიების სერიის დასაწყისი Mediastreamer2 ძრავის გამოყენებით რეალურ დროში მედიის დამუშავების შესახებ. პრეზენტაცია მოიცავს Linux ტერმინალში მუშაობის მინიმალურ უნარებს და C ენაზე პროგრამირებას.

Mediastreamer2 არის VoIP ძრავა პოპულარული ღია პროგრამული უზრუნველყოფის Voip ტელეფონის პროექტის უკან. ლინფონი. Linphone-ში Mediastreamer2 ახორციელებს ხმასა და ვიდეოსთან დაკავშირებულ ყველა ფუნქციას. ძრავის მახასიათებლების დეტალური ჩამონათვალი შეგიძლიათ იხილოთ Mediastreamer-ის ამ გვერდზე. წყაროს კოდი აქ არის: გიტლაბი.

შემდგომ ტექსტში, მოხერხებულობისთვის, სიტყვის Mediastreamer2-ის ნაცვლად გამოვიყენებთ მის რუსულ აღნიშვნას: “media streamer”.

მისი შექმნის ისტორია მთლად ნათელი არ არის, მაგრამ მისი წყარო კოდით ვიმსჯელებთ, მანამდე ბიბლიოთეკა იყენებდა გლიბი, რაც, როგორც იქნა, მიანიშნებს შესაძლო შორეულ ურთიერთობაზე GStreamer. ვისთან შედარებით მედია სტრიმერი უფრო მსუბუქია. Linphone-ის პირველი ვერსია 2001 წელს გამოჩნდა, ასე რომ, ამ დროისთვის მედია სტრიმერი არსებობს და ვითარდება თითქმის 20 წლის განმავლობაში.

მედია სტრიმერის გულში არის არქიტექტურა სახელწოდებით "მონაცემთა ნაკადი" (მონაცემთა ნაკადი). ასეთი არქიტექტურის მაგალითი ნაჩვენებია ქვემოთ მოცემულ ფიგურაში.

ამ არქიტექტურაში მონაცემთა დამუშავების ალგორითმი მითითებულია არა პროგრამის კოდით, არამედ ფუნქციების დამაკავშირებელი სქემით (გრაფიკით), რომელიც შეიძლება განლაგდეს ნებისმიერი თანმიმდევრობით. ამ ფუნქციებს ფილტრები ეწოდება.

ეს არქიტექტურა შესაძლებელს ხდის მედიის დამუშავების ფუნქციის განხორციელებას ფილტრების ნაკრების სახით, რომელიც დაკავშირებულია VoIP ტელეფონის RTP ტრაფიკის დამუშავებისა და გადაცემის სქემასთან.

ფილტრების თვითნებურ სქემებში გაერთიანების შესაძლებლობა, ახალი ფილტრების მარტივი განვითარება, მედია სტრიმერის, როგორც დამოუკიდებელი ცალკე ბიბლიოთეკის დანერგვა, საშუალებას აძლევს მას გამოიყენოს სხვა პროექტებში. უფრო მეტიც, პროექტი შეიძლება იყოს VoIP-ის სფეროში, ვინაიდან შესაძლებელია საკუთარი თავის მიერ შექმნილი ფილტრების დამატება.

ნაგულისხმევად მოწოდებული ფილტრის ბიბლიოთეკა საკმაოდ მდიდარია და, როგორც უკვე აღვნიშნეთ, შეიძლება გაფართოვდეს ჩვენივე დიზაინის ფილტრებით. მაგრამ პირველ რიგში, მოდით აღვწეროთ მზა ფილტრები, რომლებიც მოყვება მედია სტრიმერს. აქ არის მათი სია:

ხმის ფილტრები

აუდიოს გადაღება და დაკვრა

• Alsa (Linux): MS_ALSA_WRITE, MS_ALSA_READ
• Android-ის მშობლიური ხმა (libmedia): MS_ANDROID_SOUND_WRITE, MS_ANDROID_SOUND_READ
• აუდიო რიგის სერვისი (Mac OS X): MS_AQ_WRITE, MS_AQ_READ
• აუდიო ერთეულის სერვისი (Mac OS X)
• ხელოვნება (Linux): MS_ARTS_WRITE, MS_ARTS_READ
• DirectSound (Windows): MS_WINSNDDS_WRITE, MS_WINSNDDS_READ
• ფაილის პლეერი (raw/wav/pcap ფაილები) (Linux): MS_FILE_PLAYER
• ფაილის პლეერი (raw/wav ფაილები) (Windows): MS_WINSND_READ
• ჩაწერა ფაილში (wav ფაილები) (Linux): MS_FILE_REC
• ჩაწერა ფაილში (wav ფაილები) (Windows): MS_WINSND_WRITE
• Mac აუდიო ერთეული (Mac OS X)
• MME (Windows)
• OSS (Linux): MS_OSS_WRITE, MS_OSS_READ
• PortAudio (Mac OS X)
• PulseAudio (Linux): MS_PULSE_WRITE, MS_PULSE_READ
• Windows Sound (Windows)

აუდიო კოდირება/გაშიფვრა

• G.711 a-კანონი: MS_ALAW_DEC, MS_ALAW_ENC
• G.711 μ-კანონი: MS_ULAW_DEC, MS_ULAW_ENC
• G.722: MS_G722_DEC, MS_G722_ENC
• G.726: MS_G726_32_ENC, MS_G726_24_ENC, MS_G726_16_ENC
• GSM: MS_GSM_DEC, MS_GSM_ENC
• ხაზოვანი PCM: MS_L16_ENC, MS_L16_DEC
• სიჩქარე: MS_SPEEX_ENC, MS_SPEEX_DEC

ხმის დამუშავება

• არხის კონვერტაცია (მონო-> სტერეო, სტერეო-> მონო): MS_CHANNEL_ADAPTER
• კონფერენცია: MS_CONF
• DTMF გენერატორი: MS_DTMF_GEN
• ექოს გაუქმება (Speex): MS_SPEEX_EC
• ექვალაიზერი: MS_EQUALIZER
• მიქსერი: MS_MIXER
• პაკეტის დაკარგვის კომპენსატორი (PLC): MS_GENERIC_PLC
• Resampler: MS_RESAMPLE
• ტონის დეტექტორი: MS_TONE_DETECTOR
• ხმის კონტროლი და სიგნალის დონის გაზომვა: MS_VOLUME

ვიდეო ფილტრები

ვიდეოს გადაღება და დაკვრა

• ანდროიდის გადაღება
• ანდროიდის დაკვრა
• AV Foundation გადაღება (iOS)
• AV Foundation დაკვრა (iOS)
• DirectShow Capture (Windows)
• DrawDib დაკვრა (Windows)
• გარე დაკვრა - ვიდეოს გაგზავნა ზედა ფენაში
• GLX დაკვრა (Linux): MS_GLXVIDEO
• Mire - სინთეტიკური მოძრავი სურათი: MS_MIRE
• OpenGL დაკვრა (Mac OS X)
• OpenGL ES2 დაკვრა (Android)
• Quicktime Capture (Mac OS X)
• SDL დაკვრა: MS_SDL_OUT
• სტატიკური გამოსახულების გამომავალი: MS_STATIC_IMAGE
• ვიდეო Linux-ისთვის (V4L) გადაღება (Linux): MS_V4L
• ვიდეო Linux 2-ისთვის (V4L2) გადაღება (Linux): MS_V4L2_CAPTURE
• Video4windows (DirectShow) გადაღება (Windows)
• Video4windows (DirectShow) გადაღება (Windows CE)
• ვიდეო Windows-ისთვის (vfw) გადაღება (Windows)
• XV დაკვრა (Linux)

ვიდეოს კოდირება/გაშიფვრა

• H.263, H.263-1998, MP4V-ES, JPEG, MJPEG, თოვლი: MS_MJPEG_DEC, MS_H263_ENC, MS_H263_DEC
• H.264 (მხოლოდ დეკოდერი): MS_H264_DEC
• Theora: MS_THEORA_ENC, MS_THEORA_DEC
• VP8: MS_VP8_ENC, MS_VP8_DEC

ვიდეოს დამუშავება

• jpeg სნეპშოტი
• პიქსელის ფორმატის გადამყვანი: MS_PIX_CONV
• Resizer
• სხვა ფილტრები
• მონაცემთა ბლოკების გაცვლა ძაფებს შორის: MS_ITC_SOURCE, MS_ITC_SINK
• მონაცემთა ბლოკების შეგროვება მრავალი შეყვანიდან ერთ გამომავალზე: MS_JOIN
• RTP მიღება/გადაცემა: MS_RTP_SEND, MS_RTP_RECV
• შეყვანის მონაცემების კოპირება მრავალ გამოსავალზე: MS_TEE
• შეწყვეტილი დატვირთვა: MS_VOID_SINK
• დუმილის წყარო: MS_VOID_SOURCE

მოდულები

ხმის ფილტრები

• AMR-NB შიფრატორი/დეკოდერი
• G.729 შიფრატორი/დეკოდერი
• iLBC შიფრატორი/დეკოდერი
• SILK შიფრატორი/დეკოდერი
  

  ვიდეო ფილტრები

• H.264 პროგრამული კოდირება
• H.264 V4L2 ტექნიკის დაჩქარებული ენკოდერი/დეკოდერი

ფილტრის მოკლე აღწერის შემდეგ ნაჩვენებია ტიპის სახელი, რომელიც გამოიყენება ამ ფილტრის ახალი ინსტანციის შექმნისას. შემდგომში ჩვენ მივმართავთ ამ სიას.

ინსტალაცია Linux Ubuntu-ში

ახლა ჩვენ დავაყენებთ მედია სტრიმერს კომპიუტერზე და ავაშენებთ ჩვენს პირველ აპლიკაციას.

Mediastremer2-ის ინსტალაცია კომპიუტერზე ან ვირტუალურ მანქანაზე, რომელიც მუშაობს Ubuntu-ზე, არ საჭიროებს რაიმე განსაკუთრებულ უნარებს. აქ და ქვემოთ, სიმბოლო "$" აღნიშნავს ჭურვის მოთხოვნას ბრძანებების შესაყვანად. იმათ. თუ სიაში ხედავთ ამ სიმბოლოს ხაზის დასაწყისში, მაშინ ეს არის ხაზი, რომელშიც ნაჩვენებია ბრძანებების შესრულება ტერმინალში.

ვარაუდობენ, რომ ამ სტატიაში მოცემული ნაბიჯების დროს თქვენს კომპიუტერს აქვს წვდომა ინტერნეტზე.

libmediastremer-dev პაკეტის ინსტალაცია

გაუშვით ტერმინალი და ჩაწერეთ ბრძანება:

$ sudo apt-get update

ცვლილებების შესატანად მოგეთხოვებათ პაროლი, შეიყვანოთ იგი და პაკეტის მენეჯერი განაახლებს მონაცემთა ბაზებს. ამის შემდეგ, თქვენ უნდა გაუშვათ:

$ sudo apt-get install libmediastreamer-dev

საჭირო დამოკიდებულების პაკეტები და თავად მედია ნაკადის ბიბლიოთეკა ავტომატურად ჩამოიტვირთება და დაინსტალირდება.

ჩამოტვირთული დამოკიდებულების დებ პაკეტების მთლიანი ზომა იქნება დაახლოებით 35 მბ. დეტალები დაინსტალირებული პაკეტის შესახებ შეგიძლიათ იხილოთ ბრძანებით:

$ dpkg -s libmediastreamer-dev

პასუხის მაგალითი:

Package: libmediastreamer-dev
Status: install ok installed
Priority: optional
Section: libdevel
Installed-Size: 244
Maintainer: Ubuntu Developers <[email protected]>
Architecture: amd64
Source: linphone
Version: 3.6.1-2.5
Depends: libmediastreamer-base3 (= 3.6.1-2.5), libortp-dev
Description: Linphone web phone's media library - development files
Linphone is an audio and video internet phone using the SIP protocol. It
has a GTK+ and console interface, includes a large variety of audio and video
codecs, and provides IM features.
.
This package contains the development libraries for handling media operations.
Original-Maintainer: Debian VoIP Team <[email protected]>
Homepage: http://www.linphone.org/

განვითარების ინსტრუმენტების დაყენება

დააინსტალირეთ C კომპილერი და მისი თანმხლები ხელსაწყოები:

$ sudo apt-get install gcc

ჩვენ ვამოწმებთ შედეგს შემდგენელის ვერსიის შეკითხვით:

$ gcc --version

პასუხი დაახლოებით ასეთი უნდა იყოს:

gcc (Ubuntu 5.4.0-6ubuntu1~16.04.12) 5.4.0 20160609
Copyright (C) 2015 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

საცდელი აპლიკაციის შექმნა და გაშვება

ჩვენ ვქმნით მთავარი საქაღალდე ჩვენი სამეურვეო პროექტებისთვის, მოდით ვუწოდოთ მას მასწავლებელთა:

$ mkdir ~/mstutorial

გამოიყენეთ თქვენი საყვარელი ტექსტური რედაქტორი და შექმენით C პროგრამის ფაილი ე.წ mstest.c შემდეგი შინაარსით:

#include "stdio.h"
#include <mediastreamer2/mscommon.h>
int main()
{
  ms_init();
  printf ("Mediastreamer is ready.n");
}

ის ახდენს მედია ნაკადის ინიციალიზებას, ბეჭდავს მისალმებას და გადის.

შეინახეთ ფაილი და შეადგინეთ სატესტო აპლიკაცია ბრძანებით:

$ gcc mstest.c -o mstest `pkg-config mediastreamer --libs --cflags`

გაითვალისწინეთ, რომ ხაზი

`pkg-config mediastreamer --libs --cflags`

ჩასმული ბრჭყალებში, რომლებიც განთავსებულია კლავიატურაზე იმავე ადგილას, სადაც ასო "Ё".

თუ ფაილი არ შეიცავს შეცდომებს, მაშინ შედგენის შემდეგ ფაილი გამოჩნდება დირექტორიაში mstest. ჩვენ ვიწყებთ პროგრამას:

$ ./mstest

შედეგი იქნება ასეთი:

ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib control.c:954:(snd_ctl_open_noupdate) Invalid CTL default:0
ortp-warning-Could not attach mixer to card: Invalid argument
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ortp-warning-Strange, sound card HDA Intel PCH does not seems to be capable of anything, retrying with plughw...
Mediastreamer is ready.

ამ ჩამონათვალში ჩვენ ვხედავთ შეცდომის შეტყობინებებს, რომლებსაც ALSA ბიბლიოთეკა აჩვენებს, ის გამოიყენება ხმის ბარათის გასაკონტროლებლად. თავად მედია სტრიმერის დეველოპერები თვლიან, რომ ეს ნორმალურია. ამ შემთხვევაში ჩვენ უხალისოდ ვეთანხმებით მათ.

ახლა ჩვენ ყველანი მზად ვართ ვიმუშაოთ მედია სტრიმერთან. ჩვენ დავაინსტალირეთ მედია ნაკადის ბიბლიოთეკა, კომპილაციის ხელსაწყო და საცდელი აპლიკაციის გამოყენებით დავადასტურეთ, რომ ინსტრუმენტები კონფიგურირებულია და მედია სტრიმერი წარმატებით ინიციალიზდება.

შემდეგი მუხლი ჩვენ შევქმნით აპლიკაციას, რომელიც შეკრებს და აწარმოებს აუდიო სიგნალის დამუშავებას რამდენიმე ფილტრის ჯაჭვში.

წყარო: www.habr.com