חקר מנוע ה-VoIP Mediastreamer2. חלק 1

החומר של המאמר לקוח ממני ערוץ זן.

מבוא

מאמר זה הוא תחילתה של סדרת מאמרים על עיבוד מדיה בזמן אמת באמצעות מנוע Mediastreamer2. המצגת תכלול את הכישורים המינימליים של עבודה במסוף לינוקס ותכנות בשפת C.

Mediastreamer2 הוא מנוע ה-VoIP מאחורי פרויקט ה-VOIP הפופולרי של תוכנת ה-voip. לינפונים. ב-Linphone Mediastreamer2 מיישם את כל הפונקציות הקשורות לסאונד ווידאו. רשימה מפורטת של תכונות המנוע ניתן לראות בדף Mediastreamer זה. קוד המקור נמצא כאן: GitLab.

בהמשך הטקסט, מטעמי נוחות, במקום המילה Mediastreamer2 נשתמש בסימון הרוסי שלה: "מדיה סטרימר".

ההיסטוריה של יצירתו אינה ברורה לחלוטין, אך אם לשפוט לפי קוד המקור שלה, היא השתמשה בעבר בספרייה גליב, אשר, כביכול, רומז על מערכת יחסים רחוקה אפשרית עם GStreamer. בהשוואה אליו סטרימר המדיה נראה קל יותר. הגרסה הראשונה של Linphone הופיעה בשנת 2001, כך שכרגע סטרימר המדיה קיים ומתפתח כמעט 20 שנה.

בליבו של סטרימר המדיה נמצאת ארכיטקטורה הנקראת "זרימת נתונים" (זרימת נתונים). דוגמה לארכיטקטורה כזו מוצגת באיור שלהלן.

בארכיטקטורה זו, אלגוריתם עיבוד הנתונים מוגדר לא על ידי קוד תוכנית, אלא על ידי סכמה (גרף) לחיבור פונקציות שניתן לסדר בכל סדר. פונקציות אלו נקראות פילטרים.

ארכיטקטורה זו מאפשרת ליישם את פונקציונליות עיבוד המדיה בצורה של קבוצה של מסננים המחוברים למערכת העיבוד והשידור של תעבורת RTP של טלפון VoIP.

היכולת לשלב מסננים לסכמות שרירותיות, פיתוח פשוט של מסננים חדשים, הטמעת סטרימר המדיה כספרייה נפרדת עצמאית, מאפשרים להשתמש בו בפרויקטים אחרים. יתרה מכך, הפרויקט יכול להיות בתחום ה-VoIP, שכן ניתן להוסיף פילטרים מעשה ידיו.

ספריית המסננים המסופקת כברירת מחדל היא עשירה למדי, וכפי שכבר צוין, ניתן להרחיב אותה עם מסננים בעיצוב שלנו. אבל ראשית, בואו נתאר את המסננים המוכנים שמגיעים עם סטרימר המדיה. הנה הרשימה שלהם:

מסנני קול

לכידת אודיו והשמעה

• Alsa (לינוקס): MS_ALSA_WRITE, MS_ALSA_READ
• צליל מקורי של Android (libmedia): MS_ANDROID_SOUND_WRITE, MS_ANDROID_SOUND_READ
• שירות תור שמע (Mac OS X): MS_AQ_WRITE, MS_AQ_READ
• שירות יחידת שמע (Mac OS X)
• אומנויות (לינוקס): MS_ARTS_WRITE, MS_ARTS_READ
• DirectSound (Windows): MS_WINSNDDS_WRITE, MS_WINSNDDS_READ
• נגן קבצים (קבצי גלם/wav/pcap) (לינוקס): MS_FILE_PLAYER
• נגן קבצים (קבצי גלם/wav) (Windows): MS_WINSND_READ
• כתוב לקובץ (קבצי wav) (לינוקס): MS_FILE_REC
• כתוב לקובץ (קבצי wav) (Windows): MS_WINSND_WRITE
• יחידת שמע של Mac (Mac OS X)
• MME (Windows)
• OSS (לינוקס): MS_OSS_WRITE, MS_OSS_READ
• PortAudio (Mac OS X)
• PulseAudio (לינוקס): MS_PULSE_WRITE, MS_PULSE_READ
• Windows Sound (Windows)

קידוד/פענוח אודיו

• G.711 a-law: MS_ALAW_DEC, MS_ALAW_ENC
• G.711 µ-law: MS_ULAW_DEC, MS_ULAW_ENC
• G.722: MS_G722_DEC, MS_G722_ENC
• G.726: MS_G726_32_ENC, MS_G726_24_ENC, MS_G726_16_ENC
• GSM: MS_GSM_DEC, MS_GSM_ENC
• PCM ליניארי: MS_L16_ENC, MS_L16_DEC
• Speex: MS_SPEEX_ENC, MS_SPEEX_DEC

עיבוד קול

• המרת ערוץ (מונו->סטריאו, סטריאו->מונו): MS_CHANNEL_ADAPTER
• ועידה: MS_CONF
• מחולל DTMF: MS_DTMF_GEN
• ביטול הד (speex): MS_SPEEX_EC
• אקולייזר: MS_EQUALIZER
• מיקסר: MS_MIXER
• מפצה אובדן מנות (PLC): MS_GENERIC_PLC
• דגימה מחדש: MS_RESAMPLE
• גלאי טון: MS_TONE_DETECTOR
• בקרת עוצמת הקול ומדידת רמת האות: MS_VOLUME

מסנני וידאו

לכידת וידאו והשמעה

• לכידת אנדרואיד
• השמעת אנדרואיד
• לכידת AV Foundation (iOS)
• השמעת AV Foundation (iOS)
• DirectShow Capture (Windows)
• השמעת DrawDib (Windows)
• השמעה חיצונית - שליחת וידאו לשכבה העליונה
• השמעת GLX (לינוקס): MS_GLXVIDEO
• מירה - תמונה נעה סינתטית: MS_MIRE
• השמעת OpenGL (Mac OS X)
• השמעת OpenGL ES2 (אנדרואיד)
• Quicktime Capture (Mac OS X)
• השמעת SDL: MS_SDL_OUT
• פלט תמונה סטטית: MS_STATIC_IMAGE
• לכידת וידאו עבור לינוקס (V4L) (לינוקס): MS_V4L
• לכידת וידאו עבור לינוקס 2 (V4L2) (לינוקס): MS_V4L2_CAPTURE
• לכידת Video4windows (DirectShow) (Windows)
• לכידת Video4windows (DirectShow) (Windows CE)
• לכידת וידאו עבור Windows (vfw) (Windows)
• השמעה XV (לינוקס)

קידוד/פענוח וידאו

• H.263, H.263-1998, MP4V-ES, JPEG, MJPEG, שלג: MS_MJPEG_DEC, MS_H263_ENC, MS_H263_DEC
• H.264 (מפענח בלבד): MS_H264_DEC
• תאורה: MS_THEORA_ENC, MS_THEORA_DEC
• VP8: MS_VP8_ENC, MS_VP8_DEC

עיבוד וידאו

• תמונת מצב של jpeg
• ממיר פורמט פיקסלים: MS_PIX_CONV
• שינוי סריג
• מסננים אחרים
• החלפת בלוקי נתונים בין שרשורים: MS_ITC_SOURCE, MS_ITC_SINK
• איסוף בלוקים של נתונים מכניסות מרובות לפלט בודד: MS_JOIN
• קבלה/שידור RTP: MS_RTP_SEND, MS_RTP_RECV
• העתקת נתוני קלט למספר יציאות: MS_TEE
• עומס שהופסק: MS_VOID_SINK
• מקור השתקה: MS_VOID_SOURCE

Плагины

מסנני קול

• מקודד/מפענח AMR-NB
• מקודד/מפענח G.729
• מקודד/מפענח iLBC
• מקודד/מפענח SILK
  

  מסנני וידאו

• מקודד תוכנה H.264
• H.264 V4L2 מקודד/מפענח מואץ בחומרה

לאחר תיאור קצר של המסנן, מוצג שם הסוג, המשמש בעת יצירת מופע חדש של מסנן זה. בהמשך, נתייחס לרשימה זו.

התקנה תחת לינוקס אובונטו

כעת נתקין את המדיה סטרימר על המחשב ונבנה איתו את האפליקציה הראשונה שלנו.

התקנת Mediastremer2 במחשב או במכונה וירטואלית המריץ אובונטו אינה דורשת מיומנויות מיוחדות. כאן ומטה, הסמל "$" יסמן את הנחיית המעטפת להזנת פקודות. הָהֵן. אם ברשימה אתה רואה את הסמל הזה בתחילת השורה, אז זו השורה שבה מוצגות הפקודות המבוצעות בטרמינל.

ההנחה היא שבמהלך השלבים במאמר זה, למחשב שלך יש גישה לאינטרנט.

התקנת חבילת libmediastremer-dev

הפעל את הטרמינל והקלד את הפקודה:

$ sudo apt-get update

תתבקשו להזין סיסמה לביצוע שינויים, הזינו אותה ומנהל החבילות יעדכן את מסדי הנתונים שלו. לאחר מכן, עליך להריץ:

$ sudo apt-get install libmediastreamer-dev

חבילות התלות הדרושות וספריית סטרימר המדיה עצמה יורדו ויותקנו באופן אוטומטי.

הגודל הכולל של חבילות ה-Deb תלויות שהורדת יהיה כ-35 MB. ניתן למצוא פרטים על החבילה המותקנת באמצעות הפקודה:

$ dpkg -s libmediastreamer-dev

דוגמה לתשובה:

Package: libmediastreamer-dev
Status: install ok installed
Priority: optional
Section: libdevel
Installed-Size: 244
Maintainer: Ubuntu Developers <[email protected]>
Architecture: amd64
Source: linphone
Version: 3.6.1-2.5
Depends: libmediastreamer-base3 (= 3.6.1-2.5), libortp-dev
Description: Linphone web phone's media library - development files
Linphone is an audio and video internet phone using the SIP protocol. It
has a GTK+ and console interface, includes a large variety of audio and video
codecs, and provides IM features.
.
This package contains the development libraries for handling media operations.
Original-Maintainer: Debian VoIP Team <[email protected]>
Homepage: http://www.linphone.org/

התקנת כלי פיתוח

התקן את המהדר C והכלים הנלווים אליו:

$ sudo apt-get install gcc

אנו בודקים את התוצאה על ידי שאילתה לגרסת המהדר:

$ gcc --version

התשובה צריכה להיות משהו כזה:

gcc (Ubuntu 5.4.0-6ubuntu1~16.04.12) 5.4.0 20160609
Copyright (C) 2015 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

בנייה והפעלה של אפליקציית הניסיון

אנחנו יוצרים ב בית תיקייה עבור פרויקטי ההדרכה שלנו, בואו נקרא לזה הדרכה:

$ mkdir ~/mstutorial

השתמש בעורך הטקסט המועדף עליך וצור קובץ תוכנית C בשם mstest.c עם התוכן הבא:

#include "stdio.h"
#include <mediastreamer2/mscommon.h>
int main()
{
  ms_init();
  printf ("Mediastreamer is ready.n");
}

הוא מאתחל את סטרימר המדיה, מדפיס ברכה ויוצא.

שמור את הקובץ והידור יישום הבדיקה עם הפקודה:

$ gcc mstest.c -o mstest `pkg-config mediastreamer --libs --cflags`

שימו לב שהקו

`pkg-config mediastreamer --libs --cflags`

מוקף במרכאות, הממוקמות על המקלדת באותו מקום כמו האות "Ё".

אם הקובץ אינו מכיל שגיאות, לאחר הקומפילציה יופיע קובץ בספרייה mstest. אנחנו מתחילים את התוכנית:

$ ./mstest

התוצאה תהיה כזו:

ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib control.c:954:(snd_ctl_open_noupdate) Invalid CTL default:0
ortp-warning-Could not attach mixer to card: Invalid argument
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ortp-warning-Strange, sound card HDA Intel PCH does not seems to be capable of anything, retrying with plughw...
Mediastreamer is ready.

ברישום זה, אנו רואים את הודעות השגיאה שספריית ALSA מציגה, היא משמשת לשליטה בכרטיס הקול. מפתחי סטרימר המדיה בעצמם סבורים שזה נורמלי. במקרה זה, אנו מסכימים איתם באי רצון.

כעת כולנו מוכנים לעבוד עם סטרימר המדיה. התקנו את ספריית סטרימר המדיה, כלי ההידור, ובאמצעות אפליקציית ניסיון, וידאנו שהכלים מוגדרים וסטרימר המדיה מאתחל בהצלחה.

הַבָּא статье ניצור אפליקציה שתרכיב ותפעיל את העיבוד של אות אודיו בשרשרת של מספר מסננים.

מקור: www.habr.com