ການສຳຫຼວດເຄື່ອງຈັກ Mediastreamer2 VoIP. ພາກທີ 1

ເອກະສານຂອງບົດຄວາມແມ່ນເອົາມາຈາກຂອງຂ້ອຍ ຊ່ອງ zen.

ການນໍາສະເຫນີ

ບົດຂຽນນີ້ແມ່ນການເລີ່ມຕົ້ນຂອງຊຸດຂອງບົດຄວາມກ່ຽວກັບການປຸງແຕ່ງສື່ໃນເວລາທີ່ແທ້ຈິງໂດຍໃຊ້ເຄື່ອງຈັກ Mediastreamer2. ການນໍາສະເຫນີຈະກ່ຽວຂ້ອງກັບທັກສະຕໍາ່ສຸດທີ່ຂອງການເຮັດວຽກຢູ່ໃນຈຸດເຊື່ອມຕໍ່ Linux ແລະການຂຽນໂປຼແກຼມໃນພາສາ C.

Mediastreamer2 ແມ່ນເຄື່ອງຈັກ VoIP ທີ່ຢູ່ເບື້ອງຫຼັງໂຄງການໂທລະສັບ voip ຊອບແວເປີດແຫຼ່ງທີ່ນິຍົມ. ໂທລະສັບ. ໃນ Linphone Mediastreamer2 ປະຕິບັດຫນ້າທີ່ທັງຫມົດທີ່ກ່ຽວຂ້ອງກັບສຽງແລະວິດີໂອ. ບັນຊີລາຍຊື່ລາຍລະອຽດຂອງລັກສະນະເຄື່ອງຈັກສາມາດເຫັນໄດ້ໃນຫນ້າ Mediastreamer ນີ້. ລະຫັດແຫຼ່ງແມ່ນຢູ່ທີ່ນີ້: GitLab.

ເພີ່ມເຕີມໃນຂໍ້ຄວາມ, ເພື່ອຄວາມສະດວກ, ແທນທີ່ຈະເປັນຄໍາວ່າ Mediastreamer2, ພວກເຮົາຈະນໍາໃຊ້ຄວາມຫມາຍພາສາລັດເຊຍຂອງຕົນ: "ສື່ມວນຊົນ streamer".

ປະຫວັດຂອງການສ້າງຂອງມັນບໍ່ແມ່ນຄວາມຊັດເຈນທັງຫມົດ, ແຕ່ການຕັດສິນໂດຍລະຫັດແຫຼ່ງຂອງມັນ, ກ່ອນຫນ້ານີ້ມັນໃຊ້ຫ້ອງສະຫມຸດ ກະພິບ, ເຊິ່ງ, ຍ້ອນວ່າມັນແມ່ນ, ຄໍາແນະນໍາກ່ຽວກັບຄວາມສໍາພັນຫ່າງໄກທີ່ເປັນໄປໄດ້ກັບ GStreamer. ເມື່ອສົມທຽບກັບສື່ streamer ເບິ່ງຄືວ່າມີນ້ໍາຫນັກເບົາກວ່າ. ຮຸ່ນທໍາອິດຂອງ Linphone ປາກົດຢູ່ໃນ 2001, ດັ່ງນັ້ນໃນປັດຈຸບັນສື່ມວນຊົນ streamer ມີແລະພັດທະນາເກືອບ 20 ປີ.

ຫົວໃຈຂອງ media streamer ແມ່ນສະຖາປັດຕະຍະກໍາທີ່ເອີ້ນວ່າ "Data flow" (ການໄຫຼຂອງຂໍ້ມູນ). ຕົວຢ່າງຂອງສະຖາປັດຕະຍະກໍາດັ່ງກ່າວແມ່ນສະແດງຢູ່ໃນຮູບຂ້າງລຸ່ມນີ້.

ໃນສະຖາປັດຕະຍະກໍານີ້, ສູດການປະມວນຜົນຂໍ້ມູນບໍ່ໄດ້ລະບຸໄວ້ໂດຍລະຫັດໂຄງການ, ແຕ່ໂດຍໂຄງການ (ກາຟ) ສໍາລັບຫນ້າທີ່ເຊື່ອມຕໍ່ທີ່ສາມາດຈັດລຽງຕາມລໍາດັບໃດໆ. ຫນ້າທີ່ເຫຼົ່ານີ້ເອີ້ນວ່າຕົວກອງ.

ສະຖາປັດຕະຍະກໍານີ້ເຮັດໃຫ້ມັນເປັນໄປໄດ້ທີ່ຈະປະຕິບັດຫນ້າທີ່ການປຸງແຕ່ງສື່ໃນຮູບແບບຂອງຕົວກອງທີ່ເຊື່ອມຕໍ່ໃນໂຄງການສໍາລັບການປຸງແຕ່ງແລະສົ່ງການຈະລາຈອນ RTP ຂອງໂທລະສັບ VoIP.

ຄວາມສາມາດໃນການຜະສົມຜະສານການກັ່ນຕອງເຂົ້າໄປໃນລະບົບທີ່ຕົນເອງມັກ, ການພັດທະນາແບບງ່າຍດາຍຂອງການກັ່ນຕອງໃຫມ່, ການປະຕິບັດຂອງ media streamer ເປັນຫ້ອງສະຫມຸດແຍກຕ່າງຫາກເອກະລາດ, ອະນຸຍາດໃຫ້ນໍາໃຊ້ໃນໂຄງການອື່ນໆ. ຍິ່ງໄປກວ່ານັ້ນ, ໂຄງການສາມາດຢູ່ໃນພາກສະຫນາມຂອງ VoIP, ເນື່ອງຈາກວ່າມັນເປັນໄປໄດ້ທີ່ຈະເພີ່ມການກັ່ນຕອງທີ່ເຮັດດ້ວຍຕົວເອງ.

ຫ້ອງສະຫມຸດການກັ່ນຕອງສະຫນອງໃຫ້ໂດຍຄ່າເລີ່ມຕົ້ນແມ່ນຂ້ອນຂ້າງອຸດົມສົມບູນແລະ, ດັ່ງທີ່ໄດ້ກ່າວມາແລ້ວ, ສາມາດຂະຫຍາຍໄດ້ດ້ວຍການກັ່ນຕອງຂອງການອອກແບບຂອງພວກເຮົາເອງ. ແຕ່ທໍາອິດ, ໃຫ້ອະທິບາຍຕົວກອງທີ່ກຽມພ້ອມທີ່ມາພ້ອມກັບຕົວຖ່າຍທອດສື່. ນີ້ແມ່ນລາຍຊື່ຂອງພວກເຂົາ:

ການກັ່ນຕອງສຽງ

ບັນທຶກສຽງ ແລະຫຼິ້ນຄືນ

• Alsa (Linux): MS_ALSA_WRITE, MS_ALSA_READ
• ສຽງພື້ນເມືອງຂອງ Android (libmedia): MS_ANDROID_SOUND_WRITE, MS_ANDROID_SOUND_READ
• ບໍລິການຄິວສຽງ (Mac OS X): MS_AQ_WRITE, MS_AQ_READ
• ບໍລິການຫນ່ວຍງານສຽງ (Mac OS X)
• ສິລະປະ (Linux): MS_ARTS_WRITE, MS_ARTS_READ
• DirectSound (Windows): MS_WINSNDDS_WRITE, MS_WINSNDDS_READ
• ຕົວຫຼິ້ນໄຟລ໌ (ໄຟລ໌ raw/wav/pcap) (Linux): MS_FILE_PLAYER
• ຕົວຫຼິ້ນໄຟລ໌ (ໄຟລ໌ດິບ/wav) (Windows): MS_WINSND_READ
• ຂຽນໃສ່ໄຟລ໌ (ໄຟລ໌ wav) (Linux): MS_FILE_REC
• ຂຽນໃສ່ໄຟລ໌ (ໄຟລ໌ wav) (Windows): MS_WINSND_WRITE
• Mac Audio Unit (Mac OS X)
• MME (Windows)
• OSS (Linux): MS_OSS_WRITE, MS_OSS_READ
• PortAudio (Mac OS X)
• PulseAudio (Linux): MS_PULSE_WRITE, MS_PULSE_READ
• ສຽງ Windows (Windows)

ການເຂົ້າລະຫັດ/ຖອດລະຫັດສຽງ

• G.711 a-law: MS_ALAW_DEC, MS_ALAW_ENC
• G.711 µ-law: MS_ULAW_DEC, MS_ULAW_ENC
• G.722: MS_G722_DEC, MS_G722_ENC
• G.726: MS_G726_32_ENC, MS_G726_24_ENC, MS_G726_16_ENC
• GSM: MS_GSM_DEC, MS_GSM_ENC
• Linear PCM: MS_L16_ENC, MS_L16_DEC
• Speex: MS_SPEEX_ENC, MS_SPEEX_DEC

ການປະມວນຜົນສຽງ

• ການແປງຊ່ອງ (ໂມໂນ->ສະເຕຣິໂອ, ສະເຕຣິໂອ->ໂມໂນ): MS_CHANNEL_ADAPTER
• ກອງປະຊຸມ: MS_CONF
• ເຄື່ອງກໍາເນີດ DTMF: MS_DTMF_GEN
• ການຍົກເລີກສຽງສະທ້ອນ (speex): MS_SPEEX_EC
• Equalizer: MS_EQUALIZER
• ເຄື່ອງປະສົມ: MS_MIXER
• Packet Loss Compensator (PLC): MS_GENERIC_PLC
• ຕົວຕົວຢ່າງ: MS_RESAMPLE
• ເຄື່ອງກວດຈັບສຽງ: MS_TONE_DETECTOR
• ການຄວບຄຸມລະດັບສຽງ ແລະການວັດແທກລະດັບສັນຍານ: MS_VOLUME

ການກັ່ນຕອງວິດີໂອ

ບັນທຶກວິດີໂອ ແລະຫຼິ້ນຄືນ

• Android capture
• ການຫຼິ້ນ Android
• AV Foundation capture (iOS)
• ການຫຼິ້ນ AV Foundation (iOS)
• DirectShow Capture (Windows)
• ການຫຼິ້ນ DrawDib (Windows)
• ການຫຼິ້ນພາຍນອກ - ການສົ່ງວິດີໂອໄປຫາຊັ້ນເທິງ
• ການຫຼິ້ນ GLX (Linux): MS_GLXVIDEO
• Mire - ຮູບເຄື່ອນທີ່ສັງເຄາະ: MS_MIRE
• ການຫຼິ້ນ OpenGL (Mac OS X)
• ການຫຼິ້ນ OpenGL ES2 (Android)
• Quicktime Capture (Mac OS X)
• ການຫຼິ້ນ SDL: MS_SDL_OUT
• ຜົນຜະລິດຮູບພາບຄົງທີ່: MS_STATIC_IMAGE
• ການບັນທຶກວິດີໂອສຳລັບ Linux (V4L) (Linux): MS_V4L
• ການບັນທຶກວິດີໂອສຳລັບ Linux 2 (V4L2) (Linux): MS_V4L2_CAPTURE
• ການບັນທຶກ Video4windows (DirectShow) (Windows)
• ການບັນທຶກ Video4windows (DirectShow) (Windows CE)
• ວິດີໂອສຳລັບ Windows (vfw) capture (Windows)
• ການຫຼິ້ນ XV (Linux)

ການເຂົ້າລະຫັດ/ຖອດລະຫັດວິດີໂອ

• H.263, H.263-1998, MP4V-ES, JPEG, MJPEG, Snow: MS_MJPEG_DEC, MS_H263_ENC, MS_H263_DEC
• H.264 (ຕົວຖອດລະຫັດເທົ່ານັ້ນ): MS_H264_DEC
• ເທໂອຣາ: MS_THEORA_ENC, MS_THEORA_DEC
• VP8: MS_VP8_ENC, MS_VP8_DEC

ການປະມວນຜົນວິດີໂອ

• ພາບຖ່າຍ jpeg
• ຕົວແປງຮູບແບບ Pixel: MS_PIX_CONV
• ປັບປ່ຽນ
• ຕົວກອງອື່ນໆ
• ການແລກປ່ຽນຂໍ້ມູນບລັອກລະຫວ່າງຫົວຂໍ້: MS_ITC_SOURCE, MS_ITC_SINK
• ການເກັບກຳຂໍ້ມູນຈາກການປ້ອນຂໍ້ມູນຫຼາຍອັນໄປຫາຜົນໄດ້ຮັບອັນດຽວ: MS_JOIN
• RTP ຮັບ/ສົ່ງ: MS_RTP_SEND, MS_RTP_RECV
• ສຳເນົາຂໍ້ມູນການປ້ອນຂໍ້ມູນໃສ່ຫຼາຍອັນ: MS_TEE
• ສິ້ນສຸດການໂຫຼດ: MS_VOID_SINK
• ແຫຼ່ງຄວາມງຽບ: MS_VOID_SOURCE

ປລັກອິນ

ການກັ່ນຕອງສຽງ

• ຕົວເຂົ້າລະຫັດ/ຕົວຖອດລະຫັດ AMR-NB
• ຕົວເຂົ້າລະຫັດ/ຕົວຖອດລະຫັດ G.729
• ຕົວເຂົ້າລະຫັດ/ຕົວຖອດລະຫັດ iLBC
• ຕົວເຂົ້າລະຫັດ/ຕົວຖອດລະຫັດ SILK
  

  ການກັ່ນຕອງວິດີໂອ

• ຕົວເຂົ້າລະຫັດຊອບແວ H.264
• ຮາດແວ H.264 V4L2 ເລັ່ງຕົວເຂົ້າລະຫັດ/ຕົວຖອດລະຫັດ

ຫຼັງຈາກຄໍາອະທິບາຍສັ້ນໆຂອງການກັ່ນຕອງ, ຊື່ຂອງປະເພດຖືກສະແດງ, ເຊິ່ງຖືກນໍາໃຊ້ໃນເວລາສ້າງຕົວຢ່າງໃຫມ່ຂອງຕົວກອງນີ້. ໃນສິ່ງທີ່ຕໍ່ໄປນີ້, ພວກເຮົາຈະອ້າງເຖິງບັນຊີລາຍຊື່ນີ້.

ການຕິດຕັ້ງພາຍໃຕ້ Linux Ubuntu

ໃນປັດຈຸບັນພວກເຮົາຈະຕິດຕັ້ງ media streamer ໃນຄອມພິວເຕີແລະສ້າງຄໍາຮ້ອງສະຫມັກທໍາອິດຂອງພວກເຮົາກັບມັນ.

ການຕິດຕັ້ງ Mediastremer2 ໃນຄອມພິວເຕີຫຼືເຄື່ອງ virtual ແລ່ນ Ubuntu ບໍ່ຈໍາເປັນຕ້ອງມີທັກສະພິເສດໃດໆ. ທີ່ນີ້ແລະຂ້າງລຸ່ມນີ້, ສັນຍາລັກ "$" ຈະຊີ້ໃຫ້ເຫັນເຖິງ shell prompt ສໍາລັບການປ້ອນຄໍາສັ່ງ. ເຫຼົ່ານັ້ນ. ຖ້າຢູ່ໃນລາຍຊື່ເຈົ້າເຫັນສັນຍາລັກນີ້ໃນຕອນຕົ້ນຂອງເສັ້ນ, ຫຼັງຈາກນັ້ນ, ນີ້ແມ່ນເສັ້ນທີ່ຄໍາສັ່ງຖືກສະແດງໃຫ້ຖືກປະຕິບັດຢູ່ໃນ terminal.

ມັນສົມມຸດວ່າໃນໄລຍະຂັ້ນຕອນໃນບົດຄວາມນີ້, ຄອມພິວເຕີຂອງທ່ານມີການເຂົ້າເຖິງອິນເຕີເນັດ.

ກຳລັງຕິດຕັ້ງແພັກເກັດ libmediastremer-dev

ເປີດໃຊ້ terminal ແລະພິມຄໍາສັ່ງ:

$ sudo apt-get update

ທ່ານຈະຖືກຮ້ອງຂໍໃຫ້ມີລະຫັດຜ່ານເພື່ອເຮັດການປ່ຽນແປງ, ໃສ່ມັນແລະຜູ້ຈັດການຊຸດຈະປັບປຸງຖານຂໍ້ມູນຂອງມັນ. ຫຼັງຈາກນັ້ນ, ທ່ານຈໍາເປັນຕ້ອງດໍາເນີນການ:

$ sudo apt-get install libmediastreamer-dev

ແພັກເກດການເພິ່ງພາອາໄສທີ່ຈໍາເປັນ ແລະຫ້ອງສະໝຸດ media streamer ຕົວຂອງມັນເອງຈະຖືກດາວໂຫຼດ ແລະຕິດຕັ້ງໂດຍອັດຕະໂນມັດ.

ຂະໜາດທັງໝົດຂອງແພັກເກັດ dependency deb ທີ່ດາວໂຫລດມາຈະມີປະມານ 35 MB. ລາຍລະອຽດກ່ຽວກັບຊຸດຕິດຕັ້ງສາມາດພົບໄດ້ດ້ວຍຄໍາສັ່ງ:

$ dpkg -s libmediastreamer-dev

ຕົວຢ່າງຄໍາຕອບ:

Package: libmediastreamer-dev
Status: install ok installed
Priority: optional
Section: libdevel
Installed-Size: 244
Maintainer: Ubuntu Developers <[email protected]>
Architecture: amd64
Source: linphone
Version: 3.6.1-2.5
Depends: libmediastreamer-base3 (= 3.6.1-2.5), libortp-dev
Description: Linphone web phone's media library - development files
Linphone is an audio and video internet phone using the SIP protocol. It
has a GTK+ and console interface, includes a large variety of audio and video
codecs, and provides IM features.
.
This package contains the development libraries for handling media operations.
Original-Maintainer: Debian VoIP Team <[email protected]>
Homepage: http://www.linphone.org/

ການຕິດຕັ້ງເຄື່ອງມືພັດທະນາ

ຕິດຕັ້ງ C compiler ແລະເຄື່ອງມືທີ່ມາພ້ອມກັບມັນ:

$ sudo apt-get install gcc

ພວກເຮົາກວດເບິ່ງຜົນໄດ້ຮັບໂດຍການສອບຖາມສະບັບ compiler:

$ gcc --version

ຄໍາຕອບຄວນຈະເປັນເຊັ່ນນີ້:

gcc (Ubuntu 5.4.0-6ubuntu1~16.04.12) 5.4.0 20160609
Copyright (C) 2015 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

ການກໍ່ສ້າງແລະດໍາເນີນການຄໍາຮ້ອງສະຫມັກການທົດລອງ

ພວກເຮົາສ້າງໃນ ບ້ານ ໂຟນເດີສໍາລັບໂຄງການສອນຂອງພວກເຮົາ, ໃຫ້ໂທຫາມັນ mstutorial:

$ mkdir ~/mstutorial

ໃຊ້ຕົວແກ້ໄຂຂໍ້ຄວາມທີ່ທ່ານມັກແລະສ້າງໄຟລ໌ໂຄງການ C ທີ່ເອີ້ນວ່າ mstest.c ໂດຍ​ມີ​ເນື້ອ​ໃນ​ດັ່ງ​ຕໍ່​ໄປ​ນີ້​:

#include "stdio.h"
#include <mediastreamer2/mscommon.h>
int main()
{
  ms_init();
  printf ("Mediastreamer is ready.n");
}

ມັນເລີ່ມຕົ້ນຕົວຖ່າຍທອດສື່, ພິມຄຳທັກທາຍ, ແລະອອກ.

ບັນທຶກໄຟລ໌ແລະລວບລວມຄໍາຮ້ອງສະຫມັກການທົດສອບດ້ວຍຄໍາສັ່ງ:

$ gcc mstest.c -o mstest `pkg-config mediastreamer --libs --cflags`

ໃຫ້ສັງເກດວ່າສາຍ

`pkg-config mediastreamer --libs --cflags`

ຫຸ້ມດ້ວຍເຄື່ອງຫມາຍວົງຢືມ, ເຊິ່ງຕັ້ງຢູ່ເທິງແປ້ນພິມຢູ່ໃນສະຖານທີ່ດຽວກັນກັບຕົວອັກສອນ "Ё".

ຖ້າໄຟລ໌ບໍ່ມີຂໍ້ຜິດພາດ, ຫຼັງຈາກນັ້ນ, ຫຼັງຈາກການລວບລວມໄຟລ໌ຈະປາກົດຢູ່ໃນໄດເລກະທໍລີ mstest. ພວກເຮົາເລີ່ມຕົ້ນໂຄງການ:

$ ./mstest

ຜົນໄດ້ຮັບຈະເປັນແບບນີ້:

ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib control.c:954:(snd_ctl_open_noupdate) Invalid CTL default:0
ortp-warning-Could not attach mixer to card: Invalid argument
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ortp-warning-Strange, sound card HDA Intel PCH does not seems to be capable of anything, retrying with plughw...
Mediastreamer is ready.

ໃນລາຍການນີ້, ພວກເຮົາເຫັນຂໍ້ຄວາມສະແດງຂໍ້ຜິດພາດທີ່ຫ້ອງສະຫມຸດ ALSA ສະແດງ, ມັນຖືກນໍາໃຊ້ເພື່ອຄວບຄຸມບັດສຽງ. ນັກພັດທະນາຂອງສື່ມວນຊົນ streamer ຕົນເອງເຊື່ອວ່ານີ້ແມ່ນເລື່ອງປົກກະຕິ. ໃນ​ກໍ​ລະ​ນີ​ນີ້, ພວກ​ເຮົາ​ບໍ່​ເຕັມ​ໃຈ​ເຫັນ​ດີ​ກັບ​ເຂົາ​ເຈົ້າ.

ໃນປັດຈຸບັນພວກເຮົາມີຄວາມຕັ້ງໃຈທີ່ຈະເຮັດວຽກກັບ media streamer. ພວກເຮົາໄດ້ຕິດຕັ້ງຫ້ອງສະໝຸດ media streamer, ເຄື່ອງມືການຮວບຮວມ, ແລະນຳໃຊ້ແອັບພລິເຄຊັ່ນທົດລອງ, ກວດສອບວ່າເຄື່ອງມືຖືກຕັ້ງຄ່າ ແລະ media streamer ເລີ່ມຕົ້ນສຳເລັດແລ້ວ.

ຕໍ່ໄປ ບົດຄວາມ ພວກເຮົາຈະສ້າງຄໍາຮ້ອງສະຫມັກທີ່ຈະປະກອບແລະດໍາເນີນການປະມວນຜົນສັນຍານສຽງໃນລະບົບຕ່ອງໂສ້ຂອງການກັ່ນຕອງຫຼາຍ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com