Mediastreamer2 VoIP 엔진 탐색. 1 부

글의 소재는 제 글에서 가져왔습니다. 젠 채널.

소개

이 기사는 Mediastreamer2 엔진을 사용한 실시간 미디어 처리에 대한 기사 시리즈의 시작입니다. 프레젠테이션에는 Linux 터미널에서 작업하고 C 언어로 프로그래밍하는 최소한의 기술이 포함됩니다.

Mediastreamer2는 인기 있는 오픈 소스 소프트웨어 VoIP 전화 프로젝트의 VoIP 엔진입니다. 링폰. Linphone에서 Mediastreamer2는 사운드 및 비디오와 관련된 모든 기능을 구현합니다. 엔진 기능의 자세한 목록은 이 Mediastreamer 페이지에서 볼 수 있습니다. 소스 코드는 다음과 같습니다. GitLab.

또한 텍스트에서 편의상 Mediastreamer2라는 단어 대신 러시아어 표기법인 "미디어 스트리머"를 사용합니다.

생성 이력은 완전히 명확하지 않지만 소스 코드로 판단하면 이전에 라이브러리를 사용했습니다. 말 잘하는, 그것은 가능한 먼 관계를 암시합니다. GStreamer. 이에 비해 미디어 스트리머는 더 가벼워 보입니다. Linphone의 첫 번째 버전은 2001년에 등장했기 때문에 현재 미디어 스트리머가 존재하고 거의 20년 동안 발전하고 있습니다.

미디어 스트리머의 핵심에는 "데이터 흐름"(데이터 흐름)이라는 아키텍처가 있습니다. 이러한 아키텍처의 예가 아래 그림에 나와 있습니다.

이 아키텍처에서 데이터 처리 알고리즘은 프로그램 코드가 아니라 임의의 순서로 배열할 수 있는 기능을 연결하는 체계(그래프)로 지정됩니다. 이러한 기능을 필터라고 합니다.

이 아키텍처를 통해 VoIP 전화 RTP 트래픽 처리 및 전송 체계에 연결된 일련의 필터 형태로 미디어 처리 기능을 구현할 수 있습니다.

필터를 임의의 체계로 결합하는 기능, 새로운 필터의 간단한 개발, 독립적인 별도 라이브러리로 미디어 스트리머 구현을 통해 다른 프로젝트에서 사용할 수 있습니다. 또한 자체 제작한 필터를 추가할 수 있기 때문에 VoIP 분야의 프로젝트가 될 수 있습니다.

기본적으로 제공되는 필터 라이브러리는 매우 풍부하며 이미 언급한 바와 같이 자체 디자인의 필터로 확장할 수 있습니다. 그러나 먼저 미디어 스트리머와 함께 제공되는 기성품 필터에 대해 설명하겠습니다. 목록은 다음과 같습니다.

사운드 필터

오디오 캡처 및 재생

• Alsa(리눅스): MS_ALSA_WRITE, MS_ALSA_READ
• Android 네이티브 사운드(libmedia): MS_ANDROID_SOUND_WRITE, MS_ANDROID_SOUND_READ
• 오디오 대기열 서비스(Mac OS X): MS_AQ_WRITE, MS_AQ_READ
• 오디오 장치 서비스(Mac OS X)
• 아트(Linux): MS_ARTS_WRITE, MS_ARTS_READ
• DirectSound(Windows): MS_WINSNDDS_WRITE, MS_WINSNDDS_READ
• 파일 플레이어(raw/wav/pcap 파일)(Linux): MS_FILE_PLAYER
• 파일 플레이어(raw/wav 파일)(Windows): MS_WINSND_READ
• 파일에 쓰기(wav 파일)(Linux): MS_FILE_REC
• 파일에 쓰기(wav 파일)(Windows): MS_WINSND_WRITE
• Mac 오디오 장치(Mac OS X)
• MME(윈도우즈)
• OSS(리눅스): MS_OSS_WRITE, MS_OSS_READ
• PortAudio(Mac OS X)
• PulseAudio(리눅스): MS_PULSE_WRITE, MS_PULSE_READ
• Windows 소리(Windows)

오디오 인코딩/디코딩

• G.711 법: MS_ALAW_DEC, MS_ALAW_ENC
• G.711 µ-law: MS_ULAW_DEC, MS_ULAW_ENC
• G.722: MS_G722_DEC, MS_G722_ENC
• G.726: MS_G726_32_ENC, MS_G726_24_ENC, MS_G726_16_ENC
• GSM: MS_GSM_DEC, MS_GSM_ENC
• 선형 PCM: MS_L16_ENC, MS_L16_DEC
• 음성: MS_SPEEX_ENC, MS_SPEEX_DEC

음향 처리

• 채널 변환(모노->스테레오, 스테레오->모노): MS_CHANNEL_ADAPTER
• 컨퍼런스: MS_CONF
• DTMF 생성기: MS_DTMF_GEN
• 반향 제거(speex): MS_SPEEX_EC
• 이퀄라이저: MS_EQUALIZER
• 믹서: MS_MIXER
• 패킷 손실 보정기(PLC): MS_GENERIC_PLC
• 리샘플러: MS_RESAMPLE
• 톤 감지기: MS_TONE_DETECTOR
• 볼륨 제어 및 신호 레벨 측정: MS_VOLUME

비디오 필터

비디오 캡처 및 재생

• 안드로이드 캡처
• 안드로이드 재생
• AV 파운데이션 캡처(iOS)
• AV 파운데이션 재생(iOS)
• DirectShow 캡처(Windows)
• DrawDib 재생(Windows)
• 외부 재생 - 최상위 레이어로 비디오 보내기
• GLX 재생(Linux): MS_GLXVIDEO
• Mire - 합성동영상: MS_MIRE
• OpenGL 재생(Mac OS X)
• OpenGL ES2 재생(Android)
• 퀵타임 캡처(Mac OS X)
• SDL 재생: MS_SDL_OUT
• 정적 이미지 출력: MS_STATIC_IMAGE
• Linux(V4L) 캡처용 비디오(Linux): MS_V4L
• Linux 2(V4L2) 캡처용 비디오(Linux): MS_V4L2_CAPTURE
• Video4windows(DirectShow) 캡처(Windows)
• Video4windows(DirectShow) 캡처(Windows CE)
• Windows용 비디오(vfw) 캡처(Windows)
• XV 재생(Linux)

비디오 인코딩/디코딩

• H.263, H.263-1998, MP4V-ES, JPEG, MJPEG, 스노우: MS_MJPEG_DEC, MS_H263_ENC, MS_H263_DEC
• H.264(디코더 전용): MS_H264_DEC
• 테오라: MS_THEORA_ENC, MS_THEORA_DEC
• VP8: MS_VP8_ENC, MS_VP8_DEC

비디오 처리

• jpeg 스냅샷
• 픽셀 형식 변환기: MS_PIX_CONV
• 리사이저
• 기타 필터
• 스레드 간 데이터 블록 교환: MS_ITC_SOURCE, MS_ITC_SINK
• 여러 입력에서 단일 출력으로 데이터 블록 수집: MS_JOIN
• RTP 수신/전송: MS_RTP_SEND, MS_RTP_RECV
• 입력 데이터를 여러 출력에 복사: MS_TEE
• 종료된 로드: MS_VOID_SINK
• 침묵 소스: MS_VOID_SOURCE

플러그인

사운드 필터

• AMR-NB 인코더/디코더
• G.729 인코더/디코더
• iLBC 인코더/디코더
• SILK 인코더/디코더
  

  비디오 필터

• H.264 소프트웨어 인코더
• H.264 V4L2 하드웨어 가속 인코더/디코더

필터에 대한 간단한 설명 뒤에 유형 이름이 표시되며 이 이름은 이 필터의 새 인스턴스를 만들 때 사용됩니다. 다음에서는 이 목록을 참조할 것입니다.

리눅스 우분투에서 설치

이제 컴퓨터에 미디어 스트리머를 설치하고 이를 사용하여 첫 번째 애플리케이션을 빌드합니다.

Ubuntu를 실행하는 컴퓨터 또는 가상 머신에 Mediastremer2를 설치하는 데는 특별한 기술이 필요하지 않습니다. 여기와 아래에서 "$" 기호는 명령 입력을 위한 쉘 프롬프트를 나타냅니다. 저것들. 목록에서 라인의 시작 부분에 이 기호가 표시되면 터미널에서 실행되는 명령이 표시되는 라인입니다.

이 문서의 단계를 수행하는 동안 컴퓨터가 인터넷에 액세스할 수 있다고 가정합니다.

libmediastreamer-dev 패키지 설치

터미널을 실행하고 다음 명령을 입력합니다.

$ sudo apt-get update

변경을 위해 비밀번호를 입력하라는 메시지가 표시되며 비밀번호를 입력하면 패키지 관리자가 데이터베이스를 업데이트합니다. 그런 다음 다음을 실행해야 합니다.

$ sudo apt-get install libmediastreamer-dev

필요한 종속성 패키지와 미디어 스트리머 라이브러리 자체가 자동으로 다운로드되고 설치됩니다.

다운로드된 종속성 deb 패키지의 총 크기는 약 35MB입니다. 설치된 패키지에 대한 세부 정보는 다음 명령으로 찾을 수 있습니다.

$ dpkg -s libmediastreamer-dev

답변 예시:

Package: libmediastreamer-dev
Status: install ok installed
Priority: optional
Section: libdevel
Installed-Size: 244
Maintainer: Ubuntu Developers <[email protected]>
Architecture: amd64
Source: linphone
Version: 3.6.1-2.5
Depends: libmediastreamer-base3 (= 3.6.1-2.5), libortp-dev
Description: Linphone web phone's media library - development files
Linphone is an audio and video internet phone using the SIP protocol. It
has a GTK+ and console interface, includes a large variety of audio and video
codecs, and provides IM features.
.
This package contains the development libraries for handling media operations.
Original-Maintainer: Debian VoIP Team <[email protected]>
Homepage: http://www.linphone.org/

개발 도구 설치

C 컴파일러 및 관련 도구를 설치합니다.

$ sudo apt-get install gcc

컴파일러 버전을 쿼리하여 결과를 확인합니다.

$ gcc --version

답은 다음과 같아야 합니다.

gcc (Ubuntu 5.4.0-6ubuntu1~16.04.12) 5.4.0 20160609
Copyright (C) 2015 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

평가판 애플리케이션 빌드 및 실행

우리는 집 튜토리얼 프로젝트용 폴더입니다. 이름을 지정하겠습니다. 실습:

$ mkdir ~/mstutorial

좋아하는 텍스트 편집기를 사용하여 C 프로그램 파일을 만듭니다. mstest.c 다음 내용으로:

#include "stdio.h"
#include <mediastreamer2/mscommon.h>
int main()
{
  ms_init();
  printf ("Mediastreamer is ready.n");
}

미디어 스트리머를 초기화하고 인사말을 인쇄한 후 종료합니다.

파일을 저장하고 다음 명령을 사용하여 테스트 애플리케이션을 컴파일합니다.

$ gcc mstest.c -o mstest `pkg-config mediastreamer --libs --cflags`

참고로 라인

`pkg-config mediastreamer --libs --cflags`

문자 "Ё"와 같은 위치의 키보드에 있는 따옴표로 묶여 있습니다.

파일에 오류가 없으면 컴파일 후 디렉토리에 파일이 나타납니다. mstest. 프로그램을 시작합니다.

$ ./mstest

결과는 다음과 같습니다.

ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib control.c:954:(snd_ctl_open_noupdate) Invalid CTL default:0
ortp-warning-Could not attach mixer to card: Invalid argument
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ortp-warning-Strange, sound card HDA Intel PCH does not seems to be capable of anything, retrying with plughw...
Mediastreamer is ready.

이 목록에는 ALSA 라이브러리가 표시하는 오류 메시지가 표시되며 사운드 카드를 제어하는 ​​데 사용됩니다. 미디어 스 트리머 개발자는 이것이 정상이라고 생각합니다. 이 경우 우리는 마지 못해 동의합니다.

이제 미디어 스트리머와 함께 작업할 준비가 모두 끝났습니다. 미디어 스트리머 라이브러리, 컴파일 도구를 설치하고 평가판 애플리케이션을 사용하여 도구가 구성되고 미디어 스트리머가 성공적으로 초기화되는지 확인했습니다.

다음 기사 여러 필터 체인에서 오디오 신호 처리를 조합하고 실행하는 응용 프로그램을 만들 것입니다.

출처 : habr.com