Mediastreamer2 ভিওআইপি ইঞ্জিন অন্বেষণ করা হচ্ছে। পার্ট 1

নিবন্ধের উপাদান আমার থেকে নেওয়া হয়েছে জেন চ্যানেল.

ভূমিকা

এই নিবন্ধটি Mediastreamer2 ইঞ্জিন ব্যবহার করে রিয়েল-টাইম মিডিয়া প্রক্রিয়াকরণ সম্পর্কে নিবন্ধগুলির একটি সিরিজের শুরু। প্রেজেন্টেশনে লিনাক্স টার্মিনালে কাজ করার ন্যূনতম দক্ষতা এবং সি ল্যাঙ্গুয়েজে প্রোগ্রামিং জড়িত থাকবে।

Mediastreamer2 জনপ্রিয় ওপেন-সোর্স সফ্টওয়্যার ভিওআইপি ফোন প্রকল্পের পিছনে ভিওআইপি ইঞ্জিন। লিনফোন. Linphone Mediastreamer2-এ সাউন্ড এবং ভিডিও সম্পর্কিত সমস্ত ফাংশন প্রয়োগ করে। এই Mediastreamer পৃষ্ঠায় ইঞ্জিন বৈশিষ্ট্যগুলির একটি বিস্তারিত তালিকা দেখা যাবে। উৎস কোড এখানে: GitLab.

আরও পাঠ্যটিতে, সুবিধার জন্য, Mediastreamer2 শব্দটির পরিবর্তে আমরা এর রাশিয়ান স্বরলিপি ব্যবহার করব: "মিডিয়া স্ট্রিমার"।

এর সৃষ্টির ইতিহাস সম্পূর্ণরূপে পরিষ্কার নয়, তবে এর উত্স কোড দ্বারা বিচার করে, এটি আগে লাইব্রেরি ব্যবহার করেছিল সাবলীল, যা, যেমনটি ছিল, এর সাথে সম্ভাব্য দূরবর্তী সম্পর্কের ইঙ্গিত দেয়৷ GStreamer. যার তুলনায় মিডিয়া স্ট্রিমার বেশি হালকা মনে হয়। লিনফোনের প্রথম সংস্করণ 2001 সালে উপস্থিত হয়েছিল, তাই এই মুহূর্তে মিডিয়া স্ট্রিমারটি প্রায় 20 বছর ধরে বিদ্যমান এবং বিকাশ করছে।

মিডিয়া স্ট্রিমারের কেন্দ্রস্থলে "ডেটা ফ্লো" (ডেটা প্রবাহ) নামে একটি আর্কিটেকচার রয়েছে। এই জাতীয় স্থাপত্যের একটি উদাহরণ নীচের চিত্রে দেখানো হয়েছে।

এই আর্কিটেকচারে, ডেটা প্রসেসিং অ্যালগরিদম একটি প্রোগ্রাম কোড দ্বারা নয়, কিন্তু একটি স্কিম (গ্রাফ) দ্বারা সংযুক্ত ফাংশনগুলির জন্য নির্দিষ্ট করা হয় যা যে কোনও ক্রমে সাজানো যেতে পারে। এই ফাংশন ফিল্টার বলা হয়.

এই আর্কিটেকচারটি ভিওআইপি ফোন আরটিপি ট্র্যাফিক প্রসেসিং এবং ট্রান্সমিশন স্কিমের সাথে সংযুক্ত ফিল্টারের সেট আকারে মিডিয়া প্রক্রিয়াকরণ কার্যকারিতা বাস্তবায়ন করা সম্ভব করে তোলে।

নির্বিচারে স্কিমগুলিতে ফিল্টারগুলিকে একত্রিত করার ক্ষমতা, নতুন ফিল্টারগুলির সহজ বিকাশ, একটি স্বাধীন পৃথক লাইব্রেরি হিসাবে মিডিয়া স্ট্রিমার বাস্তবায়ন, এটি অন্যান্য প্রকল্পগুলিতে ব্যবহার করার অনুমতি দেয়। তদুপরি, প্রকল্পটি ভিওআইপির ক্ষেত্রে হতে পারে, যেহেতু এটি নিজের দ্বারা তৈরি ফিল্টার যুক্ত করা সম্ভব।

ডিফল্টরূপে সরবরাহ করা ফিল্টার লাইব্রেরিটি বেশ সমৃদ্ধ এবং ইতিমধ্যেই উল্লেখ করা হয়েছে, আপনার নিজস্ব ডিজাইনের ফিল্টার দিয়ে প্রসারিত করা যেতে পারে। তবে প্রথমে, মিডিয়া স্ট্রিমারের সাথে আসা রেডিমেড ফিল্টারগুলি বর্ণনা করা যাক৷ এখানে তাদের তালিকা:

সাউন্ড ফিল্টার

অডিও ক্যাপচার এবং প্লেব্যাক

• আলসা (লিনাক্স): MS_ALSA_WRITE, MS_ALSA_READ
• অ্যান্ড্রয়েড নেটিভ সাউন্ড (লিবমিডিয়া): MS_ANDROID_SOUND_WRITE, MS_ANDROID_SOUND_READ
• অডিও সারি পরিষেবা (ম্যাক ওএস এক্স): MS_AQ_WRITE, MS_AQ_READ
• অডিও ইউনিট সার্ভিস (ম্যাক ওএস এক্স)
• আর্টস (লিনাক্স): MS_ARTS_WRITE, MS_ARTS_READ
• ডাইরেক্ট সাউন্ড (উইন্ডোজ): MS_WINSNDDS_WRITE, MS_WINSNDDS_READ
• ফাইল প্লেয়ার (raw/wav/pcap ফাইল) (লিনাক্স): MS_FILE_PLAYER
• ফাইল প্লেয়ার (raw/wav ফাইল) (Windows): MS_WINSND_READ
• ফাইলে লিখুন (wav ফাইল) (লিনাক্স): MS_FILE_REC
• ফাইলে লিখুন (wav ফাইল) (উইন্ডোজ): MS_WINSND_WRITE
• ম্যাক অডিও ইউনিট (ম্যাক ওএস এক্স)
• MME (উইন্ডোজ)
• OSS (লিনাক্স): MS_OSS_WRITE, MS_OSS_READ
• পোর্টঅডিও (ম্যাক ওএস এক্স)
• পালসঅডিও (লিনাক্স): MS_PULSE_WRITE, MS_PULSE_READ
• উইন্ডোজ সাউন্ড (উইন্ডোজ)

অডিও এনকোডিং/ডিকোডিং

• G.711 এ-আইন: MS_ALAW_DEC, MS_ALAW_ENC
• G.711 µ-আইন: MS_ULAW_DEC, MS_ULAW_ENC
• G.722: MS_G722_DEC, MS_G722_ENC
• G.726: MS_G726_32_ENC, MS_G726_24_ENC, MS_G726_16_ENC
• GSM: MS_GSM_DEC, MS_GSM_ENC
• লিনিয়ার PCM: MS_L16_ENC, MS_L16_DEC
• স্পীক্স: MS_SPEEX_ENC, MS_SPEEX_DEC

শব্দ প্রক্রিয়াকরণ

• চ্যানেল রূপান্তর (মনো->স্টিরিও, স্টেরিও->মনো): MS_CHANNEL_ADAPTER
• সম্মেলন: MS_CONF
• DTMF জেনারেটর: MS_DTMF_GEN
• ইকো বাতিলকরণ (স্পীক্স): MS_SPEEX_EC
• ইকুয়ালাইজার: MS_EQUALIZER
• মিক্সার: MS_MIXER
• প্যাকেট লস ক্ষতিপূরণকারী (PLC): MS_GENERIC_PLC
• রিস্যাম্পলার: MS_RESAMPLE
• টোন ডিটেক্টর: MS_TONE_DETECTOR
• ভলিউম নিয়ন্ত্রণ এবং সংকেত স্তর পরিমাপ: MS_VOLUME

ভিডিও ফিল্টার

ভিডিও ক্যাপচার এবং প্লেব্যাক

• অ্যান্ড্রয়েড ক্যাপচার
• অ্যান্ড্রয়েড প্লেব্যাক
• AV ফাউন্ডেশন ক্যাপচার (iOS)
• AV ফাউন্ডেশন প্লেব্যাক (iOS)
• ডাইরেক্ট শো ক্যাপচার (উইন্ডোজ)
• DrawDib প্লেব্যাক (উইন্ডোজ)
• বাহ্যিক প্লেব্যাক - উপরের স্তরে ভিডিও পাঠানো হচ্ছে
• GLX প্লেব্যাক (Linux): MS_GLXVIDEO
• Mire - সিন্থেটিক চলন্ত ছবি: MS_MIRE
• OpenGL প্লেব্যাক (Mac OS X)
• OpenGL ES2 প্লেব্যাক (Android)
• কুইকটাইম ক্যাপচার (ম্যাক ওএস এক্স)
• SDL প্লেব্যাক: MS_SDL_OUT
• স্ট্যাটিক ইমেজ আউটপুট: MS_STATIC_IMAGE
• লিনাক্স (V4L) ক্যাপচারের জন্য ভিডিও (লিনাক্স): MS_V4L
• লিনাক্স 2 (V4L2) ক্যাপচারের জন্য ভিডিও (লিনাক্স): MS_V4L2_CAPTURE
• Video4windows (ডাইরেক্টশো) ক্যাপচার (উইন্ডোজ)
• Video4windows (ডাইরেক্টশো) ক্যাপচার (উইন্ডোজ সিই)
• উইন্ডোজের জন্য ভিডিও (vfw) ক্যাপচার (উইন্ডোজ)
• XV প্লেব্যাক (লিনাক্স)

ভিডিও এনকোডিং/ডিকোডিং

• H.263, H.263-1998, MP4V-ES, JPEG, MJPEG, Snow: MS_MJPEG_DEC, MS_H263_ENC, MS_H263_DEC
• H.264 (কেবলমাত্র ডিকোডার): MS_H264_DEC
• থিওরা: MS_THIORA_ENC, MS_THIORA_DEC
• VP8: MS_VP8_ENC, MS_VP8_DEC

ভিডিও প্রক্রিয়াকরণ

• jpeg স্ন্যাপশট
• পিক্সেল ফর্ম্যাট রূপান্তরকারী: MS_PIX_CONV
• রিসাইজার
• অন্যান্য ফিল্টার
• থ্রেডগুলির মধ্যে ডেটা ব্লকের বিনিময়: MS_ITC_SOURCE, MS_ITC_SINK
• একাধিক ইনপুট থেকে একক আউটপুটে ডেটার ব্লক সংগ্রহ করা: MS_JOIN
• RTP গ্রহণ/প্রেরণ: MS_RTP_SEND, MS_RTP_RECV
• একাধিক আউটপুটে ইনপুট ডেটা অনুলিপি করা হচ্ছে: MS_TEE
• সমাপ্ত লোড: MS_VOID_SINK৷
• নীরবতা উত্স: MS_VOID_SOURCE৷

প্লাগ-ইন

সাউন্ড ফিল্টার

• AMR-NB এনকোডার/ডিকোডার
• G.729 এনকোডার/ডিকোডার
• iLBC এনকোডার/ডিকোডার
• সিল্ক এনকোডার/ডিকোডার
  

  ভিডিও ফিল্টার

• H.264 সফ্টওয়্যার এনকোডার
• H.264 V4L2 হার্ডওয়্যার ত্বরিত এনকোডার/ডিকোডার

ফিল্টারটির সংক্ষিপ্ত বিবরণের পরে, প্রকারের নাম দেখানো হয়, যা এই ফিল্টারের একটি নতুন উদাহরণ তৈরি করার সময় ব্যবহৃত হয়। নিম্নলিখিত কি, আমরা এই তালিকা উল্লেখ করা হবে.

লিনাক্স উবুন্টুর অধীনে ইনস্টলেশন

এখন আমরা কম্পিউটারে মিডিয়া স্ট্রিমার ইনস্টল করব এবং এটি দিয়ে আমাদের প্রথম অ্যাপ্লিকেশন তৈরি করব।

উবুন্টু চালিত একটি কম্পিউটার বা ভার্চুয়াল মেশিনে Mediastremer2 ইনস্টল করার জন্য কোন বিশেষ দক্ষতার প্রয়োজন হয় না। এখানে এবং নীচে, "$" চিহ্নটি কমান্ড প্রবেশের জন্য শেল প্রম্পটকে নির্দেশ করবে। সেগুলো. যদি তালিকায় আপনি লাইনের শুরুতে এই চিহ্নটি দেখতে পান, তবে এটি সেই লাইন যেখানে কমান্ডগুলি টার্মিনালে কার্যকর করা দেখানো হয়।

ধারণা করা হয় যে এই নিবন্ধের ধাপগুলির সময়, আপনার কম্পিউটারে ইন্টারনেট অ্যাক্সেস রয়েছে।

libmediastremer-dev প্যাকেজ ইনস্টল করা হচ্ছে

টার্মিনাল চালু করুন এবং কমান্ড টাইপ করুন:

$ sudo apt-get update

পরিবর্তন করার জন্য আপনাকে একটি পাসওয়ার্ড চাওয়া হবে, এটি লিখুন এবং প্যাকেজ ম্যানেজার তার ডেটাবেস আপডেট করবে। এর পরে, আপনাকে চালাতে হবে:

$ sudo apt-get install libmediastreamer-dev

প্রয়োজনীয় নির্ভরতা প্যাকেজ এবং মিডিয়া স্ট্রিমার লাইব্রেরি স্বয়ংক্রিয়ভাবে ডাউনলোড এবং ইনস্টল করা হবে।

ডাউনলোড করা নির্ভরতা ডেব প্যাকেজের মোট আকার হবে প্রায় 35 এমবি। ইনস্টল করা প্যাকেজ সম্পর্কে বিশদ কমান্ডের সাথে পাওয়া যাবে:

$ dpkg -s libmediastreamer-dev

উত্তর উদাহরণ:

Package: libmediastreamer-dev
Status: install ok installed
Priority: optional
Section: libdevel
Installed-Size: 244
Maintainer: Ubuntu Developers <[email protected]>
Architecture: amd64
Source: linphone
Version: 3.6.1-2.5
Depends: libmediastreamer-base3 (= 3.6.1-2.5), libortp-dev
Description: Linphone web phone's media library - development files
Linphone is an audio and video internet phone using the SIP protocol. It
has a GTK+ and console interface, includes a large variety of audio and video
codecs, and provides IM features.
.
This package contains the development libraries for handling media operations.
Original-Maintainer: Debian VoIP Team <[email protected]>
Homepage: http://www.linphone.org/

উন্নয়ন সরঞ্জাম ইনস্টল করা

সি কম্পাইলার এবং এর সাথে থাকা টুল ইনস্টল করুন:

$ sudo apt-get install gcc

আমরা কম্পাইলার সংস্করণ অনুসন্ধান করে ফলাফল পরীক্ষা করি:

$ gcc --version

উত্তর এই মত কিছু হওয়া উচিত:

gcc (Ubuntu 5.4.0-6ubuntu1~16.04.12) 5.4.0 20160609
Copyright (C) 2015 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

ট্রায়াল অ্যাপ্লিকেশন তৈরি এবং চালানো

আমরা তৈরি করি বাড়ি আমাদের টিউটোরিয়াল প্রকল্পগুলির জন্য ফোল্ডার, আসুন এটিকে কল করি mstutorial:

$ mkdir ~/mstutorial

আপনার প্রিয় পাঠ্য সম্পাদক ব্যবহার করুন এবং একটি সি প্রোগ্রাম ফাইল তৈরি করুন mstest.c নিম্নলিখিত বিষয়বস্তু সহ:

#include "stdio.h"
#include <mediastreamer2/mscommon.h>
int main()
{
  ms_init();
  printf ("Mediastreamer is ready.n");
}

এটি মিডিয়া স্ট্রিমার শুরু করে, একটি শুভেচ্ছা প্রিন্ট করে এবং প্রস্থান করে।

ফাইলটি সংরক্ষণ করুন এবং কমান্ড দিয়ে পরীক্ষা অ্যাপ্লিকেশনটি কম্পাইল করুন:

$ gcc mstest.c -o mstest `pkg-config mediastreamer --libs --cflags`

উল্লেখ্য যে লাইন

`pkg-config mediastreamer --libs --cflags`

উদ্ধৃতি চিহ্নে আবদ্ধ, যা কীবোর্ডে "Ё" অক্ষরের মতো একই জায়গায় অবস্থিত।

যদি ফাইলটিতে ত্রুটি না থাকে, তবে সংকলনের পরে একটি ফাইল ডিরেক্টরিতে উপস্থিত হবে mstest. আমরা প্রোগ্রাম শুরু করি:

$ ./mstest

ফলাফল এই মত হবে:

ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib control.c:954:(snd_ctl_open_noupdate) Invalid CTL default:0
ortp-warning-Could not attach mixer to card: Invalid argument
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ALSA lib conf.c:4738:(snd_config_expand) Unknown parameters 0
ALSA lib pcm.c:2266:(snd_pcm_open_noupdate) Unknown PCM default:0
ortp-warning-Strange, sound card HDA Intel PCH does not seems to be capable of anything, retrying with plughw...
Mediastreamer is ready.

এই তালিকায়, আমরা ALSA লাইব্রেরি যে ত্রুটি বার্তাগুলি প্রদর্শন করে তা দেখতে পাই, এটি সাউন্ড কার্ড নিয়ন্ত্রণ করতে ব্যবহৃত হয়। মিডিয়া স্ট্রিমারের বিকাশকারীরা নিজেরাই বিশ্বাস করেন যে এটি স্বাভাবিক। এই ক্ষেত্রে, আমরা অনিচ্ছায় তাদের সাথে একমত।

এখন আমরা মিডিয়া স্ট্রিমারের সাথে কাজ করতে প্রস্তুত। আমরা মিডিয়া স্ট্রিমার লাইব্রেরি, কম্পাইলেশন টুল ইনস্টল করেছি এবং একটি ট্রায়াল অ্যাপ্লিকেশন ব্যবহার করে যাচাই করেছি যে টুলগুলি কনফিগার করা হয়েছে এবং মিডিয়া স্ট্রিমার সফলভাবে শুরু হয়েছে।

পরবর্তী প্রবন্ধ আমরা একটি অ্যাপ্লিকেশন তৈরি করব যা একটি অডিও সংকেতের প্রক্রিয়াকরণকে একত্রিত করবে এবং বেশ কয়েকটি ফিল্টারের একটি চেইনে চালাবে।

উত্স: www.habr.com