Meneroka enjin Mediastreamer2 VoIP. Bahagian 6

Bahan artikel diambil dari saya saluran zen.

Menghantar isyarat audio melalui aliran RTP

Pada masa lalu artikel Kami telah memasang litar kawalan jauh daripada penjana nada dan pengesan nada yang beroperasi dalam program yang sama. Dalam artikel ini kita akan belajar cara menggunakan protokol RTP (RFC 3550 - RTP: Protokol Pengangkutan untuk Aplikasi Masa Nyata) untuk menerima/menghantar isyarat audio melalui rangkaian Ethernet.

protokol RTP (Protokol Masa Nyata) diterjemahkan bermaksud protokol masa nyata, ia digunakan untuk menghantar audio, video, data, segala-galanya yang memerlukan penghantaran dalam masa nyata. Mari kita ambil isyarat audio sebagai contoh. Fleksibiliti protokol sedemikian rupa sehingga membolehkan anda menghantar isyarat audio dengan kualiti yang telah ditetapkan.

Penghantaran dijalankan menggunakan paket UDP, yang bermaksud bahawa kehilangan paket agak boleh diterima semasa penghantaran. Setiap paket mengandungi pengepala RTP khas dan blok data isyarat yang dihantar. Pengepala mengandungi pengecam sumber isyarat yang dipilih secara rawak, maklumat tentang jenis isyarat yang dihantar, dan nombor urutan paket yang unik supaya paket boleh disusun dalam susunan yang betul semasa penyahkodan, tanpa mengira susunan ia dihantar oleh rangkaian. Pengepala juga boleh mengandungi maklumat tambahan, sambungan yang dipanggil, yang membolehkan pengepala disesuaikan untuk digunakan dalam tugas aplikasi tertentu.

Blok data mengandungi muatan paket. Organisasi dalaman kandungan bergantung pada jenis beban, ia boleh menjadi sampel isyarat mono, isyarat stereo, garis imej video, dsb.

Jenis beban ditunjukkan oleh nombor tujuh-bit. Pengesyoran RFC3551 (Profil RTP untuk Persidangan Audio dan Video dengan Kawalan Minimum) menetapkan beberapa jenis beban; jadual yang sepadan memberikan penerangan tentang jenis beban dan maksud kod yang ditetapkan. Sesetengah kod tidak terikat dengan ketat pada sebarang jenis beban; ia boleh digunakan untuk menetapkan beban sewenang-wenangnya.

Saiz blok data dihadkan di atas oleh saiz paket maksimum yang boleh dihantar pada rangkaian tertentu tanpa segmentasi (parameter MTU). Secara umum, ini tidak lebih daripada 1500 bait. Oleh itu, untuk meningkatkan jumlah data yang dihantar sesaat, anda boleh meningkatkan saiz paket sehingga titik tertentu, dan kemudian anda perlu meningkatkan kekerapan penghantaran paket. Dalam penstrim media, ini ialah tetapan yang boleh dikonfigurasikan. Secara lalai ia adalah 50 Hz, i.e. 50 peket sesaat. Kami akan memanggil jujukan paket RTP yang dihantar sebagai aliran RTP.

Untuk mula menghantar data antara sumber dan penerima, cukuplah pemancar mengetahui alamat IP penerima dan nombor port yang digunakan untuk menerima. Itu. tanpa sebarang prosedur awal, sumber mula menghantar data, dan penerima, pada gilirannya, bersedia untuk segera menerima dan memprosesnya. Mengikut piawaian, nombor port yang digunakan untuk menghantar atau menerima aliran RTP mestilah genap.

Dalam situasi di mana adalah mustahil untuk mengetahui alamat penerima terlebih dahulu, pelayan digunakan di mana penerima meninggalkan alamat mereka, dan pemancar boleh memintanya dengan merujuk kepada beberapa nama unik penerima.

Dalam kes di mana kualiti saluran komunikasi atau keupayaan penerima tidak diketahui, saluran maklum balas dianjurkan melalui mana penerima boleh memaklumkan kepada pemancar tentang keupayaannya, bilangan paket yang terlepas, dsb. Saluran ini menggunakan protokol RTCP. Format paket yang dihantar dalam saluran ini ditakrifkan dalam RFC 3605. Data yang agak sedikit dihantar melalui saluran ini, 200..300 bait sesaat, jadi secara umum, kehadirannya tidak membebankan. Nombor port yang mana paket RTCP dihantar mestilah ganjil dan satu lebih besar daripada nombor port dari mana aliran RTP datang. Dalam contoh kami, kami tidak akan menggunakan saluran ini, kerana keupayaan penerima dan saluran jelas melebihi keperluan kami, setakat ini sederhana.

Dalam program kami, litar penghantaran data, tidak seperti contoh sebelumnya, akan dibahagikan kepada dua bahagian: laluan penghantaran dan laluan penerimaan. Untuk setiap bahagian kami akan membuat sumber jam kami sendiri, seperti yang ditunjukkan dalam gambar tajuk.

Komunikasi sehala antara mereka akan dijalankan menggunakan protokol RTP. Dalam contoh ini, kita tidak memerlukan rangkaian luaran, kerana kedua-dua pemancar dan penerima akan terletak pada komputer yang sama - paket akan bergerak di dalamnya.

Untuk mewujudkan strim RTP, penstrim media menggunakan dua penapis: MS_RTP_SEND dan MS_RTP_RECV. Yang pertama menghantar yang kedua dan menerima aliran RTP. Untuk membolehkan penapis ini berfungsi, mereka perlu menghantar penuding kepada objek sesi RTP, yang sama ada boleh menukar aliran blok data kepada aliran paket RTP atau melakukan sebaliknya. Memandangkan format data dalaman penstrim media tidak sepadan dengan format data paket RTP, sebelum memindahkan data ke MS_RTP_SEND, anda perlu menggunakan penapis pengekod yang menukar sampel isyarat audio 16-bit kepada lapan-bit yang dikodkan mengikut u-law (mu-law). Di bahagian penerima, penapis penyahkod menjalankan fungsi yang bertentangan.

Di bawah ialah teks program yang melaksanakan skema yang ditunjukkan dalam rajah (simbol # sebelum arahan termasuk telah dialih keluar, jangan lupa untuk memasukkannya):

/* Файл mstest6.c Имитатор пульта управления и приемника. */
#include <mediastreamer2/msfilter.h>
#include <mediastreamer2/msticker.h>
#include <mediastreamer2/dtmfgen.h>
#include <mediastreamer2/mssndcard.h>
#include <mediastreamer2/msvolume.h>
#include <mediastreamer2/mstonedetector.h>
#include <mediastreamer2/msrtp.h>
#include <ortp/rtpsession.h>
#include <ortp/payloadtype.h>
/* Подключаем заголовочный файл с функциями управления событиями
* медиастримера.*/
include <mediastreamer2/mseventqueue.h>
#define PCMU 0
/* Функция обратного вызова, она будет вызвана фильтром, как только он
обнаружит совпадение характеристик входного сигнала с заданными. */
static void tone_detected_cb(void *data, MSFilter *f, unsigned int event_id,
MSToneDetectorEvent *ev)
{
printf("Принята команда: %sn", ev->tone_name);
}
/*----------------------------------------------------------------------------*/
/* Функция регистрации типов полезных нагрузок. */
void register_payloads(void)
{
/*Регистрируем типы нагрузок в таблице профилей. Позднее, по индексу
взятому из заголовка RTP-пакета из этой таблицы будут извлекаться
параметры нагрузки, необходимые для декодирования данных пакета. */
rtp_profile_set_payload (&av_profile, PCMU, &payload_type_pcm8000);
}
/*----------------------------------------------------------------------------*/
/* Эта функция создана из функции create_duplex_rtpsession() в audiostream.c
медиастримера2. */
static RtpSession *
create_rtpsession (int loc_rtp_port, int loc_rtcp_port,
bool_t ipv6, RtpSessionMode mode)
{
RtpSession *rtpr;
rtpr = rtp_session_new ((int) mode);
rtp_session_set_scheduling_mode (rtpr, 0);
rtp_session_set_blocking_mode (rtpr, 0);
rtp_session_enable_adaptive_jitter_compensation (rtpr, TRUE);
rtp_session_set_symmetric_rtp (rtpr, TRUE);
rtp_session_set_local_addr (rtpr, ipv6 ? "::" : "0.0.0.0", loc_rtp_port,
loc_rtcp_port);
rtp_session_signal_connect (rtpr, "timestamp_jump",
(RtpCallback) rtp_session_resync, 0);
rtp_session_signal_connect (rtpr, "ssrc_changed",
(RtpCallback) rtp_session_resync, 0);
rtp_session_set_ssrc_changed_threshold (rtpr, 0);
rtp_session_set_send_payload_type(rtpr, PCMU);
/* По умолчанию выключаем RTCP-сессию, так как наш пульт не будет использовать её. */
rtp_session_enable_rtcp (rtpr, FALSE);
return rtpr;
}
/*----------------------------------------------------------------------------*/
int main()
{
ms_init();
/* Создаем экземпляры фильтров. */
MSFilter *voidsource = ms_filter_new(MS_VOID_SOURCE_ID);
MSFilter *dtmfgen = ms_filter_new(MS_DTMF_GEN_ID);
MSFilter *volume = ms_filter_new(MS_VOLUME_ID);
MSSndCard *card_playback =
ms_snd_card_manager_get_default_card(ms_snd_card_manager_get());
MSFilter *snd_card_write = ms_snd_card_create_writer(card_playback);
MSFilter *detector = ms_filter_new(MS_TONE_DETECTOR_ID);
/* Очищаем массив находящийся внутри детектора тонов, он описывает
* особые приметы разыскиваемых сигналов.*/
ms_filter_call_method(detector, MS_TONE_DETECTOR_CLEAR_SCANS, 0);
/* Подключаем к фильтру функцию обратного вызова. */
ms_filter_set_notify_callback(detector,
(MSFilterNotifyFunc)tone_detected_cb, NULL);
/* Создаем массив, каждый элемент которого описывает характеристику
* одного из тонов, который требуется обнаруживать: Текстовое имя
* данного элемента, частота в герцах, длительность в миллисекундах,
* минимальный уровень относительно 0,775В. */
MSToneDetectorDef scan[6]=
{
{"V+",440, 100, 0.1}, /* Команда "Увеличить громкость". */
{"V-",540, 100, 0.1}, /* Команда "Уменьшить громкость". */
{"C+",640, 100, 0.1}, /* Команда "Увеличить номер канала". */
{"C-",740, 100, 0.1}, /* Команда "Уменьшить номер канала". */
{"ON",840, 100, 0.1}, /* Команда "Включить телевизор". */
{"OFF", 940, 100, 0.1}/* Команда "Выключить телевизор". */
};
/* Передаем "приметы" сигналов детектор тонов. */
int i;
for (i = 0; i < 6; i++)
{
ms_filter_call_method(detector, MS_TONE_DETECTOR_ADD_SCAN,
&scan[i]);
}
/* Создаем фильтры кодера и декодера */
MSFilter *encoder = ms_filter_create_encoder("PCMU");
MSFilter *decoder=ms_filter_create_decoder("PCMU");
/* Регистрируем типы нагрузки. */
register_payloads();
/* Создаем RTP-сессию передатчика. */
RtpSession *tx_rtp_session = create_rtpsession (8010, 8011, FALSE, RTP_SESSION_SENDONLY);
rtp_session_set_remote_addr_and_port(tx_rtp_session,"127.0.0.1", 7010, 7011);
rtp_session_set_send_payload_type(tx_rtp_session, PCMU);
MSFilter *rtpsend = ms_filter_new(MS_RTP_SEND_ID);
ms_filter_call_method(rtpsend, MS_RTP_SEND_SET_SESSION, tx_rtp_session);
/* Создаем RTP-сессию приемника. */
MSFilter *rtprecv = ms_filter_new(MS_RTP_RECV_ID);
RtpSession *rx_rtp_session = create_rtpsession (7010, 7011, FALSE, RTP_SESSION_RECVONLY);
ms_filter_call_method(rtprecv, MS_RTP_RECV_SET_SESSION, rx_rtp_session);
/* Создаем источники тактов - тикеры. */
MSTicker *ticker_tx = ms_ticker_new();
MSTicker *ticker_rx = ms_ticker_new();
/* Соединяем фильтры передатчика. */
ms_filter_link(voidsource, 0, dtmfgen, 0);
ms_filter_link(dtmfgen, 0, volume, 0);
ms_filter_link(volume, 0, encoder, 0);
ms_filter_link(encoder, 0, rtpsend, 0);
/* Соединяем фильтры приёмника. */
ms_filter_link(rtprecv, 0, decoder, 0);
ms_filter_link(decoder, 0, detector, 0);
ms_filter_link(detector, 0, snd_card_write, 0);
/* Подключаем источник тактов. */
ms_ticker_attach(ticker_tx, voidsource);
ms_ticker_attach(ticker_rx, rtprecv);
/* Настраиваем структуру, управляющую выходным сигналом генератора. */
MSDtmfGenCustomTone dtmf_cfg;
dtmf_cfg.tone_name[0] = 0;
dtmf_cfg.duration = 1000;
dtmf_cfg.frequencies[0] = 440;
/* Будем генерировать один тон, частоту второго тона установим в 0. */
dtmf_cfg.frequencies[1] = 0;
dtmf_cfg.amplitude = 1.0;
dtmf_cfg.interval = 0.;
dtmf_cfg.repeat_count = 0.;
/* Организуем цикл сканирования нажатых клавиш. Ввод нуля завершает
* цикл и работу программы. */
char key='9';
printf("Нажмите клавишу команды, затем ввод.n"
"Для завершения программы введите 0.n");
while(key != '0')
{
key = getchar();
if ((key >= 49) && (key <= 54))
{
printf("Отправлена команда: %cn", key);
/* Устанавливаем частоту генератора в соответствии с
* кодом нажатой клавиши. */
dtmf_cfg.frequencies[0] = 440 + 100*(key-49);
/* Включаем звуковой генератор c обновленной частотой. */
ms_filter_call_method(dtmfgen, MS_DTMF_GEN_PLAY_CUSTOM,
(void*)&dtmf_cfg);
}
/* Укладываем тред в спячку на 20мс, чтобы другие треды
* приложения получили время на работу. */
ms_usleep(20000);
}
}

Kami menyusun dan menjalankan. Program ini akan berfungsi seperti dalam contoh sebelumnya, tetapi data akan dihantar melalui aliran RTP.

Dalam artikel seterusnya kami akan membahagikan program ini kepada dua aplikasi bebas - penerima dan pemancar dan melancarkannya di terminal yang berbeza. Pada masa yang sama, kita akan belajar cara menganalisis paket RTP menggunakan program TShark.

Sumber: www.habr.com