Изучаваме VoIP-движка Mediastreamer2. Част 6

Материалът на статията е взет от моя дзен-канал.

Предаване на звуков сигнал чрез RTP поток

В миналото статии Събрахме схемата за дистанционно управление от генератора и детектор на тонални сигнали, които работят в една програма. В тази статия ще се научим как да използваме протокола RTP (RFC 3550 — RTP: Протокол за транспорт на приложения в реално време) за приемане/предаване на звуков сигнал по Ethernet мрежа.

Протокол RTP (Real Time Protocol) в превод означава протокол за реално време, той се използва за предаване на звук, видео, данни, всичко, което изисква предаване в реално време. Като пример ще вземем звуков сигнал. Гъвкавостта на протокола е такава, че позволява предаване на звуков сигнал с предварително зададено качество.

Предаването се извършва с помощта на UDP пакети, което означава, че при предаване е напълно допустима загуба на пакети. Всеки пакет съдържа специален RTP заглавен ред и блок с данни на предавания сигнал. В заглавния ред има случайно избран идентификатор на източника на сигнала, информация за типа на предавания сигнал, уникален последователен номер на пакета, за да могат пакетите при декодиране да бъдат подредени в правилния ред, независимо от това в какъв ред ги е доставила мрежата. Заглавният ред може също така да съдържа допълнителна информация, така нареченото разширение, което позволява адаптиране на заглавния ред за употреба в конкретна приложна задача.

Блокът с данни съдържа полезния товар на пакета. Вътрешната организация на съдържанието зависи от типа на товара, това могат да бъдат отчитания на монофоничен сигнал, стереосигнал, ред от видеозображение и т.н.

Типът на товара се обозначава с семибитно число. Препоръката RFC3551 (RTP Profile for Audio and Video Conferences with Minimal Control) установява няколко типа товари, в съответната таблица са представени описания на типовете товари и стойността на кодовете, с които те се обозначават. Част от кодовете нямат строга връзка с някой конкретен тип товар - те могат да се използват за обозначаване на произволен товар.

Размерът на блока данни е ограничен от максималния размер на пакета, който може да бъде предаден в тази мрежа без сегментиране (параметър MTU). Обикновено това е не повече от 1500 байта. Следователно, за да увеличите количеството данни, предавани в секунда, можете да увеличавате размера на пакета до определен момент, а след това ще трябва да увеличите честотата на изпращане на пакетите. При медиастриймъра това е настраиваем параметър. По подразбиране той е 50 Hz, т.е. 50 пакета в секунда. Последователността на предаваните RTP-пакети наричаме RTP поток.

За да започнете предаването на данни между източника и приемника, е достатъчно предавателят да знае IP адреса на приемника и номера на порта, който той използва за приемане. Тоест, без никакви предварителни процедури, източникът започва да предава данни, а приемникът е готов веднага да ги приеме и обработи. Според стандарта, номерът на порта, използван за предаване или приемане на RTP потока, трябва да бъде четен.

В ситуации, когато не може предварително да се знае адресът на приемника, се използват сървъри, на които приемниците оставят адреса си, а предавателят може да го запита, позовавайки се на уникалното име на приемника.

В случаи, когато качеството на канала за връзка или възможностите на приемника са неизвестни, се организира канал за обратна връзка, по който приемникът може да информира предавателя за своите възможности, количеството пакети, които не е получил и т.н. В този канал се използва RTCP протокол. Форматът на пакетите, предавани в този канал, е определен в RFC 3605. През този канал се предава сравнително малко количество данни: 200..300 байта в секунда, така че наличието му не е обременително. Номерът на порта, на който се изпращат RTCP пакетите, трябва да бъде нечетен и с единица повече от номера на порта, от който идва RTP потока. В нашия пример няма да използваме този канал, тъй като възможностите на приемника и канала надхвърлят нашите, все още скромни, нужди.

В нашата програма схемата за предаване на данни, за разлика от схемата от предишния пример, ще бъде разделена на две части: предавателен тракт и приемен тракт. За всяка част ще създадем свой източник на тактов сигнал, както е показано на заглавната картинка.

Едностранната връзка между тях ще бъде осъществена чрез RTP протокол. В този пример няма да ни е нужна външна мрежа, тъй като и предавателят, и приемникът ще се намират на един и същи компютър — пакетите ще преминават вътре в него.

За установяване на RTP поток в медиастримера се използват два филтъра: MS_RTP_SEND и MS_RTP_RECV. Първият изпълнява предаване, а вторият приема RTP потока. За да започнат тези филтри да работят, е необходимо да им се предаде указател към обекта на RTP сесия, който може да извършва както преобразуването на потока от блокове данни в поток от RTP пакети, така и да извършва обратното действие. Понеже вътрешният формат на данните на медиастримера не съвпада с формата на данни на RTP пакета, преди да се предадат данните на MS_RTP_SEND, трябва да се използва конвертор (encoder), който преобразува 16-битовите проби на звуковия сигнал в осембитови, кодирани по u-закона (мю-закона). На приемната страна обратната функция се изпълнява от филтъра decoder.

По-долу е текстът на програмата, реализираща схемата, показана на изображението (символите # пред директивите include са премахнати, не забравяйте да ги поставите):

/* Файл mstest6.c Имитатор пульта управления и приемника. */

#include <mediastreamer2/msfilter.h>
#include <mediastreamer2/msticker.h>
#include <mediastreamer2/dtmfgen.h>
#include <mediastreamer2/mssndcard.h>
#include <mediastreamer2/msvolume.h>
#include <mediastreamer2/mstonedetector.h>
#include <mediastreamer2/msrtp.h>
#include <ortp/rtpsession.h>
#include <ortp/payloadtype.h>

/* Подключаем заголовочный файл с функциями управления событиями
* медиастримера.*/
include <mediastreamer2/mseventqueue.h>

#define PCMU 0

/* Функция обратного вызова, она будет вызвана фильтром, как только он
обнаружит совпадение характеристик входного сигнала с заданными. */
static void tone_detected_cb(void *data, MSFilter *f, unsigned int event_id,
MSToneDetectorEvent *ev)
{
printf("Принята команда: %sn", ev->tone_name);
}

/*----------------------------------------------------------------------------*/
/* Функция регистрации типов полезных нагрузок. */
void register_payloads(void)
{
/*Регистрируем типы нагрузок в таблице профилей. Позднее, по индексу
взятому из заголовка RTP-пакета из этой таблицы будут извлекаться
параметры нагрузки, необходимые для декодирования данных пакета. */
rtp_profile_set_payload (&av_profile, PCMU, &payload_type_pcm8000);
}

/*----------------------------------------------------------------------------*/
/* Эта функция создана из функции create_duplex_rtpsession() в audiostream.c
медиастримера2. */
static RtpSession *
create_rtpsession (int loc_rtp_port, int loc_rtcp_port,
bool_t ipv6, RtpSessionMode mode)
{
RtpSession *rtpr;
rtpr = rtp_session_new ((int) mode);
rtp_session_set_scheduling_mode (rtpr, 0);
rtp_session_set_blocking_mode (rtpr, 0);
rtp_session_enable_adaptive_jitter_compensation (rtpr, TRUE);
rtp_session_set_symmetric_rtp (rtpr, TRUE);
rtp_session_set_local_addr (rtpr, ipv6 ? "::" : "0.0.0.0", loc_rtp_port,
loc_rtcp_port);
rtp_session_signal_connect (rtpr, "timestamp_jump",
(RtpCallback) rtp_session_resync, 0);
rtp_session_signal_connect (rtpr, "ssrc_changed",
(RtpCallback) rtp_session_resync, 0);
rtp_session_set_ssrc_changed_threshold (rtpr, 0);
rtp_session_set_send_payload_type(rtpr, PCMU);

/* По умолчанию выключаем RTCP-сессию, так как наш пульт не будет использовать её. */
rtp_session_enable_rtcp (rtpr, FALSE);
return rtpr;
}

/*----------------------------------------------------------------------------*/
int main()
{
ms_init();

/* Создаем экземпляры фильтров. */
MSFilter *voidsource = ms_filter_new(MS_VOID_SOURCE_ID);
MSFilter *dtmfgen = ms_filter_new(MS_DTMF_GEN_ID);
MSFilter *volume = ms_filter_new(MS_VOLUME_ID);
MSSndCard *card_playback =
ms_snd_card_manager_get_default_card(ms_snd_card_manager_get());
MSFilter *snd_card_write = ms_snd_card_create_writer(card_playback);
MSFilter *detector = ms_filter_new(MS_TONE_DETECTOR_ID);

/* Очищаем массив находящийся внутри детектора тонов, он описывает
* особые приметы разыскиваемых сигналов.*/
ms_filter_call_method(detector, MS_TONE_DETECTOR_CLEAR_SCANS, 0);

/* Подключаем к фильтру функцию обратного вызова. */
ms_filter_set_notify_callback(detector,
(MSFilterNotifyFunc)tone_detected_cb, NULL);

/* Создаем массив, каждый элемент которого описывает характеристику
* одного из тонов, который требуется обнаруживать: Текстовое имя
* данного элемента, частота в герцах, длительность в миллисекундах,
* минимальный уровень относительно 0,775В. */
MSToneDetectorDef scan[6]=
{
{"V+",440, 100, 0.1}, /* Команда "Увеличить громкость". */
{"V-",540, 100, 0.1}, /* Команда "Уменьшить громкость". */
{"C+",640, 100, 0.1}, /* Команда "Увеличить номер канала". */
{"C-",740, 100, 0.1}, /* Команда "Уменьшить номер канала". */
{"ON",840, 100, 0.1}, /* Команда "Включить телевизор". */
{"OFF", 940, 100, 0.1}/* Команда "Выключить телевизор". */
};

/* Передаем "приметы" сигналов детектор тонов. */
int i;
for (i = 0; i < 6; i++)
{
ms_filter_call_method(detector, MS_TONE_DETECTOR_ADD_SCAN,
&scan[i]);
}

/* Создаем фильтры кодера и декодера */
MSFilter *encoder = ms_filter_create_encoder("PCMU");
MSFilter *decoder=ms_filter_create_decoder("PCMU");
/* Регистрируем типы нагрузки. */
register_payloads();

/* Создаем RTP-сессию передатчика. */
RtpSession *tx_rtp_session = create_rtpsession (8010, 8011, FALSE, RTP_SESSION_SENDONLY);
rtp_session_set_remote_addr_and_port(tx_rtp_session,"127.0.0.1", 7010, 7011);
rtp_session_set_send_payload_type(tx_rtp_session, PCMU);
MSFilter *rtpsend = ms_filter_new(MS_RTP_SEND_ID);
ms_filter_call_method(rtpsend, MS_RTP_SEND_SET_SESSION, tx_rtp_session);

/* Создаем RTP-сессию приемника. */
MSFilter *rtprecv = ms_filter_new(MS_RTP_RECV_ID);
RtpSession *rx_rtp_session = create_rtpsession (7010, 7011, FALSE, RTP_SESSION_RECVONLY);
ms_filter_call_method(rtprecv, MS_RTP_RECV_SET_SESSION, rx_rtp_session);

/* Создаем источники тактов - тикеры. */
MSTicker *ticker_tx = ms_ticker_new();
MSTicker *ticker_rx = ms_ticker_new();

/* Соединяем фильтры передатчика. */
ms_filter_link(voidsource, 0, dtmfgen, 0);
ms_filter_link(dtmfgen, 0, volume, 0);
ms_filter_link(volume, 0, encoder, 0);
ms_filter_link(encoder, 0, rtpsend, 0);

/* Соединяем фильтры приёмника. */
ms_filter_link(rtprecv, 0, decoder, 0);
ms_filter_link(decoder, 0, detector, 0);
ms_filter_link(detector, 0, snd_card_write, 0);

/* Подключаем источник тактов. */
ms_ticker_attach(ticker_tx, voidsource);
ms_ticker_attach(ticker_rx, rtprecv);

/* Настраиваем структуру, управляющую выходным сигналом генератора. */
MSDtmfGenCustomTone dtmf_cfg;
dtmf_cfg.tone_name[0] = 0;
dtmf_cfg.duration = 1000;
dtmf_cfg.frequencies[0] = 440;
/* Будем генерировать один тон, частоту второго тона установим в 0. */
dtmf_cfg.frequencies[1] = 0;
dtmf_cfg.amplitude = 1.0;
dtmf_cfg.interval = 0.;
dtmf_cfg.repeat_count = 0.;

/* Организуем цикл сканирования нажатых клавиш. Ввод нуля завершает
* цикл и работу программы. */
char key='9';
printf("Нажмите клавишу команды, затем ввод.n"
"Для завершения программы введите 0.n");
while(key != '0')
{
key = getchar();
if ((key >= 49) && (key <= 54))
{
printf("Отправлена команда: %cn", key);

/* Устанавливаем частоту генератора в соответствии с
 * кодом нажатой клавиши. */
dtmf_cfg.frequencies[0] = 440 + 100*(key-49);

/* Включаем звуковой генератор c обновленной частотой. */
ms_filter_call_method(dtmfgen, MS_DTMF_GEN_PLAY_CUSTOM,
(void*)&dtmf_cfg);
}

/* Укладываем тред в спячку на 20мс, чтобы другие треды
 * приложения получили время на работу. */
ms_usleep(20000);
}
}

Компилираме, стартираме. Програмата ще работи както в предишния пример, но данните ще се предават чрез RTP поток.

В следващата статия ще разделим тази програма на две независими приложения — приемник и предавател и ще ги стартираме в различни терминали. Паралелно ще се научим да анализираме RTP пакети с помощта на програмата TShark.

Източник: habr.com