Од Скајпа до ВебРТЦ-а: како смо организовали видео комуникацију путем веба

Видео комуникација је главни начин комуникације између наставника и ученика на Вимбок платформи. Давно смо одустали од Скајпа, испробали неколико решења независних произвођача и на крају смо се определили за комбинацију ВебРТЦ - Јанус-гатеваи. Неко време смо били задовољни свиме, али су се и даље јављали неки негативни аспекти. Као резултат тога, створен је посебан видео правац.

Замолио сам Кирила Роговоја, шефа новог смера, да говори о еволуцији видео комуникације у Скиенгу, откривеним проблемима, решењима и штакама које смо на крају користили. Надамо се да ће чланак бити користан за компаније које такође сами креирају видео путем веб апликације.

Мало историје

У лето 2017, шеф развоја Скиенг-а, Сергеј Сафонов, говорио је на Бацкенд Цонф-у са причом о томе како смо „напустили Скипе и имплементирали ВебРТЦ“. Заинтересовани могу погледати снимак говора на веза (~45 мин), а овде ћу укратко изложити његову суштину.

За Скајенг школу, видео комуникација је увек била приоритетни начин комуникације наставника и ученика. У почетку је коришћен Скипе, али категорички није био задовољавајући из више разлога, пре свега због недостатка логова и немогућности директног интегрисања у веб апликацију. Због тога смо спровели све врсте експеримената.

Заправо, наши захтеви за видео комуникацију су били отприлике следећи:
— стабилност;
— ниска цена по часу;
— снимање часова;
— праћење ко колико говори (нама је важно да ученици говоре више од наставника током часова);
— линеарно скалирање;
- могућност коришћења и УДП и ТЦП.

Први који је покушао да имплементира Токбок 2013. године. Све је било добро, али се испоставило да је веома скупо - 113 рубаља по лекцији - и појело је профит.

Затим је 2015. интегрисан Вокимплант. Овде је била функција која нам је била потребна да пратимо ко колико говори, а истовремено је решење било много јефтиније: ако би се снимао само аудио, коштао је 20 рубаља по лекцији. Међутим, радио је само преко УДП-а и није могао да се пребаци на ТЦП. Међутим, око 40% ученика га је користило.

Годину дана касније, почели смо да имамо корпоративне клијенте са својим специфичним захтевима. На пример, све би требало да ради преко претраживача; компанија отвара само хттп и хттпс; тј. нема Скипе или УДП. Корпоративни клијенти = новац, па су се вратили у Токбок, али проблем цене није нестао.

Решење - ВебРТЦ и Јанус

Одлучио да користим платформа претраживача за пеер-то-пеер видео комуникацију ВебРТЦ. Одговоран је за успостављање везе, кодирање и декодирање токова, синхронизацију стаза и контролу квалитета уз руковање мрежним проблемима. Са наше стране, морамо да обезбедимо читање токова са камере и микрофона, цртање видео записа, управљање везом, успостављање ВебРТЦ везе и пренос токова на њу, као и пренос сигналних порука између клијената за успостављање везе (сам ВебРТЦ описује само формат података, али не и његов механизам преноса). Ако клијенти стоје иза НАТ-а, ВебРТЦ повезује СТУН сервере; ако то не помогне, ТУРН сервере.

Редовна п2п веза нам није довољна, јер желимо да снимимо лекције за даљу анализу у случају притужби. Због тога шаљемо ВебРТЦ токове преко релеја Јанус Гатеваи од Меетецхо. Као резултат тога, клијенти не знају једни друге адресе, виде само адресу Јанус сервера; обавља и функције сигналног сервера. Јанус има многе функције које су нам потребне: аутоматски се пребацује на ТЦП ако клијент има блокиран УДП; може да снима и УДП и ТЦП токове; сцалабле; Постоји чак и уграђени додатак за ехо тестове. Ако је потребно, СТУН и ТУРН сервери из Твилио-а се аутоматски повезују.

У лето 2017. године имали смо у раду два Јанус сервера, плус додатни сервер за обраду снимљених сирових аудио и видео фајлова, како не би заузели процесоре главних. Приликом повезивања, Јанус сервери су изабрани на пар-непар основи (број везе). У то време, ово је било довољно, према нашим осећањима, дало је отприлике четвороструку сигурносну маргину, проценат имплементације је био око 80. Истовремено, цена је смањена на ~2 рубље по лекцији, плус развој и подршка.

Враћајући се на тему видео комуникације

Стално пратимо повратне информације ученика и наставника како бисмо благовремено идентификовали и отклонили проблеме. До лета 2018. квалитет позива је био чврсто на првом месту међу жалбама. С једне стране, то је значило да смо успешно превазишли друге недостатке. С друге стране, требало је нешто хитно учинити: ако се лекција поремети, ризикујемо да изгубимо њену вредност, понекад заједно са трошковима куповине следећег пакета, а ако се поремети уводни час, ризикујемо да изгубимо потенцијалног клијента. у целини.

У то време, наша видео комуникација је још увек била у МВП режиму. Једноставно речено, покренули су га, прорадило је, једном су га скалирали, схватили су како то да ураде – па, одлично. Ако ради, не поправљајте га. Нико се намерно није бавио питањем квалитета комуникације. До августа је постало јасно да се ово не може наставити и покренули смо посебан правац да откријемо шта није у реду са ВебРТЦ-ом и Јанусом.

На улазу, овај смер је добио: МВП решење, без метрике, без циљева, без процеса за унапређење, док се 7% наставника жали на квалитет комуникације (података ни о ученицима није било).

У току је нови правац

Команда изгледа отприлике овако:

• Шеф одељења, који је и главни програмер.
• КА помаже у тестирању промена, тражи нове начине за стварање нестабилних услова комуникације и извештава о проблемима са прве линије.
• Аналитичар стално тражи различите корелације у техничким подацима, побољшава анализу повратних информација корисника и проверава резултате експеримената.
• Менаџер производа помаже у општем усмеравању и расподели ресурса за експерименте.
• Други програмер често помаже у програмирању и сродним задацима.

За почетак, поставили смо релативно поуздану метрику која прати промене у проценама квалитета комуникације (просечно током дана, недеља, месеци). У то време су то биле оцене наставника, касније су им додаване оцене ученика. Затим су почели да граде хипотезе о томе шта ради погрешно, исправљају то и посматрају промене у динамици. Ишли смо на воће са ниским висином: на пример, заменили смо вп8 кодек са вп9, перформансе су се побољшале. Покушали смо да се играмо са Јанусовим поставкама и спроведемо друге експерименте - у већини случајева нису довели ни до чега.

У другој фази се појавила хипотеза: ВебРТЦ је пеер-то-пеер решење, а ми користимо сервер у средини. Можда је проблем овде? Почели смо да копамо и пронашли најзначајније побољшање до сада.

У том тренутку је сервер из пула изабран прилично глупим алгоритмом: сваки је имао своју „тежину“, у зависности од канала и снаге, а ми смо покушали да пошаљемо корисника на онај са највећом „тежином“, без обраћајући пажњу на то где се корисник географски налазио . Као резултат тога, наставник из Санкт Петербурга је могао да комуницира са учеником из Сибира преко Москве, а не преко нашег Јанус сервера у Санкт Петербургу.

Алгоритам је измењен: сада, када корисник отвори нашу платформу, ми прикупљамо пингове од њега до свих сервера који користе Ајак. Приликом успостављања везе бирамо пар пингова (наставник-сервер и ученик-сервер) са најмањом количином. Мањи пинг значи мању удаљеност мреже до сервера; краћа удаљеност значи мању вероватноћу губитка пакета; Губитак пакета је највећи негативни фактор у видео комуникацији. Удео негативности се преполовио за три месеца (праведно речено, у то време су спроведени и други експерименти, али је овај готово сигурно имао највећи утицај).

Недавно смо открили још једну неочигледну, али наизглед важну ствар: уместо једног моћног Јанус сервера на дебелом каналу, боље је имати два једноставнија са тањим пропусним опсегом. Ово је постало јасно након што смо купили моћне машине у нади да ћемо у њих угурати што више просторија (комуникацијских сесија) у исто време. Сервери имају ограничење пропусног опсега, које можемо тачно да преведемо у број просторија – знамо колико се може отворити, на пример, при 300 Мбит/с. Чим се на серверу отвори превише просторија, престајемо да га бирамо за нове активности док се оптерећење не смањи. Идеја је била да, куповином моћне машине, максимално учитамо канал до ње, како би на крају био ограничен процесором и меморијом, а не пропусним опсегом. Али испоставило се да након одређеног броја отворених просторија (420), упркос чињеници да је оптерећење процесора, меморије и диска и даље веома далеко од граница, негативност почиње да стиже у техничку подршку. Очигледно се нешто погоршава унутар Јануса, можда и ту постоје нека ограничења. Почели смо да експериментишемо, спустили смо границу пропусног опсега са 300 на 200 Мбит/с и проблеми су нестали. Сада смо купили три нова сервера одједном са ниским границама и карактеристикама, мислимо да ће то довести до стабилног побољшања квалитета комуникације. Наравно, нисмо покушавали да схватимо шта се тамо дешава; наше штаке су све. У нашу одбрану, рецимо да је у том тренутку било потребно што пре решити горући проблем, а не лепо; осим тога, Јанус је за нас црна кутија написана на Ц, веома је скупо петљати се по њој.

Па, у процесу ми:

• ажурирали све зависности које су могле да се ажурирају, како на серверу тако и на клијенту (и то су били експерименти, пратили смо резултате);
• поправљене све идентификоване грешке везане за специфичне случајеве, на пример, када је веза прекинута и није аутоматски враћена;
• Одржали смо доста састанака са компанијама које раде у области видео комуникација и упознати са нашим проблемима: стримовање игара, организовање вебинара; покушали смо све што нам се чинило корисним;
• Спроведен технички преглед хардвера и квалитета комуникације наставника, од којих је стигло највише притужби.

Експерименти и накнадне промене омогућиле су да се смањи незадовољство комуникацијом међу наставницима са 7,1% у јануару 2018. на 2,5% у јануару 2019. године.

Шта је следеће

Стабилизација наше Вимбок платформе је један од главних пројеката компаније за 2019. Имамо велике наде да ћемо успети да задржимо замах и да више не видимо видео комуникацију међу главним притужбама. Разумемо да се значајан део ових притужби односи на застоје рачунара корисника и Интернета, али овај део морамо утврдити и решити остатак. Све остало је технички проблем, чини се да би требало да се носимо са њим.

Главна потешкоћа је у томе што не знамо до којег нивоа је заправо могуће побољшати квалитет. Проналажење овог плафона је главни задатак. Стога су планирана два експеримента:

1. упореди видео преко Јануса са редовним п2п-ом у борбеним условима. Овај експеримент је већ спроведен, није пронађена статистички значајна разлика између нашег решења и п2п;
2. Набавимо (скупе) услуге од компанија које зарађују искључиво на видео комуникационим решењима и упоредимо количину негативности од њих са постојећом.

Ова два експеримента ће нам омогућити да идентификујемо остварив циљ и да се фокусирамо на њега.

Поред тога, постоји низ задатака који се рутински могу решавати:

• Ми креирамо техничку метрику квалитета комуникације уместо субјективних прегледа;
• Правимо детаљније дневнике сесија како бисмо прецизније анализирали кварове који се дешавају, разумели када и где су се тачно десили и који су се наизглед неповезани догађаји одиграли у том тренутку;
• Припремамо аутоматски тест квалитета везе пре лекције, а такође дајемо могућност клијенту да ручно тестира везу како би смањио количину негативности коју изазива његов хардвер и канал;
• ми ћемо развити и спровести више тестова оптерећења видео комуникације у лошим условима, са променљивим губитком пакета, итд.;
• мењамо понашање сервера у случају проблема да бисмо повећали толеранцију грешака;
• Упозорићемо корисника ако уопште нешто није у реду са његовом везом, као што то ради Скипе, како би схватио да је проблем на његовој страни.

Од априла, правац видео комуникације постао је потпуно засебан пројекат у оквиру Скиенг-а, који се бави сопственим производом, а не само делом Вимбокса. То значи да почињемо да тражимо људе рад са видео записом у пуном радном времену. Па, као и увек Тражимо пуно добрих људи.

И, наравно, настављамо да активно комуницирамо са људима и компанијама које се баве видео комуникацијама. Ако желите да размените искуство са нама, биће нам драго! Коментирајте, јавите се - одговорићемо свима.

Извор: ввв.хабр.цом