12 нови медийни услуги на Azure с AI

Мисията на Microsoft е да даде възможност на всеки човек и организация на планетата да постигне повече. Медийната индустрия е чудесен пример за превръщането на тази мисия в реалност. Живеем в епоха, в която се създава и консумира повече съдържание, по повече начини и на повече устройства. На IBC 2019 споделихме най-новите иновации, върху които работим, и как те могат да помогнат за трансформирането на вашето медийно изживяване.

Детайли под кройката!

Тази страница е включена нашия уебсайт.

Video Indexer вече поддържа анимация и многоезично съдържание

Миналата година в IBC спечелихме награда Видео индексатор на Azure Media Services, а тази година стана още по-добре. Video Indexer автоматично извлича информация и метаданни от медийни файлове, като изречени думи, лица, емоции, теми и марки, и не е необходимо да сте експерт по машинно обучение, за да го използвате.

Нашите най-нови предложения включват визуализации на две много търсени и диференцирани функции – разпознаване на анимирани символи и многоезична транскрипция на реч – както и няколко допълнения към съществуващите модели, налични днес във Video Indexer.

Разпознаване на анимирани герои

Анимираното съдържание е един от най-популярните типове съдържание, но стандартните модели за компютърно зрение, предназначени да разпознават човешки лица, не работят добре с него, особено ако съдържанието съдържа герои без човешки черти на лицето. Новата версия за предварителен преглед комбинира Video Indexer с услугата Azure Custom Vision на Microsoft, предоставяйки нов набор от модели, които автоматично откриват и групират анимирани герои и ги правят лесни за етикетиране и разпознаване с помощта на интегрирани персонализирани модели на зрение.

Моделите са интегрирани в един конвейер, което позволява на всеки да използва услугата без никакви познания за машинно обучение. Резултатите са достъпни чрез портал за видеоиндексиране без код или чрез REST API за бързо интегриране във вашите собствени приложения.

Създадохме тези модели за работа с анимирани герои заедно с някои потребители, които предоставиха истинско анимирано съдържание за обучение и тестване. Стойността на новата функционалност беше добре обобщена от Анди Гътеридж, старши директор на студийни технологии и постпродукция във Viacom International Media Networks, който беше един от доставчиците на данни: „Добавянето на надеждно откриване на анимирано съдържание, задвижвано от AI, ще позволи за бързо и ефективно намиране и каталогизиране на метаданни за символи от съдържанието на нашата библиотека.

Най-важното е, че това ще даде на нашите творчески екипи възможността незабавно да намират съдържанието, от което се нуждаят, минимизирайки времето, прекарано в управление на медиите, и им позволява да се съсредоточат върху творчеството.“

Можете да започнете да се запознавате с разпознаването на анимирани персонажи с страници с документация.

Идентифициране и транскрипция на съдържание на множество езици

Някои медийни ресурси, като новини, хроники и интервюта, съдържат записи на хора, говорещи различни езици. Повечето съществуващи възможности за преобразуване на реч в текст изискват езикът за аудио разпознаване да бъде зададен предварително, което затруднява преписването на многоезични видеоклипове.

Новата ни функция за автоматична идентификация на говорим език за различни видове съдържание използва технология за машинно обучение, за да идентифицира езиците, открити в медийни активи. След като бъде открит, всеки езиков сегмент автоматично преминава през процес на транскрипция на съответния език и след това всички сегменти се комбинират в един многоезичен файл за транскрипция.

Полученият препис е достъпен като част от JSON изхода на Video Indexer и като файлове със субтитри. Изходният препис също е интегриран с Azure Search, което ви позволява незабавно да търсите различни езикови сегменти във вашите видеоклипове. Освен това многоезичната транскрипция е налична, когато работите с портала Video Indexer, така че можете да преглеждате преписа и идентифицирания език с течение на времето или да прескачате на конкретни места във видеото за всеки език и да виждате многоезичната транскрипция като надписи, докато видеото се възпроизвежда. Можете също така да преведете получения текст на всеки от 54-те налични езика чрез портала и API.

Научете повече за новата многоезична функция за разпознаване на съдържание и как се използва във Video Indexer прочетете документацията.

Допълнителни актуализирани и подобрени модели

Също така добавяме нови модели към Video Indexer и подобряваме съществуващите, включително описаните по-долу.

Извличане на обекти, свързани с хора и места

Разширихме нашите съществуващи възможности за откриване на марки, за да включим добре известни имена и местоположения, като Айфеловата кула в Париж и Биг Бен в Лондон. Когато се появят в генерирания препис или на екрана с помощта на оптично разпознаване на знаци (OCR), съответната информация се добавя. С тази нова функция можете да търсите всички хора, места и марки, които са се появили във видеоклип, и да видите подробности за тях, включително времеви интервали, описания и връзки към търсачката Bing за повече информация.

Модел за откриване на рамка за редактор

Тази нова функция добавя набор от „тагове“ към метаданните, прикачени към отделни кадри в детайлите на JSON, за да представи техния редакционен тип (например широк кадър, среден кадър, близък план, изключително близък план, два кадъра, множество хора , на открито, на закрито и др.). Тези характеристики на типа заснемане са полезни, когато редактирате видеоклипове за клипове и трейлъри или когато търсите специфичен стил на снимане за артистични цели.

Научете повече Откриване на тип рамка във Video Indexer.

Подобрена детайлност на картографирането на IPTC

Нашият модел за откриване на теми определя темата на видеоклип въз основа на транскрипция, оптично разпознаване на знаци (OCR) и открити знаменитости, дори ако темата не е изрично посочена. Ние картографираме тези открити теми в четири области на класификация: Wikipedia, Bing, IPTC и IAB. Това подобрение ни позволява да включим IPTC класификация от второ ниво.
Възползването от тези подобрения е толкова лесно, колкото повторното индексиране на текущата библиотека на Video Indexer.

Нова функционалност за стрийминг на живо

В предварителния преглед на медийните услуги на Azure ние също предлагаме две нови функции за поточно предаване на живо.

Транскрипцията в реално време, задвижвана от AI, извежда предаването на живо на следващото ниво

Използвайки медийните услуги на Azure за поточно предаване на живо, вече можете да получавате изходен поток, който включва автоматично генерирана текстова песен в допълнение към аудио и видео съдържание. Текстът е създаден с помощта на аудио транскрипция в реално време, базирана на изкуствен интелект. Персонализираните техники се прилагат преди и след преобразуването на говор в текст за подобряване на резултатите. Текстовата песен е пакетирана в IMSC1, TTML или WebVTT, в зависимост от това дали е доставена в DASH, HLS CMAF или HLS TS.

Кодиране на линия в реално време за 24/7 OTT канали

Използвайки нашите v3 API, можете да създавате, управлявате и излъчвате OTT (over-the-top) канали и да използвате всички други функции на Azure Media Services, като видео на живо при поискване (VOD, видео при поискване), пакетиране и управление на цифрови права ( DRM, управление на цифрови права).
За да видите предварителни версии на тези функции, посетете Общността на Azure Media Services.

Нови възможности за генериране на пакети

Поддръжка на записи с аудио описание

Съдържанието, излъчвано по канали за излъчване, често има аудио запис с устни обяснения на случващото се на екрана в допълнение към обикновения аудио сигнал. Това прави програмите по-достъпни за зрители с увредено зрение, особено ако съдържанието е предимно визуално. Нов функция за аудио описание ви позволява да анотирате един от аудиозаписите като запис за аудио описание (AD, аудиоописание), позволявайки на играчите да направят AD записа достъпен за зрителите.

Вмъкване на ID3 метаданни

За да сигнализират вмъкването на реклами или събития с персонализирани метаданни към плейъра на клиента, разпространителите често използват синхронизирани метаданни, вградени във видеото. В допълнение към режимите на сигнализиране SCTE-35, ние също поддържаме ID3v2 и други персонализирани схеми, дефиниран от разработчика на приложението за използване от клиентското приложение.

Партньорите на Microsoft Azure демонстрират решения от край до край

Bitmovin въвежда Bitmovin Video Encoding и Bitmovin Video Player за Microsoft Azure. Клиентите вече могат да се възползват от тези решения за кодиране и възпроизвеждане в Azure и да се възползват от разширени функции като тристепенно кодиране, поддръжка на AV1/VC кодек, многоезични субтитри и предварително интегриран видео анализ за QoS, реклама и видео проследяване.

Евергентен демонстрира своята платформа за управление на потребителския жизнен цикъл на Azure. Като водещ доставчик на решения за управление на приходите и жизнения цикъл на клиентите, Evergent използва Azure AI, за да помогне на доставчиците на първокласни развлечения да подобрят привличането и задържането на клиенти чрез създаване на целеви пакети услуги и оферти в критични моменти от жизнения цикъл на клиента.

Haivision ще покаже своята интелигентна облачно базирана услуга за маршрутизиране на медии, SRT Hub, която помага на клиентите да трансформират работните потоци от край до край, използвайки Azure Data Box Edge и трансформиране на работни процеси с Hublets от Avid, Telestream, Wowza, Cinegy и Make.tv.

SES разработи пакет от медийни услуги за излъчване на платформата Azure за своите клиенти на сателитни и управлявани медийни услуги. SES ще демонстрира решения за напълно управлявани услуги за възпроизвеждане, включително основно възпроизвеждане, локализирано възпроизвеждане, откриване и замяна на реклами и висококачествено многоканално кодиране в реално време 24x7 на Azure.

SyncWords прави удобни облачни инструменти и технология за автоматизация на подписи достъпни в Azure. Тези предложения ще улеснят медийните организации да добавят автоматично субтитри, включително субтитри на чужди езици, към техните работни потоци за видео на живо и офлайн в Azure.
международна компания Тата Елкси, компания за технологични услуги, интегрира своята OTT SaaS платформа TEPlay в Azure Media Services, за да доставя OTT съдържание от облака. Tata Elxsi също представи своето решение за наблюдение на качеството на изживяването (QoE) Falcon Eye в Microsoft Azure, предоставяйки анализи и показатели за вземане на решения.

Verizon Media предоставя своята платформа за стрийминг на Azure като бета версия. Verizon Media Platform е управлявано OTT решение от корпоративен клас, което включва DRM, вмъкване на реклами, индивидуални персонализирани сесии, динамично заместване на съдържание и доставка на видео. Интеграцията опростява работните процеси, глобалната поддръжка и мащаба и отключва някои от уникалните възможности, открити в Azure.

Източник: www.habr.com