12 нови Azure медиумски услуги со вештачка интелигенција

Мисијата на Мајкрософт е да ја поттикне секоја личност и организација на планетата да постигне повеќе. Медиумската индустрија е одличен пример за остварување на оваа мисија. Живееме во ера во која се создаваат и трошат повеќе содржини, на повеќе начини и на повеќе уреди. На IBC 2019, ги споделивме најновите иновации на кои работиме и како тие можат да помогнат во трансформирањето на вашето медиумско искуство.

Детали под кројот!

Оваа страница е вклучена нашата веб-страница.

Видео Индексерот сега поддржува анимација и повеќејазични содржини

Минатата година во IBC ја добивме нашата награда Индексатор на видео за медиумски услуги Azure, а оваа година стана уште подобро. Video Indexer автоматски извлекува информации и метаподатоци од медиумски датотеки, како што се изговорени зборови, лица, емоции, теми и брендови и не треба да сте експерт за машинско учење за да го користите.

Нашите најнови понуди вклучуваат прегледи на две многу барани и диференцирани карактеристики - анимирано препознавање знаци и повеќејазична транскрипција на говорот - како и неколку додатоци на постоечките модели достапни денес во Видео Индексерот.

Анимирано препознавање ликови

Анимираната содржина е еден од најпопуларните типови на содржини, но стандардните модели на компјутерска визија дизајнирани да препознаваат човечки лица не функционираат добро со неа, особено ако содржината содржи ликови без црти на човечкото лице. Новата верзија за преглед го комбинира видео Индексерот со услугата Azure Custom Vision на Microsoft, обезбедувајќи нов сет на модели кои автоматски откриваат и групираат анимирани ликови и ги олеснуваат етикетирањето и препознавањето со помош на интегрирани модели на приспособена визија.

Моделите се интегрирани во еден цевковод, дозволувајќи им на секој да ја користи услугата без никакво знаење за машинско учење. Резултатите се достапни преку портал за видео индексирање без код или преку REST API за брза интеграција во вашите сопствени апликации.

Ги изградивме овие модели за да работат со анимирани ликови заедно со некои потрошувачи кои обезбедија вистинска анимирана содржина за обука и тестирање. Вредноста на новата функционалност беше добро сумирана од Енди Гатериџ, постар директор за студиска технологија и постпродукција во Viacom International Media Networks, кој беше еден од давателите на податоци: „Додавањето на робусна анимирана содржина со ВИ ќе овозможи брзо и ефикасно да ги пронајдеме и каталогизираме метаподатоците на знаци од содржината на нашата библиотека.

Што е најважно, тоа ќе им даде на нашите креативни тимови можност веднаш да ја пронајдат содржината што им е потребна, минимизирајќи го времето поминато за управување со медиумите и дозволувајќи им да се фокусираат на креативноста“.

Можете да започнете да се запознавате со анимираното препознавање ликови со страници со документација.

Идентификација и транскрипција на содржина на повеќе јазици

Некои медиумски ресурси, како што се вести, хроники и интервјуа, содржат снимки од луѓе кои зборуваат различни јазици. Повеќето постоечки способности за говор во текст бараат однапред да се специфицира јазикот за препознавање аудио, што го отежнува транскрипцијата на повеќејазични видеа.

Нашата нова функција за автоматско идентификација на говорен јазик за различни типови содржини користи технологија за машинско учење за да ги идентификува јазиците што се наоѓаат во медиумските средства. Откако ќе се открие, секој јазичен сегмент автоматски поминува низ процес на транскрипција на соодветниот јазик, а потоа сите сегменти се комбинираат во една повеќејазична датотека за транскрипција.

Резултирачкиот препис е достапен како дел од излезот JSON на видео индексот и како датотеки со титл. Излезниот препис е интегриран и со Azure Search, што ви овозможува веднаш да пребарувате различни јазични сегменти во вашите видеа. Дополнително, повеќејазичната транскрипција е достапна кога работите со порталот Video Indexer, така што можете да го гледате транскриптот и идентификуваниот јазик со текот на времето или да скокнете на одредени места во видеото за секој јазик и да ја гледате повеќејазичната транскрипција како титлови додека видеото се репродуцира. Можете исто така да го преведете примениот текст на кој било од 54-те достапни јазици преку порталот и API.

Дознајте повеќе за новата функција за повеќејазично препознавање содржини и за тоа како се користи во Видео Индексерот прочитајте ја документацијата.

Дополнителни ажурирани и подобрени модели

Ние, исто така, додаваме нови модели во видео индексот и ги подобруваме постоечките, вклучувајќи ги и оние опишани подолу.

Извлекување ентитети поврзани со луѓе и места

Ги проширивме нашите постоечки можности за откривање бренд за да вклучиме добро познати имиња и локации, како што се Ајфеловата кула во Париз и Биг Бен во Лондон. Кога ќе се појават во генерираниот препис или на екранот со помош на оптичко препознавање знаци (OCR), се додаваат релевантните информации. Со оваа нова функција, можете да ги пребарувате сите луѓе, места и брендови што се појавиле во видео и да ги прегледате деталите за нив, вклучително и временски слотови, описи и врски до пребарувачот Bing за повеќе информации.

Модел за откривање рамка за уредник

Оваа нова функција додава збир на „ознаки“ на метаподатоците прикачени на поединечни рамки во деталите за JSON за да го претстави нивниот уредувачки тип (на пример, широк кадар, среден кадар, крупен, екстремен одблиску, две снимки, повеќе луѓе , на отворено, на затворено, итн.). Овие карактеристики на типот на снимка се корисни при уредување видео за клипови и трејлери или кога барате специфичен стил на снимка за уметнички цели.

Научи повеќе Откривање на тип на рамка во видео индексот.

Подобрена грануларност на мапирањето IPTC

Нашиот модел за откривање тема ја одредува темата на видеото врз основа на транскрипција, оптичко препознавање знаци (OCR) и откриени познати личности, дури и ако темата не е експлицитно наведена. Ги мапираме овие откриени теми во четири области на класификација: Википедија, Бинг, IPTC и IAB. Ова подобрување ни овозможува да вклучиме IPTC класификација од второ ниво.
Искористувањето на овие подобрувања е исто толку лесно како реиндексирање на вашата тековна библиотека со видео индексирање.

Нова функционалност за пренос во живо

Во прегледот на Azure Media Services, нудиме и две нови функции за пренос во живо.

Транскрипцијата во реално време напојувана со вештачка интелигенција го носи преносот во живо на следното ниво

Со користење на Azure Media Services за пренос во живо, сега можете да примите излезен поток што вклучува автоматски генерирана текстуална песна покрај аудио и видео содржина. Текстот е создаден со помош на аудио транскрипција во реално време врз основа на вештачка интелигенција. Прилагодените техники се применуваат пред и по конверзија од говор во текст за да се подобрат резултатите. Текстуалната песна е спакувана во IMSC1, TTML или WebVTT, во зависност од тоа дали е испорачана во DASH, HLS CMAF или HLS TS.

Линиско кодирање во реално време за 24/7 OTT канали

Користејќи ги нашите v3 API, можете да креирате, управувате и емитувате канали OTT (преку врвот) и да ги користите сите други функции на Azure Media Services, како што се видео во живо на барање (VOD, видео на барање), пакување и управување со дигитални права ( DRM, управување со дигитални права).
За да ги видите верзиите за преглед на овие функции, посетете Заедницата на Azure Media Services.

Можности за генерирање на нови пакети

Поддршка за песни за аудио опис

Содржините што се емитуваат преку каналите што се емитуваат често имаат аудио песна со вербални објаснувања за тоа што се случува на екранот, покрај редовниот аудио сигнал. Ова ги прави програмите подостапни за гледачите со оштетен вид, особено ако содржината е првенствено визуелна. Ново функција за опис на аудио ви овозможува да ставите прибелешка на една од аудио записите како песна за аудио опис (AD, аудио опис), дозволувајќи им на играчите да ја направат песната AD достапна за гледачите.

Вметнување на ID3 метаподатоци

За да го сигнализираат вметнувањето реклами или приспособени настани за метаподатоци на плеерот на клиентот, радиодифузерите често користат метаподатоци со временски распоред вградени во видеото. Покрај режимите на сигнализација SCTE-35, сега поддржуваме и ID3v2 и други сопствени шеми, дефинирани од развивачот на апликацијата за употреба од страна на клиентската апликација.

Партнерите на Microsoft Azure демонстрираат решенија од крај до крај

Битмовин воведува Bitmovin Video Encoding и Bitmovin Video Player за Microsoft Azure. Клиентите сега можат да ги искористат овие решенија за кодирање и играње во Azure и да имаат корист од напредните функции како шифрирање во три фази, поддршка за кодек AV1/VC, повеќејазични преводи и претходно интегрирана видео аналитика за QoS, рекламирање и видео следење.

Евергентен ја демонстрира својата платформа за управување со животниот циклус на корисникот на Azure. Како водечки снабдувач на решенија за управување со приходите и животниот циклус на клиентите, Evergent користи Azure AI за да им помогне на давателите на врвна забава да го подобрат стекнувањето и задржувањето на клиентите преку создавање насочени пакети на услуги и понуди на критичните точки во животниот циклус на клиентите.

Haivision ќе ја прикаже својата интелигентна услуга за рутирање медиуми базирана на облак, SRT Hub, која им помага на клиентите да ги трансформираат работните текови од крај до крај користејќи Azure Data Box Edge и трансформирање на работните текови со Hublets од Avid, Telestream, Wowza, Cinegy и Make.tv.

SES има развиено пакет на медиумски услуги за емитување на платформата Azure за своите корисници на сателитски и управувани медиумски услуги. SES ќе демонстрира решенија за целосно управувани услуги за играње, вклучително и главен плејут, локализиран плејут, откривање и замена на реклами и висококвалитетно 24x7 повеќеканално кодирање во реално време на Azure.

SyncWords прави удобни алатки за облак и технологија за автоматизација на потпис достапни на Azure. Овие понуди ќе им олеснат на медиумските организации автоматски да додаваат преводи, вклучително и преводи на странски јазици, на нивните работни текови на видео во живо и офлајн на Azure.
меѓународна компанија Тата Елкси, компанија за технолошки услуги, ја интегрираше својата OTT SaaS платформа TEPlay во Azure Media Services за да испорача OTT содржина од облакот. Tata Elxsi, исто така, го донесе своето решение за следење на искуството со квалитет на Falcon Eye (QoE) на Microsoft Azure, обезбедувајќи аналитика и метрика за донесување одлуки.

Веризон Медиа ја прави својата платформа за стриминг достапна на Azure како бета верзија. Verizon Media Platform е OTT решение управувано од претпријатието кое вклучува DRM, вметнување реклами, персонализирани сесии еден-на-еден, динамична замена на содржина и испорака на видео. Интеграцијата ги поедноставува работните текови, глобалната поддршка и размер и отклучува некои од уникатните способности кои се наоѓаат во Azure.

Извор: www.habr.com