Майкрософттун миссиясы - планетадагы ар бир адамга жана уюмга көбүрөөк жетүү үчүн мүмкүнчүлүк берүү. Медиа индустриясы бул миссияны ишке ашыруунун эң сонун үлгүсү. Биз көбүрөөк мазмун көп жолдор менен жана көбүрөөк түзмөктөрдө түзүлүп, керектелүүчү доордо жашап жатабыз. IBC 2019 көргөзмөсүндө биз иштеп жаткан акыркы инновациялар жана алар медиа тажрыйбаңызды өзгөртүүгө кандайча жардам берери менен бөлүштүк.
Чоо-жайы кыскартылып астында!
Бул барак күйүк
Video Indexer азыр анимацияны жана көп тилдүү мазмунду колдойт
Өткөн жылы IBCде биз сыйлыкка ээ болдук , ал эми быйылкы жылы дагы жакшырды. Video Indexer медиа файлдарынан маалыматты жана метаберилиштерди, мисалы, айтылган сөздөр, жүздөр, эмоциялар, темалар жана бренддер автоматтык түрдө чыгарып алат жана аны колдонуу үчүн машина үйрөнүү боюнча адис болуунун кереги жок.
Биздин акыркы сунуштарыбызга эң көп талап кылынган жана дифференцияланган эки функциянын — анимацияланган каарманды таануу жана көп тилдүү кеп транскрипциясынын алдын ала көрүүлөрү, ошондой эле бүгүн Video Indexerде жеткиликтүү болгон учурдагы моделдерге бир нече кошумчалар кирет.
Анимацияланган каармандарды таануу
Анимацияланган мазмун контенттин эң популярдуу түрлөрүнүн бири, бирок адамдын жүзүн таанууга арналган компьютердик көрүүнүн стандарттуу моделдери аны менен жакшы иштебейт, айрыкча мазмунда адамдын бетинин өзгөчөлүктөрү жок каармандар болсо. Жаңы алдын ала көрүү версиясы Video Indexer менен Microsoft'тун Azure Custom Vision кызматы менен айкалыштырылган, анимацияланган каармандарды автоматтык түрдө аныктап, топтоп, интегралдык ыңгайлаштырылган көрүү моделдерин колдонуу менен аларды белгилөө жана таанууну жеңилдеткен жаңы моделдерди сунуштайт.
Моделдер бир түтүккө бириктирилген, бул кызматты эч кимге машина үйрөнүү билими жок колдонууга мүмкүндүк берет. Натыйжалар коду жок Video Indexer порталы же REST API аркылуу өз колдонмолоруңузга тез интеграциялануу үчүн жеткиликтүү.
Биз бул моделдерди анимацияланган каармандар менен иштөө үчүн курдук, алар окутуу жана тестирлөө үчүн чыныгы анимацияланган мазмунду камсыз кылган кээ бир керектөөчүлөр менен бирге. Жаңы функциянын маанисин маалымат провайдерлеринин бири болгон Viacom International Media Networks компаниясынын студиялык технологиялар жана пост-өндүрүш боюнча улук директору Энди Гуттеридж жакшы жыйынтыктады: “AI менен иштеген күчтүү анимацияланган мазмунду ачууга мүмкүнчүлүк берет. китепкананын мазмунунан символдук метаберилиштерди тез жана натыйжалуу таап, каталогдоштуруу үчүн.
Эң негизгиси, бул биздин чыгармачыл топторго керектүү мазмунду заматта табуу мүмкүнчүлүгүн берип, медианы башкарууга сарпталган убакытты азайтып, чыгармачылыкка көңүл бурууга мүмкүндүк берет».
Сиз анимацияланган каарманды таануу менен тааныша баштасаңыз болот .
Бир нече тилде мазмунду аныктоо жана транскрипциялоо
Жаңылыктар, хроникалар жана интервьюлар сыяктуу кээ бир медиа-ресурстарда ар башка тилде сүйлөгөн адамдардын жазуулары бар. Көп тилдүү видеолорду транскрипциялоону кыйындаткандыктан, учурдагы кепти текстке которуу мүмкүнчүлүктөрү аудиону таануу тилин алдын ала көрсөтүүнү талап кылат.
Мазмундун ар кандай түрлөрү үчүн жаңы Автоматтык оозеки тилди аныктоо функциясы медиа активдеринде табылган тилдерди аныктоо үчүн машина үйрөнүү технологиясын колдонот. Аныкталгандан кийин ар бир тил сегменти автоматтык түрдө тиешелүү тилде транскрипция процессинен өтөт, андан кийин бардык сегменттер бирдиктүү көп тилдүү транскрипция файлына бириктирилет.
Натыйжадагы транскрипт Video Indexerдин JSON чыгаруу бөлүгү жана субтитр файлдары катары жеткиликтүү. Чыгуу стенограммасы Azure Search менен интеграцияланган, бул сизге видеолоруңуздагы ар кандай тил сегменттерин дароо издөөгө мүмкүндүк берет. Кошумчалай кетсек, Video Indexer порталы менен иштөөдө көп тилдүү транскрипция жеткиликтүү, андыктан сиз убакыттын өтүшү менен стенограмманы жана аныкталган тилди көрө аласыз, же ар бир тил үчүн видеонун белгилүү жерлерине секирип, көп тилдүү транскрипцияны видео ойноп жатканда коштомо жазуулар катары көрө аласыз. Ошондой эле портал жана API аркылуу алынган текстти 54 жеткиликтүү тилдин каалаган бирине которо аласыз.
Жаңы көп тилдүү мазмунду таануу өзгөчөлүгү жана анын Video Indexer'те кантип колдонулары жөнүндө көбүрөөк билип алыңыз .
Кошумча жаңыланган жана жакшыртылган моделдер
Биз ошондой эле Video Indexerге жаңы моделдерди кошуп, учурдагыларын, анын ичинде төмөндө сүрөттөлгөндөрдү жакшыртып жатабыз.
Адамдар жана жерлер менен байланышкан объекттерди алуу
Париждеги Эйфель мунарасы жана Лондондогу Биг Бен сыяктуу белгилүү аталыштарды жана жерлерди камтуу үчүн биз учурдагы брендди табуу мүмкүнчүлүктөрүбүздү кеңейттик. Алар түзүлгөн стенограммада же оптикалык белгилерди таануу (OCR) аркылуу экранда пайда болгондо, тиешелүү маалымат кошулат. Бул жаңы функциянын жардамы менен сиз видеодо пайда болгон бардык адамдарды, жерлерди жана бренддерди издеп, алар тууралуу маалыматтарды, анын ичинде убакыт аралыгын, сүрөттөмөлөрүн жана көбүрөөк маалымат алуу үчүн Bing издөө системасына шилтемелерди көрө аласыз.
Редактор үчүн кадрды аныктоо модели
Бул жаңы функция алардын редакциялык түрүн көрсөтүү үчүн JSON деталдарында айрым кадрларга тиркелген метадайындарга "тегдердин" топтомун кошот (мисалы, кең кадр, орто кадр, жакын план, экстремалдык жакын план, эки кадр, бир нече адам , сыртта, үй ичинде ж.б.). Бул кадр түрүнүн мүнөздөмөлөрү клиптер жана трейлерлер үчүн видеону түзөтүүдө же көркөм максаттар үчүн белгилүү бир кадр стилин издөөдө пайдалуу.
Video Indexer'де кадрдын түрүн аныктоо.
Өркүндөтүлгөн IPTC картасынын гранулярдуулугу
Теманы аныктоо моделибиз видеонун темасын транскрипциянын, оптикалык белги таануунун (OCR) жана аныкталган атактуулардын негизинде аныктайт, атүгүл тема ачык көрсөтүлбөсө да. Биз бул аныкталган темаларды төрт классификация аймагына картага түшүрөбүз: Wikipedia, Bing, IPTC жана IAB. Бул өркүндөтүү бизге экинчи деңгээлдеги IPTC классификациясын кошууга мүмкүндүк берет.
Бул жакшыртуулардан пайдалануу учурдагы Video Indexer китепканаңызды кайра индекстөө сыяктуу оңой.
Жаңы түз берүү функциясы
Azure Media Services алдын ала кароодо биз түз агым үчүн эки жаңы функцияны сунуштап жатабыз.
AI менен иштеген реалдуу убакыт транскрипциясы түз агымды кийинки деңгээлге көтөрөт
Түз агым үчүн Azure Медиа Кызматтарын колдонуу менен, сиз эми аудио жана видео мазмунга кошумча автоматтык түрдө түзүлгөн текст трегин камтыган чыгаруу агымын ала аласыз. Текст жасалма интеллекттин негизинде реалдуу убакыт аудио транскрипциясын колдонуу менен түзүлгөн. Натыйжаларды жакшыртуу үчүн ыңгайлаштырылган ыкмалар кепти текстке которууга чейин жана андан кийин колдонулат. Текст треги DASH, HLS CMAF же HLS TS менен камсыздалганына жараша IMSC1, TTML же WebVTT менен пакеттелген.
24/7 OTT каналдары үчүн реалдуу убакыт линиясын коддоо
Биздин v3 API'лерибизди колдонуу менен, сиз OTT (жогорку) каналдарды түзүп, башкарып жана уктурууга жана Azure Media Services'тин башка бардык мүмкүнчүлүктөрүн колдоно аласыз, мисалы, талап боюнча жандуу видео (VOD, талап боюнча видео), таңгактоо жана санариптик укуктарды башкаруу ( DRM, санариптик укуктарды башкаруу).
Бул функциялардын алдын ала көрүү версияларын көрүү үчүн, баш багыңыз .
Жаңы пакетти түзүү мүмкүнчүлүктөрү
Аудио сүрөттөмө тректерин колдоо
Берүү каналдары аркылуу берилүүчү контентте көбүнчө кадимки аудио сигналдан тышкары, экранда эмне болуп жатканын оозеки түшүндүргөн аудио треги болот. Бул программаларды көрүүсү начар көргөн көрүүчүлөр үчүн жеткиликтүү кылат, айрыкча мазмун биринчи кезекте визуалдык болсо. Жаңы сизге аудио тректердин бирине аудио сүрөттөмө треги (AD, аудио сүрөттөмөсү) катары аннотациялоого мүмкүндүк берип, оюнчуларга AD трегин көрүүчүлөргө жеткиликтүү кылууга мүмкүндүк берет.
ID3 метадайындары салынууда
Кардардын ойноткучуна жарнамаларды же ыңгайлаштырылган метаберилиштерди киргизүүнү белгилөө үчүн, берүүчүлөр көбүнчө видеого кыстарылган убакыттын метадайындарын колдонушат. SCTE-35 сигнализация режимдеринен тышкары, биз азыр да колдойбуз , кардар тиркемеси тарабынан колдонуу үчүн колдонмону иштеп чыгуучу тарабынан аныкталган.
Microsoft Azure өнөктөштөрү аягына чейин чечимдерди көрсөтөт
Microsoft Azure үчүн Bitmovin Video Encoding жана Bitmovin Video Player киргизет. Кардарлар эми Azure'де бул коддоо жана ойнотуу чечимдерин колдоно алышат жана үч этаптуу коддоо, AV1/VC кодекти колдоо, көп тилдүү субтитрлер жана QoS үчүн алдын ала интеграцияланган видео аналитика, жарнама жана видеого көз салуу сыяктуу өркүндөтүлгөн функциялардан пайдалана алышат.
Azureде өзүнүн Колдонуучунун өмүр циклин башкаруу платформасын көрсөтөт. Кирешелерди жана кардарлардын жашоо циклин башкаруу чечимдеринин алдыңкы провайдери катары Evergent премиум көңүл ачуу провайдерлерине кардарлардын жашоо циклинин маанилүү пункттарында максаттуу кызмат пакеттерин жана сунуштарын түзүү аркылуу кардарларды сатып алууну жана кармап калууга жардам берүү үчүн Azure AI колдонот.
өзүнүн акылдуу булутка негизделген медиа-маршруттук кызматын, SRT Hub көрсөтөт, ал кардарларга аягына чейин иштөө процесстерин өзгөртүүгө жардам берет. жана Avid, Telestream, Wowza, Cinegy жана Make.tvден Hublets менен иштөө процесстерин өзгөртүү.
спутниктик жана башкарылган медиа кызматтарынын кардарлары үчүн Azure платформасында уктуруу деңгээлиндеги медиа кызматтардын топтомун иштеп чыкты. SES толук башкарылган ойнотуу кызматтары үчүн чечимдерди көрсөтөт, анын ичинде мастер ойнотуу, локализацияланган ойнотуу, жарнаманы табуу жана алмаштыруу, Azure'де жогорку сапаттагы реалдуу убакыт режиминде 24x7 көп каналдуу коддоо.
Ыңгайлуу булут куралдарын жана кол автоматташтыруу технологиясын Azureде жеткиликтүү кылат. Бул сунуштар медиа уюмдарына субтитрлерди, анын ичинде чет тилдеги субтитрлерди Azureдагы жандуу жана оффлайн видео иш процесстерине автоматтык түрдө кошууну жеңилдетет.
эл аралык компания , технологиялык кызмат көрсөтүү компаниясы, OTT мазмунун булуттан жеткирүү үчүн TEPlay OTT SaaS платформасын Azure Media Services менен бириктирди. Tata Elxsi ошондой эле чечимдерди кабыл алуу үчүн аналитика жана метрика менен камсыз кылуу менен Falcon Eye тажрыйбасынын сапатын (QoE) мониторинг жүргүзүү чечимин алып келди.
өзүнүн агымдык платформасын Azureде бета-релиз катары жеткиликтүү кылып жатат. Verizon Media Platform – бул DRM, жарнак киргизүү, жекелештирилген сеанстар, динамикалык мазмунду алмаштыруу жана видео жеткирүүнү камтыган ишкана деңгээлиндеги башкарылган OTT чечими. Интеграция жумуш процесстерин, глобалдык колдоону жана масштабды жөнөкөйлөтүп, Azure'де табылган уникалдуу мүмкүнчүлүктөрдүн айрымдарын ачат.
Source: www.habr.com