Майкрософттың миссиясы - планетадағы әрбір адамға және ұйымға көбірек қол жеткізуге мүмкіндік беру. Медиа индустрия бұл миссияны жүзеге асырудың тамаша үлгісі болып табылады. Біз көбірек мазмұн көп жолмен және көп құрылғыларда жасалатын және тұтынылатын дәуірде өмір сүріп жатырмыз. IBC 2019 көрмесінде біз жұмыс істеп жатқан соңғы жаңалықтармен және олардың медиа тәжірибеңізді өзгертуге қалай көмектесетінімен бөлістік.
Толығырақ кесінді астында!
Бұл бет қосулы
Video Indexer енді анимация мен көптілді мазмұнды қолдайды
Өткен жылы IBC-те біз жүлделі болдық , ал биыл ол одан да жақсарды. Video Indexer ақпарат пен метадеректерді медиа файлдарынан, мысалы, ауызша сөздер, бет-әлпеттер, эмоциялар, тақырыптар және брендтер автоматты түрде шығарып алады және оны пайдалану үшін машинаны үйрену маманы болудың қажеті жоқ.
Біздің соңғы ұсыныстарымыз екі жоғары сұранысқа ие және сараланған мүмкіндіктерді — анимациялық кейіпкерлерді тану және көп тілді сөйлеу транскрипциясын — алдын ала қарауды, сондай-ақ бүгінде Video Indexer қолданбасында қолжетімді бар үлгілерге бірнеше толықтыруларды қамтиды.
Анимациялық кейіпкерді тану
Анимациялық контент, мультфильмдер - ең танымал мазмұн түрлерінің бірі, бірақ адамның бет-әлпетін тануға арналған стандартты компьютерлік көру үлгілері онымен жақсы жұмыс істемейді, әсіресе мазмұнда адамның бет-әлпеті жоқ кейіпкерлер болса. Жаңа алдын ала қарау нұсқасы Video Indexer бағдарламасын Microsoft корпорациясының Azure Custom Vision қызметімен біріктіреді, нәтижесінде анимациялық таңбаларды автоматты түрде анықтайтын және топтастырады және біріктірілген теңшелетін көру үлгілері арқылы оларды белгілеуді және тануды жеңілдететін үлгілердің жаңа жиынтығы пайда болады.
Модельдер бір құбырға біріктірілген, бұл кез келген адамға машинаны үйренуді білмей-ақ қызметті пайдалануға мүмкіндік береді. Нәтижелер кодсыз Video Indexer порталы арқылы немесе жеке қолданбаларыңызға жылдам біріктіру үшін REST API арқылы қол жетімді.
Біз бұл үлгілерді оқыту және тестілеу үшін нақты анимациялық мазмұнды қамтамасыз еткен кейбір тұтынушылармен бірге анимациялық кейіпкерлермен жұмыс істеу үшін жасадық. Жаңа функцияның құндылығын деректерді жеткізушілердің бірі болған Viacom International Media Networks студиялық технологиялар және пост-өндіріс бөлімінің аға директоры Энди Гуттеридж жақсы қорытындылады: «AI-мен жұмыс істейтін сенімді анимациялық мазмұнды қосу мүмкіндік береді. кітапхана мазмұнынан кейіпкер метадеректерін жылдам және тиімді тауып, каталогтау үшін.
Ең бастысы, бұл біздің шығармашылық топтарымызға қажетті мазмұнды лезде табу мүмкіндігін береді, бұқаралық ақпарат құралдарын басқаруға кететін уақытты азайтады және олардың шығармашылыққа назар аударуына мүмкіндік береді».
Анимациялық кейіпкерді танумен танысуды бастауға болады .
Бірнеше тілдегі мазмұнды анықтау және транскрипциялау
Жаңалықтар, хроникалар және сұхбаттар сияқты кейбір медиа ресурстарда әртүрлі тілде сөйлейтін адамдардың жазбалары бар. Сөйлеуді мәтінге ауыстыру мүмкіндіктерінің көпшілігі дыбысты тану тілін алдын ала көрсетуді талап етеді, бұл көп тілді бейнелерді транскрипциялауды қиындатады.
Әр түрлі мазмұн түрлеріне арналған жаңа автоматты ауызша тілді анықтау мүмкіндігі медиа активтерінде табылған тілдерді анықтау үшін машиналық оқыту технологиясын пайдаланады. Анықталғаннан кейін әрбір тіл сегменті автоматты түрде сәйкес тілдегі транскрипция процесінен өтеді, содан кейін барлық сегменттер бір көп тілді транскрипция файлына біріктіріледі.
Алынған транскрипт Бейне индексінің JSON шығысының бөлігі ретінде және субтитр файлдары ретінде қол жетімді. Сондай-ақ шығыс транскрипциясы Azure Search бағдарламасымен біріктірілген, бұл бейнелеріңіздегі әртүрлі тіл сегменттерін бірден іздеуге мүмкіндік береді. Сонымен қатар, Video Indexer порталымен жұмыс істеу кезінде көптілді транскрипция қол жетімді, осылайша сіз транскрипт пен анықталған тілді уақыт өте келе көре аласыз немесе әр тіл үшін бейнедегі белгілі бір орындарға өтіп, көптілді транскрипцияны бейне ойнатылған кезде субтитрлер ретінде көре аласыз. Сондай-ақ алынған мәтінді портал және API арқылы қол жетімді 54 тілдің кез келгеніне аударуға болады.
Жаңа көптілді мазмұнды тану мүмкіндігі және оның Бейне индекстеуішінде қалай қолданылатыны туралы көбірек біліңіз .
Қосымша жаңартылған және жетілдірілген үлгілер
Біз сондай-ақ Video Indexer қолданбасына жаңа үлгілерді қосып, барларын, соның ішінде төменде сипатталғандарды жақсартамыз.
Адамдармен және орындармен байланысты нысандарды алу
Біз брендті табу мүмкіндіктерін Париждегі Эйфель мұнарасы және Лондондағы Биг Бен сияқты танымал атаулар мен орындарды қамту үшін кеңейттік. Олар жасалған транскриптте немесе оптикалық таңбаларды тану (OCR) көмегімен экранда пайда болған кезде тиісті ақпарат қосылады. Бұл жаңа мүмкіндіктің көмегімен бейнеде пайда болған барлық адамдарды, орындарды және брендтерді іздеп, олар туралы мәліметтерді, соның ішінде уақыт аралығын, сипаттамаларды және қосымша ақпарат алу үшін Bing іздеу жүйесіне сілтемелерді көруге болады.
Редакторға арналған кадрды анықтау үлгісі
Бұл жаңа мүмкіндік JSON мәліметтеріндегі жеке кадрларға тіркелген метадеректерге олардың редакциялық түрін көрсету үшін "тегтер" жинағын қосады (мысалы, кең кадр, орташа түсірілім, жақыннан, экстремалды жақыннан, екі кадр, бірнеше адам , сыртқы, ішкі және т.б.). Бұл түсіру түрінің сипаттамалары клиптер мен трейлерлерге арналған бейнені өңдеу кезінде немесе көркемдік мақсаттар үшін белгілі бір түсіру стилін іздеу кезінде пайдалы.
Бейне индекстеуішінде кадр түрін анықтау.
Жетілдірілген IPTC картасының түйіршіктігі
Біздің тақырыпты анықтау үлгісі транскрипцияға, оптикалық таңбаларды тану (OCR) және анықталған атақты адамдарға негізделген бейне тақырыбын анықтайды, тіпті тақырып нақты көрсетілмесе де. Біз бұл анықталған тақырыптарды төрт жіктеу аймағына жатқызамыз: Wikipedia, Bing, IPTC және IAB. Бұл жақсарту бізге екінші деңгейлі IPTC классификациясын қосуға мүмкіндік береді.
Осы жақсартулардың артықшылығын пайдалану ағымдағы Video Indexer кітапханасын қайта индекстеу сияқты оңай.
Жаңа тікелей эфир функциясы
Azure Media Services алдын ала қарауында біз тікелей трансляцияға арналған екі жаңа мүмкіндікті ұсынамыз.
AI-мен жұмыс істейтін нақты уақыттағы транскрипция тікелей трансляцияны келесі деңгейге шығарады
Тікелей ағынға арналған Azure Media Services қызметін пайдаланып, енді аудио және бейне мазмұнына қосымша автоматты түрде жасалған мәтін жолын қамтитын шығыс ағынын алуға болады. Мәтін жасанды интеллект негізінде нақты уақыттағы аудио транскрипциясы арқылы жасалған. Нәтижелерді жақсарту үшін сөйлеуді мәтінге түрлендіруге дейін және одан кейін теңшелетін әдістер қолданылады. Мәтіндік трек DASH, HLS CMAF немесе HLS TS жүйесінде жеткізілуіне байланысты IMSC1, TTML немесе WebVTT ішінде пакеттелген.
24/7 OTT арналары үшін нақты уақыттағы желіні кодтау
Біздің v3 API интерфейстерін пайдалана отырып, OTT (жоғары) арналарды жасауға, басқаруға және таратуға және сұраныс бойынша тікелей бейне (VOD, сұраныс бойынша бейне), орау және сандық құқықтарды басқару сияқты барлық басқа Azure Media Services мүмкіндіктерін пайдалануға болады. DRM, сандық құқықтарды басқару).
Осы мүмкіндіктердің алдын ала қарау нұсқаларын көру үшін кіріңіз .
Жаңа пакеттерді құру мүмкіндіктері
Аудио сипаттама тректерін қолдау
Таратылатын арналар арқылы таратылатын мазмұнда әдеттегі дыбыс сигналына қосымша экранда не болып жатқаны туралы ауызша түсіндірмелері бар аудио трек жиі болады. Бұл бағдарламаларды көру қабілеті нашар көрермендер үшін қолжетімді етеді, әсіресе мазмұн негізінен көрнекі болса. Жаңа аудио тректердің біреуін аудио сипаттама жолы (AD, аудио сипаттама) ретінде аннотациялауға мүмкіндік береді, бұл ойыншыларға AD жолын көрермендерге қолжетімді етуге мүмкіндік береді.
ID3 метадеректерін енгізу
Клиент ойнатқышына жарнамаларды немесе теңшелетін метадеректер оқиғаларын кірістіру туралы сигнал беру үшін хабар таратушылар бейнеге енгізілген уақытша метадеректерді жиі пайдаланады. SCTE-35 сигнализация режимдерінен басқа, біз қазір де қолдаймыз , клиент қолданбасы пайдалану үшін қолданба әзірлеушісімен анықталған.
Microsoft Azure серіктестері түпкілікті шешімдерді көрсетеді
Microsoft Azure үшін Bitmovin бейне кодтауын және Bitmovin бейне ойнатқышын ұсынады. Тұтынушылар енді Azure жүйесінде осы кодтау және ойнату шешімдерін пайдалана алады және үш сатылы кодтау, AV1/VC кодектерін қолдау, көп тілді субтитрлер және QoS, жарнама және бейне бақылау үшін алдын ала біріктірілген бейне талдауы сияқты кеңейтілген мүмкіндіктерді пайдалана алады.
Azure жүйесінде пайдаланушының өмірлік циклін басқару платформасын көрсетеді. Кіріс пен тұтынушы өмірлік циклін басқару шешімдерінің жетекші провайдері ретінде Evergent компаниясы Azure AI-ді пайдаланады, ол премиум ойын-сауық провайдерлеріне мақсатты қызмет пакеттері мен тұтынушы өмірлік циклінің маңызды нүктелерінде ұсыныстар жасау арқылы тұтынушыларды алуды және ұстауды жақсартуға көмектеседі.
тұтынушыларға жұмыс үрдістерін пайдалану арқылы түрлендіруге көмектесетін SRT Hub интеллектуалды бұлтқа негізделген медиа маршруттау қызметін көрсетеді. және Avid, Telestream, Wowza, Cinegy және Make.tv қызметтерінен Hublets көмегімен жұмыс процестерін түрлендіру.
спутниктік және басқарылатын медиа қызметтерінің тұтынушылары үшін Azure платформасында хабар тарату деңгейіндегі медиа қызметтер жиынтығын әзірледі. SES толық басқарылатын ойнату қызметтеріне арналған шешімдерді көрсетеді, соның ішінде негізгі ойнату, локализацияланған ойнату, жарнаманы табу және ауыстыру және Azure жүйесінде жоғары сапалы нақты уақыттағы 24x7 көп арналы кодтау.
ыңғайлы бұлттық құралдар мен қолтаңбаны автоматтандыру технологиясын Azure жүйесінде қолжетімді етеді. Бұл ұсыныстар медиа ұйымдарына субтитрлерді, соның ішінде шет тіліндегі субтитрлерді Azure жүйесіндегі тікелей және офлайн бейне жұмыс процестеріне автоматты түрде қосуды жеңілдетеді.
халықаралық компания , технологиялық қызмет көрсететін компания OTT мазмұнын бұлттан жеткізу үшін TEPlay OTT SaaS платформасын Azure Media Services қызметіне біріктірді. Tata Elxsi сонымен қатар Falcon Eye тәжірибесінің сапасын бақылау шешімін (QoE) Microsoft Azure жүйесіне әкелді, бұл шешім қабылдау үшін аналитика мен метрика береді.
өзінің ағындық платформасын Azure жүйесінде бета нұсқасы ретінде қолжетімді етеді. Verizon Media Platform – DRM, жарнаманы енгізу, жекелендірілген сеанстарды, динамикалық мазмұнды ауыстыруды және бейнені жеткізуді қамтитын кәсіпорын деңгейіндегі басқарылатын OTT шешімі. Біріктіру жұмыс процестерін, жаһандық қолдауды және масштабты жеңілдетеді және Azure жүйесінде табылған кейбір бірегей мүмкіндіктердің құлпын ашады.
Ақпарат көзі: www.habr.com