Microsofti missioon on anda igale inimesele ja organisatsioonile planeedil võimalus saavutada rohkem. Meediatööstus on suurepärane näide selle missiooni ellu viimisest. Elame ajastul, kus luuakse ja tarbitakse rohkem sisu, mitmel viisil ja rohkemates seadmetes. IBC 2019 raames jagasime uusimaid uuendusi, mille kallal töötame, ja seda, kuidas need võivad aidata teie meediakogemust muuta.
Detailid lõike all!
See leht on sisse lülitatud
Video Indexer toetab nüüd animatsiooni ja mitmekeelset sisu
Eelmisel aastal võitsime IBC-s oma auhinna , ja sel aastal läks veelgi paremaks. Video Indexer ekstraheerib automaatselt meediumifailidest teavet ja metaandmeid, nagu öeldud sõnad, näod, emotsioonid, teemad ja kaubamärgid, ning selle kasutamiseks ei pea te olema masinõppe ekspert.
Meie uusimad pakkumised sisaldavad eelvaateid kahest väga nõutud ja eristuvast funktsioonist – animeeritud märgituvastus ja mitmekeelne kõne transkriptsioon –, aga ka mitmeid täiendusi olemasolevatele mudelitele, mis on täna videoindekseris saadaval.
Animeeritud tegelaste äratundmine
Animeeritud sisu on üks populaarsemaid sisutüüpe, kuid standardsed arvutinägemismudelid, mis on loodud inimnägude tuvastamiseks, ei tööta sellega hästi, eriti kui sisu sisaldab tegelasi, kellel pole inimese näojooni. Uus eelvaateversioon ühendab Video Indexeri ja Microsofti Azure Custom Vision teenuse, pakkudes uut mudelite komplekti, mis tuvastavad ja rühmitavad automaatselt animeeritud tegelasi ning muudavad nende sildistamise ja äratundmise integreeritud kohandatud nägemismudelite abil hõlpsaks.
Mudelid on integreeritud ühte torusse, võimaldades kõigil teenust kasutada ilma masinõppeteadmisteta. Tulemused on saadaval ilma koodita Video Indexeri portaali või REST API kaudu, et neid kiiresti oma rakendustesse integreerida.
Ehitasime need mudelid töötama animeeritud tegelastega koos mõne tarbijaga, kes pakkusid koolituseks ja testimiseks tõelist animeeritud sisu. Uue funktsionaalsuse väärtuse võttis hästi kokku Andy Gutteridge, Viacom International Media Networksi stuudiotehnoloogia ja järeltootmise vanemdirektor, kes oli üks andmepakkujatest: „Tellist tehisintellektil töötava animeeritud sisu avastamise jõuline lisamine võimaldab et saaksime kiiresti ja tõhusalt leida ja kataloogida oma teegi sisust tegelaste metaandmeid.
Kõige tähtsam on see, et see annab meie loomingulistele meeskondadele võimaluse leida koheselt vajalik sisu, minimeerides meedia haldamisele kuluvat aega ja võimaldades neil keskenduda loovusele.
Animeeritud tegelaste tuvastamisega saate tutvust alustada .
Sisu tuvastamine ja transkriptsioon mitmes keeles
Mõned meediaressursid, nagu uudised, kroonikad ja intervjuud, sisaldavad eri keelt kõnelevate inimeste salvestisi. Enamik olemasolevaid kõne tekstiks muutmise võimalusi nõuab eelnevalt helituvastuskeele määramist, mis muudab mitmekeelsete videote transkribeerimise keeruliseks.
Meie uus automaatne kõnekeele tuvastamise funktsioon erinevat tüüpi sisu jaoks kasutab meediumivarades leiduvate keelte tuvastamiseks masinõppetehnoloogiat. Pärast tuvastamist läbib iga keelesegment automaatselt transkriptsiooniprotsessi sobivas keeles ja seejärel ühendatakse kõik segmendid üheks mitmekeelseks transkriptsioonifailiks.
Saadud ärakiri on saadaval videoindekseri JSON-väljundi osana ja subtiitrite failidena. Väljundtranskriptsioon on integreeritud ka Azure Searchiga, mis võimaldab teil oma videotest kohe otsida erinevaid keeleosi. Lisaks on portaaliga Video Indexer töötades saadaval mitmekeelne transkriptsioon, nii et saate vaadata transkriptsiooni ja tuvastatud keelt aja jooksul või hüpata iga keele jaoks konkreetsetesse kohtadesse ja vaadata mitmekeelset transkriptsiooni tiitritena video esitamise ajal. Samuti saate portaali ja API kaudu tõlkida saadud teksti mis tahes 54 saadaolevasse keelde.
Lugege lisateavet uue mitmekeelse sisutuvastusfunktsiooni ja selle kasutamise kohta Video Indekseris .
Täiendavad uuendatud ja täiustatud mudelid
Samuti lisame Video Indexerisse uusi mudeleid ja täiustame olemasolevaid, sealhulgas allpool kirjeldatud.
Inimeste ja kohtadega seotud olemite ekstraheerimine
Oleme laiendanud oma olemasolevaid kaubamärgi avastamise võimalusi, et hõlmata tuntud nimesid ja asukohti, nagu Eiffeli torn Pariisis ja Big Ben Londonis. Kui need ilmuvad loodud ärakirjas või optilise märgituvastuse (OCR) abil ekraanil, lisatakse vastav teave. Selle uue funktsiooniga saate otsida kõiki videos ilmunud inimesi, kohti ja kaubamärke ning vaadata nende üksikasju, sealhulgas ajapilusid, kirjeldusi ja lisateabe saamiseks Bingi otsingumootori linke.
Redaktori raami tuvastamise mudel
See uus funktsioon lisab JSON-i üksikasjades üksikutele kaadritele lisatud metaandmetele komplekti "märgendeid", et esindada nende toimetustüüpi (nt lai võte, keskmine võte, lähivõte, äärmuslik lähivõte, kaks võtet, mitu inimest , väljas, siseruumides jne). Need võttetüübi omadused on kasulikud klippide ja treilerite jaoks video redigeerimisel või konkreetse võttestiili otsimisel kunstilistel eesmärkidel.
Kaadritüübi tuvastamine videoindekseris.
Täiustatud IPTC kaardistamise detailsus
Meie teematuvastusmudel määrab video teema transkriptsiooni, optilise märgituvastuse (OCR) ja tuvastatud kuulsuste põhjal, isegi kui teema pole selgesõnaliselt määratud. Kaardistame need tuvastatud teemad nelja klassifikatsioonialaga: Wikipedia, Bing, IPTC ja IAB. See täiustus võimaldab meil lisada teise taseme IPTC klassifikatsiooni.
Nende täiustuste kasutamine on sama lihtne kui oma praeguse Video Indexeri teegi uuesti indekseerimine.
Uus otseülekande funktsioon
Azure Media Servicesi eelvaates pakume ka kahte uut funktsiooni otseülekandeks.
AI-toega reaalajas transkriptsioon viib otseülekande järgmisele tasemele
Kasutades teenust Azure Media Services otseülekandeks, saate nüüd vastu võtta väljundvoo, mis sisaldab lisaks heli- ja videosisule ka automaatselt loodud tekstirada. Tekst luuakse tehisintellektil põhineva reaalajas helitranskriptsiooni abil. Kohandatud tehnikaid rakendatakse tulemuste parandamiseks enne ja pärast kõnest tekstiks teisendamist. Tekstirada on pakitud IMSC1-sse, TTML-i või WebVTT-sse, olenevalt sellest, kas see on saadaval DASH-i, HLS CMAF-i või HLS TS-i.
Reaalajas liinikodeering 24/7 OTT-kanalite jaoks
Meie v3 API-de abil saate luua, hallata ja levitada OTT-kanaleid (over-the-top) ning kasutada kõiki muid Azure Media Services funktsioone, nagu nõudmisel reaalajas video (VOD, nõudmisel video), pakendamine ja digitaalsete õiguste haldus ( DRM, digitaalõiguste haldus).
Nende funktsioonide eelvaateversioonide vaatamiseks külastage .
Uued pakettide genereerimise võimalused
Helikirjelduste lugude tugi
Ülekandekanalite kaudu edastataval sisul on sageli lisaks tavalisele helisignaalile ka heliriba, mis sisaldab suulisi selgitusi ekraanil toimuva kohta. See muudab saated nägemispuudega vaatajatele paremini ligipääsetavaks, eriti kui sisu on peamiselt visuaalne. Uus võimaldab teil lisada ühe heliriba helikirjelduse rajaks (AD, helikirjeldus), võimaldades mängijatel teha AD raja vaatajatele kättesaadavaks.
ID3 metaandmete sisestamine
Reklaamide või kohandatud metaandmete sündmuste lisamisest kliendi mängijale märku andmiseks kasutavad ringhäälinguorganisatsioonid sageli videosse manustatud ajastatud metaandmeid. Lisaks SCTE-35 signaalimisrežiimidele toetame nüüd ka , mille on määranud rakenduse arendaja kliendirakenduse jaoks kasutamiseks.
Microsoft Azure'i partnerid demonstreerivad täislahendusi
tutvustab Bitmovin Video Encodingut ja Bitmovin Video Playerit Microsoft Azure'i jaoks. Kliendid saavad nüüd kasutada neid kodeerimis- ja esituslahendusi Azure'is ning kasutada täiustatud funktsioone, nagu kolmeastmeline kodeering, AV1/VC kodeki tugi, mitmekeelsed subtiitrid ja QoS-i, reklaamide ja videojälgimise eelintegreeritud videoanalüüs.
demonstreerib oma kasutaja elutsükli haldusplatvormi Azure'is. Juhtiva tulu- ja kliendi elutsükli haldamise lahenduste pakkujana kasutab Evergent Azure AI-d, et aidata esmaklassilistel meelelahutusteenuse pakkujatel parandada klientide hankimist ja hoidmist, luues kliendi elutsükli kriitilistes punktides sihipäraseid teenusepakette ja pakkumisi.
tutvustab oma intelligentset pilvepõhist meedia marsruutimise teenust SRT Hub, mis aitab klientidel muuta töövooge otsast lõpuni, kasutades ja töövoogude muutmine Avidi, Telestreami, Wowza, Cinegy ja Make.tv Hubletidega.
on oma satelliidi- ja hallatavate meediateenuste klientide jaoks välja töötanud Azure'i platvormil leviedastustaseme meediateenuste komplekti. SES tutvustab lahendusi täielikult hallatavate esitusteenuste jaoks, sealhulgas põhiesitus, lokaliseeritud esitus, reklaamide leidmine ja asendamine ning kvaliteetne reaalajas 24x7 mitme kanaliga kodeering Azure'is.
teeb Azure'is kättesaadavaks mugavad pilvetööriistad ja allkirjade automatiseerimise tehnoloogia. Need pakkumised muudavad meediaorganisatsioonide jaoks lihtsamaks subtiitrite, sealhulgas võõrkeelsete subtiitrite automaatse lisamise Azure'i reaalajas ja võrguühenduseta videotöövoogudele.
rahvusvaheline ettevõte Tehnoloogiateenuste ettevõte on integreerinud OTT SaaS-i platvormi TEPlay teenusesse Azure Media Services, et edastada OTT-sisu pilvest. Tata Elxsi on toonud ka oma Falcon Eye kogemuskvaliteedi (QoE) seirelahenduse Microsoft Azure'i, pakkudes analüütikat ja mõõdikuid otsuste tegemiseks.
teeb oma voogedastusplatvormi Azure'is beetaversioonina kättesaadavaks. Verizon Media Platform on ettevõtte tasemel hallatav OTT-lahendus, mis sisaldab DRM-i, reklaamide sisestamist, üks-ühele isikupärastatud seansse, dünaamilist sisu asendamist ja video edastamist. Integreerimine lihtsustab töövooge, globaalset tuge ja ulatust ning avab mõned Azure'is leiduvad ainulaadsed võimalused.
Allikas: www.habr.com