Ang misyon sa Microsoft mao ang paghatag gahum sa matag tawo ug organisasyon sa planeta aron makab-ot ang labi pa. Ang industriya sa media usa ka maayong ehemplo sa paghimo niini nga misyon nga usa ka kamatuoran. Nagpuyo kami sa usa ka panahon diin daghang mga sulud ang gihimo ug gigamit, sa daghang mga paagi ug sa daghang mga aparato. Sa IBC 2019, among gipaambit ang pinakabag-o nga mga inobasyon nga among gitrabaho ug kung giunsa kini makatabang sa pagbag-o sa imong kasinatian sa media.
Mga detalye sa ilawom sa pagputol!
Kini nga panid anaa
Ang Video Indexer karon nagsuporta sa animation ug multilinggwal nga sulod
Sa miaging tuig sa IBC gihimo namo ang among award-winning , ug karong tuiga kini nahimong mas maayo. Awtomatikong gikuha sa Video Indexer ang impormasyon ug metadata gikan sa mga file sa media, sama sa gisulti nga mga pulong, mga nawong, mga emosyon, mga hilisgutan, ug mga tatak, ug dili nimo kinahanglan nga mahimong eksperto sa pagkat-on sa makina aron magamit kini.
Ang among pinakabag-o nga mga tanyag naglakip sa mga preview sa duha ka gipangita kaayo ug nagkalahi nga mga featureβanimated character recognition ug multilingual speech transcriptionβingon man usab sa daghang mga pagdugang sa kasamtangan nga mga modelo nga anaa karon sa Video Indexer.
Animated Character Recognition
Ang mga animated nga sulod maoy usa sa pinakasikat nga matang sa sulod, apan ang standard computer vision models nga gidesinyo sa pag-ila sa mga nawong sa tawo dili maayo niini, ilabina kon ang sulod adunay mga karakter nga walay mga dagway sa tawo. Ang bag-ong preview nga bersyon naghiusa sa Video Indexer uban sa Microsoft's Azure Custom Vision nga serbisyo, nga naghatud sa usa ka bag-ong set sa mga modelo nga awtomatik nga nakamatikod ug nag-grupo sa mga animated nga karakter ug naghimo kanila nga sayon ββββsa pagmarka ug pag-ila gamit ang integrated custom vision models.
Ang mga modelo gisagol sa usa ka pipeline, nga gitugotan ang bisan kinsa nga mogamit sa serbisyo nga walaβy kahibalo sa pagkat-on sa makina. Ang mga resulta magamit pinaagi sa usa ka portal nga walay code nga Video Indexer o pinaagi sa usa ka REST API alang sa dali nga paghiusa sa imong kaugalingon nga mga aplikasyon.
Gibuhat namo kini nga mga modelo aron magtrabaho uban sa mga animated nga karakter uban sa pipila ka mga konsumidor nga naghatag og tinuod nga animated nga sulod alang sa pagbansay ug pagsulay. Ang bili sa bag-ong pag-andar maayo nga gisumada ni Andy Gutteridge, senior nga direktor sa teknolohiya sa studio ug post-production sa Viacom International Media Networks, kinsa usa sa mga data providers: "Ang pagdugang sa lig-on nga AI-powered nga animated content discovery magtugot sa kami sa dali ug episyente nga pagpangita ug pag-catalog sa metadata sa karakter gikan sa among sulud sa librarya.
Labing hinungdanon, maghatag kini sa among mga grupo sa paglalang sa katakus nga makit-an dayon ang sulud nga ilang kinahanglan, gipamubu ang oras nga gigugol sa pagdumala sa media ug gitugotan sila nga mag-focus sa pagkamamugnaon.
Mahimo ka magsugod sa pag-ila sa mga animated nga pag-ila sa karakter .
Pag-ila ug transkripsyon sa sulod sa daghang pinulongan
Ang ubang mga kapanguhaan sa media, sama sa mga balita, mga chronicle ug mga interbyu, adunay mga rekording sa mga tawo nga nagsultig lain-laing mga pinulongan. Kadaghanan sa kasamtangan nga speech-to-text nga mga kapabilidad nagkinahanglan sa audio recognition language nga ipiho nang daan, nga nagpalisud sa pag-transcribe sa mga multilingguwal nga video.
Ang among bag-ong feature sa Automatic Spoken Language Identification para sa lain-laing klase sa content naggamit sa machine learning technology aron mailhan ang mga pinulongan nga makita sa media assets. Kung mamatikdan, ang matag bahin sa lengguwahe awtomatik nga moagi sa usa ka proseso sa transkripsyon sa angay nga sinultian, ug dayon ang tanan nga mga bahin gihiusa sa usa ka file nga transkripsyon nga daghang pinulongan.
Ang resulta nga transcript anaa isip kabahin sa JSON output sa Video Indexer ug isip subtitle files. Ang output transcript gisagol usab sa Azure Search, nga nagtugot kanimo sa pagpangita dayon sa lainlaing mga bahin sa lengguwahe sa imong mga video. Dugang pa, ang transkripsyon sa multilinggwahe magamit kung nagtrabaho kauban ang portal sa Video Indexer, aron matan-aw nimo ang transcript ug nahibal-an nga lengguwahe sa paglabay sa panahon, o molukso sa piho nga mga lugar sa video alang sa matag lengguwahe ug makita ang transkrip sa multilinggwahe ingon mga kapsyon samtang nagdula ang video. Mahimo usab nimo mahubad ang nadawat nga teksto sa bisan unsang 54 nga magamit nga mga pinulongan pinaagi sa portal ug API.
Pagkat-on og dugang mahitungod sa bag-ong multilingguwal nga bahin sa pag-ila sa sulod ug sa unsang paagi kini gigamit sa Video Indexer .
Dugang nga gi-update ug gipaayo nga mga modelo
Nagdugang usab kami mga bag-ong modelo sa Video Indexer ug gipaayo ang mga naa na, lakip ang gihulagway sa ubos.
Pagkuha sa mga entidad nga may kalabotan sa mga tawo ug lugar
Among gipalapdan ang among kasamtangang mga kapabilidad sa pagdiskobre sa brand aron maapil ang iladong mga ngalan ug lokasyon, sama sa Eiffel Tower sa Paris ug Big Ben sa London. Kung kini makita sa namugna nga transcript o sa screen gamit ang optical character recognition (OCR), ang may kalabutan nga impormasyon idugang. Uban niining bag-ong feature, mahimo nimong pangitaon ang tanang tawo, lugar, ug brand nga nagpakita sa usa ka video ug tan-awon ang mga detalye bahin kanila, lakip ang mga time slot, mga deskripsyon, ug mga link sa Bing search engine para sa dugang impormasyon.
Frame detection model alang sa editor
Kini nga bag-ong bahin nagdugang usa ka set sa "tag" sa metadata nga gilakip sa indibidwal nga mga frame sa mga detalye sa JSON aron magrepresentar sa ilang tipo sa editoryal (pananglitan, lapad nga shot, medium shot, close-up, grabe nga close-up, duha ka shot, daghang tawo , gawas, sulod sa balay, ug uban pa). Kini nga mga kinaiya sa tipo sa shot mapuslanon kung mag-edit sa video para sa mga clip ug trailer, o kung nangita usa ka piho nga istilo sa shot alang sa mga katuyoan sa arte.
Ang matang sa frame detection sa Video Indexer.
Gipalambo nga IPTC mapping granularity
Ang among modelo sa pagtuki sa hilisgutan nagtino sa hilisgutan sa usa ka video base sa transkripsyon, optical character recognition (OCR), ug nakit-an nga mga celebrity, bisan kung ang hilisgutan dili klaro nga gipiho. Among gimapa kining namatikdan nga mga hilisgutan ngadto sa upat ka klasipikasyon nga mga dapit: Wikipedia, Bing, IPTC, ug IAB. Kini nga pagpauswag nagtugot kanamo sa paglakip sa ikaduhang lebel nga klasipikasyon sa IPTC.
Ang pagpahimulos niini nga mga pag-uswag sama kasayon ββsa pag-indeks pag-usab sa imong kasamtangan nga librarya sa Video Indexer.
Bag-ong live streaming function
Sa preview sa Azure Media Services, nagtanyag usab kami og duha ka bag-ong feature para sa live streaming.
Ang AI-powered real-time nga transkripsyon nagkinahanglan og live streaming ngadto sa sunod nga lebel
Gamit ang Azure Media Services para sa live streaming, makadawat ka na karon og output stream nga naglakip sa awtomatik nga namugna nga text track dugang sa audio ug video content. Ang teksto gihimo gamit ang real-time nga audio transcription base sa artificial intelligence. Gipadapat ang mga custom nga teknik sa wala pa ug pagkahuman sa pagbag-o sa speech-to-text aron mapauswag ang mga resulta. Ang text track giputos sa IMSC1, TTML o WebVTT, depende kung kini gihatag sa DASH, HLS CMAF o HLS TS.
Real-time nga line encoding para sa 24/7 OTT channels
Gamit ang among v3 APIs, makahimo ka, makadumala ug maka-broadcast sa OTT (over-the-top) nga mga channel, ug magamit ang tanan nga ubang mga feature sa Azure Media Services sama sa live video on demand (VOD, video on demand), packaging ug digital rights management ( DRM, pagdumala sa digital nga katungod).
Aron makita ang preview nga mga bersyon niini nga mga feature, bisitaha .
Bag-ong mga kapabilidad sa paghimo sa pakete
Suporta alang sa mga track sa paghulagway sa audio
Ang sulud nga pagsibya sa mga channel sa broadcast kanunay adunay audio track nga adunay mga verbal nga pagpatin-aw kung unsa ang nahitabo sa screen dugang sa regular nga signal sa audio. Kini naghimo sa mga programa nga mas daling ma-access sa mga tumatan-aw nga adunay diperensya sa panan-aw, labi na kung ang sulud sa panguna makita. Bag-o nga nagtugot kanimo sa pag-annotate sa usa sa mga audio track isip usa ka audio description track (AD, audio description), nga nagtugot sa mga magdudula sa paghimo sa AD track nga magamit sa mga tumatan-aw.
Pagsal-ot sa ID3 metadata
Aron masinyasan ang pagsal-ot sa mga paanunsiyo o naandan nga metadata nga mga panghitabo sa magdudula sa kliyente, ang mga magsisibya kanunay nga naggamit sa gitakda nga metadata nga na-embed sa video. Dugang sa SCTE-35 nga mga mode sa pagsenyas, gisuportahan usab namo karon , gihubit sa developer sa aplikasyon aron gamiton sa aplikasyon sa kliyente.
Ang mga kasosyo sa Microsoft Azure nagpakita sa mga solusyon sa katapusan hangtod sa katapusan
nagpaila sa Bitmovin Video Encoding ug Bitmovin Video Player alang sa Microsoft Azure. Mahimo na nga magamit sa mga kustomer kini nga mga solusyon sa pag-encode ug pag-playout sa Azure ug makabenepisyo gikan sa mga advanced nga bahin sama sa tulo ka yugto nga pag-encode, suporta sa AV1 / VC codec, mga subtitle sa multilinggwahe, ug pre-integrated nga video analytics alang sa QoS, advertising, ug pagsubay sa video.
nagpakita niini User Lifecycle Management Platform sa Azure. Isip usa ka nanguna nga tighatag sa mga solusyon sa pagdumala sa kita ug kinabuhi sa kustomer, gigamit ni Evergent ang Azure AI aron matabangan ang mga premium nga tighatag sa kalingawan nga mapaayo ang pagkuha ug pagpadayon sa kostumer pinaagi sa paghimo og mga target nga pakete sa serbisyo ug mga tanyag sa mga kritikal nga punto sa siklo sa kinabuhi sa kustomer.
ipakita ang iyang intelihente nga cloud-based media routing nga serbisyo, SRT Hub, nga nagtabang sa mga kustomer sa pagbag-o sa end-to-end nga mga workflow gamit ang ug pagbag-o sa mga workflow sa Hublets gikan sa Avid, Telestream, Wowza, Cinegy ug Make.tv.
nakamugna og usa ka suite sa broadcast-grade nga mga serbisyo sa media sa Azure nga plataporma alang sa satellite ug gidumala nga mga kustomer sa serbisyo sa media. Ang SES magpakita og mga solusyon alang sa hingpit nga pagdumala nga mga serbisyo sa playout, lakip ang master playout, localized playout, ad discovery ug replacement, ug taas nga kalidad nga real-time nga 24x7 multi-channel encoding sa Azure.
naghimo sa kombenyente nga mga himan sa panganod ug teknolohiya sa pirma sa automation nga magamit sa Azure. Kini nga mga tanyag makapasayon ββalang sa mga organisasyon sa media nga awtomatikong makadugang sa mga subtitle, lakip ang mga subtitle sa langyaw nga pinulongan, sa ilang live ug offline nga mga workflow sa video sa Azure.
internasyonal nga kompanya , usa ka kompanya sa serbisyo sa teknolohiya, nag-integrate sa iyang OTT SaaS nga plataporma nga TEPlay ngadto sa Azure Media Services aron sa paghatod sa OTT content gikan sa cloud. Gidala usab ni Tata Elxsi ang iyang Falcon Eye quality of experience (QoE) monitoring solution ngadto sa Microsoft Azure, nga naghatag ug analytics ug metrics para sa paghimog desisyon.
naghimo sa iyang streaming nga plataporma nga magamit sa Azure ingon usa ka pagpagawas sa beta. Ang Verizon Media Platform kay usa ka enterprise-grade nga gidumala nga OTT nga solusyon nga naglakip sa DRM, ad insertion, one-to-one personalized sessions, dynamic content replacement, ug video delivery. Gipasimple sa integrasyon ang mga workflow, global nga suporta ug sukod, ug giablihan ang pipila sa mga talagsaon nga kapabilidad nga makita sa Azure.
Source: www.habr.com