Misija Microsofta je osnažiti svaku osobu i organizaciju na planeti da postigne više. Medijska industrija je odličan primjer da se ova misija pretvori u stvarnost. Živimo u eri u kojoj se stvara i konzumira više sadržaja, na više načina i na više uređaja. Na IBC 2019. podijelili smo najnovije inovacije na kojima radimo i kako one mogu pomoći u transformaciji vašeg medijskog iskustva.
Detalji ispod reza!
Ova stranica je na
Video Indexer sada podržava animaciju i višejezični sadržaj
Prošle godine na IBC-u smo bili nagrađeni , a ove godine je postalo još bolje. Video Indexer automatski izvlači informacije i metapodatke iz medijskih datoteka, kao što su izgovorene riječi, lica, emocije, teme i brendovi, i ne morate biti stručnjak za mašinsko učenje da biste ga koristili.
Naša najnovija ponuda uključuje preglede dvije vrlo tražene i diferencirane funkcije—animirano prepoznavanje karaktera i višejezičnu transkripciju govora—kao i nekoliko dodataka postojećim modelima dostupnim danas u Video Indexeru.
Animirano prepoznavanje likova
Animirani sadržaj je jedan od najpopularnijih tipova sadržaja, ali standardni modeli kompjuterskog vida dizajnirani za prepoznavanje ljudskih lica ne rade dobro s njim, posebno ako sadržaj sadrži likove bez ljudskih crta lica. Nova verzija za pregled kombinuje Video Indexer sa Microsoft-ovom uslugom Azure Custom Vision, isporučujući novi skup modela koji automatski otkrivaju i grupišu animirane likove i čine ih lakim za označavanje i prepoznavanje pomoću integrisanih prilagođenih modela vizije.
Modeli su integrisani u jedan cevovod, omogućavajući svakome da koristi uslugu bez znanja o mašinskom učenju. Rezultati su dostupni preko portala Video Indexer bez koda ili putem REST API-ja za brzu integraciju u vaše aplikacije.
Napravili smo ove modele za rad s animiranim likovima zajedno s nekim potrošačima koji su pružili pravi animirani sadržaj za obuku i testiranje. Vrijednost nove funkcionalnosti dobro je sažeo Andy Gutteridge, viši direktor studijske tehnologije i postprodukcije u Viacom International Media Networks, koji je bio jedan od dobavljača podataka: „Dodavanje robusnog otkrivanja animiranog sadržaja pokretanog umjetnom inteligencijom omogućit će da brzo i efikasno pronađemo i katalogiziramo metapodatke znakova iz sadržaja naše biblioteke.
Ono što je najvažnije, to će našim kreativnim timovima dati mogućnost da trenutno pronađu sadržaj koji im je potreban, minimizirajući vrijeme provedeno na upravljanje medijima i omogućavajući im da se fokusiraju na kreativnost.”
Možete započeti upoznavanje sa prepoznavanjem animiranih likova .
Identifikacija i transkripcija sadržaja na više jezika
Neki medijski resursi, kao što su vijesti, kronike i intervjui, sadrže snimke ljudi koji govore različite jezike. Većina postojećih mogućnosti pretvaranja govora u tekst zahtijevaju da se jezik prepoznavanja zvuka unaprijed specificira, što otežava transkribiranje višejezičnih videozapisa.
Naša nova funkcija automatske identifikacije govornog jezika za različite vrste sadržaja koristi tehnologiju mašinskog učenja za identifikaciju jezika koji se nalaze u medijskoj imovini. Kada se detektuje, svaki segment jezika automatski prolazi kroz proces transkripcije na odgovarajućem jeziku, a zatim se svi segmenti kombinuju u jednu višejezičnu transkripcionu datoteku.
Rezultirajući transkript je dostupan kao dio JSON izlaza Video Indexera i kao datoteke titlova. Izlazni transkript je takođe integrisan sa Azure Search, omogućavajući vam da odmah pretražujete različite jezičke segmente u vašim video zapisima. Osim toga, višejezična transkripcija je dostupna kada radite s portalom Video Indexer, tako da možete vidjeti transkript i identificirani jezik tokom vremena, ili skočiti na određena mjesta u videu za svaki jezik i vidjeti višejezičnu transkripciju kao titlove dok se video reproducira. Također možete prevesti primljeni tekst na bilo koji od 54 dostupna jezika putem portala i API-ja.
Saznajte više o novoj funkciji za prepoznavanje višejezičnog sadržaja i kako se ona koristi u Video Indexeru .
Dodatni ažurirani i poboljšani modeli
Također dodajemo nove modele u Video Indexer i poboljšavamo postojeće, uključujući one opisane u nastavku.
Izdvajanje entiteta povezanih s ljudima i mjestima
Proširili smo naše postojeće mogućnosti otkrivanja brendova kako bismo uključili dobro poznata imena i lokacije, kao što su Ajfelov toranj u Parizu i Big Ben u Londonu. Kada se pojave u generiranom transkriptu ili na ekranu pomoću optičkog prepoznavanja znakova (OCR), dodaju se relevantne informacije. Pomoću ove nove funkcije možete pretraživati sve ljude, mjesta i brendove koji su se pojavili u videu i pregledavati detalje o njima, uključujući vremenske termine, opise i veze do tražilice Bing za više informacija.
Model detekcije okvira za editor
Ova nova funkcija dodaje skup "oznaka" metapodacima pridruženim pojedinačnim okvirima u JSON detaljima kako bi predstavili njihov urednički tip (na primjer, široki snimak, srednji snimak, krupni plan, ekstremni krupni plan, dva snimka, više ljudi , na otvorenom, u zatvorenom, itd.). Ove karakteristike vrste snimka korisne su prilikom montaže video zapisa za klipove i trejlere, ili kada tražite određeni stil snimka u umjetničke svrhe.
Detekcija tipa okvira u Video Indexer-u.
Poboljšana granularnost IPTC mapiranja
Naš model detekcije tema određuje temu videa na osnovu transkripcije, optičkog prepoznavanja karaktera (OCR) i otkrivenih poznatih ličnosti, čak i ako tema nije eksplicitno navedena. Ove otkrivene teme mapiramo u četiri oblasti klasifikacije: Wikipedia, Bing, IPTC i IAB. Ovo poboljšanje nam omogućava da uključimo IPTC klasifikaciju drugog nivoa.
Iskorištavanje prednosti ovih poboljšanja je jednostavno kao i ponovno indeksiranje vaše trenutne biblioteke Video Indexer.
Nova funkcija prijenosa uživo
U pregledu Azure medijskih usluga nudimo i dvije nove funkcije za prijenos uživo.
Transkripcija u realnom vremenu koju pokreće umjetna inteligencija podiže prijenos uživo na viši nivo
Koristeći Azure Media Services za live streaming, sada možete primati izlazni stream koji uključuje automatski generiranu tekstualnu traku pored audio i video sadržaja. Tekst je kreiran korišćenjem audio transkripcije u realnom vremenu na osnovu veštačke inteligencije. Prilagođene tehnike se primjenjuju prije i nakon konverzije govora u tekst radi poboljšanja rezultata. Tekstualni zapis je upakovan u IMSC1, TTML ili WebVTT, u zavisnosti od toga da li je isporučen u DASH, HLS CMAF ili HLS TS.
Kodiranje linija u realnom vremenu za 24/7 OTT kanale
Koristeći naše v3 API-je, možete kreirati, upravljati i emitovati OTT (over-the-top) kanale, te koristiti sve ostale funkcije Azure medijskih usluga kao što su live video na zahtjev (VOD, video na zahtjev), pakovanje i upravljanje digitalnim pravima ( DRM, upravljanje digitalnim pravima).
Za pregled verzija ovih funkcija, posjetite .
Nove mogućnosti generisanja paketa
Podrška za audio opise
Sadržaj koji se emituje preko kanala za emitovanje često ima audio zapis sa verbalnim objašnjenjima onoga što se dešava na ekranu pored redovnog audio signala. Ovo čini programe pristupačnijim gledaocima sa oštećenim vidom, posebno ako je sadržaj prvenstveno vizuelan. Novo omogućava vam da označite jedan od audio zapisa kao zapis audio opisa (AD, audio opis), omogućavajući igračima da AD zapis učine dostupnim gledaocima.
Umetanje ID3 metapodataka
Kako bi signalizirali umetanje reklama ili prilagođenih metapodataka klijentovom plejeru, emiteri često koriste tempirane metapodatke ugrađene u video. Osim SCTE-35 načina signalizacije, sada također podržavamo , definiran od strane programera aplikacije za korištenje od strane klijentske aplikacije.
Microsoft Azure partneri demonstriraju end-to-end rješenja
predstavlja Bitmovin Video Encoding i Bitmovin Video Player za Microsoft Azure. Korisnici sada mogu iskoristiti ova rješenja za kodiranje i reprodukciju u Azureu i imati koristi od naprednih funkcija kao što su kodiranje u tri faze, podrška za AV1/VC kodek, višejezični titlovi i unaprijed integrirana video analitika za QoS, oglašavanje i praćenje videa.
demonstrira svoju platformu za upravljanje životnim ciklusom korisnika na Azureu. Kao vodeći dobavljač rješenja za upravljanje prihodima i životnim ciklusom kupaca, Evergent koristi Azure AI kako bi pomogao vrhunskim provajderima zabave da poboljšaju privlačenje i zadržavanje kupaca kreiranjem ciljanih paketa usluga i ponuda u kritičnim tačkama životnog ciklusa korisnika.
će predstaviti svoju inteligentnu uslugu usmjeravanja medija baziranu na oblaku, SRT Hub, koja pomaže korisnicima da transformiraju end-to-end tokove rada koristeći i transformacija tokova rada uz Hublets iz Avid, Telestream, Wowza, Cinegy i Make.tv.
je razvio paket medijskih usluga za emitovanje na Azure platformi za svoje klijente satelitskih i upravljanih medijskih usluga. SES će demonstrirati rješenja za potpuno upravljane usluge reprodukcije, uključujući master playout, lokaliziranu reprodukciju, otkrivanje i zamjenu oglasa i visokokvalitetno višekanalno kodiranje u realnom vremenu 24x7 na Azureu.
čini zgodne alate u oblaku i tehnologiju automatizacije potpisa dostupnim na Azureu. Ove ponude će olakšati medijskim organizacijama da automatski dodaju titlove, uključujući titlove na stranom jeziku, u svoje video tokove uživo i van mreže na Azureu.
međunarodna kompanija , kompanija za tehnološke usluge, integrisala je svoju OTT SaaS platformu TEPlay u Azure Media Services kako bi isporučila OTT sadržaj iz oblaka. Tata Elxsi je takođe doneo svoje rešenje za praćenje kvaliteta iskustva Falcon Eye (QoE) u Microsoft Azure, pružajući analitiku i metriku za donošenje odluka.
svoju platformu za streaming čini dostupnom na Azureu kao beta izdanje. Verizon Media Platform je OTT rešenje kojim se upravlja na nivou preduzeća koje uključuje DRM, umetanje oglasa, personalizovane sesije jedan na jedan, dinamičku zamenu sadržaja i isporuku videa. Integracija pojednostavljuje tokove posla, globalnu podršku i skalu, te otključava neke od jedinstvenih mogućnosti koje se nalaze u Azureu.
izvor: www.habr.com