Microsoftova je misija osnažiti svaku osobu i organizaciju na planetu da postigne više. Medijska industrija izvrstan je primjer kako se ova misija može ostvariti. Živimo u eri u kojoj se stvara i konzumira više sadržaja, na više načina i na više uređaja. Na IBC 2019. podijelili smo najnovije inovacije na kojima radimo i kako one mogu pomoći u transformaciji vašeg medijskog iskustva.
Detalji ispod kroja!
Ova stranica je uključena
Video Indexer sada podržava animaciju i višejezični sadržaj
Prošle smo godine na IBC-u osvojili našu nagradu , a ove godine je postalo još bolje. Video Indexer automatski izdvaja informacije i metapodatke iz medijskih datoteka, kao što su izgovorene riječi, lica, emocije, teme i robne marke, a ne morate biti stručnjak za strojno učenje da biste ga koristili.
Naše najnovije ponude uključuju preglede dviju vrlo traženih i diferenciranih značajki—prepoznavanje animiranih znakova i višejezičnu transkripciju govora—kao i nekoliko dodataka postojećim modelima koji su danas dostupni u Video Indexeru.
Prepoznavanje animiranih likova
Animirani sadržaj jedna je od najpopularnijih vrsta sadržaja, ali standardni modeli računalnog vida dizajnirani za prepoznavanje ljudskih lica ne rade dobro s njim, osobito ako sadržaj sadrži likove bez ljudskih crta lica. Nova pretpregledna verzija kombinira Video Indexer s Microsoftovom uslugom Azure Custom Vision, isporučujući novi skup modela koji automatski otkrivaju i grupiraju animirane likove i olakšavaju njihovo označavanje i prepoznavanje pomoću integriranih prilagođenih modela vizije.
Modeli su integrirani u jedan cjevovod, omogućujući svakome korištenje usluge bez znanja o strojnom učenju. Rezultati su dostupni putem portala Video Indexer bez koda ili putem REST API-ja za brzu integraciju u vaše vlastite aplikacije.
Napravili smo ove modele za rad s animiranim likovima zajedno s nekim potrošačima koji su pružili pravi animirani sadržaj za obuku i testiranje. Vrijednost nove funkcionalnosti dobro je sažeo Andy Gutteridge, viši direktor studijske tehnologije i postprodukcije u Viacom International Media Networks, koji je bio jedan od pružatelja podataka: „Dodatak robusnog otkrivanja animiranog sadržaja pokretanog umjetnom inteligencijom omogućit će kako bismo brzo i učinkovito pronašli i katalogizirali metapodatke znakova iz sadržaja naše knjižnice.
Što je najvažnije, to će našim kreativnim timovima dati mogućnost da trenutno pronađu sadržaj koji im je potreban, smanjujući vrijeme provedeno na upravljanje medijima i omogućujući im da se usredotoče na kreativnost.”
Možete se početi upoznavati s prepoznavanjem animiranih likova s .
Identifikacija i transkripcija sadržaja na više jezika
Neki medijski izvori, poput vijesti, kronika i intervjua, sadrže snimke ljudi koji govore različitim jezicima. Većina postojećih mogućnosti pretvaranja govora u tekst zahtijeva unaprijed naveden jezik prepoznavanja zvuka, što otežava transkripciju višejezičnih videozapisa.
Naša nova značajka automatske identifikacije govornog jezika za različite vrste sadržaja koristi tehnologiju strojnog učenja za prepoznavanje jezika koji se nalaze u medijskim sredstvima. Nakon što se otkrije, svaki jezični segment automatski prolazi kroz proces transkripcije na odgovarajućem jeziku, a zatim se svi segmenti kombiniraju u jednu višejezičnu datoteku transkripcije.
Rezultirajući prijepis dostupan je kao dio JSON izlaza Video Indexera i kao datoteke titlova. Izlazni prijepis također je integriran s Azure Searchom, što vam omogućuje da odmah tražite različite jezične segmente u svojim videozapisima. Dodatno, višejezična transkripcija dostupna je kada radite s portalom Video Indexer, tako da možete vidjeti transkript i identificirani jezik tijekom vremena ili skočiti na određena mjesta u videu za svaki jezik i vidjeti višejezičnu transkripciju kao titlove dok se video reproducira. Također možete prevesti primljeni tekst na bilo koji od 54 dostupna jezika putem portala i API-ja.
Saznajte više o novoj značajci prepoznavanja višejezičnog sadržaja i kako se koristi u Video Indexeru .
Dodatni ažurirani i poboljšani modeli
Također dodajemo nove modele Video Indexeru i poboljšavamo postojeće, uključujući one opisane u nastavku.
Izdvajanje entiteta povezanih s ljudima i mjestima
Proširili smo naše postojeće mogućnosti otkrivanja robnih marki kako bismo uključili dobro poznata imena i lokacije, poput Eiffelovog tornja u Parizu i Big Bena u Londonu. Kada se pojave u generiranom prijepisu ili na zaslonu pomoću optičkog prepoznavanja znakova (OCR), relevantne informacije se dodaju. Pomoću ove nove značajke možete pretraživati sve ljude, mjesta i brendove koji su se pojavili u videu i pregledavati pojedinosti o njima, uključujući vremenske odsječke, opise i poveznice na tražilicu Bing za više informacija.
Model detekcije okvira za editor
Ova nova značajka dodaje skup "oznaka" metapodacima priloženim pojedinačnim okvirima u detaljima JSON-a kako bi predstavili njihov uređivački tip (na primjer, široki snimak, srednji snimak, krupni plan, ekstremno krupni plan, dva snimka, više ljudi , na otvorenom, u zatvorenom prostoru itd.). Ove karakteristike tipa snimke korisne su pri uređivanju videa za isječke i najave ili kada tražite određeni stil snimanja za umjetničke svrhe.
Detekcija vrste okvira u Video Indexeru.
Poboljšana granularnost IPTC mapiranja
Naš model otkrivanja teme određuje temu videozapisa na temelju transkripcije, optičkog prepoznavanja znakova (OCR) i otkrivenih slavnih osoba, čak i ako tema nije izričito navedena. Ove otkrivene teme preslikavamo u četiri klasifikacijska područja: Wikipedia, Bing, IPTC i IAB. Ovo poboljšanje nam omogućuje uključivanje IPTC klasifikacije druge razine.
Iskorištavanje prednosti ovih poboljšanja jednostavno je poput ponovnog indeksiranja vaše trenutne knjižnice Video Indexer.
Nova funkcija prijenosa uživo
U pretpregledu Azure Media Services također nudimo dvije nove značajke za live streaming.
Prijepis u stvarnom vremenu pokretan umjetnom inteligencijom podiže streaming uživo na višu razinu
Koristeći Azure Media Services za live streaming, sada možete primati izlazni tok koji uključuje automatski generirani tekstualni zapis uz audio i video sadržaj. Tekst se stvara pomoću audio transkripcije u stvarnom vremenu temeljene na umjetnoj inteligenciji. Prilagođene tehnike primjenjuju se prije i nakon pretvorbe govora u tekst kako bi se poboljšali rezultati. Tekstualni zapis pakiran je u IMSC1, TTML ili WebVTT, ovisno o tome je li isporučen u DASH, HLS CMAF ili HLS TS.
Kodiranje linije u stvarnom vremenu za 24/7 OTT kanale
Koristeći naše v3 API-je, možete stvarati, upravljati i emitirati OTT (over-the-top) kanale i koristiti sve druge značajke Azure Media Services kao što su video uživo na zahtjev (VOD, video na zahtjev), pakiranje i upravljanje digitalnim pravima ( DRM, upravljanje digitalnim pravima).
Za pregled verzija ovih značajki posjetite .
Nove mogućnosti generiranja paketa
Podrška za zapise audio opisa
Sadržaj koji se emitira preko kanala emitiranja često uz uobičajeni audio signal ima i audio zapis s verbalnim objašnjenjima onoga što se događa na ekranu. To čini programe pristupačnijim gledateljima oštećena vida, osobito ako je sadržaj prvenstveno vizualan. Novi omogućuje vam da jedan od audio zapisa označite kao zapis audio opisa (AD, audio opis), dopuštajući igračima da AD zapis učine dostupnim gledateljima.
Umetanje ID3 metapodataka
Kako bi klijentovom playeru signalizirali umetanje reklama ili prilagođenih događaja metapodataka, emiteri često koriste vremenski ograničene metapodatke ugrađene u video. Uz SCTE-35 načine signalizacije, sada također podržavamo , definiran od strane programera aplikacije za korištenje od strane klijentske aplikacije.
Microsoft Azure partneri demonstriraju end-to-end rješenja
predstavlja Bitmovin Video Encoding i Bitmovin Video Player za Microsoft Azure. Kupci sada mogu iskoristiti ta rješenja za kodiranje i reprodukciju u Azureu i imati koristi od naprednih značajki kao što su kodiranje u tri faze, podrška za AV1/VC kodek, višejezični titlovi i unaprijed integrirana video analitika za QoS, oglašavanje i praćenje videa.
demonstrira svoju Platformu za upravljanje životnim ciklusom korisnika na Azureu. Kao vodeći pružatelj rješenja za upravljanje prihodima i životnim ciklusom korisnika, Evergent koristi Azure AI kako bi pomogao pružateljima vrhunske zabave poboljšati akviziciju i zadržavanje kupaca stvaranjem ciljanih paketa usluga i ponuda u kritičnim točkama životnog ciklusa korisnika.
predstavit će svoju inteligentnu uslugu usmjeravanja medija temeljenu na oblaku, SRT Hub, koja korisnicima pomaže transformirati tijekove rada s kraja na kraj koristeći i transformiranje tijeka rada s Hublets iz Avid, Telestream, Wowza, Cinegy i Make.tv.
je razvio paket medijskih usluga za emitiranje na platformi Azure za svoje korisnike satelitskih i upravljanih medijskih usluga. SES će demonstrirati rješenja za potpuno upravljane usluge reprodukcije, uključujući master reprodukciju, lokaliziranu reprodukciju, otkrivanje i zamjenu oglasa i visokokvalitetno višekanalno kodiranje u stvarnom vremenu 24x7 na Azureu.
čini prikladne alate u oblaku i tehnologiju automatizacije potpisa dostupnima na Azureu. Ove će ponude medijskim organizacijama olakšati automatsko dodavanje titlova, uključujući titlove na stranim jezicima, u njihove tijekove rada uživo i izvan mreže na Azureu.
međunarodna tvrtka , tvrtka za tehnološke usluge, integrirala je svoju OTT SaaS platformu TEPlay u Azure Media Services za isporuku OTT sadržaja iz oblaka. Tata Elxsi također je donio svoje Falcon Eye rješenje za praćenje kvalitete iskustva (QoE) u Microsoft Azure, pružajući analitiku i metriku za donošenje odluka.
svoju streaming platformu čini dostupnom na Azuru kao beta izdanje. Verizon Media Platform upravljano je OTT rješenje poslovne razine koje uključuje DRM, umetanje oglasa, personalizirane sesije jedan na jedan, dinamičku zamjenu sadržaja i isporuku videa. Integracija pojednostavljuje tijekove rada, globalnu podršku i skaliranje te otključava neke od jedinstvenih mogućnosti koje se nalaze u Azureu.
Izvor: www.habr.com