Misiunea Microsoft este de a împuternici fiecare persoană și organizație de pe planetă să realizeze mai mult. Industria mass-media este un exemplu excelent de a transforma această misiune în realitate. Trăim într-o eră în care se creează și se consumă mai mult conținut, în mai multe moduri și pe mai multe dispozitive. La IBC 2019, am împărtășit cele mai recente inovații la care lucrăm și modul în care acestea vă pot ajuta să vă transformați experiența media.
Detalii sub croiala!
Această pagină este activată
Video Indexer acceptă acum animație și conținut multilingv
Anul trecut, la IBC, ne-am făcut premii , iar anul acesta a devenit și mai bine. Video Indexer extrage automat informații și metadate din fișierele media, cum ar fi cuvintele rostite, fețele, emoțiile, subiectele și mărcile, și nu trebuie să fii un expert în învățarea automată pentru a le folosi.
Cele mai recente oferte ale noastre includ previzualizări a două caracteristici foarte căutate și diferențiate — recunoașterea caracterelor animate și transcrierea vorbirii în mai multe limbi — precum și câteva completări la modelele existente disponibile astăzi în Video Indexer.
Recunoașterea personajelor animate
Conținutul animat este unul dintre cele mai populare tipuri de conținut, dar modelele standard de computer vision concepute pentru a recunoaște fețele umane nu funcționează bine cu acesta, mai ales dacă conținutul conține personaje fără trăsături faciale umane. Noua versiune de previzualizare combină Video Indexer cu serviciul Microsoft Azure Custom Vision, oferind un nou set de modele care detectează și grupează automat personajele animate și le fac ușor de etichetat și recunoscut folosind modele integrate de viziune personalizată.
Modelele sunt integrate într-o singură conductă, permițând oricui să folosească serviciul fără cunoștințe de învățare automată. Rezultatele sunt disponibile printr-un portal Video Indexer fără cod sau printr-un API REST pentru integrare rapidă în propriile aplicații.
Am construit aceste modele pentru a lucra cu personaje animate împreună cu unii consumatori care au furnizat conținut animat real pentru instruire și testare. Valoarea noii funcționalități a fost bine rezumată de Andy Gutteridge, director senior de tehnologie de studio și post-producție la Viacom International Media Networks, care a fost unul dintre furnizorii de date: „Adăugarea unei descoperiri robuste de conținut animat bazat pe inteligență artificială va permite să găsim și să catalogăm rapid și eficient metadatele caracterelor din conținutul bibliotecii noastre.
Cel mai important, va oferi echipelor noastre creative capacitatea de a găsi instantaneu conținutul de care au nevoie, minimizând timpul petrecut gestionând media și permițându-le să se concentreze pe creativitate.”
Puteți începe să vă familiarizați cu recunoașterea personajelor animate .
Identificarea și transcrierea conținutului în mai multe limbi
Unele resurse media, cum ar fi știrile, cronicile și interviurile, conțin înregistrări ale unor persoane care vorbesc diferite limbi. Majoritatea capabilităților existente de transmitere a vorbirii în text necesită specificarea în avans a limbii de recunoaștere audio, ceea ce face dificilă transcrierea videoclipurilor multilingve.
Noua noastră funcție de identificare automată a limbii vorbite pentru diferite tipuri de conținut utilizează tehnologia de învățare automată pentru a identifica limbile găsite în materialele media. Odată detectat, fiecare segment de limbă trece automat printr-un proces de transcriere în limba corespunzătoare, apoi toate segmentele sunt combinate într-un singur fișier de transcriere în mai multe limbi.
Transcrierea rezultată este disponibilă ca parte a ieșirii JSON a Video Indexer și ca fișiere de subtitrare. Transcrierea de ieșire este, de asemenea, integrată cu Azure Search, permițându-vă să căutați imediat diferite segmente de limbă în videoclipurile dvs. În plus, transcrierea multilingvă este disponibilă atunci când lucrați cu portalul Video Indexer, astfel încât să puteți vizualiza transcrierea și limba identificată de-a lungul timpului sau să săriți la anumite locuri din videoclip pentru fiecare limbă și să vedeți transcrierea multilingvă ca subtitrări pe măsură ce videoclipul este redat. De asemenea, puteți traduce textul primit în oricare dintre cele 54 de limbi disponibile prin portal și API.
Aflați mai multe despre noua funcție de recunoaștere a conținutului multilingv și despre cum este utilizată în Video Indexer .
Modele suplimentare actualizate și îmbunătățite
De asemenea, adăugăm noi modele la Video Indexer și le îmbunătățim pe cele existente, inclusiv pe cele descrise mai jos.
Extragerea entităților asociate cu persoane și locuri
Ne-am extins capacitățile existente de descoperire a mărcii pentru a include nume și locații binecunoscute, cum ar fi Turnul Eiffel din Paris și Big Ben din Londra. Când apar în transcrierea generată sau pe ecran folosind recunoașterea optică a caracterelor (OCR), informațiile relevante sunt adăugate. Cu această nouă funcție, puteți căuta toate persoanele, locurile și mărcile care au apărut într-un videoclip și puteți vedea detalii despre acestea, inclusiv intervale de timp, descrieri și link-uri către motorul de căutare Bing pentru mai multe informații.
Model de detectare a cadrelor pentru editor
Această nouă caracteristică adaugă un set de „etichete” metadatelor atașate cadrelor individuale în detaliile JSON pentru a reprezenta tipul lor editorial (de exemplu, fotografie largă, fotografie medie, prim-plan, prim-plan extrem, două cadre, mai multe persoane , în aer liber, în interior etc.). Aceste caracteristici ale tipului de fotografie sunt utile atunci când editați videoclipuri pentru clipuri și trailere sau când căutați un anumit stil de fotografiere în scopuri artistice.
Detectarea tipului de cadru în Video Indexer.
Granularitate îmbunătățită a cartografierii IPTC
Modelul nostru de detectare a subiectelor determină subiectul unui videoclip pe baza transcripției, recunoașterea optică a caracterelor (OCR) și a celebrităților detectate, chiar dacă subiectul nu este specificat în mod explicit. Mapăm aceste subiecte detectate în patru zone de clasificare: Wikipedia, Bing, IPTC și IAB. Această îmbunătățire ne permite să includem clasificarea IPTC de nivel al doilea.
Profitați de aceste îmbunătățiri este la fel de ușor ca reindexarea bibliotecii dvs. actuale de indexare video.
Noua funcție de streaming live
În previzualizarea Azure Media Services, oferim și două funcții noi pentru streaming live.
Transcrierea în timp real bazată pe inteligență artificială duce streamingul în direct la nivelul următor
Folosind Azure Media Services pentru streaming live, acum puteți primi un flux de ieșire care include o pistă text generată automat pe lângă conținutul audio și video. Textul este creat folosind transcriere audio în timp real bazată pe inteligență artificială. Tehnicile personalizate sunt aplicate înainte și după conversia vorbire în text pentru a îmbunătăți rezultatele. Track-ul text este ambalat în IMSC1, TTML sau WebVTT, în funcție de faptul că este furnizat în DASH, HLS CMAF sau HLS TS.
Codare de linie în timp real pentru canale OTT 24/7
Folosind API-urile noastre v3, puteți crea, gestiona și difuza canale OTT (over-the-top) și puteți utiliza toate celelalte funcții Azure Media Services, cum ar fi video live la cerere (VOD, video la cerere), ambalare și gestionarea drepturilor digitale ( DRM, managementul drepturilor digitale).
Pentru a vedea versiunile de previzualizare ale acestor funcții, accesați .
Capabilitati noi de generare de pachete
Suport pentru piese de descriere audio
Conținutul difuzat pe canalele de difuzare are adesea o pistă audio cu explicații verbale despre ceea ce se întâmplă pe ecran, în plus față de semnalul audio obișnuit. Acest lucru face programele mai accesibile pentru spectatorii cu deficiențe de vedere, mai ales dacă conținutul este în primul rând vizual. Nou vă permite să adnotați una dintre melodiile audio ca melodie de descriere audio (AD, descriere audio), permițând jucătorilor să pună melodia AD disponibilă spectatorilor.
Se inserează metadatele ID3
Pentru a semnala inserarea de reclame sau evenimente de metadate personalizate către playerul clientului, radiodifuzorii folosesc adesea metadate cronometrate încorporate în videoclip. Pe lângă modurile de semnalizare SCTE-35, acum acceptăm și , definit de dezvoltatorul aplicației pentru utilizare de către aplicația client.
Partenerii Microsoft Azure demonstrează soluții end-to-end
prezintă Bitmovin Video Encoding și Bitmovin Video Player pentru Microsoft Azure. Clienții pot utiliza acum aceste soluții de codare și redare în Azure și pot beneficia de funcții avansate, cum ar fi codificare în trei etape, suport pentru codec AV1/VC, subtitrări multilingve și analiză video pre-integrată pentru QoS, publicitate și urmărire video.
își demonstrează Platforma de gestionare a ciclului de viață al utilizatorului pe Azure. În calitate de furnizor de top de soluții de gestionare a veniturilor și a ciclului de viață al clienților, Evergent utilizează Azure AI pentru a ajuta furnizorii de divertisment premium să îmbunătățească achiziția și păstrarea clienților prin crearea de pachete de servicii și oferte specifice în punctele critice ale ciclului de viață al clienților.
va prezenta serviciul său inteligent de rutare media bazat pe cloud, SRT Hub, care îi ajută pe clienți să transforme fluxurile de lucru end-to-end folosind și transformarea fluxurilor de lucru cu Hublets de la Avid, Telestream, Wowza, Cinegy și Make.tv.
a dezvoltat o suită de servicii media de calitate broadcast pe platforma Azure pentru clienții săi prin satelit și servicii media gestionate. SES va demonstra soluții pentru servicii de redare complet gestionate, inclusiv redare principală, redare localizată, descoperire și înlocuire a reclamelor și codificare multicanal de înaltă calitate, în timp real, 24 x 7 pe Azure.
face disponibile instrumente cloud convenabile și tehnologia de automatizare a semnăturilor pe Azure. Aceste oferte vor face mai ușor pentru organizațiile media să adauge automat subtitrări, inclusiv subtitrări în limbi străine, la fluxurile lor de lucru video live și offline pe Azure.
companie internationala , o companie de servicii tehnologice, și-a integrat platforma OTT SaaS TEPlay în Azure Media Services pentru a furniza conținut OTT din cloud. Tata Elxsi a adus, de asemenea, soluția de monitorizare a calității experienței (QoE) Falcon Eye la Microsoft Azure, oferind analize și metrici pentru luarea deciziilor.
își face platforma de streaming disponibilă pe Azure ca versiune beta. Verizon Media Platform este o soluție OTT gestionată de nivel enterprise, care include DRM, inserare de anunțuri, sesiuni personalizate unu-la-unu, înlocuire dinamică de conținut și livrare video. Integrarea simplifică fluxurile de lucru, suportul global și scala și deblochează unele dintre capabilitățile unice găsite în Azure.
Sursa: www.habr.com