Misi Microsoft adalah memberdayakan setiap orang dan organisasi di dunia untuk mencapai lebih banyak hal. Industri media adalah contoh bagus dalam mewujudkan misi ini. Kita hidup di era di mana lebih banyak konten dibuat dan dikonsumsi, dengan lebih banyak cara, dan di lebih banyak perangkat. Di IBC 2019, kami berbagi inovasi terbaru yang sedang kami kerjakan dan bagaimana inovasi tersebut dapat membantu mengubah pengalaman media Anda.
Detail di bawah potongan!
Halaman ini aktif
Video Indexer sekarang mendukung animasi dan konten multibahasa
Tahun lalu di IBC kami meraih penghargaan , dan tahun ini menjadi lebih baik lagi. Pengindeks Video secara otomatis mengekstrak informasi dan metadata dari file media, seperti kata-kata yang diucapkan, wajah, emosi, topik, dan merek, dan Anda tidak perlu menjadi ahli pembelajaran mesin untuk menggunakannya.
Penawaran terbaru kami mencakup pratinjau dua fitur yang sangat dicari dan berbedaβpengenalan karakter animasi dan transkripsi ucapan multibahasaβserta beberapa tambahan pada model yang sudah ada saat ini di Video Indexer.
Pengenalan Karakter Animasi
Konten animasi adalah salah satu jenis konten yang paling populer, namun model visi komputer standar yang dirancang untuk mengenali wajah manusia tidak berfungsi dengan baik, terutama jika konten tersebut berisi karakter tanpa fitur wajah manusia. Versi pratinjau baru menggabungkan Pengindeks Video dengan layanan Azure Custom Vision dari Microsoft, menghadirkan serangkaian model baru yang secara otomatis mendeteksi dan mengelompokkan karakter animasi dan membuatnya mudah diberi label dan dikenali menggunakan model visi kustom terintegrasi.
Model-model tersebut diintegrasikan ke dalam satu pipeline, sehingga siapa pun dapat menggunakan layanan ini tanpa pengetahuan pembelajaran mesin apa pun. Hasil tersedia melalui portal Pengindeks Video tanpa kode atau melalui REST API untuk integrasi cepat ke dalam aplikasi Anda.
Kami membuat model ini untuk digunakan dengan karakter animasi bersama dengan beberapa konsumen yang menyediakan konten animasi nyata untuk pelatihan dan pengujian. Nilai dari fungsi baru ini disimpulkan dengan baik oleh Andy Gutteridge, direktur senior teknologi studio dan pasca-produksi di Viacom International Media Networks, yang merupakan salah satu penyedia data: βPenambahan penemuan konten animasi bertenaga AI yang kuat akan memungkinkan kami dengan cepat dan efisien menemukan dan membuat katalog metadata karakter dari konten perpustakaan kami.
Yang terpenting, hal ini akan memberikan tim kreatif kami kemampuan untuk segera menemukan konten yang mereka perlukan, meminimalkan waktu yang dihabiskan untuk mengelola media, dan memungkinkan mereka fokus pada kreativitas.β
Anda bisa mulai mengenal pengenalan karakter animasi dengan .
Identifikasi dan transkripsi konten dalam berbagai bahasa
Beberapa sumber media, seperti berita, kronik, dan wawancara, berisi rekaman orang-orang yang berbicara dalam berbagai bahasa. Sebagian besar kemampuan ucapan-ke-teks yang ada memerlukan bahasa pengenalan audio yang harus ditentukan terlebih dahulu, sehingga sulit untuk mentranskripsikan video multibahasa.
Fitur Identifikasi Bahasa Lisan Otomatis kami yang baru untuk berbagai jenis konten menggunakan teknologi pembelajaran mesin untuk mengidentifikasi bahasa yang ditemukan di aset media. Setelah terdeteksi, setiap segmen bahasa secara otomatis menjalani proses transkripsi dalam bahasa yang sesuai, dan kemudian semua segmen digabungkan menjadi satu file transkripsi multi-bahasa.
Transkrip yang dihasilkan tersedia sebagai bagian dari output JSON dari Pengindeks Video dan sebagai file subtitle. Transkrip keluaran juga terintegrasi dengan Azure Search, memungkinkan Anda segera mencari segmen bahasa berbeda di video Anda. Selain itu, transkripsi multibahasa tersedia saat bekerja dengan portal Pengindeks Video, sehingga Anda dapat melihat transkrip dan bahasa yang diidentifikasi dari waktu ke waktu, atau melompat ke tempat tertentu dalam video untuk setiap bahasa dan melihat transkripsi multibahasa sebagai teks saat video diputar. Anda juga dapat menerjemahkan teks yang diterima ke dalam salah satu dari 54 bahasa yang tersedia melalui portal dan API.
Pelajari lebih lanjut fitur pengenalan konten multibahasa baru dan cara penggunaannya di Pengindeks Video .
Model tambahan yang diperbarui dan ditingkatkan
Kami juga menambahkan model baru ke Pengindeks Video dan menyempurnakan model yang sudah ada, termasuk yang dijelaskan di bawah.
Mengekstraksi entitas yang terkait dengan orang dan tempat
Kami telah memperluas kemampuan penemuan merek yang ada untuk menyertakan nama dan lokasi terkenal, seperti Menara Eiffel di Paris dan Big Ben di London. Ketika mereka muncul di transkrip yang dihasilkan atau di layar menggunakan pengenalan karakter optik (OCR), informasi yang relevan ditambahkan. Dengan fitur baru ini, Anda dapat mencari semua orang, tempat, dan merek yang muncul di video dan melihat detailnya, termasuk slot waktu, deskripsi, dan tautan ke mesin pencari Bing untuk informasi lebih lanjut.
Model deteksi bingkai untuk editor
Fitur baru ini menambahkan sekumpulan "tag" ke metadata yang dilampirkan ke masing-masing bingkai dalam detail JSON untuk mewakili jenis editorialnya (misalnya, foto lebar, foto medium, close-up, close-up ekstrem, dua foto, beberapa orang , di luar ruangan, di dalam ruangan, dll.). Karakteristik jenis pengambilan gambar ini berguna saat mengedit video untuk klip dan cuplikan, atau saat mencari gaya pengambilan gambar tertentu untuk tujuan artistik.
Deteksi jenis bingkai di Video Indexer.
Granularitas pemetaan IPTC yang ditingkatkan
Model deteksi topik kami menentukan topik video berdasarkan transkripsi, pengenalan karakter optik (OCR), dan selebritas yang terdeteksi, meskipun topik tersebut tidak ditentukan secara eksplisit. Kami memetakan topik yang terdeteksi ini ke empat area klasifikasi: Wikipedia, Bing, IPTC, dan IAB. Peningkatan ini memungkinkan kami memasukkan klasifikasi IPTC tingkat kedua.
Memanfaatkan penyempurnaan ini semudah mengindeks ulang pustaka Pengindeks Video Anda saat ini.
Fungsionalitas streaming langsung baru
Dalam pratinjau Azure Media Services, kami juga menawarkan dua fitur baru untuk streaming langsung.
Transkripsi real-time yang didukung AI membawa streaming langsung ke level berikutnya
Dengan menggunakan Azure Media Services untuk streaming langsung, Anda kini dapat menerima aliran keluaran yang menyertakan trek teks yang dibuat secara otomatis selain konten audio dan video. Teks dibuat menggunakan transkripsi audio real-time berdasarkan kecerdasan buatan. Teknik khusus diterapkan sebelum dan sesudah konversi ucapan ke teks untuk meningkatkan hasil. Trek teks dikemas dalam IMSC1, TTML, atau WebVTT, bergantung pada apakah trek tersebut disediakan dalam DASH, HLS CMAF, atau HLS TS.
Pengkodean saluran waktu nyata untuk saluran OTT 24/7
Dengan menggunakan API v3 kami, Anda dapat membuat, mengelola, dan menyiarkan saluran OTT (over-the-top), dan menggunakan semua fitur Azure Media Services lainnya seperti video langsung sesuai permintaan (VOD, video sesuai permintaan), pengemasan, dan manajemen hak digital ( DRM, manajemen hak digital).
Untuk melihat versi pratinjau fitur ini, kunjungi .
Kemampuan pembuatan paket baru
Dukungan untuk trek deskripsi audio
Konten yang disiarkan melalui saluran siaran sering kali memiliki trek audio dengan penjelasan verbal tentang apa yang terjadi di layar selain sinyal audio biasa. Hal ini membuat program lebih mudah diakses oleh pemirsa tunanetra, terutama jika konten utamanya adalah visual. Baru memungkinkan Anda memberi anotasi pada salah satu trek audio sebagai trek deskripsi audio (AD, deskripsi audio), memungkinkan pemain membuat trek AD tersedia untuk pemirsa.
Memasukkan metadata ID3
Untuk menandakan penyisipan iklan atau peristiwa metadata khusus ke pemutar klien, penyiar sering kali menggunakan metadata berwaktu yang tertanam dalam video. Selain mode pensinyalan SCTE-35, kini kami juga mendukung , ditentukan oleh pengembang aplikasi untuk digunakan oleh aplikasi klien.
Mitra Microsoft Azure mendemonstrasikan solusi menyeluruh
memperkenalkan Pengodean Video Bitmovin dan Pemutar Video Bitmovin untuk Microsoft Azure. Pelanggan kini dapat memanfaatkan solusi pengkodean dan pemutaran ini di Azure dan memanfaatkan fitur-fitur canggih seperti pengkodean tiga tahap, dukungan codec AV1/VC, subtitle multibahasa, dan analisis video pra-integrasi untuk QoS, periklanan, dan pelacakan video.
mendemonstrasikan Platform Manajemen Siklus Hidup Pengguna di Azure. Sebagai penyedia solusi manajemen pendapatan dan siklus hidup pelanggan terkemuka, Evergent menggunakan Azure AI untuk membantu penyedia hiburan premium meningkatkan akuisisi dan retensi pelanggan dengan membuat paket layanan dan penawaran yang ditargetkan pada titik-titik penting dalam siklus hidup pelanggan.
akan memamerkan layanan perutean media berbasis cloud yang cerdas, SRT Hub, yang membantu pelanggan mengubah alur kerja end-to-end menggunakan dan mengubah alur kerja dengan Hublets dari Avid, Telestream, Wowza, Cinegy, dan Make.tv.
telah mengembangkan serangkaian layanan media tingkat siaran di platform Azure untuk pelanggan satelit dan layanan media terkelola. SES akan mendemonstrasikan solusi untuk layanan pemutaran yang dikelola sepenuhnya, termasuk pemutaran master, pemutaran yang dilokalkan, penemuan dan penggantian iklan, serta pengkodean multi-saluran 24x7 real-time berkualitas tinggi di Azure.
menyediakan alat cloud yang nyaman dan teknologi otomatisasi tanda tangan di Azure. Penawaran ini akan memudahkan organisasi media untuk secara otomatis menambahkan subtitle, termasuk subtitle bahasa asing, ke alur kerja video langsung dan offline mereka di Azure.
perusahaan internasional , sebuah perusahaan layanan teknologi, telah mengintegrasikan platform OTT SaaS TEPlay ke dalam Azure Media Services untuk mengirimkan konten OTT dari cloud. Tata Elxsi juga menghadirkan solusi pemantauan kualitas pengalaman (QoE) Falcon Eye ke Microsoft Azure, menyediakan analitik dan metrik untuk pengambilan keputusan.
membuat platform streamingnya tersedia di Azure sebagai rilis beta. Verizon Media Platform adalah solusi OTT terkelola tingkat perusahaan yang mencakup DRM, penyisipan iklan, sesi personalisasi satu-ke-satu, penggantian konten dinamis, dan pengiriman video. Integrasi ini menyederhanakan alur kerja, dukungan dan penskalaan global, serta membuka beberapa kemampuan unik yang ditemukan di Azure.
Sumber: www.habr.com