12 ახალი Azure მედია სერვისი AI-ით

Microsoft-ის მისიაა პლანეტის ყველა ადამიანსა და ორგანიზაციას მიაღწიოს უფრო მეტს. მედია ინდუსტრია ამ მისიის რეალობად ქცევის შესანიშნავი მაგალითია. ჩვენ ვცხოვრობთ ეპოქაში, სადაც მეტი კონტენტი იქმნება და მოიხმარება, მეტი გზით და უფრო მეტ მოწყობილობაზე. IBC 2019-ზე ჩვენ გავუზიარეთ უახლესი ინოვაციები, რომლებზეც ჩვენ ვმუშაობთ და როგორ შეუძლიათ მათ თქვენი მედია გამოცდილების გარდაქმნას.

დეტალები ჭრის ქვეშ!

ეს გვერდი ჩართულია ჩვენი ვებ – გვერდი

ვიდეო ინდექსერი ახლა მხარს უჭერს ანიმაციას და მრავალენოვან კონტენტს

გასულ წელს IBC-ში ჩვენ მივიღეთ ჩვენი ჯილდო Azure Media Services ვიდეო ინდექსატორიდა წელს ეს კიდევ უფრო გაუმჯობესდა. Video Indexer ავტომატურად ამოიღებს ინფორმაციას და მეტამონაცემებს მედია ფაილებიდან, როგორიცაა სალაპარაკო სიტყვები, სახეები, ემოციები, თემები და ბრენდები, და თქვენ არ გჭირდებათ იყოთ მანქანური სწავლის ექსპერტი მის გამოსაყენებლად.

ჩვენი უახლესი შეთავაზებები მოიცავს გადახედვას ორი მეტად მოთხოვნადი და დიფერენცირებული ფუნქციის - ანიმაციური პერსონაჟების ამოცნობისა და მრავალენოვანი მეტყველების ტრანსკრიფციის - ასევე რამდენიმე დამატებას არსებულ მოდელებზე, რომლებიც დღეს ხელმისაწვდომია Video Indexer-ში.

ანიმაციური პერსონაჟების ამოცნობა

ანიმაციური კონტენტი კონტენტის ერთ-ერთი ყველაზე პოპულარული სახეობაა, მაგრამ სტანდარტული კომპიუტერული ხედვის მოდელები, რომლებიც შექმნილია ადამიანის სახეების ამოსაცნობად, კარგად არ მუშაობს, განსაკუთრებით თუ კონტენტი შეიცავს პერსონაჟებს ადამიანის სახის მახასიათებლების გარეშე. ახალი გადახედვის ვერსია აერთიანებს Video Indexer-ს Microsoft-ის Azure Custom Vision სერვისთან, აწვდის მოდელების ახალ კომპლექტს, რომლებიც ავტომატურად ამოიცნობს და აჯგუფებს ანიმაციურ პერსონაჟებს და აადვილებს მათ მარკირებას და ამოცნობას ინტეგრირებული მორგებული ხედვის მოდელების გამოყენებით.

მოდელები ინტეგრირებულია ერთ მილსადენში, რაც საშუალებას აძლევს ნებისმიერს გამოიყენოს სერვისი მანქანური სწავლის ცოდნის გარეშე. შედეგები ხელმისაწვდომია კოდის გარეშე Video Indexer პორტალით ან REST API-ით, თქვენს აპლიკაციებში სწრაფი ინტეგრაციისთვის.

ჩვენ ავაშენეთ ეს მოდელები ანიმაციურ პერსონაჟებთან მუშაობისთვის ზოგიერთ მომხმარებელთან ერთად, რომლებიც უზრუნველყოფდნენ რეალურ ანიმაციურ შინაარსს ტრენინგისა და ტესტირებისთვის. ახალი ფუნქციის ღირებულება კარგად შეაჯამა ენდი გუტერიჯმა, Viacom International Media Networks-ის სტუდიის ტექნოლოგიისა და პოსტწარმოების უფროსმა დირექტორმა, რომელიც იყო მონაცემთა ერთ-ერთი პროვაიდერი: „ძლიერი ხელოვნური ინტელექტის მქონე ანიმაციური კონტენტის აღმოჩენა საშუალებას მოგცემთ. ჩვენ სწრაფად და ეფექტურად ვიპოვოთ და დავაკატალოგოთ სიმბოლოების მეტამონაცემები ჩვენი ბიბლიოთეკის შინაარსიდან.

რაც მთავარია, ის მისცემს ჩვენს კრეატიულ გუნდებს შესაძლებლობას, მყისიერად იპოვონ მათთვის საჭირო კონტენტი, მინიმუმამდე დაიყვანონ მედიის მართვაზე დახარჯული დრო და მიეცით საშუალება ფოკუსირება მოახდინონ კრეატიულობაზე.”

შეგიძლიათ დაიწყოთ პერსონაჟების ანიმაციური ამოცნობის გაცნობა დოკუმენტაციის გვერდები.

შინაარსის იდენტიფიკაცია და ტრანსკრიფცია მრავალ ენაზე

ზოგიერთი მედია რესურსი, როგორიცაა ახალი ამბები, ქრონიკები და ინტერვიუები, შეიცავს სხვადასხვა ენაზე მოლაპარაკე ადამიანების ჩანაწერებს. მეტყველების ტექსტში არსებული შესაძლებლობების უმეტესობა მოითხოვს აუდიო ამოცნობის ენის წინასწარ მითითებას, რაც ართულებს მრავალენოვანი ვიდეოების ტრანსკრიბციას.

ჩვენი ახალი ავტომატური სალაპარაკო ენის იდენტიფიკაციის ფუნქცია სხვადასხვა ტიპის კონტენტისთვის იყენებს მანქანათმცოდნეობის ტექნოლოგიას მედია აქტივებში ნაპოვნი ენების იდენტიფიცირებისთვის. აღმოჩენის შემდეგ, თითოეული ენის სეგმენტი ავტომატურად გადის ტრანსკრიფციის პროცესს შესაბამის ენაზე და შემდეგ ყველა სეგმენტი გაერთიანებულია ერთ მრავალენოვან ტრანსკრიფციის ფაილში.

შედეგად მიღებული ტრანსკრიპტი ხელმისაწვდომია ვიდეო ინდექსერის JSON გამომავალი ნაწილისა და სუბტიტრების ფაილების სახით. გამომავალი ტრანსკრიპტი ასევე ინტეგრირებულია Azure Search-თან, რაც საშუალებას გაძლევთ დაუყოვნებლივ მოძებნოთ სხვადასხვა ენის სეგმენტები თქვენს ვიდეოებში. გარდა ამისა, მრავალენოვანი ტრანსკრიფცია ხელმისაწვდომია Video Indexer პორტალთან მუშაობისას, ასე რომ თქვენ შეგიძლიათ ნახოთ ტრანსკრიპტი და იდენტიფიცირებული ენა დროთა განმავლობაში, ან გადახვიდეთ ვიდეოში კონკრეტულ ადგილებზე თითოეული ენისთვის და იხილოთ მრავალენოვანი ტრანსკრიფცია სუბტიტრების სახით, როდესაც ვიდეო უკრავს. თქვენ ასევე შეგიძლიათ თარგმნოთ მიღებული ტექსტი 54 ხელმისაწვდომ ენაზე პორტალისა და API-ის საშუალებით.

შეიტყვეთ მეტი ახალი მრავალენოვანი კონტენტის ამოცნობის ფუნქციისა და მისი გამოყენების შესახებ ვიდეო ინდექსერში წაიკითხეთ დოკუმენტაცია.

დამატებითი განახლებული და გაუმჯობესებული მოდელები

ჩვენ ასევე ვამატებთ ახალ მოდელებს Video Indexer-ში და ვაუმჯობესებთ არსებულებს, მათ შორის ქვემოთ აღწერილის.

ადამიანებთან და ადგილებთან დაკავშირებული ერთეულების მოპოვება

ჩვენ გავაფართოვეთ ჩვენი არსებული ბრენდის აღმოჩენის შესაძლებლობები, რათა მოიცავდეს ცნობილი სახელები და ადგილები, როგორიცაა ეიფელის კოშკი პარიზში და ბიგ ბენი ლონდონში. როდესაც ისინი გამოჩნდებიან გენერირებულ ტრანსკრიპტში ან ეკრანზე ოპტიკური სიმბოლოების ამოცნობის (OCR) გამოყენებით, ემატება შესაბამისი ინფორმაცია. ამ ახალი ფუნქციით, შეგიძლიათ მოძებნოთ ყველა ადამიანი, ადგილი და ბრენდი, რომლებიც გამოჩნდა ვიდეოში და ნახოთ დეტალები მათ შესახებ, მათ შორის დროის სლოტები, აღწერილობები და Bing საძიებო სისტემის ბმულები დამატებითი ინფორმაციისთვის.

ჩარჩოს ამოცნობის მოდელი რედაქტორისთვის

ეს ახალი ფუნქცია ამატებს მეტამონაცემებს, რომლებიც მიმაგრებულია ცალკეულ კადრებზე JSON დეტალებში, რათა წარმოადგინოს მათი სარედაქციო ტიპი (მაგალითად, ფართო კადრი, საშუალო კადრი, ახლო კადრები, უკიდურესი ახლო ხედები, ორი კადრი, მრავალი ადამიანი , გარე, შიდა და ა.შ.). გადაღების ტიპის ეს მახასიათებლები სასარგებლოა კლიპებისა და თრეილერებისთვის ვიდეოს რედაქტირებისას, ან მხატვრული მიზნებისთვის კონკრეტული კადრის სტილის ძიებისას.

Გაიგე მეტი კადრის ტიპის ამოცნობა ვიდეო ინდექსერში.

გაძლიერებული IPTC რუკების მარცვლიანობა

თემის ამოცნობის ჩვენი მოდელი განსაზღვრავს ვიდეოს თემას ტრანსკრიფციის, სიმბოლოების ოპტიკური ამოცნობის (OCR) და გამოვლენილი ცნობილი ადამიანების საფუძველზე, მაშინაც კი, თუ თემა ცალსახად არ არის მითითებული. ჩვენ ვაფიქსირებთ ამ აღმოჩენილ თემებს ოთხ კლასიფიკაციის სფეროს: Wikipedia, Bing, IPTC და IAB. ეს გაუმჯობესება საშუალებას გვაძლევს შევიტანოთ მეორე დონის IPTC კლასიფიკაცია.
ამ გაუმჯობესებებით სარგებლობა ისეთივე მარტივია, როგორც თქვენი მიმდინარე ვიდეო ინდექსატორის ბიბლიოთეკის ხელახალი ინდექსირება.

ახალი პირდაპირი სტრიმინგის ფუნქცია

Azure Media Services-ის გადახედვისას, ჩვენ ასევე გთავაზობთ ორ ახალ ფუნქციას პირდაპირი სტრიმინგისთვის.

AI-ზე მომუშავე რეალურ დროში ტრანსკრიფცია პირდაპირ ეთერში გადადის შემდეგ დონეზე

პირდაპირი სტრიმინგისთვის Azure Media Services-ის გამოყენებით, ახლა შეგიძლიათ მიიღოთ გამომავალი ნაკადი, რომელიც მოიცავს ავტომატურად გენერირებულ ტექსტურ ტრეკს აუდიო და ვიდეო კონტენტის გარდა. ტექსტი იქმნება რეალურ დროში აუდიო ტრანსკრიფციის გამოყენებით ხელოვნური ინტელექტის საფუძველზე. მორგებული ტექნიკები გამოიყენება მეტყველების ტექსტში კონვერტაციამდე და შემდეგ შედეგების გასაუმჯობესებლად. ტექსტური ტრეკი შეფუთულია IMSC1, TTML ან WebVTT-ში, იმისდა მიხედვით, არის თუ არა იგი მოწოდებული DASH, HLS CMAF თუ HLS TS.

რეალურ დროში ხაზის კოდირება 24/7 OTT არხებისთვის

ჩვენი v3 API-ების გამოყენებით, შეგიძლიათ შექმნათ, მართოთ და გადასცეთ OTT (ზედმეტად) არხები და გამოიყენოთ Azure Media Services-ის ყველა სხვა ფუნქცია, როგორიცაა პირდაპირი ვიდეო მოთხოვნით (VOD, ვიდეო მოთხოვნით), შეფუთვა და ციფრული უფლებების მართვა ( DRM, ციფრული უფლებების მართვა).
ამ ფუნქციების წინასწარი ვერსიების სანახავად ეწვიეთ Azure Media Services საზოგადოება.

ახალი პაკეტის გენერირების შესაძლებლობები

აუდიო აღწერილობის ტრეკების მხარდაჭერა

სამაუწყებლო არხებით გადაცემულ კონტენტს ხშირად აქვს აუდიო ჩანაწერი სიტყვიერი ახსნა-განმარტებით იმის შესახებ, თუ რა ხდება ეკრანზე, ჩვეულებრივი აუდიო სიგნალის გარდა. ეს ხდის პროგრამებს უფრო ხელმისაწვდომს მხედველობის დაქვეითებული მაყურებლისთვის, განსაკუთრებით თუ კონტენტი ძირითადად ვიზუალურია. ახალი აუდიო აღწერილობის ფუნქცია საშუალებას გაძლევთ დაასახელოთ ერთ-ერთი აუდიო ჩანაწერი, როგორც აუდიო აღწერილობის ტრეკი (AD, აუდიო აღწერა), რაც საშუალებას აძლევს მოთამაშეებს, გახადონ AD ჩანაწერი ხელმისაწვდომი მაყურებლისთვის.

ID3 მეტამონაცემების ჩასმა

კლიენტის პლეერისთვის რეკლამების ან მეტამონაცემების მორგებული მოვლენების ჩასართავად, მაუწყებლები ხშირად იყენებენ ვიდეოში ჩაშენებულ დროულ მეტამონაცემებს. SCTE-35 სასიგნალო რეჟიმების გარდა, ახლა ჩვენ ასევე ვუჭერთ მხარს ID3v2 და სხვა საბაჟო სქემები, განსაზღვრულია აპლიკაციის შემქმნელის მიერ კლიენტის აპლიკაციისთვის გამოსაყენებლად.

Microsoft Azure-ის პარტნიორები აჩვენებენ ბოლომდე გადაწყვეტილებებს

ბიტმოვი წარმოგიდგენთ Bitmovin Video Encoding და Bitmovin Video Player Microsoft Azure-ისთვის. მომხმარებელს ახლა შეუძლია გამოიყენოს ეს კოდირებისა და დაკვრის გადაწყვეტილებები Azure-ში და ისარგებლოს მოწინავე ფუნქციებით, როგორიცაა სამეტაპიანი კოდირება, AV1/VC კოდეკის მხარდაჭერა, მრავალენოვანი სუბტიტრები და წინასწარ ინტეგრირებული ვიდეო ანალიტიკა QoS-ისთვის, რეკლამისთვის და ვიდეო თვალთვალისთვის.

ევერგენტი აჩვენებს მომხმარებლის სიცოცხლის ციკლის მართვის პლატფორმას Azure-ზე. როგორც შემოსავლებისა და მომხმარებელთა სასიცოცხლო ციკლის მართვის გადაწყვეტილებების წამყვანი მიმწოდებელი, Evergent იყენებს Azure AI-ს, რათა დაეხმაროს პრემიუმ გართობის პროვაიდერებს გააუმჯობესონ მომხმარებელთა მოზიდვა და შენარჩუნება, მიზნობრივი სერვისის პაკეტებისა და შეთავაზებების შექმნით მომხმარებლის სასიცოცხლო ციკლის კრიტიკულ წერტილებში.

ჰაივირი წარმოაჩენს თავის ინტელექტუალურ ღრუბელზე დაფუძნებულ მედიის მარშრუტიზაციის სერვისს, SRT Hub, რომელიც ეხმარება მომხმარებლებს შეცვალონ სამუშაო ნაკადები ბოლოდან ბოლომდე. Azure Data Box Edge და სამუშაო ნაკადების ტრანსფორმაცია Hublets-ით Avid, Telestream, Wowza, Cinegy და Make.tv-დან.

SES შეიმუშავა სამაუწყებლო დონის მედია სერვისების კომპლექტი Azure პლატფორმაზე თანამგზავრული და მართული მედია სერვისების მომხმარებლებისთვის. SES წარმოაჩენს გადაწყვეტილებებს სრულად მართული პლეაუტის სერვისებისთვის, მათ შორის ძირითადი დაკვრის, ლოკალიზებული დაკვრის, რეკლამის აღმოჩენა და ჩანაცვლება და მაღალი ხარისხის რეალურ დროში 24x7 მრავალარხიანი კოდირება Azure-ზე.

SyncWords ხდის მოსახერხებელ ღრუბლოვან ხელსაწყოებს და ხელმოწერის ავტომატიზაციის ტექნოლოგიას ხელმისაწვდომი Azure-ზე. ეს შეთავაზებები გაუადვილებს მედია ორგანიზაციებს, ავტომატურად დაამატონ სუბტიტრები, მათ შორის უცხოენოვანი სუბტიტრები, Azure-ზე მათ პირდაპირ და ხაზგარეშე ვიდეო ნამუშევრებში.
საერთაშორისო კომპანია ტატა ელქსისიტექნოლოგიური სერვისების კომპანიამ თავისი OTT SaaS პლატფორმა TEPlay გააერთიანა Azure Media Services-ში OTT კონტენტის ღრუბლიდან მიწოდებისთვის. Tata Elxsi-მ Microsoft Azure-ს ასევე მოუტანა Falcon Eye ხარისხის გამოცდილების მონიტორინგის გადაწყვეტა, რომელიც უზრუნველყოფს ანალიტიკას და მეტრიკას გადაწყვეტილების მიღებისთვის.

Verizon Media ხდის მის სტრიმინგ პლატფორმას ხელმისაწვდომი Azure-ზე ბეტა გამოშვების სახით. Verizon Media Platform არის საწარმოს დონის მართული OTT გადაწყვეტა, რომელიც მოიცავს DRM-ს, რეკლამის ჩასმას, პერსონალიზებულ სესიებს, დინამიური კონტენტის ჩანაცვლებას და ვიდეოს მიწოდებას. ინტეგრაცია ამარტივებს სამუშაო პროცესებს, გლობალურ მხარდაჭერას და მასშტაბებს და ხსნის Azure-ში ნაპოვნი უნიკალურ შესაძლებლობებს.

წყარო: www.habr.com