12 שירותי Azure Media חדשים עם בינה מלאכותית

המשימה של מיקרוסופט היא להעצים כל אדם וארגון על פני כדור הארץ להשיג יותר. תעשיית התקשורת היא דוגמה מצוינת להפיכת המשימה הזו למציאות. אנו חיים בעידן שבו יותר תוכן נוצר ונצרך, בדרכים רבות יותר וביותר מכשירים. ב-IBC 2019, שיתפנו את החידושים האחרונים שאנחנו עובדים עליהם וכיצד הם יכולים לעזור לשנות את חווית המדיה שלך.

פרטים מתחת לגזרה!

הדף הזה פועל אתר האינטרנט שלנו.

Video Indexer תומך כעת באנימציה ובתוכן רב לשוני

בשנה שעברה ב-IBC הפכנו את הפרסים שלנו Azure Media Services Video Indexer, והשנה זה השתפר עוד יותר. Video Indexer מחלץ אוטומטית מידע ומטא נתונים מקובצי מדיה, כגון מילים מדוברות, פרצופים, רגשות, נושאים ומותגים, ואתה לא צריך להיות מומחה למידת מכונה כדי להשתמש בו.

ההצעות האחרונות שלנו כוללות תצוגה מקדימה של שני מאפיינים מבוקשים ומובחנים - זיהוי דמויות מונפש ותמלול דיבור רב לשוני - וכן מספר תוספות לדגמים הקיימים הזמינים היום ב-Video Indexer.

זיהוי דמויות מונפש

תוכן אנימציה הוא אחד מסוגי התוכן הפופולריים ביותר, אך מודלים סטנדרטיים של ראייה ממוחשבת המיועדים לזהות פנים אנושיים אינם עובדים טוב איתו, במיוחד אם התוכן מכיל דמויות ללא תווי פנים אנושיים. גרסת התצוגה המקדימה החדשה משלבת את Video Indexer עם שירות Azure Custom Vision של מיקרוסופט, ומספקת סט חדש של דגמים שמזהים ומקבצים אוטומטית דמויות מונפשות ומקלות על תיוג וזיהוי באמצעות מודלים משולבים של ראייה מותאמים אישית.

המודלים משולבים בצינור אחד, המאפשר לכל אחד להשתמש בשירות ללא כל ידע של למידת מכונה. התוצאות זמינות דרך פורטל Video Indexer ללא קוד או דרך REST API לשילוב מהיר באפליקציות שלך.

בנינו את המודלים האלה כדי לעבוד עם דמויות מונפשות יחד עם כמה צרכנים שסיפקו תוכן אנימציה אמיתי להדרכה ובדיקה. הערך של הפונקציונליות החדשה סוכם היטב על ידי אנדי גוטרידג', מנהל בכיר לטכנולוגיית אולפן ופוסט-פרודקשן ב-Viacom International Media Networks, שהיה אחד מספקי הנתונים: "התוספת של גילוי תוכן מונפש חזק המופעל על ידי AI תאפשר לנו למצוא ולקטלג מטא נתונים של תווים במהירות וביעילות מתוכן הספרייה שלנו.

והכי חשוב, זה ייתן לצוותים הקריאייטיבים שלנו את היכולת למצוא באופן מיידי את התוכן שהם צריכים, תוך מזעור הזמן המושקע בניהול מדיה ויאפשר להם להתמקד ביצירתיות".

אתה יכול להתחיל להכיר את זיהוי דמויות מונפש עם דפי תיעוד.

זיהוי ותמלול תוכן במספר שפות

משאבי תקשורת מסוימים, כגון חדשות, כרוניקות וראיונות, מכילים הקלטות של אנשים הדוברים שפות שונות. רוב היכולות הקיימות של דיבור לטקסט מחייבות לציין את שפת זיהוי האודיו מראש, מה שמקשה על תמלול סרטונים רב לשוניים.

התכונה החדשה שלנו לזיהוי שפה מדוברת אוטומטית עבור סוגים שונים של תוכן משתמשת בטכנולוגיית למידת מכונה כדי לזהות שפות שנמצאות בנכסי מדיה. לאחר זיהוי, כל קטע שפה עובר אוטומטית תהליך תמלול בשפה המתאימה, ולאחר מכן כל הקטעים משולבים לקובץ תמלול רב שפות יחיד.

התמליל המתקבל זמין כחלק מפלט JSON של Video Indexer וכקובצי כתוביות. תמליל הפלט משולב גם עם Azure Search, ומאפשר לך לחפש מיד קטעי שפה שונים בסרטונים שלך. בנוסף, תמלול רב לשוני זמין בעבודה עם פורטל Video Indexer, כך שתוכלו לצפות בתמליל ובשפה המזוהה לאורך זמן, או לקפוץ למקומות ספציפיים בסרטון עבור כל שפה ולראות את התמלול הרב לשוני ככתוביות תוך כדי הפעלת הסרטון. אתה יכול גם לתרגם את הטקסט שהתקבל לכל אחת מ-54 השפות הזמינות דרך הפורטל וה-API.

למד עוד על התכונה החדשה של זיהוי תוכן רב לשוני וכיצד נעשה בה שימוש ב-Video Indexer לקרוא את התיעוד.

דגמים נוספים מעודכנים ומשופרים

אנחנו גם מוסיפים דגמים חדשים ל-Video Indexer ומשפרים דגמים קיימים, כולל אלה המתוארים להלן.

חילוץ ישויות הקשורות לאנשים ומקומות

הרחבנו את יכולות גילוי המותג הקיימות שלנו לכלול שמות ומיקומים ידועים, כגון מגדל אייפל בפריז וביג בן בלונדון. כאשר הם מופיעים בתמליל שנוצר או על המסך באמצעות זיהוי תווים אופטי (OCR), המידע הרלוונטי מתווסף. עם תכונה חדשה זו, אתה יכול לחפש את כל האנשים, המקומות והמותגים שהופיעו בסרטון ולצפות בפרטים עליהם, כולל משבצות זמן, תיאורים וקישורים למנוע החיפוש של Bing למידע נוסף.

מודל זיהוי מסגרת לעורך

תכונה חדשה זו מוסיפה קבוצה של "תגים" למטא נתונים המצורפים לפריימים בודדים בפרטי ה-JSON כדי לייצג את סוג העריכה שלהם (לדוגמה, צילום רחב, צילום בינוני, תקריב, תקריב קיצוני, שני צילומים, מספר אנשים , בחוץ, בפנים וכו'). מאפייני סוג צילום אלו שימושיים בעת עריכת וידאו עבור קליפים וקדימונים, או כאשר מחפשים סגנון צילום ספציפי למטרות אמנותיות.

למד עוד זיהוי סוג פריים ב-Video Indexer.

פירוט מיפוי IPTC משופר

מודל זיהוי הנושאים שלנו קובע את הנושא של סרטון על סמך תמלול, זיהוי תווים אופטי (OCR) וידוענים שזוהו, גם אם הנושא לא צוין במפורש. אנו ממפים את הנושאים שזוהו לארבעה אזורי סיווג: ויקיפדיה, Bing, IPTC ו-IAB. שיפור זה מאפשר לנו לכלול סיווג IPTC ברמה שנייה.
ניצול השיפורים האלה קל כמו הוספת אינדקס מחדש של ספריית הווידאו אינדקס הנוכחית שלך.

פונקציונליות חדשה של סטרימינג בשידור חי

בתצוגה המקדימה של Azure Media Services, אנו מציעים גם שתי תכונות חדשות לסטרימינג בשידור חי.

תמלול בזמן אמת המופעל על ידי AI מעלה את הסטרימינג בשידור חי לשלב הבא

באמצעות Azure Media Services לסטרימינג בשידור חי, כעת תוכל לקבל זרם פלט הכולל רצועת טקסט שנוצרה אוטומטית בנוסף לתוכן אודיו ווידאו. הטקסט נוצר באמצעות תמלול אודיו בזמן אמת המבוסס על בינה מלאכותית. טכניקות מותאמות אישית מיושמות לפני ואחרי המרת דיבור לטקסט כדי לשפר את התוצאות. מסלול הטקסט ארוז ב-IMSC1, TTML או WebVTT, תלוי אם הוא מסופק ב-DASH, HLS CMAF או HLS TS.

קידוד קו בזמן אמת לערוצי OTT 24/7

באמצעות ממשקי ה-API v3 שלנו, אתה יכול ליצור, לנהל ולשדר ערוצי OTT (over-the-top), ולהשתמש בכל שאר התכונות של Azure Media Services כגון וידאו חי על פי דרישה (VOD, וידאו על פי דרישה), אריזה וניהול זכויות דיגיטליות ( DRM, ניהול זכויות דיגיטליות).
כדי לראות גרסאות תצוגה מקדימה של תכונות אלה, בקר קהילת שירותי המדיה של Azure.

יכולות יצירת חבילות חדשות

תמיכה ברצועות תיאור אודיו

לתוכן המשודר בערוצי שידור יש לרוב רצועת אודיו עם הסברים מילוליים על המתרחש על המסך בנוסף לאות האודיו הרגיל. זה הופך את התוכניות לנגישות יותר לצופים לקויי ראייה, במיוחד אם התוכן הוא חזותי בעיקרו. חָדָשׁ פונקציית תיאור אודיו מאפשר לך להוסיף הערות לאחת מרצועות האודיו כרצועת תיאור אודיו (AD, תיאור אודיו), ומאפשרת לשחקנים להפוך את רצועת ה-AD לזמינה לצופים.

הכנסת מטא נתונים של ID3

כדי לאותת על הכנסת פרסומות או אירועי מטא נתונים מותאמים אישית לנגן של הלקוח, שדרנים משתמשים לעתים קרובות במטא נתונים מתוזמן המוטמע בסרטון. בנוסף למצבי איתות SCTE-35, אנו תומכים כעת גם ID3v2 וסכמות מותאמות אישית אחרות, שהוגדר על ידי מפתח האפליקציה לשימוש על ידי יישום הלקוח.

שותפי Microsoft Azure מדגימים פתרונות מקצה לקצה

Bitmovin מציגה את Bitmovin Video Encoding ואת Bitmovin Video Player עבור Microsoft Azure. לקוחות יכולים כעת למנף את פתרונות הקידוד וההשמעה הללו ב-Azure ולהפיק תועלת מתכונות מתקדמות כגון קידוד תלת-שלבי, תמיכה ב-Codec AV1/VC, כתוביות רב לשוניות וניתוח וידאו משולב מראש עבור QoS, פרסום ומעקב וידאו.

אוורגנט מדגים את פלטפורמת ניהול מחזור חיי המשתמש שלה ב-Azure. כספקית מובילה של פתרונות ניהול הכנסות ומחזור חיי לקוחות, Evergent משתמשת ב-Azure AI כדי לעזור לספקי בידור מובחרים לשפר את רכישת הלקוחות ושימורם על ידי יצירת חבילות שירות והצעות ממוקדות בנקודות קריטיות במחזור חיי הלקוח.

Haivision תציג את שירות ניתוב מדיה אינטליגנטי מבוסס ענן, SRT Hub, המסייע ללקוחות לשנות זרימות עבודה מקצה לקצה באמצעות Azure Data Box Edge ושינוי זרימות העבודה עם Hublets מ-Avid, Telestream, Wowza, Cinegy ו-Make.tv.

SES פיתחה חבילה של שירותי מדיה בדרגת שידור בפלטפורמת Azure עבור לקוחות שירותי הלוויין והמדיה המנוהלים שלה. SES תדגים פתרונות לשירותי פלייאוט מנוהלים במלואם, לרבות פלייאוט ראשי, הפעלה מקומית, גילוי והחלפת מודעות וקידוד רב-ערוצי בזמן אמת 24x7 באיכות גבוהה ב-Azure.

SyncWords הופך כלי ענן נוחים וטכנולוגיית אוטומציה של חתימות לזמינים ב-Azure. הצעות אלו יקלו על ארגוני מדיה להוסיף אוטומטית כתוביות, כולל כתוביות בשפות זרות, לזרימות העבודה של הווידאו החיות והלא מקוונות שלהם ב-Azure.
חברה בינלאומית טטה אלקסי, חברת שירותי טכנולוגיה, שילבה את פלטפורמת ה-OTT SaaS שלה TEPlay ב-Azure Media Services כדי לספק תוכן OTT מהענן. Tata Elxsi גם הביאה את פתרון הניטור של Falcon Eye Quality of experience (QoE) ל-Microsoft Azure, ומספקת ניתוחים ומדדים לקבלת החלטות.

Verizon Media הופכת את פלטפורמת הסטרימינג שלה לזמינה ב-Azure כגרסת בטא. Verizon Media Platform הוא פתרון OTT מנוהל ברמה ארגונית הכולל DRM, הוספת מודעה, הפעלות מותאמות אישית, החלפת תוכן דינמי והגשת וידאו. האינטגרציה מפשטת זרימות עבודה, תמיכה וקנה מידה גלובליים, ופותחת כמה מהיכולות הייחודיות שנמצאות ב-Azure.

מקור: www.habr.com