הפונקציה של מיקוד מצלמה באמצעות קול הפכה נגישה יותר - הפתרון האוניברסלי SmartCam A12 Voice Tracking

נושא המעקב אחר משתתף דובר בוועידת וידאו צבר תאוצה במהלך השנים האחרונות. הטכנולוגיה אפשרה הטמעה של אלגוריתמים מורכבים לעיבוד מידע אודיו/וידאו בזמן אמת, מה שגרם לפוליקום, לפני כמעט 10 שנים, להציג את פתרון המיינסטרים הראשון בעולם עם מעקב רמקולים אוטומטי אינטליגנטי. במשך כמה שנים הם הצליחו להישאר הבעלים היחידים של פתרון כזה, אך סיסקו לא נאלצה לחכות זמן רב והביאה לשוק את הגרסה שלהם למערכת אינטליגנטית בעלת שתי מצלמות, שהייתה מתחרה הוגנת לפתרון של פוליקום. במשך שנים רבות, קטע זה של שיחות ועידה בווידאו הוגבל על ידי היכולות של כמה קנייני מוצרים, אבל מאמר זה מוקדש לראשון אוניברסלי פתרון להנחיית מצלמה בקול, תואם הן לתשתית החומרה והן לתשתית של שיחות ועידה בווידאו.
לפני המעבר לתיאור פתרונות והדגמת יכולות, אני רוצה לציין אירוע חשוב:
אני מתכבד להציג בפני קהילת החברה רכזת חדשה, המוקדש לפתרונות ועידת וידאו (VCC). כעת, הודות למאמצים המשותפים (שלי ועב"מים), שיחת ועידה בוידאו יש לו בית משלו ב-Habré, ואני מזמין את כל מי שעוסק בנושא נרחב ועדכני זה להירשם אליו רכזת חדשה.

שני תרחישים לכיוון המצלמה אל הרמקול

נכון לעכשיו, אינטגרטורים של פתרונות ועידת וידאו בוחרים לעצמם שתי דרכים שונות ליישם את משימת המיקוד למציג:

1. אוטומטי - אינטליגנטי
2. חצי אוטומטי - ניתן לתכנות

האפשרות הראשונה היא רק פתרונות של סיסקו, פוליקום ויצרנים אחרים; נשקול אותם להלן. כאן אנו עוסקים באוטומציה מלאה של הפניית המצלמה אל המשתתף הדובר בוועידת הווידאו. אלגוריתמים ייחודיים לעיבוד אותות אודיו/וידאו מאפשרים למצלמה לבחור את המיקום הרצוי באופן עצמאי.

האפשרות השנייה היא מערכות אוטומציה המבוססות על בקרי בקרה חיצוניים שונים; לא נשקול אותם בפירוט, כי המאמר מוקדש במיוחד למעקב אוטומטי אחר רמקולים.
יש לא מעט תומכים בתרחיש השני ליישום הצבעת מצלמה, ויש לכך סיבות. אינטגרטורים מנוסים מבינים שפתרונות חכמים של Polycom ו-Cisco דורשים תנאי הפעלה אידיאליים כדי שהאוטומציה תתפקד כראוי. אבל לא תמיד ניתן לספק תנאים כאלה, ולכן פעולת המערכת מובטחת לפעמים על ידי הפתרון הבא לבעיית הצבעת המצלמה:

1. כל הקביעות הקבועות מראש הנדרשות (מיקומי מכשיר ה-PTZ ומקדם זום אופטי) מוזנות ידנית מראש לזיכרון המצלמה (או לפעמים לבקר הבקרה). ככלל, זוהי תוכנית כללית של חדר הישיבות, ותצוגה של כל משתתף בוועידה במצב דיוקן.

2. לאחר מכן, היוזמים להתקשרות להגדרה מראש הנדרשת מותקנים במקומות שצוינו - אלו הן קונסולות מיקרופון או כפתורי רדיו, באופן כללי, כל מכשיר שיכול לספק לבקר הבקרה אות שהוא מבין.

3. בקר הבקרה מתוכנת בצורה כזו שלכל יוזם יש הגדרה מראש משלו. תוכנית כללית של החדר - כל היוזמים כבויים.
כתוצאה מכך, בעת שימוש במערכת קונגרס, למשל, ובבקר בקרה, הדובר, לפני שמתחיל את נאומו, מפעיל את קונסולת המיקרופון האישית שלו. מערכת הבקרה מעבדת באופן מיידי את מיקום המצלמה השמורה.

תרחיש זה עובד ללא רבב - המערכת אינה צריכה לבצע טריאנגולציה קולית וניתוח וידאו. לחצתי על הכפתור וההגדרה מראש עבדה, ללא עיכובים או תוצאות שגויות.
מערכות בקרה ואוטומציה משמשות בחדרים גדולים ומורכבים, שבהם מותקנות לפעמים לא אחת, אלא כמה מצלמות וידאו. ובכן, לחדרי ישיבות קטנים ובינוניים, מערכות אוטומטיות מתאימות למדי (אם יש לך תקציב).
נתחיל עם האבות המייסדים.

מנהל Polycom EagleEye

הפתרון הזה יצר פעם סנסציה בתחום שיחות ועידה בווידאו. Polycom EagleEye Director היה הפתרון הראשון בתחום הנחיית המצלמה החכמה. הפתרון מורכב מיחידת בסיס EagleEye Director ושתי מצלמות. הייחודיות של היישום הראשון הוא שמצלמה אחת מוקצית רק לתצוגה מקרוב של הדובר, והשנייה - לתוכנית כללית של חדר הישיבות. יחד עם זאת, ניתן למקם את מצלמת התכנית הכללית בנפרד לחלוטין מהבסיס במקום אחר בחדר הישיבות – היא אינה מעורבת ישירות בתהליך ההדרכה האוטומטי.
המערכת פועלת באופן הבא:

1. מצלמת החדר הכללית פעילה - כולם שותקים
2. הרמקול מתחיל לדבר – מערך המיקרופונים קולט את הקול, המצלמה נעה לעבר הסאונד באמצעות טכנולוגיה מוגנת בפטנט הכוללת משולש קול. המצלמה הכללית עדיין פעילה
3. המצלמה הראשית רק מתחילה לחפש את מקור הקול, ומבצעת ניתוח וידאו. המערכת מזהה את הרמקול על ידי חיבור עין-אף-פה, ממסגרת את תמונת הרמקול ומציגה את הזרם מהמצלמה הראשית
4. הרמקול משתנה. מערך המיקרופונים מבין שהקול מגיע ממקום אחר. התוכנית הכללית מופעלת שוב.
5. ואז במעגל, החל מנקודה 2
6. אם הרמקול החדש נמצא במסגרת עם הקודם, המערכת מבצעת שינוי מיקום "חם" מבלי לשנות את הזרימה הפעילה לזריקה הכללית.

החיסרון, לדעתי, הוא נוכחות של מצלמה ראשית אחת בלבד. זה גורם לעיכוב משמעותי בעת החלפת רמקולים. ובכל פעם ברגע ההצבעה, המערכת מפעילה את התוכנית הכללית של החדר - תוך כדי שיחה ערה, ההבהוב הזה מתחיל לעצבן.

Polycom EagleEye Director II

זוהי הגרסה השנייה של הפתרון מבית Polycom, שיצאה יחסית לאחרונה. עקרון הפעולה עבר שינויים והפך יותר לפתרון של סיסקו. כעת שתי מצלמות ה-PTZ הן העיקריות ומשמשות להחלפת ערוצים בצורה חלקה ממגיש אחד לאחר. הפריסה הכללית של חדר הישיבות נלכדת כעת על ידי מצלמה נפרדת המשולבת בגוף יחידת הבסיס EagleEye Director II. מסיבה כלשהי, הזרם ממצלמה רחבה זו מוצג בחלון נוסף בפינת המסך, התופס 1/9 מהזרם הראשי. עקרון המיקום זהה - טריאנגולציה קולית וניתוח זרם וידאו. וצווארי הבקבוק זהים: אם המערכת לא תראה את הפה המדבר, המצלמה לא תכוון. והמצב הזה יכול לקרות לעתים קרובות למדי - הדובר התפנה, הדובר הסתובב הצידה, הדובר הוא דובר חדרים, הדובר כיסה את פיו בידו או במסמך.
שני סרטוני התדמית צולמו בצורה מוכשרת - 2 אנשים מדברים בתורות, ופותחים את הפה כאילו בפגישה עם קלינאית תקשורת. אבל גם בתנאים מעודנים כאלה יש עיכוב משמעותי מאוד. אבל המסגור הוא ללא דופי - צילום דיוקן נוח.

Cisco TelePresence SpeakerTrack 60

כדי לתאר פתרון זה, אשתמש בטקסט מהחוברת הרשמית.
SpeakerTrack 60 נוקט בגישה ייחודית של מצלמה כפולה כדי לעבור במהירות ישירות בין המשתתפים. מצלמה אחת מוצאת במהירות תקריב של המציג הפעיל, בעוד שהשנייה מחפשת ומציגה את המציג הבא. תכונת MultiSpeaker מונעת החלפה מיותרת אם הרמקול הבא כבר קיים במסגרת הנוכחית.
לרוע המזל, לא הייתה לי הזדמנות לבדוק את ה-SpeakerTrack 60 בעצמי. לכן, יש להסיק מסקנות על סמך חוות הדעת "מהשטח" ועל סמך תוצאות הניתוח של סרטון ההדגמה שלהלן. ספרתי עיכוב מקסימלי של כמעט 8 שניות כשהצבעתי על מנחה חדש. העיכוב הממוצע היה 2-3 שניות, אם לשפוט לפי הסרטון.

מצלמת וידאו מעקב חכמה של HUAWEI VPT300

נתקלתי בפתרון הזה מ-Huawei במקרה. המערכת עולה כ-9 אלף דולר. עובד רק עם מסופי Huawei. המפתחים הוסיפו "טריק" משלהם - פריסת וידאו משני רמקולים על מסך אחד אם אין אף אחד אחר בחדר. מבחינת מאפיינים ופונקציונליות מוצהרת, מדובר בגרסה מעניינת מאוד של מערכת ההדרכה האוטומטית. אבל, לצערי, לא מצאתי שום חומר הדגמה. הסרטון היחיד שהופיע בנושא זה היה סקירת וידיאו ערוכה של הפתרון, ללא סאונד מקורי, המושמע. לפיכך, לא ניתן היה להעריך את איכות המערכת. מסיבה זו, לא אשקול אפשרות זו.
אני רואה של-Huawei יש בלוג פעיל על Habré - אולי עמיתים יוכלו לפרסם מידע שימושי על המוצר הזה.

חדש - פתרון אוניברסלי SmartCam A12 מעקב קולי

SmartCam A12VT - מונובלוק, כולל שתי מצלמות PTZ למעקב אחר רמקולים, שתי מצלמות מובנות לניתוח הפריסה הכללית של החדר, וכן מערך מיקרופונים מובנה בבסיס המארז - כפי שניתן לראות, אין מגושם ו מבנים שבירים כמו אלה של יריבים.
לפני שאתחיל לתאר את המוצר החדש, ארכיב את המאפיינים והתכונות של הפתרונות של סיסקו ופוליקום כדי שאוכל להשוות SmartCam A12VT עם הצעות קיימות.

מנהל Polycom EagleEye

• עלות קמעונאית של המערכת ללא מסוף - $ 13K
• עלות מינימלית של פתרון EagleEye Director + RealPresence Group 500 — $ 19K
• עיכוב מיתוג ממוצע 3 שניות
• הדרכה קולית + ניתוח וידאו
• דרישות גבוהות לפניו של הדובר - אי אפשר להסתיר את הפה
• אי התאמה לציוד של צד שלישי

Cisco TelePresence SpeakerTrack 60

• עלות קמעונאית של המערכת ללא מסוף - $ 15,9K
• עלות מינימלית של פתרון ה-Codec TelePresence SpeakerTrack 60 + SX80 - $ 30K
• עיכוב מיתוג ממוצע 3 שניות
• הדרכה קולית + ניתוח וידאו
• דרישות לפניו של הדובר - לא בדק, לא מצא מידע
• אי התאמה לציוד של צד שלישי

SmartCam A12 מעקב קולי

• עלות קמעונאית של המערכת ללא מסוף - $ 6,2K
• עלות פתרון מינימלית SmartCam A12VT + Yealink VC880 - $ 10.8K
• עלות פתרון מינימלית מסוף תוכנה SmartCam A12VT+ - $ 7,7K
• עיכוב מיתוג ממוצע 3 שניות
• הדרכה קולית + ניתוח וידאו
• דרישות לפנים הדובר - ללא דרישות
• תאימות צד שלישי - HDMI

כשני יתרונות עיקריים ובלתי ניתנים להכחשה של הפתרון SmartCam A12 מעקב קולי אני מצאתי:

1. צדדיות של קישוריות - באמצעות HDMI, המערכת משתלבת עם מערכות מסוף ועידת וידאו בחומרה ותוכנה כאחד
2. עלות נמוכה - עם פונקציונליות דומה, A12VT הוא הרבה יותר משתלם בתקציב מאשר ההצעות שתוארו לעיל.

כדי להדגים כיצד המערכת פועלת, הקלטנו סקירת וידאו. המשימה לא הייתה כל כך פרסום אלא פונקציונלית. לכן, הסרטון חף מפאתוס של סרטון תדמית של פוליקום. המקום שנבחר למצגת לא היה נציגות, אלא חדר ישיבות מעבדה של שותפתנו, חברת IPMatika.
המטרה שלי הייתה לא להסתיר את הפגמים של המערכת, אלא להיפך, לחשוף את צווארי הבקבוק של הפונקציונליות, לאלץ את המערכת לעשות טעויות.

לדעתי, המערכת עברה את המבחנים בהצלחה. אני אומר את זה בביטחון כי בזמן כתיבת מאמר זה, הפתרון SmartCam A12 מעקב קולי ביקר בתריסר חדרי ישיבות אמיתיים של הלקוחות שלנו. תקלות של האוטומציה נצפו אך ורק בתנאים של הפרה של כללי ההפעלה המומלצים. בפרט, המרחק המינימלי למשתתפים בקרבת מקום. אם אתה יושב קרוב מאוד למצלמה, פחות ממטר, מערך המיקרופונים לא יוכל לזהות אותך והעדשה לא תוכל לעקוב אחריך.

בנוסף למרחק, ישנה דרישה נוספת - גובה המצלמה.

אם המצלמה מותקנת נמוך מדי, עלולות להתרחש בעיות במיקום הקול. האפשרות מתחת לטלוויזיה, למרבה הצער, לא עבדה.
אבל התקנת המערכת מעל התקן תצוגה היא דרך אידיאלית לפעולת המכשיר. מדף המצלמה כלול; רק תושבת הקיר נתמכת כסטנדרט.

כיצד פועל מעקב קולי SmartCam A12

לעדשות ה-PTZ הראשיות יש תפקידים שווים - המשימה שלהן היא לעקוב אחר מציגים לסירוגין ולהציג את התוכנית הכוללת. ניתוח התמונה הכוללת בחדר וקביעת המרחק לחפצים מתבצע באמצעות זרמי וידאו המתקבלים משתי מצלמות המשולבות בבסיס המערכת. תכונה זו מאפשרת להפחית את זמן התגובה של העדשה בעת החלפת הרמקול ל-1-2 שניות. המצלמה מצליחה לעבור לסירוגין בין המשתתפים בקצב נוח, גם אם הם מחליפים משפטים קצרים.
הדגמת וידאו של פעולת המערכת משקפת במלואה את הפונקציונליות SmartCam A12VT. אבל, למי שלא צפה בסרטון, אתאר במילים את עקרון הפעולה של האוטומציה:

1. החדר ריק: אחת העדשות מציגה את התוכנית הכללית, השנייה מוכנה - מחכה לאנשים
2. אנשים נכנסים לחדר ומתיישבים: העדשה הפנויה מוצאת את שני המשתתפים הקיצוניים וממסגרת את התמונה סביבם, חותכת את החלק הריק של החדר
3. בזמן שאנשים זזים, העדשות עוקבות בתורו אחר כל מי שנמצא בחדר, ושומרות אותם במרכז הפריים
4. הדובר מתחיל לדבר: העדשה פעילה, מותאמת לתוכנית הכללית. השני מכוון לרמקול, ורק אז עובר למצב שידור
5. הרמקול משתנה: העדשה המותאמת לרמקול הראשון פעילה, והעדשה השנייה מפילה את הצילום הרחב ומתכווננת לרמקול החדש
6. ברגע של מעבר התמונה מהרמקול הראשון לשני, העדשה הפנויה מותאמת באופן מיידי לתוכנית הכללית של החדר
7. אם כולם שותקים, העדשה החינמית תציג תוכנית כללית מוכנה ללא עיכובים
8. אם הרמקול ישתנה שוב, העדשה הפנויה תלך לחפש אותו

מסקנה

לדעתי, הפתרון הזה, שהוצג ב-ISE וב-ISR בשנה שעברה, מקרב את הטכנולוגיה העילית - אם לא לאנשים, אז לעסקים בוודאות. ברור שבעבור 400 אלף רובל, מעט אנשים יקנו "צעצוע" כזה לבית, אבל לעסקים, לשיחות ועידה בווידאו ארגוניים, זהו פתרון נוח מאוד לבעיה של כיוון אוטומטי של מצלמה.
לאור הרבגוניות SmartCam A12 מעקב קולי, המערכת יכולה לשמש כפתרון מאפס, או כהרחבה לפונקציונליות של תשתית ועידת וידאו קיימת. חיבור באמצעות HDMI הוא צעד גדול לקראת המשתמש, בניגוד למערכות הקנייניות של היצרנים המתוארים לעיל.

ברצוני להודות לשותפים שסייעו בבדיקה.
חֶברָה IPMatika - עבור מסוף Yealink VC880, חדר ישיבות ו-Yakushina Yura.
חֶברָה Smart-AV - לזכות הבדיקה הראשונה והבלעדית של הפתרון והספקת המערכת SmartCam A12 מעקב קולי לבדיקה.

בכתבה האחרונה מעצב חדר ישיבות מקוון - בחירת הפתרון האופטימלי לשיחות ועידה בווידאו, כקידום אתרים vc4u.ru и מעצב VKS הכרזנו 10% הנחה מהמחיר ב מַדרִיך לפי מילת קוד HABR עד סוף קיץ 2019.

ההנחה חלה על מוצרים בסעיפים הבאים:

• מסופי וידאו חומרה
• מצלמות ועידת וידאו
• שרתי VKS

להחלטה SmartCam A12 מעקב קולי אני מציע הנחה נוספת של 5% ל-10% שכבר קיימים - סך של 15% עד סוף קיץ 2019.

אני מצפה להערות ולתשובות שלך בסקר!

תודה על תשומת הלב שלך.
בכבוד רב,
קיריל אוסיקוב (אוסיקוף)
ראש
מערכות מעקב וידאו ושיחות ועידה בווידאו
[מוגן בדוא"ל]
stss.ru
vc4u.ru

רק משתמשים רשומים יכולים להשתתף בסקר. להתחברבבקשה.

עד כמה שימושי SmartCam A12 Voice Tracking?

• סוף סוף, הופיע פתרון אוניברסלי למסופי תוכנה וחומרה!

• הפתרון טוב, אבל יש עוד אפשרויות זמינות (אני אכתוב בתגובות)

• המערכת חלשה, היא לא מגיעה לפוליקום ולסיסקו - אני אכתוב בתגובות למה כדאי לשלם פי 3 יותר!

• מי בכלל צריך הדרכה אוטומטית בחדר ישיבות?

• מי בכלל צריך מצלמת PTZ בחדר ישיבות? - חיברתי את מצלמת האינטרנט וזה היה בסדר!

8 משתמשים הצביעו. 5 משתמשים נמנעו.

מקור: www.habr.com