טכנולוגיות ומודלים למערכת הראייה הממוחשבת העתידית שלנו נוצרו ושופרו בהדרגה ובפרויקטים שונים של החברה שלנו - בדואר, ענן, חיפוש. הם התבגרו כמו גבינה טובה או קוניאק. יום אחד הבנו שרשתות העצבים שלנו מציגות תוצאות מצוינות בהכרה, והחלטנו לשלב אותן למוצר b2b אחד - Vision - שבו אנו משתמשים כעת בעצמנו ומציעים לכם להשתמש בו.

כיום, טכנולוגיית הראייה הממוחשבת שלנו בפלטפורמת Mail.Ru Cloud Solutions עובדת בהצלחה ופותרת בעיות מעשיות מורכבות מאוד. הוא מבוסס על מספר רשתות עצביות שמאומנות על מערכי הנתונים שלנו ומתמחות בפתרון בעיות יישומיות. כל השירותים פועלים במתקני השרת שלנו. אתה יכול לשלב את ה-Vision API הציבורי באפליקציות שלך, שדרכו כל היכולות של השירות זמינות. ה-API מהיר - הודות למעבדי GPU של שרת, זמן התגובה הממוצע ברשת שלנו הוא 100 אלפיות השנייה.

לך אל החתול, יש סיפור מפורט ודוגמאות רבות לעבודות של ויז'ן.

דוגמה לשירות בו אנו בעצמנו משתמשים בטכנולוגיות זיהוי הפנים המוזכרות היא אירועים. אחד ממרכיביו הוא עמדות צילום Vision, אותם אנו מתקינים בכנסים שונים. אם תיגשו לדוכן צילום כזה, תצטלמו במצלמה המובנית והזינו את המייל שלכם, המערכת תמצא מיד בין שלל הצילומים את אלו שבהם נלכדתם על ידי צוות צלמי הכנס, ואם תרצו, ישלח אליך את התמונות שנמצאו בדוא"ל. ואנחנו לא מדברים על צילומי פורטרט מבוימים - ויז'ן מזהה אותך אפילו ברקע ממש בקהל מבקרים. כמובן שלא מזהים את עמדות הצילום עצמם, אלו סתם טאבלטים בסטנדים יפים שפשוט מצלמים אורחים עם המצלמות המובנות ומשדרים מידע לשרתים, שם מתרחש כל קסמי הזיהוי. וראינו יותר מפעם אחת עד כמה יעילות הטכנולוגיה מפתיעה אפילו בקרב מומחי זיהוי תמונות. להלן נדבר על כמה דוגמאות.

1. דגם זיהוי הפנים שלנו

1.1. רשת עצבית ומהירות עיבוד

לשם זיהוי, אנו משתמשים בשינוי של מודל הרשת העצבית של ResNet 101. בריכה ממוצעת בסוף מוחלף בשכבה מחוברת לחלוטין, בדומה לאופן שבו זה נעשה ב-ArcFace. עם זאת, גודל הייצוגים הווקטוריים הוא 128, לא 512. ערכת האימונים שלנו מכילה כ-10 מיליון תמונות של 273 אנשים.

המודל פועל מהר מאוד הודות לארכיטקטורת תצורת שרת שנבחרה בקפידה ומחשוב GPU. לוקח מ-100 אלפיות השנייה לקבל תגובה מה-API ברשתות הפנימיות שלנו - זה כולל זיהוי פנים (זיהוי פנים בתמונה), זיהוי והחזרה של PersonID בתגובת ה-API. עם כמויות גדולות של נתונים נכנסים - תמונות וסרטונים - ייקח הרבה יותר זמן להעביר את הנתונים לשירות ולקבל מענה.

1.2. הערכת יעילות המודל

אבל קביעת היעילות של רשתות עצביות היא משימה מאוד לא ברורה. איכות העבודה שלהם תלויה באילו מערכי נתונים הוכשרו המודלים והאם הם הותאמו לעבודה עם נתונים ספציפיים.

התחלנו להעריך את הדיוק של המודל שלנו עם מבחן האימות הפופולרי של LFW, אבל הוא קטן ופשוט מדי. לאחר שהגיע ל-99,8% דיוק, זה כבר לא שימושי. יש תחרות טובה להערכת דגמי זיהוי - Megaface, עליה הגענו בהדרגה ל-82% דירוג 1. מבחן Megaface מורכב ממיליון צילומים - מסיחים - והדוגמנית אמורה להיות מסוגלת להבחין היטב בין כמה אלפי תמונות של מפורסמים מ-Facescrub מערך נתונים ממסיחים. עם זאת, לאחר שניקינו את מבחן ה-Megaface משגיאות, מצאנו שעם הגרסה המנוקת אנו משיגים דיוק של 98% בדרגה 1 (תמונות של ידוענים הן בדרך כלל די ספציפיות). לכן, הם יצרו מבחן זיהוי נפרד, בדומה ל-Megaface, אבל עם תצלומים של אנשים "רגילים". לאחר מכן שיפרנו את דיוק הזיהוי במערך הנתונים שלנו והלכנו רחוק. בנוסף, אנו משתמשים בבדיקת איכות מקבץ המורכבת מכמה אלפי תמונות; הוא מדמה תיוג פנים בענן של המשתמש. במקרה זה, אשכולות הם קבוצות של פרטים דומים, קבוצה אחת לכל אדם שניתן לזהות. בדקנו את איכות העבודה על קבוצות אמיתיות (נכון).

כמובן, שגיאות זיהוי מתרחשות בכל דגם. אבל מצבים כאלה נפתרים לרוב על ידי כוונון עדין של הספים לתנאים ספציפיים (בכל הכנסים אנו משתמשים באותם ספים, אבל, למשל, עבור מערכות בקרת גישה עלינו להגדיל מאוד את הספים כך שיהיו פחות תוצאות שגויות). הרוב המכריע של מבקרי הכנס זוהו בצורה נכונה על ידי דוכני הצילום של Vision שלנו. לפעמים מישהו היה מסתכל על התצוגה המקדימה החתוכה ואומר, "המערכת שלך עשתה טעות, זה לא הייתי אני." אחר כך פתחנו את התמונה בשלמותה, והתברר שבאמת היה מבקר בתמונה, רק שלא צילמנו אותו, אלא מישהו אחר, הבן אדם במקרה היה ברקע באזור הטשטוש. יתרה מכך, הרשת העצבית לעיתים מזהה בצורה נכונה גם כאשר חלק מהפנים אינו נראה לעין, או שהאדם עומד בפרופיל, או אפילו מסתובב למחצה. המערכת יכולה לזהות אדם גם אם הפנים נמצאים באזור של עיוות אופטי, למשל, בעת צילום עם עדשה רחבה.

1.3. דוגמאות לבדיקות במצבים קשים

להלן דוגמאות כיצד פועלת הרשת העצבית שלנו. תמונות מוגשות לקלט, שעליה לתייג באמצעות PersonID - מזהה ייחודי של אדם. אם לשתי תמונות או יותר יש את אותה תעודה מזהה, אזי, לפי הדגמים, התמונות הללו מתארות את אותו אדם.

נציין מיד כי בעת הבדיקה, יש לנו גישה לפרמטרים וספי מודל שונים שאנו יכולים להגדיר כדי להשיג תוצאה מסוימת. ה-API הציבורי מותאם לדיוק מרבי במקרים נפוצים.

נתחיל מהדבר הפשוט ביותר, עם זיהוי פנים חזיתית.

ובכן, זה היה קל מדי. בואו נסבך את המשימה, נוסיף זקן וחופן שנים.

יש שיגידו שזה גם לא היה קשה מדי, כי בשני המקרים כל הפנים גלויים, ומידע רב על הפנים זמין לאלגוריתם. בסדר, בוא נהפוך את טום הארדי לפרופיל. בעיה זו מורכבת הרבה יותר, והשקענו מאמצים רבים כדי לפתור אותה בהצלחה תוך שמירה על שיעור שגיאות נמוך: בחרנו ערכת אימונים, חשבנו על הארכיטקטורה של הרשת העצבית, חידדנו את פונקציות האובדן ושיפרנו את העיבוד המקדים. של צילומים.

בואו נשים לו כיסוי ראש:

אגב, זו דוגמה למצב קשה במיוחד, שכן הפנים סתומות מאוד, ובתמונה התחתונה יש גם צל עמוק שמסתיר את העיניים. בחיים האמיתיים, לעתים קרובות אנשים משנים את המראה שלהם בעזרת משקפיים כהים. בוא נעשה את אותו הדבר עם טום.

אוקיי, בואו ננסה לזרוק תמונות מגילאים שונים, והפעם נתנסה עם שחקן אחר. בואו ניקח דוגמה הרבה יותר מורכבת, שבה שינויים הקשורים לגיל בולטים במיוחד. המצב אינו מופרך; הוא מתרחש לעתים קרובות למדי כאשר אתה צריך להשוות את התמונה בדרכון עם הפנים של הנושא. אחרי הכל, התמונה הראשונה מתווספת לדרכון כשהבעלים הוא בן 20, ועד גיל 45 אדם יכול להשתנות מאוד:

האם אתה חושב שהמומחה הראשי למשימות בלתי אפשריות לא השתנה הרבה עם הגיל? אני חושב שאפילו כמה אנשים היו משלבים את התמונות העליונות והתחתונות, הילד השתנה כל כך במהלך השנים.

רשתות עצביות נתקלות בשינויים במראה לעתים קרובות יותר. לדוגמה, לפעמים נשים יכולות לשנות מאוד את התדמית שלהן בעזרת מוצרי קוסמטיקה:

עכשיו בואו נסבך את המשימה עוד יותר: נניח שחלקים שונים של הפנים מכוסים בצילומים שונים. במקרים כאלה, האלגוריתם אינו יכול להשוות דגימות שלמות. עם זאת, ויז'ן מתמודד היטב במצבים כאלה.

אגב, יכולים להיות הרבה פרצופים בתצלום, למשל, יותר מ-100 אנשים יכולים להתאים לצילום כללי של אולם. זהו מצב קשה עבור רשתות עצביות, שכן פרצופים רבים יכולים להיות מוארים בצורה שונה, חלקם לא בפוקוס. עם זאת, אם התמונה צולמה ברזולוציה ובאיכות מספקות (לפחות 75 פיקסלים לכל ריבוע המכסה את הפנים), Vision תוכל לזהות ולזהות אותה.

המוזרות של תצלומי רפורטג'ים ותמונות ממצלמות מעקב היא שאנשים מטושטשים לעתים קרובות בגלל שהם לא היו מפוקסים או נעו באותו רגע:

כמו כן, עוצמת התאורה יכולה להשתנות מאוד מתמונה לתמונה. גם זה הופך לעתים קרובות לאבן נגף; אלגוריתמים רבים מתקשים מאוד לעבד נכון תמונות כהות מדי ובהירות מדי, שלא לדבר על התאמה מדויקת שלהן. הרשו לי להזכיר לכם שכדי להשיג תוצאה זו עליכם להגדיר את הספים בצורה מסוימת; תכונה זו עדיין אינה זמינה לציבור. אנו משתמשים באותה רשת עצבית עבור כל הלקוחות; יש לה ספים שמתאימים לרוב המשימות המעשיות.

לאחרונה השקנו גרסה חדשה של הדגם המזהה פנים אסייתיות בדיוק גבוה. פעם זו הייתה בעיה גדולה, שאפילו כונתה "למידת מכונה" (או "רשת עצבית") גזענות. רשתות עצבים אירופיות ואמריקאיות זיהו פנים קווקזיות היטב, אבל עם פנים מונגולואידים וכושיים המצב היה הרבה יותר גרוע. כנראה, בסין המצב היה בדיוק הפוך. זה הכל על מערכי אימון המשקפים את סוגי האנשים הדומיננטיים במדינה מסוימת. עם זאת, המצב משתנה, כיום בעיה זו אינה כה חריפה. לראייה אין בעיה עם אנשים מגזעים שונים.

זיהוי פנים הוא רק אחד מהיישומים הרבים של הטכנולוגיה שלנו; ניתן לאמן את הראייה לזהות כל דבר. למשל, לוחיות רישוי, לרבות בתנאים קשים לאלגוריתמים: בזוויות חדות, לוחיות רישוי מלוכלכות וקשות לקריאה.

2. מקרי שימוש מעשיים

2.1. בקרת גישה פיזית: כאשר שני אנשים משתמשים באותו כרטיס

בעזרת ויז'ן ניתן להטמיע מערכות לרישום הגעה ועזיבה של עובדים. למערכת המסורתית המבוססת על מעברים אלקטרוניים יש חסרונות ברורים, למשל, ניתן לעבור שני אנשים באמצעות תג אחד. אם מערכת בקרת הגישה (ACS) מתווספת עם Vision, היא תתעד ביושר מי הגיע/עזב ומתי.

2.2. מעקב אחר זמן

מקרה השימוש הזה ב-Vision קשור קשר הדוק לזה הקודם. אם תשלים את מערכת הגישה עם שירות זיהוי הפנים שלנו, היא תוכל לא רק לזהות הפרות בקרת גישה, אלא גם לרשום את נוכחות העובדים בפועל בבניין או במתקן. במילים אחרות, ויז'ן יעזור לכם לקחת בחשבון ביושר מי הגיע לעבודה ועזב באיזו שעה, ומי דילג על העבודה בכלל, גם אם עמיתיו כיסו אותו מול הממונים עליו.

2.3. ניתוח וידאו: מעקב אחר אנשים ואבטחה

על ידי מעקב אחר אנשים באמצעות Vision, אתה יכול להעריך במדויק את התנועה האמיתית של אזורי קניות, תחנות רכבת, מעברים, רחובות ומקומות ציבוריים רבים אחרים. המעקב שלנו יכול להיות לעזר רב גם בשליטה בגישה, למשל, למחסן או למשרדים חשובים אחרים. וכמובן, מעקב אחר אנשים ופנים עוזר לפתור בעיות אבטחה. תפסת מישהו גונב מהחנות שלך? הוסף את PersonID שלו, שהוחזר על ידי Vision, לרשימה השחורה של תוכנת ניתוח הווידאו שלך, ובפעם הבאה המערכת תתריע מיד לאבטחה אם סוג זה יופיע שוב.

2.4. במסחר

עסקי קמעונאות ושירותים שונים מעוניינים בזיהוי תורים. בעזרת Vision תוכלו לזהות שלא מדובר בקהל אקראי של אנשים, אלא בתור, ולקבוע את אורכו. ואז המערכת מיידעת את האחראים על תור כדי שיוכלו להבין את המצב: או שיש נהירה של מבקרים וצריך לקרוא לעובדים נוספים, או שמישהו מרפה בתפקידו.

משימה מעניינת נוספת היא הפרדת עובדי החברה באולם מהמבקרים. בדרך כלל, המערכת מאומנת להפריד בין חפצים הלובשים בגדים מסוימים (קוד לבוש) או עם תכונה ייחודית כלשהי (צעיף ממותג, תג על החזה, וכן הלאה). זה עוזר להעריך בצורה מדויקת יותר את הנוכחות (כדי שהעובדים לא "ינפחו" את הסטטיסטיקה של האנשים באולם על ידי נוכחותם בלבד).

באמצעות זיהוי פנים, אתה יכול גם להעריך את הקהל שלך: מהי נאמנות המבקרים, כלומר, כמה אנשים חוזרים למפעל שלך ובאיזו תדירות. חשב כמה מבקרים ייחודיים מגיעים אליך בחודש. כדי לייעל את עלויות המשיכה והשימור, ניתן גם לברר את השינוי בתנועה בהתאם ליום בשבוע ואפילו לשעה ביום.

זכיינים וחברות רשת יכולים להזמין הערכה על סמך צילומים של איכות המיתוג של נקודות מכירה שונות: הימצאות לוגו, שלטים, פוסטרים, באנרים וכדומה.

2.5. באמצעות תחבורה

דוגמה נוספת להבטחת אבטחה באמצעות ניתוח וידאו היא זיהוי פריטים נטושים באולמות של שדות תעופה או תחנות רכבת. ניתן לאמן את הראייה לזהות חפצים ממאות כיתות: רהיטים, תיקים, מזוודות, מטריות, סוגי ביגוד שונים, בקבוקים וכדומה. אם מערכת ניתוח הווידאו שלך מזהה אובייקט ללא בעלים ומזהה אותו באמצעות Vision, היא שולחת אות לשירות האבטחה. משימה דומה קשורה לזיהוי אוטומטי של מצבים חריגים במקומות ציבוריים: מישהו מרגיש חולה, או מישהו מעשן במקום הלא נכון, או אדם נופל על הפסים, וכן הלאה - כל הדפוסים הללו ניתנים לזיהוי על ידי מערכות וידאו ניתוח דרך Vision API.

2.6. זרימת מסמכים

יישום עתידי מעניין נוסף של Vision שאנו מפתחים כעת הוא זיהוי מסמכים והניתוח האוטומטי שלהם לתוך מסדי נתונים. במקום להזין ידנית (או גרוע מכך, להזין) סדרות אינסופיות, מספרים, תאריכי הנפקה, מספרי חשבון, פרטי בנק, תאריכי ומקומות לידה ונתונים רשמיים רבים אחרים, ניתן לסרוק מסמכים ולשלוח אותם אוטומטית בערוץ מאובטח באמצעות API לענן, כאשר המערכת תזהה את המסמכים הללו תוך כדי תנועה, תנתח אותם ותחזיר תגובה עם נתונים בפורמט הנדרש לכניסה אוטומטית למסד הנתונים. היום Vision כבר יודעת לסווג מסמכים (כולל PDF) - מבחינה בין דרכונים, SNILS, TIN, תעודות לידה, תעודות נישואין ואחרים.

כמובן, הרשת העצבית לא מסוגלת להתמודד עם כל המצבים האלה מחוץ לקופסה. בכל מקרה, נבנה מודל חדש עבור לקוח ספציפי, נלקחים בחשבון גורמים רבים, ניואנסים ודרישות, נבחרים מערכי נתונים ומבצעים איטרציות של הדרכה, בדיקות ותצורה.

3. סכימת פעולת API

"שער הכניסה" של Vision למשתמשים הוא REST API. זה יכול לקבל תמונות, קבצי וידאו ושידורים ממצלמות רשת (זרמי RTSP) כקלט.

כדי להשתמש ב-Vision, אתה צריך להירשם בשירות Mail.ru Cloud Solutions וקבל אסימוני גישה (client_id + client_secret). אימות המשתמש מתבצע באמצעות פרוטוקול OAuth. נתוני המקור בגופי בקשות ה-POST נשלחים ל-API. ובתגובה, הלקוח מקבל מה-API תוצאת זיהוי בפורמט JSON, והתגובה מובנית: היא מכילה מידע על האובייקטים שנמצאו והקואורדינטות שלהם.

תשובה לדוגמה

{
   "status":200,
   "body":{
      "objects":[
         {
            "status":0,
            "name":"file_0"
         },
         {
            "status":0,
            "name":"file_2",
            "persons":[
               {
                  "tag":"person9"
                  "coord":[149,60,234,181],
                  "confidence":0.9999,
                  "awesomeness":0.45
               },
               {
                  "tag":"person10"
                  "coord":[159,70,224,171],
                  "confidence":0.9998,
                  "awesomeness":0.32
               }
            ]
         }

         {
            "status":0,
            "name":"file_3",
            "persons":[
               {
               "tag":"person11",
               "coord":[157,60,232,111],
               "aliases":["person12", "person13"]
               "confidence":0.9998,
               "awesomeness":0.32
               }
            ]
         },
         {
            "status":0,
            "name":"file_4",
            "persons":[
               {
               "tag":"undefined"
               "coord":[147,50,222,121],
               "confidence":0.9997,
               "awesomeness":0.26
               }
            ]
         }
      ],
      "aliases_changed":false
   },
   "htmlencoded":false,
   "last_modified":0
}

התשובה מכילה פרמטר מעניין מדהים - זוהי ה"קרירות" המותנית של פנים בתמונה, בעזרתה אנו בוחרים את התמונה הטובה ביותר של הפנים מהרצף. אימנו רשת נוירונים לחזות את הסבירות שתמונה תעשה לייק ברשתות חברתיות. ככל שאיכות התמונה טובה יותר והפנים מחייכות יותר, כך המדהימה גדולה יותר.

API Vision משתמש במושג שנקרא מרחב. זהו כלי ליצירת קבוצות שונות של פרצופים. דוגמאות למרחבים הם רשימות שחור ולבן, רשימות מבקרים, עובדים, לקוחות וכו'. עבור כל אסימון ב-Vision, ניתן ליצור עד 10 חללים, לכל חלל יכולים להיות עד 50 אלף PersonIDs, כלומר עד 500 אלף לכל אסימון. יתרה מכך, מספר האסימונים לכל חשבון אינו מוגבל.

כיום ה-API תומך בשיטות הזיהוי והזיהוי הבאות:

• זיהוי/קבע - זיהוי וזיהוי פנים. מקצה באופן אוטומטי PersonID לכל אדם ייחודי, מחזיר את PersonID ואת הקואורדינטות של האנשים שנמצאו.
• מחק - מחיקת PersonID ספציפי ממאגר הנתונים.
• Truncate - מנקה את כל המרחב מ-PersonID, שימושי אם הוא שימש כמרחב בדיקה ואתה צריך לאפס את מסד הנתונים לייצור.
• זיהוי - איתור אובייקטים, סצנות, לוחיות רישוי, ציוני דרך, תורים וכו'. מחזירה את מחלקת האובייקטים שנמצאו ואת הקואורדינטות שלהם
• זיהוי מסמכים - מזהה סוגים ספציפיים של מסמכים של הפדרציה הרוסית (מבחין בדרכון, SNILS, מספר זיהוי מס וכו ').

אנחנו גם מסיימים בקרוב את העבודה על שיטות ל-OCR, קביעת מין, גיל ורגשות, כמו גם פתרון בעיות מרצ'נדייז, כלומר לשליטה אוטומטית בהצגת הסחורה בחנויות. תוכל למצוא תיעוד מלא של API כאן: https://mcs.mail.ru/help/vision-api

4. מסקנה

כעת, דרך ה-API הציבורי, אתה יכול לגשת לזיהוי פנים בתמונות ובסרטונים; זיהוי של חפצים שונים, לוחיות רישוי, ציוני דרך, מסמכים וסצנות שלמות נתמך. תרחישי יישום - הים. בוא, בדוק את השירות שלנו, הגדיר לו את המשימות הקשות ביותר. 5000 העסקאות הראשונות הן בחינם. אולי זה יהיה "המרכיב החסר" עבור הפרויקטים שלך.

אתה יכול לגשת באופן מיידי ל-API עם הרישום והחיבור. חָזוֹן. כל משתמשי Habra מקבלים קוד קידום מכירות לעסקאות נוספות. אנא כתוב לי את כתובת האימייל שבה השתמשת לרישום חשבונך!

מקור: www.habr.com