Технологиите и моделите за нашата бъдеща система за компютърно зрение бяха създадени и усъвършенствани постепенно и в различни проекти на нашата компания - в Mail, Cloud, Search. Отлежаваха като хубаво сирене или коняк. Един ден разбрахме, че нашите невронни мрежи показват отлични резултати в разпознаването и решихме да ги обединим в единен b2b продукт – Vision – който сега използваме ние самите и ви предлагаме да използвате.

Днес нашата технология за компютърно зрение на платформата Mail.Ru Cloud Solutions работи успешно и решава много сложни практически проблеми. Базира се на редица невронни мрежи, които са обучени на нашите набори от данни и са специализирани в решаването на приложни проблеми. Всички услуги се изпълняват на нашите сървърни съоръжения. Можете да интегрирате публичния Vision API във вашите приложения, чрез който са достъпни всички възможности на услугата. API е бърз - благодарение на графичните процесори на сървъра средното време за отговор в нашата мрежа е 100 ms.

Отидете при котката, има подробна история и много примери за работата на Vision.

Пример за услуга, в която ние самите използваме споменатите технологии за лицево разпознаване е Събития. Един от неговите компоненти са стойки за снимки Vision, които монтираме на различни конференции. Ако се приближите до такъв фото щанд, направите снимка с вградената камера и въведете имейла си, системата веднага ще намери сред масива от снимки тези, на които сте били заснети от фотографи на конференцията, и, ако желаете, ще ви изпрати намерените снимки по имейл. И не говорим за сценични портретни снимки – Vision ви разпознава дори на заден план в тълпа от посетители. Разбира се, не самите стойки за снимки се разпознават, това са просто таблети в красиви стойки, които просто правят снимки на гостите с вградените си камери и предават информация на сървърите, където се случва цялата магия на разпознаването. И неведнъж сме виждали колко изненадваща е ефективността на технологията дори сред специалистите по разпознаване на изображения. По-долу ще говорим за някои примери.

1. Нашият модел за разпознаване на лица

1.1. Невронна мрежа и скорост на обработка

За разпознаване използваме модификация на модела на невронна мрежа ResNet 101. Средното обединяване в края се заменя с напълно свързан слой, подобно на начина, по който се прави в ArcFace. Въпреки това, размерът на векторните изображения е 128, а не 512. Нашият комплект за обучение съдържа около 10 милиона снимки на 273 593 души.

Моделът работи много бързо благодарение на внимателно подбрана конфигурационна архитектура на сървъра и GPU изчисления. Необходими са от 100 ms, за да получим отговор от API в нашите вътрешни мрежи - това включва разпознаване на лице (откриване на лице в снимка), разпознаване и връщане на PersonID в отговора на API. При големи обеми входящи данни - снимки и видеоклипове - прехвърлянето на данните към услугата и получаването на отговор ще отнеме много повече време.

1.2. Оценка на ефективността на модела

Но определянето на ефективността на невронните мрежи е много двусмислена задача. Качеството на тяхната работа зависи от това на какви набори от данни са обучени моделите и дали са оптимизирани за работа с конкретни данни.

Започнахме да оценяваме точността на нашия модел с популярния тест за проверка LFW, но той е твърде малък и прост. След достигане на 99,8% точност, той вече не е полезен. Има добра конкуренция за оценка на моделите за разпознаване - Megaface, на която постепенно достигнахме 82% ранг 1. Тестът Megaface се състои от милион снимки - разсейватели - и моделът трябва да може да различи добре няколко хиляди снимки на известни личности от Facesscrub набор от данни от дистрактори. Въпреки това, след като изчистихме теста Megaface от грешки, открихме, че с изчистената версия постигаме точност от 98% ранг 1 (снимките на известни личности като цяло са доста специфични). Затова те създадоха отделен тест за идентификация, подобен на Megaface, но със снимки на „обикновени“ хора. След това подобрихме точността на разпознаване на нашите набори от данни и отидохме далеч напред. В допълнение, ние използваме тест за качество на групиране, който се състои от няколко хиляди снимки; той симулира маркиране на лица в облака на потребителя. В този случай клъстерите са групи от подобни индивиди, по една група за всяко разпознаваемо лице. Проверихме качеството на работа на реални групи (вярно).

Разбира се, грешки при разпознаването възникват при всеки модел. Но такива ситуации често се разрешават чрез фина настройка на праговете за конкретни условия (за всички конференции използваме едни и същи прагове, но например за системи за контрол на достъпа трябва значително да увеличим праговете, така че да има по-малко фалшиви положителни резултати). По-голямата част от посетителите на конференцията бяха разпознати правилно от нашите фото кабини на Vision. Понякога някой поглеждаше изрязания преглед и казваше: „Вашата система направи грешка, не бях аз.“ След това отворихме снимката цялата и се оказа, че наистина има този посетител на снимката, само че ние не го снимахме, а някой друг, човекът просто се оказа на заден план в зоната на размазване. Освен това невронната мрежа често разпознава правилно дори когато част от лицето не се вижда или човекът стои в профил или дори полуобърнат. Системата може да разпознае човек, дори ако лицето е в зоната на оптично изкривяване, да речем, когато снимате с широкоъгълен обектив.

1.3. Примери за тестване в трудни ситуации

По-долу са дадени примери за това как работи нашата невронна мрежа. На входа се изпращат снимки, които тя трябва да етикетира с помощта на PersonID - уникален идентификатор на човек. Ако две или повече изображения имат еднакъв ID, то според моделите тези снимки изобразяват едно и също лице.

Нека веднага да отбележим, че при тестване имаме достъп до различни параметри и прагове на модела, които можем да конфигурираме, за да постигнем конкретен резултат. Публичният API е оптимизиран за максимална точност при често срещани случаи.

Нека започнем с най-простото нещо, с лицево разпознаване отпред.

Е, това беше твърде лесно. Нека да усложним задачата, да добавим брада и шепа години.

Някои ще кажат, че това също не беше много трудно, защото и в двата случая се вижда цялото лице и много информация за лицето е на разположение на алгоритъма. Добре, нека превърнем Том Харди в профил. Този проблем е много по-сложен и ние положихме много усилия, за да го разрешим успешно, като същевременно поддържаме нисък процент грешки: избрахме обучителен набор, обмислихме архитектурата на невронната мрежа, усъвършенствахме функциите за загуба и подобрихме предварителната обработка на снимки.

Нека му сложим прическа:

Между другото, това е пример за особено трудна ситуация, тъй като лицето е силно затъмнено, а на долната снимка също има дълбока сянка, която крие очите. В реалния живот хората много често променят външния си вид с помощта на тъмни очила. Нека направим същото с Том.

Добре, нека се опитаме да хвърлим снимки от различни възрасти и този път ще експериментираме с различен актьор. Да вземем един много по-сложен пример, където промените, свързани с възрастта, са особено изразени. Ситуацията не е пресилена, случва се доста често, когато трябва да сравните снимката в паспорта с лицето на приносителя. В крайна сметка първата снимка се добавя към паспорта, когато собственикът е на 20 години, а до 45-годишна възраст човек може да се промени значително:

Мислите ли, че основният специалист по невъзможни мисии не се е променил много с годините? Мисля, че дори малко хора биха комбинирали горната и долната снимка, толкова се е променило момчето през годините.

Невронните мрежи срещат промени във външния вид много по-често. Например, понякога жените могат значително да променят имиджа си с помощта на козметика:

Сега нека усложним още повече задачата: да предположим, че различни части на лицето са покрити на различни снимки. В такива случаи алгоритъмът не може да сравни цели проби. Vision обаче се справя добре със ситуации като тази.

Между другото, в една снимка може да има много лица, например повече от 100 души могат да се поберат в обща снимка на зала. Това е трудна ситуация за невронните мрежи, тъй като много лица могат да бъдат осветени по различен начин, някои извън фокус. Въпреки това, ако снимката е направена с достатъчна разделителна способност и качество (поне 75 пиксела на квадрат, покриващ лицето), Vision ще може да я открие и разпознае.

Особеността на репортажните снимки и изображенията от камери за наблюдение е, че хората често са замъглени, защото не са били на фокус или са се движели в този момент:

Освен това интензитетът на осветлението може да варира значително от изображение на изображение. Това също често се превръща в пречка; много алгоритми срещат големи трудности при правилното обработване на изображения, които са твърде тъмни и твърде светли, да не говорим за точното им съпоставяне. Нека ви напомня, че за да постигнете този резултат, трябва да конфигурирате праговете по определен начин; тази функция все още не е публично достъпна. Ние използваме една и съща невронна мрежа за всички клиенти; тя има прагове, които са подходящи за повечето практически задачи.

Наскоро пуснахме нова версия на модела, който разпознава азиатски лица с висока точност. Преди това беше голям проблем, който дори се наричаше расизъм на „машинно обучение“ (или „невронна мрежа“). Европейските и американските невронни мрежи разпознават добре кавказките лица, но с монголоидните и негроидните лица ситуацията е много по-лоша. Вероятно в Китай ситуацията е точно обратната. Всичко е свързано с набори от данни за обучение, които отразяват доминиращите типове хора в дадена страна. Ситуацията обаче се променя, днес този проблем не е толкова остър. Зрението няма проблем с хора от различни раси.

Разпознаването на лица е само едно от многото приложения на нашата технология; Vision може да бъде обучен да разпознава всичко. Например регистрационни табели, включително в трудни за алгоритмите условия: под остри ъгли, мръсни и трудно четими регистрационни номера.

2. Практически случаи на употреба

2.1. Физически контрол на достъпа: когато двама души използват един и същ пропуск

С помощта на Vision можете да внедрите системи за запис на пристигането и напускането на служителите. Традиционната система, базирана на електронни пропуски, има очевидни недостатъци, например можете да преминете двама души с една значка. Ако системата за контрол на достъпа (ACS) бъде допълнена с Vision, тя ще записва честно кой е дошъл/напуснал и кога.

2.2. Проследяване на времето

Този случай на използване на Vision е тясно свързан с предишния. Ако допълните системата за достъп с нашата услуга за лицево разпознаване, тя ще може не само да открива нарушения на контрола на достъп, но и да регистрира реалното присъствие на служители в сградата или съоръжението. С други думи, Vision ще ви помогне честно да отчетете кой е дошъл на работа и по кое време си е тръгнал и кой изобщо е пропуснал работа, дори колегите му да са го покривали пред началниците.

2.3. Видео анализ: Проследяване на хора и сигурност

Чрез проследяване на хора с помощта на Vision можете точно да оцените реалния трафик на търговски зони, гари, пасажи, улици и много други обществени места. Нашето проследяване също може да бъде от голяма полза при контролиране на достъпа, например до склад или други важни офис помещения. И разбира се, проследяването на хора и лица помага за решаването на проблеми със сигурността. Хванахте ли някой да краде от вашия магазин? Добавете неговия PersonID, върнат от Vision, към черния списък на вашия софтуер за видео анализ и следващия път системата незабавно ще предупреди сигурността, ако този тип се появи отново.

2.4. В търговията

Търговията на дребно и различни предприятия за услуги се интересуват от разпознаването на опашка. С помощта на Vision можете да разпознаете, че това не е произволна тълпа от хора, а опашка и да определите нейната дължина. И тогава системата информира отговорните за опашка, за да могат да разберат ситуацията: или има наплив от посетители и трябва да се извикат допълнителни работници, или някой не изпълнява служебните си задължения.

Друга интересна задача е да отделите служителите на компанията в залата от посетителите. Обикновено системата е обучена да отделя обекти, носещи определени дрехи (дрескод) или с някаква отличителна черта (маркиран шал, значка на гърдите и т.н.). Това помага за по-точна оценка на посещаемостта (така че служителите да не „надуват“ статистиката на хората в залата само с присъствието си).

Използвайки лицевото разпознаване, можете също да оцените аудиторията си: каква е лоялността на посетителите, тоест колко хора се връщат във вашето заведение и с каква честота. Изчислете колко уникални посетители идват при вас на месец. За да оптимизирате разходите за привличане и задържане, можете също да разберете промяната в трафика в зависимост от деня от седмицата и дори часа от деня.

Франчайзодателите и верижните компании могат да поръчат оценка въз основа на снимки на качеството на брандиране на различни търговски обекти: наличие на лога, знаци, плакати, банери и др.

2.5. С транспорт

Друг пример за осигуряване на сигурност с помощта на видеоаналитика е идентифицирането на изоставени вещи в залите на летищата или гарите. Зрението може да бъде обучено да разпознава предмети от стотици класове: мебели, чанти, куфари, чадъри, различни видове дрехи, бутилки и т.н. Ако вашата система за видеоаналитика открие обект без собственик и го разпознае с помощта на Vision, тя изпраща сигнал до службата за сигурност. Подобна задача е свързана с автоматичното откриване на необичайни ситуации на обществени места: някой се чувства зле, или някой пуши на грешното място, или човек пада върху релсите и т.н. - всички тези модели могат да бъдат разпознати от системите за видеоаналитики чрез Vision API.

2.6. Документооборот

Друго интересно бъдещо приложение на Vision, което разработваме в момента, е разпознаването на документи и автоматичното им парсване в бази данни. Вместо да въвеждате ръчно (или по-лошо, да въвеждате) безкрайни серии, числа, дати на издаване, номера на сметки, банкови данни, дати и места на раждане и много други формализирани данни, можете да сканирате документи и автоматично да ги изпращате по защитен канал през API към облака, където системата ще разпознае тези документи в движение, ще ги анализира и ще върне отговор с данни в необходимия формат за автоматично въвеждане в базата данни. Днес Vision вече знае как да класифицира документи (включително PDF) - прави разлика между паспорти, SNILS, TIN, свидетелства за раждане, свидетелства за брак и други.

Разбира се, невронната мрежа не е в състояние да се справи с всички тези ситуации веднага. Във всеки случай се изгражда нов модел за конкретен клиент, вземат се предвид много фактори, нюанси и изисквания, избират се набори от данни и се извършват повторения на обучение, тестване и конфигуриране.

3. Схема на работа на API

„Входната врата“ на Vision за потребителите е REST API. Може да получава снимки, видео файлове и излъчвания от мрежови камери (RTSP потоци) като вход.

За да използвате Vision, трябва регистър в услугата Mail.ru Cloud Solutions и получавате токени за достъп (client_id + client_secret). Удостоверяването на потребителя се извършва с помощта на протокола OAuth. Изходните данни в тялото на POST заявките се изпращат до API. И в отговор клиентът получава от API резултат от разпознаване във формат JSON, а отговорът е структуриран: съдържа информация за намерените обекти и техните координати.

Примерен отговор

{
   "status":200,
   "body":{
      "objects":[
         {
            "status":0,
            "name":"file_0"
         },
         {
            "status":0,
            "name":"file_2",
            "persons":[
               {
                  "tag":"person9"
                  "coord":[149,60,234,181],
                  "confidence":0.9999,
                  "awesomeness":0.45
               },
               {
                  "tag":"person10"
                  "coord":[159,70,224,171],
                  "confidence":0.9998,
                  "awesomeness":0.32
               }
            ]
         }

         {
            "status":0,
            "name":"file_3",
            "persons":[
               {
               "tag":"person11",
               "coord":[157,60,232,111],
               "aliases":["person12", "person13"]
               "confidence":0.9998,
               "awesomeness":0.32
               }
            ]
         },
         {
            "status":0,
            "name":"file_4",
            "persons":[
               {
               "tag":"undefined"
               "coord":[147,50,222,121],
               "confidence":0.9997,
               "awesomeness":0.26
               }
            ]
         }
      ],
      "aliases_changed":false
   },
   "htmlencoded":false,
   "last_modified":0
}

Отговорът съдържа интересен параметър страхотност - това е условната „готина“ на лице на снимка, с негова помощ избираме най-добрия кадър на лице от поредицата. Обучихме невронна мрежа да прогнозира вероятността дадена снимка да бъде харесана в социалните мрежи. Колкото по-добро е качеството на снимката и колкото по-усмихнато е лицето, толкова по-голяма е невероятността.

API Vision използва концепция, наречена пространство. Това е инструмент за създаване на различни набори от лица. Примери за пространства са черни и бели списъци, списъци с посетители, служители, клиенти и т.н. За всеки токен във Vision можете да създадете до 10 интервала, всяко пространство може да има до 50 хиляди PersonID, тоест до 500 хиляди на токен. Освен това броят на токените на акаунт не е ограничен.

Днес API поддържа следните методи за откриване и разпознаване:

• Recognize/Set - откриване и разпознаване на лица. Автоматично присвоява PersonID на всяко уникално лице, връща PersonID и координатите на намерените лица.
• Изтриване - изтриване на конкретен PersonID от базата данни на лицата.
• Отрязване - изчиства цялото пространство от PersonID, полезно, ако е било използвано като тестово пространство и трябва да нулирате базата данни за производство.
• Откриване - откриване на обекти, сцени, регистрационни табели, забележителности, опашки и др. Връща класа на намерените обекти и техните координати
• Откриване на документи - открива специфични видове документи на Руската федерация (разграничава паспорт, SNILS, данъчен идентификационен номер и др.).

Също така скоро ще приключим работата по методи за OCR, определяне на пол, възраст и емоции, както и решаване на проблеми с мърчандайзинга, тоест за автоматично управление на излагането на стоки в магазините. Можете да намерите пълната API документация тук: https://mcs.mail.ru/help/vision-api

4. заключение

Сега чрез публичния API можете да получите достъп до лицево разпознаване в снимки и видеоклипове; поддържа се идентификация на различни обекти, регистрационни номера, забележителности, документи и цели сцени. Сценарии за приложение - морето. Елате, тествайте нашата услуга, задайте най-трудните задачи. Първите 5000 транзакции са безплатни. Може би това ще бъде „липсващата съставка“ за вашите проекти.

Можете незабавно да получите достъп до API след регистрация и свързване. Визия. Всички потребители на Хабра получават промоционален код за допълнителни транзакции. Моля, напишете ми имейл адреса, който сте използвали за регистрация на вашия акаунт!

Източник: www.habr.com