Технологиите и моделите за нашиот иден компјутерски визиски систем беа креирани и усовршени постепено и во различни проекти на нашата компанија - во Mail, Cloud, Search. Созреваа како добро сирење или коњак. Еден ден сфативме дека нашите невронски мрежи покажуваат одлични резултати во препознавање и решивме да ги комбинираме во еден b2b производ - Vision - кој сега самите го користиме и ви нудиме да го користите.

Денес, нашата технологија за компјутерска визија на платформата Mail.Ru Cloud Solutions успешно работи и решава многу сложени практични проблеми. Се заснова на голем број невронски мрежи кои се обучени на нашите збирки на податоци и се специјализирани за решавање на применети проблеми. Сите услуги работат на нашите серверски капацитети. Можете да го интегрирате јавниот Vision API во вашите апликации, преку кои се достапни сите можности на услугата. API е брз - благодарение на графичките процесори на серверот, просечното време на одговор во нашата мрежа е 100 ms.

Одете кај мачката, има детална приказна и многу примери за работата на Визија.

Пример за услуга во која ние самите ги користиме споменатите технологии за препознавање лице е настани. Една од неговите компоненти се штандовите за фотографии Vision, кои ги поставуваме на различни конференции. Ако се приближите до таков фото штанд, фотографирате со вградената камера и внесете ја вашата е-пошта, системот веднаш ќе ги најде меѓу низата фотографии оние на кои сте снимени од персоналот на фотографите на конференцијата и, доколку сакате, ќе ви ги испрати пронајдените фотографии по е-пошта. И не зборуваме за изведени портрети - Vision ве препознава дури и во самата позадина во толпата посетители. Се разбира, не се препознаваат самите штандови за фотографии, тоа се само таблети во прекрасни штандови кои едноставно фотографираат гости со вградените камери и пренесуваат информации до серверите, каде што се случува целата магија за препознавање. И видовме повеќе од еднаш колку е изненадувачка ефикасноста на технологијата дури и кај специјалистите за препознавање слики. Подолу ќе зборуваме за неколку примери.

1. Нашиот модел за препознавање лице

1.1. Невронска мрежа и брзина на обработка

За препознавање, користиме модификација на моделот на невронска мрежа ResNet 101. Просечното здружување на крајот се заменува со целосно поврзан слој, слично како што се прави во ArcFace. Сепак, големината на векторските претстави е 128, а не 512. Нашиот сет за обука содржи околу 10 милиони фотографии од 273 луѓе.

Моделот работи многу брзо благодарение на внимателно избраната архитектура за конфигурација на серверот и графичкиот процесор. Потребни се од 100 ms за да се добие одговор од API на нашите внатрешни мрежи - ова вклучува откривање лице (откривање лице на фотографија), препознавање и враќање на PersonID во одговорот на API. Со големи количини на дојдовни податоци - фотографии и видеа - ќе биде потребно многу повеќе време за да се префрлат податоците на услугата и да се добие одговор.

1.2. Проценка на ефективноста на моделот

Но, одредувањето на ефикасноста на невронските мрежи е многу двосмислена задача. Квалитетот на нивната работа зависи од тоа на кои сетови на податоци биле обучени моделите и дали биле оптимизирани за работа со конкретни податоци.

Почнавме да ја оценуваме точноста на нашиот модел со популарниот тест за верификација LFW, но тој е премногу мал и едноставен. Откако ќе достигне 99,8% точност, веќе не е корисен. Има добра конкуренција за оценување на моделите за препознавање - Megaface, на кој постепено стигнавме до 82% ранг 1. Мегафејс тестот се состои од милион фотографии - одвлекувачи на вниманието - и моделот треба добро да разликува неколку илјади фотографии на познати личности од Facescrub база на податоци од оттргнувачи. Сепак, откако го исчистивме тестот на Megaface од грешки, откривме дека со исчистената верзија постигнуваме точност од 98% ранг 1 (фотографиите на познати личности генерално се доста специфични). Затоа, тие создадоа посебен тест за идентификација, сличен на Megaface, но со фотографии од „обични“ луѓе. Потоа ја подобривме точноста на препознавање на нашите збирки податоци и отидовме далеку напред. Дополнително, користиме тест за квалитет на кластерирање кој се состои од неколку илјади фотографии; симулира означување на лице во облакот на корисникот. Во овој случај, кластерите се групи на слични поединци, по една група за секоја препознатлива личност. Го проверивме квалитетот на работата на реални групи (точно).

Се разбира, грешките при препознавање се појавуваат кај кој било модел. Но, таквите ситуации често се решаваат со дотерување на праговите за специфични услови (за сите конференции ги користиме истите прагови, но, на пример, за системите за контрола на пристап мораме значително да ги зголемиме праговите за да има помалку лажни позитиви). Огромното мнозинство од посетителите на конференцијата беа правилно препознаени од нашите фото кабини Vision. Понекогаш некој го гледаше исечениот преглед и рече: „Вашиот систем направи грешка, не бев јас“. Потоа ја отворивме фотографијата во целост, и се покажа дека навистина има овој посетител на фотографијата, само што ние не го фотографиравме него, туку некој друг, лицето едноставно се најде во позадина во зоната за замаглување. Згора на тоа, невронската мрежа често правилно препознава дури и кога дел од лицето не е видлив, или лицето стои во профилот, па дури и половина свртено. Системот може да препознае лице дури и ако лицето е во областа на оптичко изобличување, да речеме, кога снимате со широкоаголен објектив.

1.3. Примери за тестирање во тешки ситуации

Подолу се дадени примери за тоа како функционира нашата невронска мрежа. Фотографиите се доставуваат до влезот, кој таа мора да ги означи со помош на PersonID - единствен идентификатор на личност. Ако две или повеќе слики имаат ист проект, тогаш, според моделите, овие фотографии ја прикажуваат истата личност.

Веднаш да забележиме дека при тестирањето имаме пристап до различни параметри и прагови на модел што можеме да ги конфигурираме за да постигнеме одреден резултат. Јавното API е оптимизирано за максимална точност на вообичаени случаи.

Да почнеме со наједноставната работа, со препознавање на лица од предната страна.

Па, тоа беше премногу лесно. Да ја искомплицираме задачата, да додадеме брада и грст години.

Некои ќе речат дека и тоа не било премногу тешко, бидејќи и во двата случаи се гледа целото лице, а алгоритмот има многу информации за лицето. Добро, ајде да го претвориме Том Харди во профил. Овој проблем е многу покомплексен и потрошивме многу напор за успешно да го решиме додека одржувавме ниска стапка на грешки: избравме сет за обука, размисливме низ архитектурата на невронската мрежа, ги усовршивме функциите на загубата и ја подобривме претходна обработка на фотографии.

Ајде да му ставиме наметка:

Патем, ова е пример за особено тешка ситуација, бидејќи лицето е силно заматено, а на долната фотографија има и длабока сенка што ги крие очите. Во реалниот живот, луѓето многу често го менуваат својот изглед со помош на темни очила. Ајде да го сториме истото со Том.

Добро, ајде да се обидеме да фрлиме фотографии од различни возрасти, а овој пат ќе експериментираме со различен актер. Да земеме многу покомплексен пример, каде промените поврзани со возраста се особено изразени. Ситуацијата не е пресилен, се случува доста често кога треба да ја споредите фотографијата во пасошот со лицето на носителот. На крајот на краиштата, првата фотографија се додава во пасошот кога сопственикот има 20 години, а до 45-тата година едно лице може многу да се промени:

Дали мислите дека главниот специјалист за невозможни мисии не се промени многу со возраста? Мислам дека дури и неколку луѓе би ги споиле горните и долните фотографии, момчето толку многу се променило со текот на годините.

Невронските мрежи многу почесто се среќаваат со промени во изгледот. На пример, понекогаш жените можат многу да го променат својот имиџ со помош на козметика:

Сега да ја комплицираме задачата уште повеќе: да претпоставиме дека различни делови од лицето се покриени со различни фотографии. Во такви случаи, алгоритмот не може да споредува цели примероци. Сепак, Vision добро се справува со ситуации како оваа.

Патем, може да има многу лица на фотографијата; на пример, повеќе од 100 луѓе можат да се вклопат во општа фотографија на сала. Ова е тешка ситуација за невронските мрежи, бидејќи многу лица може да се осветлат поинаку, некои надвор од фокусот. Меѓутоа, ако фотографијата е направена со доволна резолуција и квалитет (најмалку 75 пиксели по квадрат што го покрива лицето), Vision ќе може да ја открие и препознае.

Особеноста на репортажните фотографии и сликите од надзорните камери е тоа што луѓето често се заматени затоа што биле надвор од фокусот или се движеле во тој момент:

Исто така, интензитетот на осветлување може многу да варира од слика до слика. Ова, исто така, често станува камен на сопнување; многу алгоритми имаат големи потешкотии правилно да ги обработуваат сликите кои се премногу темни и премногу светли, а да не зборуваме за прецизно совпаѓање. Дозволете ми да ве потсетам дека за да го постигнете овој резултат, треба да ги конфигурирате праговите на одреден начин; оваа функција сè уште не е јавно достапна. Ја користиме истата невронска мрежа за сите клиенти; таа има прагови кои се погодни за повеќето практични задачи.

Неодамна претставивме нова верзија на моделот што ги препознава азиските лица со голема точност. Ова порано беше голем проблем, кој дури беше наречен „машинско учење“ (или „невронска мрежа“) расизам. Европските и американските невронски мрежи добро ги препознаваа кавкаските лица, но со монголоидните и негроидните лица ситуацијата беше многу полоша. Веројатно, во Кина ситуацијата беше токму спротивна. Се работи за збирки на податоци за обука кои ги рефлектираат доминантните типови на луѓе во одредена земја. Сепак, ситуацијата се менува, денес овој проблем не е толку акутен. Визијата нема проблем со луѓе од различни раси.

Препознавањето на лицето е само една од многуте апликации на нашата технологија; Визијата може да се обучи да препознава што било. На пример, регистарски таблички, вклучително и во услови тешки за алгоритми: под остри агли, валкани и тешко читливи регистарски таблички.

2. Случаи за практична употреба

2.1. Физичка контрола на пристап: кога две лица користат иста пропусница

Со помош на Vision можете да имплементирате системи за евидентирање на пристигнувањето и заминувањето на вработените. Традиционалниот систем заснован на електронски пропусници има очигледни недостатоци, на пример, можете да поминете две лица користејќи една значка. Ако системот за контрола на пристап (ACS) е дополнет со Vision, тој искрено ќе снима кој и кога дошол/заминал.

2.2. Следење на времето

Овој случај за употреба на Vision е тесно поврзан со претходниот. Ако го дополните системот за пристап со нашата услуга за препознавање лица, тој ќе може не само да открие прекршувања на контролата на пристап, туку и да го регистрира вистинското присуство на вработените во зградата или објектот. Со други зборови, Vision ќе ви помогне искрено да земете предвид кој во кое време дошол на работа и си заминал, а кој целосно ја прескокнал работата, дури и ако неговите колеги го покривале пред неговите претпоставени.

2.3. Видео аналитика: Следење луѓе и безбедност

Со следење на луѓето со помош на Vision, можете точно да го процените реалниот сообраќај на трговските области, железничките станици, премините, улиците и многу други јавни места. Нашето следење може да биде од голема помош и во контролирањето на пристапот, на пример, до магацин или други важни канцелариски простории. И, се разбира, следењето луѓе и лица помага во решавањето на безбедносните проблеми. Фативте некој како краде од вашата продавница? Додајте го неговиот PersonID, кој беше вратен од Vision, на црната листа на вашиот софтвер за видео аналитика и следниот пат системот веднаш ќе ја предупреди безбедноста доколку овој тип се појави повторно.

2.4. Во трговијата

Трговија на мало и разни услужни бизниси се заинтересирани за препознавање на редици. Со помош на Vision, можете да препознаете дека ова не е случајна толпа луѓе, туку редица и да ја одредите нејзината должина. А потоа системот ги известува одговорните за редица за да можат да ја сфатат ситуацијата: или има прилив на посетители и треба да се повикаат дополнителни работници или некој опушта на работните обврски.

Друга интересна задача е да се одделат вработените во компанијата во салата од посетителите. Вообичаено, системот е обучен да одвојува предмети што носат одредена облека (кодекс на облекување) или со некоја препознатлива карактеристика (брендирана марама, значка на градите итн.). Ова помага попрецизно да се процени присуството (за вработените да не ја „надуваат“ статистиката на луѓето во салата само со нивното присуство).

Користејќи го препознавањето на лицето, можете да ја оцените и вашата публика: каква е лојалноста на посетителите, односно колку луѓе се враќаат во вашата установа и со која фреквенција. Пресметајте колку уникатни посетители доаѓаат кај вас месечно. За да ги оптимизирате трошоците за привлекување и задржување, можете да ја дознаете и промената во сообраќајот во зависност од денот во неделата, па дури и времето од денот.

Давателите на франшиза и синџирот компании можат да нарачаат проценка врз основа на фотографии за квалитетот на брендирањето на различни малопродажни места: присуство на логоа, знаци, постери, банери итн.

2.5. Со транспорт

Друг пример за обезбедување безбедност со помош на видео аналитика е идентификување на напуштени предмети во салите на аеродромите или железничките станици. Визијата може да се обучи да препознава предмети од стотици класи: парчиња мебел, чанти, куфери, чадори, разни видови облека, шишиња итн. Ако вашиот систем за видео аналитика открие објект без сопственик и го препознае со помош на Vision, тој испраќа сигнал до безбедносната служба. Слична задача е поврзана со автоматско откривање на необични ситуации на јавни места: некој се чувствува лошо, или некој пуши на погрешно место, или лице паѓа на шините и така натаму - сите овие обрасци може да се препознаат преку системите за видео аналитика преку Vision API.

2.6. Тек на документи

Друга интересна идна апликација на Vision која моментално ја развиваме е препознавање документи и нивно автоматско парсирање во бази на податоци. Наместо рачно да внесувате (или уште полошо, да внесувате) бескрајни серии, броеви, датуми на издавање, броеви на сметки, банкарски податоци, датуми и места на раѓање и многу други формализирани податоци, можете да скенирате документи и автоматски да ги испраќате преку безбеден канал преку API на облакот, каде што системот ќе ги препознае овие документи во лет, ќе ги анализира и ќе врати одговор со податоци во потребниот формат за автоматско внесување во базата на податоци. Денес Vision веќе знае како да ги класифицира документите (вклучувајќи PDF) - прави разлика помеѓу пасоши, SNILS, TIN, изводи на родени, изводи од брак и други.

Се разбира, невронската мрежа не е во состојба да се справи со сите овие ситуации надвор од кутијата. Во секој случај, се гради нов модел за одреден клиент, се земаат предвид многу фактори, нијанси и барања, се избираат множества на податоци и се вршат повторувања на обука, тестирање и конфигурација.

3. Шема за работа на API

„Влезната порта“ на Vision за корисниците е REST API. Може да прима фотографии, видео датотеки и емитувања од мрежни камери (RTSP потоци) како влез.

За да го користите Vision, ви треба се регистрирате во услугата Mail.ru Cloud Solutions и примајте токени за пристап (client_id + client_secret). Автентикацијата на корисникот се врши со помош на протоколот OAuth. Изворните податоци во телата на барањата POST се испраќаат до API. И како одговор, клиентот добива од API резултат за препознавање во JSON формат, а одговорот е структуриран: содржи информации за пронајдените објекти и нивните координати.

Примерок одговор

{
   "status":200,
   "body":{
      "objects":[
         {
            "status":0,
            "name":"file_0"
         },
         {
            "status":0,
            "name":"file_2",
            "persons":[
               {
                  "tag":"person9"
                  "coord":[149,60,234,181],
                  "confidence":0.9999,
                  "awesomeness":0.45
               },
               {
                  "tag":"person10"
                  "coord":[159,70,224,171],
                  "confidence":0.9998,
                  "awesomeness":0.32
               }
            ]
         }

         {
            "status":0,
            "name":"file_3",
            "persons":[
               {
               "tag":"person11",
               "coord":[157,60,232,111],
               "aliases":["person12", "person13"]
               "confidence":0.9998,
               "awesomeness":0.32
               }
            ]
         },
         {
            "status":0,
            "name":"file_4",
            "persons":[
               {
               "tag":"undefined"
               "coord":[147,50,222,121],
               "confidence":0.9997,
               "awesomeness":0.26
               }
            ]
         }
      ],
      "aliases_changed":false
   },
   "htmlencoded":false,
   "last_modified":0
}

Одговорот содржи интересен параметар воодушевеност - ова е условната „ладност“ на лицето на фотографијата, со негова помош ја избираме најдобрата снимка на лице од низата. Трениравме невронска мрежа за да ја предвидиме веројатноста дека фотографијата ќе се допадне на социјалните мрежи. Колку е подобар квалитетот на фотографијата и колку повеќе лицето е насмеано, толку е поголема страста.

API Vision користи концепт наречен простор. Ова е алатка за создавање различни групи на лица. Примери за празни места се црно-бели списоци, списоци на посетители, вработени, клиенти, итн. За секој токен во Vision, можете да креирате до 10 празни места, секој простор може да има до 50 илјади PersonIDs, односно до 500 илјади по токен. Покрај тоа, бројот на токени по сметка не е ограничен.

Денес API ги поддржува следниве методи за откривање и препознавање:

• Recognize/Set - откривање и препознавање на лица. Автоматски доделува PersonID на секое уникатно лице, го враќа PersonID и координатите на пронајдените лица.
• Избриши - бришење на специфичен ID на лице од базата на податоци за лица.
• Скратување - го брише целиот простор од PersonID, корисен ако се користел како тест простор и треба да ја ресетирате базата на податоци за производство.
• Откријте - откривање предмети, сцени, регистарски таблички, знаменитости, редици итн. Ја враќа класата на пронајдени објекти и нивните координати
• Откријте документи - открива специфични видови документи на Руската Федерација (разликува пасош, SNILS, даночен идентификациски број итн.).

Исто така, наскоро ќе ја завршиме работата на методите за OCR, одредување пол, возраст и емоции, како и решавање на проблемите со трговските производи, односно за автоматска контрола на прикажувањето на стоката во продавниците. Целосната API документација можете да ја најдете овде: https://mcs.mail.ru/help/vision-api

4. Заклучок

Сега, преку јавниот API, можете да пристапите до препознавање на лица во фотографии и видеа; поддржана е идентификација на разни предмети, регистарски таблички, знаменитости, документи и цели сцени. Апликативни сценарија - морето. Дојдете, тестирајте ја нашата услуга, поставете ѝ ги најтешките задачи. Првите 5000 трансакции се бесплатни. Можеби тоа ќе биде „состојката што недостасува“ за вашите проекти.

Можете веднаш да пристапите до API при регистрација и поврзување. Визија. Сите корисници на Хабра добиваат промотивен код за дополнителни трансакции. Ве молиме напишете ми ја адресата на е-пошта што ја користевте за да ја регистрирате вашата сметка!

Извор: www.habr.com