Технологије и модели за наш будући систем компјутерског вида креирани су и унапређивани постепено иу различитим пројектима наше компаније - у Маил, Цлоуд, Сеарцх. Сазреле су као добар сир или коњак. Једног дана смо схватили да наше неуронске мреже показују одличне резултате у препознавању и одлучили смо да их спојимо у један б2б производ - Висион - који сада и сами користимо и нудимо вам да га користите.

Данас наша технологија компјутерског вида на платформи Маил.Ру Цлоуд Солутионс успешно ради и решава веома сложене практичне проблеме. Заснован је на бројним неуронским мрежама које су обучене на нашим скуповима података и специјализоване за решавање примењених проблема. Све услуге раде на нашим серверским објектима. Можете да интегришете јавни Висион АПИ у своје апликације, преко којих су доступне све могућности услуге. АПИ је брз - захваљујући серверским ГПУ-овима, просечно време одговора унутар наше мреже је 100 мс.

Иди до мачке, ту је детаљна прича и много примера Висионовог рада.

Пример услуге у којој и сами користимо поменуте технологије за препознавање лица је Дешавања. Једна од његових компоненти су Висион фото штандови, које постављамо на разним конференцијама. Ако приђете таквом штанду за фотографије, снимите фотографију уграђеном камером и унесете своју е-пошту, систем ће одмах међу низом фотографија пронаћи оне на којима су вас снимили запослени фотографи конференције, а по жељи и ће вам послати пронађене фотографије путем е-поште. И не говоримо о постављеним портретним снимцима – Висион вас препознаје чак и у позадини у гомили посетилаца. Наравно, не препознају се сами штандови за фотографије, то су само таблети у прелепим штандовима који једноставно фотографишу госте својим уграђеним камерама и преносе информације на сервере, где се дешава сва магија препознавања. И више пута смо видели колико је изненађујућа ефикасност технологије чак и међу стручњацима за препознавање слика. У наставку ћемо говорити о неким примерима.

1. Наш модел за препознавање лица

1.1. Неуронска мрежа и брзина обраде

За препознавање користимо модификацију модела неуронске мреже РесНет 101. Авераге Поолинг на крају је замењен потпуно повезаним слојем, слично као што се ради у АрцФаце-у. Међутим, величина векторских приказа је 128, а не 512. Наш сет за обуку садржи око 10 милиона фотографија 273 особе.

Модел ради веома брзо захваљујући пажљиво одабраној архитектури конфигурације сервера и ГПУ рачунарству. Потребно је од 100 мс да добијемо одговор од АПИ-ја на нашим интерним мрежама – ово укључује детекцију лица (откривање лица на фотографији), препознавање и враћање ПерсонИД-а у АПИ одговору. Са великим количинама долазних података – фотографија и видео записа – биће потребно много више времена да се подаци пренесу на услугу и да се добије одговор.

1.2. Процена ефективности модела

Али одређивање ефикасности неуронских мрежа је веома двосмислен задатак. Квалитет њиховог рада зависи од тога на којим скуповима података су модели обучени и да ли су оптимизовани за рад са одређеним подацима.

Почели смо да процењујемо тачност нашег модела помоћу популарног ЛФВ верификационог теста, али он је премали и једноставан. Након достизања тачности од 99,8% више није од користи. Постоји добра конкуренција за процену модела препознавања - Мегафаце, на којој смо постепено достигли 82% ранг 1. Мегафаце тест се састоји од милион фотографија - дистрактора - и модел би требало да буде у стању да добро разликује неколико хиљада фотографија познатих личности из Фацесцруб-а. скуп података из дистрактора. Међутим, након што смо очистили Мегафаце тест од грешака, открили смо да са очишћеном верзијом постижемо тачност од 98% ранга 1 (фотографије познатих личности су генерално прилично специфичне). Стога су направили посебан тест за идентификацију, сличан Мегафацеу, али са фотографијама „обичних“ људи. Затим смо побољшали тачност препознавања у нашим скуповима података и отишли ​​далеко напред. Поред тога, користимо тест квалитета груписања који се састоји од неколико хиљада фотографија; симулира ознаке лица у корисниковом облаку. У овом случају, кластери су групе сличних појединаца, по једна група за сваку препознатљиву особу. Проверили смо квалитет рада на реалним групама (тачно).

Наравно, грешке у препознавању се јављају код било ког модела. Али такве ситуације се често решавају финим подешавањем прагова за специфичне услове (за све конференције користимо исте прагове, али, на пример, за системе контроле приступа морамо у великој мери да повећамо прагове како би било мање лажних позитивних резултата). Огромна већина посетилаца конференције била је исправно препозната по нашим Висион фото кабинама. Понекад би неко погледао изрезани преглед и рекао: „Ваш систем је направио грешку, нисам ја. Онда смо отворили фотографију у целини и испоставило се да је на фотографији заиста овај посетилац, само што нисмо ми њега фотографисали, већ неког другог, особа је случајно била у позадини у зони замућења. Штавише, неуронска мрежа често исправно препознаје чак и када део лица није видљив, или особа стоји у профилу, или чак полуокренута. Систем може да препозна особу чак и ако се лице налази у области оптичке дисторзије, рецимо, када снимате широкоугаоним објективом.

1.3. Примери тестирања у тешким ситуацијама

Испод су примери како функционише наша неуронска мрежа. Фотографије се шаљу на улаз, који она мора означити користећи ПерсонИД - јединствени идентификатор особе. Ако две или више слика имају исти ИД, онда, према моделима, ове фотографије приказују исту особу.

Одмах да приметимо да приликом тестирања имамо приступ различитим параметрима и праговима модела које можемо да конфигуришемо да бисмо постигли одређени резултат. Јавни АПИ је оптимизован за максималну прецизност у уобичајеним случајевима.

Почнимо од најједноставније ствари, са препознавањем лица са предње стране.

Па, то је било превише лако. Хајде да закомпликујемо задатак, додамо браду и прегршт година.

Неки ће рећи да ни ово није било тешко, јер је у оба случаја видљиво цело лице, а алгоритму је доступно много информација о лицу. Ок, хајде да претворимо Тома Хардија у профил. Овај проблем је много сложенији и уложили смо много труда да га успешно решимо уз ниску стопу грешака: одабрали смо скуп за обуку, промислили кроз архитектуру неуронске мреже, усавршили функције губитка и побољшали претходну обраду од фотографија.

Хајде да му ставимо капу за главу:

Иначе, ово је пример посебно тешке ситуације, јер је лице јако заклоњено, а на доњој фотографији је и дубока сенка која скрива очи. У стварном животу људи врло често мењају свој изглед уз помоћ тамних наочара. Урадимо исто са Томом.

У реду, хајде да покушамо да убацимо фотографије из различитих узраста, а овог пута ћемо експериментисати са другим глумцем. Узмимо много сложенији пример, где су промене везане за узраст посебно изражене. Ситуација није натегнута, често се дешава када треба да упоредите фотографију у пасошу са лицем носиоца. На крају крајева, прва фотографија се додаје у пасош када власник има 20 година, а до 45 година особа се може значајно променити:

Мислите ли да се главни специјалиста за немогуће мисије није много променио са годинама? Мислим да би чак и неколико људи комбиновало горњу и доњу фотографију, дечак се толико променио током година.

Неуронске мреже много чешће наилазе на промене у изгледу. На пример, понекад жене могу у великој мери променити свој имиџ уз помоћ козметике:

Хајде да још више закомпликујемо задатак: претпоставимо да су различити делови лица прекривени различитим фотографијама. У таквим случајевима, алгоритам не може да упореди целе узорке. Међутим, Висион се добро носи са оваквим ситуацијама.

Иначе, на фотографији може бити много лица, на пример, више од 100 људи може да стане у општу фотографију сале. Ово је тешка ситуација за неуронске мреже, пошто многа лица могу бити различито осветљена, нека су ван фокуса. Међутим, ако је фотографија снимљена у довољној резолуцији и квалитету (најмање 75 пиксела по квадрату који покрива лице), Висион ће моћи да је открије и препозна.

Посебност репортажних фотографија и снимака са надзорних камера је да су људи често замагљени јер су били ван фокуса или су се у том тренутку кретали:

Такође, интензитет осветљења може значајно да варира од слике до слике. Ово такође често постаје камен спотицања; многи алгоритми имају велике потешкоће да правилно обрађују слике које су превише тамне и превише светле, а да не помињемо да их тачно подударају. Дозволите ми да вас подсетим да да бисте постигли овај резултат морате да конфигуришете прагове на одређени начин; ова функција још увек није јавно доступна. Користимо исту неуронску мрежу за све клијенте; она има прагове који су погодни за већину практичних задатака.

Недавно смо представили нову верзију модела која са великом прецизношћу препознаје азијска лица. Ово је некада био велики проблем, који се чак називао расизмом „машинског учења“ (или „неуралне мреже“). Европске и америчке неуронске мреже су добро препознале лица белаца, али са монголоидним и негроидним лицима ситуација је била много гора. Вероватно је у Кини ситуација била управо супротна. Све се ради о скуповима података о обуци који одражавају доминантне типове људи у одређеној земљи. Међутим, ситуација се мења, данас овај проблем није толико акутан. Визија нема проблема са људима различитих раса.

Препознавање лица је само једна од многих примена наше технологије; Визија се може обучити да препозна било шта. На пример, регистарске таблице, укључујући у условима тешким за алгоритме: под оштрим угловима, прљаве и тешко читљиве таблице.

2. Практични случајеви употребе

2.1. Контрола физичког приступа: када две особе користе исту пропусницу

Уз помоћ Висион-а можете имплементирати системе за евидентирање доласка и одласка запослених. Традиционални систем заснован на електронским пропусницама има очигледне недостатке, на пример, можете проћи две особе користећи једну значку. Ако се систем контроле приступа (АЦС) допуни Висион-ом, он ће поштено забележити ко је дошао/отишао и када.

2.2. Праћење времена

Овај случај употребе Висион је уско повезан са претходним. Ако приступни систем допуните нашом услугом препознавања лица, он ће моћи не само да открије кршења контроле приступа, већ и да региструје стварно присуство запослених у згради или објекту. Другим речима, Висион ће вам помоћи да поштено узмете у обзир ко је у које време дошао на посао и отишао, а ко је у потпуности прескочио посао, чак и ако су га колеге покривале пред надређенима.

2.3. Видео аналитика: праћење људи и безбедност

Праћењем људи користећи Висион, можете прецизно проценити стварни саобраћај у трговачким зонама, железничким станицама, пролазима, улицама и многим другим јавним местима. Наше праћење такође може бити од велике помоћи у контроли приступа, на пример, складишту или другим важним канцеларијским просторијама. И наравно, праћење људи и лица помаже у решавању безбедносних проблема. Јесте ли ухватили некога како краде из ваше продавнице? Додајте његов ПерсонИД, који је вратио Висион, на црну листу вашег софтвера за видео аналитику и следећи пут ће систем одмах упозорити сигурност ако се овај тип поново појави.

2.4. У трговини

Малопродаја и разне услужне делатности су заинтересоване за препознавање редова. Уз помоћ Висион-а можете препознати да ово није насумична гомила људи, већ ред, и одредити његову дужину. А онда систем обавештава надлежне о чекању у реду како би они схватили ситуацију: или је прилив посетилаца и треба позвати додатне раднике, или неко омаловажава послове.

Још један занимљив задатак је одвајање запослених у сали од посетилаца. Типично, систем је обучен да одваја предмете који носе одређену одећу (код облачења) или са неким карактеристичним обележјем (брендирани шал, значка на грудима и тако даље). Ово помаже да се прецизније процени присуство (тако да запослени не „надувају“ статистику људи у сали својим присуством).

Користећи препознавање лица, такође можете проценити своју публику: колика је лојалност посетилаца, односно колико људи се враћа у ваш објекат и са којом фреквенцијом. Израчунајте колико јединствених посетилаца вам долази месечно. Да бисте оптимизовали трошкове привлачења и задржавања, можете сазнати и промену саобраћаја у зависности од дана у недељи, па чак и доба дана.

Франшизери и ланци компанија могу наручити процену на основу фотографија квалитета брендирања различитих малопродајних објеката: присуство логотипа, знакова, постера, банера и тако даље.

2.5. Транспортом

Још један пример обезбеђења безбедности коришћењем видео аналитике је идентификација напуштених ствари у ходницима аеродрома или железничких станица. Визија се може оспособити да препозна предмете стотина класа: комаде намештаја, торбе, кофере, кишобране, разне врсте одеће, флаше и тако даље. Ако ваш систем видео аналитике открије објекат без власника и препозна га помоћу Висион-а, он шаље сигнал служби безбедности. Сличан задатак је повезан са аутоматским откривањем неуобичајених ситуација на јавним местима: неко се осећа болесно, или неко пуши на погрешном месту, или човек пада на шине и тако даље - све ове обрасце могу препознати системи видео аналитике. преко Висион АПИ-ја.

2.6. Ток докумената

Још једна занимљива будућа примена Висион-а коју тренутно развијамо је препознавање докумената и њихово аутоматско рашчлањивање у базе података. Уместо да ручно уносите (или још горе, уносите) бесконачне серије, бројеве, датуме издавања, бројеве рачуна, банковне податке, датуме и места рођења и многе друге формализоване податке, можете скенирати документе и аутоматски их послати преко безбедног канала преко АПИ до облака, где ће систем препознати ове документе у ходу, анализирати их и вратити одговор са подацима у потребном формату за аутоматски улазак у базу података. Данас Висион већ зна како да класификује документе (укључујући ПДФ) - разликује пасоше, СНИЛС, ТИН, изводе из матичне књиге рођених, венчане листове и друге.

Наравно, неуронска мрежа није у стању да изађе на крај са свим овим ситуацијама. У сваком случају, прави се нови модел за одређеног купца, узимају се у обзир многи фактори, нијансе и захтеви, бирају се скупови података и спроводе се итерације обуке, тестирања и конфигурисања.

3. Шема рада АПИ-ја

Висионова „улазна капија“ за кориснике је РЕСТ АПИ. Може да прима фотографије, видео датотеке и емисије са мрежних камера (РТСП стримови) као улаз.

Да бисте користили Висион, потребно вам је регистровати у сервису Маил.ру Цлоуд Солутионс и примите приступне токене (цлиент_ид + цлиент_сецрет). Аутентификација корисника се врши помоћу ОАутх протокола. Изворни подаци у телима ПОСТ захтева се шаљу АПИ-ју. И као одговор, клијент добија од АПИ-ја резултат препознавања у ЈСОН формату, а одговор је структуриран: садржи информације о пронађеним објектима и њиховим координатама.

Пример одговора

{
   "status":200,
   "body":{
      "objects":[
         {
            "status":0,
            "name":"file_0"
         },
         {
            "status":0,
            "name":"file_2",
            "persons":[
               {
                  "tag":"person9"
                  "coord":[149,60,234,181],
                  "confidence":0.9999,
                  "awesomeness":0.45
               },
               {
                  "tag":"person10"
                  "coord":[159,70,224,171],
                  "confidence":0.9998,
                  "awesomeness":0.32
               }
            ]
         }

         {
            "status":0,
            "name":"file_3",
            "persons":[
               {
               "tag":"person11",
               "coord":[157,60,232,111],
               "aliases":["person12", "person13"]
               "confidence":0.9998,
               "awesomeness":0.32
               }
            ]
         },
         {
            "status":0,
            "name":"file_4",
            "persons":[
               {
               "tag":"undefined"
               "coord":[147,50,222,121],
               "confidence":0.9997,
               "awesomeness":0.26
               }
            ]
         }
      ],
      "aliases_changed":false
   },
   "htmlencoded":false,
   "last_modified":0
}

Одговор садржи занимљив параметар супер - ово је условна "хладноћа" лица на фотографији, уз помоћ које бирамо најбољи снимак лица из низа. Обучили смо неуронску мрежу да предвиди вероватноћу да ће се фотографија лајковати на друштвеним мрежама. Што је бољи квалитет фотографије и што је лице насмејаније, то је већа фантастичност.

АПИ Висион користи концепт који се зове простор. Ово је алат за креирање различитих скупова лица. Примери простора су црне и беле листе, листе посетилаца, запослених, клијената итд. За сваки токен у Висион-у можете креирати до 10 простора, сваки простор може имати до 50 хиљада ПерсонИД-а, односно до 500 хиљада по токену . Штавише, број токена по налогу није ограничен.

Данас АПИ подржава следеће методе откривања и препознавања:

• Рецогнизе/Сет - детекција и препознавање лица. Аутоматски додељује ПерсонИД свакој јединственој особи, враћа ПерсонИД и координате пронађених особа.
• Избриши - брисање одређеног ПерсонИД-а из базе података особа.
• Скраћивање – брише цео простор из ПерсонИД-а, корисно ако је коришћен као простор за тестирање и потребно је да ресетујете базу података за производњу.
• Детецт - откривање објеката, сцена, регистарских таблица, оријентира, редова итд. Враћа класу пронађених објеката и њихове координате
• Откривање докумената - открива специфичне врсте докумената Руске Федерације (разликује пасош, СНИЛС, порески идентификациони број итд.).

Ускоро ћемо завршити и рад на методама за ОЦР, одређивање пола, старости и емоција, као и решавање мерцхандисинг проблема, односно аутоматске контроле излагања робе у продавницама. Комплетну АПИ документацију можете пронаћи овде: https://mcs.mail.ru/help/vision-api

4. Закључак

Сада, преко јавног АПИ-ја, можете приступити препознавању лица на фотографијама и видео записима; подржана је идентификација разних објеката, регистарских таблица, оријентира, докумената и читавих сцена. Сценарији примене - море. Дођите, тестирајте нашу услугу, поставите јој најзахтјевније задатке. Првих 5000 трансакција је бесплатно. Можда ће то бити „састојак који недостаје“ за ваше пројекте.

Можете одмах приступити АПИ-ју након регистрације и повезивања. Визија. Сви корисници Хабре добијају промотивни код за додатне трансакције. Напишите ми адресу е-поште коју сте користили за регистрацију налога!

Извор: ввв.хабр.цом