Біздің болашақ компьютерлік көру жүйесіне арналған технологиялар мен модельдер бірте-бірте және біздің компанияның әртүрлі жобаларында - Mail, Cloud, Search-те жасалды және жетілдірілді. Олар жақсы ірімшік немесе коньяк сияқты жетілді. Бір күні біз нейрондық желілердің тануда тамаша нәтижелер көрсететінін түсіндік және біз оларды қазір өзіміз қолданатын және сізге пайдалануға ұсынатын бір b2b өніміне - Vision-ге біріктіруді шештік.

Бүгінгі күні біздің Mail.Ru Cloud Solutions платформасындағы компьютерлік көру технологиямыз сәтті жұмыс істеп, өте күрделі практикалық мәселелерді шешуде. Ол біздің деректер жинақтарында оқытылатын және қолданбалы есептерді шешуге маманданған бірнеше нейрондық желілерге негізделген. Барлық қызметтер біздің серверлік қондырғыларда жұмыс істейді. Сіз жалпыға ортақ Vision API интерфейсін қолданбаларыңызға біріктіре аласыз, ол арқылы қызметтің барлық мүмкіндіктері қолжетімді. API жылдам - ​​серверлік графикалық процессорлардың арқасында желіміздегі орташа жауап беру уақыты 100 мс құрайды.

Мысыққа барыңыз, мұнда егжей-тегжейлі әңгіме және Vision жұмысының көптеген мысалдары бар.

Біз аталған бетті тану технологияларын қолданатын қызметтің мысалы болып табылады Іс-шаралар. Оның құрамдас бөліктерінің бірі - біз әртүрлі конференцияларда орнататын Vision фотостендтері. Егер сіз осындай фотостендке жақындасаңыз, кірістірілген камерамен суретке түсіп, электрондық поштаңызды енгізсеңіз, жүйе фотосуреттер жиынының ішінен сіз конференцияның фотографтары түсірген фотосуреттерді бірден табады, ал қаласаңыз, табылған фотосуреттерді сізге электрондық пошта арқылы жібереді. Біз сахналанған портреттік түсірілімдер туралы айтып отырған жоқпыз — Vision сізді келушілер тобында тіпті фонда таниды. Әрине, фотостендтердің өздері емес, бұл әдемі стендтердегі планшеттер, олар жай ғана қонақтарды өздерінің кірістірілген камераларымен суретке түсіреді және ақпаратты серверлерге жібереді, тану сиқыры сонда. Технологияның тиімділігі суретті тану мамандарының арасында да таңқаларлық екенін біз бірнеше рет көрдік. Төменде біз кейбір мысалдар туралы айтатын боламыз.

1. Біздің бетті тану үлгісі

1.1. Нейрондық желі және өңдеу жылдамдығы

Тану үшін біз ResNet 101 нейрондық желі моделінің модификациясын қолданамыз.Орташа біріктіру соңында ArcFace-те орындалатындай толық қосылған қабатпен ауыстырылады. Дегенмен, векторлық кескіндердің өлшемі 128 емес, 512. Біздің оқу жинағында 10 273 адамның 593 миллионға жуық фотосуреті бар.

Модель мұқият таңдалған сервер конфигурациясының архитектурасы мен GPU есептеулерінің арқасында өте жылдам жұмыс істейді. Ішкі желілерімізде API-ден жауап алу үшін 100 мс уақыт қажет - оған бетті анықтау (фотосуреттегі бетті анықтау), API жауапында PersonID тану және қайтару кіреді. Кіріс деректердің үлкен көлемімен - фотосуреттер мен бейнелер - деректерді қызметке тасымалдау және жауап алу үшін әлдеқайда көп уақыт қажет.

1.2. Модельдің тиімділігін бағалау

Бірақ нейрондық желілердің тиімділігін анықтау өте түсініксіз міндет. Олардың жұмысының сапасы үлгілер қандай деректер жиынында оқытылғанына және олардың нақты деректермен жұмыс істеу үшін оңтайландырылғанына байланысты.

Біз модельіміздің дәлдігін танымал LFW тексеру сынағы арқылы бағалай бастадық, бірақ ол тым кішкентай және қарапайым. 99,8% дәлдікке жеткеннен кейін ол енді пайдалы емес. Модельдерді тану үшін жақсы бәсекелестік бар - Megaface, біз бірте-бірте 82% 1-ші дәрежеге жеттік. Megaface сынағы миллиондаған фотосуреттерден тұрады - дистракторлар - және модель Facescrub-тен атақты адамдардың бірнеше мың фотосуреттерін жақсы ажырата алуы керек. дистракторлардан алынған деректер жинағы. Дегенмен, Megaface сынағы қателіктерін жойып, біз тазартылған нұсқамен 98-ші дәрежелі 1% дәлдікке қол жеткізгенімізді анықтадық (атақты адамдардың фотосуреттері әдетте өте нақты). Сондықтан олар Megaface-ге ұқсас, бірақ «қарапайым» адамдардың фотосуреттері бар жеке сәйкестендіру тестін жасады. Содан кейін біз деректер жиынтығымыздағы тану дәлдігін жақсарттық және әлдеқайда алға шықтық. Сонымен қатар, біз бірнеше мың фотосуреттерден тұратын кластерлік сапа сынағын қолданамыз; ол пайдаланушының бұлтындағы бет тегтерін имитациялайды. Бұл жағдайда кластерлер әр танылатын адамға бір топтан тұратын ұқсас жеке тұлғалардың топтары болып табылады. Нақты топтар бойынша жұмыс сапасын тексердік (шын).

Әрине, тану қателері кез келген модельде болады. Бірақ мұндай жағдайлар көбінесе нақты шарттар үшін шекті мәндерді дәл баптау арқылы шешіледі (барлық конференциялар үшін біз бірдей шектерді қолданамыз, бірақ, мысалы, кіруді басқару жүйелері үшін біз шекті мәндерді айтарлықтай арттыруымыз керек, осылайша жалған позитивтер азырақ болады). Конференцияға келушілердің басым көпшілігі біздің Vision фотостендтері арқылы дұрыс танылды. Кейде біреу кесілген алдын ала қарауға қарап: «Сіздің жүйеңіз қателік жіберді, бұл мен емес едім» дейді. Содан кейін біз фотоны толығымен аштық, фотода шынымен де осы келушінің бар екені белгілі болды, тек біз оны емес, басқа біреуді суретке түсіріп жатқан жоқпыз, бұл адам бұлыңғыр аймақта фонға түсіп қалған. Сонымен қатар, нейрондық желі бетінің бір бөлігі көрінбейтін немесе адам профильде тұрған немесе тіпті жартылай бұрылған кезде де дұрыс таниды. Жүйе адамның беті оптикалық бұрмалану аймағында болса да, айталық, кең бұрышты объективпен түсіргенде тани алады.

1.3. Қиын жағдайларда тестілеу мысалдары

Төменде біздің нейрондық желіміз қалай жұмыс істейтінінің мысалдары берілген. Фотосуреттер енгізуге жіберіледі, ол оны PersonID - тұлғаның бірегей идентификаторы арқылы белгілеуі керек. Егер екі немесе одан да көп кескіндердің идентификаторы бірдей болса, үлгілерге сәйкес бұл фотосуреттер бір адамды бейнелейді.

Тестілеу кезінде бізде белгілі бір нәтижеге қол жеткізу үшін конфигурациялай алатын әртүрлі параметрлер мен үлгі шектеріне қол жетімді екенін бірден атап өтейік. Жалпыға ортақ API жалпы жағдайларда максималды дәлдік үшін оңтайландырылған.

Ең қарапайым нәрседен бастайық, бетті бетті тану.

Бұл тым оңай болды. Тапсырманы күрделендірейік, сақал мен бір уыс жылды қосамыз.

Кейбіреулер бұл өте қиын емес деп айтады, өйткені екі жағдайда да бүкіл бет көрінеді және алгоритмде бет туралы көптеген ақпарат бар. Жарайды, Том Хардиді профильге айналдырайық. Бұл мәселе әлдеқайда күрделі және біз қателіктердің төмен деңгейін сақтай отырып, оны сәтті шешу үшін көп күш жұмсадық: біз жаттығулар жиынтығын таңдадық, нейрондық желінің архитектурасын ойластырдық, жоғалту функцияларын жетілдірдік және алдын ала өңдеуді жақсарттық. фотосуреттер.

Оған бас киім кигізейік:

Айтпақшы, бұл өте қиын жағдайдың мысалы, өйткені бет қатты қараңғыланған, ал төменгі фотода көзді жасыратын терең көлеңке бар. Шынайы өмірде адамдар қара көзілдіріктің көмегімен сыртқы түрін жиі өзгертеді. Томмен де солай істейік.

Жарайды, әр түрлі жастағы суреттерді салып көрейік, ал бұл жолы басқа актермен тәжірибе жасаймыз. Жасқа байланысты өзгерістер әсіресе айқын болатын әлдеқайда күрделі мысалды алайық. Жағдай алыс емес, ол паспорттағы фотосуретті ұсынушының бетімен салыстыру қажет болғанда жиі кездеседі. Ақыр соңында, бірінші фотосурет иесі 20 жаста төлқұжатқа қосылады және 45 жаста адам қатты өзгеруі мүмкін:

Мүмкін емес тапсырмалардың бас маманы жасына қарай көп өзгерген жоқ деп ойлайсыз ба? Менің ойымша, тіпті бірнеше адам үстіңгі және астыңғы фотосуреттерді біріктіреді, бала осы жылдар ішінде қатты өзгерді.

Нейрондық желілер сыртқы көріністегі өзгерістерге жиі ұшырайды. Мысалы, кейде әйелдер косметика көмегімен имиджін айтарлықтай өзгерте алады:

Енді тапсырманы одан да қиындатып көрейік: беттің әртүрлі бөліктері әртүрлі фотосуреттерде жабылған делік. Мұндай жағдайларда алгоритм барлық үлгілерді салыстыра алмайды. Дегенмен, Vision мұндай жағдайларды жақсы шешеді.

Айтпақшы, фотосуретте көптеген беттер болуы мүмкін, мысалы, залдың жалпы фотосуретіне 100-ден астам адам сыяды. Бұл нейрондық желілер үшін қиын жағдай, өйткені көптеген беттер әртүрлі жарықтандырылуы мүмкін, кейбіреулері фокустан тыс. Дегенмен, егер фотосурет жеткілікті ажыратымдылықпен және сапада түсірілсе (бетті жабатын шаршыға кемінде 75 пиксель), Vision оны анықтап, тани алады.

Репортаждық фотосуреттер мен бақылау камераларынан алынған суреттердің ерекшелігі - адамдар көбінесе бұлыңғыр болады, себебі олар фокустан тыс немесе сол сәтте қозғалады:

Сондай-ақ, жарықтандыру қарқындылығы кескіннен кескінге айтарлықтай өзгеруі мүмкін. Бұл да жиі тосқауылға айналады; көптеген алгоритмдер тым қараңғы және тым ашық кескіндерді дұрыс өңдеуде, дәл сәйкестендіруді айтпағанда, үлкен қиындықтарға тап болады. Естеріңізге сала кетейін, бұл нәтижеге жету үшін шекті мәндерді белгілі бір жолмен конфигурациялау қажет, бұл мүмкіндік әлі жалпыға қолжетімді емес. Біз барлық клиенттер үшін бірдей нейрондық желіні қолданамыз, оның көптеген практикалық тапсырмалар үшін қолайлы шектері бар.

Біз жақында азиялық беттерді жоғары дәлдікпен танитын модельдің жаңа нұсқасын шығардық. Бұрын бұл үлкен мәселе болды, оны тіпті «машиналық оқыту» (немесе «нейрондық желі») нәсілшілдік деп атады. Еуропалық және американдық нейрондық желілер кавказдық беттерді жақсы таниды, бірақ моңғолоидтық және негроидтық беттермен жағдай әлдеқайда нашар болды. Қытайда жағдай мүлде керісінше болған шығар. Мұның бәрі белгілі бір елдегі адамдардың басым түрлерін көрсететін оқыту деректер жиыны туралы. Алайда жағдай өзгеруде, бүгінде бұл мәселе соншалықты өткір емес. Түрлі нәсілдегі адамдармен көрудің ешқандай проблемасы жоқ.

Бет-әлпетті тану - біздің технологиямыздың көптеген қолданбаларының бірі ғана; Көруді кез келген нәрсені тануға үйретуге болады. Мысалы, нөмірлер, оның ішінде алгоритмдер үшін қиын жағдайларда: өткір бұрыштарда, лас және оқуға қиын нөмірлер.

2. Практикалық қолдану жағдайлары

2.1. Физикалық қол жеткізуді басқару: екі адам бір рұқсатты пайдаланған кезде

Vision көмегімен қызметкерлердің келуі мен кетуін тіркеу жүйелерін енгізуге болады. Электрондық рұқсаттамаға негізделген дәстүрлі жүйенің айқын кемшіліктері бар, мысалы, бір белгі арқылы екі адамды өткізуге болады. Егер қол жеткізуді басқару жүйесі (ACS) Vision жүйесімен толықтырылса, ол кімнің келгенін/кеткенін және қашан екенін шынайы жазады.

2.2. Уақытты қадағалау

Бұл Vision пайдалану жағдайы алдыңғысымен тығыз байланысты. Егер сіз кіру жүйесін біздің бет-әлпетті тану қызметімізбен толықтырсаңыз, ол кіруді басқарудың бұзылуын анықтап қана қоймай, сонымен қатар ғимаратта немесе нысанда қызметкерлердің нақты болуын тіркей алады. Басқаша айтқанда, Vision сізге кімнің жұмысқа келгенін және қай уақытта кеткенін және жұмысты мүлдем өткізіп жібергенін, тіпті әріптестері оны басшылардың алдында жасырса да, шынайы түрде есепке алуға көмектеседі.

2.3. Бейне талдауы: адамдарды бақылау және қауіпсіздік

Vision көмегімен адамдарды бақылай отырып, сіз сауда орындарының, вокзалдардың, өткелдердің, көшелердің және басқа да көптеген қоғамдық орындардың нақты қозғалысын дәл бағалай аласыз. Біздің бақылауымыз сонымен қатар, мысалы, қоймаға немесе басқа маңызды кеңсе үй-жайларына кіруді бақылауда үлкен көмек болуы мүмкін. Және, әрине, адамдар мен беттерді қадағалау қауіпсіздік мәселелерін шешуге көмектеседі. Дүкеніңізден ұрлық жасаған адамды ұстадыңыз ба? Vision қайтарған оның PersonID кодын бейне талдау бағдарламалық құралының қара тізіміне қосыңыз және келесі жолы бұл түрі қайта пайда болса, жүйе қауіпсіздікті дереу ескертеді.

2.4. Саудада

Бөлшек сауда және әртүрлі қызмет көрсету кәсіпорындары кезекті тануға мүдделі. Vision көмегімен сіз бұл кездейсоқ адамдар тобы емес, кезек екенін танып, оның ұзақтығын анықтай аласыз. Содан кейін жүйе жауаптыларға кезек туралы хабарлайды, сонда олар жағдайды анықтай алады: не келушілер ағыны бар және қосымша жұмысшыларды шақыру керек, немесе біреу жұмыс міндеттерін орындамай жатыр.

Тағы бір қызық тапсырма - залдағы компания қызметкерлерін келушілерден бөлу. Әдетте, жүйе белгілі бір киім киген (дресс-код) немесе кейбір ерекше белгілері бар (фирмалық шарф, кеудедегі белгі және т.б.) объектілерді бөлуге үйретіледі. Бұл сабаққа қатысуды дәлірек бағалауға көмектеседі (қызметкерлер залдағы адамдардың статистикасын олардың қатысуы арқылы «көптеп кетпеуі» үшін).

Бет-әлпетті тану арқылы сіз өз аудиторияңызды да бағалай аласыз: келушілердің адалдығы қандай, яғни мекемеңізге қанша адам және қандай жиілікпен оралады. Сізге айына қанша бірегей келушілер келетінін есептеңіз. Тарту және ұстау шығындарын оңтайландыру үшін аптаның күніне және тіпті тәулік уақытына байланысты трафиктің өзгеруін білуге ​​болады.

Франчайзерлер мен желілік компаниялар әртүрлі сауда нүктелерінің брендингінің сапасының фотосуреттеріне негізделген бағалауға тапсырыс бере алады: логотиптердің, белгілердің, плакаттардың, баннерлер және т.б.

2.5. Көлікпен

Бейне аналитиканы қолдану арқылы қауіпсіздікті қамтамасыз етудің тағы бір мысалы - әуежайлардың немесе вокзалдардың залдарында тасталған заттарды анықтау. Көруді жүздеген сыныптағы заттарды тануға үйретуге болады: жиһаз бөліктері, сөмкелер, чемодандар, қолшатырлар, әртүрлі киім түрлері, бөтелкелер және т.б. Бейне талдау жүйесі иесіз нысанды анықтаса және оны Vision көмегімен таныса, ол қауіпсіздік қызметіне сигнал жібереді. Ұқсас тапсырма қоғамдық орындардағы әдеттен тыс жағдайларды автоматты түрде анықтаумен байланысты: біреу өзін нашар сезінеді, немесе біреу дұрыс емес жерде темекі шегеді, немесе адам рельске құлады және т.б. - бұл заңдылықтардың барлығын бейне талдау жүйелері арқылы тануға болады. Vision API арқылы.

2.6. Құжат айналымы

Біз қазір әзірлеп жатқан Vision бағдарламасының тағы бір қызықты болашақ қолданбасы - құжаттарды тану және оларды дерекқорларға автоматты түрде талдау. Шексіз серияларды, нөмірлерді, шығарылған күндерді, шот нөмірлерін, банктік деректемелерді, туған күндер мен жерлерді және басқа да көптеген ресми деректерді қолмен енгізудің (немесе одан да жаманы, енгізудің) орнына сіз құжаттарды сканерлеуге және оларды қауіпсіз арна арқылы автоматты түрде жіберуге болады. API бұлтқа, мұнда жүйе бұл құжаттарды жылдам таниды, оларды талдайды және дерекқорға автоматты түрде енгізу үшін қажетті пішімдегі деректермен жауап қайтарады. Бүгінгі күні Vision құжаттарды (соның ішінде PDF) қалай жіктеу керектігін біледі - төлқұжаттарды, SNILS, СТН, туу туралы куәліктерді, неке туралы куәліктерді және басқаларды ажыратады.

Әрине, нейрондық желі бұл жағдайлардың барлығын қораптан тыс реттей алмайды. Әрбір жағдайда нақты тұтынушы үшін жаңа модель құрастырылады, көптеген факторлар, нюанстар мен талаптар ескеріледі, деректер жинақтары таңдалады, оқыту, тестілеу және конфигурациялау итерациялары жүзеге асырылады.

3. API жұмыс схемасы

Vision-тің пайдаланушылар үшін «кіру қақпасы» REST API болып табылады. Ол желілік камералардан (RTSP ағындары) фотосуреттерді, бейне файлдарды және хабарларды кіріс ретінде қабылдай алады.

Vision пайдалану үшін сізге қажет тіркелу Mail.ru Cloud Solutions қызметінде және кіру таңбалауыштарын алыңыз (client_id + client_secret). Пайдаланушы аутентификациясы OAuth протоколы арқылы орындалады. POST сұрауларының денелеріндегі бастапқы деректер API-ге жіберіледі. Және жауап ретінде клиент API-дан JSON пішіміндегі тану нәтижесін алады және жауап құрылымдалған: ол табылған нысандар мен олардың координаттары туралы ақпаратты қамтиды.

Жауап үлгісі

{
   "status":200,
   "body":{
      "objects":[
         {
            "status":0,
            "name":"file_0"
         },
         {
            "status":0,
            "name":"file_2",
            "persons":[
               {
                  "tag":"person9"
                  "coord":[149,60,234,181],
                  "confidence":0.9999,
                  "awesomeness":0.45
               },
               {
                  "tag":"person10"
                  "coord":[159,70,224,171],
                  "confidence":0.9998,
                  "awesomeness":0.32
               }
            ]
         }

         {
            "status":0,
            "name":"file_3",
            "persons":[
               {
               "tag":"person11",
               "coord":[157,60,232,111],
               "aliases":["person12", "person13"]
               "confidence":0.9998,
               "awesomeness":0.32
               }
            ]
         },
         {
            "status":0,
            "name":"file_4",
            "persons":[
               {
               "tag":"undefined"
               "coord":[147,50,222,121],
               "confidence":0.9997,
               "awesomeness":0.26
               }
            ]
         }
      ],
      "aliases_changed":false
   },
   "htmlencoded":false,
   "last_modified":0
}

Жауапта керемет керемет параметр бар - бұл фотосуреттегі тұлғаның шартты «салқындығы», оның көмегімен біз беттің ең жақсы суретін реттіліктен таңдаймыз. Біз фотосуреттің әлеуметтік желілерде ұнау ықтималдығын болжау үшін нейрондық желіні оқыттық. Фотосуреттің сапасы неғұрлым жақсы және жүз неғұрлым күлімсіреген болса, соғұрлым керемет болады.

API Vision кеңістік деп аталатын тұжырымдаманы пайдаланады. Бұл беттердің әртүрлі жиынтықтарын жасауға арналған құрал. Бос орындардың мысалдары қара және ақ тізімдер, келушілердің, қызметкерлердің, клиенттердің тізімдері және т.б. болып табылады. Vision жүйесіндегі әрбір таңбалауыш үшін 10 бос орын жасауға болады, әрбір кеңістікте 50 мыңға дейін PersonID, яғни 500 мыңға дейін болуы мүмкін. токенге. Сонымен қатар, бір шоттағы токендердің саны шектелмейді.

Бүгінгі күні API келесі анықтау және тану әдістерін қолдайды:

• Recognize/Set – беттерді анықтау және тану. Әрбір бірегей тұлғаға автоматты түрде PersonID тағайындайды, Тұлға идентификаторын және табылған адамдардың координаттарын қайтарады.
• Жою – тұлға дерекқорынан нақты PersonID жою.
• Қысқарту - PersonID ішінен бүкіл кеңістікті тазартады, егер ол сынақ кеңістігі ретінде пайдаланылса және өндіріс үшін дерекқорды қалпына келтіру қажет болса пайдалы.
• Анықтау - объектілерді, көріністерді, нөмірлерді, бағдарларды, кезектерді және т.б. табу. Табылған нысандардың сыныбын және олардың координаттарын қайтарады
• Құжаттарды анықтау - Ресей Федерациясының құжаттарының нақты түрлерін анықтайды (төлқұжат, SNILS, салық сәйкестендіру нөмірі және т.б. ажыратады).

Жақында біз OCR әдістерін, жынысты, жасты және эмоцияларды анықтау, сондай-ақ мерчандайзинг мәселелерін шешу, яғни дүкендерде тауарларды көрсетуді автоматты түрде басқару бойынша жұмыстарды аяқтаймыз. Толық API құжаттамасын мына жерден таба аласыз: https://mcs.mail.ru/help/vision-api

4. Қорытынды

Енді жалпыға қолжетімді API арқылы фотосуреттер мен бейнелердегі бет-әлпетті тану мүмкіндігіне қол жеткізе аласыз, әртүрлі нысандарды, нөмірлерді, бағдарларды, құжаттарды және бүкіл көріністерді анықтауға қолдау көрсетіледі. Қолдану сценарийлері – теңіз. Келіңіз, біздің қызметімізді сынап көріңіз, оған ең қиын тапсырмаларды қойыңыз. Алғашқы 5000 транзакция тегін. Мүмкін бұл сіздің жобаларыңыз үшін «жетпеген ингредиент» болуы мүмкін.

Тіркелу және қосылу кезінде API-ге бірден қол жеткізуге болады. көру. Барлық Habra пайдаланушылары қосымша транзакциялар үшін жарнамалық код алады. Маған тіркелгіңізді тіркеу үшін пайдаланған электрондық пошта мекенжайыңызды жазыңыз!

Ақпарат көзі: www.habr.com