Биздин келечектеги компьютердик көрүү системабыздын технологиялары жана моделдери акырындык менен жана биздин компаниянын ар кандай долбоорлорунда - Почта, Булут, Издөөдө түзүлүп, өркүндөтүлдү. Алар жакшы сыр же коньяк сыяктуу бышып жетилди. Күндөрдүн биринде биз нейрон тармактарыбыз таанууда эң сонун натыйжаларды көрсөтөөрүн түшүндүк жана биз аларды бирдиктүү b2b продуктуна бириктирүүнү чечтик - Vision - аны биз азыр өзүбүз колдонобуз жана сизге колдонууну сунуштайбыз.

Бүгүнкү күндө Mail.Ru Cloud Solutions платформасында биздин компьютердик көрүү технологиябыз ийгиликтүү иштеп, абдан татаал практикалык маселелерди чечүүдө. Ал биздин маалымат топтомдорубузда үйрөтүлгөн жана прикладдык маселелерди чечүүгө адистешкен бир катар нейрон тармактарына негизделген. Бардык кызматтар биздин сервердик жайларыбызда иштейт. Сиз кызматтын бардык мүмкүнчүлүктөрү жеткиликтүү болгон тиркемелериңизге коомдук Vision API бириктире аласыз. API тез - сервердик GPU'лардын аркасында, биздин тармактын ичинде орточо жооп берүү убактысы 100 мс.

Мышыкка барыңыз, деталдуу окуя жана Vision ишинин көптөгөн мисалдары бар.

Жогоруда айтылган бет таануу технологияларын өзүбүз колдонгон кызматтын мисалы катары биз келтирсек болот окуялар. Анын компоненттеринин бири Vision фотостенддери болуп саналат, аны биз ар кандай конференцияларда орнотобуз. Эгер сиз мындай фотостендге жакындап, орнотулган камера менен сүрөткө түшүп, электрондук почтаңызды киргизсеңиз, система сиз конференциянын кызматкерлери тарткан фотосүрөттөрдү дароо табат, ал эми кааласаңыз, табылган сүрөттөрдү сизге электрондук почта аркылуу жөнөтөт. Ал эми биз сахналаштырылган портреттик кадрлар жөнүндө айтып жаткан жокпуз - Vision сизди коноктордун көптүгүнүн артында да тааныйт. Албетте, фотостенддердин өздөрү таанылбайт, бул жөн гана кооз стенддердеги планшеттер, алар конокторду орнотулган камералары менен сүрөткө тартып, маалыматты серверлерге өткөрүп беришет, ал жерде бардык таануу сыйкырлары болот. Жана биз бир нече жолу технологиянын эффективдүүлүгүн сүрөт таануу адистеринин арасында да таң калыштуу экенин көрдүк. Төмөндө биз кээ бир мисалдар тууралуу сөз кылабыз.

1. Биздин Жүздү таануу моделибиз

1.1. Нейрондук тармак жана иштетүү ылдамдыгы

Таануу үчүн биз ResNet 101 нейрондук тармак моделинин модификациясын колдонобуз, аягында Average Pooling ArcFaceте жасалгандай толук туташкан катмар менен алмаштырылат. Бирок вектордук көрсөтүүлөрдүн өлчөмү 128 эмес, 512. Биздин окуу топтомубузда 10 273 адамдын 593 миллионго жакын сүрөтү бар.

Модель кылдат тандалган сервер конфигурациясынын архитектурасынын жана GPU эсептөөлөрүнүн аркасында абдан тез иштейт. Ички тармактарыбызда API'ден жооп алуу үчүн 100 мс чейин талап кылынат - ага жүздү аныктоо (сүрөттөн жүздү аныктоо), API жоопундагы PersonID'ди таануу жана кайтаруу кирет. Кирүүчү маалыматтардын чоң көлөмү менен - ​​сүрөттөр жана видеолор - маалыматтарды кызматка өткөрүп берүү жана жооп алуу үчүн бир топ убакыт талап кылынат.

1.2. моделдин натыйжалуулугун баалоо

Бирок нейрон тармактарынын эффективдүүлүгүн аныктоо өтө бүдөмүк маселе. Алардын ишинин сапаты моделдер кандай маалымат топтомдорунда үйрөтүлгөнүнө жана алар конкреттүү маалыматтар менен иштөө үчүн оптималдаштырылганына көз каранды.

Биз популярдуу LFW текшерүү тести менен моделибиздин тактыгына баа бере баштадык, бирок ал өтө кичинекей жана жөнөкөй. 99,8% тактыкка жеткенден кийин, ал мындан ары пайдалуу эмес. Таануу моделдерин баалоо үчүн жакшы атаандаштык бар - Megaface, биз бара-бара 82% 1-орунга жеттик. Megaface тести миллиондогон сүрөттөрдөн турат - алаксыткычтар - жана модель Facescrubдан атактуулардын бир нече миң сүрөттөрүн жакшы ажырата алышы керек. алаксыткычтардан алынган маалыматтар топтому. Бирок, Megaface сынагындагы каталарды тазалап, биз тазаланган версия менен 98% 1-даражадагы тактыкка жеткенибизди таптык (атактуу адамдардын сүрөттөрү жалпысынан абдан конкреттүү). Ошондуктан, алар Megaface окшош, бирок "жөнөкөй" адамдардын сүрөттөрү менен өзүнчө идентификациялык тест түзүшкөн. Андан кийин биз маалымат топтомдорубуздун таануу тактыгын жакшырттык жана алда канча алдыга кеттик. Мындан тышкары, биз бир нече миң сүрөттөрдөн турган кластердик сапат тестин колдонобуз; ал колдонуучунун булутундагы бет белгилерин окшоштурат. Мында кластерлер – ар бир таанылган адамга бир топко окшош инсандардын топтору. Чыныгы топтор боюнча иштин сапатын текшердик (чын).

Албетте, таануу каталары ар кандай моделде пайда болот. Бирок мындай жагдайлар көп учурда конкреттүү шарттар үчүн босоголорду тактоо жолу менен чечилет (бардык конференциялар үчүн биз бирдей босоголорду колдонобуз, бирок, мисалы, кирүүнү башкаруу тутумдары үчүн биз босоголорду бир топ жогорулатышыбыз керек, ошондуктан жалган позитивдер азыраак болушу керек). Конференцияга келгендердин басымдуу көпчүлүгү биздин Vision фотостенддерибиз тарабынан туура таанылды. Кээде кимдир бирөө кесилген алдын ала кароону карап: "Сиздин тутумуңуз ката кетирди, бул мен эмесмин" деп айтат. Анан биз сүрөттү толугу менен ачтык, бул сүрөттүн ичинде чындап эле бул зыяратчы бар экени белгилүү болду, болгону биз аны эмес, башка бирөө сүрөткө тартып жаткан экенбиз, ал адам бүдөмүк зонада фондо калыптыр. Андан тышкары, нейрондук тармак көбүнчө беттин бир бөлүгү көрүнбөгөндө, же адам профилде турганда, ал тургай жарымы бурулганда да туура тааныйт. Система, мисалы, кең бурчтуу объектив менен тартуу учурунда, бети оптикалык бурмалоо аймагында болсо да, адамды тааный алат.

1.3. Кыйын кырдаалдарда тестирлөөнүн мисалдары

Төмөндө биздин нейрон тармагы кандай иштээрин мисалдар келтирилген. Сүрөттөр персоналдын уникалдуу идентификатору - PersonID аркылуу белгилөө керек киргизүүгө берилет. Эгерде эки же андан көп сүрөттөр бирдей ID болсо, анда моделдерге ылайык, бул сүрөттөр бир эле адамды чагылдырат.

Тестирлөө учурунда биз белгилүү бир натыйжага жетүү үчүн конфигурациялай турган ар кандай параметрлерге жана моделдин босоголоруна жетүүгө мүмкүнчүлүгүбүз бар экенин дароо белгилеп кетели. Коомдук API жалпы учурларда максималдуу тактык үчүн оптималдаштырылган.

Эң жөнөкөй нерседен баштайлы, бетти тааныйлы.

Ооба, бул өтө жеңил болду. Тапшырманы татаалдаштырып, сакал-мурутту, бир ууч жылды кошолу.

Кээ бирөөлөр бул өтө кыйын болгон жок деп айтышат, анткени эки учурда тең бүт жүз көрүнүп турат жана алгоритмде жүз жөнүндө көп маалымат бар. Макул, Том Харди профилге айландыралы. Бул маселе алда канча татаал жана биз аны ийгиликтүү чечүү үчүн көп күч жумшадык, ошол эле учурда каталардын төмөн деңгээлин сактайбыз: биз машыгуу топтомун тандап алдык, нейрондук тармактын архитектурасын ойлонуштурдук, жоготуу функцияларын өркүндөттүк жана алдын ала иштетүүнү жакшырттык. сүрөттөрдүн.

Ага баш кийим кийели:

Айтмакчы, бул өзгөчө оор кырдаалдын мисалы, анткени бет катуу караңгылатылган, ал эми астыңкы сүрөттө да көздү жашырган терең көлөкө бар. Чыныгы жашоодо адамдар көбүнчө кара көз айнектин жардамы менен сырткы көрүнүшүн өзгөртүшөт. Келгиле, Том менен да ошондой кылалы.

Макул, келгиле, ар кайсы курактагы сүрөттөрдү тартууга аракет кылалы, бул жолу башка актер менен эксперимент жасайбыз. Келгиле, бир топ татаал мисалды алалы, мында жаш куракка байланыштуу өзгөрүүлөр өзгөчө байкалат. Кырдаал алыс эмес, ал көп учурда паспорттогу сүрөттү алып жүрүүчүнүн жүзү менен салыштыруу керек болгондо пайда болот. Анткени, биринчи сүрөт ээси 20 жашында паспортко кошулат, ал эми 45 жашында адам абдан өзгөрүшү мүмкүн:

Сиздин оюңузча, мүмкүн эмес миссиялар боюнча башкы адис жаш өткөн сайын көп деле өзгөргөн жокбу? Менин оюмча, бир нече адам да үстүнкү жана астыңкы сүрөттөрдү айкалыштырмак, бала көп жылдар бою өзгөрдү.

Нейрондук тармактар ​​сырткы көрүнүштөгү өзгөрүүлөргө көбүрөөк туш болушат. Мисалы, кээде аялдар абдан косметикалык жардамы менен имиджин өзгөртө алат:

Эми тапшырманы ого бетер татаалдаштырып көрөлү: беттин ар кандай бөлүктөрүн ар кандай сүрөттөр менен каптады дейли. Мындай учурларда, алгоритм бүт үлгүлөрдү салыштыра албайт. Бирок, Vision ушундай жагдайларды жакшы чечет.

Айтмакчы, фотографияда жүздөр көп болушу мүмкүн, мисалы, залдын жалпы сүрөтүнө 100дөн ашык адам батат. Нейрондук тармактар ​​үчүн бул оор кырдаал, анткени көптөгөн жүздөр ар кандай жарыктандырылышы мүмкүн, кээ бирлери фокусунан тышкары. Бирок, эгер сүрөт жетиштүү чечим жана сапатта тартылса (бетти жаап турган чарчы үчүн кеминде 75 пиксел), Vision аны таап, тааный алат.

Репортаждык фотосүрөттөрдүн жана байкоо камераларынан алынган сүрөттөрдүн өзгөчөлүгү, адамдар көп учурда фокусунан чыгып кеткендиктен же ошол учурда кыймылдап жүргөндүктөн бүдөмүк болуп калат:

Ошондой эле, жарык интенсивдүүлүгү сүрөттөлүшкө чейин ар кандай болушу мүмкүн. Бул да көп учурда мүдүрүлүүчү блок болуп калат, көптөгөн алгоритмдер өтө караңгы жана өтө жарык сүрөттөрдү туура иштетүүдө, аларга так дал келүүдөн да көп кыйынчылыктарга дуушар болушат. Бул натыйжага жетүү үчүн босоголорду белгилүү бир жол менен конфигурациялоо керек экенин эскерте кетейин, бул функция азырынча жалпыга жеткиликтүү эмес. Биз бардык кардарлар үчүн бирдей нейрон тармагын колдонобуз;

Жакында биз азиялык жүздөрдү жогорку тактык менен тааныган моделдин жаңы версиясын чыгардык. Бул чоң көйгөй болгон, ал тургай, "машина үйрөнүү" (же "нейрондук тармак") расизм деп аталган. Европалык жана Америкалык нейрон тармактары кавказдык жүздөрдү жакшы тааныган, бирок монголоид жана негроид жүздөрү менен абал бир топ начар болчу. Балким, Кытайда абал такыр тескери болгон. Мунун баары белгилүү бир өлкөдөгү адамдардын басымдуу түрлөрүн чагылдырган окутуу маалымат топтому жөнүндө. Бирок, бүгүнкү күндө бул маселе өтө курч эмес; Көрүү ар кандай расалардагы адамдар менен эч кандай көйгөйү жок.

Жүздү таануу – бул биздин технологиябыздын көптөгөн колдонмолорунун бири гана. Мисалы, автоунаа номерлери, анын ичинде алгоритмдер үчүн кыйын шарттарда: курч бурчта, кир жана окууга кыйын номерлер.

2. Практикалык колдонуу учурлары

2.1. Физикалык мүмкүндүктү башкаруу: эки адам бир эле өтмөктү колдонгондо

Vision жардамы менен сиз кызматкерлердин келишин жана кеткенин эсепке алуу тутумдарын ишке ашыра аласыз. Электрондук пропускаларга негизделген салттуу системанын айкын кемчиликтери бар, мисалы, бир төш белгини колдонуп эки адамды өткөрө аласыз. Эгерде кирүүнү башкаруу системасы (ACS) Vision менен толукталса, ал чынчылдык менен ким келип/кеткенин жазып алат.

2.2. Убакытты көзөмөлдөө

Бул Vision колдонуу учуру мурунку менен тыгыз байланышта. Эгер сиз кирүү тутумун биздин бетти таануу кызматыбыз менен толуктасаңыз, ал кирүүнү көзөмөлдөө боюнча бузууларды гана аныктабастан, имаратта же объектте кызматкерлердин иш жүзүндө болушун да каттай алат. Башкача айтканда, Vision сизге ким жумушка келип, кайсы убакта кеткенин жана кесиптештери аны жетекчилердин алдында жаап койгон күндө да, ким жумуштан такыр өтпөй калганын чынчылдык менен эсепке алууга жардам берет.

2.3. Video Analytics: Адамдарга көз салуу жана коопсуздук

Vision аркылуу адамдарга көз салуу менен, сиз соода аймактарынын, темир жол станцияларынын, өтмөктөрдүн, көчөлөрдүн жана башка көптөгөн коомдук жайлардын реалдуу кыймылын так баалай аласыз. Биздин көз салуу, мисалы, кампага же башка маанилүү кеңсе жайларына кирүү мүмкүнчүлүгүн көзөмөлдөөгө да чоң жардам берет. Анан, албетте, адамдарды жана жүздөрдү көзөмөлдөө коопсуздук көйгөйлөрүн чечүүгө жардам берет. Дүкөнүңүздөн уурулук кылган адам кармалдыбы? Анын Vision тарабынан кайтарылган PersonID'ин видео аналитика программаңыздын кара тизмесине кошуңуз жана кийинки жолу бул түрү кайра пайда болсо, система коопсуздукту дароо эскертет.

2.4. Соодада

Чекене соода жана ар кандай тейлөө ишканалары кезекти таанууга кызыкдар. Vision жардамы менен бул кокустан топтолгон адамдар эмес, кезек экенин билип, анын узундугун аныктай аласыз. Андан кийин система жооптууларга кезек жөнүндө маалымдайт, алар кырдаалды түшүнө алышат: же зыяратчылардын агымы келип, кошумча жумушчуларды чакыруу керек, же кимдир-бирөө өз милдеттерин аткарбай жатат.

Дагы бир кызыктуу милдет - залдагы компаниянын кызматкерлерин келгендерден бөлүү. Адатта, система белгилүү бир кийим кийген (дресс-код) же кандайдыр бир өзгөчөлүгү бар (фирмалуу жоолук, көкүрөктөгү значок ж.б.у.с.) объекттерди бөлүүгө үйрөтүлөт. Бул катышууну так баалоого жардам берет (кызматкерлер залдагы адамдардын статистикасын алардын жөн эле катышуусу менен "көбөйтпөшү үчүн").

Бетти таанууну колдонуу менен сиз аудиторияңызды да баалай аласыз: коноктордун лоялдуулугу кандай, башкача айтканда, сиздин мекемеңизге канча адам кайтып келет жана кандай жыштык менен келет. Сизге айына канча уникалдуу коноктор келерин эсептеңиз. Тартууга жана кармап турууга кеткен чыгымдарды оптималдаштыруу үчүн, сиз жуманын күнүнө, ал тургай, күндүн убактысына жараша трафиктин өзгөрүшүн биле аласыз.

Франчайзорлор жана чынжыр компаниялар ар кандай соода түйүндөрүнүн брендинин сапатынын фотосүрөттөрүнүн негизинде баа берүүгө заказ бере алышат: логотиптердин, белгилердин, плакаттардын, баннерлердин жана башкалардын болушу.

2.5. Транспорт менен

Видео аналитиканы колдонуу менен коопсуздукту камсыз кылуунун дагы бир мисалы - аэропорттордун же темир жол станцияларынын залдарында кароосуз калган буюмдарды аныктоо. Көрүүнү жүздөгөн класстагы объектилерди таанууга үйрөтсө болот: эмеректер, сумкалар, чемодандар, кол чатырлар, ар кандай кийимдер, бөтөлкөлөр жана башкалар. Эгер видео аналитика тутумуңуз ээси жок объектти таап, аны Vision аркылуу тааныса, ал коопсуздук кызматына сигнал жөнөтөт. Окшош тапшырма коомдук жайларда адаттан тыш жагдайларды автоматтык түрдө аныктоо менен байланышкан: кимдир бирөө өзүн жаман сезет, же кимдир бирөө туура эмес жерде тамеки чегет, же адам рельске кулап кетет жана башкалар - бул схемалардын бардыгын видео аналитика тутумдары таанууга болот. Vision API аркылуу.

2.6. Документ агымы

Учурда биз иштеп жаткан Vision программасынын дагы бир кызыктуу келечектеги тиркемеси бул документтерди таануу жана аларды маалымат базаларына автоматтык түрдө талдоо. Чексиз серияларды, сандарды, чыгарылган даталарды, эсеп номерлерин, банктык реквизиттерди, туулган даталарды жана жерлерди жана башка көптөгөн формалдуу маалыматтарды кол менен киргизүүнүн (же андан да жаманы) ордуна, сиз документтерди сканерлеп, автоматтык түрдө коопсуз канал аркылуу жөнөтө аласыз. Булутка API, анда система бул документтерди тез эле таанып, аларды талдап, маалымат базасына автоматтык түрдө кирүү үчүн керектүү форматтагы маалыматтар менен жооп кайтарат. Бүгүнкү күндө Vision документтерди кантип классификациялоону билет (анын ичинде PDF) - паспортторду, SNILS, ИНН, туулгандыгы тууралуу күбөлүктөрдү, нике күбөлүктөрүн жана башкаларды айырмалайт.

Албетте, нейрон тармагы бул жагдайлардын баарын кутудан башкара албайт. Ар бир учурда, белгилүү бир кардар үчүн жаңы модель курулат, көптөгөн факторлор, нюанстар жана талаптар эске алынат, маалымат топтомдору тандалып алынат жана окутуунун, тестирлөөнүн жана конфигурациянын итерациялары жүргүзүлөт.

3. API иштөө схемасы

Vision'дун колдонуучулар үчүн "кире бериш дарбазасы" REST API болуп саналат. Ал киргизүү катары тармактык камералардан (RTSP агымдары) сүрөттөрдү, видео файлдарды жана берүүлөрдү кабыл ала алат.

Vision колдонуу үчүн сизге керек кол менен Mail.ru Cloud Solutions кызматында жана кирүү белгилерин алыңыз (client_id + client_secret). Колдонуучунун аутентификациясы OAuth протоколу аркылуу ишке ашырылат. POST сурамдарынын органдарындагы баштапкы маалыматтар API'ге жөнөтүлөт. Жана жооп катары кардар APIден JSON форматында таануу натыйжасын алат жана жооп структураланган: анда табылган объекттер жана алардын координаттары жөнүндө маалымат камтылган.

Үлгү жооп

{
   "status":200,
   "body":{
      "objects":[
         {
            "status":0,
            "name":"file_0"
         },
         {
            "status":0,
            "name":"file_2",
            "persons":[
               {
                  "tag":"person9"
                  "coord":[149,60,234,181],
                  "confidence":0.9999,
                  "awesomeness":0.45
               },
               {
                  "tag":"person10"
                  "coord":[159,70,224,171],
                  "confidence":0.9998,
                  "awesomeness":0.32
               }
            ]
         }

         {
            "status":0,
            "name":"file_3",
            "persons":[
               {
               "tag":"person11",
               "coord":[157,60,232,111],
               "aliases":["person12", "person13"]
               "confidence":0.9998,
               "awesomeness":0.32
               }
            ]
         },
         {
            "status":0,
            "name":"file_4",
            "persons":[
               {
               "tag":"undefined"
               "coord":[147,50,222,121],
               "confidence":0.9997,
               "awesomeness":0.26
               }
            ]
         }
      ],
      "aliases_changed":false
   },
   "htmlencoded":false,
   "last_modified":0
}

Жооп укмуштуудай кызыктуу параметрди камтыйт - бул сүрөттөгү жүздүн шарттуу "салкындыгы", анын жардамы менен биз беттин эң мыкты кадрын тизмектен тандап алабыз. Сүрөттүн социалдык тармактарда жактырылышы ыктымалдыгын алдын ала айтуу үчүн биз нейрон тармагын үйрөттүк. Сүрөттүн сапаты жана жүзү канчалык жылмайса, ошончолук кереметтүү болот.

API Vision мейкиндик деп аталган түшүнүктү колдонот. Бул ар кандай жүздөрдү түзүү үчүн курал. Боштуктарга мисал катары кара жана ак тизмелер, коноктордун, кызматкерлердин, кардарлардын тизмелери ж.б. кирет. Vision программасында ар бир токен үчүн 10 мейкиндикке чейин түзө аласыз, ар бир мейкиндикте 50 миңге чейин PersonID болушу мүмкүн, башкача айтканда, 500 миңге чейин токенге. Мындан тышкары, эсепке Токендердин саны чектелбейт.

Бүгүнкү күндө API төмөнкү аныктоо жана таануу ыкмаларын колдойт:

• Recognize/Set - жүздөрдү аныктоо жана таануу. Автоматтык түрдө ар бир уникалдуу адамга PersonID дайындайт, PersonID жана табылган адамдардын координаттарын кайтарат.
• Жок кылуу - адамдын маалымат базасынан белгилүү бир PersonID жок кылуу.
• Кесүү - PersonIDден бүт мейкиндикти тазалайт, эгер ал сыноо мейкиндиги катары колдонулган болсо жана сиз өндүрүш үчүн маалымат базасын баштапкы абалга келтиришиңиз керек болсо, пайдалуу.
• Detect - объекттерди, көрүнүштөрдү, мамлекеттик номерлерди, ориентирлерди, кезектерди ж.б. аныктоо. Табылган объекттердин классын жана алардын координаттарын кайтарат
• Документтерди аныктоо - Россия Федерациясынын документтеринин конкреттүү түрлөрүн аныктайт (паспортту, SNILSти, салыктын идентификациялык номерин ж.б. айырмалайт).

Ошондой эле биз жакында OCR ыкмаларын, жынысты, жашты жана эмоцияларды аныктоону, ошондой эле мерчандайзинг маселелерин чечүүнү, башкача айтканда, дүкөндөрдө товарлардын көрсөтүлүшүн автоматтык түрдө көзөмөлдөөнү аяктайбыз. Толук API документтерин бул жерден таба аласыз: https://mcs.mail.ru/help/vision-api

4. жыйынтыктоо

Эми жалпыга ачык API аркылуу ар кандай объектилерди, номерлерди, белгилерди, документтерди жана бүт көрүнүштөрдү идентификациялоону фото жана видеолордо колдоно аласыз; Колдонмо сценарийлери - деңиз. Келиңиз, биздин кызматты сынап көрүңүз, ага эң татаал милдеттерди койуңуз. Биринчи 5000 транзакциялар бекер. Балким, бул сиздин долбоорлоруңуз үчүн "жетпеген ингредиент" болот.

Каттоодон жана туташуудан кийин APIге дароо кире аласыз. көрүү. Бардык Habra колдонуучулары кошумча транзакциялар үчүн промо-код алышат. Каттоо эсебиңизди каттоодо колдонгон электрондук почта дарегиңизди мага жазыңыз!

Source: www.habr.com