Teknolojia na miundo ya mfumo wetu wa kuona wa kompyuta wa siku zijazo ziliundwa na kuboreshwa hatua kwa hatua na katika miradi tofauti ya kampuni yetu - katika Barua, Wingu, Utafutaji. Walikomaa kama jibini nzuri au konjak. Siku moja tuligundua kuwa mitandao yetu ya neural inaonyesha matokeo bora katika utambuzi, na tuliamua kuichanganya kuwa bidhaa moja ya b2b - Vision - ambayo sasa tunaitumia sisi wenyewe na kukupa uitumie.
Leo, teknolojia yetu ya maono ya kompyuta kwenye jukwaa la Mail.Ru Cloud Solutions inafanya kazi kwa mafanikio na kutatua matatizo magumu sana ya vitendo. Inatokana na idadi ya mitandao ya neva ambayo imefunzwa kwenye seti zetu za data na utaalam katika kutatua matatizo yanayotumika. Huduma zote zinaendeshwa kwenye vifaa vya seva zetu. Unaweza kuunganisha API ya Maono ya umma kwenye programu zako, ambapo uwezo wote wa huduma unapatikana. API ni ya haraka - shukrani kwa GPU za seva, wastani wa muda wa kujibu ndani ya mtandao wetu ni 100 ms.
Nenda kwa paka, kuna hadithi ya kina na mifano mingi ya kazi ya Vision.
Mfano wa huduma ambayo sisi wenyewe tunatumia teknolojia zilizotajwa za utambuzi wa uso ni . Moja ya vipengele vyake ni Vision photo stands, ambayo sisi kufunga katika mikutano mbalimbali. Ikiwa unakaribia stendi ya picha kama hiyo, piga picha na kamera iliyojengwa ndani na uweke barua pepe yako, mfumo utapata mara moja kati ya safu ya picha zile ambazo ulitekwa na wapiga picha wa mkutano huo, na, ikiwa inataka, itakutumia picha zilizopatikana kwa barua pepe. Na hatuzungumzii picha za picha kwa hatuaβMaono hukutambua hata chinichini katika umati wa wageni. Kwa kweli, sio picha zinazosimama zenyewe zinazotambuliwa, hizi ni vidonge tu kwenye vituo vya kupendeza ambavyo huchukua picha za wageni na kamera zao zilizojengwa ndani na kusambaza habari kwa seva, ambapo uchawi wote wa utambuzi hufanyika. Na tumeona zaidi ya mara moja jinsi ufanisi wa teknolojia unavyoshangaza hata miongoni mwa wataalamu wa utambuzi wa picha. Hapo chini tutazungumza juu ya mifano kadhaa.
1. Mfano wetu wa Utambuzi wa Uso
1.1. Mtandao wa neva na kasi ya usindikaji
Kwa utambuzi, tunatumia urekebishaji wa muundo wa mtandao wa neva wa ResNet 101. Ukusanyaji wastani mwishoni hubadilishwa na safu iliyounganishwa kikamilifu, sawa na jinsi inavyofanywa katika ArcFace. Hata hivyo, ukubwa wa viwakilishi vya vekta ni 128, si 512. Seti yetu ya mafunzo ina takriban picha milioni 10 za watu 273.
Mtindo huendesha haraka sana shukrani kwa usanifu wa usanidi wa seva uliochaguliwa kwa uangalifu na kompyuta ya GPU. Inachukua kutoka ms 100 kupokea jibu kutoka kwa API kwenye mitandao yetu ya ndani - hii ni pamoja na utambuzi wa uso (kugundua uso kwenye picha), kutambua na kurudisha Kitambulisho cha Mtu katika jibu la API. Kwa idadi kubwa ya data inayoingia - picha na video - itachukua muda zaidi kuhamisha data kwa huduma na kupokea jibu.
1.2. Tathmini ya ufanisi wa mfano
Lakini kuamua ufanisi wa mitandao ya neural ni kazi ngumu sana. Ubora wa kazi zao hutegemea seti za data ambazo miundo ilifunzwa na ikiwa iliboreshwa kwa kufanya kazi na data mahususi.
Tulianza kutathmini usahihi wa muundo wetu na jaribio maarufu la uthibitishaji la LFW, lakini ni dogo sana na rahisi. Baada ya kufikia usahihi wa 99,8%, haifai tena. Kuna ushindani mzuri wa kutathmini mifano ya utambuzi - Megaface, ambayo hatua kwa hatua tulifikia 82% cheo 1. Jaribio la Megaface lina picha milioni - vipotoshi - na mtindo unapaswa kuwa na uwezo wa kutofautisha picha elfu kadhaa za watu mashuhuri kutoka kwa Facescrub. seti ya data kutoka kwa vipotoshi. Walakini, baada ya kufuta jaribio la makosa ya Megaface, tuligundua kuwa kwa toleo lililosafishwa tunafikia usahihi wa 98% ya kiwango cha 1 (picha za watu mashuhuri kwa ujumla ni maalum). Kwa hivyo, waliunda jaribio tofauti la kitambulisho, sawa na Megaface, lakini na picha za watu "wa kawaida". Kisha tukaboresha usahihi wa utambuzi kwenye hifadhidata zetu na kwenda mbele zaidi. Kwa kuongeza, tunatumia mtihani wa ubora wa kuunganisha ambao una picha elfu kadhaa; inaiga utambulisho wa uso katika wingu la mtumiaji. Katika kesi hii, makundi ni makundi ya watu sawa, kundi moja kwa kila mtu anayetambulika. Tuliangalia ubora wa kazi kwenye vikundi halisi (kweli).
Bila shaka, makosa ya utambuzi hutokea kwa mfano wowote. Lakini hali kama hizo mara nyingi hutatuliwa kwa kurekebisha vizingiti kwa hali maalum (kwa mikutano yote tunatumia vizingiti sawa, lakini, kwa mfano, kwa mifumo ya udhibiti wa ufikiaji tunapaswa kuongeza vizingiti kwa kiasi kikubwa ili kuna vikwazo vichache vya uongo). Idadi kubwa ya wageni wa mkutano walitambuliwa ipasavyo na vibanda vyetu vya picha vya Maono. Wakati mwingine mtu angetazama onyesho la kukagua lililopunguzwa na kusema, "Mfumo wako ulifanya makosa, si mimi." Kisha tukafungua picha hiyo kwa ukamilifu, na ikawa kwamba kulikuwa na mgeni huyu kwenye picha, tu hatukuwa tukimpiga picha, lakini mtu mwingine, mtu huyo alikuwa nyuma katika eneo la blur. Zaidi ya hayo, mtandao wa neva mara nyingi hutambua kwa usahihi hata wakati sehemu ya uso haionekani, au mtu amesimama katika wasifu, au hata nusu-akageuka. Mfumo unaweza kumtambua mtu hata ikiwa uso uko katika eneo la kupotosha kwa macho, tuseme, wakati wa kupiga risasi na lensi ya pembe-mpana.
1.3. Mifano ya kupima katika hali ngumu
Ifuatayo ni mifano ya jinsi mtandao wetu wa neva unavyofanya kazi. Picha zinawasilishwa kwa ingizo, ambalo lazima aweke lebo kwa kutumia Kitambulisho cha Mtu - kitambulisho cha kipekee cha mtu. Ikiwa picha mbili au zaidi zina kitambulisho sawa, basi, kulingana na mifano, picha hizi zinaonyesha mtu yule yule.
Hebu tuangalie mara moja kwamba wakati wa kupima, tunapata vigezo mbalimbali na vizingiti vya mfano ambavyo tunaweza kusanidi ili kufikia matokeo fulani. API ya umma imeboreshwa kwa usahihi wa hali ya juu kwenye kesi za kawaida.
Hebu tuanze na jambo rahisi zaidi, na utambuzi wa uso unaoelekea mbele.
Naam, hiyo ilikuwa rahisi sana. Wacha tufanye kazi ngumu, ongeza ndevu na miaka michache.
Wengine watasema kuwa hii pia haikuwa ngumu sana, kwa sababu katika hali zote mbili uso mzima unaonekana, na habari nyingi kuhusu uso zinapatikana kwa algorithm. Sawa, hebu tugeuze Tom Hardy kuwa wasifu. Shida hii ni ngumu zaidi, na tulitumia juhudi nyingi kulisuluhisha kwa mafanikio huku tukidumisha kiwango cha chini cha makosa: tulichagua seti ya mafunzo, tulifikiria kupitia usanifu wa mtandao wa neva, tukaboresha kazi za upotezaji na kuboresha usindikaji wa awali. ya picha.
Wacha tumvike vazi la kichwa:
Kwa njia, hii ni mfano wa hali ngumu hasa, kwani uso umefichwa sana, na katika picha ya chini pia kuna kivuli kikubwa kinachoficha macho. Katika maisha halisi, watu mara nyingi hubadilisha muonekano wao kwa msaada wa glasi za giza. Hebu tufanye vivyo hivyo na Tom.
Sawa, hebu tujaribu kutupa picha kutoka kwa umri tofauti, na wakati huu tutajaribu na mwigizaji tofauti. Wacha tuchukue mfano mgumu zaidi, ambapo mabadiliko yanayohusiana na umri hutamkwa haswa. Hali sio ya mbali; hutokea mara nyingi wakati unahitaji kulinganisha picha kwenye pasipoti na uso wa mtoaji. Baada ya yote, picha ya kwanza huongezwa kwa pasipoti wakati mmiliki ana umri wa miaka 20, na kwa umri wa miaka 45 mtu anaweza kubadilika sana:
Unafikiri kwamba mtaalamu mkuu juu ya misheni haiwezekani hajabadilika sana na umri? Nadhani hata watu wachache wangechanganya picha za juu na za chini, mvulana amebadilika sana kwa miaka.
Mitandao ya Neural hukutana na mabadiliko ya mwonekano mara nyingi zaidi. Kwa mfano, wakati mwingine wanawake wanaweza kubadilisha sana picha zao kwa msaada wa vipodozi:
Sasa hebu tufanye kazi ngumu zaidi: tuseme sehemu tofauti za uso zimefunikwa kwenye picha tofauti. Katika hali kama hizi, algorithm haiwezi kulinganisha sampuli nzima. Walakini, Maono hushughulikia hali kama hii vizuri.
Kwa njia, kunaweza kuwa na nyuso nyingi kwenye picha; kwa mfano, zaidi ya watu 100 wanaweza kutoshea kwenye picha ya jumla ya ukumbi. Hii ni hali ngumu kwa mitandao ya neva, kwani nyuso nyingi zinaweza kuwashwa tofauti, zingine bila kuzingatia. Hata hivyo, ikiwa picha itapigwa kwa ubora na ubora wa kutosha (angalau pikseli 75 kwa kila mraba unaofunika uso), Vision itaweza kuitambua na kuitambua.
Ubora wa picha za ripoti na picha kutoka kwa kamera za uchunguzi ni kwamba watu mara nyingi hutiwa ukungu kwa sababu hawakuwa na mwelekeo au walikuwa wakisonga wakati huo:
Pia, kiwango cha taa kinaweza kutofautiana sana kutoka kwa picha hadi picha. Hili pia, mara nyingi huwa kikwazo; algoriti nyingi zina ugumu mkubwa wa kuchakata kwa usahihi picha ambazo ni nyeusi sana na nyepesi sana, bila kutaja kuzilinganisha kwa usahihi. Acha nikukumbushe kwamba ili kufikia matokeo haya unahitaji kusanidi vizingiti kwa njia fulani; kipengele hiki bado hakipatikani kwa umma. Tunatumia mtandao sawa wa neva kwa wateja wote; ina vizingiti ambavyo vinafaa kwa kazi nyingi za vitendo.
Hivi majuzi tulitoa toleo jipya la muundo unaotambua nyuso za Waasia kwa usahihi wa hali ya juu. Hili lilikuwa tatizo kubwa, ambalo liliitwa hata "kujifunza kwa mashine" (au "mtandao wa neva") ubaguzi wa rangi. Mitandao ya neva ya Ulaya na Amerika ilitambua nyuso za Caucasian vizuri, lakini kwa nyuso za Mongoloid na Negroid hali ilikuwa mbaya zaidi. Pengine, nchini China hali ilikuwa kinyume kabisa. Yote ni kuhusu seti za data za mafunzo zinazoakisi aina kuu za watu katika nchi fulani. Walakini, hali inabadilika, leo shida hii sio kali sana. Maono hayana shida na watu wa rangi tofauti.
Utambuzi wa uso ni mojawapo tu ya matumizi mengi ya teknolojia yetu; Maono yanaweza kufunzwa kutambua chochote. Kwa mfano, sahani za leseni, ikiwa ni pamoja na katika hali ngumu kwa algoriti: kwa pembe kali, chafu na ngumu kusoma nambari za leseni.
2. Kesi za matumizi ya vitendo
2.1. Udhibiti wa ufikiaji wa kimwili: wakati watu wawili wanatumia pasi sawa
Kwa msaada wa Maono, unaweza kutekeleza mifumo ya kurekodi kuwasili na kuondoka kwa wafanyikazi. Mfumo wa jadi unaozingatia kupita kwa elektroniki una hasara dhahiri, kwa mfano, unaweza kupitisha watu wawili kwa kutumia beji moja. Ikiwa mfumo wa udhibiti wa ufikiaji (ACS) utaongezewa na Vision, itarekodi kwa uaminifu ni nani aliyekuja/aliyeondoka na lini.
2.2. Ufuatiliaji wa wakati
Kesi hii ya matumizi ya Vision inahusiana kwa karibu na ile iliyotangulia. Ikiwa unaongeza mfumo wa ufikiaji na huduma yetu ya utambuzi wa uso, haitaweza kugundua ukiukwaji wa udhibiti wa ufikiaji, lakini pia kusajili uwepo halisi wa wafanyikazi katika jengo au kituo. Kwa maneno mengine, Vision itakusaidia kuzingatia kwa uaminifu ni nani aliyekuja kazini na kuondoka saa ngapi, na ni nani aliyeruka kazi kabisa, hata ikiwa wenzake walimfunika mbele ya wakubwa wake.
2.3. Uchanganuzi wa Video: Ufuatiliaji na Usalama wa Watu
Kwa kufuatilia watu kwa kutumia Vision, unaweza kutathmini kwa usahihi trafiki halisi ya maeneo ya ununuzi, vituo vya treni, njia, mitaa na maeneo mengine mengi ya umma. Ufuatiliaji wetu pia unaweza kuwa na msaada mkubwa katika kudhibiti ufikiaji, kwa mfano, kwenye ghala au majengo mengine muhimu ya ofisi. Na bila shaka, kufuatilia watu na nyuso husaidia kutatua matatizo ya usalama. Je, umempata mtu akiiba kwenye duka lako? Ongeza Kitambulisho chake cha Mtu, ambacho kilirejeshwa na Vision, kwenye orodha iliyoidhinishwa ya programu yako ya uchanganuzi wa video, na wakati ujao mfumo utaarifu usalama mara moja ikiwa aina hii itaonekana tena.
2.4. Katika biashara
Biashara za rejareja na huduma mbalimbali zinavutiwa na utambuzi wa foleni. Kwa msaada wa Maono, unaweza kutambua kwamba hii si umati wa watu random, lakini foleni, na kuamua urefu wake. Na kisha mfumo unawajulisha wale wanaohusika kuhusu foleni ili waweze kujua hali hiyo: ama kuna ongezeko la wageni na wafanyakazi wa ziada wanahitaji kuitwa, au mtu anapunguza kazi zao za kazi.
Kazi nyingine ya kuvutia ni kutenganisha wafanyakazi wa kampuni katika ukumbi kutoka kwa wageni. Kwa kawaida, mfumo umefunzwa kutenganisha vitu vilivyovaa nguo fulani (msimbo wa mavazi) au kwa kipengele fulani tofauti (scarf chapa, beji kwenye kifua, na kadhalika). Hii husaidia kutathmini kwa usahihi zaidi mahudhurio (ili wafanyikazi "wasiongeze" takwimu za watu kwenye ukumbi kwa uwepo wao tu).
Kwa kutumia utambuzi wa uso, unaweza pia kutathmini watazamaji wako: uaminifu wa wageni ni nini, yaani, ni watu wangapi wanarudi kwenye uanzishwaji wako na kwa mara ngapi. Hesabu ni wageni wangapi wa kipekee wanaokuja kwako kwa mwezi. Ili kuongeza gharama za kuvutia na kuhifadhi, unaweza pia kujua mabadiliko katika trafiki kulingana na siku ya juma na hata wakati wa siku.
Wafanyabiashara na makampuni ya minyororo wanaweza kuagiza tathmini kulingana na picha za ubora wa chapa ya maduka mbalimbali ya rejareja: uwepo wa nembo, ishara, mabango, mabango, na kadhalika.
2.5. Kwa usafiri
Mfano mwingine wa kuhakikisha usalama kwa kutumia uchanganuzi wa video ni kutambua vitu vilivyoachwa katika kumbi za viwanja vya ndege au vituo vya treni. Maono yanaweza kufunzwa kutambua vitu vya mamia ya madarasa: vipande vya samani, mifuko, masanduku, miavuli, aina mbalimbali za nguo, chupa, na kadhalika. Ikiwa mfumo wako wa uchanganuzi wa video utagundua kitu kisicho na mmiliki na kukitambua kwa kutumia Vision, hutuma ishara kwa huduma ya usalama. Kazi sawa inahusishwa na ugunduzi wa moja kwa moja wa hali zisizo za kawaida katika maeneo ya umma: mtu anahisi mgonjwa, au mtu anavuta sigara mahali pabaya, au mtu huanguka kwenye reli, na kadhalika - mifumo hii yote inaweza kutambuliwa na mifumo ya uchambuzi wa video. kupitia API ya Maono.
2.6. Mtiririko wa hati
Utumizi mwingine wa kuvutia wa baadaye wa Maono ambao tunatengeneza kwa sasa ni utambuzi wa hati na uchanganuzi wao otomatiki katika hifadhidata. Badala ya kuingiza mwenyewe (au mbaya zaidi, kuingiza) mfululizo usio na mwisho, nambari, tarehe za toleo, nambari za akaunti, maelezo ya benki, tarehe na mahali pa kuzaliwa na data nyingine nyingi rasmi, unaweza kuchambua hati na kuzituma moja kwa moja kwenye chaneli salama kupitia API kwa wingu, ambapo mfumo utatambua hati hizi kwa kuruka, uchanganue na urudishe jibu na data katika muundo unaohitajika kwa kuingia kiotomatiki kwenye hifadhidata. Leo Vision tayari inajua jinsi ya kuainisha nyaraka (ikiwa ni pamoja na PDF) - hufautisha kati ya pasipoti, SNILS, TIN, vyeti vya kuzaliwa, vyeti vya ndoa na wengine.
Bila shaka, mtandao wa neva hauwezi kushughulikia hali hizi zote nje ya boksi. Katika kila kisa, mtindo mpya umejengwa kwa mteja maalum, mambo mengi, nuances na mahitaji huzingatiwa, seti za data huchaguliwa, na marudio ya mafunzo, upimaji, na usanidi hufanywa.
3. Mpango wa uendeshaji wa API
"Lango la kuingilia" la Vision kwa watumiaji ni API ya REST. Inaweza kupokea picha, faili za video na matangazo kutoka kwa kamera za mtandao (mikondo ya RTSP) kama ingizo.
Ili kutumia Vision, unahitaji katika huduma ya Mail.ru Cloud Solutions na kupokea ishara za kufikia (mteja_id + mteja_siri). Uthibitishaji wa mtumiaji unafanywa kwa kutumia itifaki ya OAuth. Data chanzo katika miili ya maombi ya POST inatumwa kwa API. Na kwa kujibu, mteja hupokea kutoka kwa API matokeo ya utambuzi katika muundo wa JSON, na majibu yameundwa: ina taarifa kuhusu vitu vilivyopatikana na kuratibu zao.
Jibu la mfano
{
"status":200,
"body":{
"objects":[
{
"status":0,
"name":"file_0"
},
{
"status":0,
"name":"file_2",
"persons":[
{
"tag":"person9"
"coord":[149,60,234,181],
"confidence":0.9999,
"awesomeness":0.45
},
{
"tag":"person10"
"coord":[159,70,224,171],
"confidence":0.9998,
"awesomeness":0.32
}
]
}
{
"status":0,
"name":"file_3",
"persons":[
{
"tag":"person11",
"coord":[157,60,232,111],
"aliases":["person12", "person13"]
"confidence":0.9998,
"awesomeness":0.32
}
]
},
{
"status":0,
"name":"file_4",
"persons":[
{
"tag":"undefined"
"coord":[147,50,222,121],
"confidence":0.9997,
"awesomeness":0.26
}
]
}
],
"aliases_changed":false
},
"htmlencoded":false,
"last_modified":0
}Jibu lina utisho wa paramu ya kupendeza - hii ni "ubaridi" wa masharti ya uso kwenye picha, kwa msaada wake tunachagua picha bora ya uso kutoka kwa mlolongo. Tulifunza mtandao wa neva kutabiri uwezekano kwamba picha itapendwa kwenye mitandao ya kijamii. Kadiri ubora wa picha unavyoboreka na uso unaotabasamu zaidi, ndivyo uzuri unavyoongezeka.
API Vision hutumia dhana inayoitwa nafasi. Hii ni zana ya kuunda seti tofauti za nyuso. Mifano ya nafasi ni orodha nyeusi na nyeupe, orodha za wageni, wafanyakazi, wateja, n.k. Kwa kila tokeni kwenye Maono, unaweza kuunda hadi nafasi 10, kila nafasi inaweza kuwa na Vitambulisho vya Watu elfu 50, yaani, hadi elfu 500. kwa ishara. Aidha, idadi ya ishara kwa akaunti sio mdogo.
Leo API inasaidia njia zifuatazo za utambuzi na utambuzi:
- Tambua/Weka - utambuzi na utambuzi wa nyuso. Hutoa Kitambulisho cha Mtu kiotomatiki kwa kila mtu wa kipekee, hurejesha Kitambulisho cha Mtu na viwianishi vya watu waliopatikana.
- Futa - kufuta Kitambulisho cha Mtu mahususi kutoka kwa hifadhidata ya mtu.
- Truncate - husafisha nafasi nzima kutoka kwa Kitambulisho cha Mtu, ni muhimu ikiwa ilitumika kama nafasi ya majaribio na unahitaji kuweka upya hifadhidata kwa ajili ya uzalishaji.
- Tambua - utambuzi wa vitu, matukio, nambari za usajili, alama muhimu, foleni, n.k. Hurejesha darasa la vitu vilivyopatikana na viwianishi vyake.
- Kuchunguza kwa nyaraka - hutambua aina maalum za nyaraka za Shirikisho la Urusi (hufautisha pasipoti, SNILS, nambari ya kitambulisho cha kodi, nk).
Hivi karibuni pia tunamaliza kazi ya mbinu za OCR, kubainisha jinsia, umri na hisia, na pia kutatua matatizo ya uuzaji, yaani, kudhibiti onyesho la bidhaa kiotomatiki madukani. Unaweza kupata hati kamili za API hapa:
4. Hitimisho
Sasa, kupitia API ya umma, unaweza kufikia utambuzi wa uso katika picha na video; utambulisho wa vitu mbalimbali, nambari za leseni, alama muhimu, hati na matukio yote yanaauniwa. Matukio ya maombi - bahari. Njoo, jaribu huduma yetu, iweke kazi ngumu zaidi. Shughuli 5000 za kwanza ni za bure. Labda itakuwa "kiungo kinachokosekana" kwa miradi yako.
Unaweza kufikia API papo hapo baada ya usajili na muunganisho. . Watumiaji wote wa Habra hupokea msimbo wa ofa kwa miamala ya ziada. Tafadhali niandikie barua pepe uliyotumia kusajili akaunti yako!
Chanzo: mapenzi.com