Fasaha da samfura don tsarin hangen nesa na kwamfuta na gaba an ƙirƙira su kuma inganta su sannu a hankali kuma a cikin ayyuka daban-daban na kamfaninmu - a cikin Mail, Cloud, Search. Sun girma kamar cuku mai kyau ko cognac. Wata rana mun fahimci cewa cibiyoyin sadarwar mu suna nuna kyakkyawan sakamako a cikin ganewa, kuma mun yanke shawarar haɗa su cikin samfurin b2b guda ɗaya - Vision - wanda yanzu muna amfani da kanmu kuma muna ba ku amfani.
A yau, fasahar hangen nesa ta kwamfuta akan dandalin Mail.Ru Cloud Solutions yana samun nasarar aiki tare da magance matsalolin aiki masu rikitarwa. Ya dogara ne akan adadin cibiyoyin sadarwa na jijiyoyi waɗanda aka horar da su akan saitin bayanan mu kuma sun ƙware wajen magance matsalolin da ake amfani da su. Duk ayyuka suna gudana akan wuraren uwar garken mu. Kuna iya haɗa API ɗin hangen nesa na jama'a a cikin aikace-aikacenku, ta inda duk damar sabis ɗin ke samuwa. API ɗin yana da sauri - godiya ga GPUs uwar garken, matsakaicin lokacin amsawa a cikin hanyar sadarwar mu shine 100 ms.
Je zuwa cat, akwai cikakken labari da misalai da yawa na aikin Vision.
A matsayin misali na sabis wanda mu da kanmu muke amfani da fasahar tantance fuska da aka ambata, zamu iya kawowa . Ɗaya daga cikin abubuwan da ke tattare da shi shine Vision photo tsaye, wanda muke sanyawa a tarurruka daban-daban. Idan ka kusanci irin wannan hoton, ɗauki hoto tare da ginanniyar kyamarar sannan ka shigar da imel ɗinka, tsarin nan da nan zai sami cikin jerin hotuna waɗanda masu daukar hoto na taron suka kama ku, kuma, idan ana so. zai aika maka da hotunan da aka samo ta imel. Kuma ba muna magana ne game da shirye-shiryen hotuna ba-Vision yana gane ku har ma a bayan fage a cikin taron baƙi. Tabbas, ba hoton yana tsaye da kansu waɗanda aka gane ba, waɗannan kawai allunan a cikin kyawawan wurare waɗanda kawai ke ɗaukar hotuna na baƙi tare da ginanniyar kyamarorinsu kuma suna watsa bayanai zuwa sabobin, inda duk sihirin ganewa ya faru. Kuma mun ga fiye da sau ɗaya yadda abin mamaki yadda fasahar ke da tasiri har ma a tsakanin ƙwararrun gane hoto. A ƙasa za mu yi magana game da wasu misalai.
1. Samfurin Gane Fuskar mu
1.1. Cibiyoyin sadarwa na jijiya da saurin sarrafawa
Don ganewa, muna amfani da gyare-gyaren samfurin hanyar sadarwa na ResNet 101. Matsakaicin Pooling a ƙarshen ana maye gurbinsa da cikakken haɗin haɗin gwiwa, kamar yadda ake yi a ArcFace. Koyaya, girman wakilcin vector shine 128, ba 512 ba. Tsarin horonmu ya ƙunshi hotuna kusan miliyan 10 na mutane 273.
Samfurin yana gudana cikin sauri saboda godiya ga ingantaccen tsarin ƙirar uwar garken da aka zaɓa da ƙididdigar GPU. Yana ɗaukar daga 100 ms don karɓar amsa daga API akan hanyoyin sadarwar mu na ciki - wannan ya haɗa da gano fuska (gano fuska a hoto), ganewa da dawo da PersonID a cikin martanin API. Tare da manyan kundin bayanai masu shigowa - hotuna da bidiyo - zai ɗauki lokaci mai yawa don canja wurin bayanai zuwa sabis ɗin kuma don karɓar amsa.
1.2. Yin la'akari da tasiri na samfurin
Amma ƙayyadaddun ingancin hanyoyin sadarwar jijiyoyi aiki ne mai cike da ruɗani. Ingancin aikin su ya dogara ne akan abin da aka tsara bayanan samfuran da aka horar da su da kuma ko an inganta su don aiki tare da takamaiman bayanai.
Mun fara kimanta daidaiton ƙirar mu tare da sanannen gwajin tabbatarwa na LFW, amma ya yi ƙanƙanta da sauƙi. Bayan kai 99,8% daidaito, ba shi da amfani. Akwai kyakkyawar gasa don kimanta ƙirar ƙima - Megaface, wanda a hankali muka kai kashi 82% na matsayi na 1. Gwajin Megaface ya ƙunshi hotuna miliyan - masu ɓarna - kuma samfurin ya kamata ya iya bambanta hotuna dubu da yawa na mashahurai daga Facescrub. dataset daga karkatar da hankali. Koyaya, bayan share gwajin Megaface na kurakurai, mun gano cewa tare da sigar da aka share muna samun daidaiton matsayi na 98% na 1 (hotunan mashahurai gabaɗaya takamaiman ne). Sabili da haka, sun ƙirƙiri gwajin tantancewa daban, kama da Megaface, amma tare da hotuna na "talakawan" mutane. Sannan mun inganta daidaiton ganewa akan ma'ajin bayanan mu kuma muka ci gaba da nisa. Bugu da ƙari, muna amfani da gwajin inganci mai tarin yawa wanda ya ƙunshi hotuna dubu da yawa; yana kwatanta alamar fuska a cikin gajimaren mai amfani. A wannan yanayin, gungu ƙungiyoyi ne na mutane iri ɗaya, rukuni ɗaya ga kowane mutum wanda ake iya ganewa. Mun duba ingancin aiki akan ƙungiyoyin gaske (gaskiya).
Tabbas, kurakuran ganewa suna faruwa tare da kowane samfuri. Amma irin waɗannan yanayi sau da yawa ana warware su ta hanyar daidaita ƙofofin don takamaiman yanayi (ga duk tarurrukan muna amfani da ƙofofin guda ɗaya, amma, alal misali, don tsarin kula da shiga dole ne mu ƙara yawan ƙofofin ta yadda za a sami ƙarancin tabbataccen ƙarya). Mafi yawan maziyartan taron an gane su daidai ta rumfunan hotonmu na Vision. Wani lokaci wani zai kalli samfotin da aka yanke ya ce, "Tsarin ku yayi kuskure, ba ni ba." Sai muka bude hoton gaba dayansa, sai ya zamana cewa da gaske akwai wannan bako a cikin hoton, ba wai muna daukar hotonsa ba ne, wani ne kawai, mutumin ya kasance a baya a cikin blur zone. Bugu da ƙari, cibiyar sadarwa ta jijiyoyi sau da yawa tana gane daidai ko da lokacin da ba a ga wani ɓangare na fuska, ko kuma mutumin yana tsaye a cikin bayanin martaba, ko ma ya juya rabi. Tsarin zai iya gane mutum ko da fuskar ta kasance a cikin yanki na murdiya, ka ce, lokacin harbi da ruwan tabarau mai fadi.
1.3. Misalan gwaji a cikin yanayi masu wahala
A ƙasa akwai misalan yadda hanyar sadarwar mu ta jijiyoyi ke aiki. Ana ƙaddamar da hotuna zuwa shigarwar, waɗanda dole ne ta yi wa alama ta amfani da PersonID - mai gano mutum na musamman. Idan hotuna biyu ko fiye suna da ID iri ɗaya, to, bisa ga samfuran, waɗannan hotuna suna nuna mutum ɗaya.
Bari mu lura nan da nan cewa lokacin gwaji, muna da damar yin amfani da sigogi daban-daban da ƙirar ƙira waɗanda za mu iya saita don cimma sakamako na musamman. API ɗin jama'a an inganta shi don matsakaicin daidaito akan al'amuran gama gari.
Bari mu fara da abu mafi sauƙi, tare da gane fuska ta gaba.
To, hakan ya yi sauki. Mu dagula aikin, mu kara gemu da shekaru kadan.
Wasu za su ce wannan ma ba shi da wahala sosai, saboda a cikin duka biyun fuskar duka tana bayyane, kuma bayanai da yawa game da fuska suna samuwa ga algorithm. To, bari mu juya Tom Hardy zuwa bayanin martaba. Wannan matsala ta fi rikitarwa, kuma mun yi ƙoƙari mai yawa don samun nasarar magance ta yayin da muke riƙe ƙananan kuskuren kuskure: mun zaɓi tsarin horo, tunani ta hanyar gine-gine na cibiyar sadarwa na jijiyoyi, inganta ayyukan hasara da inganta aikin da aka rigaya. na hotuna.
Mu sanya masa riga:
Af, wannan misali ne na yanayi mai wuyar gaske, tun lokacin da fuskar ke da duhu sosai, kuma a cikin hoton ƙasa akwai inuwa mai zurfi da ke ɓoye idanu. A cikin rayuwa ta ainihi, sau da yawa mutane suna canza kamanni tare da taimakon gilashin duhu. Mu yi haka da Tom.
To, bari mu yi ƙoƙarin jefa hotuna daga shekaru daban-daban, kuma a wannan lokacin za mu gwada wani ɗan wasan kwaikwayo na daban. Bari mu ɗauki misali mai sarƙaƙƙiya, inda aka fi bayyana canje-canje masu alaƙa da shekaru. Halin ba shi da nisa; yana faruwa sau da yawa lokacin da kake buƙatar kwatanta hoto a cikin fasfo tare da fuskar mai ɗaukar hoto. Bayan haka, ana ƙara hoton farko zuwa fasfo lokacin da mai shi ya cika shekaru 20, kuma bayan shekaru 45, mutum na iya canzawa sosai:
Kuna tsammanin cewa babban ƙwararren a kan ayyukan da ba zai yiwu ba bai canza da yawa ba tare da shekaru? Ina tsammanin cewa ko da wasu mutane kaɗan za su haɗa hotuna na sama da ƙasa, yaron ya canza sosai tsawon shekaru.
Cibiyoyin jijiyoyi suna fuskantar canje-canje a bayyanar sau da yawa. Alal misali, wani lokacin mata na iya canza hoton su sosai tare da taimakon kayan shafawa:
Yanzu bari mu daɗaɗa aikin har ma: a ce an rufe sassa daban-daban na fuska a cikin hotuna daban-daban. A irin waɗannan lokuta, algorithm ba zai iya kwatanta dukan samfurori ba. Koyaya, Vision yana ɗaukar yanayi kamar wannan da kyau.
Af, ana iya samun fuskoki da yawa a cikin hoto, alal misali, fiye da mutane 100 za su iya shiga cikin babban hoto na zauren. Wannan lamari ne mai wahala ga cibiyoyin sadarwa na jijiyoyi, tun da ana iya haskaka fuskoki da yawa daban-daban, wasu ba a mai da hankali ba. Koyaya, idan an ɗauki hoton tare da isassun ƙuduri da inganci (aƙalla pixels 75 a kowane murabba'in murabba'in rufe fuska), Vision zai iya ganowa da gane shi.
Bambance-bambancen hotunan rahoto da hotuna daga kyamarori masu sa ido shine cewa mutane galibi suna duhu saboda ba su da hankali ko kuma suna motsi a lokacin:
Hakanan, ƙarfin hasken yana iya bambanta sosai daga hoto zuwa hoto. Wannan ma, yakan zama abin tuntuɓe; yawancin algorithms suna da matsala sosai wajen sarrafa hotuna masu duhu da haske sosai, ba a ma maganar daidai da su ba. Bari in tunatar da ku cewa don cimma wannan sakamakon kuna buƙatar saita ƙofofin ta wata hanya; har yanzu wannan fasalin bai fito fili ba. Muna amfani da hanyar sadarwa iri ɗaya don duk abokan ciniki; tana da ƙofofin da suka dace da mafi yawan ayyuka masu amfani.
Kwanan nan mun fitar da wani sabon salo na ƙirar wanda ke gane fuskokin Asiya tare da daidaito mai tsayi. Wannan ya kasance babban matsala, wanda har ma ake kira "koyan inji" (ko "cibiyoyin sadarwa") wariyar launin fata. Cibiyoyin jijiyoyi na Turai da Amurka sun fahimci fuskokin Caucasian da kyau, amma tare da Mongoloid da Negroid fuskantar lamarin ya fi muni. Wataƙila, a China lamarin ya kasance akasin haka. Yana da duka game da tsarin horar da bayanan da ke nuna manyan nau'ikan mutane a wata ƙasa. Duk da haka, yanayin yana canzawa, a yau wannan matsala ba ta da yawa. Hangen nesa ba shi da matsala da mutanen jinsi daban-daban.
Gane fuska ɗaya ne daga cikin yawancin aikace-aikacen fasahar mu; Ana iya horar da hangen nesa don gane komai. Misali, faranti, gami da cikin yanayi masu wahala ga algorithms: a kusurwoyi masu kaifi, datti da wahalar karanta faranti na lasisi.
2. Abubuwan amfani masu amfani
2.1. Ikon samun damar jiki: lokacin da mutane biyu suka yi amfani da izinin wucewa ɗaya
Tare da taimakon Vision, zaka iya aiwatar da tsarin don rikodin isowa da tashi na ma'aikata. Tsarin al'ada wanda ya dogara da izinin lantarki yana da fa'ida a bayyane, misali, zaku iya wuce mutane biyu ta amfani da lamba ɗaya. Idan tsarin kula da samun dama (ACS) ya cika tare da Vision, zai yi rikodin gaskiya wanda ya zo / hagu da lokacin.
2.2. Binciken lokaci
Wannan shari'ar amfani da hangen nesa tana da alaƙa da ta baya. Idan kun ƙara tsarin samun dama tare da sabis na tantance fuskar mu, ba zai iya gano cin zarafi kawai ba, har ma don yin rijistar kasancewar ma'aikata a cikin ginin ko wurin. Ma’ana, Vision zai taimaka maka a gaskiya ka yi la’akari da wanda ya zo aiki ya bar aiki a wane lokaci, da wanda ya tsallake aiki gaba daya, ko da abokan aikinsa sun rufa masa asiri a gaban manyansa.
2.3. Binciken Bidiyo: Bibiyar Mutane da Tsaro
Ta hanyar bin diddigin mutane ta amfani da Vision, zaku iya tantance ainihin zirga-zirgar wuraren sayayya, tashoshin jirgin ƙasa, hanyoyin, tituna da sauran wuraren taruwar jama'a. Hakanan bin diddigin mu na iya zama babban taimako wajen sarrafa shiga, misali, zuwa sito ko wasu muhimman wuraren ofis. Kuma ba shakka, bin diddigin mutane da fuskoki yana taimakawa wajen magance matsalolin tsaro. An kama wani yana sata daga shagon ku? Ƙara PersonID ɗin sa, wanda Vision ya mayar, cikin baƙaƙen lissafin software na nazarin bidiyo, kuma lokaci na gaba tsarin zai faɗakar da tsaro nan take idan irin wannan nau'in ya sake bayyana.
2.4. A cikin ciniki
Kasuwanci da kasuwancin sabis daban-daban suna sha'awar sanin layin layi. Tare da taimakon Vision, za ku iya gane cewa wannan ba taron jama'a ba ne, amma jerin gwano, kuma ƙayyade tsawonsa. Sannan tsarin ya sanar da masu gudanar da jerin gwano domin su gane halin da ake ciki: ko dai akwai kwararar maziyarta kuma ana bukatar karin ma’aikata da a kira su, ko kuma wani ya kasa kasa yin aikinsu.
Wani aiki mai ban sha'awa shine raba ma'aikatan kamfanin a cikin zauren daga baƙi. Yawanci, an horar da tsarin don raba abubuwan da ke sanye da wasu tufafi (ka'idodin tufafi) ko kuma tare da wani nau'i na musamman (shafin gyale, lamba a kan ƙirji, da sauransu). Wannan yana taimakawa wajen tantance halarta daidai (don kada ma'aikata su "nuna" kididdigar mutane a zauren ta wurin kasancewarsu kawai).
Yin amfani da sanin fuska, zaku iya kimanta masu sauraron ku: menene amincin baƙi, wato, mutane nawa ne suka dawo cikin kafuwar ku kuma tare da wace mita. Yi ƙididdige maziyarta nawa ke zuwa muku kowane wata. Don haɓaka farashin jan hankali da riƙewa, zaku iya gano canjin zirga-zirgar ababen hawa dangane da ranar mako har ma da lokacin rana.
Franchisors da kamfanonin sarƙoƙi na iya yin odar kima bisa Hotunan ingancin sa alama na kantuna daban-daban: kasancewar tambura, alamomi, fastoci, banners, da sauransu.
2.5. Ta hanyar sufuri
Wani misali na tabbatar da tsaro ta amfani da nazarin bidiyo shine gano abubuwan da aka yi watsi da su a cikin dakunan jiragen sama ko tashoshin jirgin kasa. Ana iya horar da hangen nesa don gane abubuwa na ɗaruruwan azuzuwan: kayan daki, jakunkuna, akwatuna, laima, nau'ikan tufafi, kwalabe, da sauransu. Idan tsarin nazarin bidiyon ku ya gano wani abu mara shi kuma ya gane shi ta amfani da Vision, yana aika sigina zuwa sabis na tsaro. Irin wannan aikin yana da alaƙa da gano abubuwan da ba a saba gani ba a wuraren jama'a: wani yana jin rashin lafiya, ko wani yana shan taba a wurin da bai dace ba, ko kuma mutum ya faɗi a kan dogo, da sauransu - duk waɗannan alamu za a iya gane su ta hanyar tsarin nazarin bidiyo. ta hanyar API Vision.
2.6. Gudun daftarin aiki
Wani aikace-aikacen hangen nesa mai ban sha'awa a nan gaba wanda muke haɓakawa a halin yanzu shine tantance takardu da tantancewar su ta atomatik cikin ma'ajin bayanai. Maimakon shigar da hannu (ko mafi muni, shigar) jerin marasa iyaka, lambobi, kwanakin fitowar, lambobin asusu, bayanan banki, kwanakin da wuraren haihuwa da sauran bayanan da aka tsara, zaku iya bincika takardu kuma aika su ta atomatik ta hanyar amintaccen tashoshi API zuwa ga gajimare, inda tsarin zai gane waɗannan takaddun akan tashi, rarraba su kuma mayar da martani tare da bayanai a cikin tsarin da ake buƙata don shigarwa ta atomatik a cikin bayanan. Yau Vision ya riga ya san yadda ake rarraba takardu (ciki har da PDF) - ya bambanta tsakanin fasfo, SNILS, TIN, takaddun haihuwa, takaddun aure da sauransu.
Tabbas, cibiyar sadarwar jijiyoyi ba ta iya ɗaukar duk waɗannan yanayi daga cikin akwatin. A kowane hali, an gina sabon samfurin don takamaiman abokin ciniki, abubuwa da yawa, nuances da buƙatun ana la'akari da su, an zaɓi saitin bayanai, kuma ana aiwatar da abubuwan horo, gwaji, da daidaitawa.
3. API tsarin aiki
Vision's "ƙofar shiga" don masu amfani shine API REST. Yana iya karɓar hotuna, fayilolin bidiyo da watsa shirye-shirye daga kyamarori na cibiyar sadarwa (Rafukan RTSP) azaman shigarwa.
Don amfani da Vision, kuna buƙatar a cikin Mail.ru Cloud Solutions sabis kuma sami damar shiga alamun (abokin ciniki_id + abokin ciniki_asirin). Ana aiwatar da amincin mai amfani ta amfani da ka'idar OAuth. Ana aika bayanan tushen a jikin buƙatun POST zuwa API. Kuma a cikin mayar da martani, abokin ciniki yana karɓar sakamako daga API a cikin tsarin JSON, kuma an tsara amsa: yana ƙunshe da bayanai game da abubuwan da aka samo da haɗin gwiwar su.
Misalin amsa
{
"status":200,
"body":{
"objects":[
{
"status":0,
"name":"file_0"
},
{
"status":0,
"name":"file_2",
"persons":[
{
"tag":"person9"
"coord":[149,60,234,181],
"confidence":0.9999,
"awesomeness":0.45
},
{
"tag":"person10"
"coord":[159,70,224,171],
"confidence":0.9998,
"awesomeness":0.32
}
]
}
{
"status":0,
"name":"file_3",
"persons":[
{
"tag":"person11",
"coord":[157,60,232,111],
"aliases":["person12", "person13"]
"confidence":0.9998,
"awesomeness":0.32
}
]
},
{
"status":0,
"name":"file_4",
"persons":[
{
"tag":"undefined"
"coord":[147,50,222,121],
"confidence":0.9997,
"awesomeness":0.26
}
]
}
],
"aliases_changed":false
},
"htmlencoded":false,
"last_modified":0
}Amsar ta ƙunshi siga mai ban sha'awa mai ban sha'awa - wannan shine yanayin "sanyi" na fuska a cikin hoto, tare da taimakonsa muna zaɓar mafi kyawun harbin fuska daga jerin. Mun horar da hanyar sadarwa na jijiyoyi don hasashen yiwuwar hoto za a so a shafukan sada zumunta. Mafi kyawun ingancin hoto da ƙarin murmushin fuska, mafi girman ban mamaki.
API Vision yana amfani da ra'ayi da ake kira sarari. Wannan kayan aiki ne don ƙirƙirar fuskoki daban-daban. Misalai na sarari sune jerin baƙi da fari, jerin baƙi, ma'aikata, abokan ciniki, da sauransu. Ga kowane alama a cikin Vision, zaku iya ƙirƙirar sarari har zuwa 10, kowane sarari yana iya samun zuwa PersonIDs dubu 50, wato, har zuwa dubu 500. kowace alama. Bugu da ƙari, adadin alamun kowane asusun ba a iyakance ba.
A yau API ɗin yana goyan bayan ganowa da hanyoyin ganowa masu zuwa:
- Gane/Saita- ganowa da gane fuskoki. Yana ba da ID ta atomatik ga kowane mutum na musamman, yana mayar da ID ɗin da kuma daidaitawa na mutanen da aka samo.
- Share - share takamaiman mutumID daga bayanan mutum.
- Truncate - yana share sararin samaniya daga PersonID, mai amfani idan an yi amfani da shi azaman wurin gwaji kuma kana buƙatar sake saita bayanan don samarwa.
- Gano - gano abubuwa, fage, faranti na lasisi, alamomin ƙasa, layukan layi, da sauransu. Yana dawo da ajin abubuwan da aka samo da haɗin gwiwar su
- Gano takardu - gano takamaiman nau'ikan takaddun na Tarayyar Rasha (rarrabuwa fasfo, SNILS, lambar shaidar haraji, da sauransu).
Har ila yau, ba da daɗewa ba za mu gama aiki kan hanyoyin don OCR, ƙayyadaddun jinsi, shekaru da motsin zuciyarmu, da kuma magance matsalolin ciniki, wato, don sarrafa nunin kayayyaki ta atomatik a cikin shaguna. Kuna iya samun cikakkun takaddun API anan:
4. Kammalawa
Yanzu, ta hanyar API na jama'a, zaku iya samun damar gane fuska a hotuna da bidiyo; ana tallafawa gano abubuwa daban-daban, faranti na lasisi, alamomin ƙasa, takardu da dukkan fage. Yanayin aikace-aikacen - teku. Zo, gwada sabis ɗinmu, saita shi mafi yawan ayyuka masu wahala. Kasuwancin 5000 na farko kyauta ne. Wataƙila zai zama "ɓataccen abu" don ayyukanku.
Kuna iya samun dama ga API nan take akan rajista da haɗi. . Duk masu amfani da Habra suna karɓar lambar talla don ƙarin ma'amaloli. Da fatan za a rubuto mini adireshin imel ɗin da kuka yi amfani da shi don yin rajistar asusunku!
source: www.habr.com