Gure etorkizuneko ordenagailu bidezko ikusmen sistemarako teknologiak eta ereduak pixkanaka eta gure enpresaren hainbat proiektutan sortu eta hobetu ziren - Mail, Cloud, Search-en. Gazta ona edo koñaka bezala heltzen ziren. Egun batean konturatu ginen gure neurona-sareek errekonozimenduan emaitza bikainak erakusten zituztela, eta horiek b2b produktu bakar batean konbinatzea erabaki genuen - Vision - orain geuk erabiltzen duguna eta zuk erabiltzeko eskaintzen dizuguna.

Gaur egun, gure ordenagailu bidezko ikusmenaren teknologia Mail.Ru Cloud Solutions plataforman arrakastaz funtzionatzen ari da eta arazo praktiko oso konplexuak konpontzen ari da. Gure datu-multzoetan trebatutako eta aplikatutako problemak konpontzen espezializatutako sare neuronal batzuetan oinarritzen da. Zerbitzu guztiak gure zerbitzariaren instalazioetan exekutatzen dira. Vision API publikoa zure aplikazioetan integra dezakezu, eta horren bidez zerbitzuaren gaitasun guztiak eskuragarri daude. API azkarra da - zerbitzariko GPUei esker, gure sareko batez besteko erantzun-denbora 100 ms-koa da.

Zoaz katuarengana, istorio zehatz bat eta Vision-en lanaren adibide asko daude.

Guk aipatutako aurpegi-ezagutze teknologiak erabiltzen ditugun zerbitzu baten adibidea da Ekitaldiak. Bere osagaietako bat Vision argazki standak dira, hainbat hitzalditan instalatzen ditugunak. Horrelako argazki-postu batera hurbiltzen bazara, argazki bat atera kamerarekin eta zure posta elektronikoa sartu, sistemak berehala aurkituko ditu argazki sortaren artean kongresuko langileen argazkilariek atera zintuztenak, eta, nahi izanez gero, aurkitutako argazkiak posta elektronikoz bidaliko dizkizu. Eta ez gara erretratu-planoez ari: Vision-ek atzealdean ere ezagutzen zaitu bisitari-multzo batean. Jakina, ez dira aitortzen argazki-erregimenak beraiek, stand ederretako tabletak baino ez dira, kamera integratuekin gonbidatuei argazkiak atera eta informazioa zerbitzarietara igortzen dutenak, non aitorpenaren magia guztia gertatzen den. Eta behin baino gehiagotan ikusi dugu zein harrigarria den teknologiaren eraginkortasuna irudiak ezagutzeko espezialisten artean ere. Jarraian adibide batzuei buruz hitz egingo dugu.

1. Gure aurpegia ezagutzeko eredua

1.1. Sare neuronalak eta prozesatzeko abiadura

Aitortzeko, ResNet 101 sare neuronalaren ereduaren aldaketa erabiltzen dugu. Amaieran Batez besteko Pooling guztiz konektatutako geruza batekin ordezkatzen da, ArcFace-n egiten den antzera. Hala ere, irudikapen bektorialen tamaina 128koa da, ez 512. Gure prestakuntza multzoak 10 pertsonaren 273 milioi argazki inguru ditu.

Eredua oso azkar exekutatzen da kontu handiz hautatutako zerbitzariaren konfigurazio-arkitekturari eta GPU informatikariari esker. 100 ms-tik aurrera behar dira gure barne-sareetan APIaren erantzuna jasotzeko; honek aurpegiak hautematea barne hartzen ditu (argazki batean aurpegia detektatzea), APIaren erantzunean PersonID antzematea eta itzultzea. Sarrerako datu-bolumen handiekin (argazkiak eta bideoak) askoz denbora gehiago beharko da datuak zerbitzura transferitzeko eta erantzuna jasotzeko.

1.2. Ereduaren eraginkortasuna baloratzea

Baina sare neuronalen eraginkortasuna zehaztea oso zeregin anbiguoa da. Beren lanaren kalitatea ereduak zein datu multzotan trebatu ziren eta datu zehatzekin lan egiteko optimizatu ziren ala ezaren araberakoa da.

Gure ereduaren zehaztasuna ebaluatzen hasi ginen LFW egiaztapen proba ezagunarekin, baina txikiegia eta sinpleegia da. %99,8ko zehaztasuna lortu ondoren, jada ez da erabilgarria. Lehiaketa ona dago aintzatespen-ereduak ebaluatzeko - Megaface, pixkanaka-pixkanaka % 82ra iritsi ginen 1. mailan. Megaface proba milioi bat argazkiz osatuta dago - distraitzaileak - eta modeloak Facescrub-eko ospetsuen milaka argazki ondo bereizteko gai izan beharko luke. distraitzaileen datu multzoa. Hala ere, Megaface proba akatsak garbitu ondoren, garbitutako bertsioarekin 98. mailaren % 1ko zehaztasuna lortzen dugula ikusi dugu (ospetsuen argazkiak, oro har, nahiko zehatzak dira). Hori dela eta, identifikazio proba bereizi bat sortu zuten, Megafaceren antzekoa, baina jende “arruntaren” argazkiekin. Ondoren, gure datu-multzoetan aitorpenaren zehaztasuna hobetu genuen eta aurrera egin genuen. Horrez gain, hainbat milaka argazkiz osatutako clustering kalitatearen proba bat erabiltzen dugu; aurpegien etiketatzea simulatzen du erabiltzailearen hodeian. Kasu honetan, klusterrak antzeko gizabanakoen taldeak dira, talde bat ezagutzen den pertsona bakoitzeko. Benetako taldeetan lanaren kalitatea egiaztatu dugu (egia).

Jakina, edozein eredurekin antzemateko akatsak gertatzen dira. Baina horrelako egoerak sarritan konpontzen dira atalaseak baldintza zehatzetarako atalaseak doituz (hitzaldi guztietan atalase berdinak erabiltzen ditugu, baina, adibidez, sarbide-kontrol sistemetarako atalaseak asko handitu behar ditugu, positibo faltsu gutxiago egon daitezen). Kongresuko bisitari gehienek behar bezala ezagutu zituzten gure Vision argazki-kabinek. Batzuetan, norbaitek moztutako aurrebista begiratu eta esaten zuen: "Zure sistemak akats bat egin du, ez naiz ni". Orduan argazkia osorik ireki genuen, eta argazkian benetan bisitari hau zegoela ikusi zen, guk ez genion argazkirik egiten, beste norbait baizik, pertsona hori lausotze eremuan atzealdean zegoela. Gainera, neurona-sareak sarritan ongi antzematen du aurpegiaren zati bat ikusten ez dagoenean ere, edo pertsona profilan zutik dagoenean edo erdi itzulita dagoenean ere. Sistemak pertsona bat antzeman dezake aurpegia distortsio optikoaren eremuan egon arren, esate baterako, angelu zabaleko lente batekin filmatzen denean.

1.3. Egoera zailetan egindako proben adibideak

Jarraian, gure sare neuronalaren funtzionamenduaren adibideak daude. Argazkiak sarrerara bidaltzen dira, eta PersonID erabiliz etiketatu behar du, pertsona baten identifikatzaile bakarra. Bi irudi edo gehiago ID bera badute, orduan, ereduen arabera, argazki hauek pertsona bera irudikatzen dute.

Kontuan izan dezagun berehala probak egiterakoan emaitza jakin bat lortzeko konfigura ditzakegun hainbat parametro eta eredu atalaseetara sarbidea dugula. API publikoa kasu arruntetan zehaztasun handiena lortzeko optimizatuta dago.

Has gaitezen gauzarik errazenetik, aurpegia aurpegia ezagutzeko.

Tira, hori errazegia zen. Zaildu dezagun lana, gehitu bizarra eta urte gutxi.

Batzuek esango dute hori ere ez zela oso zaila izan, bi kasuetan aurpegi osoa ikusten delako, eta aurpegiari buruzko informazio asko eskura baitago algoritmoak. Ados, bihur dezagun Tom Hardy profila. Arazo hau askoz konplexuagoa da, eta ahalegin handia egin dugu arrakastaz konpontzeko errore-tasa baxua mantenduz: entrenamendu-multzo bat aukeratu dugu, sare neuronalaren arkitekturan pentsatu, galera-funtzioak hobetu eta aurreprozesamendua hobetu dugu. argazkien.

Jar diezaiogun buruko soinekoa:

Bide batez, egoera bereziki zail baten adibidea da, aurpegia oso ilunduta baitago, eta beheko argazkian begiak ezkutatzen dituen itzal sakon bat ere badago. Bizitza errealean, jendeak oso maiz aldatzen du bere itxura betaurreko ilunen laguntzarekin. Egin dezagun gauza bera Tomekin.

Ados, saia gaitezen adin ezberdinetako argazkiak botatzen, eta oraingoan beste aktore batekin esperimentatuko dugu. Har dezagun adibide askoz konplexuagoa, non adinarekin lotutako aldaketak bereziki nabarmenak diren. Egoera ez da urruna; sarritan gertatzen da pasaporteko argazkia eramailearen aurpegiarekin alderatu behar duzunean. Azken finean, lehen argazkia pasaporteari gehitzen zaio jabeak 20 urte dituenean, eta 45 urterekin pertsona bat asko alda daiteke:

Uste duzu ezinezko misioetan espezialista nagusia ez dela asko aldatu adinarekin? Uste dut jende gutxik ere goiko eta beheko argazkiak uztartuko zituela, mutila asko aldatu da urteetan zehar.

Sare neuronalek askoz gehiagotan aurkitzen dituzte itxura aldaketak. Adibidez, batzuetan emakumeek beren irudia asko alda dezakete kosmetikoen laguntzarekin:

Orain are gehiago zaildu dezagun zeregina: demagun aurpegiaren atal desberdinak argazki ezberdinetan estalita daudela. Kasu horietan, algoritmoak ezin ditu lagin osoak konparatu. Hala ere, Vision-ek ondo kudeatzen ditu horrelako egoerak.

Bide batez, argazki batean aurpegi asko egon daitezke; adibidez, areto bateko argazki orokor batean 100 pertsona baino gehiago kabitzen dira. Egoera zaila da neurona-sareentzat, aurpegi asko ezberdin argizta daitezkeelako, batzuk fokurik gabe. Hala ere, argazkia bereizmen eta kalitate nahikoarekin ateratzen bada (gutxienez 75 pixel aurpegia estaltzen duen karratu bakoitzeko), Vision-ek detektatu eta ezagutu ahal izango du.

Erreportajeen argazkien eta zaintza-kameretako irudien berezitasuna zera da: jendea sarritan lausotu egiten da fokurik gabe zeudelako edo une horretan mugitzen ari zirelako:

Gainera, argiaren intentsitatea asko alda daiteke irudi batetik bestera. Hau ere estropezu bilakatzen da askotan; algoritmo askok zailtasun handiak dituzte ilunegiak eta argiegiak diren irudiak behar bezala prozesatzeko, zehaztasunez parekatzea ahaztu gabe. Gogorarazten dizut emaitza hori lortzeko atalaseak modu jakin batean konfiguratu behar dituzula; funtzio hau oraindik ez dago publikoki eskuragarri. Bezero guztientzat sare neuronal bera erabiltzen dugu; zeregin praktiko gehienetarako egokiak diren atalaseak ditu.

Duela gutxi, Asiako aurpegiak zehaztasun handiz ezagutzen dituen ereduaren bertsio berri bat aurkeztu dugu. Hau arazo handi bat izaten zen, “machine learning” (edo “sare neuronal”) arrazakeria ere deitzen zitzaiona. Europako eta Amerikako neurona-sareek ondo ezagutzen zituzten Kaukasiar aurpegiak, baina mongoloide eta negroideekin egoera askoz okerragoa zen. Ziurrenik, Txinan egoera guztiz kontrakoa zen. Herrialde jakin batean nagusi diren pertsona motak islatzen dituzten prestakuntza-datu multzoei buruzkoa da. Hala ere, egoera aldatzen ari da; gaur egun arazo hau ez da hain larria. Ikusmenak ez du arazorik arraza ezberdinetako pertsonekin.

Aurpegi-ezagutza gure teknologiaren aplikazio ugarietako bat besterik ez da; Ikusmena edozer antzemateko entrenatu daiteke. Adibidez, matrikulak, algoritmoetarako zailak diren baldintzetan barne: angelu zorrotzetan, matrikula zikinak eta irakurtzeko zailak.

2. Erabilera kasu praktikoak

2.1. Sarbide fisikoaren kontrola: bi pertsonek pase bera erabiltzen dutenean

Vision-en laguntzaz, langileen etorrerak eta irteerak erregistratzeko sistemak ezar ditzakezu. Pase elektronikoetan oinarritutako sistema tradizionalak desabantaila nabariak ditu, adibidez, txapa bakarra erabiliz bi pertsona pasa ditzakezu. Sarbide kontrolatzeko sistema (ACS) Vision-ekin gehitzen bada, zintzotasunez grabatuko du nor etorri/ irten den eta noiz.

2.2. Denboraren jarraipena

Ikusmenaren erabilera kasu hau aurrekoarekin oso lotuta dago. Sarbide-sistema gure aurpegi-ezagutze-zerbitzuarekin osatzen baduzu, sarbide-kontrolaren urraketak detektatzeko gai izango da, baina baita eraikinean edo instalazioetan langileen benetako presentzia erregistratu ere. Beste era batera esanda, Vision-ek lagunduko dizu zintzotasunez kontuan hartzen nor zen lanera zein ordutan joan eta nork saltatu zuen lana, nahiz eta bere lankideek nagusien aurrean estali.

2.3. Bideo-analisia: pertsonen jarraipena eta segurtasuna

Vision erabiltzen duten pertsonen jarraipena eginez, merkataritza guneen, tren geltokien, pasabideen, kaleen eta beste hainbat leku publikoren benetako trafikoa zehaztasunez ebaluatu dezakezu. Gure jarraipena ere lagungarri izan daiteke sarbidea kontrolatzeko, adibidez, biltegi batera edo beste bulego garrantzitsu batzuetarako. Eta, noski, pertsonen eta aurpegien jarraipena egiteak segurtasun arazoak konpontzen laguntzen du. Norbait harrapatu duzu zure dendatik lapurtzen? Gehitu bere PersonID, Vision-ek itzuli zuena, zure bideo-analisirako softwarearen zerrenda beltzean, eta hurrengoan sistemak berehala jakinaraziko dio segurtasunari mota hau berriro agertzen bada.

2.4. Merkataritzan

Txikizkako merkataritza eta hainbat zerbitzu-enpresek ilarak ezagutzeko interesa dute. Vision-en laguntzarekin, hau ez dela ausazko jendetza bat, ilara bat baizik eta bere luzera zehaztu dezakezu. Eta, ondoren, sistemak ilara baten berri ematen die arduradunei, egoera zein den argitu dezaten: edo bisitari ugari dago eta langile osagarriak deitu behar dira, edo norbaitek laneko eginkizunetan moteltzen ari da.

Beste zeregin interesgarri bat aretoko enpresako langileak bisitarietatik bereiztea da. Normalean, arropa jakin batzuk (janzkera kodea) edo ezaugarri bereizgarriren bat duten objektuak bereizteko trebatuta dago sistema (markako zapia, txapa bularrean, eta abar). Horrek asistentzia zehatzago ebaluatzen laguntzen du (langileek ez ditzaten aretoko pertsonen estatistikak presentzia hutsarekin "puzten").

Aurpegi-ezagutza erabiliz, zure audientzia ere ebaluatu dezakezu: zein den bisitarien leialtasuna, hau da, zenbat pertsona itzultzen diren zure establezimendura eta zer maiztasunarekin. Kalkulatu zenbat bisitari berezi etortzen zaizkizun hilero. Erakarpen eta atxikipen kostuak optimizatzeko, trafikoaren aldaketa ere jakin dezakezu asteko egunaren eta baita eguneko orduaren arabera ere.

Frankiziatzaileek eta kate-enpresek hainbat saltokiren markaren kalitatearen argazkietan oinarritutako balorazioa eska dezakete: logotipoak, errotuluak, kartelak, pankartak, etab.

2.5. Garraioz

Bideo-analisiak erabiliz segurtasuna bermatzeko beste adibide bat aireportuetako edo tren geltokietako aretoetan abandonatutako elementuak identifikatzea da. Ikusmena ehunka klasetako objektuak ezagutzeko entrena daiteke: altzariak, poltsak, maletak, aterkiak, hainbat arropa mota, botilak, etab. Zure bideo-analisi-sistemak jaberik gabeko objektu bat detektatzen badu eta Vision erabiliz ezagutzen badu, seinale bat bidaltzen dio segurtasun-zerbitzuari. Antzeko zeregina leku publikoetan ezohiko egoerak automatikoki hautematearekin lotzen da: norbait gaixo sentitzen da, edo norbaitek leku okerrean erre egiten du, edo pertsona bat errailetara erortzen da, eta abar - eredu horiek guztiak bideo-analisi sistemek ezagutu ditzakete. Vision APIaren bidez.

2.6. Dokumentuen fluxua

Gaur egun garatzen ari garen Vision-en etorkizuneko beste aplikazio interesgarri bat dokumentuen aitorpena eta datu-baseetan automatikoki aztertzea da. Serie amaigabeak, zenbakiak, jaulkipen-datak, kontu-zenbakiak, banku-datuak, jaiotze-datak eta lekuak eta beste datu formalizatu batzuk eskuz sartu (edo okerrago) sartu beharrean, dokumentuak eskaneatu eta automatikoki bidali ditzakezu kanal seguru baten bidez. APIa hodeira, non sistemak dokumentu hauek berehala ezagutuko ditu, analizatu eta datu-basean automatikoki sartzeko beharrezko formatuan datuekin erantzun bat itzuliko du. Gaur Vision-ek dagoeneko badaki dokumentuak nola sailkatu (PDF barne) - pasaporteak, SNILS, TIN, jaiotza-ziurtagiriak, ezkontza-ziurtagiriak eta beste batzuk bereizten ditu.

Jakina, sare neuronalak ezin ditu egoera guzti hauek kutxatik kanpo kudeatzeko. Kasu bakoitzean, bezero jakin baterako eredu berri bat eraikitzen da, faktore, ñabardura eta eskakizun asko hartzen dira kontuan, datu multzoak hautatzen dira eta prestakuntza, proba eta konfigurazio errepikapenak egiten dira.

3. APIaren funtzionamendu-eskema

Erabiltzaileentzako Vision-en "sarrerako atea" REST APIa da. Sarrera gisa sareko kameretatik (RTSP korronteak) argazkiak, bideo fitxategiak eta emisioak jaso ditzake.

Vision erabiltzeko, behar duzu erregistratu Mail.ru Cloud Solutions zerbitzuan eta jaso sarbide-tokenak (client_id + client_secret). Erabiltzaileen autentifikazioa OAuth protokoloa erabiliz egiten da. POST eskaeren gorputzetako iturri datuak APIra bidaltzen dira. Eta erantzun gisa, bezeroak APItik jasotzen du aitorpenaren emaitza JSON formatuan, eta erantzuna egituratuta dago: aurkitutako objektuei eta haien koordenatuei buruzko informazioa dauka.

Erantzun adibidea

{
   "status":200,
   "body":{
      "objects":[
         {
            "status":0,
            "name":"file_0"
         },
         {
            "status":0,
            "name":"file_2",
            "persons":[
               {
                  "tag":"person9"
                  "coord":[149,60,234,181],
                  "confidence":0.9999,
                  "awesomeness":0.45
               },
               {
                  "tag":"person10"
                  "coord":[159,70,224,171],
                  "confidence":0.9998,
                  "awesomeness":0.32
               }
            ]
         }

         {
            "status":0,
            "name":"file_3",
            "persons":[
               {
               "tag":"person11",
               "coord":[157,60,232,111],
               "aliases":["person12", "person13"]
               "confidence":0.9998,
               "awesomeness":0.32
               }
            ]
         },
         {
            "status":0,
            "name":"file_4",
            "persons":[
               {
               "tag":"undefined"
               "coord":[147,50,222,121],
               "confidence":0.9997,
               "awesomeness":0.26
               }
            ]
         }
      ],
      "aliases_changed":false
   },
   "htmlencoded":false,
   "last_modified":0
}

Erantzunak parametro zoragarria du: hau da argazki bateko aurpegiaren "hoztasun" baldintzatua, bere laguntzarekin sekuentziako aurpegi baten plano onena hautatzen dugu. Sare neuronal bat trebatu dugu sare sozialetan argazki bat gustatuko zaion probabilitatea iragartzeko. Zenbat eta kalitate hobea izan argazkiaren eta zenbat eta aurpegi irribarretsuagoa izan, orduan eta ikusgarritasun handiagoa.

API Vision-ek espazioa izeneko kontzeptua erabiltzen du. Aurpegi multzo desberdinak sortzeko tresna bat da. Espazioen adibideak dira zuri-beltzeko zerrendak, bisitarien, langileen, bezeroen zerrendak, etab. Vision-en token bakoitzeko, gehienez 10 espazio sor ditzakezu, espazio bakoitzak 50 mila PersonID izan ditzake, hau da, 500 mila gehienez. token bakoitzeko. Gainera, kontu bakoitzeko token kopurua ez da mugatua.

Gaur egun APIak detektatzeko eta ezagutzeko metodo hauek onartzen ditu:

• Recognize/Set - aurpegiak hautematea eta antzematea. Automatikoki PersonID bat esleitzen dio pertsona bakar bakoitzari, PersonID eta aurkitutako pertsonen koordenatuak itzultzen ditu.
• Ezabatu - Pertsona ID zehatz bat pertsona datu-basetik ezabatzea.
• Truncate - PersonID-tik espazio osoa garbitzen du, erabilgarria proba-espazio gisa erabili bazen eta datu-basea berrezarri behar baduzu ekoizpenerako.
• Detektatu - objektuak, eszenak, matrikulak, mugarriak, ilarak eta abar hautematea. Aurkitutako objektuen klasea eta haien koordenatuak itzultzen ditu.
• Detektatu dokumentuak - Errusiar Federazioko dokumentu mota zehatzak detektatzen ditu (pasaportea, SNILS, identifikazio fiskaleko zenbakia eta abar bereizten ditu).

Laster ere amaituko dugu OCRrako metodoak, generoa, adina eta emozioak zehazteaz gain, merchandising arazoak konpontzeko, hau da, dendetan salgaien erakustaldia automatikoki kontrolatzeko. Hemen aurki dezakezu APIaren dokumentazio osoa: https://mcs.mail.ru/help/vision-api

4. Ondorioa

Orain, API publikoaren bidez, argazki eta bideoetan aurpegi-ezagutzara sar zaitezke; hainbat objektu, matrikula, mugarri, dokumentu eta eszena osoen identifikazioa onartzen da. Aplikazio eszenatokiak - itsasoa. Zatoz, probatu gure zerbitzua, ezarri zeregin zailenak. Lehenengo 5000 transakzioak doakoak dira. Beharbada, zure proiektuetarako "falta den osagaia" izango da.

Erregistratu eta konektatzean berehala sar zaitezke APIra. Vision. Habra erabiltzaile guztiek promozio-kode bat jasotzen dute transakzio gehigarrietarako. Mesedez, idatzi iezadazu zure kontua erregistratzeko erabili duzun helbide elektronikoa!

Iturria: www.habr.com