Tehnoloogiad ja mudelid meie tulevase arvutinägemise süsteemi jaoks on loodud ja täiustatud järk-järgult ning erinevates meie ettevõtte projektides — Postis, Pilves, Otsingus. Need on küpsenud nagu hea juust või konjak. Ühel hetkel mõistsime, et meie närvivõrgud näitavad suurepäraseid tulemusi tuvastamises ja otsustasime neid koondada ühte b2b-tootesse — Vision, mida me nüüd ise kasutame ja mida soovime teile pakkuda.

Tänapäeval töötab meie arvutinägemise tehnoloogia Mail.Ru Cloud Solutions platvormil edukalt ja lahendab väga keerulisi praktilisi probleeme. Selle aluseks on mitmed närvivõrgud, mis on koolitatud meie andmekogudel ja on spetsialiseerunud rakenduslike probleemide lahendamisele. Kõik teenused töötavad meie serveriressursside peal. Saate oma rakendustes integreerida Visioni avaliku API, mille kaudu on saadaval kõik teenuse võimalused. API on kiire — tänu serveri GPU-dele on meil keskmine vastusaeg meie võrgus umbes 100 ms.

Tulge sisse, seal on põhjalik lugu ja palju näiteid Visioni tööst.

Näiteks teenus, kus me ise kasutame nimetatud näotuvastuse tehnoloogiaid, on Üritused. Üks selle komponente on Visioni fotostendid, mida me paigutame erinevatele konverentsidele. Kui te lähenete sellisele fotostendile, pildistate end sisse ehitatud kaameraga ja sisestate oma e-posti, leiab süsteem kohe paljude piltide hulgast need, kus teid jäädvustasid konverentsi ametlikud fotograafid, ja soovikorral saadab leitud pildid teile e-postiga. Ja jutt ei käi poseeritud portreepiltidest — Vision tuvastab teid isegi kõige tagumisest plaanist rahvahulga seas. Loomulikult ei tunne neid fotostendid ise, need on lihtsalt tabletid ilusates alustes, mis lihtsalt pildistavad külalisi oma sisseehitatud kaameratega ja edastavad teavet serveritesse, kus kogu tuvastamise maagia leiab aset. Ja me oleme korduvalt näinud, kui üllatunud on spetsialistid pildituvastuse tehnoloogia efektiivsusest. Allpool räägime mõnest näitest.

1. Meie näotuvastuse mudel

1.1. Närvivõrk ja töötlemise kiirus

Mõistmiseks kasutame modifitseeritud neuronaalvõrgu mudelit ResNet 101. Average Pooling on asendatud täisühendatud kihiga, nagu on tehtud ArcFace'is. Kuid vektori esinduste suurus on 128, mitte 512. Meie treeningandmete valim sisaldab umbes 10 miljonit fotot 273 593 isikust.

Mudeli töötab väga kiiresti, tänu hoolikalt valitud serveri arhitektuurile ja GPU arvutustele. API vastuse saamiseks meie sisevõrkudes kulub alates 100 ms — see hõlmab näo tuvastamist (näo tuvastamine fotol), äratundmist ja PersonID tagastamist API vastuses. Suurte sissetulevate andmemahtude — fotode ja videote — puhul kulub palju rohkem aega andmete edastamiseks teenusele ja vastuse saamiseks.

1.2. Mudeli efektiivsuse hindamine

Kuid neuronaalvõrkude töö efektiivsuse määramine on väga subjektiivne ülesanne. Nende töö kvaliteet sõltub andmekogudest, millel mudelid on treenitud, ja kas need on optimeeritud tööks konkreetsete andmete jaoks.

Hakkasime oma mudeli täpsust hindama tuntud valideerimise testiga LFW, kuid see on liiga väike ja lihtne. Pärast 99,8% täpsuse saavutamist ei ole sellel enam mõtet. On hea konkurss mudelite äratunde hindamiseks — Megaface, kus oleme järk-järgult jõudnud 82% rank 1. Megaface'i test koosneb miljonist fotost — häirijast — ja mudel peab suutma hästi eristada mõni tuhat kuulsuste fotot andmekogust Facescrub häirijatest. Kuid Megaface'i testist vigade eemaldamisel avastasime, et puhastatud variandil saavutame 98 % rank 1 täpsuse (kuulsuste fotod on üsna spetsiifilised). Seetõttu lõime eraldi identifitseerimistesti, mis sarnaneb Megaface'iga, kuid sisaldab

Muidugi, iga mudeli puhul juhtub tunnustusviga. Kuid sellised olukorrad lahendatakse sageli piiride kohandamisega konkreetsete tingimuste jaoks (kõikide konverentside jaoks kasutame samu piire, kuid näiteks juurdepääsukontrolli puhul tuleb piire oluliselt tõsta, et vale positiivne tuvastamine oleks väiksem). Enamus konverentsi külastajatest tuvastati meie Vision fotokioskitega õigesti. Mõnikord vaatas keegi lõigatud eelvaadet ja ütles: "Teie süsteem eksis, see ei ole mina". Siis avasime pildi täielikult ja selgus, et pildil on tõepoolest see külastaja, lihtsalt kaamera jäädvustas kedagi muud, inimene sattus lihtsalt juhuslikult udusesse tausta. Veelgi enam, närvivõrk tuvastab sageli õigesti isegi juhul, kui osa näost ei ole nähtav, või inimene seisab profiilis, või isegi keerab selga. Süsteem suudab tuvastada isiku ka siis, kui nägu on optiliste moonutuste piirkonnas, näiteks laia nurga objektiiviga pildistamisel.

1.3. Testimise näidised keerulistes olukordades

Allpool on esitatud näited meie närvivõrgu tööst. Sisendiks on fotod, mida ta peab märgistama PersonID - unikaalse näo identifikaatoriga. Kui kahel või enamal pildil on sama identifikaator, siis tähendab see, et mudelite arvates on need pildid sama inimesega.

Tõstame kohe esile, et testimise käigus on meil saadaval erinevad parameetrid ja mudelite piirid, mida saame tulemuse saavutamiseks kohandada. Avalik API on optimeeritud maksimaalse täpsuse saavutamiseks tavalistes juhtumites.

Alustame kõige lihtsamast, näo tuvastamisest otsevaates.

Noh, see oli liiga lihtne. Teeme ülesande keerulisemaks, lisame habeme ja paar aastat.

Keegi võib öelda, et see ei olnud samuti liiga keeruline, sest mõlemal juhul on nägu täielikult nähtav, algoritmil on palju teavet näo kohta. Hästi, keerame Tom Hardy profiili. See ülesanne on oluliselt keerulisem ning selle edukaks lahendamiseks madala vigade tasemega kulus meil palju vaeva: valisime treeningu proovivõtu, lõime närvivõrgu arhitektuuri, hiilime kaotuse funktsioonidega ja täiustasime piltide eeltöötlust.

Paneme talle peakate.

See on eriti keeruline olukord, kuna nägu on tugevalt varjatud, ja alumisel pildil katab sügav vari ka silmad. Tegelikus elus muudavad inimesed oma välimust väga sageli tumedate prillide abil. Teeme sama ka Tomiga.

Hästi, proovime koostada fotosid erinevatest vanuserühmadest, ja seekord katsetame teise näitlejaga. Vaatame palju keerulisemat näidet, kus vanuseline muutus on eriti märgatav. Selline olukord pole välja mõeldud, vaid esineb pidevalt, kui tuleb võrrelda passi pilti esitleja näoga. Esimene pilt kleebitakse passile siis, kui omanik on 20-aastane, ja 45-aastaseks saades võib inimene väga palju muutuda.

Kas arvan, et peamine ekspert võimatutes missioonides pole vanusega eriti muutunud? Ma arvan, et vähesed inimesed suudaksid ühendada ülemised ja alumised pildid, nii palju on poiss nende aastate jooksul muutunud.

Neuraalvõrgud puutuvad välimuse muutustega kokku sagedamini. Näiteks võivad naised mõnikord oma välimust kosmeetika abil tugevalt muuta:

Nüüd veelgi keerulisemaks: oletame, et erinevates piltides on erinevad näoosad varjatud. Sellistel juhtudel ei saa algoritm näidiseid tervikuna võrrelda. Kuid Vision suudab selliste olukordadega hästi toime tulla.

Üks asi, millega näopiltide puhul arvestada, on see, et piltidel võib olla palju nägusid, näiteks võib ühisel grupifotol olla üle 100 inimese. See on neuraalvõrkude jaoks keeruline olukord, kuna paljusid nägusid võib olla erinevalt valgustatud, keegi on teravustamata. Kuid kui foto on tehtud piisava resolutsiooniga ja kvaliteediga (vähemalt 75 pikslit ruudu kohta, mis katab näo), suudab Vision selle tuvastada ja ära tunda.

Reportaažifotode ja jälgimiskaamerate piltide eripära on see, et inimesed on sageli udused, kuna nad on olnud teravustamisest väljas või liiguvad sel hetkel:

Ka pildilt pildile võib valguse intensiivsus oluliselt erineda. See muutub sageli probleemiks, paljud algoritmid koguvad suurt raskust liiga tumedate ja liiga heledate piltide õige töötlemisega, rääkimata täpsest vaste leidmisest. Tuletan meelde, et sellise tulemuse saavutamiseks tuleb eelmisi künniseid õigesti seadistada, kuid avalikus juurdepääs pole veel saadaval. Meie kliendid kasutavad sama närvivõrku, millel on seatud künnised, mis sobivad enamiku praktiliste probleemide jaoks.

Hiljuti tuvastasime uue mudeli, mis tuvastab Aasia nägusid kõrge täpsusega. Varem oli see suur probleem, millel oli isegi nimi „masinõppe rassism” (või „neurovõrgud”). Euroopa ja Ameerika närvivõrgud suudavad hästi tuvastada euroopa nägusid, kuid mongoliidsete ja negroidsete nägudega oli olukord palju keerulisem. Tõenäoliselt oli Hiinas vastupidine olukord. Probleem on treeningandmestikes, mis kajastavad domineeerivaid näotüüpe erinevates riikides. Siiski, olukord on muutumas, täna ei ole see probleem enam nii terav. Vision ei kohtu mingite tõketega erinevate rasside esindajatega.

Näotuvastus on vaid üks paljusid meie tehnoloogia rakendusi, Visionit saab õpetada tuvastama mida iganes. Näiteks auto numbrimärke, isegi keerulistes tingimustes algoritmide jaoks: teravate nurkade all, mustad ja raskesti loetavad numbrimärgid.

2. Praktilised kasutusnäited

2.1. Füüsilise ligipääsu kontroll: kui kaks inimest lähevad ühe kaardiga sisse

Visioni abil saab rakendada töötajate saabumise ja lahkumise jälgimise süsteeme. Traditsioonilisel süsteemil, mis põhineb elektroonilistel kaartidel, on ilmseid puudusi, näiteks võib kaks inimest minna ühe kaardi kaudu. Kui aga pääsme süsteemi (SKUD) täiendada Visioniga, siis registreerib see tõeliselt, kes ja millal tuli/läks.

2.2. Töötamise aja jälgimine

See kasutusskenaar Vision on tihedalt seotud eelneva teemaga. Kui lisada meie näotuvastusteenus juurdepääsusüsteemi, suudab see mitte ainult tuvastada reeglite rikkumisi, vaid ka registreerida töötajate tegelikku viibimist hoones või objektis. Teisisõnu aitab Vision ausalt arvestada, kes ja millal tööle tuli ja lahkus, ning kes tegelikult puudus, isegi kui kolleegid teda juhatajatele varjasid.

2.3. Videotehnoloogia: inimeste jälgimine ja turvalisus

Inimeste jälgimisega Visioni abil on võimalik täpselt hinnata kaubandusalade, jaamade, üleminekute, tänavate ja paljude teiste avalike kohtade tegelikku läbilaskevõimet. Samuti saab meie jälgimisteenus oluliselt aidata juurdepääsu kontrollimisel, näiteks laos või muudes olulistes ametiruumides. Ja muidugi aitab inimeste ja nägude jälgimine lahendada turvalisuse probleeme. Kas nägite kedagi varastamas teie poes? Lisage tema PersonID, mille Vision väljastas, teie videotehnika tarkvara musta nimekirja, ja järgmine kord hoiatab süsteem turvamehi kohe, kui see isik uuesti teie juurde ilmub.

2.4. Kaubanduses

Jaemüügil ja erinevates teenindusettevõtetes on huvi järjekordade tuvastamise vastu. Visioni abil on võimalik tuvastada, et tegu ei ole juhusliku inimeste kogunemisega, vaid järjekorraga, ning määrata selle pikkus. Ja siis teatab süsteem vastutavatele isikutele järjekorra tekkimisest, et nad olukorrast aru saaksid: kas raskuspunkt on külastajate suurenemisega ja tuleb kutsuda lisatöötajaid, või keegi ei täida oma tööülesandeid.

Veel üks huvitav ülesanne on ettevõtte töötajate eristamine saalis külastajatest. Tüüpiliselt õpetatakse süsteem eristama objekte teatud riietuse (dresses-code) või mingi eristava tunnuse (firmamärk, rinnakelpk või muu sarnane) alusel. See aitab täpsemalt hinnata külastatavust (et töötajad ei „tõstaks” üksi oma kohaloleku statistikat saalis).

Näo tuvastamise abil saate hinnata ka oma publikut: kui suur on külastajate lojaalsus, ehk kui palju inimesi naaseb teie ettevõttesse ja kui tihti. Arvutage, kui palju unikaalseid külastajaid te kuu jooksul vastu võtate. Kulude optimeerimiseks külaliste meelitamiseks ja hoidmiseks on võimalik kindlaks teha ka külastatavuse muutused vastavalt nädalapäevadele ja isegi päevaajas.

Frantsiisiandjad ja kettide ettevõtted saavad tellida hinnangu brändimise kvaliteedile erinevates jaemüügikohtades fotode abil: logode, väljapanekute, plakatite, bännerite jne olemasolu.

2.5. Transport

Teine näide turvalisuse tagamisest videoanalüütika abil on unustatud esemete tuvastamine lennujaamade või jaamade saalides. Visionit saab õpetada tuvastama sadu klasside objekte: mööbliesemed, kotid, kohvrid, vihmavarjud, erinevad riietuse tüübid, pudelid jne. Kui teie videoanalüütiline süsteem tuvastab kodutuks jääva objekti ja tuvastab selle Visioni abil, saadab see signaali turvateenistusele. Sarnane ülesanne on seotud ebatavalisemade olukordade automaatse tuvastamisega avalikes kohtades: kellelgi on halb, keegi suitsetab keelatud kohas või inimene kukkus rööbastele, jne — kõik need mustrid võivad videoanalüüsi süsteemid API Visioni kaudu ära tunda.

2.6. Dokumentide haldamine

Veel üks huvitav tuleviku rakendus Visionilt, mida me praegu arendame, on dokumentide tuvastamine ja nende automaatne parseerimine andmebaasidesse. Selle asemel, et käsitsi sisestada (või veel hullem, üles kirjutada) lõputud seeriad, numbrid, väljastamise kuupäevad, arvenumbrid, panganduse andmed, sünnikuupäevad ja -kohad ning paljud muud formaliseeritud andmed, saab nüüd skaneerida dokumente ja automaatselt saata need kaitstud kanali kaudu API kaudu pilve, kus süsteem tunnustab need dokumendid reaalajas, parseerib need ning tagastab vastuse andmetega soovitud formaadis automaatseks andmebaasi sisestamiseks. Täna suudab Vision juba dokumente klassifitseerida (sealhulgas PDF formaadis) — eristab passe, SNI lise, INN, sünnitunnistusi, abielutunnistusi ja teisi.

Muidugi ei suuda närvivõrk neid olukordi vaikimisi töödelda. Igas olukorras luuakse konkreetse tellija jaoks uus mudel, arvesse võetakse mitmeid tegureid, nüansse ja nõudeid, valitakse andmekogusid ning viiakse läbi õpikatsed.

3. API tööpõhimõte

Visioni «sisenemispunkt» kasutajatele on REST API. See suudab vastu võtta fotosid, videofailide ja võrgukaamerate (RTSP-voogude) edastusi.

Visioni kasutamiseks on vaja registreeruda Mail.ru Cloud Solutions teenuses ja saada pääsme tokenid (client_id + client_secret). Kasutajate autentimine toimub OAuth protokolli abil. ALGANDMED saadetakse API-s Posti päringute kehas. Vastuseks saab klient API-lt tuvastamise tulemuse JSON-formaadis, kusjuures vastus on struktureeritud: see sisaldab teavet leitud objektide ja nende koordinaatide kohta.

Vastuse näidis

{
   "status":200,
   "body":{
      "objects":[
         {
            "status":0,
            "name":"file_0"
         },
         {
            "status":0,
            "name":"file_2",
            "persons":[
               {
                  "tag":"person9"
                  "coord":[149,60,234,181],
                  "confidence":0.9999,
                  "awesomeness":0.45
               },
               {
                  "tag":"person10"
                  "coord":[159,70,224,171],
                  "confidence":0.9998,
                  "awesomeness":0.32
               }
            ]
         }

         {
            "status":0,
            "name":"file_3",
            "persons":[
               {
               "tag":"person11",
               "coord":[157,60,232,111],
               "aliases":["person12", "person13"]
               "confidence":0.9998,
               "awesomeness":0.32
               }
            ]
         },
         {
            "status":0,
            "name":"file_4",
            "persons":[
               {
               "tag":"undefined"
               "coord":[147,50,222,121],
               "confidence":0.9997,
               "awesomeness":0.26
               }
            ]
         }
      ],
      "aliases_changed":false
   },
   "htmlencoded":false,
   "last_modified":0
}

Vastuses on huvitav parameeter awesomeness — see on tinglik „lahedus“ pildil olevale näole, millega valime parima näopildi järjestikus. Oleme õpetanud närvivõrku ennustama tõenäosust, et pildile antakse sotsiaalmeedias meeldimise nupp. Mida kvaliteetsem on pilt ja mida naeratavam on nägu, seda suurem on awesomeness.

Vision API kasutab mõistet nagu spaas (space). See on tööriist erinevate nägude kogumite loomiseks. Spaaside näideteks on mustad ja valged nimekirjad, külastajate, töötajate, klientide nimekirjad jne. Iga tokeni jaoks Visionis saab luua kuni 10 spaasit, kus igas spaasis võib olla kuni 50 tuhat PersonID-d, ehk kokku kuni 500 tuhat ühe tokeni kohta. Samuti ei ole ühe konto kohta tokenite arv piiratud.

Täna toetab API järgmisi määramise ja tuvastamise meetodeid:

• Tuvasta/Sea — nägude määramine ja tuvastamine. Automaatne PersonID määramine igale unikaalsele näole, tagastades PersonID ja leitud nägude koordinaadid.
• Kustuta — konkreetse PersonID eemaldamine isikute andmebaasist.
• Truncate — kogu spaasist PersonID-de kustutamine, kasulik, kui see on kasutatud testimiseks ja andmebaasi tuleb tootmisse nullida.
• Tuvasta — objektide, stseenide, autode numbrite, maamärkide, järjekordade jne määramine. Tagastab leitud objektide klassi ja nende koordinaadid.
• Dokumentide jaoks tuvastamine — tuvastab Venemaa konkreetseid dokumenditüüpe (eristab passi, SNILS-i, INN-i jne).

Samuti lõpetame peagi meetodite arendamise OCR-iks, soo, vanuse ja emotsioonide määramiseks, samuti kaubanduse probleemide lahendamiseks, s.t. kauplustes kauplemise automatiseeritud kontrollimiseks. Täieliku dokumentatsiooni API kohta leiate siit: https://mcs.mail.ru/help/vision-api

4. Kokkuvõte

Praegu saab avaliku API kaudu juurdepääsu nägude tuvastamisele fotodel ja videotest, toetatakse erinevate objektide, autode numbrite, maamärkide, dokumentide ja täisteenuste määramist. Rakendusskeemide võimalusi on tohutult. Tulge ja testige meie teenust, seades sellele kõige keerulisemaid ülesandeid. Esimesed 5000 tehingut — tasuta. Võib-olla on see teie projektide jaoks „puuduv koostisosa”.

API juurde pääseb kohe registreerimise ja ühendamise korral. Vision. Kõik hublane kasutajad — sooduskood täiendavatele tehingutele. Kirjutage isiklikult elektronposti aadress, millele registreerisite konto!

Allikas: habr.com