Meie tulevase arvutinägemise süsteemi tehnoloogiad ja mudelid on järk-järgult välja töötatud ja täiustatud erinevates meie ettevõtte projektides — Postis, Pilves, Otsingus. Need on küpsenud nagu hea juust või konjak. Ühel päeval mõistsime, et meie närvivõrgud näitavad suurepäraseid tulemusi tunnustamises, ja otsustasime koondada need üheks B2B tooteks — Visioniks, millega me nüüd ise kasutame ja soovitame ka teile kasutada.

Täna töötab meie arvutinägemise tehnoloogia Mail.Ru Cloud Solutions platvormil edukalt ja lahendab väga keerulisi praktilisi ülesandeid. Selle aluseks on rida närvivõrke, mis on treenitud meie andmekogumite põhjal ja spetsialiseeruvad rakendusprobleemide lahendamisele. Kõik teenused toimivad meie serveriressurssidel. Te saate integreerida oma rakendustesse Visioni avaliku API, mille kaudu on kergesti kätte saada kõik teenuse võimalused. API on kiire — tänu serveri GPU-dele on meie võrgus keskmine vastamisaeg 100 ms tasemel.

Tulge edasi, seal on põhjalik lugu ja palju näiteid Visioni tööst.

Näiteks teenus, kus me ise kasutame nimetatud näotuvustustehnoloogiat, on Üritused. Üks selle komponente on Vision fotokioskid, mida paigutame erinevatele konverentsidele. Kui te lähenete sellisele fotokioskile, pildistatakse teid sisse ehitatud kaameraga ja palutakse teil sisestada oma e-posti aadress. Süsteem leiab kohe fotode hulgast need, kus teid on pildistanud konverentsi ametlikud fotograafid, ja soovi korral saadab leitud fotod teie e-postile. Ja jutt pole mitte tehisportree piltidest — Vision tunneb teid ära isegi ürituse külalistest koosneva rahva tagaplaanil. Loomulikult ei tunne kioskid ise ära, need on lihtsalt kaunites stendides tabletid, mis pildistavad külalisi oma sisseehitatud kaameratega ja edastavad teavet serveritesse, kus kogu näotuvumise maagia toimub. Oleme korduvalt näinud, kui hämmastav on tehnoloogia efektiivsus isegi pildituvustuse spetsialistide seas. Allpool räägime mõnest näiteks.

1. Meie näotuvustussüsteem

1.1. Neuraalvõrk ja töötlemise kiirus

Meie mudel põhineb ResNet 101 närvivõrgu variatsioonil, kus keskmine kogumine on asendatud täieliku ühenduskiibiga, sarnaselt ArcFace'iga. Siiski on vektorite esinduste suurus 128, mitte 512. Meie koolitusandmestikus on umbes 10 miljonit fotot 273 593 inimesest.

Mudel töötab väga kiiresti tänu hoolikalt valitud serveri arhitektuurile ja GPU arvutustele. API vastuse saamiseks kulub meie sisemistes võrkudes 100 ms — see hõlmab näo tuvastamist (näo avastamine fotol), äratundmist ja PersonID tagasi saatmist API vastuses. Suuremate andmemahutitega — fotode ja videote — kulub rohkem aega andmete saatmiseks teenusele ja vastuse saamiseks.

1.2. Mudeli efektiivsuse hindamine

Kuid närvivõrkude efektiivsuse määramine on väga ambivalentne ülesanne. Nende töö kvaliteet sõltub andmestikutest, millega mudeleid koolitati, ja kas need on optimeeritud konkreetsete andmete töötlemiseks.

Oma mudeli täpsuse hindamist alustasime populaarsest valideerimistestist LFW, kuid see on liiga väike ja lihtne. Pärast 99,8% täpsuse saavutamist pole sellest enam kasu. Hea konkurentsi mudelite hindamiseks pakub Megaface, kus jõudsime järk-järgult 82% rank 1. Megaface'i test koosneb miljonist fotost, mis toimivad distraktorina, ning mudel peaks suutma hästi eristada mitmeid tuhandeid kuulsuste fotosid Facescrub andmestikust nende distraktoritest. Kuid pärast Megaface testi vigade puhastamist selgus, et saavutasime puhastatud variandis 98% rank 1 täpsuse (kuulsuste fotod on üldiselt üsna spetsiifilised). Seetõttu lõime eraldi tuvastustesti, mis sarnaneb Megaface'iga, kuid sisaldab 'tavaliste' inimeste fotosid. Edasi arendasime tuvastamise täpsust oma andmestikes ja jõudsime kaugele. Lisaks kasutame klasterdamise kvaliteeditesti, mis koosneb mitmest tuhandest fotost; see simuleerib nägude märgistamist kasutaja pilves. Antud juhul on klastrid sarnaste nägude rühmad, iga tuvastatud isiku kohta üks grupp. Kontrollisime töö kvaliteeti tõeliste gruppide (tõeliste) peal.

Muidugi, igasuguseid tuvastusvigu võib esineda igas mudelis. Kuid selliseid olukordi saab sageli lahendada, kohandades läve spetsiifilistele tingimustele (kõikide konverentside jaoks kasutame samu läve, aga näiteks turvajuhtimise süsteemi puhul tuleb läve oluliselt tõsta, et vähendada valepositiivsete tulemuste arvu). Suur enamus konverentsi külastajatest tuvastati meie Vision fotonurkade poolt õigesti. Mõnikord vaatas keegi lõigatud eelvaadet ja ütles: „Teie süsteem eksis, see ei ole mina.” Siis avasime foto täielikult ja selgus, et pildil on tõepoolest see külastaja, lihtsalt ei olnud see tema, vaid keegi teine, kes sattus juhuslikult taustal teravusse. Veelgi enam, närvivõrk tuvastab sageli õigesti isegi siis, kui osa näost ei ole nähtav, või inimene seisab profiilis, või isegi täiesti poolseisundis. Süsteem võib tuvastada isiku isegi siis, kui nägu on sattunud optiliste moonutuste alale, näiteks laiekangelise objektiivi kasutamisel.

1.3. Tõendite testimise näited keerulistes olukordades

Allpool on näidised meie tehisnavigatsiooni tööst. Sisendiks on fotod, mida tuleb tähistada PersonID-ga — unikaalne isiku identifikaator. Kui kahel või enamal pildil on sama identifikaator, tähendab see, et mudelid arvavad, et need pildid kujutavad sama inimest.

Paraku on meie testimisel saadaval erinevad parameetrid ja künnised, mida saame seadistada, et saavutada soovitud tulemusi. Avalik API on optimeeritud maksimaalse täpsuse saavutamiseks tavapärastes olukordades.

Alustame kõige lihtsamast, näo tuvastamisest eesprofilis.

Noh, see oli liiga lihtne. Teeme ülesande keerulisemaks, lisame habeme ja käe täis lund.

Keegi võib öelda, et see polnud samuti liiga keeruline, kuna mõlemal juhul on nägu täielikult nähtav ning algoritmi jaoks on palju teavet näo kohta. Olgu, keerame Tom Hardy profiili. See ülesanne on tunduvalt keerulisem ja selle edukaks lahendamiseks madalate vigade tasemega oleme me palju vaeva näinud: valisime välja õppeandmestiku, mõtlesime välja närvivõrgu arhitektuuri, lihvisime kaotusfunktsioone ja täiustasime fotode eelkäideldust.

Paneme talle peasaloosi:

Muide, see on näide eriti keerulisest olukorrast, kuna siin on nägu tugevalt varjatud ja alumisel pildil on sügava varju tõttu silmad varjatud. Reaalses elus muudavad inimesed sageli oma välimust tumedate prillidega. Teeme sama ka Tomiga.

Hästi, proovime kokku panna fotosid erinevas vanuses ning seekord paneme kogemuse teise näitlejasse. Valime palju keerulisema näite, kus vanuselised muutused on eriti silmatorkavad. Selline olukord ei ole välja mõeldud, vaid esineb igapäevaselt, kui tuleb võrrelda passi fotot esitaja näoga. Esimene foto kleebitakse passi, kui omanik on 20-aastane, ja 45-aastaseks saades võib inimene väga palju muutuda:

Kas arvate, et peamine ekspert võimatutes missioonides ei ole vanuse tõttu väga palju muutunud? Ma arvan, et isegi vähesed inimesed suudaksid siduda ülemised ja alumised fotod, kuna poisil on selle aja jooksul nii palju muutunud.

Neuraalvõrgud puutuvad väljanägemise muutustega palju sagedamini kokku. Näiteks võivad naised mõnikord oma ilmet kosmeetika abil täiesti muuta:

Nüüd raskendame ülesannet veelgi: las erinevatel fotodel on suletud erinevad näo osad. Sellistes olukordades ei saa algoritm mudeleid täielikult võrrelda. Siiski toime tuleb Vision selliste olukordadega hästi.

Üks asi, mida tuleks silmas pidada, on see, et pildil võib olla palju nägusid, näiteks üldpildil võib olla üle 100 inimese. See on keeruline olukord närvivõrkude jaoks, kuna paljusid nägusid võib valgustada erinevalt ja mõned võivad olla keskpunktist väljas. Siiski, kui foto on tehtud piisava resolutsiooniga ja kvaliteediga (vähemalt 75 pikslit ruutsentimeetri kohta, mis katab näo), suudab Vision selle tuvastada ja ära tunda.

Reportaažifotode ja jälgimiskaamerate piltide iseloomulikuks jooneks on see, et inimesed on sageli hägused, kuna nad on olnud teravushypost väljaspool või liikunud sel hetkel:

Samuti võib piltide vahel valgustuse intensiivsus märgatavalt varieeruda. See muutub sageli tõsiseks probleemiks, kuna paljud algoritmid kogevad suurte raskustega liiga tumedate ja liiga heledate piltide korrektse töötlemisega, rääkimata täpsest vastavusest. Tuletan meelde, et sellise tulemuse saavutamiseks tuleb teatud viisil seadistada läviväärtused, mis ei ole avalikult kergesti kättesaadavad. Kõikide klientide jaoks kasutame sama neurovõrku, millel on seatud läviväärtused, mis sobivad enamiku praktiliste ülesannete jaoks.

Hiljuti väljakutsusime uue mudeli versiooni, mis tuvastab Aasia nägusid kõrge täpsusega. See oli varem suur probleem, mida nimetati isegi "masinõppe rassismiks" (või "neuraalseteks võrkudeks"). Euroopa ja Ameerika närvivõrgud tuvastasid Euroopa nägusid hästi, kuid mongoloidsete ja negroidsete nägudega oli asi palju raskem. Tõenäoliselt oli olukord Hiinas vastupidine. Kõik sõltub koolitusandmestikest, mis peegeldavad valitsevaid näotype eri riikides. Siiski olukord muutub, täna ei ole see probleem enam nii terav. Vision ei kohtu erinevate rassi esindajatega mingeid raskusi.

Näotuvastus on vaid üks paljusid meie tehnoloogia rakendusi, Visionit saab õpetada tuvastama ükskõik mida. Näiteks auto numbreid, sealhulgas keerulistes tingimustes algoritmide jaoks: teravate nurkade alt, määrdunud ja raskesti loetavad numbrid.

2. Praktilised kasutusnäited

2.1. Füüsilise juurdepääsu kontroll: kui kaks inimest liiguvad ühe pääsme kaudu

Visioni abiliteerib töötajate sisse- ja väljasõitude jälgimissüsteemide rakendamist. Traditsioonilisel elektrooniliste kaardide süsteemil on ilmseid puudusi, näiteks on võimalik kahekesi ühe kaardi kaudu siseneda. Kui aga pääsukontrollisüsteemi (SKUD) täiendada Visioniga, fikseerib see õiglaselt, kes ja millal sisse või välja läks.

2.2. Tööaja arvestus

See Visioni kasutusstsenaarium on tihedalt seotud eelnevaga. Kui täiendada pääsukontrollisüsteemi meie näotuvastus teenusega, suudab see mitte ainult rikkumisi tuvastada, vaid ka registreerida töötajate tegelikku viibimist hoones või objektil. Teisisõnu, Vision aitab õiglaselt arvestada, kes ja kellest viis tööle ja lahkus, ning kes oli hoopis eemal, isegi kui kolleegid teda juhataja ees varjasid.

2.3. Videotehnoloogia: inimeste jälgimine ja turvalisus

Visioni kasutamine inimeste jälgimiseks võimaldab täpselt hinnata kaubanduse, jaamade, ülekäiguradade, tänavate ja paljude teiste avalike kohtade liiklust. Samuti aitab meie jälgimistehnoloogia oluliselt juurdepääsu kontrollimisel, näiteks laos või muudes tähtsates teenistusruumides. Ja loomulikult aitab inimeste ja nägude jälgimine lahendada turvalisuse ülesandeid. Kas tabasite kedagi varastamast teie poest? Lisage tema PersonID, mille Vision tagastas, teie videoanalüüsi tarkvara musta nimekirja ja järgmisel korral hoiatab süsteem kohe valvekioskis, kui see isik taas kohal on.

2.4. Kaubanduses

Jaemüük ja erinevad teenindusettevõtted on huvitatud järjekordade tuvastamisest. Visioni abil saab tuvastada, et see ei ole juhuslik inimeste kogunemine, vaid järjekord, ja määrata selle pikkus. Seejärel teatab süsteem vastutavatele isikutele järjekorra tekkimisest, et olukorda lahendada: kas tekib külastajate voog ning on vajalik lisatöötajate kutsumine või mõni töötaja ei täida oma kohustusi.

Veel huvitav ülesanne on eristada ettevõtte töötajaid saalis külastajatest. Tavaliselt õpitakse süsteemi eristama objekte, kellel on teatud riietus (dress code) või mingi eristav märk (firmaneed, rinnamärk jne). See aitab täpsemalt hinnata külastatavust, et töötajad ei „suurendaks” statistikat oma kohalolekuga saalis.

Näotuvastuse abil saate hinnata ka oma publikut: kui lojaalsed on külastajad, st kui palju inimesi tuleb teie asutusse tagasi ja kui tihti. Arvutage, kui palju unikaalseid külastajaid te kuus vastu võtate. Kulude optimeerimiseks uute külastajate toomisel ja hoidmisel on võimalik uurida ka külastatavuse muutumist nädalapäevade ja isegi ööaja järgi.

Frantsiisiandjad ja ketiettevõtted saavad tellida kvaliteedi hindamise fotode põhjal erinevate jaemüügikohtade brändimise kohta: logode, siltide, plakatite, bännerite jms olemasolu.

2.5. Transport

Veel muud turvalisuse tagamise näideteks videanalüütikaga on unustatud esemete tuvastamine lennujaamades või jaamades. Visionit saab õpetada tuvastama objekte sadade klasside kaupa: mööbel, kotid, kohvrid, vihmad, erinevad rõivad, pudelid ja nii edasi. Kui teie videanalüüsi süsteem avastab kodutuks jäetud objekti ja tunnustab seda Visioni abil, saadab see signaali turvateenistusele. Sarnane ülesanne on automaatne mittestandardsete olukordade tuvastamine avalikes kohtades: keegi tunneb end halvasti, keegi suitsetab lubamatul kohal, või inimene kukub raudtee peale ja nii edasi — kõik need mustrid saavad videanalüüsi süsteemis tuvastada läbi Visioni API.

2.6. Dokumentide haldus

Veel huvitav tuleviku rakendus Visionist, millega me praegu töötame, on dokumentide tuvastamine ja nende automaatne andmebaasidesse sisestamine. Selle asemel, et käsitsi sisestada (või veel hullem, käsitsi kirjutada) lõputud seeriad, numbreid, väljastamiskuupäevi, arvenumbreid, pangarekviseerimise detaile, sünnikuupäevi ja -kohti ning palju muid formaliseeritud andmeid, saab dokumente skaneerida ja saata need turvaliselt API kaudu pilve, kus süsteem tuvastab need dokumendid reaalajas, parsib nad ja tagastab vastuse vajaliku formaadiga automaatseks andmete sisestamiseks andmebaasi. Täna suudab Vision juba klassifitseerida dokumente (sealhulgas PDF-formaadis) — eristab passe, SNIILSi, INN-e, sünnitunnistusi, abielutunnistusi ja teisi.

Muidugi ei suuda neuralvõrk kõiki neid olukordi kohe lahendada. Igas konkreetses juhul ehitatakse kliendi jaoks uus mudel, arvesse võetakse palju tegureid, nüansse ja nõudeid, valitakse andmekogud, tehakse iteratsioonid õppimise-testimise-seadmise protsessis.

3. API tööprotsess

Visioni «sisenevärav» kasutajatele on REST API. See suudab aktsepteerida fotosid, videofailide ja voogedastusteenuste (RTSP-voogude) kaudu saadetud andmeid.

Visioni kasutamiseks peate registreerimine Mail.ru Cloud Solutions teenuses registreeruma ja saama juurdepääsetokenid (client_id + client_secret). Kasutaja autentimine toimub OAuth-protokolli kaudu. Algandmed saadetakse API-sse POST-päringute kehades. Vastuseks saate API-lt ära tuntud objektide ja nende koordinaatide teabe JSON-vormingus, mille vastus on struktureeritud.

Vastuse näide

{
   "status":200,
   "body":{
      "objects":[
         {
            "status":0,
            "name":"file_0"
         },
         {
            "status":0,
            "name":"file_2",
            "persons":[
               {
                  "tag":"person9",
                  "coord":[149,60,234,181],
                  "confidence":0.9999,
                  "awesomeness":0.45
               },
               {
                  "tag":"person10",
                  "coord":[159,70,224,171],
                  "confidence":0.9998,
                  "awesomeness":0.32
               }
            ]
         }

         {
            "status":0,
            "name":"file_3",
            "persons":[
               {
               "tag":"person11",
               "coord":[157,60,232,111],
               "aliases":["person12", "person13"],
               "confidence":0.9998,
               "awesomeness":0.32
               }
            ]
         },
         {
            "status":0,
            "name":"file_4",
            "persons":[
               {
               "tag":"undefined",
               "coord":[147,50,222,121],
               "confidence":0.9997,
               "awesomeness":0.26
               }
            ]
         }
      ],
      "aliases_changed":false
   },
   "htmlencoded":false,
   "last_modified":0
}

Vastus sisaldab huvitavat parameetrit awesomeness — see on tinglik "laheduse" näitaja pildil olevale inimesele, mille abil valime parimat näotõmmist järjestusest. Oleme koolitanud närvivõrku ennustama tõenäosust, et foto saab sotsiaalmeedias meeldimise. Mida kvaliteetsem on pilt ja naeratavam on nägu, seda kõrgem on awesomeness.

API Visionis kasutatakse mõistet nimega spais (space). See on tööriist, millega luuakse erinevaid isikute kogumeid. Spaiside näidised on mustad ja valged nimekirjad, külastajate, töötajate, klientide nimekirjad jne. Iga tokeni jaoks Visionis võib luua kuni 10 spaisid, igas spais võib olla kuni 50 tuhat PersonID, st kuni 500 tuhat ühe tokeni kohta. Samuti ei ole ühe konto jaoks tokenite arv piiratud.

Praegu toetab API järgmisi määratlemise ja tuvastamise meetodeid:

• Recognize/Set — nägude tuvastamine ja määramine. Automaatne PersonID määramine iga ainulaadse näo jaoks, tagastab PersonID ja leitud nägude koordinaadid.
• Delete — konkreetse PersonID eemaldamine isikuandmete baasist.
• Truncate — kogu spaisi puhastamine PersonID-st, kasulik, kui seda on kasutatud testina ja on vajalik andmebaasi nullida tootmisel.
• Detect — objektide, stseenide, numbrimärkide, vaatamisväärsuste jne määramine. Tagastab leitud objektide klassi ja nende koordinaadid.
• Dokumentide määramine — tuvastab konkreetsed dokumentide tüübid Venemaal (eristab passi, SNILS-i, INN-i jne).

Samuti viime peagi lõpule OCR-i, soo, vanuse ja emotsioonide määramise meetodid, samuti kaubanduse probleemide lahendamise lahendused, see tähendab, et automaatne kontroll kaubafookustes kauplustes toimub. Täieliku API dokumentatsiooni leiate siit: https://mcs.mail.ru/help/vision-api

4. Kokkuvõte

Praegu on avaliku API kaudu võimalik saada juurdepääs näotuvastusele fotodel ja videotest, toimetatakse erinevate objektide tuvastamine, autorite numbrimärkide, monumentide, dokumentide ja kogu stseenide tuvastamine. Rakenduste stsenaariume on tohutult. Tule, testige meie teenust, esitage talle kõige keerulisemaid ülesandeid. Esimesed 5000 tehingut - tasuta. Võib-olla on see teie projektide jaoks „puuduolev koostisosa”.

API-le pääseb kohe ligi, kui olete registreerunud ja ühendatud. Vision. Kõigile hubluse kasutajatele - sooduskood täiendavate tehingute jaoks. Kirjutage mulle isiklikult e-posti aadress, millega registreerisite konto!

Allikas: habr.com