Tekinolosi ma faʻataʻitaʻiga mo la tatou komepiuta vaʻaia i le lumanaʻi na fausia ma faʻaleleia malie ma i galuega eseese a la tatou kamupani - ile Meli, Ao, Saili. Ua matutua e pei o le sisi lelei po o le cognac. I se tasi aso na matou iloa ai o matou neural networks o loʻo faʻaalia ai ni taunuuga sili ona lelei i le amanaiaina, ma na matou filifili e tuʻufaʻatasia i latou i se oloa b2b e tasi - Vision - lea matou te faʻaogaina nei i matou lava ma ofoina atu ia te oe e faʻaaoga.
I aso nei, o loʻo galue lelei le matou komepiuta vaʻai i luga o le Mail.Ru Cloud Solutions platform ma foia faʻafitauli faigata tele. E faʻavae i luga o le tele o fesoʻotaʻiga neural o loʻo aʻoaʻoina i luga oa tatou seti faʻamaumauga ma faʻapitoa i le foia o faʻafitauli faʻaaogaina. O au'aunaga uma e fa'atautaia i luga o le matou 'au'aunaga. E mafai ona e tu'ufa'atasia le API Va'aiga lautele i au tusi talosaga, lea e maua ai avanoa uma o le 'au'aunaga. O le API e vave - faʻafetai i le GPU server, o le averesi taimi tali i totonu o la matou fesoʻotaʻiga e 100 ms.
Alu i le pusi, o loʻo i ai se tala auiliili ma le tele o faʻataʻitaʻiga o galuega a le Vision.
O se fa'ata'ita'iga o se 'au'aunaga lea tatou te fa'aogaina ai tekinolosi fa'aalia foliga o le
1. Tatou Fa'ata'ita'iga Fa'ailoga Mata
1.1. Neural network ma le saoasaoa o gaioiga
Mo le faʻaalia, matou te faʻaogaina se suiga o le ResNet 101 neural network model i le pito e suitulaga i se faʻapipiʻi atoatoa, e tutusa ma le auala e faia ai i ArcFace. Ae ui i lea, o le tele o faʻataʻitaʻiga vector o le 128, ae le o le 512. O la matou seti aʻoaʻoga e aofia ai le tusa ma le 10 miliona ata o le 273 tagata.
O le faʻataʻitaʻiga e vave tele ona faʻafetai i se faʻataʻitaʻiga faʻapipiʻi filifilia ma le faʻaogaina o le GPU. E mana'omia mai le 100 ms e maua ai se tali mai le API i luga oa tatou feso'ota'iga i totonu - e aofia ai le su'eina o foliga (su'eina o foliga i se ata), iloa ma toe fa'afo'i le PersonID i le tali API. Faatasi ai ma le tele o voluma o faʻamatalaga o loʻo oʻo mai - ata ma vitio - o le a sili atu le taimi e faʻafeiloaʻi ai faʻamatalaga i le auaunaga ma maua ai se tali.
1.2. Iloiloina le aoga o le faʻataʻitaʻiga
Ae o le fuafuaina o le lelei o fesoʻotaʻiga neural o se galuega e matua le mautonu. O le lelei o la latou galuega e faʻalagolago i faʻamaumauga o faʻamaumauga na aʻoaʻoina ai faʻataʻitaʻiga ma pe na faʻamalieina mo le galulue faʻatasi ma faʻamatalaga patino.
Na amata ona matou iloiloina le saʻo o la matou faʻataʻitaʻiga i le suʻega faʻamaonia lauiloa LFW, ae e laʻititi tele ma faigofie. A maeʻa ona oʻo i le 99,8% saʻo, e le toe aoga. O loʻo i ai se tauvaga lelei mo le iloiloina o faʻataʻitaʻiga faʻamaonia - Megaface, lea na matou oʻo malie ai i le 82% tulaga 1. O le suʻega Megaface e aofia ai le miliona ata - faʻalavelave - ma e tatau ona mafai e le faʻataʻitaʻiga ona iloa lelei le tele o ata o tagata lauiloa mai le Facescrub fa'amaumauga mai mea fa'alavelave. Ae ui i lea, i le faʻamamaina o le Megaface suʻega o mea sese, na matou iloa ai o le faʻamaoniaina o faʻamatalaga matou te ausia ai le saʻo o le 98% tulaga 1 (o ata o tagata lauiloa e masani ona faʻapitoa). O le mea lea, na latou faia ai se suʻega faʻamaonia eseese, tutusa ma Megaface, ae faʻatasi ai ma ata o tagata "masani". Ona matou faʻaleleia lea o le saʻo saʻo i luga oa matou faʻamaumauga ma agai i luma. E le gata i lea, matou te faʻaaogaina se suʻega lelei faʻapipiʻi e aofia ai le tele o afe ata; e fa'atusa fa'ailoga foliga i le ao a le tagata fa'aoga. I lenei tulaga, o fuifui o vaega o tagata tutusa, tasi le vaega mo tagata taʻitasi e iloagofie. Na matou siakiina le lelei o galuega i vaega moni (moni).
O le mea moni, o mea sese faʻaalia e tupu i soʻo se faʻataʻitaʻiga. Ae o ia tulaga e masani lava ona foia e ala i le faʻavasegaina o faʻamau mo tulaga faʻapitoa (mo konafesi uma tatou te faʻaogaina le faʻaoga tutusa, ae, mo se faʻataʻitaʻiga, mo faiga faʻatonutonu avanoa e tatau ona tatou faʻatuputeleina le faʻatuputeleina ina ia faʻaitiitia ai faʻamaoniga sese). O le to'atele o tagata asiasi mai o le konafesi na iloa sa'o e a tatou ata o le Vision. O nisi taimi e tilotilo ai se tasi i le muai va'aiga ma fai mai, "O lau polokalama na faia se mea sese, e le o a'u." Ona matou tatalaina lea o le ata atoa, ma ua iloa ai o loo i ai moni lava le tagata asiasi lenei i le ata, ae na o le matou le pueina o ia, ae o se isi tagata, na o le tagata na i ai i tua i le sone faanenefu. E le gata i lea, e masani ona iloa lelei e le neural network tusa lava pe le o vaaia se vaega o foliga, pe o le tagata o loʻo tu i le talaaga, poʻo le afa-faliu. E mafai e le faiga ona iloa se tagata e tusa lava pe o foliga o loʻo i totonu o le vaega o le faʻalavelave faʻafuaseʻi, fai mai, pe a fanaina ma se tioata lautele.
1.3. Fa'ata'ita'iga o su'ega i tulaga faigata
O loʻo i lalo faʻataʻitaʻiga o le auala e galue ai le matou neural network. O ata e tu'uina atu i totonu, lea e tatau ona ia fa'aigoaina e fa'aaoga ai le PersonID - o se fa'ailoga tulaga ese o se tagata. Afai e lua pe sili atu ata e tutusa le ID, o lona uiga, e tusa ai ma faʻataʻitaʻiga, o nei ata o loʻo faʻaalia ai le tagata lava e tasi.
Sei o tatou vave maitau pe a faʻataʻitaʻi, e mafai ona tatou avanoa i faʻasologa eseese ma faʻailoga o faʻataʻitaʻiga, lea e mafai ona tatou faʻatulagaina e ausia ai se tasi poʻo se isi taunuuga. Ole API fa'alaua'itele e fa'amalieina mo le sa'o maualuga ile tulaga masani.
Sei o tatou amata i le mea sili ona faigofie, ma le faʻaalia o foliga faʻasaga i luma.
Ia, sa faigofie tele lena mea. Sei o tatou faafaigata le galuega, faaopoopo se 'ava ma ni nai tausaga.
O nisi o le a fai mai e le o se mea faigata tele, aua i tulaga uma e lua o foliga uma e iloa, ma le tele o faʻamatalaga e uiga i foliga o loʻo avanoa i le algorithm. Lelei, se'i tatou liliu Tom Hardy i fa'amatalaga. O lenei faʻafitauli e sili atu ona lavelave, ma sa matou faʻaaluina le tele o taumafaiga e foia ai ma le manuia aʻo tumau pea le maualalo o mea sese: matou te filifilia se seti aʻoaʻoga, mafaufau i le fausaga o le neural network, faʻaleleia galuega leiloa ma faʻaleleia le faʻagasologa muamua. o ata.
Se'i o tatou ufiufi ia te ia:
I le auala, o se faʻataʻitaʻiga lea o se tulaga faʻapitoa faigata, talu ai o foliga e matua faanenefu, ma i le ata pito i lalo o loʻo i ai foi se ata loloto o loʻo natia ai mata. I le olaga moni, e masani ona suia e tagata o latou foliga i le fesoasoani a tioata pogisa. Ia tatou faia foi faapea ia Tom.
Lelei, sei o tatou taumafai e togi i totonu o ata mai tausaga eseese, ma o le taimi lenei o le a tatou faʻataʻitaʻi ma se isi tagata fai pese. Seʻi o tatou faia se faʻataʻitaʻiga sili atu ona lavelave, lea e faʻapitoa ai suiga o tausaga. O le tulaga e le o mamao; e tupu soo pe a e manaʻomia le faʻatusatusaina o le ata i totonu o le tusifolau ma foliga o le tagata na te tauaveina. A uma mea uma, o le ata muamua e faʻaopoopoina i se tusifolau pe a 20 tausaga le matua o lē e ona, ma i le 45 o ona tausaga e mafai e se tagata ona suia tele:
E te manatu o le tagata tomai faapitoa i misiona faigata e leʻi suia tele i le matua? Ou te manatu e oʻo lava i ni nai tagata o le a tuʻufaʻatasia ata pito i luga ma lalo, o le tama ua suia tele i le tele o tausaga.
O feso'ota'iga neural e feagai ma suiga i foliga vaaia i le tele o taimi. Mo se faʻataʻitaʻiga, o nisi taimi e mafai e tamaitai ona suia tele o latou ata i le fesoasoani a mea teuteu:
Ia tatou fa'afaigata atili le galuega: fa'apea o vaega eseese o foliga e ufiufi i ata eseese. I ia tulaga, e le mafai e le algorithm ona faʻatusatusa faʻataʻitaʻiga atoa. Ae ui i lea, o le Vision e taulimaina lelei tulaga faʻapenei.
I le ala, e mafai ona tele foliga i se ata mo se faʻataʻitaʻiga, sili atu i le 100 tagata e mafai ona ofi i se ata lautele o se faletele. Ose tulaga faigata lea mo neural networks, talu ai e tele foliga e mafai ona susulu ese, o nisi e le taulaʻi. Ae peita'i, afai e pu'e le ata ma le fa'ai'uga ma le lelei (a itiiti ifo ma le 75 pika i le sikuea e ufiufi ai foliga), o le a mafai e le Va'aiga ona iloa ma iloa.
O le uiga ese o ata o lipoti ma ata mai mea pueata mataʻituina e masani ona faanenefu tagata ona e le o taulaʻi pe o feoai i lena taimi:
E le gata i lea, o le malosi o le moli e mafai ona eseese tele mai lea ata i lea ata. O lenei foi, e masani ona avea ma mea e tautevateva ai le tele o algorithms e faigata tele ona faʻaogaina ata e pogisa tele ma malamalama tele, ae leʻo taʻua saʻo le fetaui. Sei ou faamanatu atu ia te oe ina ia ausia lenei taunuuga e te manaʻomia le faʻapipiʻiina o faitotoʻa i se auala faʻapitoa e leʻi faʻaalia lautele. Matou te faʻaogaina le fesoʻotaʻiga neural tutusa mo tagata faʻatau uma e iai faʻailoga e fetaui mo le tele o galuega faʻatino.
Talu ai nei na matou faʻasalalau ai se faʻataʻitaʻiga fou o le faʻataʻitaʻiga e iloa ai foliga Asia e maualuga le saʻo. O se fa'afitauli tele lea, lea na ta'ua o le "a'oa'oina o masini" (po'o le "neural network") fa'ailoga lanu. O fesoʻotaʻiga neural Europa ma Amerika na iloa lelei foliga o Caucasian, ae o le Mongoloid ma Negroid o loʻo feagai ma le tulaga na sili atu ona leaga. Masalo, i Saina o le tulaga tonu lava o le faafeagai. E fa'atatau uma i fa'amaumauga fa'aa'oa'oga e atagia ai ituaiga ta'uta'ua o tagata i se atunu'u fa'apitoa. Peitaʻi, ua suia le tulaga; E leai se fa'afitauli o le va'ai i tagata o ituaiga eseese.
O le iloa o foliga o se tasi lea o le tele o faʻaoga o la tatou tekonolosi e mafai ona aʻoaʻoina e iloa ai soʻo se mea. Mo se faʻataʻitaʻiga, laisene laisene, e aofia ai i tulaga faigata mo algorithms: i tulimanu mataʻutia, palapala ma faigata ona faitau laisene.
2. Tulaga fa'aoga masani
2.1. Pulea avanoa fa'aletino: pe'a fa'aaoga e ni tagata se to'alua le pasi e tasi
Faatasi ai ma le fesoasoani a le Vision, e mafai ona e faʻaogaina faiga mo le faʻamauina o le taunuu mai ma le alu ese o tagata faigaluega. O le faiga masani e faʻavae i luga o pasi faʻaeletoroni o loʻo i ai tulaga le lelei, mo se faʻataʻitaʻiga, e mafai ona e pasia ni tagata se toʻalua e faʻaaoga ai le pine e tasi. Afai e fa'aopoopoina le faiga fa'atonu (ACS) i le Va'aiga, o le a fa'amaumau ma le fa'amaoni po'o ai na sau/a'au ma le taimi.
2.2. Su'e taimi
O lenei fa'aoga Fa'aaliga e feso'ota'i vavalalata ma le mea muamua. Afai e te faʻaopoopoina le faʻaogaina o le faʻaogaina o la matou auaunaga faʻaalia foliga, o le a le gata ina mafai ona iloa le solia o le faʻaogaina o avanoa, ae faʻapea foʻi ma le resitalaina o le i ai moni o tagata faigaluega i totonu o le fale poʻo le fale. I se isi faaupuga, o le Vision o le a fesoasoani ia te oe ma le faamaoni e mafaufau ai po o ai na sau e faigaluega ma alu i le a le taimi, ma o ai na misi atoa galuega, e tusa lava pe na ufiufi e ana uo i luma o ona tagata sili.
2.3. Vitio Su'esu'ega: Su'e Tagata ma Saogalemu
E ala i le siakiina o tagata e faʻaaoga le Vaʻaiga, e mafai ona e suʻesuʻeina saʻo le feʻaveaʻi moni o nofoaga faʻatau, nofoaafi nofoaafi, ala, auala ma le tele o isi nofoaga faitele. E mafai fo'i ona fesoasoani tele a tatou su'esu'ega i le fa'atonutonuina o avanoa, mo se fa'ata'ita'iga, i se faleteuoloa po'o isi nofoaga taua o le ofisa. Ma o le mea moni, o le siakiina o tagata ma foliga e fesoasoani e foia faafitauli tau puipuiga. Na maua se tasi o gaoi mai lau faleoloa? Fa'aopoopo lana PersonID, lea na toe fa'afo'i mai e le Vision, i le lisi uliuli o lau polokalama fa'avasega ata vitio, ma o le isi taimi e vave fa'ailoa ai e le faiga le puipuiga pe a toe aliali mai lea ituaiga.
2.4. I fefaataua'iga
O pisinisi fa'atau oloa ma 'au'aunaga eseese e fiafia i le fa'ailoaina o laina. Faatasi ai ma le fesoasoani a le Vision, e mafai ona e iloa e le o se motu o tagata, ae o se laina, ma fuafua lona umi. Ona logoina lea e le faiga ia i latou e pule e uiga i se laina ina ia mafai ona latou iloa le tulaga: pe o loʻo i ai le toʻatele o tagata asiasi ma e manaʻomia ona valaʻau nisi tagata faigaluega, pe o loʻo faʻavaivaia e se tasi a latou galuega.
O le isi galuega manaia o le vavaeeseina o tagata faigaluega a le kamupani i totonu o le hall mai tagata asiasi. E masani lava, o le faiga e a'oa'oina e tu'u'ese'ese mea o lo'o ofuina ni lavalava (la'ei) po'o ni mea fa'apitoa (sikafu fa'ailoga, pine i le fatafata, ma isi). E fesoasoani lea i le sili atu ona sa'o le su'esu'eina o le auai (ina ia aua ne'i "fa'atupuina" fuainumera o tagata i totonu o le faletele e ala i lo latou auai).
I le faʻaogaina o foliga, e mafai foi ona e iloiloina lau au maimoa: o le a le faʻamaoni o tagata asiasi, o lona uiga, pe toafia tagata e toe foʻi i lau faʻavae ma pe faʻafefea. Fa'atatau pe fia ni tagata asiasi tulaga ese e o mai ia te oe i le masina. Ina ia faʻamalieina tau o le tosina ma le faʻatumauina, e mafai foi ona e suʻeina le suiga o feoaiga e faʻatatau i le aso o le vaiaso ma e oʻo lava i le taimi o le aso.
Franchisors ma kamupani filifili e mafai ona faʻatonuina se iloiloga e faʻavae i luga o ata o le tulaga lelei o le faʻailogaina o faleoloa eseese: o le i ai o logos, faʻailoga, pepa lautele, fuʻa, ma isi.
2.5. E ala i felauaiga
O le isi faʻataʻitaʻiga o le faʻamautinoaina o le saogalemu i le faʻaaogaina o faʻamatalaga vitio o le faʻamaonia o mea tuʻufaʻatasia i totonu o potu o malaevaalele poʻo nofoaafi. E mafai ona aʻoaʻoina le vaʻaia e iloa ai mea faitino o le faitau selau o vasega: meafale, ato, atopaʻu, faamalu, ituaiga eseese o lavalava, fagu, ma isi. Afai e iloa e lau masini su'esu'e ata se mea e leai se ana ma iloa i le fa'aaogaina o le Va'aiga, e tu'uina atu se fa'ailo i le auaunaga tau puipuiga. O se galuega talitutusa e fesoʻotaʻi ma le faʻaogaina otometi o tulaga e le masani ai i nofoaga faitele: e lagona e se tasi le maʻi, poʻo se tasi e ulaula i se nofoaga sese, poʻo se tagata e pa'ū i luga o nofoaafi, ma isi mea - o nei mamanu uma e mafai ona iloa e ala i ata vitio. e ala i le Vision API.
2.6. Fa'asologa o pepa
O le isi fa'aoga mata'ina i le lumana'i o le Va'aiga o lo'o matou atina'e nei o le fa'ailoaina o pepa ma latou fa'avasegaina otometi i fa'amaumauga. Nai lo le tuʻuina atu ma le lima (pe sili atu le leaga, ulufale) faʻasologa e le gata, numera, aso o le tuʻuina atu, numera o faʻamatalaga, faʻamatalaga faletupe, aso ma nofoaga na fanau mai ai ma le tele o isi faʻamatalaga aloaia, e mafai ona e suʻeina pepa ma otometi ona lafoina i luga o se auala saogalemu e ala i le API i le ao, lea o le a iloa ai e le faiga nei pepa i luga o le lele, faʻasalalau ma toe faʻafoʻi mai se tali faʻatasi ma faʻamaumauga i le faatulagaga manaʻomia mo le ulufale otometi i totonu o faʻamaumauga. O aso nei ua iloa e Vision le faʻavasegaina o pepa (e aofia ai le PDF) - faʻaeseesega i le va o tusifolau, SNILS, TIN, pepa fanau, tusi faʻaipoipo ma isi.
Ioe, e le mafai e le neural network ona taulimaina nei tulaga uma mai le pusa. I tulaga taʻitasi, o se faʻataʻitaʻiga fou e fausia mo se tagata faʻatau faapitoa, e tele mea taua, nuances ma manaʻoga e amanaia, faʻamaumauga o faʻamaumauga e filifilia, ma faʻatautaia aʻoaʻoga, suʻega, ma faʻatulagaina.
3. API fa'aogaina polokalame
O le "faitotoa ulufale" mo tagata fa'aoga o le REST API. E mafai ona maua ata, faila vitio ma faʻasalalauga mai mea pueata fesoʻotaʻiga (RTSP streams) e fai ma faʻaoga.
Mo le faʻaaogaina o le Vision, e te manaʻomia
Fa'ata'ita'iga tali
{
"status":200,
"body":{
"objects":[
{
"status":0,
"name":"file_0"
},
{
"status":0,
"name":"file_2",
"persons":[
{
"tag":"person9"
"coord":[149,60,234,181],
"confidence":0.9999,
"awesomeness":0.45
},
{
"tag":"person10"
"coord":[159,70,224,171],
"confidence":0.9998,
"awesomeness":0.32
}
]
}
{
"status":0,
"name":"file_3",
"persons":[
{
"tag":"person11",
"coord":[157,60,232,111],
"aliases":["person12", "person13"]
"confidence":0.9998,
"awesomeness":0.32
}
]
},
{
"status":0,
"name":"file_4",
"persons":[
{
"tag":"undefined"
"coord":[147,50,222,121],
"confidence":0.9997,
"awesomeness":0.26
}
]
}
],
"aliases_changed":false
},
"htmlencoded":false,
"last_modified":0
}
O le tali o loʻo i ai se faʻailoga mataʻutia - o le tulaga lea o le "malulu" o foliga i se ata, faatasi ai ma lana fesoasoani tatou te filifilia le ata sili ona lelei o foliga mai le faasologa. Na matou aʻoaʻoina se fesoʻotaʻiga neural e vaʻai ai le avanoa e fiafia ai se ata i luga o fesoʻotaʻiga lautele. O le sili atu le lelei o le ata ma le tele o foliga ataata, o le sili atu lea o le mataʻutia.
API Vision fa'aaogaina se manatu e ta'ua o le avanoa. O se meafaigaluega lea e fai ai seti eseese o foliga. Faʻataʻitaʻiga o avanoa o lisi uliuli ma paʻepaʻe, lisi o tagata asiasi, tagata faigaluega, tagata faʻatau, ma isi. Mo faʻailoga taʻitasi i le Vaʻaiga, e mafai ona e fatuina e oʻo atu i le 10 avanoa, o avanoa taʻitasi e mafai ona oʻo atu i le 50 afe PersonIDs, o lona uiga, e oʻo atu i le 500 afe. i le faailoga . E le gata i lea, o le numera o faʻailoga i le teugatupe e le faʻatapulaʻaina.
I aso nei o loʻo lagolagoina e le API le suʻesuʻeina ma auala faʻaalia:
- Iloa / Seti - su'esu'e ma iloa foliga. Otometi ona tu'uina atu se PersonID i tagata ta'ito'atasi ta'itasi, toe fa'afo'i mai le PersonID ma fa'amaopoopo o tagata na maua.
- Aveese - tapeina o se PersonID patino mai le database tagata.
- Truncate - faʻamama le avanoa atoa mai le PersonID, aoga pe a faʻaaogaina e fai ma suʻega avanoa ma e te manaʻomia le toe setiina o le database mo le gaosiga.
- Su'esu'e - su'esu'eina o mea, vaaiga, laisene laisene, fa'ailoga, laina, ma isi. Fa'afo'i le vasega o mea na maua ma latou fa'amaopoopo
- Su'esu'e mo pepa - su'e ituaiga fa'apitoa o pepa a le Russian Federation (fa'ailoga tusifolau, SNILS, numera fa'ailoa lafoga, ma isi).
O le a le o toe mamao ae maeʻa galuega i luga o metotia mo le OCR, fuafuaina o itupa, tausaga ma lagona, faʻapea foʻi ma le foia o faʻafitauli tau fefaʻatauaʻiga, o lona uiga, mo le faʻatonutonuina otometi le faʻaalia o oloa i faleoloa. E mafai ona e mauaina atoa fa'amaumauga API iinei:
4. Faaiuga
I le taimi nei, e ala i le API lautele, e mafai ona e mauaina le faʻaalia o foliga i ata ma vitio faʻamaonia o mea eseese, laisene laisene, faʻailoga, pepa ma vaaiga atoa e lagolagoina. Fa'atinoga fa'atusa - o le sami. Sau, fa'ata'ita'i la matou 'au'aunaga, fa'atulaga galuega sili ona faigata. O fa'atauga muamua 5000 e leai se totogi. Atonu o le a avea ma "mea e misi" mo au galuega faatino.
E mafai ona e mauaina vave le API pe a resitala ma fesoʻotaʻiga.
puna: www.habr.com