Teknolojî û modelên ji bo pergala dîtina komputera meya pêşerojê hêdî hêdî û di projeyên cihêreng ên pargîdaniya me de - di Mail, Cloud, Search de hatin afirandin û çêtir kirin. Ew mîna penêrê baş an konyak gihîştî bûn. Rojekê me fêhm kir ku torên me yên neuralî di naskirinê de encamên hêja nîşan didin, û me biryar da ku em wan di hilberek yek b2b de - Vision - ku em nuha xwe bikar tînin û ji we re bikar bînin pêşkêşî hev bikin.
Îro, teknolojiya dîtina komputera me ya li ser platforma Mail.Ru Cloud Solutions bi serfirazî dixebite û pirsgirêkên pratîkî yên pir tevlihev çareser dike. Ew li ser hejmarek torên neuralî yên ku li ser daneyên me têne perwerde kirin û di çareserkirina pirsgirêkên sepandî de pispor in ve girêdayî ye. Hemî karûbar li ser dezgehên servera me têne xebitandin. Hûn dikarin Vision API-ya gelemperî di serîlêdanên xwe de yek bikin, ku bi navgîniya wê hemî kapasîteyên karûbarê peyda dibin. API zû ye - spas ji GPU-yên serverê re, dema bersivê ya navîn di nav tora me de 100 ms e.
Biçe pisîkê, çîrokek berfireh û gelek mînakên xebata Vision heye.
Nimûneyek karûbarek ku tê de em bixwe teknolojiyên nasîna rûyê navborî bikar tînin ev e . Yek ji pêkhateyên wê standên wêneya Vision e, ku em di konferansên cihêreng de saz dikin. Ger hûn nêzikî stendek wêneyek wusa bibin, bi kameraya çêkirî wêneyek bikşînin û e-nameya xwe binivîsin, dê pergal di cih de di nav rêza wêneyan de yên ku hûn ji hêla wênekêşên xebatkarên konferansê ve hatine kişandin de bibîne, û heke bixwaze, dê wêneyên hatine dîtin bi e-nameyê ji we re bişîne. Û em nabêjin wêneyên portreya sehnekirî - Vision te di nav girseyek mêvanan de di paşverûyê de jî we nas dike. Bê guman, ne stûnên wêneyan bi xwe ne ku têne nas kirin, ev tenê tabletên di stendeyên xweşik de ne ku bi kamerayên xwe yên çêkirî re tenê wêneyên mêvanan dikişînin û agahdarî ji serveran re vediguhezînin, ku li wir hemî sêrbaziya naskirinê çêdibe. Û me ji carekê zêdetir dît ku di nav pisporên naskirina wêneyê de bandora teknolojiyê çiqas ecêb e. Li jêr em ê behsa çend mînakan bikin.
1. Modela Naskirina Rûyê me
1.1. Tora neuralî û leza pêvajoyê
Ji bo naskirinê, em guheztinek modela tora neuralî ya ResNet 101 bikar tînin. Hevbendiya navîn di dawiyê de bi qatek bi tevahî ve girêdayî tê guheztin, mîna ku di ArcFace de çawa tê kirin. Lêbelê, mezinahiya temsîlên vektorê 128 e, ne 512. Koma perwerdehiya me bi qasî 10 mîlyon wêneyên 273 kesan dihewîne.
Model bi saya mîmariya veavakirina serverê ya bi baldarî bijartî û hesabkirina GPU-yê pir zû dimeşe. Ji 100 ms-ê hewce dike ku bersivek ji API-ê li ser torên meyên hundurîn werbigire - ev tê de tespîtkirina rû (dîtina rûyek di wêneyekê de), naskirin û vegerandina PersonID di bersiva API de. Digel cildên mezin ên daneyên gihîştî - wêne û vîdyoy - ji bo veguheztina daneyan ji karûbarê re û wergirtina bersivê dê demek pir zêde bigire.
1.2. Nirxandina bandorkeriya modelê
Lê destnîşankirina karbidestiya torên neuralî karekî pir nezelal e. Qalîteya xebata wan bi kîjan daneyên daneyê ve girêdayî ye ku model li ser hatine perwerde kirin û gelo ew ji bo xebata bi daneyên taybetî re xweşbîn bûne.
Me dest bi nirxandina rastbûna modela xwe bi ceribandina verastkirina LFW ya populer kir, lê ew pir piçûk û hêsan e. Piştî gihîştina 99,8% rastbûna, ew êdî ne bikêr e. Ji bo nirxandina modelên naskirinê pêşbaziyek baş heye - Megaface, ku li ser wê em hêdî hêdî gihîştin 82% rêza 1. Testa Megaface ji mîlyon wêneyan pêk tê - balkêşan - û divê model bikaribe çend hezar wêneyên navdaran ji Facescrub-ê baş cuda bike. database ji distractors. Lêbelê, piştî ku ceribandina Megaface ji xeletiyan paqij kir, me dît ku bi guhertoya paqijkirî re em rastiyek ji% 98 rêza 1-ê bi dest dixin (wêneyên navdaran bi gelemperî pir taybetî ne). Ji ber vê yekê, wan ceribandinek nasnameyê ya cihêreng, mîna Megaface, lê bi wêneyên mirovên "asayî" çêkir. Dûv re me rastbûna naskirinê li ser daneyên xwe çêtir kir û pir pêş de çû. Wekî din, em ceribandinek kalîteya kombûnê ya ku ji çend hezar wêneyan pêk tê bikar tînin; ew nîşankirina rûyê di ewrê bikarhêner de simul dike. Di vê rewşê de, grûp komên kesên wekhev in, ji bo her kesek naskirî yek kom. Me kalîteya xebatê li ser komên rastîn kontrol kir (rast e).
Bê guman, xeletiyên naskirinê bi her modelê re çêdibin. Lê rewşên weha bi gelemperî bi hûrgulkirina bendên ji bo şert û mercên taybetî têne çareser kirin (ji bo hemî konferansan em heman bendan bikar tînin, lê, mînakî, ji bo pergalên kontrolkirina gihîştinê divê em bendan pir zêde bikin da ku kêmtir erênîyên derewîn hebin). Piraniya mêvanên konferansê ji hêla stendeyên meya wêneya Vision ve rast hatin nas kirin. Carinan kesek li pêşdîtina birêkûpêk dinihêrî û digot, "Pergala we xeletiyek kir, ew ne ez bûm." Dûv re me wêne bi tevahî vekir, û derket holê ku bi rastî ev mêvan di wêneyê de heye, tenê me ne wêneyê wî dikişand, lê yekî din, ew kes tenê di paşperdeya devera talûkê de bû. Digel vê yekê, tora neuralî pir caran rast nas dike hetta dema ku beşek rû ne diyar e, an mirov di profîlê de raweste, an jî nîv-zivirî ye. Pergal dikare kesek nas bike her çend rû di qada guheztina optîkî de be, bêje, dema ku bi lensek fireh dikişîne.
1.3. Nimûneyên ceribandinê di rewşên dijwar de
Li jêr mînakên ku tora meya neuralî çawa dixebite hene. Wêne ji têketinê re têne şandin, ku divê ew bi karanîna PersonID - nasnameyek bêhempa ya kesek etîket bike. Ger du an jî zêdetir wêneyan xwediyê heman nasnameyê bin, wê hingê, li gorî modelan, ev wêne heman kesî nîşan didin.
Ka em tavilê bala xwe bidin ku dema ceribandinê, em gihîştina pîvanên cihêreng û bendên modelê hene ku em dikarin mîheng bikin da ku bigihîjin encamek taybetî. API-ya gelemperî ji bo rastbûna herî zêde li ser dozên gelemperî xweşbîn e.
Ka em bi tiştê herî hêsan dest pê bikin, bi naskirina rûyê rû-rû.
Belê, ew pir hêsan bû. Werin em karî tevlihev bikin, rîh û destek sal zêde bikin.
Hin kes dê bibêjin ku ev jî ne pir dijwar bû, ji ber ku di her du rewşan de rû bi tevahî xuya ye, û gelek agahdarî di derbarê rû de ji algorîtmê re peyda dibe. Baş e, ka em Tom Hardy bikin profîl. Ev pirsgirêk pir tevlihevtir e, û me gelek hewil da ku em bi serfirazî wê çareser bikin di heman demê de ku rêjeyek xeletiyek nizm diparêze: me komek perwerdehiyê hilbijart, bi mîmariya tora neuralî ve fikirîn, fonksiyonên windabûnê rast kirin û pêş-pêvajoya çêtir kirin. yên wêneyan.
Werin em seriyekî li wî bikin:
Bi awayê, ev mînakek rewşek bi taybetî dijwar e, ji ber ku rû bi giranî veşartî ye, û di wêneya jêrîn de jî siyek kûr a çavan vedişêre. Di jiyana rast de, mirov pir caran bi alîkariya camên tarî rûyê xwe diguherînin. Werin em bi Tom re jî heman tiştî bikin.
Baş e, em hewl bidin ku wêneyên ji temenên cihêreng bavêjin, û vê carê em ê bi lîstikvanek cûda ceribandinê bikin. Werin em mînakek pir tevlihevtir bigirin, ku li wir guherînên girêdayî temen bi taybetî têne diyar kirin. Rewş ne dûr e; pir caran gava ku hûn hewce ne ku wêneyê di pasaportê de bi rûyê yê hilgir re bidin ber hev, pir caran çêdibe. Beriya her tiştî, wêneya yekem dema ku xwediyê 20 salî ye li pasaportek tê zêdekirin, û di 45 saliya xwe de mirov dikare pir biguheze:
Ma hûn difikirin ku pisporê sereke li ser mîsyonên ne mumkun bi temen re pir nehatiye guhertin? Ez difikirim ku çend kes jî dê wêneyên jorîn û jêrîn berhev bikin, kurik bi salan pir guherî.
Tora neuralî pir caran bi guhertinên xuyangê re rûbirû dibin. Mînakî, carinan jin dikarin bi alîkariya kosmetîk wêneyê xwe pir biguhezînin:
Naha em peywirê hîn bêtir tevlihev bikin: Bifikirin ku deverên cûda yên rû di wêneyên cihêreng de hatine nixumandin. Di rewşên weha de, algorithm nikare tevahî nimûneyan bide ber hev. Lêbelê, Vision rewşên bi vî rengî baş digire.
Bi awayê, di fotografekê de dibe ku gelek rû hebin; mînakî, ji 100î zêdetir kes dikarin di wêneyek giştî ya salonekê de cih bigirin. Ev ji bo torên neuralî rewşek dijwar e, ji ber ku gelek rû dikarin bi rengek cûda werin ronî kirin, hin ji balê ne. Lêbelê, heke wêne bi çarenûs û qalîteya têr were kişandin (herî kêm 75 pixel her çargoşe rûyê xwe vedigire), Vision dê bikaribe wê bibîne û nas bike.
Taybetmendiya wêne û wêneyên nûçegîhanê yên ji kamerayên çavdêriyê ev e ku mirov bi gelemperî ji ber ku ew ji balê dûr bûn an jî di wê gavê de tevdigeriyan dişewitînin:
Di heman demê de, tundiya ronahiyê dikare ji wêneyê heya wêneyê pir cûda bibe. Ev jî bi gelemperî dibe astengiyek; gelek algorîtmayan bi rastkirina wêneyên ku pir tarî û pir sivik in, zehmetiyek mezin dikişînin, ku nebêjin rast lihevhatina wan. Bihêle ez ji we re bînim bîra we ku ji bo bidestxistina vê encamê hûn hewce ne ku bendan bi rengek diyar saz bikin; ev taybetmendî hîna ji raya giştî re peyda nabe. Em ji bo hemî xerîdar heman tora neuralî bikar tînin; ew bend hene ku ji bo pir karên pratîkî guncan in.
Me vê dawiyê guhertoyek nû ya modelê derxist ku rûyên Asyayî bi rastbûna bilind nas dike. Ev berê pirsgirêkek mezin bû, ku jê re digotin "fêrbûna makîneyê" (an "tora neuralî") nijadperestî. Torên neuralî yên Ewropî û Amerîkî rûyên Kafkasiyan baş nas kirin, lê bi rûyên Mongoloid û Negroid re rewş pir xirabtir bû. Belkî, li Çînê rewş tam berevajî bû. Ew hemî li ser berhevokên daneya perwerdehiyê ye ku celebên serdest ên mirovên li welatek taybetî nîşan dide. Lêbelê, rewş diguhere, îro ev pirsgirêk ne ew qas giran e. Pirsgirêka dîtinê bi mirovên ji nijadên cûda re tune.
Naskirina rû tenê yek ji gelek serîlêdanên teknolojiya me ye; Vîzyon dikare were perwerde kirin ku her tiştî nas bike. Mînakî, lewheyên lîsansê, di nav wan şert û mercên ji bo algorîtmayan de dijwar in: li goşeyên tûj, pîs û xwendina plakên lîsansê dijwar.
2. Rewşên karanîna pratîkî
2.1. Kontrola gihîştina laşî: dema ku du kes heman pasê bikar tînin
Bi alîkariya Vision, hûn dikarin pergalên tomarkirina hatin û çûna karmendan bicîh bikin. Pergala kevneşopî ya ku li ser rêgezên elektronîkî ve girêdayî ye dezawantajên eşkere hene, mînakî, hûn dikarin du kesan bi karanîna yek nîşanek derbas bikin. Ger pergala kontrolkirina gihîştinê (ACS) bi Vision were zêdekirin, ew ê bi dilpakî tomar bike ka kî hat/çe û kengî.
2.2. Şopandina demê
Ev doza karanîna Vîzyonê ji nêz ve bi ya berê ve girêdayî ye. Ger hûn pergala gihîştinê bi karûbarê meya nasîna rû re temam bikin, ew ê ne tenê bikaribe binpêkirinên kontrolkirina gihîştinê tespît bike, lê di heman demê de hebûna rastîn a karmendan li avahî an sazgehê jî tomar bike. Bi gotinek din, Vision dê ji we re bibe alîkar ku hûn bi dilpakî hesab bidin kê di kîjan wextê de hatiye ser kar û çûye, û kê bi tevahî kar berdaye, hetta hevkarên wî li ber serekên wî jê re veşêrin.
2.3. Analîtîk Vîdyo: Şopandina Mirov û Ewlekarî
Bi şopandina mirovên ku Vision bikar tînin, hûn dikarin seyrûsefera rastîn a qadên kirrûbirrê, stasyonên trênê, dergeh, kolan û gelek cihên din ên gelemperî bi rast binirxînin. Şopandina me di heman demê de di kontrolkirina gihîştina, mînakî, depoyek an cîhên din ên nivîsgeha girîng de dikare bibe alîkariyek mezin. Û bê guman, şopandina kes û rûyan alîkariya çareserkirina pirsgirêkên ewlehiyê dike. Kesek ji dikana we dizî girt? PersonID-a wî, ku ji hêla Vision ve hatî vegerandin, li navnîşa reş a nermalava xweya analîtîka vîdyoyê zêde bikin, û carê din ger ku ev celeb dîsa xuya bibe dê pergalê tavilê ewlehiyê hişyar bike.
2.4. Di bazirganiyê de
Firoşgeh û karsaziyên karûbarê cihêreng bi naskirina dorê re eleqedar in. Bi alîkariya Vision, hûn dikarin nas bikin ku ev ne girseyek rasthatî ya mirovan e, lê rêzek e, û dirêjahiya wê diyar bike. Û dûv re jî pergal berpirsiyaran li ser dorê agahdar dike da ku ew rewşê fêhm bikin: yan pêleke serdankeran heye û pêdivî ye ku gazî xebatkarên din jî were kirin, an jî kesek ji erkên xwe yên karê xwe sist dibe.
Karekî din ê balkêş ev e ku xebatkarên pargîdaniyê yên li salonê ji mêvanan veqetînin. Bi gelemperî, pergal tê perwerde kirin ku tiştên ku hin kincan li xwe dikin (koda kincê) an bi hin taybetmendiyek cihêreng (şelpêça binavkirî, nîşana li ser sîngê, û hwd.) ji hev veqetîne. Ev ji bo nirxandina rasttir a amadebûnê dibe alîkar (da ku karmend bi tenê hebûna xwe statîstîkên mirovên li salonê "bifûz" nekin).
Bi karanîna nasîna rûyê, hûn dikarin temaşevanên xwe jî binirxînin: dilsoziya mêvanan çi ye, ango çend kes vedigerin sazgeha we û bi kîjan frekansê. Bihesibînin ka mehê çend mêvanên bêhempa têne ba we. Ji bo xweşkirina lêçûnên balkêş û ragirtinê, hûn dikarin guheztina seyrûseferê jî li gorî roja hefteyê û tewra dema rojê jî fêr bibin.
Firoşsor û pargîdaniyên zincîreyê dikarin li ser bingeha wêneyên kalîteya marqeya firotgehên cihêreng ên firotanê nirxandinek ferman bikin: hebûna logo, nîşan, poster, pankart û hwd.
2.5. Bi veguhastinê
Nimûneyek din a dabînkirina ewlehiyê bi karanîna analîtîkên vîdyoyê tespîtkirina tiştên berdayî yên li salonên balafirgehan an stasyonên trênê ye. Vîzyon dikare were perwerde kirin ku tiştên bi sedan çînan nas bike: perçeyên mobîlya, çente, valîz, sîwan, cûrbecûr cil, şûşe û hwd. Ger pergala weya analîtîka vîdyoyê tiştek bêxwedî bibîne û bi karanîna Vision nas bike, ew îşaretek ji karûbarê ewlehiyê re dişîne. Karûbarek bi vî rengî bi vedîtina otomatîkî ya rewşên neasayî yên li cîhên giştî re têkildar e: kesek xwe nexweş hîs dike, an kesek li cîhek xelet cixare dikişîne, an kesek dikeve ser rê, û hwd - ev hemî nimûne dikarin ji hêla pergalên analîtîk vîdyoyê ve bêne nas kirin. bi rêya Vision API.
2.6. Herikîna belgeyê
Serlêdanek din a balkêş a pêşerojê ya Vision ku em niha pêş dixin, naskirina belgeyê û parkirina wan a otomatîkî di databasan de ye. Li şûna ku hûn rêzikên bêdawî, hejmar, tarîxên derketinê, hejmarên hesabê, hûrguliyên bankê, tarîx û cihên jidayikbûnê û gelek daneyên fermî yên din bi destan têkevin (an xirabtir, têkevin) bêdawî, hûn dikarin belgeyan bişopînin û bixweber wan li ser kanalek ewledar bişînin. API ji ewr re, ku pergal dê van belgeyan di firînê de nas bike, wan parsek bike û bersivek bi daneyan di forma pêdivî de ji bo têketina otomatîkî ya databasê vegerîne. Îro Vision jixwe dizane ka meriv çawa belgeyan dabeş dike (tevî PDF) - di navbera pasaportan, SNILS, TIN, sertîfîkayên jidayikbûnê, sertîfîkayên zewacê û yên din de cuda dike.
Bê guman, tora neuralî nekare van hemî rewşan ji qutiyê bi rê ve bibe. Di her rewşê de, modelek nû ji bo xerîdarek taybetî tête çêkirin, gelek faktor, nuwaze û hewcedarî têne hesibandin, daneyên daneyan têne hilbijartin, û dubareyên perwerdehiyê, ceribandin û veavakirinê têne kirin.
3. Plana operasyona API
"Deriyê têketinê" yê Vision ji bo bikarhêneran REST API ye. Ew dikare wêne, pelên vîdyoyê û weşanên ji kamerayên torê (herikên RTSP) wekî têketinê werbigire.
Ji bo ku hûn Vision bikar bînin, hûn hewce ne di karûbarê Mail.ru Cloud Solutions de û nîşaneyên gihîştinê bistînin (client_id + client_secret). Nasnameya bikarhêner bi karanîna protokola OAuth tête kirin. Daneyên çavkaniyê di laşên daxwazên POST de ji API-ê re têne şandin. Û di bersivê de, xerîdar ji API-ê encamek naskirî di formata JSON-ê de distîne, û bersiv tê saz kirin: ew agahdariya li ser tiştên ku hatine dîtin û hevrêzên wan dihewîne.
Bersiva nimûne
{
"status":200,
"body":{
"objects":[
{
"status":0,
"name":"file_0"
},
{
"status":0,
"name":"file_2",
"persons":[
{
"tag":"person9"
"coord":[149,60,234,181],
"confidence":0.9999,
"awesomeness":0.45
},
{
"tag":"person10"
"coord":[159,70,224,171],
"confidence":0.9998,
"awesomeness":0.32
}
]
}
{
"status":0,
"name":"file_3",
"persons":[
{
"tag":"person11",
"coord":[157,60,232,111],
"aliases":["person12", "person13"]
"confidence":0.9998,
"awesomeness":0.32
}
]
},
{
"status":0,
"name":"file_4",
"persons":[
{
"tag":"undefined"
"coord":[147,50,222,121],
"confidence":0.9997,
"awesomeness":0.26
}
]
}
],
"aliases_changed":false
},
"htmlencoded":false,
"last_modified":0
}Bersiv bi heybetek parametreyek balkêş vedihewîne - ev "sarbûna" şertî ya rûyek di wêneyekê de ye, bi alîkariya wê em ji rêzê wêneya çêtirîn a rûkê hilbijêrin. Me torgilokek neuralî perwerde kir da ku îhtîmala ku wêneyek li ser torên civakî were ecibandin pêşbîn bike. Her ku kalîteya wêneyê çêtir be û rûyê bêtir bişirîn, ew qas heybet jî mezintir dibe.
API Vision têgehek bi navê cîh bikar tîne. Ev amûrek ji bo afirandina komên cûda yên rûyên e. Nimûneyên cîhan navnîşên reş û spî, navnîşên mêvanan, karmendan, xerîdaran, hwd. Ji bo her nîşanek di Vision de, hûn dikarin heta 10 cihan biafirînin, her cîhek dikare heya 50 hezar PersonaID-ê hebe, ango heya 500 hezar kesan. per token . Digel vê yekê, hejmara nîşanekan li ser hesabê ne tixûbdar e.
Îro API rêbazên tespîtkirin û naskirinê yên jêrîn piştgirî dike:
- Naskirin / Set - tespîtkirin û naskirina rûyan. Otomatîk ji her kesê yekta re Nasnameyek Kesane destnîşan dike, PersonID û koordînatên kesên hatine dîtin vedigerîne.
- Jêbirin - jêbirina Kesek taybetî ji databasa kesan.
- Truncate - tevahiya cîhê ji PersonID paqij dike, heke ew wekî cîhek ceribandinê were bikar anîn û hûn hewce ne ku databasê ji bo hilberînê ji nû ve bikin.
- Detect - tespîtkirina tiştan, dîmen, plaqe, nîşan, rêz, hwd. Çîna tiştên ku hatine dîtin û koordînatên wan vedigerîne
- Ji bo belgeyan vedîtin - celebên taybetî yên belgeyên Federasyona Rûsyayê (pasaport, SNILS, jimareya nasnameya bacê, hwd.) vedigire.
Em di heman demê de di demek nêzîk de xebata li ser rêbazên ji bo OCR, destnîşankirina zayend, temen û hestan, û her weha çareserkirina pirsgirêkên kirrûbirrê, ango ji bo kontrolkirina bixweber nîşandana tiştan li firotgehan diqedînin. Hûn dikarin belgeya tevahî ya API-ê li vir bibînin:
4. Encam
Naha, bi navgîniya API-ya gelemperî, hûn dikarin di wêne û vîdyoyan de bigihîjin naskirina rûyê; Nasnameya cûrbecûr tiştan, lewheyên lîsansê, nîşangiran, belge û dîmenên tevahî têne piştgirî kirin. Senaryoyên serîlêdanê - deryayê. Werin, karûbarê me biceribînin, peywirên herî dijwar destnîşan bikin. 5000 danûstandinên yekem belaş in. Dibe ku ew ê ji bo projeyên we "hêza wenda" be.
Li ser qeydkirin û girêdanê hûn dikarin tavilê bigihîjin API-yê. . Hemî bikarhênerên Habra ji bo danûstendinên zêde kodek danasînê distînin. Ji kerema xwe navnîşana e-nameya ku we ji bo qeydkirina hesabê xwe bikar aniye ji min re binivîsîne!
Source: www.habr.com