Tá líonraí néaracha i bhfís ríomhaireachta ag forbairt go gníomhach, tá go leor fadhbanna fós i bhfad ó bheith réitithe. Le bheith ar an treocht i do réimse, ní gá ach na daoine a bhfuil tionchar acu ar Twitter a leanúint agus ailt ábhartha a léamh ar arXiv.org. Ach bhí deis againn dul chuig an gComhdháil Idirnáisiúnta ar Fhís Ríomhaireachta (ICCV) 2019. I mbliana tá sé á reáchtáil sa Chóiré Theas. Anois, ba mhaith linn a roinnt le léitheoirí Habr cad a chonaic agus a d'fhoghlaim muid.
Bhí go leor againn ann ó Yandex: tháinig forbróirí gluaisteán féin-tiomána, taighdeoirí, agus iad siúd a dhéileálann le tascanna CV i seirbhísí. Ach anois ba mhaith linn dearcadh beagán suibiachtúil dár bhfoireann a chur i láthair - an tSaotharlann Faisnéise Meaisín (Yandex MILAB). Is dócha gur bhreathnaigh na guys eile ar an gcomhdháil óna n-uillinn féin.
Cad a dhéanann an tsaotharlann?Déanaimid tionscadail thurgnamhach a bhaineann le giniúint íomhánna agus ceoil chun críocha siamsaíochta. Tá suim ar leith againn i líonraí neural a ligeann duit ábhar a athrú ón úsáideoir (le haghaidh grianghraif, tugtar ionramháil íomhá ar an tasc seo). toradh ár gcuid oibre ó chomhdháil YaC 2019.
Tá go leor comhdhálacha eolaíocha ann, ach seasann na cinn is fearr amach, na comhdhálacha A* mar a thugtar orthu, ina bhfoilsítear ailt ar na teicneolaíochtaí is suimiúla agus is tábhachtaí de ghnáth. Níl aon liosta cruinn de chomhdhálacha A* ann, seo liosta neas agus neamhiomlán: NeurIPS (NIPS roimhe seo), ICML, SIGIR, WWW, WSDM, KDD, ACL, CVPR, ICCV, ECCV. Déanann an triúr deireanach speisialtóireacht san ábhar CV.
Sracfhéachaint ar ICCV: póstaeir, ranganna teagaisc, ceardlanna, seastáin
Fuair an chomhdháil 1075 páipéar, tháinig 7500 rannpháirtí ón Rúis, bhí ailt ó fhostaithe Yandex, Skoltech, Samsung AI Center Moscó agus Ollscoil Samara. I mbliana, níor thug mórán taighdeoirí is fearr cuairt ar ICCV, ach, mar shampla, Alexey (Alyosha) Efros, a mheallann go leor daoine i gcónaí:
Staitisticí 
Ag gach comhdháil dá leithéid, cuirtear ailt i láthair i bhfoirm póstaer ( faoin bhformáid), agus cuirtear na cinn is fearr i láthair freisin i bhfoirm tuairiscí gearra.
Seo cuid de na saothair ón Rúis 
Le ranganna teagaisc is féidir leat tumadh isteach i réimse ábhair ar leith; Léann duine amháin é, de ghnáth gan caint ar shaothair ar leith. Sampla de chúrsa teagaisc fionnuar ():
Ag ceardlanna, ar a mhalairt, labhraíonn siad faoi ailt. Go hiondúil is saothair iad seo ar ábhar cúng éigin, scéalta ó chinn na saotharlainne faoin obair is déanaí ar fad a rinne mic léinn, nó ailt nár glacadh leo chuig an bpríomhchomhdháil.
Tagann cuideachtaí urraíochta chuig ICCV le seastáin. I mbliana, tháinig Google, Facebook, Amazon agus go leor cuideachtaí idirnáisiúnta eile, chomh maith le líon mór tosaithe - Cóiréis agus Sínis. Bhí go háirithe go leor gnólachtaí tosaithe a bhí speisialaithe i gclibeáil sonraí. Tá léirithe ag na seastáin, is féidir leat merch a ghlacadh agus ceisteanna a chur. Chun críocha fiaigh, tá páirtithe ag cuideachtaí urraíochta. Féadfaidh tú dul isteach iontu má chuireann tú ina luí ar earcaitheoirí go bhfuil suim agat agus go bhféadfaidh tú pas a fháil in agallaimh. Má tá alt foilsithe agat (nó, ina theannta sin, é curtha i láthair agat), tosaithe nó ag críochnú PhD, is buntáiste é seo, ach uaireanta is féidir leat dul i mbun caibidlíochta ag an seastán trí cheisteanna suimiúla a chur ar innealtóirí na cuideachta.
Treochtaí
Tugann an chomhdháil deis duit féachaint ar an réimse CV iomlán. De réir líon na bpóstaer ar ábhar áirithe, is féidir leat a mheas cé chomh te agus atá an topaic. Tugann roinnt conclúidí le fios iad féin bunaithe ar na heochairfhocail:
náid urchar, aon urchar, cúpla urchar, féinmhaoirseacht agus leathmhaoirseacht: cuir chuige nua i leith tascanna fadstaidéir
Tá daoine ag foghlaim conas sonraí a úsáid ar bhealach níos éifeachtaí. Mar shampla, i is féidir gothaí gnúise ainmhithe nach raibh sa tacar oiliúna a ghiniúint (i bhfeidhmiú, trí roinnt pictiúr tagartha a sholáthar). Forbraíodh smaointe Deep Image Prior, agus anois is féidir líonraí GAN a oiliúint ar aon íomhá amháin - labhróimid faoi seo thíos . Is féidir leat féin-mhaoirseacht a úsáid le haghaidh réamhoiliúint (fadhb a réiteach trínar féidir leat sonraí ailínithe a shintéisiú, mar uillinn rothlaithe pictiúir a thuar) nó foghlaim go comhuaineach ó shonraí lipéadaithe agus neamhlipéadaithe. Sa chiall seo, is féidir an t-alt a mheas mar choróin an chruthaithe . Agus seo é an réamh-oiliúint ar ImageNet chuidíonn.
3D agus 360°
Teastaíonn taighde breise le haghaidh samhlacha 3D agus físeáin lánléargais maidir le fadhbanna a réitíodh den chuid is mó maidir le grianghraif (deighilt, braite). Tá go leor alt feicthe againn maidir le RGB agus RGB-D a thiontú go 3D. Is féidir roinnt fadhbanna, mar mheastachán staidiúir an duine, a réiteach ar bhealach níos nádúrtha trí aistriú chuig samhlacha 3D. Ach níl aon chomhdhearcadh fós ar conas go díreach samhlacha XNUMXD a léiriú - i bhfoirm mogalra, scamall pointe, voxels nó SDF. Seo rogha eile:
I lánléargais, tá convolutions ar an sféar ag forbairt go gníomhach (féach. ) agus cuardach a dhéanamh le haghaidh rudaí tábhachtacha sa fhráma.
Brath staidiúir agus gluaiseacht dhaonna a thuar
Tá dul chun cinn déanta cheana féin i mbrath staidiúir i 2T - anois tá an fócas tar éis bogadh i dtreo oibriú le ceamaraí iolracha agus i 3D. Is féidir freisin, mar shampla, cnámharlach a bhrath trí bhalla trí athruithe sa chomhartha Wi-Fi a rianú agus é ag dul tríd an gcorp daonna.
Tá go leor oibre déanta i réimse an bhrath eochairphointí láimhe. Tá tacair sonraí nua le feiceáil, lena n-áirítear iad siúd atá bunaithe ar fhíseáin de chomhphlé idir beirt - anois is féidir leat gothaí láimhe a thuar ó fhuaim nó ó théacs comhrá! Tá an dul chun cinn céanna déanta i dtascanna rianaithe súl (meastachán gaze).
Is féidir braisle mór saothar a bhaineann le tuar gluaiseachta daonna a aithint freisin (mar shampla, nó ). Tá an tasc tábhachtach agus, bunaithe ar chomhráite leis na húdair, is minic a úsáidtear é chun anailís a dhéanamh ar iompar coisithe i dtiomáint uathrialach.
Ionramhálacha le daoine i ngrianghraif agus físeáin, seomraí feisteas fíorúla
Is é an príomh-threocht ná íomhánna aghaidhe a athrú de réir paraiméadair inmhínithe. Smaointe: deepfake bunaithe ar phictiúr amháin, ag athrú slonn bunaithe ar rindreáil aghaidhe (), réamheolas - paraiméadair a athrú (mar shampla, ). Tá aistrithe stíle tar éis bogadh ó theideal an ábhair go cur i bhfeidhm na hoibre. Is scéal difriúil iad seomraí feisteas fíorúla; taispeánann.
Giniúint ó sceitsí/graif
Tháinig forbairt eile ar an smaoineamh “Lig don eangach rud éigin a ghiniúint bunaithe ar thaithí roimhe seo”: “Taispeánaimis don eangach cé acu rogha a bhfuil spéis againn ann.”
is féidir leat inpaint treoraithe a dhéanamh: is féidir leis an úsáideoir cuid den aghaidh a phéinteáil sa limistéar scriosta den phictiúr agus pictiúr athchóirithe a fháil ag brath ar an chríochnú.
Comhcheanglaíonn ceann amháin de 25 alt Adobe do ICCV dhá GAN: críochnaíonn duine acu an sceitse don úsáideoir, gineann an ceann eile íomhá fótaréalaíoch ón sceitse ().
Roimhe seo, ní raibh gá le graif i nginiúint íomhá, ach anois tá coimeádán eolais acu faoin ardán. Bhuaigh an t-alt duais an Pháipéir Onórach is Fearr bunaithe ar thorthaí ICCV freisin . Go ginearálta, is féidir leat iad a úsáid ar bhealaí éagsúla: graif a ghiniúint ó phictiúir, nó pictiúir agus téacsanna ó ghraif.
Ath-aithint daoine agus gluaisteáin, ag comhaireamh méid an tslua (!)
Tá go leor alt dírithe ar dhaoine a rianú agus daoine agus meaisíní a ath-aithint. Ach ba é an rud a chuir iontas orainn go leor alt ar chomhaireamh slua, go léir ón tSín.
póstaeir 
Ach déanann Facebook, ar a mhalairt, an grianghraf a anaithnid. Agus déanann sé é seo ar bhealach suimiúil: cuireann sé oiliúint ar an líonra néarúil chun aghaidh a ghiniúint gan sonraí uathúla - cosúil, ach nach bhfuil chomh cosúil sin gur féidir é a aithint i gceart trí chórais aitheantais aghaidhe.
Cosaint ar ionsaithe sáraíochta
Le forbairt na n-iarratas fís ríomhaire sa saol fíor (i gcarranna féin-tiomána, in aitheantas aghaidhe), tá an cheist maidir le hiontaofacht córais den sórt sin ag éirí níos mó. Chun CV a úsáid go hiomlán, ní mór duit a bheith cinnte go bhfuil an córas frithsheasmhach in aghaidh ionsaithe sáraíochta - sin an fáth nach raibh níos lú alt faoi chosaint ina gcoinne ná faoi na hionsaithe iad féin. Tá go leor oibre déanta ar thuar líonra a mhíniú (léarscáil sábháltachta) agus ar mhuinín sa toradh a thomhas.
Tascanna comhcheangailte
I bhformhór na dtascanna a bhfuil sprioc amháin acu, tá na féidearthachtaí maidir le feabhas a chur ar cháilíocht ídithe go praiticiúil; is é ceann de na treoracha nua chun cáilíocht a mhéadú tuilleadh ná líonraí néaracha a mhúineadh chun roinnt fadhbanna comhchosúla a réiteach ag an am céanna. Samplaí:
— tuar gníomhaíochta + tuar ar shreabhadh optúil,
— cur i láthair físeáin + cur i láthair teanga (),
- .
Tá ailt ann freisin ar dheighilt, cinneadh staide agus ath-aithint ainmhithe!
Buaicphointí
Bhí beagnach gach alt ar eolas roimh ré, bhí an téacs ar fáil ar arXiv.org. Mar sin, is cosúil go bhfuil cur i láthair oibreacha den sórt sin mar Everybody Dance Now, FUNIT, Image2StyleGAN sách aisteach - is saothair an-úsáideach iad seo, ach ní nua iad. Dealraíonn sé go bhfuil próiseas clasaiceach na bhfoilseachán eolaíochta ag briseadh síos anseo - tá an eolaíocht ag bogadh ró-thapa.
Tá sé an-deacair na hoibreacha is fearr a chinneadh - tá go leor acu, tá na hábhair éagsúla. Roinnt alt a fuarthas .
Ba mhaith linn aird a tharraingt ar shaothair atá suimiúil ó thaobh ionramhála íomhá, ós rud é gurb é seo ár n-ábhar. Iompaigh siad amach a bheith sách úr agus suimiúil dúinn (níl muid ag ligean a bheith oibiachtúil).
SinGAN (dámhachtain páipéir is fearr) agus InGAN
Singán: , , .
Ingean: , , .
Forbairt an smaoineamh Deep Image Prior ó Dmitry Ulyanov, Andrea Vedaldi agus Victor Lempitsky. In ionad GANanna a oiliúint ar thacar sonraí, foghlaimíonn líonraí ó blúirí den phictiúr céanna chun na staitisticí atá istigh ann a mheabhrú. Ligeann an líonra oilte duit grianghraif a chur in eagar agus a bheochan (SinGAN) nó íomhánna nua de mhéid ar bith a ghiniúint ó uigeachtaí na buníomhá, ag caomhnú an struchtúir áitiúil (InGAN).
Singán:
Ingean:
Féachaint ar Rud nach Féidir le GAN a Ghiniúint
.
Is minic a thógann líonraí néaracha a ghineann íomhánna veicteoir torainn randamach mar ionchur. I líonra oilte, cruthaíonn go leor veicteoirí ionchuir spás, gluaiseachtaí beaga a leanann athruithe beaga sa phictiúr. Trí leas a bhaint as leas iomlán a bhaint as, is féidir leat an fhadhb inbhéartach a réiteach: faigh veicteoir ionchuir oiriúnach do phictiúr ón saol fíor. Léiríonn an t-údar go bhfuil sé beagnach riamh is féidir a fháil ar pictiúr go hiomlán meaitseála i líonra neural. Ní ghintear roinnt rudaí sa phictiúr (de réir dealraimh mar gheall ar éagsúlacht mhór na n-oibiachtaí seo).
Tugann an t-údar hipitéis nach gclúdaíonn GAN spás iomlán na n-íomhánna, ach go gclúdaíonn sé roinnt fo-thacar, líonta le poill, cosúil le cáis. Nuair a dhéanaimid iarracht teacht ar ghrianghraif ón bhfíorshaol atá ann, teipfimid i gcónaí, mar ní ghineann GAN grianghraif nach bhfuil fíor go hiomlán fós. Ní féidir na difríochtaí idir pictiúir fíor agus ginte a shárú ach trí mheáchain an líonra a athrú, is é sin, trí é a athoiliúint le haghaidh grianghraf ar leith.
Nuair a bhíonn an líonra oilte freisin le haghaidh grianghraf ar leith, is féidir leat triail a bhaint as ionramhálacha éagsúla leis an íomhá seo. Sa sampla thíos, cuireadh fuinneog leis an ngrianghraf, agus ghin an líonra machnamh freisin ar aonad na cistine. Ciallaíonn sé seo nár chaill an líonra, fiú tar éis oiliúint bhreise le haghaidh grianghrafadóireacht, an cumas an nasc idir rudaí sa radharc a fheiceáil.
GANalyze: I dtreo Sainmhínithe Amhairc ar Airíonna Íomhá Cognaíoch
, .
Ag baint úsáide as cur chuige na hoibre seo, is féidir leat a bhfuil foghlamtha ag an líonra néareolaíoch a shamhlú agus a anailísiú. Tá sé beartaithe ag na húdair oiliúint a chur ar GAN chun pictiúir a chruthú a nginfidh an líonra tuartha sonraithe ina leith. D’úsáid an t-alt roinnt líonraí mar shamplaí, lena n-áirítear MemNet, a thuar cuimhneacháin grianghraf. D'éirigh sé amach gur chóir don réad sa ghrianghraf a bheith i gcuimhne níos fearr:
- a bheith níos gaire don ionad
- cruth níos cruinne nó cearnach agus struchtúr simplí a bheith agat,
- bheith ar chúlra aonfhoirmeach,
- go bhfuil súile léiritheacha (do ghrianghraif madra ar a laghad),
- a bheith níos gile, níos sáithithe, i gcásanna áirithe, níos deirge.
Warping Leachtacha GAN: Creat Aontaithe le haghaidh Aithrise Gluaisne Daonna, Aistriú Dealraimh agus Sintéis Amharc Úrscéal
, , .
Píblíne chun grianghraif de dhaoine a ghiniúint grianghraf amháin ag an am. Léiríonn na húdair samplaí rathúla maidir le gluaiseacht duine amháin a aistriú go ceann eile, éadaí a aistriú idir daoine agus uillinneacha nua duine a ghiniúint - go léir ó ghrianghraf amháin. Murab ionann agus saothair roimhe seo, ní úsáidimid príomhphointí 2T (suí) anseo, ach mogalra 3D den chorp (suí + cruth) chun coinníollacha a chruthú. Rinne na húdair amach freisin conas faisnéis a aistriú ón íomhá bunaidh go dtí an ceann a gineadh (Bloc Cogaidh Leachtach). Breathnaíonn na torthaí réasúnta, ach níl réiteach na híomhá mar thoradh air ach 256x256. Chun comparáid a dhéanamh, tá vid2vid, a bhí le feiceáil bliain ó shin, in ann rún 2048x1024 a ghiniúint, ach éilíonn sé suas le 10 nóiméad de thaifeadadh físeáin mar thacar sonraí.
FSGAN: Babhtáil agus Athghníomhú Aghaidh Agnostic
, .
Ar dtús is cosúil nach bhfuil aon rud neamhghnách ann: deepfake le caighdeán níos mó nó níos lú de ghnáth. Ach is é príomhghnóthachtáil na hoibre ná aghaidheanna a chur in ionad pictiúr amháin. Murab ionann agus saothair roimhe seo, bhí oiliúint ag teastáil ar go leor grianghraf de dhuine ar leith. An phíblíne iompaigh amach a bheith cumbersome (athghníomhú agus deighilt, idirshuíomh amharc, inpainting, chumasc) agus le go leor de hacks teicniúla, ach is fiú an toradh é.
An Duine gan Iontach a Bhrath trí Athshintéis Íomhá
.
Conas is féidir le drone a thuiscint go bhfuil rud le feiceáil go tobann os a chomhair nach dtagann in aon rang deighilte shéimeantach? Tá roinnt modhanna ann, ach molann na húdair algartam nua iomasach a oibríonn níos fearr ná a réamhtheachtaithe. Déantar deighilt shéimeantach a thuar ón íomhá bóthair ionchuir. Cothaítear é mar ionchur don GAN (pix2pixHD), a dhéanann iarracht an íomhá bhunaidh a chur ar ais ón léarscáil shéimeantach amháin. Beidh difríocht shuntasach idir aimhrialtachtaí nach dtagann isteach in aon cheann de na míreanna san aschur agus san íomhá a ghintear. Cuirtear na trí íomhá (bunaidh, deighilt, agus atógtha) isteach ansin i líonra eile a thuar aimhrialtachtaí. Gineadh an tacar sonraí chuige seo ó thacar sonraí aitheanta Cityscapes, a d’athraigh go randamach na haicmí ar an deighilt shéimeantach. Suimiúil go leor, sa suíomh seo, madra atá ina sheasamh i lár an bhóthair, ach deighilte i gceart (rud a chiallaíonn go bhfuil aicme ann dó), nach aimhrialtacht é, ós rud é go raibh an córas in ann é a aithint.
Conclúid
Roimh an gcomhdháil, tá sé tábhachtach go mbeadh a fhios agat cad iad na hábhair spéise eolaíocha atá agat, cad iad na cur i láthair ar mhaith leat freastal orthu, agus cé leis ar chóir duit labhairt. Ansin beidh gach rud i bhfad níos táirgiúla.
Is é atá i ICCV, ar an gcéad dul síos, líonrú. Tuigeann tú go bhfuil na hinstitiúidí is fearr agus na ranna eolaíocha is fearr ann, tosaíonn tú a thuiscint seo, cuir aithne ar dhaoine. Agus is féidir leat ailt a léamh ar arXiv - agus dála an scéil, tá sé an-fhionnuar nach gá duit dul áit ar bith chun eolas a fháil.
Ina theannta sin, ag an gcomhdháil is féidir leat a bheith ag tumadh go domhain ar ábhair nach bhfuil gar duit agus treochtaí a fheiceáil. Bhuel, scríobh amach liosta alt le léamh. Más mac léinn tú, is deis é seo duit bualadh le múinteoir ionchasach, má tá tú ón tionscal, ansin le fostóir nua, agus más cuideachta é, chun tú féin a thaispeáint.
Liostáil le ! Is tionscadal pearsanta é seo: táimid á threorú in éineacht le . Chuireamar na saothair ar fad ar thaitin linn le linn na comhdhála anseo: .
Foinse: will.com
