Ang mga neural network sa computer vision ay aktibong umuunlad, maraming mga problema ay malayo pa rin sa paglutas. Upang maging trend sa iyong larangan, sundan lang ang mga influencer sa Twitter at basahin ang mga nauugnay na artikulo sa arXiv.org. Pero nagkaroon kami ng pagkakataon na pumunta sa International Conference on Computer Vision (ICCV) 2019. Ngayong taon ito ay gaganapin sa South Korea. Ngayon gusto naming ibahagi sa mga mambabasa ng Habr ang aming nakita at natutunan.
Marami sa amin doon mula sa Yandex: dumating ang mga developer ng mga self-driving na kotse, mga mananaliksik, at ang mga nakikitungo sa mga gawain sa CV sa mga serbisyo. Ngunit ngayon gusto naming ipakita ang isang bahagyang subjective na pananaw ng aming koponan - ang Machine Intelligence Laboratory (Yandex MILAB). Ang ibang mga lalaki ay malamang na tumingin sa kumperensya mula sa kanilang sariling anggulo.
Ano ang ginagawa ng laboratoryo?Gumagawa kami ng mga pang-eksperimentong proyekto na nauugnay sa pagbuo ng mga larawan at musika para sa mga layunin ng entertainment. Lalo kaming interesado sa mga neural network na nagpapahintulot sa iyo na baguhin ang nilalaman mula sa gumagamit (para sa mga larawan, ang gawaing ito ay tinatawag na pagmamanipula ng imahe). ang resulta ng aming trabaho mula sa kumperensya ng YaC 2019.
Mayroong maraming mga pang-agham na kumperensya, ngunit ang mga nangunguna ay namumukod-tangi, ang tinatawag na A* na mga kumperensya, kung saan ang mga artikulo sa pinakakawili-wili at mahahalagang teknolohiya ay karaniwang nai-publish. Walang eksaktong listahan ng mga A* na kumperensya, narito ang isang tinatayang at hindi kumpletong listahan: NeurIPS (dating NIPS), ICML, SIGIR, WWW, WSDM, KDD, ACL, CVPR, ICCV, ECCV. Ang huling tatlong dalubhasa sa paksa ng CV.
ICCV sa sulyap: mga poster, tutorial, workshop, stand
Nakatanggap ang kumperensya ng 1075 na mga papeles, mayroong 7500 na kalahok. 103 katao ang nagmula sa Russia, mayroong mga artikulo mula sa mga empleyado ng Yandex, Skoltech, Samsung AI Center Moscow at Samara University. Sa taong ito, hindi maraming nangungunang mananaliksik ang bumisita sa ICCV, ngunit, halimbawa, si Alexey (Alyosha) Efros, na palaging umaakit ng maraming tao:
statistics
Sa lahat ng naturang kumperensya, ang mga artikulo ay iniharap sa anyo ng mga poster ( tungkol sa format), at ang mga pinakamahusay ay ipinakita din sa anyo ng mga maikling ulat.
Narito ang ilan sa mga gawa mula sa Russia
Sa pamamagitan ng mga tutorial maaari kang sumisid sa isang partikular na lugar ng paksa; ito ay nakapagpapaalaala sa isang lecture sa isang unibersidad. Ito ay binabasa ng isang tao, kadalasan nang hindi pinag-uusapan ang mga partikular na akda. Isang halimbawa ng isang cool na tutorial ():
Sa mga workshop, sa kabaligtaran, pinag-uusapan nila ang mga artikulo. Kadalasan ito ay mga gawa sa ilang makitid na paksa, mga kwento mula sa mga pinuno ng laboratoryo tungkol sa lahat ng pinakabagong gawain ng mga mag-aaral, o mga artikulong hindi tinanggap sa pangunahing kumperensya.
Ang mga kumpanyang nag-sponsor ay pumupunta sa ICCV na may mga stand. Ngayong taon, dumating ang Google, Facebook, Amazon at maraming iba pang internasyonal na kumpanya, pati na rin ang malaking bilang ng mga startup - Korean at Chinese. Mayroong lalo na maraming mga startup na dalubhasa sa pag-tag ng data. May mga pagtatanghal sa mga stand, maaari kang kumuha ng merch at magtanong. Para sa mga layunin ng pangangaso, ang mga kumpanya ng pag-sponsor ay may mga partido. Maaari kang makapasok sa kanila kung makumbinsi mo ang mga recruiter na interesado ka at maaari kang makapasa sa mga panayam. Kung nag-publish ka ng isang artikulo (o, bukod dito, ipinakita ito), nagsimula o nagtatapos ng isang PhD, ito ay isang plus, ngunit kung minsan maaari kang makipag-ayos sa stand sa pamamagitan ng pagtatanong ng mga interesanteng tanong sa mga inhinyero ng kumpanya.
Mga Trend
Ang kumperensya ay nagpapahintulot sa iyo na tingnan ang buong larangan ng CV. Sa bilang ng mga poster sa isang partikular na paksa, maaari mong masuri kung gaano kainit ang paksa. Iminumungkahi ng ilang konklusyon ang kanilang sarili batay sa mga keyword:
Zero-shot, one-shot, few-shot, self-supervised at semi-supervised: mga bagong diskarte sa mga gawaing matagal nang pinag-aralan
Natututo ang mga tao na gumamit ng data nang mas epektibo. Halimbawa, sa posible na makabuo ng mga ekspresyon ng mukha ng mga hayop na wala sa set ng pagsasanay (sa aplikasyon, sa pamamagitan ng pagbibigay ng ilang reference na larawan). Ang mga ideya ng Deep Image Prior ay nabuo, at ngayon ang mga network ng GAN ay maaaring sanayin sa isang larawan - pag-uusapan natin ito sa ibaba . Maaari mong gamitin ang self-supervision para sa pre-training (paglutas ng problema kung saan maaari mong i-synthesize ang nakahanay na data, gaya ng paghula sa anggulo ng pag-ikot ng isang larawan) o matuto nang sabay-sabay mula sa may label at walang label na data. Sa ganitong diwa, ang artikulo ay maaaring ituring na korona ng paglikha . At narito ang pre-training sa ImageNet tumutulong
3D at 360Β°
Ang mga problema na kadalasang nalutas para sa mga larawan (segmentation, detection) ay nangangailangan ng karagdagang pananaliksik para sa mga 3D na modelo at mga panoramic na video. Nakakita kami ng maraming artikulo sa pag-convert ng RGB at RGB-D sa 3D. Ang ilang mga problema, tulad ng pagtatantya ng pose ng tao, ay maaaring malutas nang mas natural sa pamamagitan ng paglipat sa mga 3D na modelo. Ngunit wala pang pinagkasunduan sa kung paano eksaktong kumakatawan sa mga modelong XNUMXD - sa anyo ng isang mesh, point cloud, voxels o SDF. Narito ang isa pang pagpipilian:
Sa mga panorama, ang mga convolution sa globo ay aktibong umuunlad (tingnan. ) at maghanap ng mga pangunahing bagay sa frame.
Pose detection at hula sa paggalaw ng tao
Nagkaroon na ng mga pag-unlad sa pose detection sa 2D - ngayon ang focus ay lumipat patungo sa pagtatrabaho sa maraming camera at sa 3D. Halimbawa, maaari mo ring makita ang isang balangkas sa pamamagitan ng isang pader sa pamamagitan ng pagsubaybay sa mga pagbabago sa signal ng Wi-Fi habang dumadaan ito sa katawan ng tao.
Maraming gawain ang nagawa sa larangan ng pagtuklas ng keypoint ng kamay. Lumitaw ang mga bagong dataset, kabilang ang mga batay sa mga video ng mga diyalogo sa pagitan ng dalawang tao - maaari mo na ngayong hulaan ang mga galaw ng kamay mula sa audio o text ng isang pag-uusap! Ang parehong pag-unlad ay ginawa sa mga gawain sa pagsubaybay sa mata (pagtantiya ng tingin).
Maaari ding tukuyin ng isa ang isang malaking kumpol ng mga gawa na nauugnay sa hula ng paggalaw ng tao (halimbawa, o ). Ang gawain ay mahalaga at, batay sa mga pag-uusap sa mga may-akda, ay kadalasang ginagamit upang pag-aralan ang pag-uugali ng mga pedestrian sa autonomous na pagmamaneho.
Mga manipulasyon sa mga tao sa mga larawan at video, mga virtual fitting room
Ang pangunahing kalakaran ay ang pagbabago ng mga imahe ng mukha ayon sa mga parameter na nabibigyang kahulugan. Mga Ideya: deepfake batay sa isang larawan, pagbabago ng ekspresyon batay sa facial rendering (), feedforwardβbaguhin ang mga parameter (halimbawa, ). Ang mga paglilipat ng istilo ay lumipat mula sa pamagat ng paksa patungo sa aplikasyon ng gawain. Ang mga virtual fitting room ay ibang kuwento; halos palaging hindi gumagana ang mga ito, mga demo.
Pagbuo mula sa mga sketch/graph
Ang pagbuo ng ideya na "Hayaan ang grid na bumuo ng isang bagay batay sa nakaraang karanasan" ay naging isa pa: "Ipakita natin sa grid kung aling opsyon ang interesado sa atin."
ay nagbibigay-daan sa iyo na gumawa ng guided inpaint: ang gumagamit ay maaaring tapusin ang pagpipinta ng bahagi ng mukha sa nabura na lugar ng larawan at makakuha ng isang naibalik na larawan depende sa pagkumpleto.
Ang isa sa 25 artikulo ng Adobe para sa ICCV ay pinagsasama ang dalawang GAN: ang isa ay kumukumpleto ng sketch para sa user, ang isa ay bumubuo ng isang photorealistic na imahe mula sa sketch ().
Dati, hindi kailangan ang mga graph sa pagbuo ng imahe, ngunit ngayon ay ginawa na silang lalagyan ng kaalaman tungkol sa eksena. Ang Best Paper Honorable Mentions award batay sa mga resulta ng ICCV ay napanalunan din ng artikulo . Sa pangkalahatan, maaari mong gamitin ang mga ito sa iba't ibang paraan: bumuo ng mga graph mula sa mga larawan, o mga larawan at teksto mula sa mga graph.
Muling pagkilala sa mga tao at sasakyan, binibilang ang laki ng karamihan (!)
Maraming mga artikulo ang nakatuon sa pagsubaybay sa mga tao at muling pagkilala sa mga tao at makina. Ngunit ang ikinagulat namin ay isang bungkos ng mga artikulo sa pagbibilang ng mga tao, lahat ay mula sa China.
Mga poster
Ngunit ang Facebook, sa kabaligtaran, ay hindi nagpapakilala sa larawan. At ginagawa nito ito sa isang kawili-wiling paraan: sinasanay nito ang neural network upang bumuo ng isang mukha na walang mga natatanging detalye - katulad, ngunit hindi gaanong magkatulad na maaari itong matukoy nang tama ng mga sistema ng pagkilala sa mukha.
Proteksyon laban sa mga pag-atake ng kalaban
Sa pagbuo ng mga application ng computer vision sa totoong mundo (sa mga self-driving na kotse, sa pagkilala sa mukha), ang tanong ng pagiging maaasahan ng naturang mga sistema ay lalong lumalabas. Upang ganap na magamit ang CV, kailangan mong tiyakin na ang system ay lumalaban sa mga adversarial na pag-atake - kaya't walang mas kaunting mga artikulo tungkol sa proteksyon laban sa kanila kaysa tungkol sa mga pag-atake mismo. Nagkaroon ng maraming trabaho sa pagpapaliwanag ng mga hula sa network (saliency map) at pagsukat ng kumpiyansa sa resulta.
Pinagsama-samang mga gawain
Sa karamihan ng mga gawain na may isang target, ang mga posibilidad para sa pagpapabuti ng kalidad ay halos naubos na; isa sa mga bagong direksyon para sa karagdagang pagtaas ng kalidad ay upang turuan ang mga neural network na lutasin ang ilang mga katulad na problema nang sabay-sabay. Mga halimbawa:
β hula ng aksyon + hula sa optical flow,
β pagtatanghal ng video + pagtatanghal ng wika (),
- .
Mayroon ding mga artikulo tungkol sa segmentation, pose determination at animal re-identification!
Mga highlight
Halos lahat ng mga artikulo ay alam nang maaga, ang teksto ay magagamit sa arXiv.org. Samakatuwid, ang pagtatanghal ng mga gawa tulad ng Everybody Dance Now, FUNIT, Image2StyleGAN ay tila kakaiba - ang mga ito ay lubhang kapaki-pakinabang na mga gawa, ngunit hindi bago. Tila ang klasikal na proseso ng mga publikasyong pang-agham ay nasisira dito - ang agham ay masyadong mabilis na gumagalaw.
Napakahirap matukoy ang pinakamahusay na mga gawa - marami sa kanila, iba-iba ang mga paksa. Ilang artikulo ang natanggap .
Nais naming i-highlight ang mga gawa na kawili-wili mula sa punto ng view ng pagmamanipula ng imahe, dahil ito ang aming paksa. Sila ay naging medyo sariwa at kawili-wili para sa amin (hindi kami nagpapanggap na layunin).
SingAN (best paper award) at IGAN
SingGAN: , , .
IGAN: , , .
Pagbuo ng Malalim na Imahe Naunang ideya mula kay Dmitry Ulyanov, Andrea Vedaldi at Victor Lempitsky. Sa halip na sanayin ang isang GAN sa isang dataset, natututo ang mga network mula sa mga fragment ng parehong larawan upang matandaan ang mga istatistika sa loob nito. Binibigyang-daan ka ng sinanay na network na i-edit at i-animate ang mga larawan (SinGAN) o bumuo ng mga bagong larawan ng anumang laki mula sa mga texture ng orihinal na larawan, na pinapanatili ang lokal na istraktura (InGAN).
SingGAN:
IGAN:
Nakikita ang Hindi Nabubuo ng isang GAN
.
Ang mga neural network na bumubuo ng mga larawan ay kadalasang kumukuha ng vector ng random na ingay bilang input. Sa isang sinanay na network, maraming mga input vector ang bumubuo ng isang espasyo, maliliit na paggalaw na humahantong sa maliliit na pagbabago sa larawan. Gamit ang pag-optimize, maaari mong lutasin ang kabaligtaran na problema: maghanap ng angkop na input vector para sa isang larawan mula sa totoong mundo. Ipinakikita ng may-akda na halos hindi posible na makahanap ng ganap na tugmang larawan sa isang neural network. Ang ilang mga bagay sa larawan ay hindi nabuo (tila dahil sa malaking pagkakaiba-iba ng mga bagay na ito).
Ipinagpalagay ng may-akda na hindi sakop ng GAN ang buong espasyo ng mga larawan, ngunit ilang subset lamang, na may mga butas, tulad ng keso. Kapag sinubukan naming maghanap ng mga larawan mula sa totoong mundo dito, palagi kaming mabibigo, dahil ang GAN ay bumubuo pa rin ng hindi ganap na tunay na mga larawan. Ang mga pagkakaiba sa pagitan ng tunay at nabuong mga larawan ay malalampasan lamang sa pamamagitan ng pagbabago ng mga timbang ng network, iyon ay, sa pamamagitan ng muling pagsasanay nito para sa isang partikular na larawan.
Kapag ang network ay karagdagang sinanay para sa isang partikular na larawan, maaari mong subukan ang iba't ibang mga manipulasyon sa larawang ito. Sa halimbawa sa ibaba, isang window ang idinagdag sa larawan, at ang network ay nakabuo din ng mga reflection sa unit ng kusina. Nangangahulugan ito na ang network, kahit na pagkatapos ng karagdagang pagsasanay para sa pagkuha ng litrato, ay hindi nawalan ng kakayahang makita ang koneksyon sa pagitan ng mga bagay sa eksena.
Ganalyze: Patungo sa Mga Visual na Kahulugan ng Cognitive Image Properties
, .
Gamit ang diskarte mula sa gawaing ito, maaari mong mailarawan at suriin kung ano ang natutunan ng neural network. Iminumungkahi ng mga may-akda na sanayin ang GAN upang lumikha ng mga larawan kung saan bubuo ang network ng mga tinukoy na hula. Gumamit ang artikulo ng ilang network bilang mga halimbawa, kabilang ang MemNet, na hinuhulaan ang memorability ng larawan. Ito ay lumabas na para sa mas mahusay na memorability, ang bagay sa larawan ay dapat:
- maging mas malapit sa gitna
- magkaroon ng isang mas bilog o parisukat na hugis at isang simpleng istraktura,
- maging sa isang pare-parehong background,
- naglalaman ng mga mata na nagpapahayag (kahit para sa mga larawan ng aso),
- maging mas maliwanag, mas puspos, sa ilang mga kaso, mas mapula.
Liquid Warping GAN: Isang Pinag-isang Framework para sa Human Motion Imitation, Appearance Transfer at Novel View Synthesis
, , .
Pipeline para sa pagbuo ng mga larawan ng mga tao nang paisa-isa. Ang mga may-akda ay nagpapakita ng mga matagumpay na halimbawa ng paglilipat ng paggalaw ng isang tao sa isa pa, paglilipat ng mga damit sa pagitan ng mga tao at pagbuo ng mga bagong anggulo ng isang tao - lahat mula sa isang larawan. Hindi tulad ng mga naunang gawa, dito ginagamit namin hindi ang mga pangunahing punto sa 2D (pose), ngunit isang 3D mesh ng katawan (pose + hugis) upang lumikha ng mga kondisyon. Naisip din ng mga may-akda kung paano maglipat ng impormasyon mula sa orihinal na imahe patungo sa nabuong isa (Liquid Warping Block). Ang mga resulta ay mukhang disente, ngunit ang resolution ng nagresultang imahe ay 256x256 lamang. Para sa paghahambing, ang vid2vid, na lumabas noong isang taon, ay may kakayahang bumuo sa isang resolusyon na 2048x1024, ngunit nangangailangan ito ng hanggang 10 minuto ng pag-record ng video bilang isang dataset.
FSGAN: Subject Agnostic Face Swapping at Reenactment
, .
Sa una ay tila walang kakaiba: isang deepfake na may higit o mas kaunting normal na kalidad. Ngunit ang pangunahing tagumpay ng trabaho ay ang pagpapalit ng mga mukha mula sa isang larawan. Hindi tulad ng mga naunang gawa, kailangan ang pagsasanay sa maraming litrato ng isang partikular na tao. Ang pipeline ay naging mahirap (reenactment at segmentation, view interpolation, inpainting, blending) at may maraming mga teknikal na hack, ngunit sulit ang resulta.
Pag-detect ng Hindi Inaasahan sa pamamagitan ng Image Resynthesis
.
Paano mauunawaan ng drone na ang isang bagay ay biglang lumitaw sa harap nito na hindi nahuhulog sa anumang semantic segmentation class? Mayroong ilang mga pamamaraan, ngunit ang mga may-akda ay nagmumungkahi ng isang bago, madaling maunawaan na algorithm na gumagana nang mas mahusay kaysa sa mga nauna nito. Ang semantic segmentation ay hinuhulaan mula sa input na imahe ng kalsada. Ito ay pinapakain bilang input sa GAN (pix2pixHD), na sumusubok na ibalik ang orihinal na larawan mula lamang sa semantic map. Ang mga anomalya na hindi nahuhulog sa alinman sa mga segment ay malaki ang pagkakaiba sa output at sa nabuong larawan. Ang tatlong mga larawan (orihinal, segmentation, at reconstructed) ay pagkatapos ay fed sa isa pang network na hinuhulaan ang mga anomalya. Ang dataset para dito ay nabuo mula sa kilalang dataset ng Cityscapes, random na binabago ang mga klase sa semantic segmentation. Kapansin-pansin, sa setting na ito, ang isang aso na nakatayo sa gitna ng kalsada, ngunit wastong naka-segment (na nangangahulugang mayroong klase para dito), ay hindi isang anomalya, dahil nakilala ito ng system.
Konklusyon
Bago ang kumperensya, mahalagang malaman kung ano ang iyong mga pang-agham na interes, anong mga presentasyon ang gusto mong dumalo, at kung sino ang kakausapin. Pagkatapos ang lahat ay magiging mas produktibo.
Ang ICCV ay, una at pangunahin, networking. Naiintindihan mo na may mga nangungunang institusyon at nangungunang mga departamentong pang-agham, sinimulan mong maunawaan ito, kilalanin ang mga tao. At maaari kang magbasa ng mga artikulo sa arXiv - at sa pamamagitan ng paraan, napaka-cool na hindi mo kailangang pumunta kahit saan upang makakuha ng kaalaman.
Bilang karagdagan, sa kumperensya maaari kang sumisid nang malalim sa mga paksa na hindi malapit sa iyo at makita ang mga uso. Buweno, sumulat ng isang listahan ng mga artikulong babasahin. Kung ikaw ay isang mag-aaral, ito ay isang pagkakataon para sa iyo na makilala ang isang potensyal na guro, kung ikaw ay mula sa industriya, pagkatapos ay sa isang bagong employer, at kung isang kumpanya, pagkatapos ay upang ipakita ang iyong sarili.
Mag-subscribe sa ! Ito ay isang personal na proyekto: pinangungunahan namin ito kasama ng . Nai-post namin ang lahat ng mga gawa na nagustuhan namin sa panahon ng kumperensya dito: .
Pinagmulan: www.habr.com