Ny tambajotra neural amin'ny fahitana solosaina dia mivoatra mavitrika, olana maro no mbola tsy voavaha. Raha te ho fironana eo amin'ny sehatra misy anao, araho fotsiny ireo mpikatroka ao amin'ny Twitter ary vakio ireo lahatsoratra mifandraika amin'ny arXiv.org. Saingy nanana fahafahana nandeha tamin'ny International Conference on Computer Vision (ICCV) 2019. Amin'ity taona ity dia any Korea Atsimo. Ankehitriny dia te hizara amin'ny mpamaky Habr ny zavatra hitanay sy nianaranay izahay.
Be dia be izahay avy ao amin'ny Yandex: tonga ny mpamorona fiara mitondra tena, mpikaroka ary ireo izay miatrika asa CV amin'ny serivisy. Fa ankehitriny izahay dia te-haneho hevitra kely momba ny ekipanay - ny Machine Intelligence Laboratory (Yandex MILAB). Ireo bandy hafa angamba dia nijery ny fihaonambe tamin'ny fomba fijeriny manokana.
Inona no ataon'ny laboratoara?Manao tetikasa andrana mifandraika amin'ny famoronana sary sy mozika ho an'ny fialamboly izahay. Tena mahaliana anay ny tambajotra neural izay ahafahanao manova votoaty avy amin'ny mpampiasa (ho an'ny sary, ity asa ity dia antsoina hoe fanodikodinana sary). vokatry ny asantsika tamin'ny fihaonambe YaC 2019.
Be dia be ny fihaonambe siantifika, fa ny ambony indrindra dia misongadina, ilay antsoina hoe fihaonambe A*, izay matetika avoaka ny lahatsoratra momba ny teknolojia mahaliana sy manan-danja indrindra. Tsy misy lisitra marina momba ny fihaonambe A*, eto ny lisitra eo ho eo sy tsy feno: NeurIPS (NIPS taloha), ICML, SIGIR, WWW, WSDM, KDD, ACL, CVPR, ICCV, ECCV. Ny telo farany dia manokana momba ny lohahevitra CV.
ICCV raha jerena: afisy, fampianarana, atrikasa, fijoroana
Nahazo taratasy 1075 ny fihaonambe, nisy mpandray anjara 7500 avy any Rosia, nisy lahatsoratra avy amin'ny mpiasan'ny Yandex, Skoltech, Samsung AI Center Moscow ary Samara University. Tamin'ity taona ity, tsy dia maro ireo mpikaroka ambony no nitsidika ny ICCV, fa, ohatra, Alexey (Alyosha) Efros, izay mahasarika olona maro foana:
Статистика 
Amin'ny fihaonambe rehetra toy izany, ny lahatsoratra dia aseho amin'ny endrika afisy ( momba ny endrika), ary ny tsara indrindra dia aseho amin'ny endrika tatitra fohy.
Ireto ny sasany amin'ireo asa avy any Rosia 
Miaraka amin'ny fampianarana azonao atao ny mitsoraka amin'ny sehatra iray manokana dia mampahatsiahy ny lahateny iray any amin'ny oniversite. Olona iray no mamaky azy io, matetika tsy miresaka asa manokana. Ohatra iray amin'ny lesona mahafinaritra ():
Amin'ny atrikasa, mifanohitra amin'izany, miresaka lahatsoratra izy ireo. Matetika ireo dia asa amin'ny lohahevitra tery, tantara avy amin'ny lehiben'ny laboratoara momba ny asa farany rehetra ataon'ny mpianatra, na lahatsoratra tsy nekena tamin'ny fihaonambe lehibe.
Tonga ao amin'ny ICCV ny orinasa mpanohana. Tamin'ity taona ity, tonga ny Google, Facebook, Amazon ary orinasa iraisam-pirenena maro hafa, ary koa ireo fanombohana marobe - Koreana sy Shinoa. Betsaka ny fanombohana manokana manokana momba ny fametahana data. Misy fampisehoana eny amin'ny toeram-pivarotana, afaka mandray merch ianao ary mametraka fanontaniana. Ho an'ny tanjona fihazana dia misy antoko ny orinasa mpanohana. Afaka miditra amin'izy ireo ianao raha mandresy lahatra ny mpikarama fa liana ianao ary mety handalo dinidinika. Raha namoaka lahatsoratra ianao (na, ankoatra izany, nanolotra azy), nanomboka na nahavita PhD, dia tombony izany, fa indraindray ianao dia afaka mifampiraharaha amin'ny fijoroana amin'ny fametrahana fanontaniana mahaliana amin'ny injenieran'ny orinasa.
ny fironana
Ny fihaonambe dia ahafahanao mijery ny sehatry ny CV manontolo. Amin'ny isan'ny afisy amin'ny lohahevitra iray dia azonao atao ny manombana ny maha mafana ny lohahevitra. Ny fehin-kevitra sasany dia manolo-tena mifototra amin'ny teny fototra:
Zero-tifitra, tifitra iray, tifitra vitsy, manara-maso tena sy manara-maso: fomba fiasa vaovao amin'ny asa efa nodinihina ela
Mianatra mampiasa angona amin'ny fomba mahomby kokoa ny olona. Ohatra, in azo atao ny mamorona ny endriky ny biby izay tsy ao amin'ny toeram-piofanana (amin'ny fampiharana, amin'ny alalan'ny fanomezana maro references sary). Ny hevitra momba ny Deep Image Prior dia novolavolaina, ary ankehitriny ny tambajotra GAN dia azo ampiofanina amin'ny sary tokana - hiresaka momba izany eto ambany isika . Azonao atao ny mampiasa ny fanaraha-maso manokana ho an'ny fanofanana mialoha (famahana olana iray ahafahanao manambatra angon-drakitra mifanitsy, toy ny faminaniana ny zoro fihodinan'ny sary) na mianatra miaraka amin'ny angona voamarika sy tsy misy marika. Amin'io lafiny io, ny lahatsoratra dia azo raisina ho satroboninahitry ny famoronana . Ary eto ny fiofanana mialoha ao amin'ny ImageNet manampy.
3D sy 360°
Ny olana izay voavaha indrindra ho an'ny sary (fizarana, fisavana) dia mitaky fikarohana fanampiny ho an'ny maodely 3D sy horonan-tsary panoramika. Nahita lahatsoratra maro momba ny famadihana RGB sy RGB-D ho 3D izahay. Ny olana sasany, toy ny fanombantombanan'ny olona, dia azo voavaha ho azy amin'ny alàlan'ny fifindran'ny modely 3D. Saingy tsy mbola misy marimaritra iraisana momba ny fomba hanehoana ny modely XNUMXD - amin'ny endrika mesh, point cloud, voxels na SDF. Ity misy safidy hafa:
Ao amin'ny panoramas, ny convolutions amin'ny sehatra dia mivoatra mavitrika (jereo. ) ary tadiavo ireo zavatra fototra ao amin'ny frame.
Famantarana pose sy faminanian'ny olona
Efa nisy fandrosoana teo amin'ny fitiliana pose tamin'ny 2D - ankehitriny ny fifantohana dia nitodika tany amin'ny fiasana amin'ny fakantsary maro sy amin'ny 3D. Azo atao ihany koa, ohatra, ny mamantatra taolam-paty amin'ny rindrina amin'ny alàlan'ny fanaraha-maso ny fiovan'ny famantarana Wi-Fi rehefa mandalo amin'ny vatan'olombelona.
Be dia be ny asa vita teo amin'ny sehatry ny fitadiavana keypoint tanana. Nipoitra ny angon-drakitra vaovao, anisan'izany ireo mifototra amin'ny lahatsarin'ny fifanakalozan-dresaka eo amin'ny olona roa - izao ianao dia afaka maminavina ny fihetsiky ny tanana avy amin'ny feo na lahatsoratry ny resaka! Torak'izany ihany koa ny fandrosoana eo amin'ny asa fanaraha-maso maso (tomban'ny maso).
Azonao atao ihany koa ny mamantatra andiana asa lehibe mifandraika amin'ny faminanian'ny olona (ohatra, na ). Zava-dehibe ny asa ary, mifototra amin'ny resaka nifanaovana tamin'ny mpanoratra, dia matetika ampiasaina handinihana ny fitondran-tenan'ny mpandeha an-tongotra amin'ny fiara tsy miankina.
Fanodinkodinana miaraka amin'ny olona amin'ny sary sy horonan-tsary, efitrano fitting virtoaly
Ny fironana lehibe dia ny manova ny sarin'ny tarehy araka ny mari-pamantarana azo adika. Hevitra: deepfake mifototra amin'ny sary iray, manova fomba fitenenana mifototra amin'ny endrika endrika (), feedforward—manova masontsivana (ohatra, ). Nifindra avy amin'ny lohatenin'ny lohahevitra mankany amin'ny fampiharana ny asa ny famindrana fomba. Ny efitrano fitehirizana virtoaly dia tantara hafa; demos.
Generation avy amin'ny sketches/graphs
Ny fivoaran'ny hevitra hoe "Avelao ny grid hamokatra zavatra mifototra amin'ny traikefa teo aloha" dia lasa iray hafa: "Andao hampiseho ny grid izay safidy mahaliana antsika."
mamela anao hanao inpaint voatarika: ny mpampiasa dia afaka mamita ny fandokoana ampahany amin'ny tarehy amin'ny faritra voafafa amin'ny sary ary mahazo sary naverina tamin'ny laoniny arakaraka ny fahavitana.
Ny iray amin'ireo lahatsoratra Adobe 25 ho an'ny ICCV dia manambatra GAN roa: ny iray mameno ny sketch ho an'ny mpampiasa, ny iray kosa mamorona sary photorealistic avy amin'ny sketch ().
Teo aloha dia tsy ilaina ny grafofaonina amin'ny famoronana sary, fa ankehitriny dia natao fitoeran'ny fahalalana momba ny sehatra. Ny loka Best Paper Honorable Mentions mifototra amin'ny valin'ny ICCV dia nahazo ny lahatsoratra ihany koa . Amin'ny ankapobeny, azonao ampiasaina amin'ny fomba samihafa izy ireo: mamorona sary avy amin'ny sary, na sary sy lahatsoratra avy amin'ny grafika.
Famerenana ny famantarana ny olona sy ny fiara, manisa ny haben'ny vahoaka (!)
Lahatsoratra maro no natokana ho amin'ny fanaraha-maso ny olona sy hamantatra indray ny olona sy ny milina. Fa ny nanaitra anay dia lahatsoratra maromaro momba ny fanisana vahoaka, avy any Shina avokoa.
afisy 
Saingy ny Facebook, mifanohitra amin'izany, dia tsy mitonona anarana ilay sary. Ary manao izany amin'ny fomba mahaliana izy: mampiofana ny tamba-jotra neural hamokatra endrika tsy misy tsipiriany miavaka - mitovy, saingy tsy dia mitovy loatra ka azo fantarina tsara amin'ny alàlan'ny rafitra famantarana ny tarehy.
Fiarovana amin'ny fanafihan'ny fahavalo
Miaraka amin'ny fampandrosoana ny solosaina fahitana fampiharana eo amin'ny tontolo tena izy (ao amin'ny fiara mitondra tena, amin'ny famantarana ny tarehy), ny fanontaniana momba ny fahamendrehan'ny rafitra toy izany dia mihamitombo. Mba hampiasana tanteraka ny CV, mila mahazo antoka ianao fa ny rafitra dia mahatohitra ny fanafihan'ny fahavalo - izany no antony tsy nisy lahatsoratra momba ny fiarovana azy ireo noho ny momba ny fanafihana. Betsaka ny asa natao tamin'ny fanazavana ny vinavinan'ny tambajotra (sarintany saliency) sy ny fandrefesana ny fahatokisana ny vokatra.
Asa mitambatra
Amin'ny ankamaroan'ny asa miaraka amin'ny tanjona iray, ny fahafaha-manatsara ny kalitao dia efa reraka ny iray amin'ireo torolalana vaovao ho an'ny fampitomboana bebe kokoa ny kalitao dia ny fampianarana ny tambajotra neural hamaha olana maro mitovy amin'izany. Ohatra:
- vinavina hetsika + faminaniana fikorianan'ny optika,
- famelabelarana video + fampisehoana fiteny (),
- .
Misy ihany koa ny lahatsoratra momba ny fizarana, ny famaritana ny pose ary ny famantarana ny biby!
Zava-nisongadina
Saika fantatra mialoha avokoa ny lahatsoratra rehetra, hita ao amin'ny arXiv.org ny lahatsoratra. Noho izany, ny fanolorana ny asa toy ny Everybody Dance Now, FUNIT, Image2StyleGAN dia toa hafahafa ihany - ireo dia asa tena ilaina, fa tsy vaovao. Toa miharatsy ny fizotran'ny famoahana siantifika mahazatra eto - mandeha haingana loatra ny siansa.
Tena sarotra ny mamaritra ny asa tsara indrindra - maro amin'izy ireo, samy hafa ny lohahevitra. Lahatsoratra maromaro voaray .
Tianay ny hanasongadina ireo asa mahaliana amin'ny fomba fijerin'ny fanodikodinana sary, satria io no lohahevitray. Tena vaovao sy mahaliana ho anay izy ireo (tsy miseho ho tanjona izahay).
SingAN (fanomezana taratasy tsara indrindra) sy IGAN
SingGAN: , , .
INGAN: , , .
Fampandrosoana ny sary lalina Hevitra teo aloha avy amin'i Dmitry Ulyanov, Andrea Vedaldi ary Victor Lempitsky. Raha tokony hampiofana GAN amin'ny angon-drakitra ny tambajotra, dia mianatra avy amin'ny sombin-tsary iray ihany ireo tambajotra mba hahatsiarovana ny antontan'isa ao anatiny. Ny tambajotra voaofana dia ahafahanao manitsy sy mamelona sary (SinGAN) na mamorona sary vaovao amin'ny habe rehetra avy amin'ny firafitry ny sary tany am-boalohany, mitahiry ny rafitra eo an-toerana (InGAN).
SingGAN:
INGAN:
Mahita izay tsy vitan'ny GAN
.
Ny tamba-jotra neural izay miteraka sary dia matetika maka zezika misy tabataba kisendrasendra ho fampidirana. Ao amin'ny tambajotra voaofana, maro ny véctors fampidirana no mamorona habaka, hetsika kely izay mitondra fiovana kely amin'ny sary. Amin'ny fampiasana optimization, azonao atao ny mamaha ny olan'ny inverse: mitadiava zezika fampidirana mety ho an'ny sary avy amin'ny tontolo tena izy. Asehon'ny mpanoratra fa saika tsy azo atao mihitsy ny mahita sary mifanaraka tanteraka amin'ny tambazotra neural. Ny zavatra sasany ao amin'ny sary dia tsy voaforona (toa noho ny fiovaovan'ny zavatra maro).
Ny mpanoratra dia mihevitra fa ny GAN dia tsy mandrakotra ny habaka manontolo amin'ny sary, fa ampahany kely fotsiny, feno lavaka, toy ny fromazy. Rehefa miezaka mitady sary avy amin'ny tontolo tena izy ao anatiny isika dia tsy hahomby foana, satria ny GAN dia mbola tsy mamorona sary tena izy. Ny fahasamihafana misy eo amin'ny sary tena izy sy novokarina dia tsy azo resena raha tsy amin'ny alàlan'ny fanovana ny lanjan'ny tambajotra, izany hoe amin'ny alàlan'ny famerenana azy amin'ny sary manokana.
Rehefa voaofana ho an'ny sary manokana ny tambajotra dia azonao atao ny manandrana manodinkodina isan-karazany amin'ity sary ity. Ao amin'ny ohatra etsy ambany, nisy varavarankely nampiana ny sary, ary ny tambajotra koa dia niteraka fisaintsainana tao amin'ny lakozia. Midika izany fa ny tambajotra, na dia taorian'ny fanofanana fanampiny ho an'ny sary, dia tsy very ny fahafahana hahita ny fifandraisana misy eo amin'ny sehatra.
Ganalyze: Mankany amin'ny famaritana hita maso ny toetran'ny sary kognitive
, .
Amin'ny fampiasana ny fomba fiasa avy amin'ity asa ity, azonao atao ny mijery sy mandinika ny zavatra nianaran'ny tambajotra neural. Nanolo-kevitra ny hampiofana ny GAN ny mpanoratra mba hamorona sary izay hamoahan'ny tambajotra vinavina voafaritra. Nampiasa tambajotra maromaro ho ohatra ny lahatsoratra, anisan'izany ny MemNet, izay maminavina ny fitadidiana sary. Hita fa ho fahatsiarovana tsara kokoa, ny zavatra ao amin'ny sary dia tokony:
- akaiky kokoa ny foibe
- manana endrika boribory na efajoro kokoa ary rafitra tsotra,
- manao fanamiana,
- misy maso maneho hevitra (farafaharatsiny ho an'ny sarin'alika),
- mamiratra kokoa, tototry kokoa, amin'ny toe-javatra sasany, mena.
Liquid Warping GAN: Rafitra iray mitambatra ho an'ny fanahafana ny fihetsik'olombelona, ny fifindrana amin'ny endrika ary ny Synthesis View Novel
, , .
Pipeline hamoronana sarin'olona iray isaky ny mandeha. Ireo mpanoratra dia mampiseho ohatra mahomby amin'ny famindrana ny fihetsiky ny olona iray mankany amin'ny iray hafa, ny famindrana akanjo eo amin'ny olona ary ny famoronana zoro vaovao amin'ny olona iray - avy amin'ny sary iray izy rehetra. Tsy toy ny asa teo aloha, eto isika dia tsy mampiasa hevi-dehibe amin'ny 2D (pose), fa 3D mesh amin'ny vatana (pose + endrika) mba hamoronana fepetra. Ny mpanoratra ihany koa dia nieritreritra ny fomba hamindrana ny vaovao avy amin'ny sary tany am-boalohany mankany amin'ilay novokarina (Liquid Warping Block). Ny vokatra dia toa mendrika, fa ny famahana ny sary dia 256x256 ihany. Ho fampitahana, ny vid2vid, izay niseho herintaona lasa izay, dia afaka mamokatra amin'ny famahana ny 2048x1024, saingy mitaky fandraketana horonantsary 10 minitra ho toy ny angona.
FSGAN: Lohahevitra Agnostic Face Swapping and Reenactment
, .
Amin'ny voalohany dia toa tsy misy zavatra tsy mahazatra: deepfake miaraka amin'ny kalitao mahazatra kokoa na latsaka. Fa ny tena zava-bita ny asa dia ny fanoloana ny tarehy avy amin`ny sary iray. Tsy toy ny asa teo aloha, nitaky fiofanana tamin'ny sarin'olona manokana. Ny fantsona dia nanjary sarotra (famerenana sy fizarana, fijerena interpolation, fandokoana, fampifangaroana) ary misy hacks ara-teknika maro, fa ny vokatra dia mendrika izany.
Famantarana ny tsy nampoizina amin'ny alàlan'ny Image Resynthesis
.
Ahoana no ahafantaran'ny drone iray fa nisy zavatra niseho tampoka teo anoloany izay tsy tafiditra ao anatin'ny kilasy fizarana semantika? Misy fomba maro, fa ny mpanoratra dia manolotra algorithm vaovao intuitive izay miasa tsara kokoa noho ny teo alohany. Ny fizarana semantika dia vinavinaina avy amin'ny sarin-dalana fidirana. Izy io dia omena ho fampidirana amin'ny GAN (pix2pixHD), izay manandrana mamerina ny sary tany am-boalohany raha tsy amin'ny sarintany semantika. Ny tsy fetezana izay tsy tafiditra ao anatin'ny fizarana dia tsy mitovy amin'ny vokatra sy ny sary navoaka. Ireo sary telo (tany am-boalohany, fizarana, ary natsangana) dia ampidirina amin'ny tambajotra iray hafa izay maminavina ny tsy mety. Ny angon-drakitra momba izany dia novokarina avy amin'ny angon-drakitra Cityscapes fanta-daza, manova kisendrasendra ny kilasy amin'ny fizarana semantika. Mahaliana fa amin'ity toe-javatra ity, ny alika iray mijoro eo afovoan-dalana, saingy voazarazara araka ny tokony ho izy (izay midika fa misy kilasy ho azy), dia tsy anomaly, satria ny rafitra dia afaka nahalala izany.
famaranana
Alohan'ny fihaonambe dia zava-dehibe ny mahafantatra hoe inona no mahaliana anao ara-tsiansa, inona ny famelabelarana tianao hatrehina ary iza no hiresahana. Dia ho mamokatra kokoa ny zava-drehetra.
ICCV dia, voalohany indrindra, tambajotra. Takatrao fa misy institiota ambony sy sampana siantifika ambony, manomboka mahazo izany ianao, mahafantatra olona. Ary afaka mamaky lahatsoratra ao amin'ny arXiv ianao - ary raha ny marina, tena mahafinaritra fa tsy mila mandeha na aiza na aiza hahazoana fahalalana.
Ankoatra izany, amin'ny fihaonambe dia afaka mitsoraka lalina amin'ny lohahevitra tsy akaiky anao ianao ary mahita ny fironana. Eny, manorata lisitry ny lahatsoratra hovakiana. Raha mpianatra ianao, ity dia fotoana iray ahafahanao mihaona amin'ny mpampianatra mety, raha avy amin'ny indostria ianao, dia miaraka amin'ny mpampiasa vaovao, ary raha orinasa, dia asehoy ny tenanao.
Misoratra anarana amin'ny ! Tetikasa manokana ity: miara-mitarika azy izahay . Navoakanay teto avokoa ny sanganasa tianay nandritra ny fihaonambe: .
Source: www.habr.com
