និន្នាការនៃចក្ខុវិស័យកុំព្យូទ័រ។ ការរំលេច ICCV 2019

បណ្តាញសរសៃប្រសាទនៅក្នុងចក្ខុវិស័យកុំព្យូទ័រកំពុងអភិវឌ្ឍយ៉ាងសកម្ម បញ្ហាជាច្រើននៅតែឆ្ងាយពីការដោះស្រាយ។ ដើម្បីក្លាយជានិន្នាការក្នុងវិស័យរបស់អ្នក គ្រាន់តែតាមដានអ្នកមានឥទ្ធិពលនៅលើ Twitter ហើយអានអត្ថបទពាក់ព័ន្ធនៅលើ arXiv.org ។ ប៉ុន្តែយើងមានឱកាសទៅចូលរួមសន្និសីទអន្តរជាតិស្តីពីចក្ខុវិស័យកុំព្យូទ័រ (ICCV) 2019។ ឆ្នាំនេះវាកំពុងរៀបចំនៅប្រទេសកូរ៉េខាងត្បូង។ ឥឡូវនេះយើងចង់ចែករំលែកជាមួយអ្នកអាន Habr នូវអ្វីដែលយើងបានឃើញ និងរៀន។

មានពួកយើងជាច្រើននៅទីនោះពី Yandex៖ អ្នកបង្កើតរថយន្តបើកបរដោយខ្លួនឯង អ្នកស្រាវជ្រាវ និងអ្នកដែលដោះស្រាយកិច្ចការ CV ក្នុងសេវាកម្មបានមក។ ប៉ុន្តែឥឡូវនេះយើងចង់បង្ហាញពីទស្សនៈប្រធានបទបន្តិចនៃក្រុមរបស់យើង - មន្ទីរពិសោធន៍ឆ្លាតវៃម៉ាស៊ីន (Yandex MILAB) ។ បុរសផ្សេងទៀតប្រហែលជាសម្លឹងមើលសន្និសីទពីមុំផ្ទាល់ខ្លួនរបស់ពួកគេ។

តើមន្ទីរពិសោធន៍ធ្វើអ្វី?យើងធ្វើគម្រោងពិសោធន៍ទាក់ទងនឹងការបង្កើតរូបភាព និងតន្ត្រីសម្រាប់គោលបំណងកម្សាន្ត។ យើងចាប់អារម្មណ៍ជាពិសេសលើបណ្តាញសរសៃប្រសាទដែលអនុញ្ញាតឱ្យអ្នកផ្លាស់ប្តូរមាតិកាពីអ្នកប្រើប្រាស់ (សម្រាប់រូបថត កិច្ចការនេះត្រូវបានគេហៅថាការរៀបចំរូបភាព)។ ឧទាហរណ៍: លទ្ធផលនៃការងាររបស់យើងពីសន្និសីទ YaC 2019 ។
មានសន្និសិទវិទ្យាសាស្រ្តជាច្រើន ប៉ុន្តែអ្វីដែលលេចធ្លោជាងគេនោះ ហៅថាសន្និសីទ A* ដែលអត្ថបទអំពីបច្ចេកវិទ្យាដែលគួរឱ្យចាប់អារម្មណ៍ និងសំខាន់បំផុតត្រូវបានបោះពុម្ពជាធម្មតា។ មិនមានបញ្ជីពិតប្រាកដនៃសន្និសីទ A* ទេ នេះគឺជាបញ្ជីប្រហាក់ប្រហែល និងមិនទាន់ពេញលេញ៖ NeurIPS (អតីត NIPS), ICML, SIGIR, WWW, WSDM, KDD, ACL, CVPR, ICCV, ECCV ។ បីនាក់ចុងក្រោយមានជំនាញលើប្រធានបទ CV ។

ICCV នៅ glance: ផ្ទាំងរូបភាព, ការបង្រៀន, សិក្ខាសាលា, ឈរ

សន្និសិទនេះបានទទួលឯកសារចំនួន 1075 មានអ្នកចូលរួម 7500 នាក់ 103 នាក់មកពីប្រទេសរុស្ស៊ី មានអត្ថបទពីបុគ្គលិកនៃ Yandex, Skoltech, Samsung AI Center Moscow និងសាកលវិទ្យាល័យ Samara ។ ឆ្នាំនេះមិនមានអ្នកស្រាវជ្រាវកំពូលៗជាច្រើនបានទៅទស្សនា ICCV ទេ ប៉ុន្តែឧទាហរណ៍ Alexey (Alyosha) Efros ដែលតែងតែទាក់ទាញមនុស្សជាច្រើន៖

ស្ថិតិ។









នៅក្នុងសន្និសីទទាំងអស់នោះ អត្ថបទត្រូវបានបង្ហាញជាទម្រង់ផ្ទាំងរូបភាព (ព័ត៌មានបន្ថែម អំពីទម្រង់) ហើយអ្វីដែលល្អបំផុតក៏ត្រូវបានបង្ហាញជាទម្រង់របាយការណ៍ខ្លីៗផងដែរ។

នេះគឺជាស្នាដៃមួយចំនួនពីប្រទេសរុស្ស៊ី





ជាមួយនឹងការបង្រៀន អ្នកអាចចូលទៅក្នុងប្រធានបទជាក់លាក់មួយ វានឹកឃើញដល់ការបង្រៀននៅសាកលវិទ្យាល័យមួយ។ វាត្រូវបានអានដោយមនុស្សម្នាក់ ជាធម្មតាដោយមិននិយាយអំពីការងារជាក់លាក់។ ឧទាហរណ៍នៃការបង្រៀនត្រជាក់ (ម៉ៃឃើល ប្រោន ការយល់ដឹងអំពីពណ៌ និងបំពង់កែច្នៃរូបភាពក្នុងកាមេរ៉ាសម្រាប់ចក្ខុវិស័យកុំព្យូទ័រ):

នៅសិក្ខាសាលាផ្ទុយទៅវិញពួកគេនិយាយអំពីអត្ថបទ។ ជាធម្មតា ទាំងនេះគឺជាការងារនៅក្នុងប្រធានបទតូចចង្អៀតមួយចំនួន រឿងពីប្រធានមន្ទីរពិសោធន៍អំពីការងារចុងក្រោយបង្អស់របស់សិស្ស ឬអត្ថបទដែលមិនត្រូវបានទទួលយកទៅសន្និសីទធំ។

ក្រុមហ៊ុនឧបត្ថម្ភមក ICCV ដោយមានជំហរ។ នៅឆ្នាំនេះ Google, Facebook, Amazon និងក្រុមហ៊ុនអន្តរជាតិជាច្រើនបានមក ក៏ដូចជាការចាប់ផ្តើមអាជីវកម្មមួយចំនួនធំផងដែរ - កូរ៉េ និងចិន។ ជាពិសេសមានការចាប់ផ្ដើមអាជីវកម្មជាច្រើនដែលមានឯកទេសក្នុងការដាក់ស្លាកទិន្នន័យ។ មានការសម្តែងនៅស្តង់ អ្នកអាចយកទំនិញ និងសួរសំណួរបាន។ សម្រាប់គោលបំណងបរបាញ់ ក្រុមហ៊ុនឧបត្ថម្ភមានពិធីជប់លៀង។ អ្នកអាចចូលទៅក្នុងពួកគេ ប្រសិនបើអ្នកបញ្ចុះបញ្ចូលអ្នកជ្រើសរើសបុគ្គលិកថាអ្នកចាប់អារម្មណ៍ ហើយថាអ្នកអាចឆ្លងកាត់ការសម្ភាសន៍។ ប្រសិនបើអ្នកបានបោះពុម្ពអត្ថបទមួយ (ឬលើសពីនេះទៅទៀត បានបង្ហាញវា) បានចាប់ផ្តើម ឬកំពុងបញ្ចប់ថ្នាក់បណ្ឌិត នេះគឺជាការបូកមួយ ប៉ុន្តែពេលខ្លះអ្នកអាចចរចារនៅកន្លែងឈរដោយសួរសំណួរគួរឱ្យចាប់អារម្មណ៍ទៅកាន់វិស្វកររបស់ក្រុមហ៊ុន។

និន្នាការ

សន្និសីទអនុញ្ញាតឱ្យអ្នកពិនិត្យមើលវាល CV ទាំងមូល។ តាមចំនួនអ្នកបង្ហោះលើប្រធានបទជាក់លាក់មួយ អ្នកអាចវាយតម្លៃថាតើប្រធានបទនេះក្តៅប៉ុណ្ណា។ ការសន្និដ្ឋានខ្លះណែនាំខ្លួនឯងដោយផ្អែកលើពាក្យគន្លឹះ៖

Zero-shot, មួយបាញ់, ពីរបីគ្រាប់, ការត្រួតពិនិត្យដោយខ្លួនឯង និងពាក់កណ្តាលត្រួតពិនិត្យ: វិធីសាស្រ្តថ្មីចំពោះកិច្ចការដែលបានសិក្សាយូរ

មនុស្សកំពុងរៀនប្រើទិន្នន័យឱ្យកាន់តែមានប្រសិទ្ធភាព។ ឧទាហរណ៍នៅក្នុង សប្បាយ វាអាចធ្វើទៅបានដើម្បីបង្កើតការបញ្ចេញទឹកមុខរបស់សត្វដែលមិនមាននៅក្នុងឈុតហ្វឹកហាត់ (នៅក្នុងកម្មវិធីដោយផ្តល់នូវរូបភាពយោងជាច្រើន) ។ គំនិតនៃរូបភាពជ្រៅពីមុនត្រូវបានបង្កើតឡើង ហើយឥឡូវនេះបណ្តាញ GAN អាចត្រូវបានបណ្តុះបណ្តាលលើរូបភាពតែមួយ - យើងនឹងនិយាយអំពីរឿងនេះខាងក្រោម។ នៅក្នុងការរំលេច. អ្នកអាចប្រើការគ្រប់គ្រងដោយខ្លួនឯងសម្រាប់ការបណ្តុះបណ្តាលជាមុន (ដោះស្រាយបញ្ហាដែលអ្នកអាចសំយោគទិន្នន័យដែលបានតម្រឹម ដូចជាការទស្សន៍ទាយមុំបង្វិលនៃរូបភាព) ឬរៀនក្នុងពេលដំណាលគ្នាពីទិន្នន័យដែលមានស្លាក និងមិនមានស្លាក។ ក្នុងន័យនេះ អត្ថបទអាចចាត់ទុកថាជាមកុដនៃការបង្កើត S4L៖ ការរៀនពាក់កណ្តាលត្រួតពិនិត្យដោយខ្លួនឯង. ហើយនេះគឺជាការបណ្តុះបណ្តាលមុននៅលើ ImageNet មិនមែនតែងតែទេ ជួយ។

3D និង 360°

បញ្ហាដែលភាគច្រើនត្រូវបានដោះស្រាយសម្រាប់រូបថត (ការបែងចែក ការរកឃើញ) ទាមទារការស្រាវជ្រាវបន្ថែមសម្រាប់ម៉ូដែល 3D និងវីដេអូបែប Panoramic ។ យើងបានឃើញអត្ថបទជាច្រើនស្តីពីការបំប្លែង RGB និង RGB-D ទៅជា 3D ។ បញ្ហាមួយចំនួន ដូចជាការប៉ាន់ប្រមាណមនុស្ស អាចត្រូវបានដោះស្រាយដោយធម្មជាតិជាងមុនដោយការផ្លាស់ប្តូរទៅគំរូ 3D ។ ប៉ុន្តែ​មិនទាន់មាន​ការឯកភាពគ្នា​នៅឡើយ​ទេ​អំពី​របៀប​តំណាងឱ្យ​គំរូ XNUMXD យ៉ាងពិតប្រាកដ​ក្នុង​ទម្រង់ជា Mesh, point cloud, voxels ឬ SDF។ នេះជាជម្រើសមួយផ្សេងទៀត៖

នៅ​ក្នុង​ទេសភាព ការ​វិល​ជុំ​នៅ​លើ​លំហ​កំពុង​អភិវឌ្ឍ​យ៉ាង​សកម្ម (មើល។ ការតំរង់ទិស-យល់ដឹងផ្នែក Semantic នៅលើ Icosahedron Spheres) ហើយស្វែងរកវត្ថុសំខាន់ៗនៅក្នុងស៊ុម។

ការរកឃើញទីតាំង និងការព្យាករណ៍ចលនារបស់មនុស្ស

មានការជឿនលឿនក្នុងការចាប់សញ្ញាក្នុង 2D រួចហើយ - ឥឡូវនេះការផ្តោតអារម្មណ៍បានផ្លាស់ប្តូរឆ្ពោះទៅរកការធ្វើការជាមួយកាមេរ៉ាច្រើន និងជា 3D។ ឧទាហរណ៍ អ្នកក៏អាចរកឃើញគ្រោងឆ្អឹងតាមរយៈជញ្ជាំងដោយតាមដានការផ្លាស់ប្តូរនៃសញ្ញា Wi-Fi នៅពេលដែលវាឆ្លងកាត់រាងកាយមនុស្ស។

ការងារជាច្រើនត្រូវបានធ្វើរួចនៅក្នុងផ្នែកនៃការរកឃើញចំណុចគន្លឹះដោយដៃ។ សំណុំទិន្នន័យថ្មីបានបង្ហាញខ្លួន រួមទាំងឯកសារដែលផ្អែកលើវីដេអូនៃការសន្ទនារវាងមនុស្សពីរនាក់ - ឥឡូវនេះអ្នកអាចទស្សន៍ទាយកាយវិការដៃពីសំឡេង ឬអត្ថបទនៃការសន្ទនា! វឌ្ឍនភាពដូចគ្នានេះត្រូវបានធ្វើឡើងនៅក្នុងកិច្ចការតាមដានភ្នែក (ការប៉ាន់ប្រមាណសម្លឹងមើល)។

គេក៏អាចកំណត់អត្តសញ្ញាណក្រុមធំនៃការងារដែលទាក់ទងនឹងការព្យាករណ៍ចលនារបស់មនុស្ស (ឧទាហរណ៍ ការទស្សន៍ទាយចលនារបស់មនុស្សតាមរយៈការលាបពណ៌ Spatio-Temporal ឬ ការទស្សន៍ទាយតាមរចនាសម្ព័នជួយបង្កើតគំរូចលនាមនុស្ស 3D) ភារកិច្ចមានសារៈសំខាន់ ហើយផ្អែកលើការសន្ទនាជាមួយអ្នកនិពន្ធ ជាញឹកញាប់បំផុតត្រូវបានប្រើដើម្បីវិភាគឥរិយាបថរបស់អ្នកថ្មើរជើងក្នុងការបើកបរដោយស្វ័យភាព។

ឧបាយកលជាមួយមនុស្សនៅក្នុងរូបថត និងវីដេអូ បន្ទប់សមនិម្មិត

និន្នាការចម្បងគឺការផ្លាស់ប្តូររូបភាពមុខតាមប៉ារ៉ាម៉ែត្រដែលអាចបកស្រាយបាន។ គំនិត៖ ការក្លែងបន្លំជ្រៅផ្អែកលើរូបភាពមួយ ការផ្លាស់ប្តូរការបញ្ចេញមតិដោយផ្អែកលើការបង្ហាញមុខ (អាយ៉ងហ្គាន), feedforward - ផ្លាស់ប្តូរប៉ារ៉ាម៉ែត្រ (ឧទាហរណ៍, អាយុ) ការផ្ទេររចនាប័ទ្មបានផ្លាស់ប្តូរពីចំណងជើងនៃប្រធានបទទៅកម្មវិធីនៃការងារ។ បន្ទប់​សម​និម្មិត​គឺ​ជា​រឿង​មួយ​ផ្សេង​គ្នា ពួកគេ​ស្ទើរ​តែ​ធ្វើ​ការ​មិន​ល្អ នេះគឺជាឧទាហរណ៍មួយ។ ការបង្ហាញ។

ការបង្កើតពីគំនូរព្រាង / ក្រាហ្វ

ការអភិវឌ្ឍន៍នៃគំនិត "អនុញ្ញាតឱ្យក្រឡាចត្រង្គបង្កើតអ្វីមួយដែលផ្អែកលើបទពិសោធន៍ពីមុន" បានក្លាយជាមួយផ្សេងទៀត: "សូមបង្ហាញក្រឡាចត្រង្គដែលជម្រើសដែលយើងចាប់អារម្មណ៍" ។

SC-FEGAN អនុញ្ញាតឱ្យអ្នកធ្វើថ្នាំលាបដែលបានណែនាំ៖ អ្នកប្រើប្រាស់អាចបញ្ចប់ការគូរផ្នែកនៃមុខនៅក្នុងតំបន់ដែលបានលុបនៃរូបភាព និងទទួលបានរូបភាពដែលបានស្តារឡើងវិញអាស្រ័យលើការបញ្ចប់។

អត្ថបទមួយក្នុងចំនោម 25 អត្ថបទរបស់ Adobe សម្រាប់ ICCV រួមបញ្ចូលគ្នានូវ GANs ពីរ៖ មួយបំពេញគំនូរព្រាងសម្រាប់អ្នកប្រើប្រាស់ មួយទៀតបង្កើតរូបភាពជាក់ស្តែងពីគំនូរព្រាង (ទំព័រគម្រោង).

កាលពីមុន ក្រាហ្វិចមិនត្រូវបានគេត្រូវការក្នុងការបង្កើតរូបភាពនោះទេ ប៉ុន្តែឥឡូវនេះពួកវាត្រូវបានបង្កើតជាធុងនៃចំណេះដឹងអំពីកន្លែងកើតហេតុ។ ពានរង្វាន់ Best Paper Honorable Mentions ដោយផ្អែកលើលទ្ធផលនៃ ICCV ក៏ត្រូវបានឈ្នះដោយអត្ថបទផងដែរ។ ការបញ្ជាក់ពីគុណលក្ខណៈវត្ថុ និងទំនាក់ទំនងនៅក្នុងការបង្កើតឆាកអន្តរកម្ម. ជាទូទៅ អ្នកអាចប្រើវាតាមវិធីផ្សេងៗគ្នា៖ បង្កើតក្រាហ្វពីរូបភាព ឬរូបភាព និងអត្ថបទពីក្រាហ្វ។

ការកំណត់អត្តសញ្ញាណមនុស្ស និងរថយន្តឡើងវិញ រាប់ទំហំហ្វូងមនុស្ស (!)

អត្ថបទជាច្រើនត្រូវបានឧទ្ទិសដល់ការតាមដានមនុស្ស និងកំណត់អត្តសញ្ញាណមនុស្ស និងម៉ាស៊ីនឡើងវិញ។ ប៉ុន្តែ​អ្វី​ដែល​ធ្វើ​ឲ្យ​យើង​ភ្ញាក់​ផ្អើល​នោះ​គឺ​អត្ថបទ​មួយ​ចំនួន​ស្តី​ពី​ការ​រាប់​ហ្វូង​មនុស្ស ដែល​សុទ្ធ​តែ​មក​ពី​ប្រទេស​ចិន។

ផ្ទាំងរូបភាព








ប៉ុន្តែ​ផ្ទុយ​ទៅ​វិញ Facebook មិន​បញ្ចេញ​ឈ្មោះ​រូបថត​នោះ​ទេ។ ហើយវាធ្វើដូចនេះក្នុងវិធីគួរឱ្យចាប់អារម្មណ៍មួយ៖ វាបង្ហាត់បណ្តាញសរសៃប្រសាទដើម្បីបង្កើតមុខដោយមិនមានព័ត៌មានលម្អិតប្លែកពីគេ - ស្រដៀងគ្នា ប៉ុន្តែមិនស្រដៀងគ្នាទេ ដែលវាអាចត្រូវបានកំណត់យ៉ាងត្រឹមត្រូវដោយប្រព័ន្ធសម្គាល់មុខ។

ការការពារប្រឆាំងនឹងការវាយប្រហាររបស់សត្រូវ

ជាមួយនឹងការអភិវឌ្ឍនៃកម្មវិធីចក្ខុវិស័យកុំព្យូទ័រនៅក្នុងពិភពពិត (នៅក្នុងរថយន្តដែលបើកបរដោយខ្លួនឯង ក្នុងការសម្គាល់មុខ) សំណួរនៃភាពជឿជាក់នៃប្រព័ន្ធបែបនេះកើតឡើងកាន់តែខ្លាំងឡើង។ ដើម្បីប្រើប្រាស់ CV ឱ្យបានពេញលេញ អ្នកត្រូវតែប្រាកដថាប្រព័ន្ធនេះមានភាពធន់នឹងការវាយប្រហារពីសត្រូវ - នោះហើយជាមូលហេតុដែលមិនមានអត្ថបទអំពីការការពារប្រឆាំងនឹងពួកគេតិចជាងអំពីការវាយប្រហារដោយខ្លួនឯង។ មានការងារជាច្រើនលើការពន្យល់ការព្យាករណ៍បណ្តាញ (ផែនទីប្រៃសណីយ៍) និងការវាស់វែងទំនុកចិត្តលើលទ្ធផល។

ភារកិច្ចរួមបញ្ចូលគ្នា

នៅក្នុងកិច្ចការភាគច្រើនដែលមានគោលដៅតែមួយ លទ្ធភាពសម្រាប់ការកែលម្អគុណភាពគឺអស់កំលាំងហើយ ទិសដៅថ្មីមួយសម្រាប់ការបង្កើនគុណភាពបន្ថែមទៀតគឺការបង្រៀនបណ្តាញសរសៃប្រសាទដើម្បីដោះស្រាយបញ្ហាស្រដៀងគ្នាជាច្រើនក្នុងពេលដំណាលគ្នា។ ឧទាហរណ៍:
- ការព្យាករណ៍សកម្មភាព + ការព្យាករណ៍លំហូរអុបទិក,
- បទបង្ហាញវីដេអូ + បទបង្ហាញភាសា (វីដេអូBERT),
- គុណភាពបង្ហាញខ្ពស់ + HDR.

ក៏មានអត្ថបទស្តីពីការបែងចែក ការប្តេជ្ញាចិត្ត និងការកំណត់អត្តសញ្ញាណសត្វឡើងវិញ!

គំនួសពណ៌

អត្ថបទស្ទើរតែទាំងអស់ត្រូវបានគេដឹងជាមុន អត្ថបទមាននៅលើគេហទំព័រ arXiv.org ។ ដូច្នេះ ការបង្ហាញស្នាដៃដូចជា Everybody Dance Now, FUNIT, Image2StyleGAN ហាក់ដូចជាចម្លែកណាស់ - ទាំងនេះគឺជាស្នាដៃដែលមានប្រយោជន៍ខ្លាំងណាស់ ប៉ុន្តែមិនមែនថ្មីទេ។ វាហាក់បីដូចជាដំណើរការបុរាណនៃការបោះពុម្ភផ្សាយបែបវិទ្យាសាស្ត្រកំពុងបែកបាក់នៅទីនេះ - វិទ្យាសាស្ត្រកំពុងដំណើរការលឿនពេក។

វាពិបាកណាស់ក្នុងការកំណត់ការងារល្អបំផុត - មានច្រើននៃពួកគេ មុខវិជ្ជាខុសគ្នា។ អត្ថបទជាច្រើនបានទទួល រង្វាន់ និងការលើកឡើង.

យើងចង់រំលេចស្នាដៃដែលគួរឱ្យចាប់អារម្មណ៍ពីចំណុចនៃទិដ្ឋភាពនៃការរៀបចំរូបភាព ព្រោះនេះជាប្រធានបទរបស់យើង។ ពួកវាប្រែជាស្រស់ និងគួរឱ្យចាប់អារម្មណ៍សម្រាប់យើង (យើងមិនធ្វើពុតជាគោលបំណងទេ)។

SinGAN (ពានរង្វាន់ក្រដាសល្អបំផុត) និង InGAN

ស៊ីងហ្គាន៖ ទំព័រគម្រោង, arXiv, កូដ.
អ៊ីនហ្គែន៖ ទំព័រគម្រោង, arXiv, កូដ.

ការអភិវឌ្ឍន៍រូបភាពជ្រៅ គំនិតពីមុនពី Dmitry Ulyanov, Andrea Vedaldi និង Victor Lempitsky ។ ជំនួសឱ្យការបណ្តុះបណ្តាល GAN នៅលើសំណុំទិន្នន័យ បណ្តាញរៀនពីបំណែកនៃរូបភាពដូចគ្នា ដើម្បីចងចាំស្ថិតិនៅក្នុងវា។ បណ្តាញដែលបានបណ្តុះបណ្តាលអនុញ្ញាតឱ្យអ្នកកែសម្រួល និងធ្វើឱ្យរូបភាពមានចលនា (SinGAN) ឬបង្កើតរូបភាពថ្មីនៃទំហំណាមួយពីវាយនភាពនៃរូបភាពដើម ដោយរក្សារចនាសម្ព័ន្ធមូលដ្ឋាន (InGAN)។

ស៊ីងហ្គាន៖

អ៊ីនហ្គែន៖

មើលអ្វីដែល GAN មិនអាចបង្កើតបាន។

ទំព័រគម្រោង.

បណ្តាញសរសៃប្រសាទដែលបង្កើតរូបភាពច្រើនតែយកវ៉ិចទ័រនៃសំលេងរំខានចៃដន្យជាការបញ្ចូល។ នៅក្នុងបណ្តាញដែលបានបណ្តុះបណ្តាល វ៉ិចទ័របញ្ចូលជាច្រើនបង្កើតជាលំហ ចលនាតូចៗដែលនាំទៅដល់ការផ្លាស់ប្តូរតូចៗនៅក្នុងរូបភាព។ ដោយប្រើការបង្កើនប្រសិទ្ធភាព អ្នកអាចដោះស្រាយបញ្ហាបញ្ច្រាស៖ ស្វែងរកវ៉ិចទ័របញ្ចូលដែលសមរម្យសម្រាប់រូបភាពពីពិភពពិត។ អ្នកនិពន្ធបង្ហាញថាវាស្ទើរតែមិនអាចរកឃើញរូបភាពដែលត្រូវគ្នាទាំងស្រុងនៅក្នុងបណ្តាញសរសៃប្រសាទ។ វត្ថុមួយចំនួននៅក្នុងរូបភាពមិនត្រូវបានបង្កើតទេ (ជាក់ស្តែងដោយសារតែភាពប្រែប្រួលដ៏ធំនៃវត្ថុទាំងនេះ)។

អ្នកនិពន្ធសន្មត់ថា GAN មិនគ្របដណ្តប់ទំហំទាំងមូលនៃរូបភាពនោះទេ ប៉ុន្តែមានតែផ្នែករងមួយចំនួនប៉ុណ្ណោះ ដែលពោរពេញទៅដោយរន្ធ ដូចជាឈីស។ នៅពេលដែលយើងព្យាយាមស្វែងរករូបថតពីពិភពពិតនៅក្នុងនោះ យើងនឹងបរាជ័យជានិច្ច ពីព្រោះ GAN នៅតែបង្កើតរូបថតមិនពិតទាំងស្រុង។ ភាពខុសគ្នារវាងរូបភាពពិត និងរូបភាពដែលបានបង្កើតអាចយកឈ្នះបានតែតាមរយៈការផ្លាស់ប្តូរទម្ងន់នៃបណ្តាញ ពោលគឺដោយការបង្ហាត់វាឡើងវិញសម្រាប់រូបថតជាក់លាក់មួយ។

នៅពេលដែលបណ្តាញត្រូវបានបណ្តុះបណ្តាលបន្ថែមសម្រាប់រូបថតជាក់លាក់មួយ អ្នកអាចសាកល្បងឧបាយកលផ្សេងៗជាមួយរូបភាពនេះ។ ក្នុងឧទាហរណ៍ខាងក្រោម បង្អួចមួយត្រូវបានបន្ថែមទៅរូបថត ហើយបណ្តាញបន្ថែមការឆ្លុះបញ្ចាំងលើអង្គភាពផ្ទះបាយ។ នេះមានន័យថាបណ្តាញនេះ សូម្បីតែបន្ទាប់ពីការបណ្តុះបណ្តាលបន្ថែមសម្រាប់ការថតរូប ក៏មិនបាត់បង់សមត្ថភាពក្នុងការមើលឃើញទំនាក់ទំនងរវាងវត្ថុនៅក្នុងកន្លែងកើតហេតុដែរ។

Ganalyze៖ ឆ្ពោះទៅរកនិយមន័យដែលមើលឃើញនៃលក្ខណៈសម្បត្តិរូបភាពការយល់ដឹង

ទំព័រគម្រោង, arXiv.

ដោយប្រើវិធីសាស្រ្តពីការងារនេះ អ្នកអាចស្រមៃមើល និងវិភាគនូវអ្វីដែលបណ្តាញសរសៃប្រសាទបានរៀន។ អ្នកនិពន្ធស្នើឱ្យបណ្តុះបណ្តាល GAN ដើម្បីបង្កើតរូបភាពដែលបណ្តាញនឹងបង្កើតការព្យាករណ៍ជាក់លាក់។ អត្ថបទនេះបានប្រើបណ្តាញជាច្រើនជាឧទាហរណ៍ រួមទាំង MemNet ដែលព្យាករណ៍អំពីការចងចាំរូបថត។ វាប្រែថាសម្រាប់ការចងចាំកាន់តែប្រសើរ វត្ថុនៅក្នុងរូបថតគួរតែ៖

• ខិតទៅជិតមជ្ឈមណ្ឌល
• មានរាងមូល ឬការ៉េ និងរចនាសម្ព័ន្ធសាមញ្ញ
• នៅលើផ្ទៃខាងក្រោយឯកសណ្ឋាន,
• មានភ្នែកបញ្ចេញមតិ (យ៉ាងហោចណាស់សម្រាប់រូបថតឆ្កែ),
• ភ្លឺជាង ឆ្អែតជាង ក្នុងករណីខ្លះ ក្រហមជាង។

Liquid Warping GAN៖ ក្របខ័ណ្ឌបង្រួបបង្រួមសម្រាប់ការធ្វើត្រាប់តាមចលនារបស់មនុស្ស ការផ្ទេររូបរាង និងការសំយោគទិដ្ឋភាពប្រលោមលោក

ទំព័រគម្រោង, arXiv, កូដ.

បំពង់សម្រាប់បង្កើតរូបថតមនុស្សមួយសន្លឹកក្នុងពេលតែមួយ។ អ្នកនិពន្ធបង្ហាញពីឧទាហរណ៍ជោគជ័យនៃការផ្ទេរចលនារបស់មនុស្សម្នាក់ទៅមនុស្សម្នាក់ទៀត ការផ្ទេរសម្លៀកបំពាក់រវាងមនុស្ស និងបង្កើតមុំថ្មីនៃមនុស្សម្នាក់ - ទាំងអស់ចេញពីរូបថតមួយ។ មិនដូចស្នាដៃមុនទេ នៅទីនេះយើងមិនប្រើចំណុចសំខាន់ក្នុង 2D (pose) ប៉ុន្តែជាសំណាញ់ 3D នៃរាងកាយ (pose + shape) ដើម្បីបង្កើតលក្ខខណ្ឌ។ អ្នកនិពន្ធក៏បានស្វែងយល់ពីរបៀបផ្ទេរព័ត៌មានពីរូបភាពដើមទៅរូបភាពដែលបានបង្កើត (Liquid Warping Block)។ លទ្ធផលមើលទៅសមរម្យ ប៉ុន្តែគុណភាពបង្ហាញនៃរូបភាពលទ្ធផលគឺត្រឹមតែ 256x256 ប៉ុណ្ណោះ។ សម្រាប់ការប្រៀបធៀប vid2vid ដែលបានបង្ហាញខ្លួនកាលពីមួយឆ្នាំមុន គឺអាចបង្កើតបានក្នុងកម្រិតភាពច្បាស់ 2048x1024 ប៉ុន្តែវាត្រូវការពេលថតវីដេអូ 10 នាទីជាសំណុំទិន្នន័យ។

FSGAN៖ ប្រធានបទនៃការប្តូរមុខអាហ្រ្វិក និងការផ្លាស់ប្តូរឡើងវិញ

ទំព័រគម្រោង, arXiv.

ដំបូងវាហាក់បីដូចជាគ្មានអ្វីចម្លែកទេ: ក្លែងក្លាយជ្រៅដែលមានគុណភាពធម្មតាច្រើនឬតិច។ ប៉ុន្តែសមិទ្ធិផលសំខាន់នៃការងារគឺការជំនួសមុខពីរូបភាពមួយ។ មិនដូចស្នាដៃមុនទេ ការបណ្តុះបណ្តាលត្រូវបានទាមទារលើរូបថតជាច្រើននៃមនុស្សជាក់លាក់។ បំពង់បង្ហូរប្រេងបានប្រែទៅជាពិបាក (ការបញ្ចូលឡើងវិញ និងការបែងចែក ការមើលអន្តរប៉ូល ការលាបពណ៌ ការលាយបញ្ចូលគ្នា) និងជាមួយនឹងការ hack បច្ចេកទេសជាច្រើន ប៉ុន្តែលទ្ធផលគឺមានតម្លៃ។

ការរកឃើញអ្វីដែលមិនបានរំពឹងទុកតាមរយៈការសំយោគរូបភាពឡើងវិញ

arXiv.

តើ​ដ្រូន​អាច​យល់​បាន​យ៉ាង​ណា​ថា វត្ថុ​មួយ​បាន​លេច​ឡើង​ភ្លាមៗ​នៅ​ពី​មុខ​វា ដែល​មិន​ធ្លាក់​ចូល​ទៅ​ក្នុង​ថ្នាក់​បែងចែក​តាម​ន័យ​ណាមួយ? មានវិធីសាស្រ្តជាច្រើន ប៉ុន្តែអ្នកនិពន្ធស្នើឱ្យប្រើក្បួនដោះស្រាយវិចារណញាណថ្មី ដែលដំណើរការប្រសើរជាងអ្នកកាន់តំណែងមុនរបស់វា។ ការបែងចែកតាមន័យធៀបត្រូវបានព្យាករណ៍ពីរូបភាពផ្លូវបញ្ចូល។ វាត្រូវបានបញ្ចូលជាធាតុបញ្ចូលទៅ GAN (pix2pixHD) ដែលព្យាយាមស្ដាររូបភាពដើមពីផែនទីតាមន័យធៀបប៉ុណ្ណោះ។ ភាពមិនប្រក្រតីដែលមិនធ្លាក់ចូលទៅក្នុងផ្នែកណាមួយនឹងមានភាពខុសគ្នាខ្លាំងនៅក្នុងលទ្ធផល និងរូបភាពដែលបានបង្កើត។ រូបភាពទាំងបី (ដើម ការបែងចែក និងបង្កើតឡើងវិញ) បន្ទាប់មកត្រូវបានបញ្ចូលទៅក្នុងបណ្តាញមួយផ្សេងទៀតដែលព្យាករណ៍ពីភាពមិនប្រក្រតី។ សំណុំទិន្នន័យសម្រាប់នេះត្រូវបានបង្កើតចេញពីសំណុំទិន្នន័យ Cityscapes ដ៏ល្បី ដោយផ្លាស់ប្តូរថ្នាក់ដោយចៃដន្យនៅលើផ្នែក semantic ។ គួរឱ្យចាប់អារម្មណ៍នៅក្នុងការកំណត់នេះ សត្វឆ្កែមួយក្បាលដែលឈរនៅកណ្តាលផ្លូវ ប៉ុន្តែត្រូវបានបែងចែកយ៉ាងត្រឹមត្រូវ (ដែលមានន័យថាមានថ្នាក់សម្រាប់វា) មិនមែនជាភាពខុសប្រក្រតីនោះទេ ដោយសារប្រព័ន្ធអាចសម្គាល់វាបាន។

សេចក្តីសន្និដ្ឋាន

មុនពេលសន្និសិទ វាជាការសំខាន់ណាស់ដែលត្រូវដឹងពីចំណាប់អារម្មណ៍ផ្នែកវិទ្យាសាស្ត្ររបស់អ្នក ការបង្ហាញអ្វីដែលអ្នកចង់ចូលរួម និងអ្នកណាដែលត្រូវនិយាយជាមួយ។ បន្ទាប់មកអ្វីៗនឹងកាន់តែមានផលិតភាព។

ICCV គឺជាបណ្តាញទំនាក់ទំនងទីមួយ និងសំខាន់បំផុត។ អ្នកយល់ថាមានវិទ្យាស្ថានកំពូលៗ និងនាយកដ្ឋានវិទ្យាសាស្ត្រកំពូល អ្នកចាប់ផ្តើមយល់ពីរឿងនេះ ស្គាល់មនុស្ស។ ហើយអ្នកអាចអានអត្ថបទនៅលើ arXiv - ហើយដោយវិធីនេះ វាពិតជាល្អណាស់ដែលអ្នកមិនចាំបាច់ទៅកន្លែងណាដើម្បីទទួលបានចំណេះដឹង។

លើសពីនេះ នៅក្នុងសន្និសិទ អ្នកអាចចូលជ្រៅទៅក្នុងប្រធានបទដែលមិននៅជិតអ្នក និងមើលឃើញនិន្នាការ។ ជាការប្រសើរណាស់, សរសេរចេញបញ្ជីនៃអត្ថបទដើម្បីអាន។ ប្រសិនបើអ្នកជាសិស្ស នេះគឺជាឱកាសមួយសម្រាប់អ្នកដើម្បីជួបជាមួយគ្រូដែលមានសក្តានុពល ប្រសិនបើអ្នកមកពីឧស្សាហកម្ម បន្ទាប់មកជាមួយនិយោជកថ្មី ហើយប្រសិនបើក្រុមហ៊ុនមួយ បន្ទាប់មកបង្ហាញខ្លួនអ្នក។

ជា​វ​ជា​ប្រចាំ​ទៅ​កាន់ @loss_function_porn! នេះគឺជាគម្រោងផ្ទាល់ខ្លួន៖ យើងកំពុងដឹកនាំវារួមគ្នាជាមួយ កាហ្វលី. យើង​បាន​បង្ហោះ​រាល់​ស្នាដៃ​ដែល​យើង​ចូល​ចិត្ត​ក្នុង​អំឡុង​ពេល​សន្និសីទ​នៅ​ទីនេះ៖ @loss_function_live.

ប្រភព: www.habr.com