ტენდენციები კომპიუტერული ხედვაში. ICCV 2019 მაჩვენებლები

კომპიუტერული ხედვის ნერვული ქსელები აქტიურად ვითარდება, ბევრი პრობლემა ჯერ კიდევ შორს არის გადაჭრისგან. იმისათვის, რომ იყოთ ტრენდული თქვენს სფეროში, უბრალოდ მიჰყევით ინფლუენსერებს Twitter-ზე და წაიკითხეთ შესაბამისი სტატიები arXiv.org-ზე. მაგრამ ჩვენ გვქონდა შესაძლებლობა წავსულიყავით კომპიუტერული ხედვის საერთაშორისო კონფერენციაზე (ICCV) 2019. წელს ის იმართება სამხრეთ კორეაში. ახლა გვინდა Habr-ის მკითხველებს გავუზიაროთ ის, რაც ვნახეთ და ვისწავლეთ.

Yandex-დან ბევრი ვიყავით: თვითმართვადი მანქანების დეველოპერები, მკვლევარები და ისინი, ვინც სერვისებში CV ამოცანებს ასრულებენ, მოვიდნენ. მაგრამ ახლა ჩვენ გვინდა წარმოვადგინოთ ჩვენი გუნდის ოდნავ სუბიექტური თვალსაზრისი - მანქანების დაზვერვის ლაბორატორია (Yandex MILAB). სხვა ბიჭებმა კონფერენციას ალბათ საკუთარი კუთხით შეხედეს.

რას აკეთებს ლაბორატორია?ჩვენ ვაკეთებთ ექსპერიმენტულ პროექტებს, რომლებიც დაკავშირებულია სურათებისა და მუსიკის გენერაციასთან გასართობი მიზნებისთვის. ჩვენ განსაკუთრებით გვაინტერესებს ნერვული ქსელები, რომლებიც საშუალებას გაძლევთ შეცვალოთ კონტენტი მომხმარებლისგან (ფოტოებისთვის ამ ამოცანას სურათის მანიპულირება ეწოდება). მაგალითი ჩვენი მუშაობის შედეგი YaC 2019 კონფერენციიდან.
ბევრი სამეცნიერო კონფერენცია ტარდება, მაგრამ გამორჩეულია ტოპები, ეგრეთ წოდებული A* კონფერენციები, სადაც ჩვეულებრივ ქვეყნდება სტატიები ყველაზე საინტერესო და მნიშვნელოვან ტექნოლოგიებზე. არ არსებობს A* კონფერენციების ზუსტი სია, აქ არის სავარაუდო და არასრული სია: NeurIPS (ყოფილი NIPS), ICML, SIGIR, WWW, WSDM, KDD, ACL, CVPR, ICCV, ECCV. ბოლო სამი სპეციალიზირებულია CV თემაზე.

ICCV ერთი შეხედვით: პლაკატები, გაკვეთილები, სემინარები, სტენდები

კონფერენციაზე მიიღო 1075 ნაშრომი, მონაწილეობდა 7500, რუსეთიდან 103 ადამიანი, იყო Yandex-ის, Skoltech-ის, Samsung AI ცენტრის მოსკოვისა და სამარას უნივერსიტეტის თანამშრომლების სტატიები. წელს, ICCV-ს ბევრი წამყვანი მკვლევარი არ ეწვია, მაგრამ, მაგალითად, ალექსეი (ალიოშა) ეფროსი, რომელიც ყოველთვის იზიდავს უამრავ ადამიანს:

სტატისტიკა









ყველა ასეთ კონფერენციაზე სტატიები წარმოდგენილია პლაკატების სახით (მეტი ფორმატის შესახებ), ხოლო საუკეთესოები ასევე წარმოდგენილია მოკლე მოხსენებების სახით.

გთავაზობთ რამდენიმე ნამუშევარს რუსეთიდან





გაკვეთილებით შეგიძლიათ ჩაყვინთოთ კონკრეტულ საგანში; ეს მოგაგონებთ ლექციას უნივერსიტეტში. მას ერთი ადამიანი კითხულობს, ჩვეულებრივ, კონკრეტულ ნაწარმოებებზე საუბრის გარეშე. მაგარი გაკვეთილის მაგალითი (მაიკლ ბრაუნი, ფერის გაგება და კამერაში გამოსახულების დამუშავების მილსადენი კომპიუტერული ხედვისთვის):

სემინარებზე, პირიქით, საუბრობენ სტატიებზე. ჩვეულებრივ, ეს არის ნამუშევრები რაიმე ვიწრო თემაზე, ლაბორატორიის ხელმძღვანელების ისტორიები სტუდენტების ყველა უახლესი ნამუშევრის შესახებ, ან სტატიები, რომლებიც არ მიიღეს მთავარ კონფერენციაზე.

სპონსორი კომპანიები ICCV-ში მოდიან სტენდებით. წელს მოვიდა გუგლი, ფეისბუქი, ამაზონი და სხვა მრავალი საერთაშორისო კომპანია, ასევე დიდი რაოდენობით სტარტაპები - კორეული და ჩინური. განსაკუთრებით ბევრი სტარტაპი იყო, რომლებიც სპეციალიზირებულნი იყვნენ მონაცემთა ტეგირებაში. სტენდებზე არის სპექტაკლები, შეგიძლიათ აიღოთ საქონელი და დასვათ შეკითხვები. ნადირობის მიზნით, სპონსორ კომპანიებს აქვთ წვეულებები. თქვენ შეგიძლიათ შეხვიდეთ მათში, თუ დაარწმუნებთ დამქირავებლებს, რომ გაინტერესებთ და რომ პოტენციურად შეგიძლიათ გაიაროთ ინტერვიუები. თუ თქვენ გამოაქვეყნეთ სტატია (ან უფრო მეტიც, წარმოადგინეთ), დაიწყეთ ან ამთავრებთ დოქტორანტს, ეს არის პლუსი, მაგრამ ზოგჯერ შეგიძლიათ მოლაპარაკება სტენდზე კომპანიის ინჟინრებისთვის საინტერესო კითხვების დასმით.

ტენდენციები

კონფერენცია საშუალებას გაძლევთ გადახედოთ CV-ის მთელ ველს. კონკრეტულ თემაზე პოსტერების რაოდენობის მიხედვით, შეგიძლიათ შეაფასოთ, რამდენად ცხელია თემა. ზოგიერთი დასკვნა თავს იჩენს საკვანძო სიტყვებზე დაყრდნობით:

ნულოვანი გასროლა, ერთი გასროლა, რამდენიმე გასროლა, თვითკონტროლი და ნახევრად ზედამხედველობა: ახალი მიდგომები დიდი ხნის შესწავლილი ამოცანების მიმართ

ხალხი სწავლობს მონაცემთა უფრო ეფექტურად გამოყენებას. მაგალითად, in FUNIT შესაძლებელია ცხოველების სახის გამონათქვამების გენერირება, რომლებიც არ იყვნენ სავარჯიშო კომპლექტში (აპლიკაციაში, რამდენიმე საცნობარო სურათის მიწოდებით). Deep Image Prior-ის იდეები შემუშავებულია და ახლა GAN ქსელების სწავლება შესაძლებელია ერთ სურათზე - ამაზე ქვემოთ ვისაუბრებთ მაჩვენებლებში. თქვენ შეგიძლიათ გამოიყენოთ თვითმეთვალყურეობა წინასწარი ვარჯიშისთვის (პრობლემის გადაჭრა, რომლისთვისაც შეგიძლიათ გასწორებული მონაცემების სინთეზირება, მაგალითად, სურათის ბრუნვის კუთხის პროგნოზირება) ან ერთდროულად ისწავლოთ ეტიკეტირებული და არალეგირებული მონაცემებიდან. ამ თვალსაზრისით, სტატია შეიძლება ჩაითვალოს შემოქმედების გვირგვინად S4L: თვითმმართველობის ზედამხედველობითი ნახევრად ზედამხედველობითი სწავლება. და აქ არის წინასწარი ტრენინგი ImageNet-ზე ყოველთვის არ არის ეხმარება.

3D და 360°

პრობლემები, რომლებიც ძირითადად გადაჭრილი იყო ფოტოებზე (სეგმენტაცია, გამოვლენა) საჭიროებს დამატებით კვლევას 3D მოდელებისა და პანორამული ვიდეოებისთვის. ჩვენ ვნახეთ მრავალი სტატია RGB და RGB-D 3D-ად გადაქცევის შესახებ. ზოგიერთი პრობლემა, როგორიცაა ადამიანის პოზის შეფასება, შეიძლება უფრო ბუნებრივად მოგვარდეს 3D მოდელებზე გადასვლით. მაგრამ ჯერ არ არის კონსენსუსი იმის შესახებ, თუ როგორ უნდა წარმოვადგინოთ XNUMXD მოდელები - ბადის, წერტილის ღრუბლის, ვოქსელის ან SDF სახით. აქ არის კიდევ ერთი ვარიანტი:

პანორამებში, სფეროს კონვოლუცია აქტიურად ვითარდება (იხ. ორიენტაციის გაცნობიერებული სემანტიკური სეგმენტაცია იკოსაედრონულ სფეროებზე) და მოძებნეთ ჩარჩოში ძირითადი ობიექტები.

პოზის გამოვლენა და ადამიანის მოძრაობის პროგნოზირება

უკვე მიღწეულია წინსვლა პოზის გამოვლენაში 2D-ში - ახლა აქცენტი გადატანილია მრავალ კამერასთან და 3D-ში მუშაობაზე. მაგალითად, თქვენ ასევე შეგიძლიათ ჩონჩხის აღმოჩენა კედელში, Wi-Fi სიგნალის ცვლილებების თვალყურის დევნით ადამიანის სხეულში გავლისას.

ბევრი სამუშაო გაკეთდა ხელით საკვანძო წერტილების გამოვლენის სფეროში. გამოჩნდა მონაცემთა ახალი ნაკრები, მათ შორის ის, რომელიც დაფუძნებულია ორ ადამიანს შორის დიალოგების ვიდეოებზე - ახლა თქვენ შეგიძლიათ წინასწარ განსაზღვროთ ხელის ჟესტები საუბრის აუდიოდან ან ტექსტიდან! იგივე პროგრესი იქნა მიღწეული თვალის თვალთვალის ამოცანებში (მზერის შეფასება).

ასევე შესაძლებელია ადამიანის მოძრაობის წინასწარმეტყველებასთან დაკავშირებული სამუშაოების დიდი კლასტერის იდენტიფიცირება (მაგალითად, ადამიანის მოძრაობის პროგნოზირება სივრცე-დროებითი შეღებვის საშუალებით ან სტრუქტურირებული პროგნოზი ეხმარება 3D ადამიანის მოძრაობის მოდელირებას). ამოცანა მნიშვნელოვანია და, ავტორებთან საუბრის საფუძველზე, ყველაზე ხშირად გამოიყენება ფეხით მოსიარულეთა ქცევის გასაანალიზებლად ავტონომიურ მართვაში.

მანიპულაციები ადამიანებთან ერთად ფოტოებსა და ვიდეოებში, ვირტუალურ ოთახებში

მთავარი ტენდენციაა სახის გამოსახულების შეცვლა ინტერპრეტაციადი პარამეტრების მიხედვით. იდეები: ღრმა ფეიკი დაფუძნებული ერთ სურათზე, გამოხატვის შეცვლა სახის რენდერის მიხედვით (PuppetGAN), უკუკავშირი - პარამეტრების შეცვლა (მაგალითად, ასაკი). სტილის ტრანსფერები თემის სათაურიდან ნაწარმოების აპლიკაციამდე გადავიდა. ვირტუალური სამონტაჟო ოთახები განსხვავებული ამბავია; ისინი თითქმის ყოველთვის ცუდად მუშაობენ, აქ არის მაგალითი დემოები.

გენერაცია ესკიზებიდან/გრაფიკებიდან

იდეის განვითარება „მოდით ბადემ შექმნას რაღაც წინა გამოცდილებაზე დაფუძნებული“ კიდევ ერთი გახდა: „მოდით ვაჩვენოთ ბადე, რომელი ვარიანტი გვაინტერესებს“.

SC-FEGAN საშუალებას გაძლევთ გააკეთოთ მართვადი შეღებვა: მომხმარებელს შეუძლია დაასრულოს სახის ნაწილის დახატვა სურათის წაშლილ ადგილას და მიიღოს აღდგენილი სურათი დასრულებიდან გამომდინარე.

Adobe-ის 25 სტატიიდან ერთი ICCV-სთვის აერთიანებს ორ GAN-ს: ერთი ასრულებს ესკიზს მომხმარებლისთვის, მეორე ქმნის ფოტორეალისტურ სურათს ესკიზიდან (პროექტის გვერდი).

ადრე გრაფიკები არ იყო საჭირო გამოსახულების გენერირებისთვის, მაგრამ ახლა ისინი სცენის შესახებ ცოდნის კონტეინერი გახდა. სტატიამ ასევე მოიპოვა ICCV-ის შედეგების მიხედვით საუკეთესო ნაშრომის საპატიო ხსენების ჯილდო ობიექტის ატრიბუტებისა და ურთიერთობების დაზუსტება ინტერაქტიული სცენის გენერაციაში. ზოგადად, თქვენ შეგიძლიათ გამოიყენოთ ისინი სხვადასხვა გზით: შექმენით გრაფიკები სურათებიდან, ან სურათები და ტექსტები გრაფიკებიდან.

ადამიანებისა და მანქანების ხელახალი იდენტიფიკაცია, ბრბოს რაოდენობის დათვლა (!)

ბევრი სტატია ეძღვნება ადამიანების თვალყურის დევნებას და ადამიანებისა და მანქანების ხელახლა იდენტიფიკაციას. მაგრამ ის, რაც გაგვიკვირდა, იყო სტატიების სიმრავლე ბრბოს დათვლის შესახებ, ყველა ჩინეთიდან.

პლაკატები








მაგრამ ფეისბუქი, პირიქით, ანონიმურებს ფოტოს. და ამას აკეთებს საინტერესო გზით: ის ავარჯიშებს ნერვულ ქსელს უნიკალური დეტალების გარეშე სახის გენერირებისთვის - მსგავსი, მაგრამ არც ისე მსგავსი, რომ მისი სწორად იდენტიფიცირება სახის ამოცნობის სისტემებით იყოს შესაძლებელი.

დაცვა მოწინააღმდეგის თავდასხმებისგან

რეალურ სამყაროში კომპიუტერული ხედვის აპლიკაციების განვითარებით (თვითმართველ მანქანებში, სახის ამოცნობაში), სულ უფრო ხშირად ჩნდება საკითხი ასეთი სისტემების საიმედოობის შესახებ. CV-ის სრულად გამოსაყენებლად, დარწმუნებული უნდა იყოთ, რომ სისტემა მდგრადია მოწინააღმდეგეების თავდასხმების მიმართ - ამიტომაც არ იყო ნაკლები სტატიები მათგან დაცვის შესახებ, ვიდრე თავად თავდასხმებზე. ბევრი სამუშაო გაკეთდა ქსელის პროგნოზების ახსნაზე (განსაკუთრებულების რუკა) და შედეგისადმი ნდობის გაზომვაზე.

კომბინირებული დავალებები

ერთი მიზნის მქონე ამოცანების უმეტესობაში, ხარისხის გაუმჯობესების შესაძლებლობები პრაქტიკულად ამოწურულია; ხარისხის შემდგომი გაზრდის ერთ-ერთი ახალი მიმართულებაა ასწავლოს ნერვულ ქსელებს რამდენიმე მსგავსი პრობლემის გადაჭრა ერთდროულად. მაგალითები:
- მოქმედების პროგნოზირება + ოპტიკური ნაკადის პროგნოზირება,
— ვიდეო პრეზენტაცია + ენობრივი პრეზენტაცია (ვიდეობერტი),
- სუპერ გარჩევადობა + HDR.

ასევე არის სტატიები სეგმენტაციის, პოზის განსაზღვრისა და ცხოველის ხელახალი იდენტიფიკაციის შესახებ!

მაჩვენებლები

თითქმის ყველა სტატია წინასწარ იყო ცნობილი, ტექსტი ხელმისაწვდომი იყო arXiv.org-ზე. ამიტომ, ისეთი ნამუშევრების პრეზენტაცია, როგორიცაა Everybody Dance Now, FUNIT, Image2StyleGAN, საკმაოდ უცნაურად გამოიყურება - ეს არის ძალიან სასარგებლო ნამუშევრები, მაგრამ არა ახალი. როგორც ჩანს, აქ იშლება სამეცნიერო პუბლიკაციების კლასიკური პროცესი – მეცნიერება ძალიან სწრაფად მიდის.

საუკეთესო ნამუშევრების დადგენა ძალიან რთულია – ბევრია, საგნები განსხვავებულია. მიღებულია რამდენიმე სტატია ჯილდოები და ხსენებები.

ჩვენ გვინდა გამოვყოთ ნამუშევრები, რომლებიც საინტერესოა გამოსახულების მანიპულაციის თვალსაზრისით, რადგან ეს არის ჩვენი თემა. ისინი საკმაოდ ახალი და საინტერესო აღმოჩნდა ჩვენთვის (ჩვენ ობიექტურები არ ვართ).

SinGAN (საუკეთესო ქაღალდის ჯილდო) და InGAN

SingGAN: პროექტის გვერდი, arXiv, კოდი.
InGAN: პროექტის გვერდი, arXiv, კოდი.

ღრმა გამოსახულების შემუშავება წინა იდეის დიმიტრი ულიანოვის, ანდრეა ვედალდის და ვიქტორ ლემპიცკისგან. იმის ნაცვლად, რომ ასწავლონ GAN მონაცემთა ბაზაზე, ქსელები სწავლობენ იმავე სურათის ფრაგმენტებს, რათა დაიმახსოვრონ მასში არსებული სტატისტიკა. გაწვრთნილი ქსელი საშუალებას გაძლევთ დაარედაქტიროთ და გააცოცხლოთ ფოტოები (SinGAN) ან შექმნათ ნებისმიერი ზომის ახალი სურათები ორიგინალური სურათის ტექსტურებიდან, ადგილობრივი სტრუქტურის შენარჩუნებით (InGAN).

SingGAN:

InGAN:

იმის დანახვა, რასაც GAN ვერ გამოიმუშავებს

პროექტის გვერდი.

ნერვული ქსელები, რომლებიც ქმნიან სურათებს, ხშირად იღებენ შემთხვევითი ხმაურის ვექტორს, როგორც შეყვანას. გაწვრთნილ ქსელში, მრავალი შეყვანის ვექტორი ქმნის სივრცეს, მცირე მოძრაობები, რომლებიც იწვევს სურათში მცირე ცვლილებებს. ოპტიმიზაციის გამოყენებით შეგიძლიათ გადაჭრათ შებრუნებული პრობლემა: იპოვნეთ შესაბამისი შეყვანის ვექტორი რეალური სამყაროს სურათისთვის. ავტორი გვიჩვენებს, რომ ნერვულ ქსელში სრულიად შესატყვისი სურათის პოვნა თითქმის არასოდეს არის შესაძლებელი. სურათზე ზოგიერთი ობიექტი არ არის გენერირებული (როგორც ჩანს, ამ ობიექტების დიდი ცვალებადობის გამო).

ავტორი ვარაუდობს, რომ GAN არ ფარავს სურათების მთელ სივრცეს, არამედ მხოლოდ ზოგიერთ ქვეჯგუფს, ხვრელების მსგავსი, ყველით. როდესაც ჩვენ ვცდილობთ ვიპოვოთ მასში რეალური სამყაროს ფოტოები, ჩვენ ყოველთვის ვერ ვახერხებთ, რადგან GAN მაინც წარმოქმნის არა მთლად რეალურ ფოტოებს. რეალურ და გენერირებულ სურათებს შორის განსხვავებების დაძლევა შესაძლებელია მხოლოდ ქსელის წონების შეცვლით, ანუ კონკრეტული ფოტოსთვის მისი გადამზადებით.

როდესაც ქსელი დამატებით ვარჯიშობს კონკრეტულ ფოტოზე, შეგიძლიათ სცადოთ სხვადასხვა მანიპულაციები ამ სურათით. ქვემოთ მოყვანილ მაგალითში, ფოტოს დაემატა ფანჯარა და ქსელმა დამატებით წარმოქმნა ანარეკლები სამზარეულოს ერთეულზე. ეს ნიშნავს, რომ ქსელმა, ფოტოგრაფიისთვის დამატებითი ტრენინგის შემდეგაც კი, არ დაკარგა სცენაზე ობიექტებს შორის კავშირის დანახვის უნარი.

GANAlyze: კოგნიტური გამოსახულების თვისებების ვიზუალური განმარტებებისკენ

პროექტის გვერდი, arXiv.

ამ ნამუშევრის მიდგომის გამოყენებით, შეგიძლიათ ვიზუალურად და გააანალიზოთ ის, რაც ისწავლა ნერვულმა ქსელმა. ავტორები გვთავაზობენ GAN-ის მომზადებას სურათების შესაქმნელად, რომლებისთვისაც ქსელი გამოიმუშავებს მითითებულ პროგნოზებს. სტატიაში რამდენიმე ქსელი იყო გამოყენებული, მათ შორის MemNet, რომელიც პროგნოზირებს ფოტოების დასამახსოვრებლად. აღმოჩნდა, რომ უკეთესი დასამახსოვრებლად, ფოტოზე მოცემული ობიექტი უნდა:

• იყავი უფრო ახლოს ცენტრთან
• აქვს უფრო მრგვალი ან კვადრატული ფორმა და მარტივი სტრუქტურა,
• იყოს ერთგვაროვან ფონზე,
• შეიცავს ექსპრესიულ თვალებს (ყოველ შემთხვევაში ძაღლის ფოტოებისთვის),
• იყოს უფრო კაშკაშა, უფრო გაჯერებული, ზოგიერთ შემთხვევაში უფრო წითელი.

Liquid Warping GAN: ერთიანი ჩარჩო ადამიანის მოძრაობის იმიტაციის, გარეგნობის გადაცემისა და ახალი ხედვის სინთეზისთვის

პროექტის გვერდი, arXiv, კოდი.

მილსადენი ხალხის ფოტოების გენერირებისთვის ერთჯერადად. ავტორები აჩვენებენ წარმატებულ მაგალითებს ერთი ადამიანის გადაადგილების მეორეზე გადატანის, ტანსაცმლის ადამიანებს შორის გადატანისა და ადამიანის ახალი კუთხის წარმოქმნის - ყველაფერი ერთი ფოტოდან. წინა ნამუშევრებისგან განსხვავებით, აქ პირობების შესაქმნელად ვიყენებთ არა საკვანძო წერტილებს 2D (პოზაში), არამედ სხეულის 3D ქსელს (პოზა + ფორმა). ავტორებმა ასევე გაარკვიეს, თუ როგორ გადაეტანა ინფორმაცია ორიგინალური სურათიდან გენერირებულზე (Liquid Warping Block). შედეგები ღირსეულად გამოიყურება, მაგრამ მიღებული სურათის გარჩევადობა მხოლოდ 256x256ა. შედარებისთვის, vid2vid, რომელიც ერთი წლის წინ გამოჩნდა, შეუძლია გამოიმუშაოს 2048x1024 გარჩევადობით, მაგრამ მას სჭირდება 10 წუთი ვიდეოჩანაწერი, როგორც მონაცემთა ნაკრები.

FSGAN: სუბიექტის აგნოსტიკურ სახეების შეცვლა და რეაქტირება

პროექტის გვერდი, arXiv.

თავდაპირველად, როგორც ჩანს, არაფერია უჩვეულო: ღრმა ფეიქი მეტ-ნაკლებად ნორმალური ხარისხით. მაგრამ ნაწარმოების მთავარი მიღწევა არის სახეების ჩანაცვლება ერთი სურათიდან. წინა ნამუშევრებისგან განსხვავებით, ტრენინგი იყო საჭირო კონკრეტული ადამიანის ბევრ ფოტოზე. მილსადენი რთული აღმოჩნდა (გადაკეთება და სეგმენტაცია, ხედის ინტერპოლაცია, შეღებვა, შერევა) და ბევრი ტექნიკური გატეხვით, მაგრამ შედეგი ღირს.

მოულოდნელის გამოვლენა გამოსახულების ხელახალი სინთეზის საშუალებით

arXiv.

როგორ უნდა მიხვდეს დრონი, რომ მის წინ მოულოდნელად გამოჩნდა ობიექტი, რომელიც არ მიეკუთვნება სემანტიკური სეგმენტაციის კლასს? არსებობს რამდენიმე მეთოდი, მაგრამ ავტორები გვთავაზობენ ახალ, ინტუიციურ ალგორითმს, რომელიც უფრო კარგად მუშაობს, ვიდრე მისი წინამორბედები. სემანტიკური სეგმენტაცია პროგნოზირებულია შეყვანილი გზის სურათიდან. ის მიეწოდება GAN-ს (pix2pixHD) შეყვანის სახით, რომელიც ცდილობს ორიგინალური სურათის აღდგენას მხოლოდ სემანტიკური რუქიდან. ანომალიები, რომლებიც არ მოხვდება არცერთ სეგმენტში, მნიშვნელოვნად განსხვავდებიან გამოსავალში და გენერირებულ სურათში. სამი სურათი (ორიგინალი, სეგმენტაცია და რეკონსტრუქცია) შემდეგ იკვებება სხვა ქსელში, რომელიც წინასწარმეტყველებს ანომალიებს. მონაცემთა ნაკრები ამისთვის შეიქმნა ცნობილი Cityscapes მონაცემთა ნაკრებიდან, რომელიც შემთხვევით ცვლის სემანტიკური სეგმენტაციის კლასებს. საინტერესოა, რომ ამ პარამეტრში, ძაღლი, რომელიც დგას შუა გზაზე, მაგრამ სწორად სეგმენტირებული (რაც იმას ნიშნავს, რომ მას აქვს კლასი), არ არის ანომალია, რადგან სისტემამ შეძლო მისი ამოცნობა.

დასკვნა

კონფერენციის დაწყებამდე მნიშვნელოვანია იცოდეთ რა არის თქვენი სამეცნიერო ინტერესები, რომელ პრეზენტაციებს ისურვებდით დასწრება და ვის უნდა ესაუბროთ. მაშინ ყველაფერი ბევრად უფრო პროდუქტიული იქნება.

ICCV არის, უპირველეს ყოვლისა, ქსელი. თქვენ გესმით, რომ არსებობს უმაღლესი ინსტიტუტები და უმაღლესი სამეცნიერო განყოფილებები, თქვენ იწყებთ ამის გაგებას, იცნობთ ხალხს. და თქვენ შეგიძლიათ წაიკითხოთ სტატიები arXiv-ზე - და სხვათა შორის, ძალიან მაგარია, რომ ცოდნის მისაღებად არსად წასვლა არ გჭირდებათ.

გარდა ამისა, კონფერენციაზე შეგიძლიათ ღრმად ჩაუღრმავდეთ თქვენთვის ახლობელ თემებს და ნახოთ ტენდენციები. კარგად, დაწერეთ წასაკითხი სტატიების სია. თუ სტუდენტი ხარ, ეს არის შესაძლებლობა, შეხვდე პოტენციურ მასწავლებელს, თუ ინდუსტრიიდან ხარ, მაშინ ახალ დამსაქმებელთან, ხოლო თუ კომპანიაში, მაშინ გამოიჩინო საკუთარი თავი.

გამოწერა @loss_function_porn! ეს არის პირადი პროექტი: ჩვენ მას ერთად ვხელმძღვანელობთ კარფლაი. ჩვენ გამოვაქვეყნეთ ყველა ნამუშევარი, რომელიც მოგვწონდა კონფერენციის დროს: @loss_function_live.

წყარო: www.habr.com