NeurIPS 2019: ML ტენდენციები, რომლებიც ჩვენთან იქნება შემდეგი ათწლეულის განმავლობაში

ნეიროIPS (ნერვული ინფორმაციის დამუშავების სისტემები) არის მსოფლიოში ყველაზე დიდი კონფერენცია მანქანათმცოდნეობის და ხელოვნური ინტელექტის შესახებ და მთავარი მოვლენა ღრმა სწავლის სამყაროში.

ახალ ათწლეულში ჩვენც, DS-ის ინჟინრებიც დაეუფლებით ბიოლოგიას, ლინგვისტიკას და ფსიქოლოგიას? ჩვენ გეტყვით ჩვენს მიმოხილვაში.

წელს კონფერენციამ შეკრიბა 13500-ზე მეტი ადამიანი 80 ქვეყნიდან ვანკუვერში, კანადა. ეს არ არის პირველი წელი, როდესაც Sberbank წარმოადგენს რუსეთს კონფერენციაზე - DS-ის გუნდმა ისაუბრა ML-ის დანერგვაზე საბანკო პროცესებში, ML კონკურსზე და Sberbank DS პლატფორმის შესაძლებლობებზე. რა იყო 2019 წლის ძირითადი ტენდენციები ML საზოგადოებაში? კონფერენციის მონაწილეები ამბობენ: ანდრეი ჩერტოკი и ტატიანა შავრინა.

წელს NeurIPS-მა მიიღო 1400-ზე მეტი ნაშრომი — ალგორითმები, ახალი მოდელები და ახალი აპლიკაციები ახალ მონაცემებზე. ბმული ყველა მასალასთან

შინაარსი:

• ტენდენციები
• • მოდელის ინტერპრეტაცია
  • მულტიდისციპლინურობა
  • მსჯელობა
  • RL
  • GAN
• ძირითადი მოწვეული საუბრები
• • „სოციალური დაზვერვა“, ბლეზ აგერა და არკასი (Google)
  • „ვერიდული მონაცემთა მეცნიერება“, ბინ იუ (ბერკლი)
  • „ადამიანის ქცევის მოდელირება მანქანური სწავლით: შესაძლებლობები და გამოწვევები“, ნურია მ ოლივერი, ალბერტ ალი სალაჰი
  • "სისტემიდან 1-დან სისტემა 2-მდე ღრმა სწავლება", იოშუა ბენჯიო

ტენდენციები 2019

1. მოდელის ინტერპრეტაცია და ახალი ML მეთოდოლოგია

კონფერენციის მთავარი თემაა ინტერპრეტაცია და მტკიცებულება იმისა, თუ რატომ ვიღებთ გარკვეულ შედეგებს. „შავი ყუთის“ ინტერპრეტაციის ფილოსოფიურ მნიშვნელობაზე დიდხანს შეიძლება საუბარი, მაგრამ ამ სფეროში უფრო რეალური მეთოდები და ტექნიკური განვითარება იყო.

მოდელების რეპლიკაციისა და მათგან ცოდნის მოპოვების მეთოდოლოგია ახალი ინსტრუმენტარიუმია მეცნიერებისთვის. მოდელები შეიძლება გახდეს ახალი ცოდნის მოპოვებისა და ტესტირების ინსტრუმენტი და მოდელის წინასწარი დამუშავების, ტრენინგისა და გამოყენების თითოეული ეტაპი უნდა იყოს რეპროდუცირებადი.
პუბლიკაციების მნიშვნელოვანი ნაწილი ეძღვნება არა მოდელების და ხელსაწყოების მშენებლობას, არამედ უსაფრთხოების, გამჭვირვალობისა და შედეგების გადამოწმების უზრუნველყოფის პრობლემებს. კერძოდ, გამოჩნდა ცალკეული ნაკადი მოდელზე თავდასხმების შესახებ (მოწინააღმდეგე შეტევები) და განიხილება როგორც ტრენინგზე თავდასხმების, ასევე აპლიკაციაზე თავდასხმების ვარიანტები.

სტატიები:

• Veridical Data Science — პროგრამული სტატია მოდელის გადამოწმების მეთოდოლოგიაზე. მოიცავს მოდელების ინტერპრეტაციის თანამედროვე ინსტრუმენტების მიმოხილვას, კერძოდ, ყურადღების გამოყენებას და მახასიათებლის მნიშვნელობის მიღებას ხაზოვანი მოდელებით ნერვული ქსელის „გამოხდით“.
• ეს ასე გამოიყურება: ღრმა სწავლა ინტერპრეტაციადი გამოსახულების ამოცნობისთვის ჩაოფან ჩენი, ოსკარ ლი, დენიელ ტაო, ალინა ბარნეტი, სინტია რუდინი, ჯონათან კ. სუ
• ინტერპრეტაციის მეთოდების ინდიკატორი ღრმა ნერვულ ქსელებში სარა ჰუკერი, დუმიტრუ ერჰანი, პიტერ-იან კინდერმანსი, ბინ კიმი
• ინტერპრეტირებადი განმტკიცების სწავლებისკენ ყურადღების გაძლიერებული აგენტების გამოყენებით ალექსანდრ მოტი, დანიელ ზორანი, მაიკ ჩრზანოვსკი, დაან ვიერსტრა, დანილო ხიმენეს რეზენდე
• მიკერძოებული MDI მახასიათებლის მნიშვნელობის საზომი შემთხვევითი ტყეებისთვის Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
• ცოდნის მოპოვება დაკვირვებადი მონაცემების გარეშე ჯემინ იო, მინიონგ ჩო, ტებუმ კიმი, უ კანგი
• ნაბიჯი დამოუკიდებლად რეპროდუცირებადი მანქანათმცოდნეობის კვლევის რაოდენობრივი განსაზღვრისკენ ედვარდ რაფი

ExBert.net აჩვენებს ტექსტის დამუშავების ამოცანების მოდელის ინტერპრეტაციას

2. მულტიდისციპლინურობა

საიმედო ვერიფიკაციის უზრუნველსაყოფად და ცოდნის გადამოწმებისა და გაფართოების მექანიზმების შემუშავებისთვის, გვჭირდება სპეციალისტები შესაბამის სფეროებში, რომლებსაც ერთდროულად აქვთ კომპეტენციები ML და საგნობრივ სფეროში (მედიცინა, ლინგვისტიკა, ნეირობიოლოგია, განათლება და ა.შ.). განსაკუთრებით აღსანიშნავია ნაშრომებისა და გამოსვლების უფრო მნიშვნელოვანი არსებობა ნეირომეცნიერებებში და შემეცნებით მეცნიერებებში - ხდება სპეციალისტების დაახლოება და იდეების სესხება.

ამ დაახლოების გარდა, მულტიდისციპლინურობა ჩნდება სხვადასხვა წყაროებიდან ინფორმაციის ერთობლივ დამუშავებაში: ტექსტი და ფოტოები, ტექსტი და თამაშები, გრაფიკის მონაცემთა ბაზები + ტექსტი და ფოტოები.

სტატიები:

• ნეირომეცნიერება + ML - ბუნებრივი ენის დამუშავების ინტერპრეტაცია და გაუმჯობესება (მანქანებში) ბუნებრივი ენის დამუშავებით (ტვინში)
• VisualQA - სწავლა აბსტრაქციით: ნერვული მდგომარეობის მანქანა
• RL + NLP - იერარქიული გადაწყვეტილების მიღება ბუნებრივი ენის ინსტრუქციების გენერირებით და მიყოლებით

ორი მოდელი - სტრატეგი და აღმასრულებელი - RL და NLP-ზე დაფუძნებული, თამაშობს ონლაინ სტრატეგიას

3. მსჯელობა

ხელოვნური ინტელექტის გაძლიერება არის მოძრაობა თვითსწავლის სისტემებისკენ, „ცნობიერი“, მსჯელობა და მსჯელობა. კერძოდ, ვითარდება მიზეზობრივი დასკვნა და საღი აზრი. ზოგიერთი მოხსენება ეძღვნება მეტასწავლებას (როგორ ვისწავლოთ სწავლა) და DL ტექნოლოგიების კომბინაციას 1-ლი და მე-2 რიგის ლოგიკასთან - ტერმინი ხელოვნური ზოგადი ინტელექტი (AGI) ხდება ჩვეულებრივი ტერმინი მომხსენებელთა გამოსვლებში.

სტატიები:

• ჰეტეროგენული გრაფიკის სწავლა ვიზუალური საღი მსჯელობისთვის Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
• ხიდი მანქანათმცოდნეობის და ლოგიკური მსჯელობის აბდუქციური სწავლებით ვანგ-ჟოუ დაი, კიულინგ ქსუ, იან იუ, ჟი-ჰუა ჟო
• იმპლიციტურად სწავლობს მსჯელობას პირველი რიგის ლოგიკაში ვაიშაკ ბელი, ბრენდან ჯუბა
• PHYRE: ახალი საორიენტაციო ნიშანი ფიზიკური მსჯელობისთვის ანტონ ბახტინი, ლორენს ვან დერ მაატენი, ჯასტინ ჯონსონი, ლორა გუსტაფსონი, როს გირშიკი
• ცოდნის კვანტური ჩანერგვა მსჯელობისთვის დინეშ გარგი, შაჯით იკბალი, სანტოშ კ. სრივასტავა, ჰარიტ ვიშვაკარმა, ჰიმა კარანამი, ლ ვენკატა სუბრამანიამი

4.გაძლიერების სწავლა

სამუშაოების უმეტესობა აგრძელებს RL-ის ტრადიციული სფეროების განვითარებას - DOTA2, Starcraft, აერთიანებს არქიტექტურებს კომპიუტერულ ხედვასთან, NLP-თან, გრაფიკის მონაცემთა ბაზებთან.

კონფერენციის ცალკე დღე დაეთმო RL სემინარს, სადაც წარმოდგენილი იყო ოპტიმისტური მსახიობის კრიტიკოსის მოდელის არქიტექტურა, რომელიც აღემატება ყველა წინას, განსაკუთრებით Soft Actor Critic-ს.

სტატიები:

• უკეთესი გამოკვლევა ოპტიმისტურ მსახიობ კრიტიკოსთან ერთად; კამილ ჩიოსეკი, კუან ვუონგი, რობერტ ლოფტინი, კატია ჰოფმანი
• ChainerRL: ღრმა განმტკიცების სასწავლო ბიბლიოთეკა; იასუჰირო ფუჯიტა (Preferred Networks, Inc.)*; ტოშიკი კატაოკა (Preferred Networks, Inc.); Prabhat Nagarajan (სასურველი ქსელები); ტაკაჰირო იშიკავა (ტოკიოს უნივერსიტეტი) [გარე pdf ბმული].
• სიზმარი კონტროლისთვის: ქცევის სწავლა ლატენტური წარმოსახვით; დანიარ ჰაფნერი (Google)*; ტიმოთი ლილიკრაპი (DeepMind); ჯიმი ბა (ტორონტოს უნივერსიტეტი); მოჰამად ნორუზი (Google Brain)
• სემინარის მასალები

StarCraft-ის მოთამაშეები ებრძვიან Alphastar-ის მოდელს (DeepMind)

5.გან

გენერაციული ქსელები კვლავ ყურადღების ცენტრშია: ბევრი ნამუშევარი იყენებს ვანილის GAN-ებს მათემატიკური მტკიცებულებებისთვის და ასევე იყენებს მათ ახალ, უჩვეულო გზებში (გრაფიკის გენერაციული მოდელები, სერიებთან მუშაობა, გამოყენება მონაცემებში მიზეზ-შედეგობრივი ურთიერთობებისთვის და ა.შ.).

სტატიები:

• მოპოვება GOLD ნიმუშები პირობითი GAN-ებისთვის სანგვუ მო, ჩიჰეონ კიმი, სუნგვონ კიმი, მინსუ ჩო, ჯინვუ შინ
• GAN-ების პროგრესული გაძლიერება დენ ჟანგი, ანა ხორევა
• ტაბულური მონაცემების მოდელირება პირობითი GAN-ის გამოყენებით ლეი ქსუ, მარია სკულარიდუ, ალფრედო კუესტა-ინფანტე, კალიან ვეერამაჩანენი
• papers.nips.cc/paper/9377-a-domain-agnostic-measure-for-monitoring-and-evaluating-gans

ვინაიდან მეტი სამუშაო იყო მიღებული 1400 ქვემოთ ყველაზე მნიშვნელოვან გამოსვლებზე ვისაუბრებთ.

მოწვეული საუბრები

„სოციალური დაზვერვა“, ბლეზ აგერა და არკასი (Google)

ლინკები
სლაიდები და ვიდეოები
საუბარი ყურადღებას ამახვილებს მანქანათმცოდნეობის ზოგად მეთოდოლოგიაზე და ინდუსტრიის შეცვლის პერსპექტივაზე - რა გზაჯვარედინების წინაშე ვდგავართ? როგორ მუშაობს ტვინი და ევოლუცია და რატომ ვიყენებთ ასე ნაკლებად იმას, რაც უკვე ვიცით ბუნებრივი სისტემების განვითარების შესახებ?

ML-ის ინდუსტრიული განვითარება დიდწილად ემთხვევა Google-ის განვითარების ეტაპებს, რომელიც ყოველწლიურად აქვეყნებს თავის კვლევას NeurIPS-ზე:

• 1997 – საძიებო საშუალებების, პირველი სერვერების, მცირე გამოთვლითი სიმძლავრის გაშვება
• 2010 წელი - ჯეფ დინმა წამოიწყო Google Brain პროექტი, ნერვული ქსელების ბუმი თავიდანვე
• 2015 წელი – ნეირონული ქსელების ინდუსტრიული დანერგვა, სახის სწრაფი ამოცნობა პირდაპირ ლოკალურ მოწყობილობაზე, დაბალი დონის პროცესორები, რომლებიც მორგებულია ტენსორული გამოთვლებისთვის - TPU. Google-მა გამოუშვა Coral ai - raspberry pi-ს ანალოგი, მინი-კომპიუტერი ნერვული ქსელების ექსპერიმენტულ დანადგარებში დასანერგად.
• 2017 წელი - Google იწყებს დეცენტრალიზებული ტრენინგის შემუშავებას და სხვადასხვა მოწყობილობიდან ნერვული ქსელის ტრენინგის შედეგების გაერთიანებას ერთ მოდელში - Android-ზე

დღეს მთელი ინდუსტრია ეძღვნება მონაცემთა უსაფრთხოებას, აგრეგაციას და სწავლის შედეგების ადგილობრივ მოწყობილობებზე რეპლიკაციას.

ფედერაციული სწავლება – ML-ის მიმართულება, რომელშიც ცალკეული მოდელები სწავლობენ ერთმანეთისგან დამოუკიდებლად და შემდეგ გაერთიანებულია ერთ მოდელში (წყაროს მონაცემების ცენტრალიზაციის გარეშე), მორგებული იშვიათი მოვლენებისთვის, ანომალიებისთვის, პერსონალიზებისთვის და ა.შ. ყველა Android მოწყობილობა Google-ისთვის არსებითად ერთი გამოთვლითი სუპერკომპიუტერია.

ფედერაციულ სწავლაზე დაფუძნებული გენერაციული მოდელები პერსპექტიული სამომავლო მიმართულებაა Google-ის მიხედვით, რომელიც „ექსპონენციალური ზრდის ადრეულ ეტაპებზეა“. GAN-ებს, ლექტორის თქმით, შეუძლიათ ისწავლონ ცოცხალი ორგანიზმების პოპულაციების მასობრივი ქცევის და აზროვნების ალგორითმების რეპროდუცირება.

ორი მარტივი GAN არქიტექტურის მაგალითის გამოყენებით ნაჩვენებია, რომ მათში ოპტიმიზაციის ბილიკის ძიება წრეში ტრიალებს, რაც ნიშნავს, რომ ოპტიმიზაცია, როგორც ასეთი, არ ხდება. ამავდროულად, ეს მოდელები ძალიან წარმატებულია იმ ექსპერიმენტების სიმულაციაში, რომლებსაც ბიოლოგები ატარებენ ბაქტერიულ პოპულაციებზე, აიძულებენ მათ ისწავლონ ახალი ქცევითი სტრატეგიები საკვების ძიებაში. შეგვიძლია დავასკვნათ, რომ სიცოცხლე ოპტიმიზაციის ფუნქციისგან განსხვავებულად მუშაობს.

Walking GAN ოპტიმიზაცია

ყველაფერი, რასაც ახლა ვაკეთებთ მანქანური სწავლის ფარგლებში, არის ვიწრო და უკიდურესად ფორმალიზებული ამოცანები, მაშინ როცა ეს ფორმალიზმები კარგად არ არის განზოგადებული და არ შეესაბამება ჩვენს საგნობრივ ცოდნას ისეთ სფეროებში, როგორიცაა ნეიროფიზიოლოგია და ბიოლოგია.

ის, რაც ნამდვილად ღირს ნეიროფიზიოლოგიის სფეროდან ახლო მომავალში სესხება, არის ნეირონების ახალი არქიტექტურები და შეცდომების უკან გავრცელების მექანიზმების მცირედი გადახედვა.

თავად ადამიანის ტვინი არ სწავლობს როგორც ნერვული ქსელი:

• მას არ აქვს შემთხვევითი პირველადი მონაცემები, მათ შორის გრძნობებითა და ბავშვობაში ჩამოყალიბებული
• მას აქვს ინსტინქტური განვითარების თანდაყოლილი მიმართულებები (ბავშვისგან ენის შესწავლის სურვილი, თავდაყირა სიარული)

ინდივიდუალური ტვინის ვარჯიში დაბალი დონის ამოცანაა, შესაძლოა, ჩვენ უნდა განვიხილოთ სწრაფად ცვალებადი პიროვნებების „კოლონიები“, რომლებიც ერთმანეთს გადასცემენ ცოდნას ჯგუფური ევოლუციის მექანიზმების რეპროდუცირების მიზნით.

რა შეგვიძლია მივიღოთ ახლა ML ალგორითმებში:

• გამოიყენეთ უჯრედული ხაზის მოდელები, რომლებიც უზრუნველყოფენ მოსახლეობის სწავლას, მაგრამ ინდივიდის ხანმოკლე სიცოცხლეს („ინდივიდუალური ტვინი“)
• რამდენიმე სწავლება მცირე რაოდენობის მაგალითების გამოყენებით
• ნეირონების უფრო რთული სტრუქტურები, ოდნავ განსხვავებული აქტივაციის ფუნქციები
• „გენომის“ გადატანა შემდეგ თაობებზე - უკან გავრცელების ალგორითმი
• მას შემდეგ რაც შევაერთებთ ნეიროფიზიოლოგიასა და ნერვულ ქსელებს, ჩვენ ვისწავლით მრავალფუნქციური ტვინის აგებას მრავალი კომპონენტისგან.

ამ თვალსაზრისით, SOTA გადაწყვეტილებების პრაქტიკა საზიანოა და უნდა გადაიხედოს საერთო ამოცანების (ეტალონების) შემუშავების მიზნით.

„ვერიდული მონაცემთა მეცნიერება“, ბინ იუ (ბერკლი)

ვიდეოები და სლაიდები
ანგარიში ეძღვნება მანქანათმცოდნეობის მოდელების ინტერპრეტაციის პრობლემას და მათი პირდაპირი ტესტირებისა და გადამოწმების მეთოდოლოგიას. ნებისმიერი გაწვრთნილი ML მოდელი შეიძლება აღიქმებოდეს, როგორც ცოდნის წყარო, რომელიც უნდა იქნას ამოღებული მისგან.

ბევრ სფეროში, განსაკუთრებით მედიცინაში, მოდელის გამოყენება შეუძლებელია ამ ფარული ცოდნის ამოღებისა და მოდელის შედეგების ინტერპრეტაციის გარეშე - წინააღმდეგ შემთხვევაში ჩვენ არ ვიქნებით დარწმუნებული, რომ შედეგები იქნება სტაბილური, არა შემთხვევითი, სანდო და არ მოკლავს პაციენტი. მუშაობის მეთოდოლოგიის მთელი მიმართულება ვითარდება ღრმა სწავლის პარადიგმის ფარგლებში და სცილდება მის საზღვრებს - ვერიდური მონაცემთა მეცნიერება. რა არის ეს?

ჩვენ გვსურს მივაღწიოთ სამეცნიერო პუბლიკაციების ისეთ ხარისხს და მოდელების რეპროდუცირებადობას, როგორიცაა:

1. პროგნოზირებადი
2. გამოთვლითი
3. სტაბილური

ეს სამი პრინციპი ქმნის ახალ მეთოდოლოგიას. როგორ შეიძლება ML მოდელების შემოწმება ამ კრიტერიუმების შესაბამისად? უმარტივესი გზაა დაუყოვნებლივ ინტერპრეტაციადი მოდელების აგება (რეგრესია, გადაწყვეტილების ხეები). თუმცა, ჩვენ ასევე გვსურს მივიღოთ ღრმა სწავლის უშუალო სარგებელი.

პრობლემასთან მუშაობის რამდენიმე არსებული გზა:

1. მოდელის ინტერპრეტაცია;
2. ყურადღებაზე დაფუძნებული მეთოდების გამოყენება;
3. გამოიყენოს ალგორითმების ანსამბლები ვარჯიშის დროს და უზრუნველყოს, რომ ხაზოვანი ინტერპრეტაციადი მოდელები ისწავლიან იგივე პასუხების პროგნოზირებას, როგორც ნერვული ქსელი, ხაზოვანი მოდელის მახასიათებლების ინტერპრეტაციით;
4. ტრენინგის მონაცემების შეცვლა და გაზრდა. ეს მოიცავს ხმაურის, ჩარევის და მონაცემთა გაზრდის დამატებას;
5. ნებისმიერი მეთოდი, რომელიც დაგვეხმარება იმის უზრუნველსაყოფად, რომ მოდელის შედეგები არ იყოს შემთხვევითი და არ იყოს დამოკიდებული მცირე არასასურველ ჩარევაზე (მოწინააღმდეგე შეტევები);
6. მოდელის ინტერპრეტაცია ფაქტის შემდეგ, ტრენინგის შემდეგ;
7. მახასიათებლის წონის შესწავლა სხვადასხვა გზით;
8. ყველა ჰიპოთეზის ალბათობის შესწავლა, კლასის განაწილება.

მოწინააღმდეგე შეტევა ღორისთვის

მოდელირების შეცდომები ყველასთვის ძვირია: მთავარი მაგალითია რაინჰარტისა და როგოვის მუშაობა.ზრდა ვალების დროს„ზეგავლენა მოახდინა ევროპის მრავალი ქვეყნის ეკონომიკურ პოლიტიკაზე და აიძულა ისინი გაეტარებინათ მკაცრი მკაცრი პოლიტიკა, მაგრამ მონაცემების ფრთხილად გადამოწმებამ და მათმა დამუშავებამ წლების შემდეგ საპირისპირო შედეგი აჩვენა!

ნებისმიერ ML ტექნოლოგიას აქვს საკუთარი სიცოცხლის ციკლი განხორციელებიდან განხორციელებამდე. ახალი მეთოდოლოგიის მიზანია მოდელის ცხოვრების თითოეულ ეტაპზე სამი ძირითადი პრინციპის შემოწმება.

შედეგები:

• შემუშავებულია რამდენიმე პროექტი, რომელიც დაეხმარება ML მოდელის უფრო სანდო გახდეს. ეს არის, მაგალითად, deeptune (ბმული: github.com/ChrisCummins/paper-end2end-dl);
• მეთოდოლოგიის შემდგომი განვითარებისთვის აუცილებელია ML-ის სფეროში პუბლიკაციების ხარისხის მნიშვნელოვნად გაუმჯობესება;
• მანქანათმცოდნეობას სჭირდება ლიდერები მულტიდისციპლინური ტრენინგით და გამოცდილებით როგორც ტექნიკურ, ასევე ჰუმანიტარულ სფეროებში.

„ადამიანის ქცევის მოდელირება მანქანური სწავლით: შესაძლებლობები და გამოწვევები“ ნურია მ ოლივერი, ალბერტ ალი სალაჰი

ლექცია ეძღვნება ადამიანის ქცევის მოდელირებას, მის ტექნოლოგიურ საფუძვლებს და გამოყენების პერსპექტივებს.

ადამიანის ქცევის მოდელირება შეიძლება დაიყოს:

• ინდივიდუალური ქცევა
• ადამიანთა მცირე ჯგუფის ქცევა
• მასობრივი ქცევა

თითოეული ამ ტიპის მოდელირება შესაძლებელია ML-ის გამოყენებით, მაგრამ სრულიად განსხვავებული შეყვანის ინფორმაციით და მახასიათებლებით. თითოეულ ტიპს ასევე აქვს საკუთარი ეთიკური საკითხები, რომელსაც თითოეული პროექტი გადის:

• ინდივიდუალური ქცევა - პირადობის მოპარვა, ღრმა ფეიქი;
• ადამიანთა ჯგუფების ქცევა - დეანონიმიზაცია, გადაადგილების შესახებ ინფორმაციის მოპოვება, სატელეფონო ზარები და ა.შ.

ინდივიდუალური ქცევა

ძირითადად დაკავშირებულია კომპიუტერული ხედვის თემასთან - ადამიანის ემოციების და რეაქციების ამოცნობა. შესაძლოა მხოლოდ კონტექსტში, დროში ან ემოციების საკუთარი ცვალებადობის შედარებითი მასშტაბით. სლაიდი აჩვენებს მონა ლიზას ემოციების ამოცნობას ხმელთაშუა ზღვის ქალების ემოციური სპექტრის კონტექსტის გამოყენებით. შედეგი: სიხარულის ღიმილი, მაგრამ ზიზღით და ზიზღით. მიზეზი, სავარაუდოდ, "ნეიტრალური" ემოციის განსაზღვრის ტექნიკური გზაა.

ადამიანთა მცირე ჯგუფის ქცევა

ჯერჯერობით ყველაზე ცუდი მოდელი არის არასაკმარისი ინფორმაციის გამო. მაგალითად, ნაჩვენები იყო 2018-2019 წლების ნამუშევრები. ათობით ადამიანზე X ათობით ვიდეო (შდრ. 100k++ სურათების მონაცემთა ნაკრები). ამ ამოცანის საუკეთესო მოდელირებისთვის საჭიროა მულტიმოდალური ინფორმაცია, სასურველია სენსორებიდან სხეულის სიმაღლეზე, თერმომეტრზე, მიკროფონის ჩანაწერზე და ა.შ.

მასობრივი ქცევა

ყველაზე განვითარებული სფეროა, ვინაიდან დამკვეთი გაერო და მრავალი სახელმწიფოა. გარე სათვალთვალო კამერები, მონაცემები სატელეფონო ანძებიდან - ბილინგი, SMS, ზარები, მონაცემები სახელმწიფო საზღვრებს შორის გადაადგილების შესახებ - ეს ყველაფერი იძლევა ძალიან სანდო სურათს ხალხის გადაადგილებისა და სოციალური არასტაბილურობის შესახებ. ტექნოლოგიის პოტენციური გამოყენება: სამაშველო ოპერაციების ოპტიმიზაცია, დახმარება და მოსახლეობის დროული ევაკუაცია საგანგებო სიტუაციების დროს. გამოყენებული მოდელები ძირითადად ჯერ კიდევ ცუდად არის განმარტებული - ეს არის სხვადასხვა LSTM და კონვოლუციური ქსელები. იყო მოკლე შენიშვნა, რომ გაერო ლობირებს ახალ კანონს, რომელიც ავალდებულებს ევროპულ ბიზნესს გაუზიარონ ნებისმიერი კვლევისთვის საჭირო ანონიმური მონაცემები.

"სისტემიდან 1-დან სისტემა 2-მდე ღრმა სწავლება", იოშუა ბენჯიო

სლაიდები
ჯოშუა ბენჯიოს ლექციაში ღრმა სწავლება ხვდება ნეირომეცნიერებას მიზნების დასახვის დონეზე.
ბენჯიო გამოყოფს პრობლემების ორ ძირითად ტიპს ნობელის პრემიის ლაურეატის დანიელ კანემანის მეთოდოლოგიის მიხედვით (წიგნი "იფიქრე ნელა, გადაწყვიტე სწრაფად»)
ტიპი 1 - სისტემა 1, არაცნობიერი მოქმედებები, რომლებსაც ვაკეთებთ „ავტომატურად“ (უძველესი ტვინი): მანქანის მართვა ნაცნობ ადგილებში, სიარული, სახეების ამოცნობა.
ტიპი 2 - სისტემა 2, ცნობიერი მოქმედებები (ცერებრალური ქერქი), მიზნების დასახვა, ანალიზი, აზროვნება, კომპოზიტური ამოცანები.

ხელოვნური ინტელექტი ჯერჯერობით საკმარის სიმაღლეებს მხოლოდ პირველი ტიპის ამოცანებში მიაღწია, ხოლო ჩვენი ამოცანაა მეორეზე მიყვანა, მულტიდისციპლინური ოპერაციების შესრულება და ლოგიკით და მაღალი დონის შემეცნებითი უნარებით ოპერირება.

ამ მიზნის მისაღწევად შემოთავაზებულია:

1. NLP ამოცანებში გამოიყენეთ ყურადღება, როგორც აზროვნების მოდელირების ძირითადი მექანიზმი
2. გამოიყენე მეტასწავლება და რეპრეზენტაციული სწავლება, რათა უკეთ მოდელირდეს ფუნქციები, რომლებიც გავლენას ახდენენ ცნობიერებაზე და მათ ლოკალიზაციაზე - და მათ საფუძველზე გადავიდნენ უფრო მაღალი დონის კონცეფციებით მუშაობაზე.

დასკვნის ნაცვლად, აქ არის მოწვეული საუბარი: Bengio არის ერთ-ერთი მრავალი მეცნიერიდან, რომელიც ცდილობს გააფართოვოს ML სფერო ოპტიმიზაციის პრობლემების, SOTA და ახალი არქიტექტურების მიღმა.
კითხვა ღია რჩება, რამდენად ცნობიერების პრობლემების ერთობლიობა, ენის გავლენა აზროვნებაზე, ნეირობიოლოგიასა და ალგორითმებზე არის ის, რაც გველოდება მომავალში და საშუალებას მოგვცემს გადავიდეთ მანქანებზე, რომლებიც „აზროვნებენ“ ადამიანებივით.

დიდი მადლობა!

წყარო: www.habr.com