ProHoster > Blogs > interneta ziņas > NeurIPS 2019: ML tendences, kas būs ar mums nākamajā desmitgadē

NeurIPS 2019: ML tendences, kas būs ar mums nākamajā desmitgadē

NeuroIPS (Neironu informācijas apstrādes sistēmas) ir pasaulē lielākā konference par maŔīnmācÄ«bu un mākslÄ«go intelektu un galvenais notikums dziļās mācÄ«Å”anās pasaulē.

Vai mēs, DS inženieri, jaunajā desmitgadē apgūsim arī bioloģiju, valodniecību un psiholoģiju? Mēs jums to pastāstīsim savā pārskatā.

NeurIPS 2019: ML tendences, kas būs ar mums nākamajā desmitgadē

Å ogad konference pulcēja vairāk nekā 13500 80 cilvēku no 2019 valstÄ«m VankÅ«verā, Kanādā. Å is nav pirmais gads, kad Sberbank konferencē pārstāv Krieviju - DS komanda stāstÄ«ja par ML ievieÅ”anu banku procesos, par ML konkurenci un par Sberbank DS platformas iespējām. Kādas bija XNUMX. gada galvenās tendences ML sabiedrÄ«bā? Konferences dalÄ«bnieki saka: Andrejs Čertoks Šø Tatjana Å avrina.

Å ogad NeurIPS pieņēma vairāk nekā 1400 dokumentus ā€” algoritmus, jaunus modeļus un jaunas lietojumprogrammas jauniem datiem. Saite uz visiem materiāliem

Saturs:

  • Tendences
    • Modeļa interpretējamÄ«ba
    • Multidisciplinaritāte
    • Pamatojums
    • RL
    • GAN
  • Pamata ielÅ«gtās sarunas
    • ā€œSociālā inteliÄ£enceā€, Blēzs Agvera un Arkass (Google)
    • ā€œVeridical Data Scienceā€, Bin Yu (Berkeley)
    • ā€œCilvēka uzvedÄ«bas modelÄ“Å”ana ar maŔīnmācÄ«Å”anos: iespējas un izaicinājumiā€, Nuria M Oliver, Alberts Ali Salahs
    • ā€œNo 1. sistēmas uz sistēmu 2. dziļā mācÄ«Å”anāsā€, JoÅ”ua Bendžo

Tendences 2019. gadā

1. Modeļu interpretējamība un jauna ML metodoloģija

Konferences galvenā tēma ir interpretācija un pierādÄ«jumi tam, kāpēc mēs iegÅ«stam noteiktus rezultātus. Var ilgi runāt par ā€œmelnās kastesā€ interpretācijas filozofisko nozÄ«mi, taču Å”ajā jomā bija vairāk reālu metožu un tehnikas attÄ«stÄ«bas.

MetodoloÄ£ija modeļu replicÄ“Å”anai un zināŔanu iegÅ«Å”anai no tiem ir jauns zinātnes instrumentu kopums. Modeļi var kalpot kā instruments jaunu zināŔanu iegÅ«Å”anai un to pārbaudei, un katram modeļa priekÅ”apstrādes, apmācÄ«bas un pielietojuma posmam jābÅ«t reproducējamam.
Ievērojama publikāciju daļa ir veltÄ«ta nevis modeļu un rÄ«ku konstruÄ“Å”anai, bet gan droŔības, caurskatāmÄ«bas un rezultātu pārbaudāmÄ«bas nodroÅ”ināŔanas problēmām. Jo Ä«paÅ”i ir parādÄ«jusies atseviŔķa straume par uzbrukumiem modelim (pretēja uzbrukumi), un tiek apsvērtas iespējas gan uzbrukumiem apmācÄ«bai, gan uzbrukumiem lietojumprogrammai.

Raksti:

NeurIPS 2019: ML tendences, kas būs ar mums nākamajā desmitgadē
ExBert.net parāda modeļa interpretāciju teksta apstrādes uzdevumiem

2. Multidisciplinaritāte

Lai nodroÅ”inātu uzticamu verifikāciju un izstrādātu mehānismus zināŔanu pārbaudei un paplaÅ”ināŔanai, mums ir nepiecieÅ”ami saistÄ«tu nozaru speciālisti, kuriem vienlaikus ir kompetences ML un mācÄ«bu priekÅ”metā (medicÄ«na, valodniecÄ«ba, neirobioloÄ£ija, izglÄ«tÄ«ba uc). ÄŖpaÅ”i jāatzÄ«mē nozÄ«mÄ«gāka darbu un runu klātbÅ«tne neirozinātnēs un kognitÄ«vajās zinātnēs - notiek speciālistu tuvināŔanās un ideju aizgÅ«Å”ana.

Papildus Å”ai tuvināŔanai, kopÄ«gā informācijas apstrādē no dažādiem avotiem parādās multidisciplinaritāte: teksts un fotogrāfijas, teksts un spēles, grafiku datu bāzes + teksts un fotogrāfijas.

Raksti:

NeurIPS 2019: ML tendences, kas būs ar mums nākamajā desmitgadē
Divi modeļi ā€“ stratēģis un izpilddirektors ā€“ balstÄ«ti uz RL un NLP spēles tieÅ”saistes stratēģiju

3. Pamatojums

MākslÄ«gā intelekta stiprināŔana ir virzÄ«ba uz paÅ”mācÄ«bas sistēmām, ā€œapzinātuā€, sprieÅ”anu un sprieÅ”anu. Jo Ä«paÅ”i attÄ«stās cēloņsakarÄ«bas secinājumi un veselā saprāta sprieÅ”ana. Daži ziņojumi ir veltÄ«ti metamācÄ«bai (par to, kā iemācÄ«ties mācÄ«ties) un DL tehnoloÄ£iju apvienoÅ”anai ar 1. un 2. kārtas loÄ£iku ā€“ termins Artificial General Intelligence (AGI) kļūst par izplatÄ«tu terminu runātāju runās.

Raksti:

4. PastiprināŔanas mācības

Lielākā daļa darbu turpina attīstīt tradicionālās RL jomas - DOTA2, Starcraft, apvienojot arhitektūras ar datorredzi, NLP, grafu datubāzēm.

AtseviŔķa konferences diena tika veltÄ«ta RL darbnÄ«cai, kurā tika prezentēta Optimistic Actor Actor Critic modeļa arhitektÅ«ra, kas ir pārāka par visām iepriekŔējām, Ä«paÅ”i Soft Actor Critic.

Raksti:

NeurIPS 2019: ML tendences, kas būs ar mums nākamajā desmitgadē
StarCraft spēlētāji cīnās ar Alphastar modeli (DeepMind)

5.GAN

Ģeneratīvie tīkli joprojām ir uzmanības centrā: daudzos darbos matemātiskiem pierādījumiem tiek izmantoti vaniļas GAN, kā arī tie tiek izmantoti jaunos, neparastos veidos (grafiku ģeneratīvie modeļi, darbs ar sērijām, pielietojums datu cēloņu un seku attiecībām utt.).

Raksti:

Tā kā tika pieņemts vairāk darba 1400 Tālāk mēs runāsim par svarīgākajām runām.

Uzaicinātās sarunas

ā€œSociālā inteliÄ£enceā€, Blēzs Agvera un Arkass (Google)

Saite
Slaidi un video
Saruna ir vērsta uz vispārējo maŔīnmācÄ«Å”anās metodoloÄ£iju un perspektÄ«vām, kas Å”obrÄ«d mainÄ«s nozari ā€” ar kādām krustcelēm mēs saskaramies? Kā darbojas smadzenes un evolÅ«cija, un kāpēc mēs tik maz izmantojam to, ko jau zinām par dabisko sistēmu attÄ«stÄ«bu?

ML rūpnieciskā attīstība lielā mērā sakrīt ar Google attīstības pavērsieniem, kas gadu no gada publicē savus pētījumus par NeurIPS:

  • 1997. gads ā€“ meklÄ“Å”anas iespēju palaiÅ”ana, pirmie serveri, maza skaitļoÅ”anas jauda
  • 2010. gads ā€” Džefs DÄ«ns uzsāk Google Brain projektu, neironu tÄ«klu uzplaukumu paŔā sākumā
  • 2015. gads ā€“ neironu tÄ«klu rÅ«pnieciska ievieÅ”ana, ātra sejas atpazÄ«Å”ana tieÅ”i lokālajā ierÄ«cē, zema lÄ«meņa procesori, kas pielāgoti tenzoru skaitļoÅ”anai - TPU. Google izlaiž Coral ai ā€” raspberry pi analogu ā€” mini datoru neironu tÄ«klu ievieÅ”anai eksperimentālās instalācijās.
  • 2017. gads ā€” Google sāk izstrādāt decentralizētu apmācÄ«bu un apvienot neironu tÄ«klu apmācÄ«bas rezultātus no dažādām ierÄ«cēm vienā modelÄ« ā€” operētājsistēmā Android

MÅ«sdienās visa nozare ir veltÄ«ta datu droŔībai, apkopoÅ”anai un mācÄ«bu rezultātu replikācijai vietējās ierÄ«cēs.

Federētā mācÄ«Å”anās ā€“ ML virziens, kurā atseviŔķi modeļi mācās neatkarÄ«gi viens no otra un pēc tam tiek apvienoti vienā modelÄ« (bez avota datu centralizācijas), kas pielāgots retiem notikumiem, anomālijām, personalizācijai utt. Visas Android ierÄ«ces bÅ«tÄ«bā ir viens skaitļoÅ”anas superdators uzņēmumam Google.

Ä¢eneratÄ«vie modeļi, kuru pamatā ir apvienotā mācÄ«Å”anās, ir daudzsoloÅ”s nākotnes virziens, saskaņā ar Google, kas ir ā€œeksponenciālās izaugsmes sākumposmāā€. GAN, pēc lektora domām, spēj iemācÄ«ties reproducēt dzÄ«vo organismu populāciju masveida uzvedÄ«bu un domāŔanas algoritmus.

Izmantojot divu vienkārÅ”u GAN arhitektÅ«ru piemēru, tiek parādÄ«ts, ka tajās optimizācijas ceļa meklÄ“Å”ana klÄ«st pa apli, kas nozÄ«mē, ka optimizācija kā tāda nenotiek. Tajā paŔā laikā Å”ie modeļi ļoti veiksmÄ«gi simulē eksperimentus, ko biologi veic ar baktēriju populācijām, liekot viņiem apgÅ«t jaunas uzvedÄ«bas stratēģijas, meklējot pārtiku. Varam secināt, ka dzÄ«ve darbojas savādāk nekā optimizācijas funkcija.

NeurIPS 2019: ML tendences, kas būs ar mums nākamajā desmitgadē
Pastaigas GAN optimizācija

Viss, ko mēs tagad darām maŔīnmācÄ«Å”anās ietvaros, ir Å”auri un ārkārtÄ«gi formalizēti uzdevumi, savukārt Å”ie formālismi nav labi vispārināmi un neatbilst mÅ«su priekÅ”meta zināŔanām tādās jomās kā neirofizioloÄ£ija un bioloÄ£ija.

Tuvākajā nākotnē patieŔām ir vērts aizņemties no neirofizioloÄ£ijas jomas, ir jaunas neironu arhitektÅ«ras un neliela kļūdu atpakaļpavairoÅ”anas mehānismu pārskatÄ«Å”ana.

Cilvēka smadzenes paÅ”as nemācās kā neironu tÄ«kls:

  • Viņam nav nejauÅ”as primārās ievades, tostarp tās, kas noteiktas ar maņām un bērnÄ«bā
  • Viņam ir raksturÄ«gi instinktÄ«vas attÄ«stÄ«bas virzieni (vēlme mācÄ«ties valodu no zÄ«daiņa, staigājot stāvus)

AtseviŔķu smadzeņu apmācÄ«ba ir zema lÄ«meņa uzdevums; iespējams, mums vajadzētu apsvērt ātri mainÄ«gu indivÄ«du "kolonijas", kas nodod zināŔanas viens otram, lai reproducētu grupas evolÅ«cijas mehānismus.

Ko mēs tagad varam pieņemt ML algoritmos:

  • Pielietot Ŕūnu lÄ«nijas modeļus, kas nodroÅ”ina populācijas mācÄ«Å”anos, bet indivÄ«da Ä«su mūžu (ā€œindividuālās smadzenesā€).
  • Neliela apmācÄ«ba, izmantojot nelielu skaitu piemēru
  • Sarežģītākas neironu struktÅ«ras, nedaudz atŔķirÄ«gas aktivizācijas funkcijas
  • ā€œGenomaā€ nodoÅ”ana nākamajām paaudzēm - atpakaļpavairoÅ”anas algoritms
  • Kad mēs savienosim neirofizioloÄ£iju un neironu tÄ«klus, mēs iemācÄ«simies izveidot daudzfunkcionālas smadzenes no daudziem komponentiem.

No Ŕī viedokļa SOTA risinājumu prakse ir kaitīga, un tā būtu jāpārskata, lai izstrādātu kopīgus uzdevumus (benchmarks).

ā€œVeridical Data Scienceā€, Bin Yu (Berkeley)

Videoklipi un slaidi
Ziņojums ir veltÄ«ts maŔīnmācÄ«Å”anās modeļu interpretācijas problēmai un to tieŔās testÄ“Å”anas un verifikācijas metodikai. Jebkuru apmācÄ«tu ML modeli var uztvert kā zināŔanu avotu, kas no tā ir jāiegÅ«st.

Daudzās jomās, Ä«paÅ”i medicÄ«nā, modeļa izmantoÅ”ana nav iespējama bez Å”o slēpto zināŔanu iegÅ«Å”anas un modeļa rezultātu interpretācijas - pretējā gadÄ«jumā mēs nebÅ«sim pārliecināti, ka rezultāti bÅ«s stabili, nejauÅ”i, uzticami un nenogalinās pacients. Vesels darba metodoloÄ£ijas virziens attÄ«stās dziļās mācÄ«Å”anās paradigmas ietvaros un pārsniedz tās robežas - veridiskā datu zinātne. Kas tas ir?

Mēs vēlamies sasniegt tādu zinātnisko publikāciju kvalitāti un modeļu reproducējamību, lai tie būtu:

  1. paredzams
  2. aprēķināms
  3. stabils

Å ie trÄ«s principi veido jaunās metodoloÄ£ijas pamatu. Kā ML modeļus var pārbaudÄ«t saskaņā ar Å”iem kritērijiem? VienkārŔākais veids ir izveidot uzreiz interpretējamus modeļus (regresijas, lēmumu kokus). Tomēr mēs vēlamies arÄ« gÅ«t tÅ«lÄ«tējus ieguvumus no dziļas mācÄ«Å”anās.

Vairāki esoÅ”ie veidi, kā strādāt ar problēmu:

  1. interpretēt modeli;
  2. izmantot metodes, kuru pamatā ir uzmanība;
  3. apmācÄ«bā izmantot algoritmu ansambļus un nodroÅ”ināt, ka lineāri interpretējamie modeļi mācās paredzēt tādas paÅ”as atbildes kā neironu tÄ«kls, interpretējot lineārā modeļa pazÄ«mes;
  4. mainÄ«t un papildināt treniņu datus. Tas ietver trokŔņu, traucējumu pievienoÅ”anu un datu palielināŔanu;
  5. jebkuras metodes, kas palÄ«dz nodroÅ”ināt, ka modeļa rezultāti nav nejauÅ”i un nav atkarÄ«gi no nelieliem nevēlamiem traucējumiem (pretrunÄ«gi uzbrukumi);
  6. interpretēt modeli pēc fakta, pēc apmācības;
  7. pētīt pazīmju svarus dažādos veidos;
  8. izpētīt visu hipotēžu varbūtības, klases sadalījumu.

NeurIPS 2019: ML tendences, kas būs ar mums nākamajā desmitgadē
Pretendīvs uzbrukums par cūku

ModelÄ“Å”anas kļūdas ir dārgas ikvienam: lielisks piemērs ir Reinharta un Rogova darbs.Izaugsme parādu laikā" ietekmēja daudzu Eiropas valstu ekonomisko politiku un piespieda tās Ä«stenot taupÄ«bas politiku, taču rÅ«pÄ«ga datu atkārtota pārbaude un to apstrāde gadiem vēlāk parādÄ«ja pretēju rezultātu!

Jebkurai ML tehnoloÄ£ijai ir savs dzÄ«ves cikls no ievieÅ”anas lÄ«dz ievieÅ”anai. Jaunās metodoloÄ£ijas mērÄ·is ir pārbaudÄ«t trÄ«s pamatprincipus katrā modeļa dzÄ«ves posmā.

Rezultāti:

  • Tiek izstrādāti vairāki projekti, kas palÄ«dzēs ML modelim bÅ«t uzticamākam. Tas ir, piemēram, deeptune (saite uz: github.com/ChrisCummins/paper-end2end-dl);
  • MetodoloÄ£ijas tālākai attÄ«stÄ«bai nepiecieÅ”ams bÅ«tiski uzlabot publikāciju kvalitāti ML jomā;
  • MaŔīnmācÄ«bai ir nepiecieÅ”ami vadÄ«tāji ar daudznozaru apmācÄ«bu un zināŔanām gan tehniskajās, gan humanitārajās jomās.

"Cilvēka uzvedÄ«bas modelÄ“Å”ana ar maŔīnmācÄ«Å”anos: iespējas un izaicinājumi" Nuria M Oliver, Albert Ali Salah

Lekcija veltÄ«ta cilvēka uzvedÄ«bas modelÄ“Å”anai, tās tehnoloÄ£iskajiem pamatiem un pielietojuma perspektÄ«vām.

Cilvēka uzvedÄ«bas modelÄ“Å”anu var iedalÄ«t:

  • individuālā uzvedÄ«ba
  • nelielas cilvēku grupas uzvedÄ«ba
  • masu uzvedÄ«ba

Katru no Å”iem veidiem var modelēt, izmantojot ML, bet ar pilnÄ«gi atŔķirÄ«gu ievades informāciju un funkcijām. Katram veidam ir arÄ« savas ētiskās problēmas, kas tiek risinātas katrā projektā:

  • individuāla uzvedÄ«ba ā€“ identitātes zādzÄ«ba, deepfake;
  • cilvēku grupu uzvedÄ«ba - deanonimizācija, informācijas iegÅ«Å”ana par kustÄ«bām, telefona zvani utt.;

individuālā uzvedība

Pārsvarā saistÄ«ts ar Datorredzes tēmu ā€“ cilvēka emociju un reakciju atpazÄ«Å”anu. VarbÅ«t tikai kontekstā, laikā vai ar viņa paÅ”a emociju mainÄ«guma relatÄ«vo mērogu. Slaids parāda Monas Lizas emociju atpazÄ«Å”anu, izmantojot kontekstu no VidusjÅ«ras reÄ£iona sievieÅ”u emocionālā spektra. Rezultāts: prieka smaids, bet ar nicinājumu un riebumu. Iemesls, visticamāk, ir ā€œneitrālasā€ emocijas definÄ“Å”anas tehniskajā veidā.

Mazas cilvēku grupas uzvedība

LÄ«dz Å”im sliktākais modelis ir nepietiekamas informācijas dēļ. Kā piemērs tika rādÄ«ti darbi no 2018. ā€“ 2019. gadam. desmitiem cilvēku X desmitiem videoklipu (sal. ar 100 XNUMX++ attēlu datu kopām). Lai vislabāk modelētu Å”o uzdevumu, ir nepiecieÅ”ama multimodāla informācija, vēlams no sensoriem uz Ä·ermeņa altimetra, termometra, mikrofona ierakstÄ«Å”anas utt.

Masu uzvedība

VisattÄ«stÄ«tākā joma, jo pasÅ«tÄ«tājs ir ANO un daudzas valstis. Āra novēroÅ”anas kameras, dati no telefona torņiem ā€“ rēķini, SMS, zvani, dati par pārvietoÅ”anos starp valsts robežām ā€“ tas viss sniedz ļoti ticamu priekÅ”statu par cilvēku kustÄ«bu un sociālo nestabilitāti. TehnoloÄ£ijas potenciālie pielietojumi: glābÅ”anas operāciju optimizācija, palÄ«dzÄ«ba un savlaicÄ«ga iedzÄ«votāju evakuācija ārkārtas situācijās. Izmantotie modeļi galvenokārt joprojām ir slikti interpretēti - tie ir dažādi LSTM un konvolucionālie tÄ«kli. Tika Ä«sa piezÄ«me, ka ANO lobē jaunu likumu, kas uzliktu Eiropas uzņēmumiem pienākumu koplietot anonimizētus datus, kas nepiecieÅ”ami jebkurai izpētei.

ā€œNo 1. sistēmas uz sistēmu 2. dziļā mācÄ«Å”anāsā€, JoÅ”ua Bendžo

Slaidi
DžoÅ”ua Bengio lekcijā dziļā mācÄ«Å”anās satiekas ar neirozinātni mērÄ·u noteikÅ”anas lÄ«menÄ«.
Bengio identificē divus galvenos problēmu veidus saskaņā ar Nobela prēmijas laureāta Daniela Kānemana metodoloÄ£iju (grāmata ā€œDomā lēni, izlem ātri")
1. tips - 1. sistēma, neapzinātas darbÄ«bas, kuras mēs veicam ā€œautomātiskiā€ (senās smadzenes): braukÅ”ana ar automaŔīnu pazÄ«stamās vietās, ieÅ”ana, seju atpazÄ«Å”ana.
2. tips - 2. sistēma, apzinātas darbÄ«bas (smadzeņu garoza), mērÄ·u noteikÅ”ana, analÄ«ze, domāŔana, saliktie uzdevumi.

AI lÄ«dz Å”im ir sasniedzis pietiekamus augstumus tikai pirmā veida uzdevumos, savukārt mÅ«su uzdevums ir to novest lÄ«dz otrajam, mācot veikt daudznozaru darbÄ«bas un darboties ar loÄ£iku un augsta lÄ«meņa kognitÄ«vām prasmēm.

Lai sasniegtu Å”o mērÄ·i, tiek piedāvāts:

  1. NLP uzdevumos izmantot uzmanÄ«bu kā galveno domāŔanas modelÄ“Å”anas mehānismu
  2. izmantot metamācÄ«Å”anos un reprezentācijas mācÄ«Å”anos, lai labāk modelētu iezÄ«mes, kas ietekmē apziņu un to lokalizāciju, un uz to pamata pāriet uz darbÄ«bu ar augstāka lÄ«meņa koncepcijām.

Secinājuma vietā Å”eit ir uzaicināta runa: Bengio ir viens no daudziem zinātniekiem, kas cenÅ”as paplaÅ”ināt ML jomu ārpus optimizācijas problēmām, SOTA un jaunām arhitektÅ«rām.
Atklāts paliek jautājums, cik lielā mērā apziņas problēmu kombinācija, valodas ietekme uz domāŔanu, neirobioloÄ£ija un algoritmi ir tas, kas mÅ«s sagaida nākotnē un ļaus pāriet uz maŔīnām, kas ā€œdomāā€ kā cilvēki.

Paldies!



Avots: www.habr.com

Pievieno komentāru