NeuroIPS () është konferenca më e madhe në botë për mësimin e makinerive dhe inteligjencën artificiale dhe ngjarja kryesore në botën e të mësuarit të thellë.
A do të zotërojmë edhe ne, inxhinierët e DS, biologjinë, gjuhësinë dhe psikologjinë në dekadën e re? Ne do t'ju tregojmë në rishikimin tonë.
Këtë vit konferenca mblodhi së bashku më shumë se 13500 njerëz nga 80 vende në Vankuver, Kanada. Ky nuk është viti i parë që Sberbank përfaqëson Rusinë në konferencë - ekipi i DS foli për zbatimin e ML në proceset bankare, për konkurrencën ML dhe për aftësitë e platformës Sberbank DS. Cilat ishin tendencat kryesore të vitit 2019 në komunitetin e ML? Pjesëmarrësit e konferencës thonë: и .
Këtë vit, NeurIPS pranoi më shumë se 1400 dokumente—algoritme, modele të reja dhe aplikime të reja për të dhëna të reja.
Përmbajtja:
- trendet
-
- Interpretueshmëria e modelit
- Multidisiplinariteti
- arsyetim
- RL
- GAN
- Bisedimet bazë të të ftuarve
-
- "Inteligjenca Sociale", Blaise Aguera y Arcas (Google)
- "Shkenca Veridike e të Dhënave", Bin Yu (Berkeley)
- "Modelimi i sjelljes njerëzore me mësimin e makinerisë: mundësitë dhe sfidat", Nuria M Oliver, Albert Ali Salah
- "Nga Sistemi 1 në Sistemin 2 Mësimi i Thellë", Yoshua Bengio
Trendet 2019 të vitit
1. Interpretueshmëria e modelit dhe metodologjia e re e ML
Tema kryesore e konferencës është interpretimi dhe dëshmia se pse kemi rezultate të caktuara. Mund të flitet për një kohë të gjatë për rëndësinë filozofike të interpretimit të "kutisë së zezë", por kishte më shumë metoda reale dhe zhvillime teknike në këtë fushë.
Metodologjia për përsëritjen e modeleve dhe nxjerrjen e njohurive prej tyre është një mjet i ri për shkencën. Modelet mund të shërbejnë si një mjet për marrjen e njohurive të reja dhe testimin e tyre, dhe çdo fazë e parapërpunimit, trajnimit dhe aplikimit të modelit duhet të jetë e riprodhueshme.
Një pjesë e konsiderueshme e botimeve nuk i kushtohen ndërtimit të modeleve dhe mjeteve, por problemeve të garantimit të sigurisë, transparencës dhe verifikueshmërisë së rezultateve. Në veçanti, është shfaqur një rrjedhë e veçantë në lidhje me sulmet ndaj modelit (sulmet kundërshtare), dhe janë marrë në konsideratë opsionet si për sulmet në trajnim ashtu edhe për sulmet ndaj aplikacionit.
Artikuj:
- — një artikull programatik mbi metodologjinë e verifikimit të modelit. Përfshin një përmbledhje të mjeteve moderne për interpretimin e modeleve, në veçanti, përdorimin e vëmendjes dhe marrjen e rëndësisë së veçorive duke "distiluar" rrjetin nervor me modele lineare.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net tregon interpretimin e modelit për detyrat e përpunimit të tekstit
2. Multidisiplinariteti
Për të siguruar verifikim të besueshëm dhe për të zhvilluar mekanizma për verifikimin dhe zgjerimin e njohurive, ne kemi nevojë për specialistë në fusha të ngjashme, të cilët njëkohësisht kanë kompetenca në ML dhe në fushën lëndore (mjekësi, gjuhësi, neurobiologji, arsim, etj.). Vlen të përmendet veçanërisht prania më domethënëse e punimeve dhe fjalimeve në neuroshkencat dhe shkencat njohëse - ka një afrim specialistësh dhe huazim idesh.
Krahas këtij afrimi, multidisiplinariteti po shfaqet në përpunimin e përbashkët të informacionit nga burime të ndryshme: teksti dhe fotot, teksti dhe lojërat, bazat e të dhënave grafike + teksti dhe fotot.
Artikuj:
- Neuroshkenca + ML -
- VisualQA -
- RL + NLP -
Dy modele - strateg dhe ekzekutiv - bazuar në RL dhe NLP luajnë strategji online
3. Arsyetimi
Forcimi i inteligjencës artificiale është një lëvizje drejt sistemeve të vetë-mësimit, "të vetëdijshëm", arsyetimi dhe arsyetimi. Në veçanti, konkludimi shkakor dhe arsyetimi i logjikshëm po zhvillohen. Disa nga raportet i kushtohen meta-mësimit (për mënyrën se si të mësosh të mësosh) dhe kombinimit të teknologjive DL me logjikën e rendit të parë dhe të dytë - termi Inteligjenca e Përgjithshme Artificiale (AGI) po bëhet një term i zakonshëm në fjalimet e folësve.
Artikuj:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Mësimi përforcues
Pjesa më e madhe e punës vazhdon të zhvillojë zonat tradicionale të RL - DOTA2, Starcraft, duke kombinuar arkitekturat me vizionin kompjuterik, NLP, bazat e të dhënave grafike.
Një ditë e veçantë e konferencës iu kushtua një punëtorie RL, në të cilën u prezantua arkitektura Optimistic Actor Critic Model, më e lartë se të gjitha të mëparshmet, në veçanti Soft Actor Critic.
Artikuj:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Rrjetet e Preferuara); Takahiro Ishikawa (Universiteti i Tokios) [lidhja e jashtme pdf].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Universiteti i Torontos); Mohammad Norouzi (Google Brain)
Lojtarët e StarCraft luftojnë me modelin Alphastar (DeepMind)
5.GAN
Rrjetet gjeneruese janë ende në qendër të vëmendjes: shumë vepra përdorin GAN-et e vaniljes për prova matematikore, dhe gjithashtu i zbatojnë ato në mënyra të reja, të pazakonta (modele gjeneruese të grafikëve, puna me seri, aplikimi në marrëdhëniet shkak-pasojë në të dhëna, etj.).
Artikuj:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Meqenëse u pranua më shumë punë Më poshtë do të flasim për fjalimet më të rëndësishme.
Bisedime të ftuara
"Inteligjenca Sociale", Blaise Aguera y Arcas (Google)
Biseda fokusohet në metodologjinë e përgjithshme të mësimit të makinerive dhe perspektivat që ndryshojnë industrinë tani - me çfarë udhëkryqi po përballemi? Si funksionon truri dhe evolucioni, dhe pse e përdorim kaq pak atë që dimë tashmë për zhvillimin e sistemeve natyrore?
Zhvillimi industrial i ML përkon kryesisht me piketa të zhvillimit të Google, i cili publikon kërkimet e tij mbi NeurIPS vit pas viti:
- 1997 – nisja e objekteve të kërkimit, serverët e parë, fuqia e vogël kompjuterike
- 2010 - Jeff Dean lançon projektin Google Brain, bumi i rrjeteve nervore që në fillim
- 2015 – zbatimi industrial i rrjeteve nervore, njohja e shpejtë e fytyrës direkt në një pajisje lokale, procesorë të nivelit të ulët të përshtatur për llogaritjen tensore - TPU. Google lançon Coral ai - një analog i raspberry pi, një mini-kompjuter për futjen e rrjeteve nervore në instalimet eksperimentale
- 2017 - Google fillon të zhvillojë trajnime të decentralizuara dhe të kombinojë rezultatet e trajnimit të rrjetit nervor nga pajisje të ndryshme në një model - në Android
Sot, një industri e tërë i është përkushtuar sigurisë së të dhënave, grumbullimit dhe përsëritjes së rezultateve të të mësuarit në pajisjet lokale.
– një drejtim i ML në të cilin modelet individuale mësojnë në mënyrë të pavarur nga njëri-tjetri dhe më pas kombinohen në një model të vetëm (pa centralizuar të dhënat burimore), të përshtatura për ngjarje të rralla, anomali, personalizim, etj. Të gjitha pajisjet Android janë në thelb një superkompjuter i vetëm kompjuterik për Google.
Modelet gjeneruese të bazuara në mësimin e federuar janë një drejtim premtues për të ardhmen sipas Google, i cili është "në fazat e hershme të rritjes eksponenciale". GAN-të, sipas pedagogut, janë të aftë të mësojnë të riprodhojnë sjelljen masive të popullatave të organizmave të gjallë dhe algoritmet e të menduarit.
Duke përdorur shembullin e dy arkitekturave të thjeshta GAN, tregohet se në to kërkimi i një rruge optimizimi endet në një rreth, që do të thotë se optimizimi si i tillë nuk ndodh. Në të njëjtën kohë, këto modele janë shumë të suksesshme në simulimin e eksperimenteve që biologët kryejnë mbi popullatat bakteriale, duke i detyruar ata të mësojnë strategji të reja të sjelljes në kërkim të ushqimit. Mund të konkludojmë se jeta funksionon ndryshe nga funksioni i optimizimit.
Optimizimi i Walking GAN
Gjithçka që bëjmë tani në kuadrin e mësimit të makinerive janë detyra të ngushta dhe jashtëzakonisht të formalizuara, ndërsa këto formalizma nuk përgjithësohen mirë dhe nuk korrespondojnë me njohuritë tona lëndore në fusha të tilla si neurofiziologjia dhe biologjia.
Ajo që me të vërtetë ia vlen të huazohet nga fusha e neurofiziologjisë në të ardhmen e afërt janë arkitekturat e reja të neuroneve dhe një rishikim i lehtë i mekanizmave të përhapjes së pasme të gabimeve.
Vetë truri i njeriut nuk mëson si një rrjet nervor:
- Ai nuk ka të dhëna parësore të rastësishme, duke përfshirë ato të përcaktuara përmes shqisave dhe në fëmijëri
- Ai ka drejtime të qenësishme të zhvillimit instinktiv (dëshira për të mësuar gjuhën nga një foshnjë, ecja drejt)
Trajnimi i një truri individual është një detyrë e nivelit të ulët; mbase duhet të konsiderojmë "kolonitë" e individëve që ndryshojnë me shpejtësi që i kalojnë njohuritë njëri-tjetrit për të riprodhuar mekanizmat e evolucionit grupor.
Çfarë mund të adoptojmë në algoritmet ML tani:
- Aplikoni modele të linjës qelizore që sigurojnë mësimin e popullatës, por jetën e shkurtër të individit (“truri individual”)
- Të mësuarit e thjeshtë duke përdorur një numër të vogël shembujsh
- Struktura më komplekse të neuroneve, funksione aktivizimi paksa të ndryshme
- Transferimi i "gjenomit" tek gjeneratat e ardhshme - algoritmi i përhapjes së pasme
- Pasi të lidhim neurofiziologjinë dhe rrjetet nervore, do të mësojmë të ndërtojmë një tru multifunksional nga shumë komponentë.
Nga ky këndvështrim, praktika e zgjidhjeve SOTA është e dëmshme dhe duhet rishikuar për hir të zhvillimit të detyrave të përbashkëta (benchmarks).
"Shkenca Veridike e të Dhënave", Bin Yu (Berkeley)
Raporti i kushtohet problemit të interpretimit të modeleve të mësimit të makinerive dhe metodologjisë për testimin dhe verifikimin e tyre të drejtpërdrejtë. Çdo model i trajnuar i ML mund të perceptohet si një burim njohurish që duhet të nxirret prej tij.
Në shumë fusha, veçanërisht në mjekësi, përdorimi i një modeli është i pamundur pa nxjerrë këtë njohuri të fshehur dhe pa interpretuar rezultatet e modelit - përndryshe nuk do të jemi të sigurt se rezultatet do të jenë të qëndrueshme, jo të rastësishme, të besueshme dhe nuk do të vrasin pacientit. Një drejtim i tërë i metodologjisë së punës po zhvillohet brenda paradigmës së të mësuarit të thellë dhe shkon përtej kufijve të saj - shkenca e të dhënave të vërteta. Cfare eshte?
Ne duam të arrijmë një cilësi të tillë të botimeve shkencore dhe riprodhueshmërisë së modeleve, saqë ato janë:
- e parashikueshme
- të llogaritshme
- të qëndrueshme
Këto tre parime përbëjnë bazën e metodologjisë së re. Si mund të kontrollohen modelet ML kundrejt këtyre kritereve? Mënyra më e lehtë është të ndërtoni modele të interpretueshme menjëherë (regresione, pemë vendimi). Megjithatë, ne duam gjithashtu të marrim përfitimet e menjëhershme të të mësuarit të thellë.
Disa mënyra ekzistuese për të punuar me problemin:
- interpretoni modelin;
- përdorni metoda të bazuara në vëmendje;
- përdorni grupe algoritmesh gjatë trajnimit dhe sigurohuni që modelet lineare të interpretueshme të mësojnë të parashikojnë të njëjtat përgjigje si rrjeti nervor, duke interpretuar veçoritë nga modeli linear;
- ndryshimi dhe shtimi i të dhënave të trajnimit. Kjo përfshin shtimin e zhurmës, ndërhyrjen dhe shtimin e të dhënave;
- çdo metodë që ndihmon të sigurohet se rezultatet e modelit nuk janë të rastësishme dhe nuk varen nga ndërhyrje të vogla të padëshiruara (sulme kundërshtare);
- interpretoni modelin pas faktit, pas trajnimit;
- studioni peshat e veçorive në mënyra të ndryshme;
- studiojnë probabilitetet e të gjitha hipotezave, shpërndarjen e klasës.
Sulmi kundërshtar
Gabimet e modelimit janë të kushtueshme për të gjithë: një shembull kryesor është puna e Reinhart dhe Rogov."" ndikoi në politikat ekonomike të shumë vendeve evropiane dhe i detyroi të ndiqnin politika shtrënguese, por një rishikim i kujdesshëm i të dhënave dhe përpunimi i tyre vite më vonë tregoi rezultatin e kundërt!
Çdo teknologji ML ka ciklin e vet të jetës nga zbatimi në zbatim. Qëllimi i metodologjisë së re është të kontrollojë tre parime bazë në çdo fazë të jetës së modelit.
rezultatet:
- Janë duke u zhvilluar disa projekte që do të ndihmojnë modelin ML të jetë më i besueshëm. Ky është, për shembull, deeptune (lidhja me: );
- Për zhvillimin e mëtejshëm të metodologjisë, është e nevojshme të përmirësohet ndjeshëm cilësia e publikimeve në fushën e ML;
- Mësimi i makinerisë ka nevojë për liderë me trajnime dhe ekspertizë shumëdisiplinore si në fushat teknike ashtu edhe në ato humane.
"Modelimi i sjelljes njerëzore me mësimin e makinerisë: mundësitë dhe sfidat" Nuria M Oliver, Albert Ali Salah
Leksion kushtuar modelimit të sjelljes njerëzore, themeleve të saj teknologjike dhe perspektivave të aplikimit.
Modelimi i sjelljes njerëzore mund të ndahet në:
- sjellje individuale
- sjellja e një grupi të vogël njerëzish
- sjellje masive
Secili prej këtyre llojeve mund të modelohet duke përdorur ML, por me informacione dhe veçori krejtësisht të ndryshme hyrëse. Çdo lloj ka gjithashtu çështjet e veta etike nëpër të cilat kalon çdo projekt:
- sjellja individuale – vjedhja e identitetit, “deepfake”;
- sjellja e grupeve të njerëzve - de-anonimizim, marrja e informacionit për lëvizjet, telefonatat, etj.;
sjellje individuale
Më së shumti e lidhur me temën e Vizionit Kompjuterik - njohja e emocioneve dhe reagimeve njerëzore. Ndoshta vetëm në kontekst, në kohë ose me shkallën relative të ndryshueshmërisë së tij të emocioneve. Sllajdi tregon njohjen e emocioneve të Mona Lizës duke përdorur kontekstin nga spektri emocional i grave mesdhetare. Rezultati: një buzëqeshje gëzimi, por me përbuzje dhe neveri. Arsyeja ka shumë të ngjarë në mënyrën teknike të përcaktimit të një emocioni "neutral".
Sjellja e një grupi të vogël njerëzish
Deri më tani, modeli më i keq është për shkak të informacionit të pamjaftueshëm. Si shembull u shfaqën punimet nga viti 2018 – 2019. në dhjetëra njerëz X dhjetëra video (krh. 100 mijë++ grupe të dhënash imazhesh). Për modelimin më të mirë të kësaj detyre, nevojitet informacion multimodal, mundësisht nga sensorë në një lartësimatës të trupit, termometër, regjistrim mikrofon, etj.
Sjellja masive
Zona më e zhvilluar, pasi klienti është OKB-ja dhe shumë shtete. Kamerat e vëzhgimit të jashtëm, të dhënat nga kullat telefonike - faturimi, SMS, thirrjet, të dhënat për lëvizjen ndërmjet kufijve shtetërorë - e gjithë kjo jep një pamje shumë të besueshme të lëvizjes së njerëzve dhe paqëndrueshmërisë sociale. Aplikimet e mundshme të teknologjisë: optimizimi i operacioneve të shpëtimit, ndihma dhe evakuimi në kohë i popullsisë gjatë emergjencave. Modelet e përdorura janë kryesisht ende të interpretuara dobët - këto janë LSTM të ndryshme dhe rrjete konvolucionare. Kishte një vërejtje të shkurtër se OKB-ja po lobonte për një ligj të ri që do t'i detyronte bizneset evropiane të ndajnë të dhënat anonime të nevojshme për çdo kërkim.
"Nga Sistemi 1 në Sistemin 2 Mësimi i Thellë", Yoshua Bengio
Në leksionin e Joshua Bengio, të mësuarit e thellë takon neuroshkencën në nivelin e vendosjes së qëllimeve.
Bengio identifikon dy lloje kryesore të problemeve sipas metodologjisë së laureatit Nobel Daniel Kahneman (libër "")
Lloji 1 - Sistemi 1, veprime të pavetëdijshme që bëjmë "automatikisht" (truri i lashtë): drejtimi i një makine në vende të njohura, ecja, njohja e fytyrave.
lloji 2 - Sistemi 2, veprime të ndërgjegjshme (korteksi cerebral), vendosja e qëllimeve, analiza, të menduarit, detyrat e përbëra.
AI deri më tani ka arritur lartësi të mjaftueshme vetëm në detyrat e llojit të parë, ndërsa detyra jonë është ta çojmë atë në të dytin, duke e mësuar atë të kryejë operacione multidisiplinare dhe të veprojë me logjikë dhe aftësi të nivelit të lartë njohës.
Për të arritur këtë qëllim propozohet:
- në detyrat NLP, përdorni vëmendjen si një mekanizëm kyç për modelimin e të menduarit
- përdorni të mësuarit meta dhe të përfaqësimit për të modeluar më mirë veçoritë që ndikojnë në vetëdijen dhe lokalizimin e tyre - dhe mbi bazën e tyre kaloni në veprimin me koncepte të nivelit më të lartë.
Në vend të një përfundimi, këtu është një bisedë e ftuar: Bengio është një nga shumë shkencëtarët që po përpiqen të zgjerojnë fushën e ML përtej problemeve të optimizimit, SOTA dhe arkitekturave të reja.
Pyetja mbetet e hapur deri në çfarë mase kombinimi i problemeve të ndërgjegjes, ndikimi i gjuhës në të menduarit, neurobiologjia dhe algoritmet është ajo që na pret në të ardhmen dhe do të na lejojë të kalojmë në makina që "mendojnë" si njerëzit.
Ju faleminderit!
Burimi: www.habr.com