هن سال ڪانفرنس وينڪوور، ڪئناڊا ۾ 13500 ملڪن مان 80 کان وڌيڪ ماڻهن کي گڏ ڪيو. اهو پهريون سال ناهي ته Sberbank ڪانفرنس ۾ روس جي نمائندگي ڪئي آهي - ڊي ايس ٽيم بينڪن جي عملن ۾ ايم ايل جي عمل درآمد بابت، ايم ايل مقابلي بابت ۽ Sberbank DS پليٽ فارم جي صلاحيتن جي باري ۾ ڳالهايو. ايم ايل ڪميونٽي ۾ 2019 جا مکيه رجحان ڇا هئا؟ ڪانفرنس ۾ شرڪت ڪندڙن جو چوڻ آهي ته: آندري چيرتوڪ и تاتيانا شاورينا.
هن سال، NeurIPS قبول ڪيو 1400 پيپرن کان وڌيڪ- الگورتھم، نوان ماڊل، ۽ نئين ڊيٽا لاء نئين ايپليڪيشنون. سڀني مواد سان ڳنڍيو
مضمون:
رجحانات
ماڊل تفسير
گھڻائي
سبب
RL
گان
بنيادي دعوتون ڳالهيون
"سوشل انٽيليجنس"، Blaise Aguera y Arcas (Google)
"ويريڊيڪل ڊيٽا سائنس"، بن يو (برڪلي)
"انساني رويي جي ماڊلنگ مشين لرننگ سان: موقعا ۽ چئلينجز"، نوريا ايم اوليور، البرٽ علي صلاح
"سسٽم 1 کان سسٽم 2 ڊيپ لرننگ"، يوشوا بينگيو
رجحانات 2019
1. ماڊل تفسير ۽ نئين ايم ايل طريقيڪار
ڪانفرنس جو بنيادي موضوع تفسير ۽ ثبوت آهي ڇو ته اسان ڪجهه نتيجا حاصل ڪندا آهيون. هڪ ڊگهي وقت تائين "بليڪ باڪس" تفسير جي فلسفيائي اهميت بابت ڳالهائي سگهي ٿو، پر هن علائقي ۾ وڌيڪ حقيقي طريقا ۽ ٽيڪنيڪل ترقيات موجود هئا.
نمونن کي نقل ڪرڻ ۽ انهن مان علم ڪڍڻ جو طريقو سائنس لاءِ هڪ نئون ٽول ڪٽ آهي. ماڊل نئين علم حاصل ڪرڻ ۽ ان کي جانچڻ لاءِ هڪ اوزار طور ڪم ڪري سگهن ٿا، ۽ ماڊل جي اڳڀرائي، تربيت ۽ ايپليڪيشن جي هر مرحلي کي ٻيهر پيدا ڪرڻ گهرجي.
اشاعت جو هڪ اهم حصو ماڊل ۽ اوزار جي تعمير لاء وقف نه ڪيو ويو آهي، پر سيڪيورٽي، شفافيت ۽ نتيجن جي تصديق کي يقيني بڻائڻ جي مسئلن ڏانهن. خاص طور تي، ماڊل تي حملن جي باري ۾ هڪ الڳ وهڪرو ظاهر ٿيو آهي (مخالف حملا)، ۽ ٻنهي حملن جي تربيت تي حملن ۽ ايپليڪيشنن تي حملن لاء اختيارن تي غور ڪيو ويو آهي.
آرٽيڪل:
تصديق ٿيل ڊيٽا سائنس - ماڊل جي تصديق جي طريقيڪار تي هڪ پروگراماتي آرٽيڪل. ماڊل جي تشريح ڪرڻ لاءِ جديد اوزارن جو هڪ جائزو شامل آهي، خاص طور تي، توجه جو استعمال ۽ خصوصيت جي اهميت حاصل ڪرڻ سان نيورل نيٽ ورڪ کي لڪير ماڊلز سان ”ڊسٽل“ ڪرڻ.
قابل اعتماد تصديق کي يقيني بڻائڻ ۽ علم جي تصديق ۽ وڌائڻ لاءِ ميڪانيزم کي ترقي ڪرڻ لاءِ، اسان کي لاڳاپيل شعبن ۾ ماهرن جي ضرورت آهي جيڪي هڪ ئي وقت ML ۽ مضمون جي شعبي ۾ (طب، لسانيات، نيروبيولوجي، تعليم، وغيره) ۾ صلاحيتون رکن. اهو خاص طور تي ياد رکڻ جي قابل آهي ته ڪم ۽ تقريرن جي وڌيڪ اهم موجودگي نيورو سائنسز ۽ سنجيدگي واري سائنس ۾ - اتي ماهرن جو هڪ ميلاپ ۽ خيالن جو قرض آهي.
ان لاڳاپي جي اضافي ۾، مختلف ذريعن کان معلومات جي گڏيل پروسيسنگ ۾ گھڻائي تقسيم پيدا ٿي رهي آهي: ٽيڪسٽ ۽ فوٽو، ٽيڪسٽ ۽ گيمز، گراف ڊيٽابيس + ٽيڪسٽ ۽ فوٽو.
گهڻو ڪري ڪم RL - DOTA2، Starcraft جي روايتي علائقن کي ترقي ڪرڻ لاء جاري آهي، آرڪيٽيڪچر کي ڪمپيوٽر جي ويزن سان گڏ، اين ايل پي، گراف ڊيٽابيس.
ڪانفرنس جو هڪ الڳ ڏينهن آر ايل ورڪشاپ لاءِ وقف ڪيو ويو، جنهن ۾ Optimistic Actor Critic Model آرڪيٽيڪچر پيش ڪيو ويو، جيڪو اڳئين سڀني کان اعليٰ، خاص طور تي Soft Actor Critic.
2017 - گوگل غير مرڪزي ٽريننگ کي ترقي ڪرڻ شروع ڪري ٿو ۽ مختلف ڊوائيسز کان نيورل نيٽورڪ ٽريننگ جي نتيجن کي هڪ ماڊل ۾ گڏ ڪرڻ شروع ڪري ٿو - Android تي
اڄ، سڄي صنعت ڊيٽا سيڪيورٽي، مجموعي، ۽ مقامي ڊوائيسز تي سکيا جي نتيجن جي نقل لاء وقف آهي.
وفاقي تعليم - ML جو هڪ رخ جنهن ۾ انفرادي ماڊل هڪ ٻئي کان آزاديءَ سان سکندا آهن ۽ پوءِ هڪ واحد ماڊل ۾ گڏ ڪيا ويندا آهن (بغير ماخذ ڊيٽا کي مرڪزي ڪرڻ جي)، ناياب واقعن لاءِ ترتيب ڏني وئي آهي، غير معموليات، ذاتي ڪرڻ، وغيره. سڀئي Android ڊوائيسز لازمي طور تي گوگل لاءِ هڪ واحد ڪمپيوٽنگ سپر ڪمپيوٽر آهن.
وفاق جي سکيا تي مبني پيداواري ماڊل گوگل جي مطابق مستقبل جو هڪ واعدو ڪندڙ هدايتون آهن، جيڪا ”تفصيلي ترقي جي شروعاتي مرحلن ۾“ آهي. GANs، ليڪچرر جي مطابق، جاندارن جي آبادي جي وڏي رويي کي ٻيهر پيدا ڪرڻ ۽ سوچڻ جي الگورتھم کي سکڻ جي قابل آهن.
ٻن سادي GAN آرڪيٽيڪچرز جو مثال استعمال ڪندي، اهو ڏيکاريو ويو آهي ته انهن ۾ هڪ اصلاح جي رستي جي ڳولا هڪ دائري ۾ گھمندو آهي، جنهن جو مطلب آهي ته اصلاح اهڙي طرح نه ٿيندي آهي. ساڳئي وقت، اهي ماڊل تجربا ڪرڻ ۾ تمام ڪامياب آهن جيڪي حياتيات جا ماهر بيڪٽيريا جي آبادي تي انجام ڏين ٿا، انهن کي خوراڪ جي ڳولا ۾ نئين رويي جي حڪمت عملي سکڻ تي مجبور ڪن ٿا. اسان اهو نتيجو ڪري سگهون ٿا ته زندگي بهتر ڪم ڪرڻ کان مختلف ڪم ڪري ٿي.
هلڻ GAN اصلاح
مشين لرننگ جي فريم ورڪ ۾ جيڪي اسان ڪندا آهيون اهي تمام تنگ ۽ انتهائي باضابطه ڪم آهن، جڏهن ته اهي رسم الخط چڱيءَ طرح عام نه ٿا ٿين ۽ اسان جي مضمونن جي ڄاڻ سان مطابقت نٿا رکن جهڙوڪ نيوروفيزيالوجي ۽ حياتيات.
ويجهي مستقبل ۾ نيوروفيولوجيجي جي فيلڊ مان قرض وٺڻ جي حقيقت ڇا آهي نئين نيورون آرڪيٽيڪچرز ۽ غلطين جي پٺڀرائي جي ميڪانيزم جو هڪ معمولي نظر ثاني.
هن وٽ بي ترتيب بنيادي معلومات نه آهن، جن ۾ اهي شامل آهن جيڪي حواس ۽ ننڍپڻ ۾ رکيا ويا آهن
هن وٽ فطري ترقي جا موروثي هدايتون آهن (ٻار کان ٻولي سکڻ جي خواهش، سڌو هلڻ)
هڪ فرد جي دماغ کي تربيت ڏيڻ هڪ گهٽ سطحي ڪم آهي؛ شايد اسان کي "نوآبادين" تي غور ڪرڻ گهرجي تيزيءَ سان تبديل ٿيندڙ ماڻهن جي هڪ ٻئي ڏانهن علم منتقل ڪرڻ لاءِ گروهه جي ارتقا جي ميڪانيزم کي ٻيهر پيدا ڪرڻ لاءِ.
جيڪو اسان هاڻي ML الگورتھم ۾ اپنائڻ ڪري سگھون ٿا:
سيل نسب جا ماڊل لاڳو ڪريو جيڪي آبادي جي سکيا کي يقيني بڻائين، پر فرد جي مختصر زندگي ("انفرادي دماغ")
ڪجھ شاٽ سکيا مثالن جو ننڍڙو تعداد استعمال ڪندي
وڌيڪ پيچيده نيورون ڍانچي، ٿورڙي مختلف ڪارڪردگي افعال
هن نقطي نظر کان، SOTA حل جو عمل نقصانڪار آهي ۽ عام ڪمن (معيارن) کي ترقي ڪرڻ جي خاطر نظر ثاني ڪرڻ گهرجي.
"ويريڊيڪل ڊيٽا سائنس"، بن يو (برڪلي)
وڊيوز ۽ سلائڊ
رپورٽ مشين لرننگ ماڊل جي تشريح جي مسئلي ۽ انهن جي سڌي جاچ ۽ تصديق جي طريقيڪار لاءِ وقف ڪئي وئي آهي. ڪنهن به تربيت يافته ايم ايل ماڊل کي علم جو ذريعو سمجهي سگهجي ٿو جيڪو ان مان ڪڍڻ جي ضرورت آهي.
ڪيترن ئي علائقن ۾، خاص طور تي طب ۾، ماڊل جو استعمال ناممڪن آهي بغير هن پوشيده علم کي ڪڍڻ ۽ ماڊل جي نتيجن جي تشريح ڪرڻ - ٻي صورت ۾ اسان يقين نه ڪنداسين ته نتيجا مستحڪم، غير بي ترتيب، قابل اعتماد، ۽ نه ماريندا. مريض. ڪم جي طريقي جي هڪ مڪمل هدايت deep learning paradigm جي اندر ترقي ڪري رهي آهي ۽ ان جي حدن کان ٻاهر وڃي ٿي - veridical data science. هي ڇا آهي؟
اسان چاهيون ٿا ته سائنسي اشاعتن جي اهڙي معيار کي حاصل ڪرڻ ۽ ماڊلز جي پيداواري صلاحيت:
اڳڪٿي ڪرڻ جي قابل
ڳڻپيوڪر
مستحڪم
اهي ٽي اصول نئين طريقي جو بنياد بڻجن ٿا. انهن معيارن جي خلاف ايم ايل ماڊل ڪيئن چيڪ ڪري سگهجن ٿا؟ آسان رستو فوري طور تي قابل تعبير ماڊل تعمير ڪرڻ آهي (رجعت، فيصلي جي وڻ). بهرحال، اسان پڻ حاصل ڪرڻ چاهيون ٿا فوري طور تي گہرے سکيا جا فائدا.
مسئلو سان ڪم ڪرڻ لاء ڪيترائي موجود طريقا:
ماڊل جي تشريح؛
ڌيان جي بنياد تي طريقا استعمال ڪريو؛
ٽريننگ دوران الورورٿمز جا ensembles استعمال ڪريو، ۽ يقيني بڻائين ته لڪيريءَ جا تعبيري ماڊل ساڳيا جوابن جي اڳڪٿي ڪرڻ سکن ٿا جيئن نيورل نيٽ ورڪ، لڪير ماڊل مان خصوصيتن جي تشريح ڪندي؛
ٽريننگ ڊيٽا کي تبديل ۽ وڌايو. ھن ۾ شامل آھي شور، مداخلت، ۽ ڊيٽا وڌائڻ؛
ڪي به طريقا جيڪي انهي ڳالهه کي يقيني بڻائڻ ۾ مدد ڪن ٿيون ته ماڊل جا نتيجا بي ترتيب نه آهن ۽ معمولي ناپسنديده مداخلت تي منحصر نه آهن (مخالف حملا)؛
حقيقت کان پوء ماڊل جي تفسير، تربيت کان پوء؛
مطالعي جي خاصيت مختلف طريقن سان وزن؛
سڀني مفروضن جي امڪانن جو مطالعو ڪريو، طبقاتي تقسيم.
ماڊلنگ جون غلطيون هر ڪنهن لاءِ قيمتي آهن: هڪ عظيم مثال رين هارٽ ۽ روگوف جو ڪم آهي.قرض جي وقت ۾ واڌارو"ڪيترن ئي يورپي ملڪن جي اقتصادي پاليسين کي متاثر ڪيو ۽ انهن کي سادگي جي پاليسين جي پيروي ڪرڻ تي مجبور ڪيو، پر ڊيٽا جي هڪ محتاط ٻيهر جانچ ۽ انهن جي پروسيسنگ سالن کان پوء ان جي ابتڙ نتيجو ظاهر ڪيو!
ڪنهن به ايم ايل ٽيڪنالوجي جي پنهنجي زندگي جي چڪر کي لاڳو ڪرڻ کان لاڳو ڪرڻ تائين آهي. نئين طريقي جو مقصد ماڊل جي زندگي جي هر مرحلي تي ٽن بنيادي اصولن تي جانچ ڪرڻ آهي.
نتيجا:
ڪيترائي منصوبا ٺاهيا پيا وڃن جيڪي ايم ايل ماڊل کي وڌيڪ قابل اعتماد بڻائڻ ۾ مدد ڏين ٿيون. هي آهي، مثال طور، deeptune (لنڪ: github.com/ChrisCummins/paper-end2end-dl);
طريقيڪار جي وڌيڪ ترقي لاء، اهو ضروري آهي ته ايم ايل جي شعبي ۾ اشاعت جي معيار کي بهتر بڻائڻ؛
مشين لرننگ لاءِ ليڊرن جي ضرورت آهي گھڻ-ڊسپلينري ٽريننگ ۽ ماهرن سان ٽيڪنيڪل ۽ انسانيت جي شعبن ۾.
"انساني رويي جي ماڊلنگ مشين لرننگ سان: موقعا ۽ چئلينجز" نوريا ايم اوليور، البرٽ علي صلاح
ليڪچر انساني رويي کي ماڊل ڪرڻ، ان جي ٽيڪنالاجي بنيادن ۽ ايپليڪيشن جي امڪانن لاء وقف ڪيو ويو آهي.
انساني رويي جي ماڊلنگ ۾ ورهائي سگهجي ٿو:
انفرادي رويي
ماڻهن جي هڪ ننڍڙي گروپ جي رويي
اجتماعي رويي
انهن مان هر هڪ قسم ML استعمال ڪندي ماڊل ٿي سگهي ٿو، پر مڪمل طور تي مختلف ان پٽ معلومات ۽ خاصيتن سان. هر قسم جا پنهنجا اخلاقي مسئلا به آهن ته هر پروجيڪٽ ذريعي ٿئي ٿو:
انفرادي رويي - سڃاڻپ چوري، deepfake؛
ماڻهن جي گروهن جو رويو - گمنام ڪرڻ، تحريڪن بابت معلومات حاصل ڪرڻ، ٽيليفون ڪالون، وغيره.
انفرادي رويي
گهڻو ڪري ڪمپيوٽر ويزن جي موضوع سان لاڳاپيل - انساني جذبات ۽ رد عمل جي سڃاڻپ. شايد صرف ان حوالي سان، وقت ۾، يا پنهنجي جذبات جي پنهنجي تبديليءَ جي لاڳاپي واري پيماني سان. سلائڊ ڏيکاري ٿو مونا ليزا جي جذبات جي سڃاڻپ کي ميڊيٽرينين عورتن جي جذباتي اسپيڪٽرم جي حوالي سان استعمال ڪندي. نتيجو: خوشي جي مسڪراهٽ، پر حقارت ۽ نفرت سان. سبب گهڻو ڪري هڪ "غير جانبدار" جذبي جي وضاحت ڪرڻ جي ٽيڪنيڪل طريقي سان آهي.
ماڻهن جي هڪ ننڍڙي گروپ جي رويي
هينئر تائين سڀ کان وڌيڪ خراب ماڊل ناقص معلومات جي ڪري آهي. مثال طور، 2018 - 2019 کان ڪم ڏيکاريا ويا. درجنين ماڻهن تي X درجن جي وڊيوز (cf. 100k++ تصويري ڊيٽا سيٽ). ھن ڪم کي بھترين نموني ڪرڻ لاءِ، ملٽي موڊل معلومات جي ضرورت آھي، ترجيحي طور تي سينسر کان جسم جي الٽيميٽر، ٿرماميٽر، مائڪروفون رڪارڊنگ وغيره.
اجتماعي رويي
سڀ کان وڌيڪ ترقي يافته علائقو، ڇاڪاڻ ته گراهڪ اقوام متحده ۽ ڪيترن ئي رياستن جو آهي. ٻاهرين نگراني ڪيمرا، ٽيليفون ٽاورز مان ڊيٽا - بلنگ، ايس ايم ايس، ڪالز، رياست جي سرحدن جي وچ ۾ حرڪت تي ڊيٽا - هي سڀ ڪجهه ماڻهن جي حرڪت ۽ سماجي عدم استحڪام جي هڪ تمام قابل اعتماد تصوير ڏئي ٿو. ٽيڪنالاجي جي ممڪن ايپليڪيشنون: بچاء جي عملن کي بهتر ڪرڻ، مدد ۽ هنگامي حالتن ۾ آبادي جي بروقت نڪرڻ. استعمال ٿيل ماڊل بنيادي طور تي اڃا تائين ناقص تشريح ٿيل آهن - اهي مختلف LSTMs ۽ سازشي نيٽ ورڪ آهن. اتي هڪ مختصر تبصرو هو ته اقوام متحده هڪ نئين قانون لاءِ لابنگ ڪري رهي هئي جيڪا يورپي ڪاروبار کي پابند ڪندي ته ڪنهن به تحقيق لاءِ گهربل گمنام ڊيٽا شيئر ڪن.
"سسٽم 1 کان سسٽم 2 ڊيپ لرننگ"، يوشوا بينگيو
سلائيڊ
جوشوا بينگيو جي ليڪچر ۾، گہرے سکيا مقصد سيٽنگ جي سطح تي نيورو سائنس سان ملن ٿا.
بينجيو ٻن مکيه قسمن جي مسئلن جي نشاندهي ڪري ٿو نوبل انعام يافته ڊينيل ڪاهنيمن (ڪتاب “سست سوچيو، تڪڙو فيصلو ڪريو")
ٽائپ 1 - سسٽم 1، بي شعور ڪارناما جيڪي اسان ڪندا آهيون "خودڪار" (قديم دماغ): واقف هنڌن تي ڪار هلائڻ، هلڻ، منهن کي سڃاڻڻ.
ٽائپ 2 - سسٽم 2، شعوري عمل (دماغي پرانتڪس)، مقصد سيٽنگ، تجزيو، سوچ، جامع ڪم.
AI هن وقت تائين صرف پهرين قسم جي ڪمن ۾ ڪافي اونچائي تي پهچي چڪو آهي، جڏهن ته اسان جو ڪم ان کي ٻئي تي آڻڻ آهي، ان کي سيکارڻ لاءِ گھڻ-ڊسپلينري عملن کي انجام ڏيڻ ۽ منطق ۽ اعليٰ سطحي سنجيدگي واري صلاحيتن سان هلائڻ.
هن مقصد کي حاصل ڪرڻ لاء، اهو تجويز ڪيل آهي:
NLP ڪمن ۾، ڌيان کي استعمال ڪريو ماڊلنگ سوچ لاءِ ھڪ اھم ميکانيزم طور
ميٽا لرننگ ۽ نمائندگي لرننگ کي استعمال ڪريو بهتر ماڊل فيچرز لاءِ جيڪي شعور ۽ انهن جي لوڪلائيزيشن تي اثرانداز ٿين ٿا - ۽ انهن جي بنياد تي اعليٰ سطحي تصورن سان ڪم ڪرڻ لاءِ اڳتي وڌن ٿا.
نتيجي جي بدران، هتي هڪ مدعو ڳالهه ٻولهه آهي: بينجيو ڪيترن ئي سائنسدانن مان هڪ آهي جيڪو ايم ايل جي فيلڊ کي وڌائڻ جي ڪوشش ڪري رهيا آهن اصلاح جي مسئلن، SOTA ۽ نئين تعميرات کان ٻاهر.
سوال اهو آهي ته ڪهڙي حد تائين شعور جي مسئلن جو ميلاپ، سوچ تي ٻولي جو اثر، نيوروبيولوجي ۽ الگورتھم اهو آهي جيڪو اسان کي مستقبل ۾ انتظار ڪري رهيو آهي ۽ اسان کي انهن مشينن ڏانهن منتقل ڪرڻ جي اجازت ڏيندو جيڪي "سوچڻ" وانگر ماڻهن وانگر.