NeurIPS 2019: ML प्रवृत्तिहरू जुन अर्को दशकको लागि हामीसँग हुनेछ

न्यूरोआईपीएस (तंत्रिका सूचना प्रशोधन प्रणालीमेसिन लर्निङ र आर्टिफिसियल इन्टेलिजेन्समा विश्वको सबैभन्दा ठूलो सम्मेलन र गहिरो शिक्षाको संसारमा मुख्य कार्यक्रम हो।

के हामी, DS इन्जिनियरहरू, नयाँ दशकमा जीवविज्ञान, भाषाविज्ञान र मनोविज्ञानमा पनि मास्टर हुनेछौं? हामी तपाईंलाई हाम्रो समीक्षामा बताउनेछौं।

यस वर्ष सम्मेलनले भ्यानकुभर, क्यानडामा 13500 देशहरूबाट 80 भन्दा बढी मानिसहरूलाई एकसाथ ल्यायो। सम्मेलनमा Sberbank ले रूसको प्रतिनिधित्व गरेको यो पहिलो वर्ष होइन - DS टोलीले बैंकिङ प्रक्रियाहरूमा ML को कार्यान्वयन, ML प्रतिस्पर्धा र Sberbank DS प्लेटफर्मको क्षमताहरूको बारेमा कुरा गरेको थियो। ML समुदायमा 2019 को मुख्य प्रवृत्तिहरू के थिए? सम्मेलन सहभागीहरू भन्छन्: Andrey Chertok и तात्याना शभरिना.

यो वर्ष, NeurIPS ले 1400 भन्दा बढी कागजातहरू स्वीकार गर्यो - एल्गोरिदमहरू, नयाँ मोडेलहरू, र नयाँ डाटामा नयाँ अनुप्रयोगहरू। सबै सामग्रीमा लिङ्क गर्नुहोस्

सामग्रीहरू:

• प्रचलनहरू
• • मोडेल व्याख्याता
  • बहु-अनुशासनात्मकता
  • तर्क गर्दै
  • RL
  • GAN
• आधारभूत आमन्त्रित वार्ता
• • "सामाजिक बुद्धिमत्ता", Blaise Aguera y Arcas (Google)
  • "वेरिडिकल डाटा साइंस", बिन यू (बर्कले)
  • "मेसिन लर्निङसँग मानव व्यवहार मोडेलिङ: अवसर र चुनौतीहरू", नुरिया एम ओलिभर, अल्बर्ट अली सलाह
  • "प्रणाली 1 देखि प्रणाली 2 गहिरो शिक्षा", योशुआ बेन्जियो

प्रचलन २०१९

1. मोडेल व्याख्याता र नयाँ ML पद्धति

सम्मेलनको मुख्य विषय भनेको व्याख्या र प्रमाण हो किन हामीले निश्चित परिणामहरू पाउँछौं। एक "ब्ल्याक बक्स" व्याख्या को दार्शनिक महत्व को बारे मा एक लामो समय को लागी कुरा गर्न सक्नुहुन्छ, तर यस क्षेत्रमा थप वास्तविक विधि र प्राविधिक विकासहरू थिए।

मोडेलहरू नक्कल गर्ने र तिनीहरूबाट ज्ञान निकाल्ने विधि विज्ञानको लागि नयाँ टुलकिट हो। मोडेलहरूले नयाँ ज्ञान प्राप्त गर्न र यसलाई परीक्षण गर्नको लागि एक उपकरणको रूपमा सेवा गर्न सक्छ, र मोडेलको पूर्व-प्रक्रिया, प्रशिक्षण र अनुप्रयोगको प्रत्येक चरण पुन: उत्पादन योग्य हुनुपर्छ।
प्रकाशनहरूको एक महत्त्वपूर्ण अनुपात मोडेल र उपकरणहरूको निर्माणमा होइन, तर सुरक्षा, पारदर्शिता र परिणामहरूको प्रमाणीकरण सुनिश्चित गर्ने समस्याहरूमा समर्पित छ। विशेष गरी, मोडेलमा आक्रमणहरू (विपरित आक्रमणहरू) को बारेमा एउटा छुट्टै स्ट्रिम देखा परेको छ, र प्रशिक्षणमा आक्रमण र अनुप्रयोगमा आक्रमणहरू दुवैका लागि विकल्पहरू विचार गरिन्छ।

लेखहरू:

• Veridical डेटा विज्ञान - मोडेल प्रमाणिकरण को विधि मा एक प्रोग्रामेटिक लेख। मोडेलहरू व्याख्या गर्नका लागि आधुनिक उपकरणहरूको एक सिंहावलोकन समावेश गर्दछ, विशेष गरी, ध्यानको प्रयोग र रैखिक मोडेलहरूको साथ न्यूरल नेटवर्कलाई "डिस्टिल" गरेर सुविधाको महत्त्व प्राप्त गर्ने।
• यो जस्तो देखिन्छ: व्याख्यायोग्य छवि पहिचानको लागि गहिरो शिक्षा चाओफान चेन, ओस्कर ली, डेनियल ताओ, एलिना बार्नेट, सिन्थिया रुडिन, जोनाथन के. सु.
• गहिरो तंत्रिका सञ्जालहरूमा व्याख्याता विधिहरूको लागि बेन्चमार्क सारा हुकर, डुमित्रु एरहान, पिटर-जान किन्डरम्यान्स, बीन किम
• ध्यान संवर्धित एजेन्टहरू प्रयोग गरेर व्याख्यायोग्य सुदृढीकरण शिक्षा तर्फ अलेक्जेंडर मोट, डेनियल जोरान, माइक क्र्जानोव्स्की, दान वियर्स्ट्रा, ड्यानिलो जिमेनेज रेजेन्डे
• अनियमित वनहरूको लागि एक Debiased MDI सुविधा महत्त्व उपाय जिओ ली, यू वांग, सुमन्त बसु, कार्ल कुम्बियर, बिन यू
• कुनै अवलोकनयोग्य डेटा बिना ज्ञान निकासी जेमिन यू, मिन्योंग चो, तेबुम किम, यू कांग
• स्वतन्त्र रूपमा प्रजनन योग्य मेशिन लर्निङ रिसर्च परिमाणीकरण तर्फ एक कदम एडवर्ड राफ

ExBert.net पाठ प्रशोधन कार्यहरूको लागि मोडेल व्याख्या देखाउँछ

2. बहु-अनुशासनात्मकता

विश्वसनीय प्रमाणीकरण सुनिश्चित गर्न र ज्ञानको प्रमाणीकरण र विस्तारको लागि संयन्त्रहरू विकास गर्न, हामीलाई सम्बन्धित क्षेत्रहरूमा विशेषज्ञहरू चाहिन्छ जसले एकै साथ ML र विषय क्षेत्र (चिकित्सा, भाषाविज्ञान, न्यूरोबायोलोजी, शिक्षा, इत्यादि) मा दक्षताहरू छन्। यो विशेष गरी न्यूरोसाइन्स र संज्ञानात्मक विज्ञान मा काम र भाषण को अधिक महत्वपूर्ण उपस्थिति को ध्यान लायक छ - त्यहाँ विशेषज्ञहरु को एक मिलन र विचारहरु को उधारो छ।

यस सम्बन्धको अतिरिक्त, विभिन्न स्रोतहरूबाट जानकारीको संयुक्त प्रशोधनमा बहु-अनुशासनात्मकता देखा परिरहेको छ: पाठ र फोटोहरू, पाठ र खेलहरू, ग्राफ डाटाबेसहरू + पाठ र फोटोहरू।

लेखहरू:

• न्यूरोसाइन्स + एमएल - प्राकृतिक भाषा प्रशोधन (मेसिनहरूमा) प्राकृतिक भाषा-प्रशोधन (मस्तिष्कमा) को साथ व्याख्या र सुधार गर्दै
• VisualQA - अमूर्त द्वारा सिकाउने: न्यूरल स्टेट मेसिन
• RL + NLP - प्राकृतिक भाषा निर्देशनहरू उत्पन्न र पालना गरेर पदानुक्रमिक निर्णय लिने

दुई मोडलहरू - रणनीतिकार र कार्यकारी - RL र NLP अनलाइन रणनीतिमा आधारित छन्

१. तर्क गर्दै

आर्टिफिसियल इन्टेलिजेन्सलाई सुदृढ पार्नु भनेको आत्म-शिक्षा प्रणाली, "सचेत", तर्क र तर्क तर्फको आन्दोलन हो। विशेष गरी, कारण अनुमान र सामान्य तर्कको विकास भइरहेको छ। केही रिपोर्टहरू मेटा-लर्निङ (कसरी सिक्न सिक्ने बारे) र 1st र 2nd अर्डर तर्कसँग DL प्रविधिहरूको संयोजनमा समर्पित छन् - आर्टिफिसियल जनरल इन्टेलिजेन्स (AGI) शब्द स्पिकरहरूको भाषणहरूमा एक सामान्य शब्द बनिरहेको छ।

लेखहरू:

• भिजुअल सामान्य तर्कको लागि विषम ग्राफ लर्निंग Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
• ब्रिजिङ मेसिन लर्निङ र अपहरणात्मक शिक्षाद्वारा तार्किक तर्क वांग-झोउ दाई, किउलिंग जू, यांग यू, झि-हुआ झोउ
• स्पष्ट रूपमा पहिलो-क्रम तर्कमा तर्क गर्न सिक्दै वैशाख बेले, ब्रेन्डन जुबा
• PHYRE: शारीरिक तर्क को लागी एक नयाँ बेन्चमार्क एन्टोन बाख्तिन, लॉरेन्स भ्यान डेर माटेन, जस्टिन जोन्सन, लौरा गुस्ताफसन, रस गिरशिक
• तर्कको लागि ज्ञानको क्वान्टम इम्बेडिङ दिनेश गर्ग, शाजिथ इकबाल, सन्तोष के. श्रीवास्तव, हरित विश्वकर्मा, हिमा करनम, एल वेंकट सुब्रमण्यम

4. सुदृढीकरण शिक्षा

धेरै जसो कामले RL - DOTA2, Starcraft को परम्परागत क्षेत्रहरू विकास गर्न जारी राख्छ, वास्तुकलालाई कम्प्युटर भिजन, NLP, ग्राफ डाटाबेसहरूसँग संयोजन गर्दै।

सम्मेलनको एक छुट्टै दिन एक RL कार्यशालामा समर्पित थियो, जसमा आशावादी अभिनेता समालोचक मोडेल वास्तुकला प्रस्तुत गरिएको थियो, अघिल्ला सबै भन्दा उच्च, विशेष गरी सफ्ट एक्टर क्रिटिक।

लेखहरू:

• आशावादी अभिनेता समीक्षकको साथ राम्रो अन्वेषण; कामिल सिओसेक, क्वान वुओंग, रोबर्ट लोफ्टिन, काट्जा होफम्यान
• ChainerRL: एक गहिरो सुदृढीकरण शिक्षा पुस्तकालय; यासुहिरो फुजिता (प्राथमिक नेटवर्क, Inc.)*; Toshiki Kataoka (प्राथमिक नेटवर्क, Inc.); प्रभात नागराजन (प्राथमिक नेटवर्क); ताकाहिरो इशिकावा (टोकियो विश्वविद्यालय) [बाह्य pdf लिङ्क]।
• नियन्त्रण गर्न सपना: अव्यक्त कल्पना द्वारा व्यवहार सिक्ने; Danijar Hafner (Google)*; टिमोथी लिलीक्राप (डीपमाइन्ड); जिमी बा (टोरन्टो विश्वविद्यालय); मोहम्मद नोरोजी (गुगल ब्रेन)
• कार्यशाला सामग्री

StarCraft खेलाडीहरू Alphastar मोडेल (DeepMind) लड्छन्

५.GAN

जेनेरेटिभ नेटवर्कहरू अझै पनि स्पटलाइटमा छन्: धेरै कार्यहरूले गणितीय प्रमाणहरूका लागि भेनिला GANs प्रयोग गर्छन्, र तिनीहरूलाई नयाँ, असामान्य तरिकाहरूमा पनि लागू गर्छन् (ग्राफ उत्पन्न मोडेलहरू, श्रृंखलाहरूसँग काम गर्ने, डेटामा कारण-र-प्रभाव सम्बन्धहरू, आदि)।

लेखहरू:

• सशर्त GAN हरूका लागि खनन सुनको नमूनाहरू सांगवु मो, चिहेओन किम, सुङवुङ किम, मिन्सु चो, जिनवु शिन
• GANs को प्रगतिशील वृद्धि दान झाङ, अन्ना खोरेवा
• सशर्त GAN प्रयोग गरी टेबुलर डेटा मोडेल गर्दै लेई जू, मारिया स्कौलारिडो, अल्फ्रेडो कुएस्टा-इन्फेन्टे, कल्याण वीरमाचानेनी
• papers.nips.cc/paper/9377-a-domain-agnostic-measure-for-monitoring-and-evaluating-gans

धेरै काम स्वीकृत भएकोले 1400 तल हामी सबैभन्दा महत्त्वपूर्ण भाषणको बारेमा कुरा गर्नेछौं।

आमन्त्रित वार्ता

"सामाजिक बुद्धिमत्ता", Blaise Aguera y Arcas (Google)

लिङ्क
स्लाइड र भिडियोहरू
वार्ताले मेसिन लर्निङको सामान्य पद्धति र अहिले उद्योगलाई परिवर्तन गर्ने सम्भावनाहरूमा केन्द्रित छ - हामीले कुन क्रसरोडहरू सामना गरिरहेका छौं? मस्तिष्क र विकासले कसरी काम गर्छ, र हामीले प्राकृतिक प्रणालीहरूको विकासको बारेमा पहिले नै थाहा पाएका कुराहरूको किन यति थोरै प्रयोग गर्छौं?

ML को औद्योगिक विकास धेरै हदसम्म गुगल को विकास को माइलस्टोन संग मेल खान्छ, जसले NeurIPS मा वर्ष पछि आफ्नो अनुसन्धान प्रकाशित गर्दछ:

• 1997 - खोज सुविधाहरूको सुरुवात, पहिलो सर्भर, सानो कम्प्युटिङ शक्ति
• 2010 - जेफ डीनले गुगल ब्रेन प्रोजेक्ट सुरु गर्यो, सुरुमा नै न्यूरल नेटवर्कहरूको बूम।
• 2015 - न्यूरल नेटवर्कहरूको औद्योगिक कार्यान्वयन, स्थानीय उपकरणमा सीधा छिटो अनुहार पहिचान, टेन्सर कम्प्युटिङका ​​लागि तयार गरिएको निम्न-स्तर प्रोसेसरहरू - TPU। गुगलले कोरल एआई लन्च गर्‍यो - रास्पबेरी पाईको एनालग, प्रायोगिक स्थापनाहरूमा न्यूरल नेटवर्कहरू परिचय गर्नको लागि मिनी-कम्प्यूटर।
• 2017 - Google ले विकेन्द्रीकृत प्रशिक्षण विकास गर्न थाल्छ र विभिन्न यन्त्रहरूबाट न्यूरल नेटवर्क प्रशिक्षणको नतिजालाई एउटै मोडेलमा संयोजन गर्न थाल्छ - एन्ड्रोइडमा।

आज, सम्पूर्ण उद्योग डेटा सुरक्षा, एकत्रीकरण, र स्थानीय उपकरणहरूमा सिक्ने परिणामहरूको प्रतिकृतिमा समर्पित छ।

संघीय शिक्षा - ML को एक दिशा जसमा व्यक्तिगत मोडेलहरू एकअर्काबाट स्वतन्त्र रूपमा सिक्छन् र त्यसपछि एकल मोडेलमा जोडिन्छन् (स्रोत डेटा केन्द्रीकृत नगरी), दुर्लभ घटनाहरू, विसंगतिहरू, निजीकरण, आदिका लागि समायोजित। सबै एन्ड्रोइड उपकरणहरू अनिवार्य रूपमा Google को लागि एकल कम्प्युटिङ सुपर कम्प्युटर हुन्।

संघीय शिक्षामा आधारित जेनेरेटिभ मोडेलहरू गुगलका अनुसार भविष्यको आशाजनक दिशा हुन्, जुन "घातात्मक वृद्धिको प्रारम्भिक चरणहरूमा छ।" GANs, लेक्चररका अनुसार, जीवित जीवहरूको जनसंख्या र सोच एल्गोरिदमहरूको सामूहिक व्यवहार पुन: उत्पादन गर्न सिक्न सक्षम छन्।

दुई साधारण GAN आर्किटेक्चरको उदाहरण प्रयोग गरेर, यो देखाइएको छ कि तिनीहरूमा अनुकूलन मार्गको खोजी सर्कलमा घुम्छ, जसको मतलब अप्टिमाइजेसन यस्तो हुँदैन। एकै समयमा, यी मोडेलहरू जीवविज्ञानीहरूले ब्याक्टेरियाको जनसंख्यामा गर्ने प्रयोगहरूको अनुकरण गर्न धेरै सफल छन्, तिनीहरूलाई खानाको खोजीमा नयाँ व्यवहार रणनीतिहरू सिक्न बाध्य पार्छ। हामी निष्कर्षमा पुग्न सक्छौं कि जीवन अनुकूलन प्रकार्य भन्दा फरक काम गर्दछ।

हिड्ने GAN अनुकूलन

हामीले अहिले मेसिन लर्निङको ढाँचामा गर्ने सबै साँघुरो र अत्यन्त औपचारिक कार्यहरू हुन्, जबकि यी औपचारिकताहरू राम्रोसँग सामान्यीकरण गर्दैनन् र न्यूरोफिजियोलोजी र जीवविज्ञान जस्ता क्षेत्रहरूमा हाम्रो विषय ज्ञानसँग मेल खाँदैन।

निकट भविष्यमा न्यूरोफिजियोलोजीको क्षेत्रबाट साँच्चै उधारो लिन लायक कुरा नयाँ न्यूरोन आर्किटेक्चर र त्रुटिहरूको ब्याकप्रोपेगेशनको संयन्त्रको अलिकति संशोधन हो।

मानव मस्तिष्क आफैले तंत्रिका नेटवर्क जस्तै सिक्दैन:

• उहाँसँग यादृच्छिक प्राथमिक इनपुटहरू छैनन्, जसमा इन्द्रियहरू र बाल्यकालमा राखिएका समावेश छन्
• उहाँसँग सहज विकासको अन्तर्निहित निर्देशनहरू छन् (शिशुबाट भाषा सिक्ने इच्छा, सीधा हिंड्ने)

व्यक्तिगत मस्तिष्कलाई तालिम दिनु एउटा निम्न स्तरको कार्य हो; हुनसक्छ हामीले समूह विकासको संयन्त्रलाई पुन: उत्पादन गर्न एकअर्कालाई ज्ञान हस्तान्तरण गर्ने द्रुत रूपमा परिवर्तन हुने व्यक्तिहरूको "उपनिवेशहरू" लाई विचार गर्नुपर्छ।

हामी अब एमएल एल्गोरिदममा के अपनाउन सक्छौं:

• सेल वंश मोडेलहरू लागू गर्नुहोस् जसले जनसंख्याको शिक्षा सुनिश्चित गर्दछ, तर व्यक्तिको छोटो जीवन ("व्यक्तिगत मस्तिष्क")
• थोरै संख्यामा उदाहरणहरू प्रयोग गरेर केही शट सिकाइ
• अधिक जटिल न्यूरोन संरचनाहरू, अलि फरक सक्रियता कार्यहरू
• "जीनोम" लाई अर्को पुस्तामा स्थानान्तरण गर्दै - ब्याकप्रोपेगेशन एल्गोरिथ्म
• एकपटक हामीले न्यूरोफिजियोलोजी र न्यूरल नेटवर्कहरू जडान गरिसकेपछि, हामी धेरै कम्पोनेन्टहरूबाट बहु-कार्यात्मक मस्तिष्क कसरी बनाउने भनेर सिक्नेछौं।

यस दृष्टिकोणबाट, SOTA समाधानहरूको अभ्यास हानिकारक छ र साझा कार्यहरू (बेन्चमार्कहरू) को विकासको लागि परिमार्जन गरिनु पर्छ।

"वेरिडिकल डाटा साइंस", बिन यू (बर्कले)

भिडियो र स्लाइडहरू
यो रिपोर्ट मेसिन लर्निङ मोडेलहरूको व्याख्या गर्ने समस्या र तिनीहरूको प्रत्यक्ष परीक्षण र प्रमाणीकरणको लागि विधिलाई समर्पित छ। कुनै पनि प्रशिक्षित एमएल मोडेललाई ज्ञानको स्रोतको रूपमा बुझ्न सकिन्छ जुन यसबाट निकाल्न आवश्यक छ।

धेरै क्षेत्रहरूमा, विशेष गरी चिकित्सामा, यो लुकेको ज्ञान निकालेर र मोडेलको नतिजाको व्याख्या नगरी मोडेलको प्रयोग असम्भव छ - अन्यथा हामी निश्चित हुन सक्दैनौं कि परिणामहरू स्थिर, गैर-अनियमित, भरपर्दो हुनेछन्, र यसले मार्नेछैन। बिरामी। कार्य पद्धतिको सम्पूर्ण दिशा गहिरो सिकाइ प्रतिमान भित्र विकास हुँदैछ र यसको सीमाहरू भन्दा बाहिर जान्छ - veridical data Science। यो के हो?

हामी वैज्ञानिक प्रकाशनहरूको गुणस्तर र मोडेलहरूको पुन: उत्पादन क्षमता हासिल गर्न चाहन्छौं जुन तिनीहरू हुन्:

1. अनुमान गर्न सकिने
2. गणनायोग्य
3. स्थिर

यी तीन सिद्धान्तहरूले नयाँ पद्धतिको आधार बनाउँछन्। यी मापदण्डहरू विरुद्ध ML मोडेलहरू कसरी जाँच गर्न सकिन्छ? सबैभन्दा सजिलो तरिका तुरुन्तै व्याख्या योग्य मोडेलहरू (रिग्रेसनहरू, निर्णय रूखहरू) निर्माण गर्नु हो। यद्यपि, हामी पनि गहिरो शिक्षाको तत्काल लाभहरू प्राप्त गर्न चाहन्छौं।

समस्या संग काम गर्न धेरै अवस्थित तरिकाहरू:

1. मोडेल व्याख्या;
2. ध्यानमा आधारित विधिहरू प्रयोग गर्नुहोस्;
3. तालिम दिँदा एल्गोरिदमका टुक्राहरू प्रयोग गर्नुहोस्, र रैखिक व्याख्या गर्न मिल्ने मोडेलहरूले रेखीय मोडेलबाट सुविधाहरूको व्याख्या गर्दै, न्यूरल नेटवर्कको रूपमा उही जवाफहरू भविष्यवाणी गर्न सिक्छन् भनेर सुनिश्चित गर्नुहोस्;
4. परिवर्तन र प्रशिक्षण डेटा वृद्धि। यसमा शोर, हस्तक्षेप, र डेटा वृद्धि थप्ने समावेश छ;
5. मोडेलका नतिजाहरू अनियमित छैनन् र सानो अवांछित हस्तक्षेप (विपरित आक्रमणहरू) मा निर्भर हुँदैनन् भन्ने सुनिश्चित गर्न मद्दत गर्ने कुनै पनि विधिहरू;
6. तथ्य पछि, प्रशिक्षण पछि मोडेल व्याख्या;
7. विभिन्न तरिकामा अध्ययन सुविधा वजन;
8. सबै परिकल्पनाहरू, वर्ग वितरणको सम्भावनाहरू अध्ययन गर्नुहोस्।

प्रतिपक्षी आक्रमण सुँगुरको लागि

मोडलिङ त्रुटिहरू सबैका लागि महँगो हुन्छन्: एक प्रमुख उदाहरण रेनहार्ट र रोगोभको काम हो।"ऋणको समयमा वृद्धि" धेरै युरोपेली देशहरूको आर्थिक नीतिहरूलाई प्रभाव पार्यो र तिनीहरूलाई मितव्ययिता नीतिहरू पछ्याउन बाध्य तुल्यायो, तर डेटाको सावधानीपूर्वक पुन: जाँच र तिनीहरूको प्रशोधन वर्ष पछि उल्टो परिणाम देखायो!

कुनै पनि ML प्रविधिको कार्यान्वयन देखि कार्यान्वयन सम्मको आफ्नै जीवन चक्र हुन्छ। नयाँ पद्धतिको लक्ष्य मोडेलको जीवनको प्रत्येक चरणमा तीनवटा आधारभूत सिद्धान्तहरू जाँच्नु हो।

परिणामहरु:

• धेरै परियोजनाहरू विकास भइरहेका छन् जसले एमएल मोडेललाई थप विश्वसनीय बनाउन मद्दत गर्नेछ। यो, उदाहरण को लागी, deeptune (लिंक: github.com/ChrisCummins/paper-end2end-dl);
• पद्धतिको थप विकासको लागि, ML को क्षेत्रमा प्रकाशनहरूको गुणस्तरमा उल्लेखनीय सुधार गर्न आवश्यक छ;
• मेसिन लर्निङका लागि प्राविधिक र मानविकी दुवै क्षेत्रमा बहु-अनुशासनात्मक तालिम र विशेषज्ञता भएका नेताहरू चाहिन्छ।

"मेसिन लर्निङको साथ मानव व्यवहार मोडेलिङ: अवसर र चुनौतीहरू" नुरिया एम ओलिभर, अल्बर्ट अली सलाह

मानव व्यवहार, यसको प्राविधिक आधारहरू र अनुप्रयोग सम्भावनाहरू मोडेलिङ गर्न समर्पित व्याख्यान।

मानव व्यवहार मोडेलिङमा विभाजन गर्न सकिन्छ:

• व्यक्तिगत व्यवहार
• मानिसहरूको सानो समूहको व्यवहार
• सामूहिक व्यवहार

यी प्रत्येक प्रकारहरू ML प्रयोग गरेर मोडेल गर्न सकिन्छ, तर पूर्ण रूपमा फरक इनपुट जानकारी र सुविधाहरूको साथ। प्रत्येक प्रकारको आफ्नै नैतिक मुद्दाहरू छन् जुन प्रत्येक परियोजना मार्फत जान्छ:

• व्यक्तिगत व्यवहार - पहिचान चोरी, deepfake;
• मानिसहरूका समूहहरूको व्यवहार - अज्ञातीकरण, आन्दोलनको बारेमा जानकारी प्राप्त गर्ने, टेलिफोन कलहरू, आदि।

व्यक्तिगत व्यवहार

धेरै जसो कम्प्यूटर भिजन को विषय संग सम्बन्धित - मानव भावना र प्रतिक्रिया को मान्यता। सायद केवल सन्दर्भमा, समय मा, वा भावनाहरु को आफ्नै परिवर्तनशीलता को सापेक्ष मापन संग। स्लाइडले भूमध्यसागरीय महिलाहरूको भावनात्मक स्पेक्ट्रमबाट सन्दर्भ प्रयोग गरेर मोना लिसाका भावनाहरूको पहिचान देखाउँछ। नतिजा: आनन्दको मुस्कान, तर अपमान र घृणाको साथ। कारण "तटस्थ" भावना परिभाषित गर्ने प्राविधिक तरिकामा सम्भव छ।

मानिसहरूको सानो समूहको व्यवहार

अहिलेसम्मको सबैभन्दा खराब मोडल अपर्याप्त जानकारीको कारण हो। उदाहरणको रूपमा, 2018 - 2019 को कामहरू देखाइयो। दर्जनौं व्यक्तिहरूमा X दर्जनौं भिडियोहरू (cf. 100k++ छवि डेटासेटहरू)। यस कार्यलाई उत्कृष्ट मोडेल गर्नको लागि, बहुविध जानकारी आवश्यक छ, अधिमानतः बडी-अल्टिमिटर, थर्मोमिटर, माइक्रोफोन रेकर्डिङ, आदिमा सेन्सरहरूबाट।

जन व्यवहार

सबैभन्दा विकसित क्षेत्र, किनभने ग्राहक संयुक्त राष्ट्र र धेरै राज्यहरू छन्। बाहिरी निगरानी क्यामेराहरू, टेलिफोन टावरहरूबाट डाटा - बिलिङ, एसएमएस, कलहरू, राज्य सीमाहरू बीचको आन्दोलनको डाटा - यी सबैले मानिसहरूको आवागमन र सामाजिक अस्थिरताको धेरै भरपर्दो चित्र दिन्छ। टेक्नोलोजीको सम्भावित अनुप्रयोगहरू: उद्धार कार्यहरूको अनुकूलन, सहायता र आपतकालिन समयमा जनसंख्याको समयमै निकासी। प्रयोग गरिएका मोडेलहरू मुख्यतया अझै पनि खराब रूपमा व्याख्या गरिएका छन् - यी विभिन्न LSTM र convolutional नेटवर्कहरू हुन्। त्यहाँ एक संक्षिप्त टिप्पणी थियो कि संयुक्त राष्ट्रले नयाँ कानूनको लागि लबिङ गरिरहेको थियो जसले युरोपेली व्यवसायहरूलाई कुनै पनि अनुसन्धानको लागि आवश्यक अज्ञात डेटा साझा गर्न बाध्य पार्छ।

"प्रणाली 1 देखि प्रणाली 2 गहिरो शिक्षा", योशुआ बेन्जियो

स्लाइड
जोशुआ बेन्जियोको व्याख्यानमा, गहिरो शिक्षाले लक्ष्य सेटिङको स्तरमा न्यूरोसाइन्सलाई भेट्छ।
बेन्जियोले नोबेल पुरस्कार विजेता डेनियल काह्नेमन (पुस्तक "बिस्तारै सोच्नुहोस्, छिटो निर्णय गर्नुहोस्")
टाइप 1 - प्रणाली 1, अचेतन कार्यहरू जुन हामीले "स्वचालित रूपमा" (प्राचीन मस्तिष्क) गर्छौं: परिचित ठाउँहरूमा कार चलाउने, हिड्ने, अनुहारहरू पहिचान गर्ने।
प्रकार 2 - प्रणाली 2, सचेत कार्यहरू (सेरेब्रल कोर्टेक्स), लक्ष्य सेटिङ, विश्लेषण, सोच, समग्र कार्यहरू।

AI ले अहिलेसम्म पहिलो प्रकारका कार्यहरूमा मात्र पर्याप्त उचाइमा पुगेको छ, जबकि हाम्रो काम यसलाई दोस्रोमा ल्याउने, यसलाई बहु-अनुशासनात्मक कार्यहरू गर्न र तर्क र उच्च-स्तरको संज्ञानात्मक सीपहरूका साथ सञ्चालन गर्न सिकाउने हो।

यो लक्ष्य हासिल गर्न यो प्रस्ताव गरिएको छ:

1. NLP कार्यहरूमा, मोडलिङ सोचको लागि मुख्य संयन्त्रको रूपमा ध्यान प्रयोग गर्नुहोस्
2. चेतना र तिनीहरूको स्थानीयकरणलाई प्रभाव पार्ने राम्रो मोडेल सुविधाहरूको लागि मेटा-लर्निंग र प्रतिनिधित्व सिकाइ प्रयोग गर्नुहोस् - र तिनीहरूको आधारमा उच्च-स्तर अवधारणाहरूसँग सञ्चालनमा जानुहोस्।

निष्कर्षको सट्टा, यहाँ एक आमन्त्रित वार्ता छ: बेन्जियो धेरै वैज्ञानिकहरू मध्ये एक हो जसले अनुकूलन समस्याहरू, SOTA र नयाँ आर्किटेक्चरहरू भन्दा बाहिर ML को क्षेत्र विस्तार गर्न खोजिरहेका छन्।
चेतनाका समस्याहरूको संयोजन, सोचमा भाषाको प्रभाव, न्यूरोबायोलजी र एल्गोरिदमले भविष्यमा हामीलाई कुन हदसम्म पर्खिरहेको छ र हामीलाई मानिसहरू जस्तै "सोच्ने" मेसिनहरूमा जान अनुमति दिनेछ भन्ने प्रश्न खुला रहन्छ।

धन्यवाद!

स्रोत: www.habr.com