मशीन लर्निंग बबल बर्स्टिंग आहे की नवीन पहाटची सुरुवात आहे

नुकतेच प्रसिद्ध झाले लेख, जे अलिकडच्या वर्षांत मशीन लर्निंगमध्ये चांगला ट्रेंड दर्शवते. थोडक्यात, गेल्या दोन वर्षांत मशीन लर्निंग स्टार्टअपची संख्या घसरली आहे.

विहीर. चला "बुडबुडा फुटला की नाही", "जगणे कसे चालू ठेवायचे" याचे विश्लेषण करूया आणि अशा प्रकारची कोठून येते याबद्दल बोलूया.

प्रथम, या वक्रचा बूस्टर काय होता याबद्दल बोलूया. ती कुठून आली. बहुधा सगळ्यांना आठवत असेल विजय 2012 मध्ये इमेजनेट स्पर्धेत मशीन लर्निंग. शेवटी, ही पहिली जागतिक घटना आहे! पण प्रत्यक्षात तसे होत नाही. होय, आणि वक्र वाढ थोडी पूर्वी सुरू होते. मी ते अनेक मुद्द्यांमध्ये खंडित करेन.

1. 2008 हा "बिग डेटा" शब्दाचा उदय आहे. खरी उत्पादने सुरू झाली दिसू 2010 पासून. बिग डेटा थेट मशीन लर्निंगशी संबंधित आहे. मोठ्या डेटाशिवाय, त्या वेळी अस्तित्वात असलेल्या अल्गोरिदमचे स्थिर ऑपरेशन अशक्य आहे. आणि हे न्यूरल नेटवर्क नाहीत. 2012 पर्यंत, न्यूरल नेटवर्क हे उपेक्षित अल्पसंख्याकांचे होते. परंतु नंतर पूर्णपणे भिन्न अल्गोरिदम कार्य करू लागले, जे अनेक वर्षांपासून किंवा दशकांपासून अस्तित्वात होते: एसव्हीएम(1963,1993), यादृच्छिक जंगल (1995), adaboost (2003), ... त्या वर्षांचे स्टार्टअप प्रामुख्याने संरचित डेटाच्या स्वयंचलित प्रक्रियेशी संबंधित आहेत: रोख नोंदणी, वापरकर्ते, जाहिराती आणि बरेच काही.

   या पहिल्या लहरीचे व्युत्पन्न म्हणजे XGBoost, CatBoost, LightGBM इत्यादी फ्रेमवर्कचा संच.

2. 2011-2012 मध्ये कंव्होल्यूशनल न्यूरल नेटवर्क प्रतिमा ओळखण्याच्या अनेक स्पर्धा जिंकल्या. त्यांचा प्रत्यक्ष वापर होण्यास काहीसा विलंब झाला आहे. मी म्हणेन की 2014 पासून मोठ्या प्रमाणावर अर्थपूर्ण स्टार्टअप्स आणि उपाय दिसू लागले. न्यूरॉन्स अजूनही कार्य करतात हे पचवायला, वाजवी वेळेत स्थापित आणि लॉन्च करता येईल अशा सोयीस्कर फ्रेमवर्क बनवण्यासाठी, अभिसरण वेळेला स्थिर आणि गती देणाऱ्या पद्धती विकसित करण्यासाठी दोन वर्षे लागली.

   कन्व्होल्युशनल नेटवर्क्समुळे मशीनच्या दृष्टी समस्यांचे निराकरण करणे शक्य झाले: प्रतिमेतील प्रतिमा आणि वस्तूंचे वर्गीकरण, ऑब्जेक्ट शोधणे, वस्तू आणि व्यक्ती ओळखणे, प्रतिमा सुधारणे इ. इ.

3. 2015-2017 वर्षे. आवर्ती नेटवर्क्स किंवा त्यांच्या analogues (LSTM, GRU, TransformerNet, इ.) शी जोडलेले अल्गोरिदम आणि प्रकल्पांची भरभराट. चांगले कार्य करणारे स्पीच-टू-टेक्स्ट अल्गोरिदम आणि मशीन ट्रान्सलेशन सिस्टम दिसू लागले आहेत. मुख्य वैशिष्ट्ये हायलाइट करण्यासाठी ते अंशतः कॉन्व्होल्युशनल नेटवर्कवर आधारित आहेत. अंशतः आम्ही खरोखर मोठे आणि चांगले डेटासेट कसे गोळा करायचे हे शिकलो.

“बुडबुडा फुटला? हायप ओव्हरहाटेड? ते ब्लॉकचेन सारखे मरण पावले?
आणि मग! उद्या, सिरी तुमच्या फोनवर काम करणे थांबवेल आणि परवा टेस्ला वळण आणि कांगारू यांच्यात फरक करणार नाही.

न्यूरल नेटवर्क आधीच कार्यरत आहेत. ते डझनभर उपकरणांमध्ये आहेत. ते तुम्हाला खरोखर पैसे कमविण्याची, बाजारपेठ आणि तुमच्या सभोवतालचे जग बदलण्याची परवानगी देतात. हाइप थोडे वेगळे दिसते:

हे फक्त इतकेच आहे की न्यूरल नेटवर्क्सने काहीतरी नवीन करणे थांबवले आहे. होय, अनेक लोकांच्या मोठ्या अपेक्षा असतात. परंतु मोठ्या संख्येने कंपन्यांनी न्यूरॉन्स वापरणे आणि त्यावर आधारित उत्पादने तयार करणे शिकले आहे. न्यूरॉन्स नवीन कार्यक्षमता प्रदान करतात, आपल्याला नोकर्‍या कमी करण्यास, सेवांची किंमत कमी करण्यास अनुमती देतात:

• उत्पादन कंपन्या असेंबली लाईनवरील दोषांचे विश्लेषण करण्यासाठी अल्गोरिदम एकत्रित करत आहेत.
• पशु फार्म गायींवर नियंत्रण ठेवण्यासाठी यंत्रणा खरेदी करतात.
• स्वयंचलित कापणी करणारे.
• स्वयंचलित कॉल सेंटर.
• SnapChat मध्ये फिल्टर. (ठीक आहे, किमान काहीतरी उपयुक्त!)

परंतु मुख्य गोष्ट, आणि सर्वात स्पष्ट नाही: "यापुढे नवीन कल्पना नाहीत, किंवा ते त्वरित भांडवल आणणार नाहीत." न्यूरल नेटवर्कने डझनभर समस्या सोडवल्या आहेत. आणि अधिक निर्णय घ्या. सर्व स्पष्ट कल्पना होत्या - अनेक स्टार्टअप्सना जन्म दिला. परंतु पृष्ठभागावर जे काही होते ते आधीच गोळा केले गेले आहे. गेल्या दोन वर्षांत, मी न्यूरल नेटवर्क्सच्या अनुप्रयोगासाठी एकही नवीन कल्पना पाहिली नाही. एकही नवीन दृष्टीकोन नाही (ठीक आहे, GAN मध्ये काही समस्या आहेत).

आणि प्रत्येक पुढील स्टार्टअप अधिकाधिक कठीण आहे. यापुढे खुल्या डेटावर न्यूरॉनला प्रशिक्षण देणाऱ्या दोन मुलांची आवश्यकता नाही. यासाठी प्रोग्रामर, सर्व्हर, लेआउट टीम, कॉम्प्लेक्स सपोर्ट इ. आवश्यक आहे.

परिणामी, कमी स्टार्टअप्स आहेत. पण जास्त उत्पादन. परवाना प्लेट ओळख जोडण्याची आवश्यकता आहे? बाजारात संबंधित अनुभव असलेले शेकडो व्यावसायिक आहेत. तुम्ही कामावर घेऊ शकता आणि काही महिन्यांत तुमचा कर्मचारी सिस्टम तयार करेल. किंवा रेडीमेड खरेदी करा. पण नवीन स्टार्टअप करताय?.. वेडेपणा!

तुम्हाला व्हिजिटर ट्रॅकिंग सिस्टीम बनवण्याची गरज आहे - जेव्हा तुम्ही 3-4 महिन्यांत तुमचे स्वतःचे बनवू शकता, तेव्हा तुमच्या व्यवसायासाठी ती धारदार करा.

आता न्यूरल नेटवर्क डझनभर इतर तंत्रज्ञानाच्या मार्गाने जात आहेत.

1995 पासून “वेबसाइट डेव्हलपर” ही संकल्पना कशी बदलली आहे ते लक्षात ठेवा? बाजार तज्ञांसह संतृप्त नसताना. खूप कमी व्यावसायिक आहेत. पण मी पैज लावू शकतो की 5-10 वर्षांत Java प्रोग्रामर आणि न्यूरल नेटवर्क डेव्हलपरमध्ये फारसा फरक असणार नाही. आणि ते आणि ते विशेषज्ञ बाजारात पुरेसे असतील.

तेथे फक्त कार्यांचा एक वर्ग असेल ज्यासाठी न्यूरॉन्स सोडवतात. एक कार्य होते - एक विशेषज्ञ नियुक्त करा.

"पुढे काय? वचन दिलेली कृत्रिम बुद्धिमत्ता कुठे आहे?”

आणि येथे एक लहान पण मनोरंजक गैरसमज आहे :)

आज अस्तित्वात असलेल्या तंत्रज्ञानाचा स्टॅक, वरवर पाहता, आपल्याला कृत्रिम बुद्धिमत्तेकडे नेणार नाही. कल्पना, त्यांची नवीनता, मोठ्या प्रमाणावर स्वतःला संपवून टाकली आहे. विकासाची वर्तमान पातळी काय ठेवते याबद्दल बोलूया.

निर्बंध

चला ऑटो ड्रोनसह प्रारंभ करूया. हे स्पष्ट दिसते की आजच्या तंत्रज्ञानासह पूर्णपणे स्वायत्त कार बनवणे शक्य आहे. पण हे किती वर्षांत होईल हे स्पष्ट नाही. टेस्लाचा विश्वास आहे की हे काही वर्षांत होईल -

इतर अनेक आहेत विशेषज्ञज्यांचा अंदाज 5-10 वर्षे आहे.

बहुधा, माझ्या मते, 15 वर्षांमध्ये शहरांची पायाभूत सुविधा आधीच बदलेल जेणेकरून स्वायत्त कारचा उदय अपरिहार्य होईल, त्याची निरंतरता होईल. पण याला बुद्धिमत्ता मानता येणार नाही. मॉडर्न टेस्ला डेटा फिल्टर करण्यासाठी, त्याचा शोध घेण्यासाठी आणि पुन्हा प्रशिक्षण देण्यासाठी एक अतिशय जटिल पाइपलाइन आहे. हे नियम-नियम-नियम, डेटा संग्रह आणि त्यावर फिल्टर आहेत (येथे येथे मी याबद्दल थोडे अधिक लिहिले, किंवा पासून पहा हे गुण).

पहिली समस्या

आणि इथेच आपण पाहतो पहिली मूलभूत समस्या. मोठी माहिती. न्यूरल नेटवर्क्स आणि मशीन लर्निंगची सध्याची लाट नेमकी हीच आहे. आता, काहीतरी क्लिष्ट आणि स्वयंचलित करण्यासाठी, तुम्हाला भरपूर डेटा आवश्यक आहे. नुसतेच नाही तर बरेच काही. त्यांचे संकलन, चिन्हांकन आणि वापरासाठी आम्हाला स्वयंचलित अल्गोरिदम आवश्यक आहेत. आम्हाला कारला सूर्याविरूद्ध ट्रक पहायचे आहेत - आम्ही प्रथम त्यांची पुरेशी संख्या गोळा केली पाहिजे. ट्रंकला बाईक लावून कार वेडी होऊ नये अशी आमची इच्छा आहे - अधिक नमुने.

आणि एक उदाहरण पुरेसे नाही. शेकडो? हजारो?

दुसरी समस्या

दुसरी समस्या - आमच्या न्यूरल नेटवर्कला काय समजले याचे व्हिज्युअलायझेशन. हे अत्यंत क्षुल्लक काम आहे. आत्तापर्यंत, हे कसे व्हिज्युअलायझ करावे हे काही लोकांना समजले आहे. हे लेख अगदी अलीकडील आहेत, ही फक्त काही उदाहरणे आहेत, अगदी दूरचीही:
व्हिज्युअलायझेशन टेक्सचरचा ध्यास. हे चांगले दर्शवते की न्यूरॉन कशावर लटकत असतो + त्याला सुरुवातीची माहिती म्हणून काय समजते.

व्हिज्युअलायझेशन येथे क्षीण करणे भाषांतरे. खरं तर, अशा नेटवर्क प्रतिक्रियेमुळे नेमके कशामुळे दर्शविले जाते हे दर्शवण्यासाठी अनेकदा लक्ष वापरले जाऊ शकते. मी अशा गोष्टी डीबगिंगसाठी आणि उत्पादन निराकरणासाठी भेटलो. या विषयावर बरेच लेख आहेत. परंतु डेटा जितका गुंतागुंतीचा असेल तितके स्थिर व्हिज्युअलायझेशन कसे मिळवायचे हे समजणे अधिक कठीण आहे.

बरं, होय, "चा चांगला जुना संच ग्रिडमध्ये काय आहे ते पहा फिल्टर" 3-4 वर्षांपूर्वी ही चित्रे लोकप्रिय होती, पण ती चित्रे सुंदर आहेत, हे सर्वांनाच पटकन समजले, पण त्यात फारसा अर्थ नाही.

मी इतर डझनभर लोशन, मार्ग, हॅक, नेटवर्कचे आतील भाग कसे प्रदर्शित करावे यावरील अभ्यासांची नावे दिली नाहीत. ही साधने काम करतात का? ते त्वरीत समस्या काय आहे हे समजून घेण्यात आणि नेटवर्क डीबग करण्यात मदत करतात?.. शेवटची टक्केवारी बाहेर काढा? बरं, हे असे आहे:

आपण कागलवर कोणतीही स्पर्धा पाहू शकता. आणि लोक अंतिम निर्णय कसे घेतात याचे वर्णन. आम्ही 100-500-800 मुलियन मॉडेल्स स्टॅक केले आणि ते कार्य केले!

मी अर्थातच अतिशयोक्ती करतो. परंतु या पद्धती जलद आणि थेट उत्तरे देत नाहीत.

पुरेशा अनुभवाने, विविध पर्यायांचा वापर केल्याने तुमच्या सिस्टमने असा निर्णय का घेतला याचा निर्णय घेता येतो. परंतु व्यवस्थेचे वर्तन सुधारणे कठीण होईल. एक क्रॅच ठेवा, थ्रेशोल्ड हलवा, डेटासेट जोडा, दुसरे बॅकएंड नेटवर्क घ्या.

तिसरी समस्या

तिसरी मूलभूत समस्या - ग्रिड तर्कशास्त्र शिकवत नाहीत, परंतु आकडेवारी शिकवतात. सांख्यिकीयदृष्ट्या ते चेहरा:

तार्किकदृष्ट्या, ते फारसे समान नाही. न्यूरल नेटवर्क्स त्यांना सक्ती केल्याशिवाय काहीतरी जटिल शिकत नाहीत. ते नेहमी सर्वात सोपी चिन्हे शिकवतात. डोळे, नाक, डोके मिळाले? तर तो एक चेहरा आहे! किंवा एखादे उदाहरण द्या जिथे डोळ्यांचा अर्थ चेहरा होणार नाही. पुन्हा, लाखो उदाहरणे आहेत.

तळाशी भरपूर जागा आहे

मी म्हणेन की या तीन जागतिक समस्या सध्या न्यूरल नेटवर्क आणि मशीन लर्निंगच्या विकासावर मर्यादा घालतात. आणि जिथे या समस्या मर्यादित नाहीत - ते आधीच सक्रियपणे वापरले गेले आहे.

हा शेवट आहे? न्यूरल नेटवर्क चालू आहे का?

अज्ञात. पण, अर्थातच, प्रत्येकाला आशा नाही.

मी वर ठळक केलेल्या त्या मूलभूत समस्यांचे निराकरण करण्यासाठी अनेक दृष्टिकोन आणि दिशानिर्देश आहेत. परंतु आतापर्यंत, यापैकी कोणत्याही दृष्टिकोनामुळे मूलभूतपणे नवीन काहीतरी करणे शक्य झाले नाही, ज्याचे निराकरण अद्याप झाले नाही. आतापर्यंत, सर्व मूलभूत प्रकल्प स्थिर दृष्टिकोन (टेस्ला) च्या आधारे तयार केले जातात, किंवा संस्था किंवा कॉर्पोरेशनचे चाचणी प्रकल्प राहतात (गुगल ब्रेन, ओपनएआय).

साधारणपणे बोलायचे झाल्यास, मुख्य दिशा म्हणजे इनपुट डेटाचे काही उच्च-स्तरीय प्रतिनिधित्व तयार करणे. एका अर्थाने ‘मेमरी’. मेमरीचे सर्वात सोपे उदाहरण म्हणजे प्रतिमांचे विविध "एम्बेडिंग" प्रतिनिधित्व. ठीक आहे, उदाहरणार्थ, सर्व चेहर्यावरील ओळख प्रणाली. नेटवर्क चेहऱ्यावरून काही स्थिर प्रतिनिधित्व मिळवण्यास शिकते जे रोटेशन, लाइटिंग, रिझोल्यूशनवर अवलंबून नसते. थोडक्यात, नेटवर्क "भिन्न चेहरे - दूर" आणि "एकसारखे - जवळ" मेट्रिक्स कमी करते.

अशा प्रशिक्षणासाठी, दहापट आणि शेकडो हजारो उदाहरणे आवश्यक आहेत. परंतु परिणाम "वन-शॉट लर्निंग" चे काही मूलभूत तत्त्वे धारण करतो. आता एखादी व्यक्ती लक्षात ठेवण्यासाठी आपल्याला शेकडो चेहऱ्यांची गरज नाही. फक्त एक चेहरा आणि एवढेच आम्ही आहोत शिका!
फक्त इथेच समस्या आहे... ग्रिड फक्त साध्या वस्तू शिकू शकते. चेहेरे वेगळे करण्याचा प्रयत्न करताना, परंतु, उदाहरणार्थ, "लोक त्यांच्या कपड्यांनुसार" (कार्य पुन्हा ओळख) - गुणवत्तेत अनेक क्रमाने घसरण होते. आणि नेटवर्क यापुढे कोनातील स्पष्ट बदल शिकू शकत नाही.

होय, आणि लाखो उदाहरणांवरून शिकणे हे एकप्रकारे मनोरंजनही आहे.

निवडणुकांमध्ये लक्षणीय घट करण्याचे काम सुरू आहे. उदाहरणार्थ, एखादी व्यक्ती ताबडतोब पहिल्या कामांपैकी एक आठवू शकते एक शॉट शिकणे गुगल वरून:

अशी अनेक कामे आहेत, उदाहरणार्थ 1 किंवा 2 किंवा 3.

एक वजा - सहसा प्रशिक्षण काही सोप्या, “MNIST च्या उदाहरणांवर” चांगले कार्य करते. आणि जटिल कार्यांकडे जाताना, आपल्याला एक मोठा आधार, ऑब्जेक्ट मॉडेल किंवा काही प्रकारचे जादू आवश्यक आहे.
सर्वसाधारणपणे, वन-शॉट प्रशिक्षणावर काम करणे हा एक अतिशय मनोरंजक विषय आहे. तुम्हाला अनेक कल्पना सापडतील. परंतु बहुतेक भागांसाठी, मी सूचीबद्ध केलेल्या दोन समस्या (मोठ्या डेटासेटवर पूर्व-प्रशिक्षण / जटिल डेटावरील अस्थिरता) प्रशिक्षणात खूप अडथळा आणतात.

दुसरीकडे, GAN एम्बेडिंग - जनरेटिव्ह अॅडव्हर्सियल नेटवर्क या विषयाकडे येत आहेत. तुम्ही कदाचित या विषयावरील अनेक लेख Habré वर वाचले असतील. (1, 2,3)
GAN चे वैशिष्ट्य म्हणजे काही अंतर्गत स्टेट स्पेसची निर्मिती (मूलत: समान एम्बेडिंग), जी तुम्हाला प्रतिमा काढण्याची परवानगी देते. ते असू शकते चेहरे, असू शकते क्रिया.

GAN समस्या अशी आहे की व्युत्पन्न केलेली वस्तू जितकी गुंतागुंतीची असेल तितकेच त्याचे वर्णन “जनरेटर-डिस्क्रिमिनेटर” तर्कामध्ये करणे अधिक कठीण आहे. परिणामी, ऐकल्या जाणार्‍या वास्तविक GAN ऍप्लिकेशन्सपैकी, फक्त डीपफेक, जे पुन्हा, चेहर्यावरील प्रतिनिधित्व हाताळते (ज्यासाठी खूप मोठा आधार आहे).

मी इतर खूप कमी उपयुक्त अनुप्रयोग पाहिले आहेत. सहसा काही प्रकारचे शीळ-नकली चित्रे काढतात.

आणि पुन्हा. हे आपल्याला उज्ज्वल भविष्याकडे कसे जाण्याची परवानगी देईल हे कोणालाही समजत नाही. न्यूरल नेटवर्कमध्ये लॉजिक/स्पेसचे प्रतिनिधित्व करणे चांगले आहे. परंतु आपल्याला मोठ्या संख्येने उदाहरणे आवश्यक आहेत, आपल्याला हे समजत नाही की न्यूरॉन स्वतःच हे कसे दर्शवते, न्यूरॉनला काही खरोखर जटिल प्रतिनिधित्व कसे लक्षात ठेवायचे हे आम्हाला समजत नाही.

मजबुतीकरण शिक्षण - हा पूर्णपणे वेगळा दृष्टिकोन आहे. Google ने Go मध्ये सर्वांना कसे हरवले हे तुम्हाला नक्कीच आठवत असेल. Starcraft आणि Dota मधील अलीकडील विजय. परंतु येथे सर्व काही इतके गुलाबी आणि आश्वासक असण्यापासून दूर आहे. RL आणि त्याची जटिलता बद्दल सर्वांत उत्तम हा लेख.

लेखकाने काय लिहिले ते थोडक्यात सांगण्यासाठी:

• बॉक्सच्या बाहेरील मॉडेल बहुतेक प्रकरणांमध्ये बसत नाहीत / खराब काम करतात
• व्यावहारिक समस्या इतर मार्गांनी सोडवणे सोपे आहे. बोस्टन डायनॅमिक्स त्याच्या जटिलतेमुळे/अनपेक्षितता/संगणकीय जटिलतेमुळे RL वापरत नाही
• RL कार्य करण्यासाठी, आपल्याला एक जटिल कार्य आवश्यक आहे. अनेकदा ते तयार करणे/लिहिणे अवघड असते
• मॉडेल प्रशिक्षित करणे कठीण आहे. स्विंग करण्यासाठी आणि लोकल ऑप्टिमातून बाहेर पडण्यासाठी तुम्हाला बराच वेळ घालवावा लागेल
• परिणामी, मॉडेलची पुनरावृत्ती करणे कठीण आहे, अगदी थोड्या बदलावर मॉडेलची अस्थिरता
• यादृच्छिक संख्या जनरेटरपर्यंत, काही डाव्या पॅटर्नसाठी अनेकदा ओव्हरफिट होते

मुख्य मुद्दा असा आहे की आरएल अद्याप उत्पादनात नाही. गुगलचे काही प्रयोग आहेत ( 1, 2 ). पण मी एकही उत्पादन प्रणाली पाहिली नाही.

मेमरी. वर वर्णन केलेल्या सर्व गोष्टींचा तोटा अनस्ट्रक्चर्ड आहे. हे सर्व साफ करण्याचा त्यांचा एक मार्ग म्हणजे न्यूरल नेटवर्कला वेगळ्या मेमरीमध्ये प्रवेश देणे. जेणेकरून ती तिथल्या पावलांचे निकाल रेकॉर्ड करून पुन्हा रेकॉर्ड करू शकेल. मग न्यूरल नेटवर्क मेमरीच्या वर्तमान स्थितीनुसार निर्धारित केले जाऊ शकते. हे क्लासिक प्रोसेसर आणि संगणकांसारखेच आहे.

सर्वात प्रसिद्ध आणि लोकप्रिय लेख - खोल मनातून:

असे दिसते की येथे आहे, बुद्धिमत्ता समजून घेण्याची गुरुकिल्ली? पण त्याऐवजी नाही. प्रशिक्षित करण्यासाठी सिस्टमला अजूनही मोठ्या प्रमाणात डेटाची आवश्यकता आहे. आणि हे प्रामुख्याने संरचित सारणी डेटासह कार्य करते. मात्र, जेव्हा फेसबुक ठरवले तत्सम समस्या, नंतर ते मार्गावर गेले "मेमरी संभोग करा, फक्त न्यूरॉन अधिक क्लिष्ट करा, परंतु आणखी उदाहरणे आहेत - आणि ते स्वतःच शिकेल."

विघटन. अर्थपूर्ण मेमरी तयार करण्याचा आणखी एक मार्ग म्हणजे समान एम्बेडिंग घेणे, परंतु शिकत असताना, अतिरिक्त निकष लागू करा जे त्यांना त्यातील "अर्थ" हायलाइट करण्यास अनुमती देईल. उदाहरणार्थ, स्टोअरमधील मानवी वर्तनामध्ये फरक करण्यासाठी आम्हाला न्यूरल नेटवर्क प्रशिक्षित करायचे आहे. जर आम्ही मानक मार्गाचे अनुसरण केले तर आम्हाला डझनभर नेटवर्क बनवावे लागतील. एक व्यक्ती शोधत आहे, दुसरा तो काय करत आहे हे ठरवतो, तिसरा त्याचे वय आहे, चौथा त्याचे लिंग आहे. एक वेगळे तर्कशास्त्र दुकानाच्या त्या भागाकडे पाहतो जिथे ते त्याच्यासाठी करते/ट्रेन करते. तिसरा त्याचे मार्गक्रमण ठरवतो आणि असेच.

किंवा, जर अमर्याद प्रमाणात डेटा असेल, तर सर्व संभाव्य परिणामांसाठी एका नेटवर्कला प्रशिक्षित करणे शक्य होईल (स्पष्टपणे, डेटाची अशी अॅरे गोळा केली जाऊ शकत नाही).

विघटन करण्याचा दृष्टीकोन आम्हाला सांगते - चला नेटवर्कला प्रशिक्षित करूया जेणेकरून ते संकल्पनांमध्ये फरक करू शकेल. जेणेकरून ती व्हिडिओमधून एम्बेडिंग तयार करेल, जिथे एक क्षेत्र क्रिया निश्चित करेल, एक - वेळेनुसार मजल्यावरील स्थिती, एक - एखाद्या व्यक्तीची उंची आणि आणखी एक - त्याचे लिंग. त्याच वेळी, प्रशिक्षणादरम्यान, मी अशा प्रमुख संकल्पनांसह नेटवर्कला जवळजवळ प्रॉम्प्ट करू इच्छित नाही, परंतु त्यासाठी स्वतः क्षेत्रे निवडून गटबद्ध करू इच्छितो. असे बरेच लेख आहेत (त्यापैकी काही 1, 2, 3) आणि सर्वसाधारणपणे ते बरेच सैद्धांतिक आहेत.

परंतु या दिशेने, कमीतकमी सैद्धांतिकदृष्ट्या, सुरुवातीला सूचीबद्ध केलेल्या समस्या बंद केल्या पाहिजेत.

"भिंतीचा रंग / मजल्याचा रंग / ऑब्जेक्टचा आकार / ऑब्जेक्टचा रंग / इत्यादी" पॅरामीटर्सनुसार प्रतिमेचे विघटन.

"आकार, भुवया, अभिमुखता, त्वचेचा रंग इ." या पॅरामीटर्सनुसार चेहर्याचे विघटन.

इतर

इतर अनेक जागतिक दिशानिर्देश आहेत जे तुम्हाला बेस कमी करण्यास, अधिक विषम डेटासह कार्य करण्यास अनुमती देतात.

लक्ष. कदाचित ही वेगळी पद्धत म्हणून वेगळे करण्यात काही अर्थ नाही. फक्त एक दृष्टीकोन जो इतरांना वाढवतो. अनेक लेख त्यांना वाहिलेले आहेत1,2,3). अटेन्शनचा अर्थ प्रशिक्षणादरम्यान महत्त्वपूर्ण वस्तूंवर नेटवर्कची प्रतिक्रिया मजबूत करणे आहे. अनेकदा काही बाह्य लक्ष्य पदनाम किंवा लहान बाह्य नेटवर्कद्वारे.

3D सिम्युलेशन. जर तुम्ही चांगले 3D इंजिन बनवले तर ते बर्‍याचदा 90% प्रशिक्षण डेटा कव्हर करू शकते (ज्यावेळी जवळजवळ 99% डेटा चांगल्या इंजिनने कव्हर केला होता तेव्हा मी एक उदाहरण देखील पाहिले). थ्रीडी इंजिनवर प्रशिक्षित नेटवर्क कसे बनवायचे याच्या अनेक कल्पना आणि हॅक आहेत रिअल डेटावर (फाईन ट्यूनिंग, स्टाइल ट्रान्सफर इ.). परंतु बर्‍याचदा चांगले इंजिन बनवणे हे डेटा टायपिंगपेक्षा कितीतरी मोठे ऑर्डर अधिक कठीण असते. जेव्हा इंजिन बनवले गेले तेव्हाची उदाहरणे:
रोबोट प्रशिक्षण (गुगल, ब्रेनगार्डन)
प्रशिक्षण सत्र ओळख स्टोअरमधील वस्तू (परंतु आम्ही केलेल्या दोन प्रकल्पांमध्ये, आम्ही त्याशिवाय सहजपणे व्यवस्थापित केले).
टेस्ला येथे प्रशिक्षण (पुन्हा, वरील व्हिडिओ).

निष्कर्ष

संपूर्ण लेख एका अर्थाने निष्कर्ष आहे. कदाचित, मला जो मुख्य संदेश द्यायचा होता तो असा होता की "फ्रीबी संपली आहे, न्यूरॉन्स अधिक साधे उपाय देत नाहीत." आता आपल्याला जटिल उपाय तयार करण्यासाठी कठोर परिश्रम करावे लागतील. किंवा जटिल वैज्ञानिक संशोधन करण्यासाठी कठोर परिश्रम करा.

सर्वसाधारणपणे, हा विषय वादाचा आहे. कदाचित वाचकांकडे अधिक मनोरंजक उदाहरणे असतील?

स्त्रोत: www.habr.com