के मेसिन लर्निङको बबल फुटेको छ, वा यो नयाँ बिहानीको सुरुवात हो?

हालै रिलिज भएको छ लेख, जसले हालैका वर्षहरूमा मेसिन लर्निङमा राम्रो प्रवृत्ति देखाउँछ। छोटकरीमा: पछिल्ला दुई वर्षमा मेसिन लर्निङ स्टार्टअपहरूको संख्या घटेको छ।

राम्रो। आउनुहोस् "बबल फुटेको छ कि छैन", "कसरी बाँच्न जारी राख्ने" हेरौं र यो squiggle पहिलो स्थानमा कहाँबाट आउँछ भन्ने बारे कुरा गरौं।

पहिले, यो कर्भको बूस्टर के थियो भन्ने बारे कुरा गरौं। उनी कहाँबाट आइन् ? तिनीहरूले सायद सबै याद गर्नेछन् विजय ImageNet प्रतियोगितामा २०१२ मा मेसिन लर्निङ। आखिर, यो पहिलो विश्वव्यापी घटना हो! तर यथार्थमा त्यस्तो छैन । र वक्र को वृद्धि अलि पहिले सुरु हुन्छ। म यसलाई धेरै बिन्दुहरूमा विभाजन गर्नेछु।

1. 2008 मा "ठूलो डाटा" शब्दको उदय देखियो। वास्तविक उत्पादनहरू सुरु भयो देखा पर्दछ 2010 देखि। बिग डाटा सिधै मेसिन लर्निङसँग सम्बन्धित छ। ठूलो डाटा बिना, त्यो समयमा अवस्थित एल्गोरिदम को स्थिर सञ्चालन असम्भव छ। र यी तंत्रिका नेटवर्कहरू होइनन्। 2012 सम्म, न्यूरल नेटवर्कहरू सीमान्त अल्पसंख्यकको संरक्षण थियो। तर त्यसपछि पूर्णतया फरक एल्गोरिदमहरू काम गर्न थाले, जुन वर्षौं, वा दशकहरूदेखि अस्तित्वमा थियो: SVM(1963,1993), अनियमित वन (1995), AdaBoost (2003),... ती वर्षहरूको स्टार्टअपहरू मुख्य रूपमा संरचित डाटाको स्वचालित प्रशोधनसँग सम्बन्धित छन्: नगद दर्ताहरू, प्रयोगकर्ताहरू, विज्ञापनहरू, धेरै।

   यो पहिलो लहरको व्युत्पन्न फ्रेमवर्कको सेट हो जस्तै XGBoost, CatBoost, LightGBM, आदि।

2. 2011-2012 मा convolutional तंत्रिका नेटवर्क धेरै छवि पहिचान प्रतियोगिताहरू जित्यो। तिनीहरूको वास्तविक प्रयोग केही ढिलाइ भएको थियो। म भन्न चाहन्छु कि व्यापक अर्थपूर्ण स्टार्टअपहरू र समाधानहरू 2014 मा देखा पर्न थाले। यो पचाउन दुई वर्ष लाग्यो कि न्यूरोन्स अझै पनि काम गर्दछ, सुविधाजनक फ्रेमवर्कहरू सिर्जना गर्न जुन उचित समयमा स्थापित गर्न सकिन्छ, स्थिर र अभिसरण समयलाई गति दिने विधिहरू विकास गर्न।

   कन्भोलुसनल नेटवर्कहरूले कम्प्युटर दृष्टि समस्याहरू समाधान गर्न सम्भव बनायो: छविमा छविहरू र वस्तुहरूको वर्गीकरण, वस्तु पत्ता लगाउने, वस्तुहरू र व्यक्तिहरूको पहिचान, छवि सुधार, आदि।

3. 2015-2017। पुनरावर्ती नेटवर्कहरू वा तिनीहरूका एनालगहरू (LSTM, GRU, TransformerNet, आदि) मा आधारित एल्गोरिदम र परियोजनाहरूको बूम। राम्रोसँग काम गर्ने भाषण-देखि-पाठ एल्गोरिदमहरू र मेसिन अनुवाद प्रणालीहरू देखा परेका छन्। तिनीहरू आंशिक रूपमा आधारभूत सुविधाहरू निकाल्न convolutional नेटवर्कहरूमा आधारित छन्। आंशिक रूपमा हामीले वास्तवमै ठूलो र राम्रो डेटासेटहरू सङ्कलन गर्न सिकेका छौं भन्ने तथ्यको कारणले गर्दा।

"के बबल फुटेको छ? के हाइप अति तातो छ? के तिनीहरू ब्लकचेनको रूपमा मरे?"
अन्यथा! भोलि सिरीले तपाईको फोनमा काम गर्न बन्द गर्नेछ, र भोलि टेस्लाले पालो र कङ्गारु बीचको भिन्नता थाहा पाउनेछैन।

न्यूरल नेटवर्कहरू पहिले नै काम गरिरहेका छन्। तिनीहरू दर्जनौं उपकरणहरूमा छन्। तिनीहरूले तपाईंलाई पैसा कमाउन, बजार र तपाईंको वरपरको संसार परिवर्तन गर्न अनुमति दिन्छ। हाइप अलि फरक देखिन्छ:

यो मात्र हो कि तंत्रिका नेटवर्कहरू अब केहि नयाँ छैनन्। हो, धेरै मानिसहरूको ठूलो अपेक्षा छ। तर धेरै कम्पनीहरूले न्यूरोन्स प्रयोग गर्न र त्यसमा आधारित उत्पादनहरू बनाउन सिकेका छन्। न्यूरोन्सले नयाँ कार्यक्षमता प्रदान गर्दछ, तपाईंलाई काम कटौती गर्न र सेवाहरूको मूल्य घटाउन अनुमति दिन्छ:

• निर्माण कम्पनीहरूले उत्पादन लाइनमा त्रुटिहरू विश्लेषण गर्न एल्गोरिदमहरू एकीकृत गर्दैछन्।
• पशुपालन फार्महरूले गाईहरू नियन्त्रण गर्न प्रणालीहरू खरीद गर्छन्।
• स्वचालित संयोजन।
• स्वचालित कल केन्द्रहरू।
• SnapChat मा फिल्टरहरू। (ठीक छ, कम्तिमा केहि उपयोगी!)

तर मुख्य कुरा, र सबैभन्दा स्पष्ट छैन: "त्यहाँ कुनै नयाँ विचारहरू छैनन्, वा तिनीहरूले तत्काल पूंजी ल्याउने छैनन्।" न्यूरल नेटवर्कले दर्जनौं समस्या समाधान गरेको छ। र तिनीहरूले थप निर्णय गर्नेछन्। अवस्थित सबै स्पष्ट विचारहरूले धेरै स्टार्टअपहरूलाई जन्म दिए। तर सतहमा भएका सबै कुरा सङ्कलन भइसकेको थियो। विगत दुई वर्षमा, मैले न्यूरल नेटवर्कहरूको प्रयोगको लागि एउटा नयाँ विचार भेट्टाएको छैन। एकल नयाँ दृष्टिकोण छैन (राम्रो, ठीक छ, त्यहाँ GAN सँग केही समस्याहरू छन्)।

र प्रत्येक पछिको स्टार्टअप अधिक र अधिक जटिल छ। यसलाई अब खुला डाटा प्रयोग गरेर न्यूरोनलाई तालिम दिने दुई जना केटाहरू आवश्यक पर्दैन। यसको लागि प्रोग्रामरहरू, सर्भर, मार्करहरूको टोली, जटिल समर्थन, आदि आवश्यक पर्दछ।

फलस्वरूप, त्यहाँ कम स्टार्टअपहरू छन्। तर त्यहाँ उत्पादन बढी छ। लाइसेन्स प्लेट पहिचान थप्न आवश्यक छ? बजारमा सान्दर्भिक अनुभव भएका सयौं विशेषज्ञहरू छन्। तपाइँ कसैलाई भाडामा लिन सक्नुहुन्छ र केहि महिनामा तपाइँको कर्मचारीले प्रणाली बनाउनेछ। वा रेडिमेड किन्नुहोस्। तर नयाँ स्टार्टअप गर्दै?.. पागल!

तपाईंले आगन्तुक ट्र्याकिङ प्रणाली सिर्जना गर्न आवश्यक छ - किन इजाजतपत्रहरूको गुच्छाको लागि तिर्नुहोस् जब तपाईं 3-4 महिनामा आफ्नै बनाउन सक्नुहुन्छ, यसलाई तपाईंको व्यवसायको लागि तिखार्नुहोस्।

अब न्यूरल नेटवर्कहरू उही बाटोमा जाँदैछन् जुन दर्जनौं अन्य प्रविधिहरू गएका छन्।

के तपाईलाई सम्झना छ कि कसरी "वेबसाइट विकासकर्ता" को अवधारणा 1995 देखि परिवर्तन भएको छ? बजार अझै विशेषज्ञहरु संग संतृप्त छैन। त्यहाँ धेरै कम पेशेवरहरू छन्। तर म शर्त लगाउन सक्छु कि 5-10 वर्षमा जाभा प्रोग्रामर र न्यूरल नेटवर्क विकासकर्ता बीच धेरै भिन्नता हुनेछैन। बजारमा दुबै विशेषज्ञहरू पर्याप्त हुनेछन्।

त्यहाँ केवल समस्याहरूको एक वर्ग हुनेछ जुन न्यूरोन्सद्वारा समाधान गर्न सकिन्छ। एउटा कार्य उत्पन्न भएको छ - एक विशेषज्ञ भाडामा लिनुहोस्।

"अब के? प्रतिज्ञा गरिएको कृत्रिम बुद्धिमत्ता कहाँ छ?"

तर यहाँ एक सानो तर रोचक गलतफहमी छ :)

टेक्नोलोजी स्ट्याक जुन आज अवस्थित छ, स्पष्ट रूपमा, हामीलाई कृत्रिम बुद्धिमत्तामा लैजाने छैन। विचार र तिनीहरूको नवीनता धेरै हदसम्म आफैं समाप्त भएको छ। विकासको वर्तमान स्तर के हो भन्ने कुरा गरौं।

प्रतिबन्धहरू

सेल्फ ड्राइभिङ कारहरूबाट सुरु गरौं। आजको प्रविधिबाट पूर्णतया स्वायत्त कार बनाउन सम्भव भएको प्रष्ट देखिन्छ । तर यो कति वर्षमा हुने हो यकिन छैन । टेस्ला विश्वास गर्छ कि यो केहि वर्ष मा हुनेछ -

अरु पनि धेरै छन् विशेषज्ञहरु, जसले यो 5-10 वर्षको अनुमान गर्दछ।

सम्भवतः, मेरो विचारमा, 15 वर्षमा शहरहरूको पूर्वाधार आफैंमा परिवर्तन हुनेछ कि स्वायत्त कारहरूको उदय अपरिहार्य हुनेछ र यसको निरन्तरता हुनेछ। तर यसलाई बुद्धिमत्ता मान्न सकिँदैन। आधुनिक टेस्ला डाटा फिल्टरिङ, खोजी र पुन: तालिमको लागि धेरै जटिल पाइपलाइन हो। यी हुन् नियम-नियम-नियम, डेटा सङ्कलन र तिनीहरूमाथि फिल्टरहरू (यहाँ यहाँ मैले यस बारे अलि बढी लेखें, वा बाट हेर्नुहोस् यो अंकहरू)।

पहिलो समस्या

र यो जहाँ हामी देख्छौं पहिलो आधारभूत समस्या। ठूलो डाटा। यो वास्तवमा न्यूरल नेटवर्क र मेशिन शिक्षाको वर्तमान लहरलाई जन्म दियो। आजकल, केहि जटिल र स्वचालित गर्न को लागी, तपाईलाई धेरै डाटा चाहिन्छ। धेरै मात्र होइन, धेरै, धेरै। हामीलाई तिनीहरूको सङ्कलन, चिन्ह लगाउन र प्रयोगको लागि स्वचालित एल्गोरिदमहरू चाहिन्छ। हामी कारलाई सूर्यको सामना गर्ने ट्रकहरू हेर्न चाहन्छौं - हामीले पहिले तिनीहरूको पर्याप्त संख्या सङ्कलन गर्नुपर्छ। हामी कार ट्रंकमा बोल्ट गरिएको साइकलको साथ पागल नहोस् भन्ने चाहन्छौं - थप नमूनाहरू।

यसबाहेक, एउटा उदाहरण पर्याप्त छैन। सयौं? हजारौं?

दोस्रो समस्या

दोस्रो समस्या — हाम्रो न्यूरल नेटवर्कले के बुझेको छ भन्ने कुराको दृश्यावलोकन। यो एक धेरै गैर मामूली कार्य हो। अहिले सम्म, थोरै मानिसहरूले यसलाई कसरी कल्पना गर्ने भनेर बुझेका छन्। यी लेखहरू एकदमै भर्खरका छन्, यी केही उदाहरण मात्र हुन्, टाढा भए पनि:
दृश्य बनावट संग जुनून। यसले राम्रोसँग देखाउँछ कि न्युरोनले कुन कुरामा फिक्सेट गर्छ + यसले सुरुवाती जानकारीको रूपमा के बुझ्छ।

दृश्य मा ध्यानाकर्षण अनुवादहरू। वास्तवमा, यस्तो नेटवर्क प्रतिक्रिया के कारण देखाउन अक्सर आकर्षण प्रयोग गर्न सकिन्छ। मैले डिबगिङ र उत्पादन समाधान दुवैका लागि त्यस्ता चीजहरू देखेको छु। यस विषयमा धेरै लेखहरू छन्। तर डाटा जति जटिल हुन्छ, बलियो भिजुअलाइजेशन कसरी प्राप्त गर्ने भनेर बुझ्न त्यति नै गाह्रो हुन्छ।

ठीक छ, हो, राम्रो पुरानो सेट "हेर्नुहोस् जाल भित्र के छ फिल्टरहरू" यी तस्बिरहरू 3-4 वर्ष पहिले लोकप्रिय थिए, तर सबैले चाँडै बुझे कि चित्रहरू सुन्दर छन्, तर तिनीहरूको धेरै अर्थ थिएन।

मैले दर्जनौं अन्य ग्याजेटहरू, विधिहरू, ह्याकहरू, नेटवर्कको भित्री भागहरू कसरी प्रदर्शन गर्ने भन्ने बारे अनुसन्धानहरू उल्लेख गरेन। के यी उपकरणहरूले काम गर्छन्? के तिनीहरूले तपाईंलाई समस्या के हो भनेर द्रुत रूपमा बुझ्न र नेटवर्क डिबग गर्न मद्दत गर्छन्?... अन्तिम प्रतिशत प्राप्त गर्नुहोस्? खैर, यो उस्तै बारे छ:

तपाईं Kaggle मा कुनै पनि प्रतियोगिता हेर्न सक्नुहुन्छ। र मानिसहरूले अन्तिम निर्णय कसरी गर्छन् भन्ने विवरण। हामीले 100-500-800 मिलियन मोडेलहरू स्ट्याक गर्यौं र यसले काम गर्यो!

पक्कै पनि म बढाइचढाइ गर्दैछु। तर यी दृष्टिकोणहरूले द्रुत र प्रत्यक्ष जवाफहरू प्रदान गर्दैनन्।

पर्याप्त अनुभव भएको, विभिन्न विकल्पहरूको वरिपरि पोक गरेर, तपाइँ तपाइँको प्रणालीले यस्तो निर्णय किन गर्यो भन्ने बारे निर्णय दिन सक्नुहुन्छ। तर यो प्रणाली को व्यवहार सच्याउन गाह्रो हुनेछ। क्रच स्थापना गर्नुहोस्, थ्रेसहोल्ड सार्नुहोस्, डेटासेट थप्नुहोस्, अर्को ब्याकएन्ड नेटवर्क लिनुहोस्।

तेस्रो समस्या

तेस्रो आधारभूत समस्या - ग्रिडहरूले तथ्याङ्क सिकाउँछन्, तर्क होइन। सांख्यिकीय रूपमा यो अनुहार:

तार्किक रूपमा, यो धेरै समान छैन। तंत्रिका सञ्जालहरूले कुनै पनि जटिल कुरा सिक्न सक्दैनन् जबसम्म तिनीहरू बाध्य छैनन्। तिनीहरू सधैं सम्भव सरल संकेतहरू सिकाउँछन्। के तपाईसँग आँखा, नाक, टाउको छ? त्यसैले यो अनुहार हो! वा उदाहरण दिनुहोस् जहाँ आँखाको अर्थ अनुहार होइन। र फेरि - लाखौं उदाहरणहरू।

तल धेरै कोठा छ

म भन्न चाहन्छु कि यी तीनवटा विश्वव्यापी समस्याहरूले वर्तमानमा न्यूरल नेटवर्क र मेसिन लर्निङको विकासलाई सीमित गर्दछ। र जहाँ यी समस्याहरूले यसलाई सीमित गर्दैनन्, यो पहिले नै सक्रिय रूपमा प्रयोग गरिएको छ।

यो अन्त्य हो? के न्यूरल नेटवर्कहरू माथि छन्?

अज्ञात। तर, पक्कै पनि, सबैले आशा गर्दैनन्।

मैले माथि हाइलाइट गरेको आधारभूत समस्याहरू समाधान गर्न धेरै दृष्टिकोण र निर्देशनहरू छन्। तर अहिलेसम्म यी कुनै पनि दृष्टिकोणले मौलिक रूपमा नयाँ केही गर्न सम्भव बनाएको छैन, अझै समाधान नभएको कुराको समाधान गर्न। अहिलेसम्म, सबै आधारभूत परियोजनाहरू स्थिर दृष्टिकोण (टेस्ला) को आधारमा गरिन्छ, वा संस्थान वा निगमहरू (गुगल ब्रेन, ओपनएआई) को परीक्षण परियोजनाहरू रहन्छन्।

लगभग बोल्दै, मुख्य दिशा इनपुट डेटा को केहि उच्च-स्तर प्रतिनिधित्व सिर्जना गर्न को लागी छ। एक अर्थमा, "स्मृति"। मेमोरीको सरल उदाहरण विभिन्न "इम्बेडिङ" हो - छवि प्रतिनिधित्व। ठीक छ, उदाहरणका लागि, सबै अनुहार पहिचान प्रणाली। नेटवर्कले अनुहारबाट केही स्थिर प्रतिनिधित्व प्राप्त गर्न सिक्छ जुन रोटेशन, प्रकाश, वा रिजोल्युसनमा निर्भर हुँदैन। अनिवार्य रूपमा, नेटवर्कले "भिन्न अनुहारहरू टाढा छन्" र "समान अनुहारहरू नजिक छन्" मेट्रिकलाई न्यूनतम गर्दछ।

यस्तो तालिमको लागि दशौं हजारौं उदाहरण चाहिन्छ। तर नतिजाले "वन-शट लर्निङ" को केही पूर्वाधारहरू बोक्छ। अब एक व्यक्तिलाई सम्झन सयौं अनुहार चाहिँदैन। केवल एउटा अनुहार र हामी मात्रै पत्ता लगाउनुहोस्!
त्यहाँ एउटा मात्र समस्या छ... ग्रिडले साधारण वस्तुहरू मात्र सिक्न सक्छ। अनुहारहरू होइन, तर, उदाहरणका लागि, "कपडाद्वारा मानिसहरू" (कार्य पुन: पहिचान) - गुणस्तर परिमाण को धेरै आदेश द्वारा गिर। र नेटवर्कले अब कोणहरूमा स्पष्ट रूपमा स्पष्ट परिवर्तनहरू सिक्न सक्दैन।

र लाखौं उदाहरणहरूबाट सिक्नु पनि एक प्रकारको रमाइलो हो।

निर्वाचनलाई निकै कम गर्ने काम भइरहेको छ । उदाहरणका लागि, कसैले तुरुन्तै पहिलो कामहरू मध्ये एक सम्झन सक्छ OneShot लर्निङ Google बाट:

उदाहरणका लागि, यस्ता धेरै कामहरू छन् 1 वा 2 वा 3.

त्यहाँ एक माइनस छ - सामान्यतया प्रशिक्षणले केहि सरल, "MNIST" उदाहरणहरूमा राम्रो काम गर्दछ। र जटिल कार्यहरूमा जाँदा, तपाईंलाई ठूलो डाटाबेस, वस्तुहरूको मोडेल, वा कुनै प्रकारको जादू चाहिन्छ।
सामान्यतया, एक-शट प्रशिक्षण मा काम एक धेरै रोचक विषय हो। तपाईंले धेरै विचारहरू फेला पार्नुहुन्छ। तर धेरै जसो, मैले सूचीबद्ध गरेको दुई समस्याहरू (जटिल डाटामा एक विशाल डाटासेट / अस्थिरतामा पूर्व प्रशिक्षण) ले सिकाइमा ठूलो हस्तक्षेप गर्दछ।

अर्कोतर्फ, GANs-उत्पादक विरोधी सञ्जालहरू-इम्बेडिङको विषयमा दृष्टिकोण राख्छन्। तपाईंले सायद यस विषयमा Habré मा लेखहरूको गुच्छा पढ्नुभएको छ। (1, 2,3)
GAN को एक विशेषता भनेको केहि आन्तरिक स्टेट स्पेसको गठन हो (अनिवार्य रूपमा एउटै इम्बेडिङ), जसले तपाईंलाई छवि कोर्न अनुमति दिन्छ। यो हुन सक्छ अनुहार, हुन सक्छ कार्य.

GAN को समस्या यो हो कि उत्पन्न वस्तु जति जटिल हुन्छ, "जेनेरेटर-डिस्क्रिमिनेटर" तर्कमा यसलाई वर्णन गर्न त्यति नै गाह्रो हुन्छ। नतिजाको रूपमा, GAN को एकमात्र वास्तविक अनुप्रयोगहरू जुन सुन्न सकिन्छ DeepFake हो, जसले फेरि, अनुहारको प्रतिनिधित्वलाई हेरफेर गर्छ (जसको लागि त्यहाँ ठूलो आधार छ)।

मैले धेरै थोरै अन्य उपयोगी प्रयोगहरू देखेको छु। सामान्यतया चित्रहरूको अन्तिम रेखाचित्र समावेश गर्ने कुनै प्रकारको ट्रिक।

र फेरि। यसले हामीलाई उज्यालो भविष्यतर्फ कसरी अघि बढाउने भन्ने कुरा कसैलाई थाहा छैन। न्यूरल नेटवर्कमा तर्क/स्पेसको प्रतिनिधित्व गर्नु राम्रो हो। तर हामीलाई धेरै संख्यामा उदाहरणहरू चाहिन्छ, हामी न्युरोनले यसलाई कसरी प्रतिनिधित्व गर्छ भनेर बुझ्दैनौं, हामीले न्युरोनलाई केही साँच्चै जटिल विचार कसरी सम्झाउने भनेर बुझ्दैनौं।

सुदृढीकरण शिक्षण - यो पूर्णतया फरक दिशाबाट एक दृष्टिकोण हो। तपाईंले पक्कै याद गर्नुभयो कि कसरी Google ले Go मा सबैलाई हरायो। Starcraft र Dota मा भर्खरको जीत। तर यहाँ सबै कुरा यति गुलाबी र आशाजनक देखि टाढा छ। उहाँले RL र यसको जटिलताहरूको बारेमा राम्रो कुरा गर्नुहुन्छ यो लेख.

लेखकले लेखेका कुरालाई संक्षेपमा प्रस्तुत गर्न:

• बाकस बाहिरका मोडेलहरू फिट हुँदैन / धेरै जसो केसहरूमा खराब काम गर्दछ
• व्यावहारिक समस्याहरू अन्य तरिकामा समाधान गर्न सजिलो छ। बोस्टन डाइनामिक्सले यसको जटिलता/अनपेक्षितता/कम्प्युटेशनल जटिलताको कारणले RL प्रयोग गर्दैन।
• RL ले काम गर्नको लागि, तपाईंलाई एउटा जटिल प्रकार्य चाहिन्छ। यो अक्सर सिर्जना / लेख्न गाह्रो छ
• मोडेलहरू तालिम दिन गाह्रो। तपाईंले पम्प अप गर्न र स्थानीय अप्टिमाबाट बाहिर निस्कन धेरै समय खर्च गर्नुपर्छ
• नतिजाको रूपमा, मोडेल दोहोर्याउन गाह्रो छ, मोडेल थोरै परिवर्तनहरूसँग अस्थिर छ
• प्राय: केहि अनियमित ढाँचाहरू ओभरफिट गर्दछ, एक अनियमित संख्या जनरेटर पनि

मुख्य बिन्दु यो हो कि RL अझै उत्पादन मा काम गर्दैन। गुगलसँग केही प्रयोगहरू छन् ( 1, 2 )। तर मैले एउटै उत्पादन प्रणाली देखेको छैन।

स्मरण। माथि वर्णन गरिएका सबै कुराको नकारात्मक पक्ष संरचनाको अभाव हो। यी सबैलाई व्यवस्थित गर्ने प्रयास गर्ने एउटा उपाय भनेको न्यूरल नेटवर्कलाई छुट्टै मेमोरीमा पहुँच प्रदान गर्नु हो। ताकि उनले त्यहाँ आफ्ना पाइलाहरूको नतिजा रेकर्ड गर्न र पुन: लेख्न सकून्। त्यसपछि न्यूरल नेटवर्क हालको मेमोरी अवस्था द्वारा निर्धारण गर्न सकिन्छ। यो क्लासिक प्रोसेसर र कम्प्युटर धेरै समान छ।

सबैभन्दा प्रसिद्ध र लोकप्रिय लेख - DeepMind बाट:

यस्तो लाग्छ कि यो बुद्धि बुझ्ने कुञ्जी हो? तर सायद छैन। प्रणालीलाई अझै पनि प्रशिक्षणको लागि ठूलो मात्रामा डेटा चाहिन्छ। र यो मुख्यतया संरचित तालिका डेटा संग काम गर्दछ। यसबाहेक, जब फेसबुक निर्णय गरियो एक समान समस्या, त्यसपछि तिनीहरूले बाटो लिए "स्क्रू मेमोरी, केवल न्यूरोन थप जटिल बनाउनुहोस्, र थप उदाहरणहरू छन् - र यो आफैले सिक्नेछ।"

असन्तुष्टि। अर्थपूर्ण मेमोरी सिर्जना गर्ने अर्को तरिका एउटै इम्बेडिङहरू लिनु हो, तर प्रशिक्षणको क्रममा, थप मापदण्डहरू परिचय गर्नुहोस् जसले तपाईंलाई तिनीहरूमा "अर्थ" हाइलाइट गर्न अनुमति दिन्छ। उदाहरण को लागी, हामी स्टोर मा मानव व्यवहार को बीच भेद गर्न को लागी एक तंत्रिका नेटवर्क को प्रशिक्षण दिन चाहन्छौं। यदि हामीले मानक मार्ग पछ्यायौं भने, हामीले एक दर्जन नेटवर्कहरू बनाउनु पर्ने थियो। एउटा व्यक्ति खोज्दैछ, दोस्रोले उसले के गरिरहेको छ भनी निर्धारण गर्दैछ, तेस्रो उसको उमेर हो, चौथो उसको लिङ्ग हो। अलग तर्कले स्टोरको भागलाई हेर्छ जहाँ यसले गर्छ/यो गर्न प्रशिक्षित छ। तेस्रोले यसको प्रक्षेपण आदि निर्धारण गर्दछ।

वा, यदि त्यहाँ डाटाको असीमित मात्रा थियो भने, त्यसपछि सबै सम्भावित परिणामहरूको लागि एउटा नेटवर्कलाई प्रशिक्षित गर्न सम्भव हुनेछ (स्पष्ट रूपमा, डाटाको यस्तो एर्रे सङ्कलन गर्न सकिँदैन)।

विघटन दृष्टिकोणले हामीलाई बताउँछ - नेटवर्कलाई प्रशिक्षित गरौं ताकि यसले आफैं अवधारणाहरू बीचको भिन्नता पत्ता लगाउन सक्छ। ताकि यसले भिडियोको आधारमा इम्बेडिङ बनाउँछ, जहाँ एउटा क्षेत्रले कार्य निर्धारण गर्नेछ, कसैले समयमै भुइँको स्थिति निर्धारण गर्नेछ, कसैले व्यक्तिको उचाइ निर्धारण गर्नेछ, र अर्कोले व्यक्तिको लिंग निर्धारण गर्नेछ। एकै समयमा, प्रशिक्षण गर्दा, म प्रायः त्यस्ता मुख्य अवधारणाहरूका साथ नेटवर्कलाई प्रम्प्ट गर्न चाहान्छु, बरु यसलाई हाइलाइट र समूह क्षेत्रहरूका लागि। त्यहाँ धेरै त्यस्ता लेखहरू छन् (तिनीहरू मध्ये केही 1, 2, 3) र सामान्यतया तिनीहरू धेरै सैद्धान्तिक छन्।

तर यो दिशा, कम्तिमा सैद्धान्तिक रूपमा, सुरुमा सूचीबद्ध समस्याहरू समावेश गर्नुपर्छ।

प्यारामिटरहरू अनुसार छवि विघटन "भित्ताको रङ/फ्लोर रङ/वस्तुको आकार/वस्तुको रंग/इत्यादि।"

"आकार, भौं, अभिविन्यास, छालाको रंग, आदि" मापदण्डहरू अनुसार अनुहारको विघटन।

अन्य

त्यहाँ धेरै अन्य छन्, विश्वव्यापी होइन, क्षेत्रहरू जसले तपाईंलाई कुनै न कुनै रूपमा डाटाबेस कम गर्न, थप विषम डाटासँग काम गर्न अनुमति दिन्छ।

ध्यान। यसलाई छुट्टै विधिको रूपमा अलग गर्नुको अर्थ सायद छैन। केवल एक दृष्टिकोण जसले अरूलाई बढाउँछ। धेरै लेखहरू उहाँलाई समर्पित छन् (1,2,3)। ध्यानको बिन्दु प्रशिक्षणको क्रममा विशेष रूपमा महत्त्वपूर्ण वस्तुहरूमा नेटवर्कको प्रतिक्रिया बढाउनु हो। प्राय: कुनै प्रकारको बाह्य लक्ष्य पदनाम, वा सानो बाह्य नेटवर्क द्वारा।

3D सिमुलेशन। यदि तपाइँ राम्रो थ्रीडी इन्जिन बनाउनुहुन्छ भने, तपाइँ प्राय: 3% प्रशिक्षण डेटा कभर गर्न सक्नुहुन्छ (मैले एउटा उदाहरण पनि देखेको छु जहाँ लगभग 90% डाटा राम्रो इन्जिनले कभर गरेको थियो)। वास्तविक डाटा (फाइन ट्युनिङ, स्टाइल ट्रान्सफर, इत्यादि) प्रयोग गरेर थ्रीडी इन्जिनमा प्रशिक्षित नेटवर्क कसरी बनाउने भन्ने बारे धेरै विचार र ह्याकहरू छन्। तर अक्सर एक राम्रो इन्जिन बनाउन डेटा सङ्कलन भन्दा धेरै परिमाण को आदेश धेरै गाह्रो छ। उदाहरणहरू जब इन्जिनहरू बनाइयो:
रोबोट प्रशिक्षण (गूगल, मस्तिष्क बगैचा)
प्रशिक्षण सत्रहरू मान्यता स्टोरमा सामानहरू (तर हामीले गरेका दुई परियोजनाहरूमा, हामी यसलाई बिना सजिलै गर्न सक्छौं)।
टेस्लामा प्रशिक्षण (फेरि, माथिको भिडियो)।

निष्कर्ष

सम्पूर्ण लेख, एक अर्थमा, निष्कर्ष हो। सायद मुख्य सन्देश मैले बनाउन चाहेको थियो "नि:शुल्कहरू समाप्त भइसकेका छन्, न्यूरोनहरूले अब साधारण समाधानहरू प्रदान गर्दैनन्।" अब हामीले जटिल निर्णयहरू गर्न कडा मेहनत गर्नुपर्छ। वा जटिल वैज्ञानिक अनुसन्धान गर्न कडा मेहनत गर्नुहोस्।

सामान्यतया, विषय बहस योग्य छ। सायद पाठकहरूसँग थप रोचक उदाहरणहरू छन्?

स्रोत: www.habr.com