हस्तलिखित रेखाचित्रहरूको वर्गीकरण। Yandex मा रिपोर्ट

केही महिना अघि, गुगलबाट हाम्रा सहकर्मीहरू खर्च भयो Kaggle मा सनसनीपूर्ण मा प्राप्त छविहरूको लागि एक वर्गीकरण सिर्जना गर्न प्रतियोगिता खेल "छिटो, कोर!" टोली, जसमा Yandex विकासकर्ता रोमन Vlasov समावेश थियो, प्रतियोगितामा चौथो स्थान लिए। जनवरीको मेसिन लर्निङ तालिममा, रोमनले आफ्नो टोलीका विचारहरू, वर्गीकरणकर्ताको अन्तिम कार्यान्वयन, र आफ्ना विरोधीहरूको रोचक अभ्यासहरू साझा गरे।

- नमस्ते सबै! मेरो नाम रोमा भ्लासोभ हो, आज म तपाईंलाई Quick, Draw को बारेमा बताउनेछु! Doodle पहिचान चुनौती।



हाम्रो टोलीमा पाँच जना थिए। म मर्जरको म्याद अघि नै सामेल भएँ। हामी अभागी थियौं, हामी थोरै हल्लिएका थियौं, तर हामी पैसाको स्थितिबाट हल्लिएका थियौं, र तिनीहरू सुनको स्थितिबाट हल्लिए। र हामीले एक सम्मानजनक चौथो स्थान लियौं।

(प्रतियोगिताको क्रममा, टोलीहरूले एक मूल्याङ्कनमा आफूलाई अवलोकन गरे, जुन प्रस्तावित डेटा सेटको एक भागमा देखाइएको नतिजाको आधारमा गठन गरिएको थियो। अन्तिम मूल्याङ्कन, बारीमा, डेटासेटको अर्को भागमा बनाइएको थियो। यो गरिन्छ। कि प्रतिस्पर्धा सहभागीहरूले आफ्नो एल्गोरिदमलाई विशिष्ट डेटामा समायोजन गर्दैनन्। त्यसैले, फाइनलमा, मूल्याङ्कनहरू बीच स्विच गर्दा, स्थितिहरू अलिकति हल्लाउँछन् (अङ्ग्रेजी शेक अपबाट - मिश्रण गर्न): अन्य डेटामा, नतिजा बाहिर आउन सक्छ। फरक हुन। रोमनको टोली शीर्ष तीनमा पहिलो थियो। यस अवस्थामा, शीर्ष तीन पैसा, मौद्रिक मूल्याङ्कन क्षेत्र हो, किनभने पहिलो तीन स्थानलाई मात्र नगद पुरस्कार प्रदान गरिएको थियो। शेक-अप पछि, टोली पहिले नै थियो। चौथो स्थान। त्यसैगरी, अर्को टोलीले जित गुमाए, स्वर्ण पदक। - Ed।)

प्रतियोगिता पनि महत्त्वपूर्ण थियो कि Evgeniy Babakhnin ले ग्रान्डमास्टर प्राप्त गरे, इभान सोसिनले मास्टर प्राप्त गरे, रोमन सोलोभिएभ एक ग्रान्डमास्टर बने, एलेक्स पारिनोभले मास्टर प्राप्त गरे, म एक विशेषज्ञ भएँ, र अब म पहिले नै मास्टर भएँ।

यो के हो Quick, Dr? यो गुगलको सेवा हो। गुगलसँग एआईलाई लोकप्रिय बनाउने लक्ष्य थियो र यो सेवाले न्यूरल नेटवर्कहरूले कसरी काम गर्छ भनेर देखाउन चाहेको थियो। तपाईं त्यहाँ जानुहोस्, चित्र गरौं क्लिक गर्नुहोस्, र एउटा नयाँ पृष्ठ पप अप हुन्छ जहाँ तपाईंलाई भनिएको छ: zigzag कोर्नुहोस्, तपाईंसँग यो गर्न 20 सेकेन्ड छ। तपाईं 20 सेकेन्डमा zigzag कोर्न प्रयास गर्दै हुनुहुन्छ, यहाँ जस्तै, उदाहरणका लागि। यदि तपाइँ सफल हुनुहुन्छ भने, नेटवर्कले यो zigzag हो भन्छ र तपाइँ अगाडि बढ्नुहुन्छ। त्यस्ता तस्बिरहरू जम्मा छवटा छन्।

यदि गुगलको सञ्जालले तपाईंले कोरेको कुरा पहिचान गर्न असफल भयो भने, कार्यमा क्रस राखिएको थियो। पछि म तपाईलाई बताउनेछु कि भविष्यमा यसको अर्थ के हुन्छ कि रेखाचित्र नेटवर्क द्वारा मान्यता प्राप्त छ वा छैन।

यो सेवाले धेरै संख्यामा प्रयोगकर्ताहरू भेला गर्‍यो, र प्रयोगकर्ताहरूले खिचेका सबै तस्बिरहरू लगाइएका थिए।

हामीले लगभग 50 मिलियन छविहरू सङ्कलन गर्न व्यवस्थित गर्यौं। यसबाट, हाम्रो प्रतियोगिताको लागि रेल र परीक्षण मिति गठन भयो। वैसे, परीक्षण मा डेटा को मात्रा र कक्षा को संख्या एक कारण को लागी बोल्ड मा हाइलाइट गरिएको छ। म तिनीहरूलाई केही पछि बताउनेछु।

डाटा ढाँचा निम्नानुसार थियो। यी केवल RGB छविहरू होइनन्, तर, लगभग बोल्ने, प्रयोगकर्ताले गरेको सबै कुराको लग। शब्द हाम्रो लक्ष्य हो, देश कोड हो जहाँ डूडलको लेखक हो, टाइमस्ट्याम्प समय हो। पहिचान गरिएको लेबलले मात्र देखाउँछ कि नेटवर्कले Google बाट छवि पहिचान गर्यो वा होइन। र रेखाचित्र आफैमा एक अनुक्रम हो, एक वक्र को एक अनुमान छ जुन प्रयोगकर्ताले अंकहरु संग कोर्छ। र समयहरू। यो तस्विर कोर्न सुरु देखिको समय हो।

डाटा दुई ढाँचामा प्रस्तुत गरिएको थियो। यो पहिलो ढाँचा हो, र दोस्रो सरलीकृत छ। तिनीहरूले त्यहाँबाट समयहरू काट्छन् र अंकहरूको सानो सेटको साथ बिन्दुहरूको यो सेट अनुमानित गरे। यसका लागि तिनीहरूले प्रयोग गरे डगलस-पेकर एल्गोरिथ्म। तपाइँसँग बिन्दुहरूको ठूलो सेट छ जुन केवल एक सीधा रेखा अनुमानित गर्दछ, तर वास्तवमा तपाइँ केवल दुई बिन्दुहरूसँग यो रेखा अनुमानित गर्न सक्नुहुन्छ। यो एल्गोरिदम को विचार हो।

तथ्याङ्क निम्नानुसार वितरण गरिएको थियो। सबै एक समान छ, तर त्यहाँ केहि बाहिरीहरू छन्। जब हामीले समस्या समाधान गर्यौं, हामीले यसलाई हेरेनौं। मुख्य कुरा यो हो कि त्यहाँ कुनै कक्षाहरू थिएनन् जुन वास्तवमै थोरै थिए, हामीले भारित नमूनाहरू र डेटा ओभरसम्पलिंग गर्नुपर्दैन।

तस्बिरहरू कस्तो लाग्यो? यो "हवाईजहाज" वर्ग हो र यसबाट पहिचान गरिएका र अपरिचित लेबलहरूका उदाहरणहरू। तिनीहरूको अनुपात कतै 1 देखि 9 को वरिपरि थियो। तपाईले देख्न सक्नुहुन्छ, डेटा एकदम शोर छ। मलाई लाग्छ यो हवाईजहाज हो। यदि तपाईंले पहिचान नगरेको हेर्नुभयो भने, अधिकांश अवस्थामा यो केवल शोर हो। कसैले "हवाईजहाज" लेख्न खोज्यो तर स्पष्ट रूपमा फ्रान्सेलीमा।

अधिकांश सहभागीहरूले केवल ग्रिडहरू लिए, RGB तस्विरहरूको रूपमा रेखाहरूको यस अनुक्रमबाट डाटा खिचे, र तिनीहरूलाई नेटवर्कमा फ्याँक्यो। मैले लगभग उस्तै तरिकाले कोरें: मैले रंगहरूको प्यालेट लिएँ, एउटा रङको पहिलो रेखा कोरें, जुन यस प्यालेटको सुरुमा थियो, अर्कोसँग अन्तिम रेखा, जुन प्यालेटको अन्त्यमा थियो, र तिनीहरूको बीचमा। मैले यो प्यालेट प्रयोग गरेर जताततै प्रक्षेपण गरें। वैसे, यो एक राम्रो नतिजा दियो यदि तपाईले पहिलो स्लाइडमा जस्तै कोर्नुभयो भने - केवल कालोमा।

टोलीका अन्य सदस्यहरू, जस्तै इभान सोसिनले रेखाचित्रको लागि अलि फरक दृष्टिकोणहरू प्रयास गरे। एउटा च्यानलको साथ उसले केवल खैरो चित्र कोर्यो, अर्को च्यानलको साथ उसले प्रत्येक स्ट्रोकलाई 32 देखि 255 सम्म सुरुदेखि अन्त्यसम्म ग्रेडियन्टको साथ कोर्यो, र तेस्रो च्यानलको साथ उसले 32 देखि 255 सम्म सबै स्ट्रोकहरूमा ग्रेडियन्ट कोर्यो।

अर्को चाखलाग्दो कुरा यो हो कि एलेक्स पारिनोभले कन्ट्रीकोड प्रयोग गरेर नेटवर्कमा जानकारी अपलोड गरे।

प्रतियोगितामा प्रयोग गरिएको मेट्रिक औसत औसत परिशुद्धता हो। प्रतिस्पर्धाको लागि यो मेट्रिकको सार के हो? तपाईंले तीनवटा भविष्यवाणी दिन सक्नुहुन्छ, र यदि यी तीनमा कुनै सही भविष्यवाणी छैन भने, तपाईंले ० प्राप्त गर्नुहुन्छ। यदि त्यहाँ एक सही छ भने, त्यसको क्रमलाई ध्यानमा राखिन्छ। र लक्ष्य परिणामलाई तपाइँको भविष्यवाणीको क्रमले 0 को रूपमा गनिनेछ। उदाहरणका लागि, तपाईंले तीनवटा भविष्यवाणी गर्नुभयो, र सही पहिलो पहिलो हो, त्यसपछि तपाईंले 1 लाई 1 ले भाग गर्नुभयो र 1 पाउनु भयो। यदि भविष्यवाणी गर्ने सही छ र यसको क्रम 1 छ भने, 2 लाई 1 ले भाग गर्नुहोस्, तपाईंले 2 पाउनुहुन्छ। खैर, आदि।

डाटा प्रिप्रोसेसिङको साथ - कसरी चित्रहरू कोर्ने र यस्तै अन्य - हामीले थोरै निर्णय गरेका छौं। हामीले कुन वास्तुकला प्रयोग गर्यौं? हामीले फ्याट आर्किटेक्चरहरू जस्तै PNASNet, SENet, र SE-Res-NeXt जस्ता पहिले नै क्लासिक आर्किटेक्चरहरू प्रयोग गर्ने प्रयास गर्यौं, तिनीहरू बढ्दो रूपमा नयाँ प्रतियोगिताहरूमा प्रवेश गर्दैछन्। त्यहाँ ResNet र DenseNet पनि थिए।

हामीले यो कसरी सिकायौं? हामीले लिएका सबै मोडेलहरू इमेजनेटमा पूर्व-प्रशिक्षित थिए। यद्यपि त्यहाँ धेरै डाटा छ, 50 मिलियन छविहरू, तर अझै पनि, यदि तपाईंले इमेजनेटमा पूर्व-प्रशिक्षित नेटवर्क लिनुभयो भने, तपाईंले यसलाई स्क्र्याचबाट प्रशिक्षित गर्नुभए भन्दा राम्रो नतिजाहरू देखाउनुभयो।

हामीले कस्तो शिक्षण प्रविधि प्रयोग गर्यौं? यो वार्म रिस्टार्ट्सको साथ कोसिङ एनिलिङ हो, जसको बारेमा म केही पछि कुरा गर्नेछु। यो एक प्रविधि हो जुन मैले मेरो हालका सबै प्रतियोगिताहरूमा प्रयोग गर्छु, र तिनीहरूसँग यो राम्रो न्यूनतम प्राप्त गर्न, ग्रिडहरूलाई राम्रोसँग तालिम दिनको लागि बाहिर जान्छ।

अर्को पठारमा सिकाइ दर घटाउनुहोस्। तपाईंले नेटवर्कलाई तालिम दिन थाल्नुहुन्छ, निश्चित सिकाइ दर सेट गर्नुहुन्छ, यसलाई सिकाउन जारी राख्नुहुन्छ, र तपाईंको हानि बिस्तारै निश्चित मूल्यमा रूपान्तरण हुन्छ। तपाईंले यसलाई जाँच गर्नुहोस्, उदाहरणका लागि, दस युगहरूको लागि घाटा कुनै पनि परिवर्तन भएको छैन। तपाईंले आफ्नो सिक्ने दरलाई केही मूल्यले घटाउनुहोस् र सिक्न जारी राख्नुहोस्। यो फेरि अलिकति घट्छ, केहि न्यूनतममा कन्भर्ज हुन्छ, र तपाइँ फेरि सिकाई दर घटाउनुहुन्छ, र यस्तै, तपाइँको नेटवर्क अन्ततः रूपान्तरण नभएसम्म।

अर्को चाखलाग्दो प्रविधि हो: सिकाइ दरलाई क्षय नगर्नुहोस्, ब्याच साइज बढाउनुहोस्। त्यही नामको एउटा लेख छ। जब तपाइँ नेटवर्कलाई तालिम दिनुहुन्छ, तपाइँले सिक्ने दर घटाउनु पर्दैन, तपाइँ केवल ब्याच साइज बढाउन सक्नुहुन्छ।

यो प्रविधि, वैसे, एलेक्स पारिनोभ द्वारा प्रयोग गरिएको थियो। उसले 408 बराबरको ब्याचको साथ सुरु गर्यो, र जब उसको नेटवर्क केही पठारमा पुग्यो, उसले ब्याच साइज इत्यादिलाई दोब्बर बनायो।

वास्तवमा, उसको ब्याच साइज कुन मूल्यमा पुग्यो मलाई याद छैन, तर के चाखलाग्दो कुरा के हो भने त्यहाँ कागलमा टोलीहरू थिए जसले उही प्रविधि प्रयोग गर्यो, तिनीहरूको ब्याच साइज लगभग 10000 थियो। वैसे, गहिरो शिक्षाको लागि आधुनिक फ्रेमवर्कहरू, जस्तै PyTorch, उदाहरणका लागि, तपाईंलाई यो धेरै सजिलै गर्न अनुमति दिन्छ। तपाइँ तपाइँको ब्याच उत्पन्न गर्नुहोस् र यसलाई नेटवर्कमा पेश गर्नुहोस् जुन जस्तो छ, पूर्ण रूपमा होइन, तर यसलाई टुक्राहरूमा विभाजन गर्नुहोस् ताकि यो तपाइँको भिडियो कार्डमा फिट हुन्छ, ग्रेडियन्टहरू गणना गर्नुहोस्, र तपाइँले सम्पूर्ण ब्याचको लागि ग्रेडियन्ट गणना गरेपछि, अद्यावधिक गर्नुहोस्। तौलहरू।

वैसे, ठूला ब्याच साइजहरू अझै पनि यस प्रतियोगितामा समावेश गरिएको थियो, किनभने डेटा एकदम शोर थियो, र ठूलो ब्याच साइजले तपाईंलाई अझ सही रूपमा ढाँचा अनुमानित गर्न मद्दत गर्यो।

स्यूडो-लेबलिङ पनि प्रयोग गरिएको थियो, प्रायः रोमन सोलोभिएभ द्वारा प्रयोग गरिएको थियो। उनले ब्याचहरूमा परीक्षणबाट करिब आधा डाटा नमूना लिए, र त्यस्ता ब्याचहरूमा ग्रिडलाई तालिम दिए।

तस्बिरहरूको आकार महत्त्वपूर्ण छ, तर तथ्य यो हो कि तपाईंसँग धेरै डाटा छ, तपाईंले लामो समयको लागि तालिम दिन आवश्यक छ, र यदि तपाईंको तस्वीरको आकार एकदम ठूलो छ भने, तपाईंले धेरै लामो समयको लागि प्रशिक्षण दिनुहुनेछ। तर यसले तपाईंको अन्तिम वर्गीकरणकर्ताको गुणस्तरमा धेरै थपेको छैन, त्यसैले यो केहि प्रकारको ट्रेड-अफ प्रयोग गर्न लायक थियो। र हामीले तस्बिरहरू मात्र प्रयास गर्यौं जुन आकारमा धेरै ठूला थिएनन्।

यो सबै कसरी सिकियो? पहिले, सानो आकारको तस्बिरहरू लिइयो, तिनीहरूमा धेरै युगहरू चलाइयो, यसले धेरै समय लियो। त्यसपछि ठूला आकारका तस्बिरहरू दिइयो, सञ्जाललाई प्रशिक्षित गरिएको थियो, त्यसपछि अझ धेरै, अझ बढी, ताकि यसलाई स्क्र्याचबाट प्रशिक्षित नगर्नुहोस् र धेरै समय बर्बाद नगर्नुहोस्।

अनुकूलकहरूको बारेमा। हामीले SGD र Adam प्रयोग गर्यौं। यस तरिकामा यो एकल मोडेल प्राप्त गर्न सम्भव थियो, जसले सार्वजनिक लिडरबोर्डमा 0,941-0,946 को गति दियो, जुन धेरै राम्रो छ।

यदि तपाइँ कुनै तरिकामा मोडेलहरू मिलाउनुहुन्छ भने, तपाइँ कतै ०.९५१ वरिपरि पाउनुहुनेछ। यदि तपाईंले थप एउटा प्रविधि प्रयोग गर्नुभयो भने, तपाईंले पब्लिक बोर्डमा ०.९५४ को अन्तिम स्कोर प्राप्त गर्नुहुनेछ, जसरी हामीले पायौं। तर त्यसमा पछि थप। अर्को म तपाईंलाई बताउनेछु कि हामीले कसरी मोडेलहरू भेला गर्यौं, र हामीले कसरी यस्तो अन्तिम गति हासिल गर्न व्यवस्थित गर्यौं।

अर्को म वार्म रिस्टार्ट्स वा स्टोकास्टिक ग्रेडियन्ट डिसेन्ट विथ वार्म रिस्टार्ट्स कोसिङ एनिलिङको बारेमा कुरा गर्न चाहन्छु। सामान्य रूपमा भन्नुपर्दा, सिद्धान्तमा, तपाइँ कुनै पनि अप्टिमाइजर प्रयोग गर्न सक्नुहुन्छ, तर बिन्दु यो हो: यदि तपाइँ केवल एउटा नेटवर्कलाई तालिम दिनुभयो र बिस्तारै यो केहि न्यूनतममा रूपान्तरण भयो भने, त्यसपछि सबै ठीक छ, तपाइँ एक नेटवर्क पाउनुहुनेछ, यसले निश्चित गल्ती गर्दछ, तर तपाइँ। यसलाई अलि फरक तालिम दिन सकिन्छ। तपाईंले केही प्रारम्भिक सिकाइ दर सेट गर्नुहुनेछ, र बिस्तारै यो सूत्र अनुसार यसलाई घटाउनुहुनेछ। तपाइँ यसलाई घटाउनुहुन्छ, तपाइँको नेटवर्क केहि न्यूनतममा आउँछ, त्यसपछि तपाइँ वजन बचत गर्नुहुन्छ, र फेरि प्रशिक्षणको सुरुमा रहेको सिकाइ दर सेट गर्नुहुन्छ, यसरी यो न्यूनतमबाट कतै माथि जान्छ, र तपाइँको सिकाई दर फेरि कम हुन्छ।

यसरी, तपाइँ एकैचोटि धेरै न्यूनतम भ्रमण गर्न सक्नुहुन्छ, जसमा तपाइँको घाटा, प्लस वा माइनस, समान हुनेछ। तर तथ्य यो हो कि यी तौलहरू भएका सञ्जालहरूले तपाईंको मितिमा विभिन्न त्रुटिहरू दिनेछन्। तिनीहरूलाई औसत गरेर, तपाईंले केही प्रकारको अनुमान प्राप्त गर्नुहुनेछ, र तपाईंको गति उच्च हुनेछ।

हामीले हाम्रो मोडेलहरू कसरी जम्मा गर्यौं भन्ने बारे। प्रस्तुतिको सुरुमा, मैले परीक्षामा डाटाको मात्रा र कक्षाको संख्यामा ध्यान दिन भनें। यदि तपाईंले परीक्षण सेटमा लक्ष्यहरूको संख्यामा 1 थप्नुभयो र कक्षाहरूको संख्याले भाग गर्नुभयो भने, तपाईंले नम्बर 330 पाउनुहुनेछ, र यो फोरममा लेखिएको थियो - कि परीक्षणमा कक्षाहरू सन्तुलित छन्। यो प्रयोग गर्न सकिन्छ।

यसको आधारमा, रोमन सोलोभिएभ मेट्रिकको साथ आए, हामीले यसलाई प्रोक्सी स्कोर भनिन्छ, जुन लिडरबोर्डसँग राम्रोसँग सम्बन्धित छ। बिन्दु हो: तपाइँ भविष्यवाणी गर्नुहुन्छ, तपाइँको भविष्यवाणीकर्ताहरूको शीर्ष 1 लिनुहोस् र प्रत्येक कक्षाको लागि वस्तुहरूको संख्या गणना गर्नुहोस्। अर्को, प्रत्येक मानबाट 330 घटाउनुहोस् र परिणामस्वरूप पूर्ण मानहरू थप्नुहोस्।

निम्न मानहरू प्राप्त गरियो। यसले हामीलाई प्रोबिङ लिडरबोर्ड सिर्जना गर्न नभई स्थानीय रूपमा प्रमाणित गर्न र हाम्रा टुक्राहरूको लागि गुणांकहरू चयन गर्न मद्दत गर्‍यो।

एक ensemble संग तपाईं यस्तो गति प्राप्त गर्न सक्नुहुन्छ। अरु के नै गर्न सक्थें र ? मानौं तपाईंले जानकारी प्रयोग गर्नुभयो कि तपाईंको परीक्षामा कक्षाहरू सन्तुलित छन्।

सन्तुलन फरक थियो। ती मध्ये एक को एक उदाहरण - पहिलो स्थान लिने केटाहरूबाट सन्तुलन।

हामीले के गर्यौं? हाम्रो सन्तुलन एकदम सरल थियो, यो Evgeny Babakhnin द्वारा सुझाव दिइएको थियो। हामीले पहिले हाम्रा भविष्यवाणीहरू शीर्ष 1 र तिनीहरूबाट चयन गरिएका उम्मेद्वारहरूद्वारा क्रमबद्ध गरेका थियौं - ताकि कक्षाहरूको संख्या 330 भन्दा बढी नहोस्। तर केही कक्षाहरूका लागि तपाईंले 330 भन्दा कम भविष्यवाणीकर्ताहरूसँग अन्त्य गर्नुहुन्छ। ठीक छ, शीर्ष 2 र शीर्ष 3 द्वारा पनि क्रमबद्ध गरौं। , र हामी पनि उम्मेदवार छनोट गर्नेछौं।

हाम्रो सन्तुलन पहिलो स्थानको सन्तुलनबाट कसरी फरक भयो? तिनीहरूले एक पुनरावृत्ति दृष्टिकोण प्रयोग गरे, सबैभन्दा लोकप्रिय वर्ग लिँदै र त्यो वर्गको लागि सम्भावनाहरूलाई केही सानो संख्याले घटाउँदै जबसम्म यो सबैभन्दा लोकप्रिय वर्ग थिएन। हामीले अर्को सबैभन्दा लोकप्रिय कक्षा लियौं। त्यसैले सबै वर्गको संख्या बराबर नभएसम्म उनीहरूले तिनीहरूलाई घटाउन जारी राखे।

सबैले सञ्जालहरू प्रशिक्षित गर्न प्लस वा माइनस एक दृष्टिकोण प्रयोग गरे, तर सबैले सन्तुलन प्रयोग गरेनन्। सन्तुलन प्रयोग गरेर, तपाईं सुनमा जान सक्नुहुन्छ, र यदि तपाईं भाग्यशाली हुनुहुन्छ भने, त्यसपछि पैसामा।

कसरी मिति पूर्व प्रक्रिया गर्ने? सबैले मिति, प्लस वा माइनस, उस्तै तरिकाले पूर्व-प्रक्रिया गरे - हस्तशिल्प सुविधाहरू बनाउने, विभिन्न स्ट्रोक रङहरूद्वारा समय सङ्केत गर्ने प्रयास गर्ने, इत्यादि। 8 औं स्थान लिने एलेक्सी नोजड्रिन-प्लोटनिट्स्कीले यसबारे कुरा गरे।

उसले फरक तरिकाले गर्यो। उनले भने कि तपाईका यी सबै हस्तशिल्प सुविधाहरूले काम गर्दैनन्, तपाईले त्यसो गर्न आवश्यक छैन, तपाईको नेटवर्कले यो सबै आफैं सिक्नुपर्छ। र यसको सट्टा, उसले तपाइँको डेटा प्रिप्रोसेस गर्ने सिकाउने मोड्युलहरू लिएर आएको थियो। उसले पूर्व-प्रशोधन बिना नै मौलिक डेटा फ्याँक्यो - बिन्दु निर्देशांक र समय।

त्यसपछि उसले समन्वयको आधारमा भिन्नता लियो, र यो सबै समयको आधारमा औसत गर्यो। र ऊ बरु लामो म्याट्रिक्सको साथ आयो। उसले 1xn साइजको म्याट्रिक्स प्राप्त गर्न धेरै पटक यसमा 64D कन्भोलुसन लागू गर्‍यो, जहाँ n अंकहरूको कुल संख्या हो, र 64 बनाइएको म्याट्रिक्सलाई कुनै पनि कन्भोलुसनल नेटवर्कको तहमा फिड गर्नको लागि बनाइन्छ, जसले च्यानलहरूको संख्या स्वीकार गर्दछ। - 64. उसले 64xn म्याट्रिक्स प्राप्त गर्यो, त्यसपछि यसबाट केहि साइजको टेन्सर सिर्जना गर्न आवश्यक थियो ताकि च्यानलहरूको संख्या 64 बराबर हो। उसले 0 देखि 32 सम्मको दायरामा सबै बिन्दुहरू X, Y लाई सामान्य बनायो। आकार 32x32 को टेन्सर। मलाई थाहा छैन उसले 32x32 किन चाहियो, यो त्यस्तै भयो। र यस समन्वयमा उसले 64xn साइजको यो म्याट्रिक्सको टुक्रा राख्यो। त्यसोभए यो भर्खरै 32x32x64 टेन्सरको साथ समाप्त भयो जुन तपाईंले आफ्नो कन्भोलुसनल न्यूरल नेटवर्कमा थप गर्न सक्नुहुन्छ। मैले भन्न खोजेको यति हो।

स्रोत: www.habr.com