🥇तंत्रिका नेटवर्क। ये सब कहाँ जा रहा है

लेख में दो भाग हैं:

मेरे लिए संसाधनों के सबसे समझने योग्य लिंक के साथ छवियों और छवि विभाजन में ऑब्जेक्ट का पता लगाने के लिए कुछ नेटवर्क आर्किटेक्चर का संक्षिप्त विवरण। मैंने वीडियो स्पष्टीकरण चुनने की कोशिश की और अधिमानतः रूसी में।
दूसरा भाग तंत्रिका नेटवर्क आर्किटेक्चर के विकास की दिशा को समझने का एक प्रयास है। और उन पर आधारित प्रौद्योगिकियाँ।

चित्र 1 - तंत्रिका नेटवर्क आर्किटेक्चर को समझना आसान नहीं है

यह सब एंड्रॉइड फोन पर ऑब्जेक्ट वर्गीकरण और पहचान के लिए दो डेमो एप्लिकेशन बनाने से शुरू हुआ:

बैक-एंड डेमो, जब डेटा सर्वर पर संसाधित होता है और फ़ोन पर प्रसारित होता है। तीन प्रकार के भालूओं का छवि वर्गीकरण: भूरा, काला और टेडी।
फ्रंट-एंड डेमोजब डेटा फ़ोन पर ही प्रोसेस किया जाता है. वस्तुओं का पता लगाना (ऑब्जेक्ट डिटेक्शन) तीन प्रकार का होता है: हेज़लनट्स, अंजीर और खजूर।

छवि वर्गीकरण, छवि में वस्तु का पता लगाने और के कार्यों के बीच अंतर है छवि विभाजन. इसलिए, यह पता लगाने की आवश्यकता थी कि कौन से तंत्रिका नेटवर्क आर्किटेक्चर छवियों में वस्तुओं का पता लगाते हैं और कौन से खंड कर सकते हैं। मुझे संसाधनों के सबसे समझने योग्य लिंक वाले आर्किटेक्चर के निम्नलिखित उदाहरण मिले:

आर-सीएनएन पर आधारित आर्किटेक्चर की एक श्रृंखला (Rके साथ क्षेत्र Convolution Nयूराल Nनेटवर्क सुविधाएँ): आर-सीएनएन, फास्ट आर-सीएनएन, तेज़ आर-सीएनएन, मास्क आर-सीएनएन. किसी छवि में किसी ऑब्जेक्ट का पता लगाने के लिए, क्षेत्र प्रस्ताव नेटवर्क (आरपीएन) तंत्र का उपयोग करके बाउंडिंग बॉक्स आवंटित किए जाते हैं। प्रारंभ में, आरपीएन के बजाय धीमी चयनात्मक खोज तंत्र का उपयोग किया गया था। फिर चयनित सीमित क्षेत्रों को वर्गीकरण के लिए पारंपरिक तंत्रिका नेटवर्क के इनपुट में फीड किया जाता है। आर-सीएनएन आर्किटेक्चर में सीमित क्षेत्रों में स्पष्ट "फॉर" लूप हैं, जो एलेक्सनेट आंतरिक नेटवर्क के माध्यम से कुल 2000 रन तक चलते हैं। स्पष्ट "के लिए" लूप छवि प्रसंस्करण गति को धीमा कर देते हैं। आर्किटेक्चर के प्रत्येक नए संस्करण के साथ आंतरिक तंत्रिका नेटवर्क के माध्यम से चलने वाले स्पष्ट लूपों की संख्या कम हो जाती है, और गति बढ़ाने और मास्क आर-सीएनएन में ऑब्जेक्ट सेगमेंटेशन के साथ ऑब्जेक्ट डिटेक्शन के कार्य को बदलने के लिए दर्जनों अन्य परिवर्तन किए जाते हैं।
Yolo (You Oकेवल तभी Look Oएनसीई) पहला तंत्रिका नेटवर्क है जो मोबाइल उपकरणों पर वास्तविक समय में वस्तुओं को पहचानता है। विशिष्ट विशेषता: एक बार में वस्तुओं को अलग करना (केवल एक बार देखना)। यानी, YOLO आर्किटेक्चर में कोई स्पष्ट "फॉर" लूप नहीं हैं, यही वजह है कि नेटवर्क तेजी से काम करता है। उदाहरण के लिए, यह सादृश्य: NumPy में, मैट्रिक्स के साथ संचालन करते समय, कोई स्पष्ट "फॉर" लूप नहीं होते हैं, जो NumPy में C प्रोग्रामिंग भाषा के माध्यम से आर्किटेक्चर के निचले स्तरों पर कार्यान्वित किए जाते हैं। YOLO पूर्वनिर्धारित विंडो के ग्रिड का उपयोग करता है। एक ही ऑब्जेक्ट को कई बार परिभाषित होने से रोकने के लिए, विंडो ओवरलैप गुणांक (IoU) का उपयोग किया जाता है। Iचौराहा oदेखें Union). यह वास्तुकला एक विस्तृत श्रृंखला में संचालित होती है और उच्च होती है मजबूती: एक मॉडल को तस्वीरों पर प्रशिक्षित किया जा सकता है लेकिन फिर भी वह हाथ से बनाई गई पेंटिंग पर अच्छा प्रदर्शन करता है।
एसएसडी (Sचिमनी Sहॉट मल्टीबॉक्स Dइटेक्टर) - YOLO आर्किटेक्चर के सबसे सफल "हैक्स" का उपयोग किया जाता है (उदाहरण के लिए, गैर-अधिकतम दमन) और तंत्रिका नेटवर्क को तेजी से और अधिक सटीक रूप से काम करने के लिए नए जोड़े जाते हैं। विशिष्ट विशेषता: छवि पिरामिड पर विंडोज़ (डिफ़ॉल्ट बॉक्स) के दिए गए ग्रिड का उपयोग करके एक बार में वस्तुओं को अलग करना। छवि पिरामिड को क्रमिक कनवल्शन और पूलिंग ऑपरेशन (अधिकतम-पूलिंग ऑपरेशन के साथ, स्थानिक आयाम कम हो जाता है) के माध्यम से कनवल्शन टेंसर में एन्कोड किया गया है। इस प्रकार, एक नेटवर्क रन में बड़ी और छोटी दोनों वस्तुओं का निर्धारण किया जाता है।
मोबाइलएसएसडी (मोबाइलनेटवी2+ एसएसडी) दो तंत्रिका नेटवर्क आर्किटेक्चर का एक संयोजन है। पहला नेटवर्क मोबाइलनेटवी२ तेजी से काम करता है और पहचान सटीकता बढ़ाता है। MobileNetV2 का उपयोग VGG-16 के स्थान पर किया जाता है, जिसका मूल रूप से उपयोग किया गया था मूल लेख. दूसरा SSD नेटवर्क छवि में ऑब्जेक्ट का स्थान निर्धारित करता है।
निचोड़ने की क्रिया या भाव - एक बहुत छोटा लेकिन सटीक तंत्रिका नेटवर्क। अपने आप में, यह ऑब्जेक्ट डिटेक्शन की समस्या का समाधान नहीं करता है। हालाँकि, इसका उपयोग विभिन्न आर्किटेक्चर के संयोजन में किया जा सकता है। और मोबाइल उपकरणों में उपयोग किया जाता है। विशिष्ट विशेषता यह है कि डेटा को पहले चार 1×1 कनवल्शनल फिल्टर में संपीड़ित किया जाता है और फिर चार 1×1 और चार 3×3 कनवल्शनल फिल्टर में विस्तारित किया जाता है। डेटा संपीड़न-विस्तार के ऐसे पुनरावृत्ति को "फायर मॉड्यूल" कहा जाता है।
डीपलैब (डीप कन्वोल्यूशनल नेट के साथ सिमेंटिक इमेज सेगमेंटेशन) - छवि में वस्तुओं का विभाजन। वास्तुकला की एक विशिष्ट विशेषता विस्तारित कनवल्शन है, जो स्थानिक संकल्प को संरक्षित करती है। इसके बाद ग्राफिकल संभाव्य मॉडल (सशर्त यादृच्छिक क्षेत्र) का उपयोग करके परिणामों के प्रसंस्करण के बाद का चरण होता है, जो आपको विभाजन में छोटे शोर को हटाने और खंडित छवि की गुणवत्ता में सुधार करने की अनुमति देता है। दुर्जेय नाम "ग्राफ़िकल संभाव्य मॉडल" के पीछे एक पारंपरिक गाऊसी फ़िल्टर छिपा है, जो पाँच बिंदुओं द्वारा अनुमानित है।
डिवाइस का पता लगाने की कोशिश की परिष्कृत करें (एकल शॉट परिष्कृत करेंऑब्जेक्ट के लिए न्यूरल नेटवर्क का उल्लेख करें डेटअनुभाग), लेकिन मुझे ज्यादा समझ नहीं आया।
मैंने यह भी देखा कि "ध्यान" तकनीक कैसे काम करती है: वीडियो1, वीडियो2, वीडियो3. "ध्यान" वास्तुकला की एक विशिष्ट विशेषता छवि में बढ़े हुए ध्यान के क्षेत्रों का स्वचालित चयन है (आरओआई, Rक्षेत्रों of Iइंटरेस्ट) अटेंशन यूनिट नामक तंत्रिका नेटवर्क का उपयोग कर रहा है। बढ़े हुए ध्यान के क्षेत्र बाउंडिंग बॉक्स के समान हैं, लेकिन उनके विपरीत, वे छवि में तय नहीं होते हैं और धुंधली सीमाएँ हो सकती हैं। फिर, बढ़े हुए ध्यान के क्षेत्रों से, संकेत (विशेषताएं) अलग किए जाते हैं, जो आर्किटेक्चर के साथ आवर्ती तंत्रिका नेटवर्क को "खिलाए" जाते हैं एलएसडीएम, जीआरयू या वेनिला आरएनएन. आवर्तक तंत्रिका नेटवर्क एक क्रम में सुविधाओं के संबंध का विश्लेषण करने में सक्षम हैं। आवर्ती तंत्रिका नेटवर्क का उपयोग शुरू में पाठ को अन्य भाषाओं में अनुवाद करने के लिए किया जाता था, और अब अनुवाद के लिए किया जाता है पाठ के लिए छवियाँ и छवि के लिए पाठ.

जैसे ही हम इन वास्तुकलाओं का पता लगाते हैं मुझे एहसास हुआ कि मुझे कुछ भी समझ नहीं आ रहा है. और ऐसा नहीं है कि मेरे तंत्रिका नेटवर्क में ध्यान तंत्र के साथ समस्या है। इन सभी आर्किटेक्चर का निर्माण किसी प्रकार के विशाल हैकथॉन की तरह है, जहां लेखक हैक में प्रतिस्पर्धा करते हैं। हैक एक कठिन सॉफ़्टवेयर समस्या का त्वरित समाधान है। यानी इन सभी आर्किटेक्चर के बीच कोई दृश्य और समझने योग्य तार्किक संबंध नहीं है। जो कुछ उन्हें एकजुट करता है वह सबसे सफल हैक्स का एक सेट है जो वे एक-दूसरे से उधार लेते हैं, साथ ही सभी के लिए एक समान है बंद-लूप कनवल्शन ऑपरेशन (त्रुटि बैकप्रॉपैगेशन, बैकप्रोपेगेशन)। नहीं प्रणालियों की सोच! यह स्पष्ट नहीं है कि क्या बदलना है और मौजूदा उपलब्धियों को कैसे अनुकूलित करना है।

हैक्स के बीच तार्किक संबंध की कमी के परिणामस्वरूप, उन्हें याद रखना और व्यवहार में लागू करना बेहद मुश्किल है। यह खंडित ज्ञान है. ज़्यादा से ज़्यादा, कुछ दिलचस्प और अप्रत्याशित क्षण याद रह जाते हैं, लेकिन जो समझ में आता है और समझ में नहीं आता, उसमें से अधिकांश कुछ ही दिनों में स्मृति से गायब हो जाता है। अच्छा होगा यदि आप एक सप्ताह में कम से कम वास्तु का नाम याद कर लें। लेकिन कई घंटे और यहाँ तक कि कई दिनों का कार्य समय लेख पढ़ने और समीक्षा वीडियो देखने में व्यतीत हो गया!

चित्र 2 - तंत्रिका नेटवर्क का चिड़ियाघर

वैज्ञानिक लेखों के अधिकांश लेखक, मेरी व्यक्तिगत राय में, यह सुनिश्चित करने के लिए हर संभव प्रयास करते हैं कि यह खंडित ज्ञान भी पाठक को समझ में न आए। लेकिन "हवा से बाहर" लिए गए सूत्रों के साथ दस पंक्ति के वाक्यों में सहभागी वाक्यांश एक अलग लेख (समस्या) के लिए एक विषय हैं प्रकाशित या नाश).

इस कारण से, तंत्रिका नेटवर्क का उपयोग करके जानकारी को व्यवस्थित करने की आवश्यकता है और इस प्रकार, समझ और याद रखने की गुणवत्ता में वृद्धि होगी। इसलिए, कृत्रिम तंत्रिका नेटवर्क की व्यक्तिगत प्रौद्योगिकियों और वास्तुकला के विश्लेषण का मुख्य विषय निम्नलिखित कार्य था: पता लगाएं कि यह सब कहां जा रहा है, और अलग से किसी विशिष्ट तंत्रिका नेटवर्क का उपकरण नहीं।

यह सब कहां जा रहा है? मुख्य परिणाम:

पिछले दो वर्षों में मशीन लर्निंग स्टार्टअप की संख्या तेजी से गिरे. संभावित कारण: "तंत्रिका नेटवर्क अब कोई नई चीज़ नहीं हैं।"
एक साधारण समस्या को हल करने के लिए कोई भी एक कार्यशील तंत्रिका नेटवर्क बना सकता है। ऐसा करने के लिए, "मॉडल चिड़ियाघर" से एक तैयार मॉडल लें और तंत्रिका नेटवर्क की अंतिम परत को प्रशिक्षित करें (सीखने का स्थानांतरण) से तैयार डेटा पर Google डेटासेट खोज या से 25 हजार कागल डेटासेट मुफ़्त में क्लाउड ज्यूपिटर नोटबुक.
तंत्रिका नेटवर्क के बड़े निर्माताओं का निर्माण शुरू हुआ "मॉडल चिड़ियाघर" (मॉडल चिड़ियाघर). इनका उपयोग करके आप शीघ्रता से एक व्यावसायिक एप्लिकेशन बना सकते हैं: टीएफ हब टेन्सरफ़्लो के लिए, एमएमडिटेक्शन पायटोरच के लिए, डिटेक्ट्रोन Caffe2 के लिए, चेनर-मॉडलज़ू चेनर के लिए और अन्य लोग.
तंत्रिका नेटवर्क में काम कर रहे हैं रियल टाइम (वास्तविक समय) मोबाइल उपकरणों पर। 10 से 50 फ्रेम प्रति सेकंड तक.
फ़ोन (TF लाइट), ब्राउज़र (TF.js) और में तंत्रिका नेटवर्क का उपयोग घरेलू सामान (आईओटी, Internet of Tटिका)। विशेष रूप से उन फ़ोनों में जो पहले से ही हार्डवेयर स्तर (न्यूरल एक्सेलेरेटर) पर तंत्रिका नेटवर्क का समर्थन करते हैं।
“हर उपकरण, कपड़ों की वस्तु, और शायद भोजन भी होगा IP-v6 पता और एक दूसरे के साथ संवाद करें" - सेबस्टियन थ्रून.
मशीन लर्निंग पर प्रकाशनों की संख्या बढ़ने लगी है मूर के नियम से अधिक (हर दो साल में दोगुना) 2015 से। जाहिर है, लेखों के विश्लेषण के लिए हमें तंत्रिका नेटवर्क की आवश्यकता है।
निम्नलिखित प्रौद्योगिकियाँ लोकप्रियता प्राप्त कर रही हैं:
- पायटॉर्च - लोकप्रियता तेजी से बढ़ रही है और TensorFlow से आगे निकलती दिख रही है।
- हाइपरपैरामीटर का स्वचालित चयन ऑटो एम.एम.एल. - लोकप्रियता सुचारू रूप से बढ़ रही है।
- सटीकता में धीरे-धीरे कमी और गणना गति में वृद्धि: अस्पष्ट तर्क, एल्गोरिदम बढ़ाने, अचूक (अनुमानित) गणना, परिमाणीकरण (जब तंत्रिका नेटवर्क के भार को पूर्णांकों में परिवर्तित किया जाता है और परिमाणित किया जाता है), तंत्रिका त्वरक।
- अनुवाद पाठ के लिए छवियाँ и छवि के लिए पाठ.
- सृजन वीडियो से 3D ऑब्जेक्ट, अब वास्तविक समय में।
- डीएल के बारे में मुख्य बात यह है कि इसमें बहुत सारा डेटा है, लेकिन इसे इकट्ठा करना और लेबल करना आसान नहीं है। इसलिए, मार्कअप स्वचालन विकसित हो रहा है (स्वचालित एनोटेशन) तंत्रिका नेटवर्क का उपयोग करने वाले तंत्रिका नेटवर्क के लिए।
तंत्रिका नेटवर्क के साथ, कंप्यूटर विज्ञान अचानक बन गया प्रायोगिक विज्ञान और उठ खड़ा हुआ पुनरुत्पादन संकट.
आईटी पैसा और तंत्रिका नेटवर्क की लोकप्रियता एक साथ उभरी जब कंप्यूटिंग एक बाजार मूल्य बन गई। अर्थव्यवस्था सोने और मुद्रा वाली अर्थव्यवस्था से बदल रही है स्वर्ण-मुद्रा-कंप्यूटिंग. पर मेरा लेख देखें अर्थभौतिकी और आईटी पैसे के प्रकट होने का कारण।

धीरे-धीरे एक नया सामने आता है एमएल/डीएल प्रोग्रामिंग पद्धति (मशीन लर्निंग और डीप लर्निंग), जो प्रशिक्षित तंत्रिका नेटवर्क मॉडल के एक सेट के रूप में कार्यक्रम का प्रतिनिधित्व करने पर आधारित है।

चित्र 3 - एक नई प्रोग्रामिंग पद्धति के रूप में एमएल/डीएल

हालाँकि, यह कभी सामने नहीं आया "तंत्रिका नेटवर्क सिद्धांत", जिसके अंदर आप व्यवस्थित रूप से सोच और काम कर सकते हैं। जिसे अब "सिद्धांत" कहा जाता है वह वास्तव में प्रयोगात्मक, अनुमानी एल्गोरिदम है।

मेरे और अन्य संसाधनों के लिंक:

डेटा साइंस न्यूज़लैटर। मुख्य रूप से छवि प्रसंस्करण। जो कोई भी इसे प्राप्त करना चाहता है उसे एक ई-मेल (foobar167gmailcom) भेजना चाहिए। जैसे-जैसे सामग्री एकत्रित होती जाती है, मैं लेखों और वीडियो के लिंक भेजता हूँ।
सामान्य पाठ्यक्रमों और लेखों की सूचीजिसे मैं पार कर चुका हूं और जिसे मैं पार करना चाहता हूं।
शुरुआती लोगों के लिए पाठ्यक्रम और वीडियो, जहां आपको तंत्रिका नेटवर्क का अध्ययन शुरू करना चाहिए। प्लस ब्रोशर "मशीन लर्निंग और कृत्रिम तंत्रिका नेटवर्क का परिचय".
उपयोगी उपकरण, जहां हर किसी को अपने लिए कुछ दिलचस्प मिलेगा।
हमने उन्हें बेहद उपयोगी पाया। वैज्ञानिक लेखों के विश्लेषण के लिए वीडियो चैनल डेटा साइंस द्वारा. उन्हें ढूंढें, उनकी सदस्यता लें और अपने सहकर्मियों और मुझे भी लिंक भेजें। उदाहरण:
- दो मिनट के कागजात
- हेनरी एआई लैब्स
- यानिक किलचेर
- कोडएम्पोरियम
- ब्लॉग चेंगवेई झांग भाई Tony607 चरण-दर-चरण निर्देशों और खुले स्रोत के साथ।

धन्यवाद!

स्रोत: www.habr.com

तंत्रिका - तंत्र। यह सब कहां जा रहा है?

एक टिप्पणी जोड़ें उत्तर रद्द