तंत्रिका नेटवर्कहरू। यो सबै कहाँ जाँदैछ?

लेख दुई भागहरु मिलेर बनेको छ:

1. छविहरूमा वस्तु पत्ता लगाउन र मेरो लागि स्रोतहरूमा सबैभन्दा बुझ्ने लिङ्कहरूसँग छवि विभाजनको लागि केही नेटवर्क आर्किटेक्चरहरूको संक्षिप्त विवरण। मैले भिडियो व्याख्याहरू छनौट गर्ने प्रयास गरें र रुसी भाषामा।
2. दोस्रो भाग न्यूरल नेटवर्क आर्किटेक्चर को विकास को दिशा बुझ्न को लागी एक प्रयास हो। र तिनीहरूमा आधारित प्रविधिहरू।

चित्र १ - न्यूरल नेटवर्क आर्किटेक्चर बुझ्न सजिलो छैन

यो सबै एन्ड्रोइड फोनमा वस्तु वर्गीकरण र पत्ता लगाउन दुई डेमो अनुप्रयोगहरू बनाएर सुरु भयो:

• ब्याक-एन्ड डेमो, जब डाटा सर्भरमा प्रशोधन गरिन्छ र फोनमा पठाइन्छ। तीन प्रकारका भालुहरूको छवि वर्गीकरण: खैरो, कालो र टेडी।
• अगाडि-अन्त डेमोजब डाटा फोनमा नै प्रशोधन गरिन्छ। तीन प्रकारका वस्तुहरू (वस्तु पत्ता लगाउने) पत्ता लगाउने: हेजलनट, नेभारा र मितिहरू।

छवि वर्गीकरण, छविमा वस्तु पत्ता लगाउने र कार्यहरू बीचको भिन्नता छ छवि विभाजन। तसर्थ, कुन न्युरल नेटवर्क आर्किटेक्चरले छविहरूमा वस्तुहरू पत्ता लगाउँदछ र कुन कुन खण्ड गर्न सक्छ भनेर पत्ता लगाउन आवश्यक थियो। मैले मेरो लागि स्रोतहरूको लागि सबैभन्दा बुझ्ने लिङ्कहरूसँग वास्तुकलाका निम्न उदाहरणहरू फेला पारे:

• R-CNN मा आधारित वास्तुकला को एक श्रृंखला (Rक्षेत्रहरु संग Convolution Neural Networks सुविधाहरू): R-CNN, फास्ट R-CNN, छिटो R-CNN, मास्क R-CNN। छविमा कुनै वस्तु पत्ता लगाउन, क्षेत्रीय प्रस्ताव नेटवर्क (RPN) मेकानिजम प्रयोग गरेर बाउन्डिङ बक्सहरू आवंटित गरिन्छ। सुरुमा, RPN को सट्टा ढिलो चयनात्मक खोज संयन्त्र प्रयोग गरियो। त्यसपछि चयन गरिएका सीमित क्षेत्रहरूलाई वर्गीकरणको लागि परम्परागत न्यूरल नेटवर्कको इनपुटमा खुवाइन्छ। R-CNN आर्किटेक्चरसँग सीमित क्षेत्रहरूमा स्पष्ट "का लागि" लूपहरू छन्, एलेक्सनेट आन्तरिक नेटवर्क मार्फत 2000 रन सम्म। स्पष्ट "का लागि" लूपहरूले छवि प्रशोधन गतिलाई कम गर्छ। आन्तरिक न्यूरल नेटवर्क मार्फत चलिरहेको स्पष्ट लूपहरूको संख्या वास्तुकलाको प्रत्येक नयाँ संस्करणको साथ घट्छ, र गति बढाउन र मास्क R-CNN मा वस्तु विभाजनको साथ वस्तु पत्ता लगाउने कार्यलाई प्रतिस्थापन गर्न दर्जनौं अन्य परिवर्तनहरू गरिन्छ।
• YOLO (You Only Look Once) मोबाइल उपकरणहरूमा वास्तविक समयमा वस्तुहरू पहिचान गर्ने पहिलो न्यूरल नेटवर्क हो। विशिष्ट सुविधा: एक रन मा भेद वस्तुहरू (केवल एक पटक हेर्नुहोस्)। त्यो हो, YOLO आर्किटेक्चरमा त्यहाँ कुनै स्पष्ट "का लागि" लूपहरू छैनन्, त्यसैले नेटवर्कले छिटो काम गर्दछ। उदाहरणका लागि, यो समानता: NumPy मा, matrices सँग कार्यहरू गर्दा, त्यहाँ कुनै स्पष्ट "for" लूपहरू पनि छैनन्, जुन NumPy मा C प्रोग्रामिङ भाषा मार्फत आर्किटेक्चरको तल्लो तहमा लागू गरिन्छ। YOLO ले पूर्वनिर्धारित विन्डोजको ग्रिड प्रयोग गर्दछ। एउटै वस्तुलाई धेरै पटक परिभाषित हुनबाट रोक्न, सञ्झ्याल ओभरल्याप गुणांक (IoU) प्रयोग गरिन्छ। Iप्रतिच्छेदन oVer Union)। यो वास्तुकला एक विस्तृत दायरा मा संचालित र उच्च छ दृढता: एक मोडेल फोटोग्राफहरूमा तालिम लिन सकिन्छ तर अझै पनि हातले कोरिएको चित्रहरूमा राम्रो प्रदर्शन गर्दछ।
• SSD (Sinleg Sतातो मल्टिबक्स Detector) - YOLO आर्किटेक्चरको सबैभन्दा सफल "ह्याक्स" प्रयोग गरिन्छ (उदाहरणका लागि, गैर-अधिकतम दमन) र न्यूरल नेटवर्कलाई छिटो र अधिक सटीक रूपमा काम गर्नका लागि नयाँहरू थपिन्छन्। विशिष्ट विशेषता: छवि पिरामिडमा दिइएको विन्डोज (पूर्वनिर्धारित बक्स) को ग्रिड प्रयोग गरेर एकै रनमा वस्तुहरू छुट्याउने। छवि पिरामिड क्रमिक कन्भोलुसन र पूलिङ अपरेसनहरू मार्फत कन्भोलुसन टेन्सरहरूमा इन्कोड गरिएको छ (अधिकतम-पूलिंग अपरेशनको साथ, स्थानिय आयाम घट्छ)। यसरी, दुवै ठूला र साना वस्तुहरू एउटै नेटवर्क रनमा निर्धारण गरिन्छ।
• मोबाइलएसएसडी (मोबाइलNetV2+ SSD) दुई न्यूरल नेटवर्क आर्किटेक्चरको संयोजन हो। पहिलो नेटवर्क MobileNetV2 छिटो काम गर्दछ र पहिचान शुद्धता बढाउँछ। VGG-2 को सट्टा MobileNetV16 प्रयोग गरिन्छ, जुन मूल रूपमा प्रयोग गरिएको थियो मूल लेख। दोस्रो SSD नेटवर्कले छविमा वस्तुहरूको स्थान निर्धारण गर्दछ।
• SqueezeNet - एक धेरै सानो तर सही न्यूरल नेटवर्क। आफैंमा, यसले वस्तु पत्ता लगाउने समस्या समाधान गर्दैन। यद्यपि, यसलाई विभिन्न वास्तुकलाको संयोजनमा प्रयोग गर्न सकिन्छ। र मोबाइल उपकरणहरूमा प्रयोग गरिन्छ। विशिष्ट विशेषता यो हो कि डेटालाई पहिले चार 1×1 कन्भोलुसनल फिल्टरहरूमा संकुचित गरिन्छ र त्यसपछि चार 1×1 र चार 3×3 कन्भोलुसनल फिल्टरहरूमा विस्तार गरिन्छ। डाटा कम्प्रेसन-विस्तारको यस्तो पुनरावृत्तिलाई "फायर मोड्युल" भनिन्छ।
• DeepLab (डीप कन्भोलुसनल नेटहरू सहितको अर्थपूर्ण छवि विभाजन) - छविमा वस्तुहरूको विभाजन। वास्तुकलाको एक विशिष्ट विशेषता विस्तारित कन्वोल्युसन हो, जसले स्थानिय रिजोल्युसनलाई सुरक्षित गर्दछ। यो ग्राफिकल सम्भाव्य मोडेल (सशर्त अनियमित क्षेत्र) को प्रयोग गरेर परिणामहरूको पोस्ट-प्रोसेसिङ चरण द्वारा पछ्याइएको छ, जसले तपाईंलाई विभाजनमा सानो आवाज हटाउन र खण्डित छविको गुणस्तर सुधार गर्न अनुमति दिन्छ। शक्तिशाली नाम "ग्राफिकल सम्भाव्यता मोडेल" पछाडि पारम्परिक गौसियन फिल्टर लुकाइएको छ, जुन लगभग पाँच बिन्दुहरू द्वारा छ।
• यन्त्र पत्ता लगाउने प्रयास गरियो RefineDet (एकल-शट परिष्कृत गर्नुहोस्वस्तुको लागि न्यूरल नेटवर्क यसलाईection), तर मैले धेरै बुझिन।
• मैले "ध्यान" टेक्नोलोजीले कसरी काम गर्छ भनेर पनि हेरे: भिडियो १, भिडियो १, भिडियो १। "ध्यान" वास्तुकलाको एक विशिष्ट विशेषता छविमा बढेको ध्यानको क्षेत्रहरूको स्वचालित चयन हो (RoI, Rlegions of Interest) एटेन्सन युनिट भनिने तंत्रिका नेटवर्क प्रयोग गर्दै। बढ्दो ध्यानका क्षेत्रहरू बाउन्डिङ बक्सहरू जस्तै छन्, तर तिनीहरूको विपरीत, तिनीहरू छविमा स्थिर छैनन् र धमिलो सीमाहरू हुन सक्छन्। त्यसपछि, बढ्दो ध्यानको क्षेत्रहरूबाट, संकेतहरू (विशेषताहरू) पृथक हुन्छन्, जुन आर्किटेक्चरको साथ पुनरावर्ती न्यूरल नेटवर्कहरूमा "फिड" हुन्छन्। LSDM, GRU वा Vanilla RNN। पुनरावर्ती तंत्रिका नेटवर्कहरू अनुक्रममा सुविधाहरूको सम्बन्धको विश्लेषण गर्न सक्षम छन्। पुनरावर्ती तंत्रिका नेटवर्कहरू सुरुमा अन्य भाषाहरूमा पाठ अनुवाद गर्न प्रयोग गरिन्थ्यो, र अब अनुवादको लागि पाठमा छविहरू и छविमा पाठ.

जब हामी यी वास्तुकलाहरू अन्वेषण गर्छौं मैले केही नबुझेको बुझें। र यो होइन कि मेरो न्यूरल नेटवर्कमा ध्यान संयन्त्रको साथ समस्या छ। यी सबै वास्तुकलाहरूको सिर्जना कुनै प्रकारको विशाल ह्याकाथन जस्तै हो, जहाँ लेखकहरूले ह्याकहरूमा प्रतिस्पर्धा गर्छन्। ह्याक एउटा कठिन सफ्टवेयर समस्याको द्रुत समाधान हो। अर्थात्, यी सबै वास्तुकलाहरू बीच कुनै देखिने र बुझ्न सकिने तार्किक सम्बन्ध छैन। तिनीहरूलाई एकताबद्ध गर्ने सबै सबैभन्दा सफल ह्याकहरूको सेट हो जुन तिनीहरूले एकअर्काबाट उधारो लिएका छन्, साथै सबैका लागि साझा बन्द-लूप कन्भोलुसन अपरेशन (त्रुटि backpropagation, backpropagation)। छैन प्रणाली सोच! के परिवर्तन गर्ने र विद्यमान उपलब्धिहरूलाई कसरी अप्टिमाइज गर्ने भन्ने स्पष्ट छैन।

ह्याकहरू बीच तार्किक जडानको अभावको परिणाम स्वरूप, तिनीहरू सम्झन र व्यवहारमा लागू गर्न अत्यन्तै गाह्रो हुन्छन्। यो खण्डित ज्ञान हो। सबै भन्दा राम्रो, केहि चाखलाग्दो र अप्रत्याशित क्षणहरू सम्झिन्छन्, तर धेरै जसो बुझ्ने र बुझ्न नसकिने केहि दिन भित्र मेमोरीबाट गायब हुन्छ। एक हप्तामा कम्तिमा वास्तुकलाको नाम सम्झनु भयो भने राम्रो हुनेछ। तर धेरै घण्टा र कामको दिन पनि लेखहरू पढ्न र समीक्षा भिडियोहरू हेर्दै बित्यो!

चित्र २ – तंत्रिका नेटवर्क को चिडियाखाना

वैज्ञानिक लेखका अधिकांश लेखकहरू, मेरो व्यक्तिगत विचारमा, यो टुक्रा-टुक्रा ज्ञान पनि पाठकले नबुझेको सुनिश्चित गर्न सम्भव सबै प्रयास गर्छन्। तर "पातलो हावाबाट बाहिर" लिइएका सूत्रहरूको साथ दस लाइन वाक्यहरूमा सहभागी वाक्यांशहरू छुट्टै लेखको लागि विषय हुन् (समस्या प्रकाशित वा नाश).

यस कारणले, त्यहाँ तंत्रिका नेटवर्कहरू प्रयोग गरेर जानकारी व्यवस्थित गर्न आवश्यक छ र, यसरी, समझ र स्मरणको गुणस्तर बढाउनुहोस्। तसर्थ, व्यक्तिगत टेक्नोलोजीहरू र कृत्रिम तंत्रिका नेटवर्कहरूको वास्तुकलाको विश्लेषणको मुख्य विषय निम्न कार्य थियो: यो सबै कहाँ जाँदैछ पत्ता लगाउनुहोस्, र छुट्टै कुनै विशेष तंत्रिका नेटवर्कको उपकरण होइन।

यो सब कता जाँदैछ ? मुख्य परिणाम:

• पछिल्लो दुई वर्षमा मेसिन लर्निङ स्टार्टअपहरूको संख्या तीव्र रूपमा खसे। सम्भावित कारण: "न्यूरल नेटवर्कहरू अब केहि नयाँ छैनन्।"
• जो कोहीले एक साधारण समस्या समाधान गर्न काम गर्ने तंत्रिका नेटवर्क बनाउन सक्छ। यो गर्नको लागि, "मोडेल चिडियाखाना" बाट तयार मोडेल लिनुहोस् र न्यूरल नेटवर्कको अन्तिम तहलाई तालिम दिनुहोस् (स्थानान्तरण सिक्ने) बाट तयार डाटा मा गुगल डाटासेट खोज वा बाट 25 हजार Kaggle डाटासेट सित्तैमा क्लाउड ज्युपिटर नोटबुक.
• न्यूरल नेटवर्कका ठूला निर्माताहरूले सिर्जना गर्न थाले "नमूना चिडियाखाना" (नमूना चिडियाखाना)। तिनीहरूलाई प्रयोग गरेर तपाईं चाँडै एक व्यावसायिक अनुप्रयोग सिर्जना गर्न सक्नुहुन्छ: TF हब TensorFlow को लागि, MMD पत्ता लगाउने PyTorch को लागी, डिटेक्ट्रोन Caffe2 को लागि, chainer-modelzoo चेनर र को लागी अरु.
• न्यूरल नेटवर्कहरू काम गर्दै वास्तविक समय (वास्तविक समय) मोबाइल उपकरणहरूमा। 10 देखि 50 फ्रेम प्रति सेकेन्ड सम्म।
• फोनहरू (TF Lite), ब्राउजरहरूमा (TF.js) र मा तंत्रिका नेटवर्कहरूको प्रयोग घरायसी सामानहरू (IoT, Iइन्टरनेट of Tहिंग्स)। विशेष गरी फोनहरूमा जुन पहिले नै हार्डवेयर स्तरमा न्यूरल नेटवर्कहरू समर्थन गर्दछ (न्यूरल एक्सेलेटरहरू)।
• "हरेक उपकरण, कपडाको वस्तु, र सायद खाना पनि हुनेछ IP-v6 ठेगाना र एकअर्कासँग कुराकानी गर्नुहोस्" - सेबास्टियन थ्रुन.
• मेसिन लर्निङमा प्रकाशनहरूको संख्या बढ्न थालेको छ मूरको कानून भन्दा बढी (प्रत्येक दुई वर्षमा दोब्बर) २०१५ देखि। जाहिर छ, हामीलाई लेखहरूको विश्लेषणको लागि तंत्रिका नेटवर्कहरू चाहिन्छ।
• निम्न प्रविधिहरू लोकप्रियता प्राप्त गर्दै छन्:
  • पाइटोरच - लोकप्रियता द्रुत रूपमा बढ्दै छ र TensorFlow लाई ओभरटेक गरिरहेको देखिन्छ।
  • हाइपरपेरामिटरहरूको स्वचालित चयन AutoML - लोकप्रियता सहज रूपमा बढ्दै छ।
  • सटीकतामा क्रमिक कमी र गणना गतिमा वृद्धि: अस्पष्ट तर्क, एल्गोरिदम बढाउँदै, अयोग्य (अनुमानित) गणनाहरू, परिमाणीकरण (जब न्यूरल नेटवर्कको तौललाई पूर्णांक र क्वान्टाइज्डमा रूपान्तरण गरिन्छ), न्यूरल एक्सेलेरेटरहरू।
  • अनुवाद पाठमा छविहरू и छविमा पाठ.
  • सिर्जना भिडियोबाट 3D वस्तुहरू, अब वास्तविक समयमा।
  • DL को बारेमा मुख्य कुरा यो हो कि त्यहाँ धेरै डाटा छ, तर यसलाई सङ्कलन र लेबल गर्न सजिलो छैन। त्यसैले, मार्कअप स्वचालन विकास भइरहेको छ (स्वचालित एनोटेशन) तंत्रिका नेटवर्कहरू प्रयोग गरेर तंत्रिका नेटवर्कहरूको लागि।
• न्यूरल नेटवर्कको साथ, कम्प्युटर विज्ञान अचानक भयो प्रयोगात्मक विज्ञान र उठ्यो प्रजनन क्षमता संकट.
• आईटी पैसा र न्यूरल नेटवर्कको लोकप्रियता एकैसाथ देखा पर्यो जब कम्प्युटिङ बजार मूल्य भयो। अर्थतन्त्र सुन र मुद्रा अर्थतन्त्रबाट परिवर्तन हुँदैछ सुन-मुद्रा-कम्प्युटिङ। मेरो लेख मा हेर्नुहोस् इकोनोफिजिक्स र आईटी पैसा को उपस्थिति को कारण।

बिस्तारै एउटा नयाँ देखिन्छ ML/DL प्रोग्रामिङ पद्धति (मेशिन लर्निङ र डीप लर्निङ), जुन प्रशिक्षित न्यूरल नेटवर्क मोडेलहरूको सेटको रूपमा कार्यक्रमको प्रतिनिधित्वमा आधारित छ।

चित्र 3 - ML/DL नयाँ प्रोग्रामिङ पद्धतिको रूपमा

तर, त्यो कहिल्यै देखिएन "न्यूरल नेटवर्क सिद्धान्त", जस भित्र तपाईं सोच्न र व्यवस्थित रूपमा काम गर्न सक्नुहुन्छ। जसलाई अहिले "सिद्धान्त" भनिन्छ वास्तवमा प्रयोगात्मक, हेरिस्टिक एल्गोरिदम हो।

मेरो र अन्य स्रोतहरूको लिङ्क:

• डाटा विज्ञान न्यूजलेटर। मुख्य रूपमा छवि प्रशोधन। यो प्राप्त गर्न चाहने जो कोहीले इ-मेल पठाउनु पर्छ (foobar167gmailcom)। म सामग्री संकलनको रूपमा लेख र भिडियोहरूमा लिङ्कहरू पठाउँछु।
• सामान्य जानकारी पाठ्यक्रम र लेखहरूको सूचीजुन मैले पास गरेको छु र जुन म पास गर्न चाहन्छु।
• शुरुआतीहरूको लागि पाठ्यक्रमहरू र भिडियोहरू, जहाँ तपाईंले तंत्रिका सञ्जालहरू अध्ययन सुरु गर्नुपर्छ। प्लस ब्रोशर "मेसिन लर्निङ र आर्टिफिसियल न्यूरल नेटवर्कको परिचय".
• उपयोगी उपकरणहरू, जहाँ सबैले आफ्नो लागि केहि रोचक पाउनुहुनेछ।
• हामीले तिनीहरूलाई धेरै उपयोगी पायौं। वैज्ञानिक लेखहरूको विश्लेषणका लागि भिडियो च्यानलहरू डाटा विज्ञान द्वारा। खोज्नुहोस्, तिनीहरूलाई सदस्यता लिनुहोस् र तपाईंको सहकर्मीहरू र मलाई पनि लिङ्कहरू पास गर्नुहोस्। उदाहरणहरू:
  • दुई मिनेट कागजात
  • हेनरी एआई ल्याबहरू
  • यानिक किल्चर
  • CodeEmporium
  • ब्लग Chengwei Zhang उर्फ टोनीएक्सएनएमएक्स चरण-दर-चरण निर्देशनहरू र खुला स्रोतको साथ।

तपाईंको ध्यानको लागि धन्यबाद!

स्रोत: www.habr.com