न्यूरल नेटवर्क. हे सर्व कुठे चालले आहे?

लेखात दोन भाग आहेत:

1. माझ्यासाठी संसाधनांच्या सर्वात समजण्याजोग्या दुव्यांसह प्रतिमा आणि प्रतिमा विभाजनासाठी ऑब्जेक्ट शोधण्यासाठी काही नेटवर्क आर्किटेक्चरचे संक्षिप्त वर्णन. मी व्हिडिओ स्पष्टीकरण निवडण्याचा प्रयत्न केला आणि शक्यतो रशियन भाषेत.
2. दुसरा भाग न्यूरल नेटवर्क आर्किटेक्चरच्या विकासाची दिशा समजून घेण्याचा प्रयत्न आहे. आणि त्यावर आधारित तंत्रज्ञान.

आकृती 1 - न्यूरल नेटवर्क आर्किटेक्चर्स समजून घेणे सोपे नाही

हे सर्व Android फोनवर ऑब्जेक्ट वर्गीकरण आणि शोधासाठी दोन डेमो अॅप्लिकेशन बनवून सुरू झाले:

• बॅक-एंड डेमो, जेव्हा सर्व्हरवर डेटावर प्रक्रिया केली जाते आणि फोनवर प्रसारित केली जाते. तीन प्रकारच्या अस्वलांचे प्रतिमा वर्गीकरण: तपकिरी, काळा आणि टेडी.
• फ्रंट-एंड डेमोजेव्हा फोनवरच डेटावर प्रक्रिया केली जाते. हेझलनट, अंजीर आणि खजूर: तीन प्रकारच्या वस्तू शोधणे (ऑब्जेक्ट डिटेक्शन).

प्रतिमेचे वर्गीकरण, प्रतिमेतील ऑब्जेक्ट शोधणे आणि या कार्यांमध्ये फरक आहे प्रतिमा विभाजन. म्हणून, कोणत्या न्यूरल नेटवर्क आर्किटेक्चर्स प्रतिमांमधील वस्तू शोधतात आणि कोणत्या विभाग करू शकतात हे शोधण्याची आवश्यकता होती. मला माझ्यासाठी संसाधनांच्या सर्वात समजण्याजोग्या लिंकसह आर्किटेक्चरची खालील उदाहरणे सापडली:

• R-CNN वर आधारित आर्किटेक्चरची मालिका (Rसह प्रदेश Cउत्क्रांती Nयुरल Networks वैशिष्ट्ये): R-CNN, फास्ट R-CNN, वेगवान R-CNN, मास्क आर-सीएनएन. प्रतिमेतील ऑब्जेक्ट शोधण्यासाठी, क्षेत्र प्रस्ताव नेटवर्क (RPN) यंत्रणा वापरून बाउंडिंग बॉक्सचे वाटप केले जाते. सुरुवातीला, RPN ऐवजी हळूवार निवडक शोध यंत्रणा वापरली गेली. नंतर निवडलेल्या मर्यादित प्रदेशांना वर्गीकरणासाठी पारंपारिक न्यूरल नेटवर्कच्या इनपुटमध्ये दिले जाते. R-CNN आर्किटेक्चरमध्ये मर्यादित क्षेत्रांमध्ये स्पष्टपणे "साठी" लूप आहेत, अॅलेक्सनेट अंतर्गत नेटवर्कद्वारे एकूण 2000 धावा. स्पष्ट "साठी" लूप प्रतिमा प्रक्रियेचा वेग कमी करतात. अंतर्गत न्यूरल नेटवर्कद्वारे चालणार्‍या सुस्पष्ट लूपची संख्या आर्किटेक्चरच्या प्रत्येक नवीन आवृत्तीसह कमी होते आणि वेग वाढवण्यासाठी आणि मास्क आर-सीएनएनमध्ये ऑब्जेक्ट विभागणीसह ऑब्जेक्ट शोधण्याचे कार्य बदलण्यासाठी इतर डझनभर बदल केले जातात.
• YOLO (You Only Lओक Once) हे पहिले न्यूरल नेटवर्क आहे ज्याने मोबाइल डिव्हाइसवर रिअल टाइममध्ये ऑब्जेक्ट्स ओळखले. विशिष्ट वैशिष्ट्य: एका धावत वस्तू वेगळे करणे (फक्त एकदा पहा). म्हणजेच, YOLO आर्किटेक्चरमध्ये कोणतेही स्पष्ट "साठी" लूप नाहीत, म्हणूनच नेटवर्क द्रुतपणे कार्य करते. उदाहरणार्थ, हे सादृश्य: NumPy मध्ये, matrices सह ऑपरेशन्स करताना, कोणतेही स्पष्ट “for” loops नसतात, जे NumPy मध्ये C प्रोग्रामिंग भाषेद्वारे आर्किटेक्चरच्या खालच्या स्तरावर लागू केले जातात. YOLO पूर्वनिर्धारित विंडोचा ग्रिड वापरते. एकाच ऑब्जेक्टला अनेक वेळा परिभाषित करण्यापासून रोखण्यासाठी, विंडो ओव्हरलॅप गुणांक (IoU) वापरला जातो. Iछेदनबिंदू oपहा Union). हे आर्किटेक्चर विस्तृत श्रेणीवर चालते आणि उच्च आहे मजबूतपणा: एखाद्या मॉडेलला छायाचित्रांचे प्रशिक्षण दिले जाऊ शकते परंतु तरीही हाताने काढलेल्या चित्रांवर चांगले प्रदर्शन केले जाऊ शकते.
• SSD (Sमांडीचा सांधा Sगरम मल्टीबॉक्स Dइटेक्टर) - योलो आर्किटेक्चरचे सर्वात यशस्वी "हॅक" वापरले जातात (उदाहरणार्थ, नॉन-कमीमम सप्रेशन) आणि न्यूरल नेटवर्क जलद आणि अधिक अचूकपणे कार्य करण्यासाठी नवीन जोडले जातात. विशिष्ट वैशिष्ट्य: इमेज पिरॅमिडवर दिलेल्या विंडो (डिफॉल्ट बॉक्स) च्या ग्रिडचा वापर करून एकाच रनमध्ये वस्तू वेगळे करणे. प्रतिमेचा पिरॅमिड सलग आवर्तन आणि पूलिंग ऑपरेशन्सद्वारे कॉन्व्होल्युशन टेन्सर्समध्ये एन्कोड केला जातो (कमाल-पूलिंग ऑपरेशनसह, अवकाशीय परिमाण कमी होते). अशा प्रकारे, मोठ्या आणि लहान वस्तू दोन्ही एका नेटवर्क रनमध्ये निर्धारित केल्या जातात.
• मोबाईलएसएसडी (मोबाइलNetV2+ SSD) हे दोन न्यूरल नेटवर्क आर्किटेक्चरचे संयोजन आहे. पहिले नेटवर्क MobileNetV2 पटकन कार्य करते आणि ओळख अचूकता वाढवते. VGG-2 ऐवजी MobileNetV16 चा वापर केला जातो, जो मूळतः मध्ये वापरला गेला होता मूळ लेख. दुसरे SSD नेटवर्क इमेजमधील ऑब्जेक्ट्सचे स्थान निर्धारित करते.
• SqueezeNet - एक अतिशय लहान परंतु अचूक न्यूरल नेटवर्क. स्वतःहून, ते ऑब्जेक्ट शोधण्याच्या समस्येचे निराकरण करत नाही. तथापि, हे विविध आर्किटेक्चरच्या संयोजनात वापरले जाऊ शकते. आणि मोबाईल उपकरणांमध्ये वापरले जाते. विशिष्ट वैशिष्ट्य म्हणजे डेटा प्रथम चार 1×1 कॉन्व्होल्युशनल फिल्टरमध्ये संकुचित केला जातो आणि नंतर चार 1×1 आणि चार 3×3 कॉन्व्होल्युशनल फिल्टरमध्ये विस्तारित केला जातो. डेटा कॉम्प्रेशन-विस्ताराच्या अशा पुनरावृत्तीला "फायर मॉड्यूल" म्हणतात.
• डीपलॅब (डीप कॉन्व्होल्युशनल नेट्ससह सिमेंटिक इमेज सेगमेंटेशन) – इमेजमधील ऑब्जेक्ट्सचे विभाजन. आर्किटेक्चरचे एक विशिष्ट वैशिष्ट्य म्हणजे डिलेटेड कॉन्व्होल्यूशन, जे स्पेसियल रिझोल्यूशन संरक्षित करते. हे ग्राफिकल संभाव्य मॉडेल (सशर्त यादृच्छिक फील्ड) वापरून निकालांच्या पोस्ट-प्रोसेसिंग स्टेजद्वारे अनुसरण केले जाते, जे तुम्हाला सेगमेंटेशनमधील लहान आवाज काढून टाकण्यास आणि खंडित प्रतिमेची गुणवत्ता सुधारण्यास अनुमती देते. "ग्राफिकल संभाव्य मॉडेल" या भयानक नावाच्या मागे एक पारंपारिक गॉसियन फिल्टर लपविला आहे, जो अंदाजे पाच गुणांनी आहे.
• साधन शोधण्याचा प्रयत्न केला RefineDet (सिंगल-शॉट परिष्कृत कराऑब्जेक्टसाठी न्यूरल नेटवर्क तोection), पण मला फार काही समजले नाही.
• मी "लक्ष" तंत्रज्ञान कसे कार्य करते ते देखील पाहिले: व्हिडिओ1, व्हिडिओ2, व्हिडिओ3. "लक्ष" आर्किटेक्चरचे एक विशिष्ट वैशिष्ट्य म्हणजे प्रतिमेमध्ये वाढीव लक्ष असलेल्या प्रदेशांची स्वयंचलित निवड (RoI, Rसैन्य of Interest) अटेंशन युनिट नावाचे न्यूरल नेटवर्क वापरून. वाढीव लक्ष देणारे क्षेत्र बाउंडिंग बॉक्ससारखेच आहेत, परंतु त्यांच्या विपरीत, ते प्रतिमेमध्ये निश्चित केलेले नाहीत आणि अस्पष्ट सीमा असू शकतात. नंतर, लक्ष वाढवलेल्या प्रदेशांमधून, चिन्हे (वैशिष्ट्ये) वेगळी केली जातात, जी आर्किटेक्चरसह आवर्ती न्यूरल नेटवर्कला "फेड" केली जातात. LSDM, GRU किंवा Vanilla RNN. वारंवार येणारे न्यूरल नेटवर्क एका क्रमाने वैशिष्ट्यांमधील संबंधांचे विश्लेषण करण्यास सक्षम आहेत. आवर्ती न्यूरल नेटवर्कचा वापर सुरुवातीला मजकूर इतर भाषांमध्ये अनुवादित करण्यासाठी आणि आता अनुवादासाठी वापरला जात होता मजकूरासाठी प्रतिमा и प्रतिमेसाठी मजकूर.

जसे आपण या वास्तूंचे अन्वेषण करतो मला कळले की मला काहीच समजत नाही. आणि असे नाही की माझ्या न्यूरल नेटवर्कला लक्ष देण्याच्या यंत्रणेमध्ये समस्या आहेत. या सर्व आर्किटेक्चरची निर्मिती एखाद्या प्रकारच्या प्रचंड हॅकाथॉनसारखी आहे, जिथे लेखक हॅकमध्ये स्पर्धा करतात. हॅक हा एक कठीण सॉफ्टवेअर समस्येवर त्वरित उपाय आहे. म्हणजेच, या सर्व आर्किटेक्चरमध्ये कोणतेही दृश्यमान आणि समजण्याजोगे तार्किक संबंध नाही. जे त्यांना एकत्र करतात ते सर्वात यशस्वी हॅकचा एक संच आहे जे ते एकमेकांकडून घेतात, तसेच सर्वांसाठी समान बंद-लूप कॉन्व्होल्यूशन ऑपरेशन (त्रुटी बॅकप्रॉपगेशन, बॅकप्रोपगेशन). नाही प्रणाली विचार! काय बदलायचे आणि विद्यमान यश कसे ऑप्टिमाइझ करायचे हे स्पष्ट नाही.

हॅक दरम्यान तार्किक कनेक्शन नसल्यामुळे, ते लक्षात ठेवणे आणि व्यवहारात लागू करणे अत्यंत कठीण आहे. हे खंडित ज्ञान आहे. सर्वोत्तम, काही मनोरंजक आणि अनपेक्षित क्षण लक्षात ठेवले जातात, परंतु जे काही समजले आणि न समजण्यासारखे आहे ते काही दिवसातच स्मरणातून अदृश्य होते. आठवड्यातून किमान आर्किटेक्चरचे नाव लक्षात ठेवले तर चांगले होईल. पण लेख वाचण्यात आणि रिव्ह्यू व्हिडीओ पाहण्यात अनेक तास आणि अगदी दिवस कामाचा वेळ गेला!

आकृती २ – न्यूरल नेटवर्क्सचे प्राणीसंग्रहालय

वैज्ञानिक लेखांचे बहुतेक लेखक, माझ्या वैयक्तिक मते, हे खंडित ज्ञान वाचकाला समजू नये यासाठी शक्य ते सर्व प्रयत्न करतात. परंतु "पातळ हवेतून" घेतलेल्या सूत्रांसह दहा ओळींच्या वाक्यांमधील सहभागी वाक्ये स्वतंत्र लेखासाठी विषय आहेत (समस्या प्रकाशित करा किंवा नष्ट करा).

या कारणास्तव, न्यूरल नेटवर्कचा वापर करून माहिती व्यवस्थित करण्याची गरज आहे आणि अशा प्रकारे, समज आणि लक्षात ठेवण्याची गुणवत्ता वाढवा. म्हणून, वैयक्तिक तंत्रज्ञान आणि कृत्रिम न्यूरल नेटवर्कच्या आर्किटेक्चरच्या विश्लेषणाचा मुख्य विषय खालील कार्य होता: हे सर्व कुठे चालले आहे ते शोधा, आणि स्वतंत्रपणे कोणत्याही विशिष्ट न्यूरल नेटवर्कचे डिव्हाइस नाही.

हे सर्व कुठे चालले आहे? मुख्य परिणाम:

• गेल्या दोन वर्षांत मशीन लर्निंग स्टार्टअपची संख्या झपाट्याने पडले. संभाव्य कारण: "न्यूरल नेटवर्क्स आता काही नवीन नाहीत."
• साध्या समस्येचे निराकरण करण्यासाठी कोणीही कार्यरत न्यूरल नेटवर्क तयार करू शकतो. हे करण्यासाठी, “मॉडेल प्राणीसंग्रहालय” मधून तयार मॉडेल घ्या आणि न्यूरल नेटवर्कच्या शेवटच्या थराला प्रशिक्षण द्या (हस्तांतरण शिक्षण) पासून तयार डेटावर Google डेटासेट शोध किंवा पासून 25 हजार कागल डेटासेट मोफत मध्ये क्लाउड ज्युपिटर नोटबुक.
• न्यूरल नेटवर्कचे मोठे उत्पादक तयार करू लागले "मॉडेल प्राणीसंग्रहालय" (मॉडेल प्राणीसंग्रहालय). त्यांचा वापर करून तुम्ही त्वरीत व्यावसायिक अनुप्रयोग तयार करू शकता: TF हब TensorFlow साठी, MMD शोध PyTorch साठी, डिटेक्ट्रॉन Caffe2 साठी, चेनर-मॉडेलझू चेनर आणि साठी другие.
• तंत्रिका नेटवर्क कार्यरत आहेत प्रत्यक्ष वेळी (रिअल-टाइम) मोबाइल डिव्हाइसवर. प्रति सेकंद 10 ते 50 फ्रेम्स पर्यंत.
• फोन (TF Lite), ब्राउझरमध्ये (TF.js) आणि मध्ये न्यूरल नेटवर्कचा वापर घरगुती वस्तू (IoT, Iइंटरनेट of Tहिंग्ज). विशेषत: हार्डवेअर स्तरावर (न्यूरल एक्सीलरेटर्स) आधीच न्यूरल नेटवर्कला सपोर्ट करणाऱ्या फोनमध्ये.
• “प्रत्येक उपकरण, कपड्यांचे आयटम आणि कदाचित अन्न देखील असेल IP-v6 पत्ता आणि एकमेकांशी संवाद साधा" - सेबॅस्टियन थ्रून.
• मशीन लर्निंगवरील प्रकाशनांची संख्या वाढू लागली आहे मूरच्या कायद्यापेक्षा जास्त (दर दोन वर्षांनी दुप्पट) 2015 पासून. अर्थात, लेखांचे विश्लेषण करण्यासाठी आम्हाला न्यूरल नेटवर्कची आवश्यकता आहे.
• खालील तंत्रज्ञान लोकप्रिय होत आहेत:
  • पाय टोर्च - लोकप्रियता वेगाने वाढत आहे आणि TensorFlow ला मागे टाकत आहे.
  • हायपरपॅरामीटर्सची स्वयंचलित निवड ऑटोमेल - लोकप्रियता सहजतेने वाढत आहे.
  • अचूकतेमध्ये हळूहळू घट आणि गणना गतीमध्ये वाढ: अस्पष्ट तर्क, अल्गोरिदम चालना, अयोग्य (अंदाजे) गणना, परिमाणीकरण (जेव्हा न्यूरल नेटवर्कचे वजन पूर्णांकांमध्ये रूपांतरित केले जाते आणि परिमाणित केले जाते), न्यूरल प्रवेगक.
  • भाषांतर मजकूरासाठी प्रतिमा и प्रतिमेसाठी मजकूर.
  • निर्मिती व्हिडिओमधील XNUMXD वस्तू, आता रिअल टाइममध्ये.
  • DL बद्दल मुख्य गोष्ट अशी आहे की भरपूर डेटा आहे, परंतु ते गोळा करणे आणि लेबल करणे सोपे नाही. म्हणून, मार्कअप ऑटोमेशन विकसित होत आहे (स्वयंचलित भाष्य) न्यूरल नेटवर्क्स वापरून न्यूरल नेटवर्कसाठी.
• न्यूरल नेटवर्क्ससह, संगणक विज्ञान अचानक बनले प्रायोगिक विज्ञान आणि उठला पुनरुत्पादकतेचे संकट.
• आयटी पैसे आणि न्यूरल नेटवर्कची लोकप्रियता एकाच वेळी उदयास आली जेव्हा संगणकीय बाजार मूल्य बनले. अर्थव्यवस्था सोने आणि चलन अर्थव्यवस्थेपासून बदलत आहे सोने-चलन-संगणन. वर माझा लेख पहा इकॉनॉफिजिक्स आणि आयटी पैसे दिसण्याचे कारण.

हळूहळू एक नवीन दिसते एमएल/डीएल प्रोग्रामिंग पद्धत (मशीन लर्निंग आणि डीप लर्निंग), जे प्रशिक्षित न्यूरल नेटवर्क मॉडेल्सचा संच म्हणून प्रोग्रामचे प्रतिनिधित्व करण्यावर आधारित आहे.

आकृती 3 - ML/DL नवीन प्रोग्रामिंग पद्धती म्हणून

तथापि, ते कधीही दिसून आले नाही "न्यूरल नेटवर्क सिद्धांत", ज्यामध्ये तुम्ही विचार करू शकता आणि पद्धतशीरपणे कार्य करू शकता. ज्याला आता "सिद्धांत" म्हणतात ते प्रत्यक्षात प्रायोगिक, ह्युरिस्टिक अल्गोरिदम आहे.

माझ्या आणि इतर संसाधनांचे दुवे:

• डेटा सायन्स वृत्तपत्र. मुख्यतः प्रतिमा प्रक्रिया. ज्याला ते प्राप्त करायचे आहे त्यांनी ई-मेल पाठवावा (foobar167<gaf-gaf>gmail<dot>com). मी लेख आणि व्हिडिओंचे दुवे पाठवतो जसे साहित्य जमा होते.
• सामान्य माहिती अभ्यासक्रम आणि लेखांची यादीजे मी उत्तीर्ण झाले आहे आणि जे मला उत्तीर्ण करायचे आहे.
• नवशिक्यांसाठी अभ्यासक्रम आणि व्हिडिओ, जिथे तुम्ही न्यूरल नेटवर्क्सचा अभ्यास सुरू केला पाहिजे. प्लस ब्रोशर "मशीन लर्निंग आणि आर्टिफिशियल न्यूरल नेटवर्क्सचा परिचय".
• उपयुक्त साधने, जिथे प्रत्येकाला स्वतःसाठी काहीतरी मनोरंजक वाटेल.
• आम्हाला ते अत्यंत उपयुक्त वाटले. वैज्ञानिक लेखांच्या विश्लेषणासाठी व्हिडिओ चॅनेल डेटा सायन्स द्वारे. शोधा, त्यांची सदस्यता घ्या आणि तुमच्या सहकाऱ्यांना आणि मलाही लिंक पाठवा. उदाहरणे:
  • दोन मिनिटांची कागदपत्रे
  • हेन्री एआय लॅब्स
  • यानिक किल्चर
  • CodeEmporium
  • ब्लॉग चेंगवेई झांग उर्फ टोनी 607 चरण-दर-चरण सूचना आणि मुक्त स्त्रोतांसह.

आपण लक्ष दिल्याबद्दल धन्यवाद!

स्त्रोत: www.habr.com