የነርቭ አውታረ መረቦች. ይህ ሁሉ ወዴት እየሄደ ነው?

ጽሑፉ ሁለት ክፍሎችን ያቀፈ ነው-

1. የአንዳንድ የአውታረ መረብ አርክቴክቸር ለኔ በምስሎች እና በምስል ክፍል ውስጥ ነገሮችን ለመለየት በጣም ለመረዳት ከሚቻሉ የንብረቶች አገናኞች ጋር አጭር መግለጫ። የቪዲዮ ማብራሪያዎችን ለመምረጥ ሞከርኩ እና በተለይም በሩሲያኛ።
2. ሁለተኛው ክፍል የነርቭ ኔትወርክ አርክቴክቸር እድገት አቅጣጫን ለመረዳት ሙከራ ነው. እና በእነሱ ላይ የተመሰረቱ ቴክኖሎጂዎች.

ምስል 1 - የነርቭ ኔትወርክ አርክቴክቶችን መረዳት ቀላል አይደለም

ሁሉም በአንድሮይድ ስልክ ላይ ለነገሮች መለያ እና ማወቂያ ሁለት ማሳያ አፕሊኬሽኖችን በመስራት ነው የተጀመረው።

• የኋላ-መጨረሻ ማሳያ, ውሂብ በአገልጋዩ ላይ ተሠርቶ ወደ ስልኩ ሲተላለፍ. የሶስት ዓይነት ድቦች ምስል ምደባ: ቡናማ, ጥቁር እና ቴዲ.
• የፊት-መጨረሻ ማሳያመረጃው በራሱ ስልኩ ላይ ሲሰራ. የነገሮችን መለየት (ነገርን ማወቅ) የሶስት ዓይነቶች: hazelnuts, fig and date.

በምስል ምደባ ፣ በምስሉ ውስጥ ያለውን ነገር መለየት እና ተግባራት መካከል ልዩነት አለ የምስል ክፍፍል. ስለዚህ, የትኞቹ የነርቭ አውታረመረብ አርክቴክቶች በምስሎች ውስጥ ያሉትን ነገሮች እንደሚለዩ እና የትኞቹ እንደሚከፋፈሉ ማወቅ አስፈላጊ ነበር. ለኔ ከሃብቶች ጋር በጣም ሊረዱ የሚችሉ አገናኞች ያላቸው የሚከተሉትን የስነ-ህንፃ ምሳሌዎች አግኝቻለሁ፡-

• በአር-ሲኤንኤን ላይ የተመሰረቱ ተከታታይ አርክቴክቸርRክልሎች ጋር Convolution Neural Networks ባህሪያት፡- አር-ሲኤንኤን፣ ፈጣን አር-ሲኤንኤን፣ ፈጣን R-CNN, ጭንብል አር-ሲኤንኤን. በምስሉ ላይ ያለውን ነገር ለማወቅ፣የማሰሪያ ሳጥኖች የክልል ፕሮፖዛል ኔትወርክ (RPN) ዘዴን በመጠቀም ይመደባሉ። መጀመሪያ ላይ ከአርፒኤን ይልቅ ቀርፋፋው የመራጭ ፍለጋ ዘዴ ጥቅም ላይ ውሏል። ከዚያም የተመረጡት ውሱን ክልሎች ለመደበኛው የነርቭ ኔትወርክ ግብአት ይመገባሉ. የ R-CNN አርክቴክቸር በተወሰኑ ክልሎች ላይ ግልጽ የሆነ "ለ" loops አለው፣ በአጠቃላይ እስከ 2000 የሚደርሱ በአሌክስኔት የውስጥ አውታረመረብ በኩል ይሰራል። ግልጽ "ለ" loops የምስል ሂደት ፍጥነትን ይቀንሳል። በእያንዳንዱ አዲስ የሕንፃው ሥሪት በውስጣዊው የነርቭ አውታረመረብ ውስጥ የሚሄዱ ግልጽ ዑደቶች ቁጥር እየቀነሰ ይሄዳል ፣ እና በደርዘን የሚቆጠሩ ሌሎች ለውጦች ተደርገዋል ፍጥነትን ለመጨመር እና የነገሮችን የማወቅ ተግባር በ Mask R-CNN ውስጥ በተከፋፈለ ነገር ለመተካት።
• YOLO (You Only Lእንዲሁም Once) በተንቀሳቃሽ መሳሪያዎች ላይ ነገሮችን በእውነተኛ ጊዜ እውቅና ያገኘ የመጀመሪያው የነርቭ አውታረ መረብ ነው። ልዩ ባህሪ፡ እቃዎችን በአንድ ሩጫ መለየት (አንድ ጊዜ ብቻ ይመልከቱ)። ያም ማለት በ YOLO ሥነ ሕንፃ ውስጥ ምንም ግልጽ "ለ" loops የለም, ለዚህም ነው አውታረ መረቡ በፍጥነት የሚሰራው. ለምሳሌ፣ ይህ ተመሳሳይነት፡- በNumPy ውስጥ፣ ከማትሪክስ ጋር ስራዎችን በሚሰሩበት ጊዜ፣ እንዲሁም በNumPy ውስጥ በC ፕሮግራሚንግ ቋንቋ በዝቅተኛ የሕንፃ ደረጃዎች የሚተገበሩ ግልጽ “ለ” loops የሉም። YOLO አስቀድሞ የተገለጹ መስኮቶችን ፍርግርግ ይጠቀማል። ተመሳሳዩ ነገር ብዙ ጊዜ እንዳይገለጽ ለመከላከል የመስኮቱ መደራረብ (IoU) ጥቅም ላይ ይውላል። Iመስቀለኛ መንገድ oእ Uኒን) ። ይህ አርክቴክቸር በስፋት የሚሰራ እና ከፍተኛ ነው። ጥንካሬ: አንድ ሞዴል በፎቶግራፎች ላይ ሊሰለጥን ይችላል, ነገር ግን አሁንም በእጅ የተሰሩ ስዕሎች ላይ በደንብ ይሠራል.
• ኤስኤስዲ (Sእሸት Sሙቅ MultiBox Detector) - የ YOLO አርክቴክቸር በጣም የተሳካላቸው "ጠለፋዎች" ጥቅም ላይ ይውላሉ (ለምሳሌ, ከፍተኛ ያልሆነ ጭቆና) እና የነርቭ አውታረመረብ በፍጥነት እና በትክክል እንዲሰራ ለማድረግ አዳዲስ ተጨምረዋል. ልዩ ባህሪ፡ በምስሉ ፒራሚድ ላይ በተሰጠው የዊንዶው ፍርግርግ (ነባሪ ሳጥን) በመጠቀም ነገሮችን በአንድ ሩጫ መለየት። የምስሉ ፒራሚድ በተከታታይ ኮንቮሉሽን እና በማዋሃድ ኦፕሬሽኖች (በከፍተኛው-ፑልንግ ኦፕሬሽን፣ የቦታው መጠን እየቀነሰ) በኮንቮሉሽን ቴነሮች ውስጥ ተቀምጧል። በዚህ መንገድ ሁለቱም ትላልቅ እና ትናንሽ ነገሮች በአንድ የኔትወርክ ሩጫ ውስጥ ይወሰናሉ.
• ሞባይል ኤስኤስዲ (ሞባይልNetV2+ ኤስኤስዲ) የሁለት የነርቭ ኔትወርክ አርክቴክቸር ጥምረት ነው። የመጀመሪያ አውታረ መረብ MobileNetV2 በፍጥነት ይሰራል እና የማወቅ ትክክለኛነት ይጨምራል. በመጀመሪያ በ VGG-2 ምትክ ሞባይል ኔትቪ16 ጥቅም ላይ ይውላል ኦሪጅናል ጽሑፍ. ሁለተኛው የኤስኤስዲ አውታረመረብ በምስሉ ውስጥ ያሉትን ነገሮች ቦታ ይወስናል.
• SsqueezeNet - በጣም ትንሽ ግን ትክክለኛ የነርቭ አውታረ መረብ። በራሱ, ነገርን የማወቅ ችግርን አይፈታውም. ሆኖም ግን, በተለያዩ የስነ-ህንፃዎች ጥምረት ውስጥ ጥቅም ላይ ሊውል ይችላል. እና በሞባይል መሳሪያዎች ውስጥ ጥቅም ላይ ይውላል. ልዩ ባህሪው መረጃው በመጀመሪያ በአራት 1 × 1 ኮንቮሉሽን ማጣሪያዎች ተጨምቆ ከዚያ ወደ አራት 1 × 1 እና አራት 3 × 3 ኮንቮሉል ማጣሪያዎች መስፋፋቱ ነው። ከእንደዚህ አይነት የውሂብ መጭመቂያ-ማስፋት አንዱ ድግግሞሽ "የእሳት ሞጁል" ይባላል.
• DeepLab (የፍቺ ምስል ክፍል ከጥልቅ ኮንቮሉሽን መረቦች ጋር) - በምስሉ ውስጥ የነገሮች ክፍፍል። የሕንፃው ልዩ ገጽታ የቦታ መፍታትን የሚጠብቀው የተስፋፋ ኮንቮሉሽን ነው። ይህ በግራፊክ ፕሮባቢሊቲ ሞዴል (ሁኔታዊ የዘፈቀደ መስክ) በመጠቀም የውጤቶች የድህረ-ሂደት ደረጃ ይከተላል, ይህም በክፍሉ ውስጥ ትንሽ ድምጽን ለማስወገድ እና የተከፋፈለውን ምስል ጥራት ለማሻሻል ያስችላል. “ግራፊክ ፕሮባቢሊስቲክ ሞዴል” ከሚለው አስፈሪ ስም በስተጀርባ በአምስት ነጥቦች የሚገመተውን የተለመደ የጋውስያን ማጣሪያ ይደብቃል።
• መሣሪያውን ለማወቅ ሞክሯል። RefineDet (ነጠላ-ሾት አጣራment የነርቭ አውታረ መረብ ለዕቃ ዘection), ግን ብዙ አልገባኝም.
• እንዲሁም “ትኩረት” ቴክኖሎጂ እንዴት እንደሚሰራ ተመለከትኩ፡- ቪዲዮ1, ቪዲዮ2, ቪዲዮ3. የ “ትኩረት” ሥነ ሕንፃ ልዩ ገጽታ በምስሉ ላይ ከፍተኛ ትኩረት የተደረገባቸውን ክልሎች በራስ-ሰር መምረጥ ነው (RoI ፣ Rግብዞች of Iወለድ) ትኩረት ዩኒት የሚባል የነርቭ ኔትወርክ በመጠቀም። ከፍተኛ ትኩረት የተደረገባቸው ክልሎች ከማሰሪያ ሳጥኖች ጋር ተመሳሳይ ናቸው, ነገር ግን ከነሱ በተለየ, በምስሉ ላይ ያልተስተካከሉ እና ድንበሮች ሊሆኑ ይችላሉ. ከዚያ ትኩረት ከተሰጣቸው ክልሎች ምልክቶች (ባህሪዎች) ተለይተው ይታወቃሉ ፣ እነዚህም ከሥነ-ህንፃዎች ጋር ለተደጋጋሚ የነርቭ አውታረ መረቦች “ይመገባሉ” LSDM፣ GRU ወይም Vanilla RNN. ተደጋጋሚ የነርቭ አውታረ መረቦች የባህሪያትን ግንኙነት በቅደም ተከተል መተንተን ይችላሉ። ተደጋጋሚ የነርቭ ኔትወርኮች መጀመሪያ ላይ ጽሑፍን ወደ ሌሎች ቋንቋዎች ለመተርጎም አሁን ደግሞ ለትርጉም ይውሉ ነበር። ምስሎች ወደ ጽሑፍ и ጽሑፍ ወደ ምስል.

እነዚህን አርክቴክቸር ስንመረምር ምንም እንዳልገባኝ ተረዳሁ. እና የእኔ የነርቭ አውታረመረብ ትኩረት በሚሰጥበት ዘዴ ላይ ችግሮች እንዳሉት አይደለም. የእነዚህ ሁሉ አርክቴክቸር ስራዎች ደራሲያን በሃክ የሚወዳደሩበት እንደ አንድ ትልቅ ሃካቶን አይነት ነው። ሃክ ለአስቸጋሪ የሶፍትዌር ችግር ፈጣን መፍትሄ ነው። ያም ማለት በነዚህ ሁሉ አርክቴክቶች መካከል የሚታይ እና ሊረዳ የሚችል አመክንዮአዊ ግንኙነት የለም። አንድ የሚያደርጋቸው አንዱ ከሌላው የሚዋሱት በጣም የተሳካላቸው የጠለፋዎች ስብስብ ነው፣ በተጨማሪም ለሁሉም የተለመደ ነው። ዝግ-loop convolution ክወና (ስህተት ደጋፊነት, የጀርባ ስርጭት). አይ ስርዓቶች አስተሳሰብ! ምን እንደሚቀየር እና ያሉትን ስኬቶች እንዴት ማሻሻል እንደሚቻል ግልጽ አይደለም.

በጠለፋዎች መካከል ምክንያታዊ ግንኙነት ባለመኖሩ, ለማስታወስ እና በተግባር ላይ ለማዋል እጅግ በጣም አስቸጋሪ ናቸው. ይህ የተበታተነ እውቀት ነው። በጥሩ ሁኔታ, ጥቂት አስደሳች እና ያልተጠበቁ ጊዜያት ይታወሳሉ, ነገር ግን አብዛኛው የተረዳው እና ለመረዳት የማይቻል በጥቂት ቀናት ውስጥ ከማስታወስ ይጠፋል. በሳምንት ውስጥ ቢያንስ የሕንፃውን ስም ካስታወሱ ጥሩ ይሆናል. ነገር ግን ለበርካታ ሰዓታት እና እንዲያውም ቀናት የስራ ጊዜ ጽሑፎችን በማንበብ እና የግምገማ ቪዲዮዎችን በመመልከት አሳልፈዋል!

ምስል 2 - የነርቭ አውታረ መረቦች መካነ አራዊት

አብዛኛዎቹ የሳይንሳዊ መጣጥፎች ደራሲዎች ፣ በእኔ አስተያየት ፣ ይህ የተበታተነ እውቀት እንኳን በአንባቢው እንዳይረዳ የተቻለውን ሁሉ ያደርጋሉ። ነገር ግን በአስር መስመር ዓረፍተ ነገሮች ውስጥ ያሉ አሳታፊ ሀረጎች ከቀመር ጋር “ከቀጭን አየር” የተወሰዱ ቀመሮች ለተለየ መጣጥፍ ርዕስ ናቸው (ችግር) ያትሙ ወይም ያጥፉ).

በዚህ ምክንያት የነርቭ ኔትወርኮችን በመጠቀም መረጃን በስርዓት ማቀናጀት እና, በዚህም, የመረዳት እና የማስታወስ ጥራት መጨመር ያስፈልጋል. ስለዚህ ፣ የግለሰብ ቴክኖሎጂዎች እና አርቲፊሻል ነርቭ ኔትወርኮች አርክቴክቸር ትንተና ዋና ርዕስ የሚከተለው ተግባር ነበር ። ሁሉም ወዴት እንደሚሄድ እወቅ, እና የማንኛውም የተለየ የነርቭ አውታር መሳሪያ አይደለም.

ይህ ሁሉ ወዴት እየሄደ ነው? ዋና ውጤቶች፡-

• ባለፉት ሁለት ዓመታት ውስጥ የማሽን መማሪያ ጅምር ብዛት በከፍተኛ ሁኔታ ወደቀ. ሊሆን የሚችል ምክንያት፡ “የነርቭ ኔትወርኮች ከአሁን በኋላ አዲስ ነገር አይደሉም።
• ቀላል ችግርን ለመፍታት ማንኛውም ሰው የሚሰራ የነርቭ አውታር መፍጠር ይችላል። ይህንን ለማድረግ ከ "ሞዴል መካነ አራዊት" ዝግጁ የሆነ ሞዴል ይውሰዱ እና የመጨረሻውን የነርቭ አውታረ መረብ ንብርብር ያሠለጥኑ (ትምህርት ማስተላለፍ) በተዘጋጀው መረጃ ከ Google የውሂብ ስብስብ ፍለጋ ወይም ከ 25 ሺህ Kaggle የውሂብ ስብስቦች በነጻ ደመና ጁፒተር ማስታወሻ ደብተር.
• ትላልቅ የነርቭ አውታሮች አምራቾች መፍጠር ጀመሩ "ሞዴል መካነ አራዊት" (ሞዴል መካነ አራዊት)። እነሱን በመጠቀም የንግድ መተግበሪያን በፍጥነት መፍጠር ይችላሉ- TF Hub ለ TensorFlow የኤም.ኤም.ዲ ለፒቶርች፣ መርማሪ ለካፌ 2 ፣ chainer-modelzoo ለ Chainer እና другие.
• ውስጥ የሚሰሩ የነርቭ አውታረ መረቦች በተመሳሳይ ሰዐት (በእውነተኛ ጊዜ) በተንቀሳቃሽ መሣሪያዎች ላይ። በሰከንድ ከ10 እስከ 50 ክፈፎች።
• በስልኮች (TF Lite)፣ በአሳሾች (TF.js) እና በ ውስጥ የነርቭ አውታረ መረቦችን መጠቀም የቤት ዕቃዎች (አይኦቲ፣ Iአውታረመረብ of Tማንጠልጠያ)። በተለይም የነርቭ ኔትወርኮችን በሃርድዌር ደረጃ በሚደግፉ ስልኮች ውስጥ (የነርቭ አፋጣኝ)።
• “እያንዳንዱ መሳሪያ፣ ልብስ እና ምናልባትም ምግብም ይኖረዋል የአይፒ-v6 አድራሻ እና እርስ በርስ ተግባቡ" - Sebastian Thrun.
• በማሽን መማር ላይ የኅትመቶች ብዛት ማደግ ጀምሯል። ከሞር ህግ በላይ (በየሁለት ዓመቱ በእጥፍ) ከ 2015 ጀምሮ። ጽሁፎችን ለመተንተን የነርቭ ኔትወርኮች እንደሚያስፈልጉን ግልጽ ነው።
• የሚከተሉት ቴክኖሎጂዎች ተወዳጅነት እያገኙ ነው.
  • ፒቶርች - ተወዳጅነት በፍጥነት እያደገ ነው እና TensorFlowን የሚያልፍ ይመስላል።
  • የ hyperparameters ራስ-ሰር ምርጫ ራስ-ኤምኤል - ተወዳጅነት ያለማቋረጥ እያደገ ነው።
  • ቀስ በቀስ ትክክለኛነት መቀነስ እና የስሌት ፍጥነት መጨመር; ደብዛዛ አመክንዮ, አልጎሪዝም መጨመር, ትክክለኛ ያልሆነ (ግምታዊ) ስሌቶች, መቁጠር (የነርቭ አውታር ክብደቶች ወደ ኢንቲጀር እና ኳንት ሲቀየሩ), የነርቭ አፋጣኝ.
  • ትርጉም ምስሎች ወደ ጽሑፍ и ጽሑፍ ወደ ምስል.
  • ፍጥረት 3-ል ነገሮች ከቪዲዮ፣ አሁን በእውነተኛ ጊዜ።
  • የዲኤል ዋናው ነገር ብዙ መረጃ አለ, ነገር ግን መሰብሰብ እና መለያ መስጠት ቀላል አይደለም. ስለዚህ፣ ማርክፕ አውቶማቲክ እያደገ ነው (ራስ-ሰር ማብራሪያ) የነርቭ መረቦችን በመጠቀም ለነርቭ አውታሮች.
• በነርቭ ኔትወርኮች የኮምፒውተር ሳይንስ በድንገት ሆነ የሙከራ ሳይንስ እና ተነሳ የመራቢያ ቀውስ.
• ማስላት የገበያ ዋጋ በሚሆንበት ጊዜ የአይቲ ገንዘብ እና የነርቭ ኔትወርኮች ታዋቂነት በአንድ ጊዜ ብቅ አሉ። ኢኮኖሚው ከወርቅ እና ምንዛሪ ኢኮኖሚ ወደ ወርቅ-ምንዛሪ-ማስላት. ላይ የእኔን ጽሑፍ ተመልከት ኢኮኖሚክስ እና የአይቲ ገንዘብ መልክ ምክንያት.

ቀስ በቀስ አዲስ ይታያል ML/DL ፕሮግራሚንግ ዘዴ (Machine Learning & Deep Learning)፣ ፕሮግራሙን እንደ የሰለጠኑ የነርቭ አውታር ሞዴሎች ስብስብ በመወከል ላይ የተመሰረተ ነው።

ምስል 3 - ML/DL እንደ አዲስ የፕሮግራም አወጣጥ ዘዴ

ሆኖም ግን, በጭራሽ አልታየም "የነርቭ አውታር ንድፈ ሐሳብ", በውስጡ ማሰብ እና በስርዓት መስራት ይችላሉ. አሁን "ቲዎሪ" ተብሎ የሚጠራው በእውነቱ የሙከራ ፣ ሂዩሪስቲክ ስልተ ቀመሮች ነው።

ወደ እኔ እና ሌሎች ሃብቶች አገናኞች፡-

• የውሂብ ሳይንስ ጋዜጣ. በዋናነት ምስልን ማቀናበር. መቀበል የሚፈልግ ማንኛውም ሰው ኢ-ሜል (foobar167gmailcom) መላክ አለበት። ቁሳቁስ በሚከማችበት ጊዜ ወደ መጣጥፎች እና ቪዲዮዎች አገናኞችን እልካለሁ።
• አጠቃላይ መረጃዎች የኮርሶች እና መጣጥፎች ዝርዝርእኔ ያለፈውን እና ማለፍ የምፈልገው.
• ለጀማሪዎች ኮርሶች እና ቪዲዮዎች, የነርቭ አውታረ መረቦችን ማጥናት መጀመር ያለበት. ፕላስ ብሮሹር "የማሽን መማር እና አርቲፊሻል ነርቭ ኔትወርኮች መግቢያ".
• ጠቃሚ መሳሪያዎች, ሁሉም ሰው ለራሱ የሚስብ ነገር የሚያገኝበት.
• እጅግ በጣም ጠቃሚ ሆኖ አግኝተነዋል። የቪዲዮ ቻናሎች ለሳይንሳዊ መጣጥፎች ትንተና በመረጃ ሳይንስ. ፈልጋቸው፣ ደንበኝነት ተመዝገብባቸው እና አገናኞችን ለስራ ባልደረቦችህ እና ለእኔ አስተላልፍ። ምሳሌዎች፡-
  • ሁለት ደቂቃ ወረቀቶች
  • ሄንሪ AI ላብስ
  • ያኒክ ኪልቸር
  • CodeEmporium
  • ብሎግ Chengwei Zhang አካ Tony607 በደረጃ መመሪያዎች እና ክፍት ምንጭ.

ለሚያደርጉት ጥረት እናመሰግናለን!

ምንጭ: hab.com