የማጠናከሪያ ትምህርት ወይስ የዝግመተ ለውጥ ስልቶች? - ሁለቱም

ሃይ ሀብር!

ከሁለት ዓመት በፊት የተጻፉ ጽሑፎችን ያለ ኮድ እና ግልጽ በሆነ የትምህርት ትኩረት እዚህ ለመለጠፍ እምብዛም አንደፍርም - ዛሬ ግን ለየት ያለ እናደርጋለን። በአንቀጹ ርዕስ ላይ የቀረበው አጣብቂኝ ብዙ አንባቢዎቻችንን እንደሚያስጨንቀን ተስፋ እናደርጋለን፣ እናም ይህ ልጥፍ በዋናው ላይ የሚከራከርበትን የዝግመተ ለውጥ ስልቶች ላይ ያለውን መሰረታዊ ስራ አንብበሃል ወይም አሁን ታነባለህ። ወደ ድመቷ እንኳን ደህና መጡ!

እ.ኤ.አ. በማርች 2017 OpenAI ጽሑፉን በማተም በጥልቅ ትምህርት ማህበረሰብ ውስጥ ጩኸት ፈጠረ።የዝግመተ ለውጥ ስልቶች እንደ ማጠናከሪያ ትምህርት እንደ ተለዋዋጭ አማራጭ” በማለት ተናግሯል። በዚህ ጽሑፍ ውስጥ አስደናቂ ውጤቶች ብርሃኑ በማጠናከሪያ ትምህርት (RL) ላይ እንዳልተጣመረ የሚደግፉ ናቸው, እና ውስብስብ የነርቭ አውታሮችን ሲያሠለጥኑ ሌሎች ዘዴዎችን መሞከር ተገቢ ነው. ከዚያም የማጠናከሪያ ትምህርትን አስፈላጊነት እና ችግሮችን ለመፍታት "የግዴታ" ቴክኖሎጂ ደረጃ እንዴት እንደሚገባው ውይይት ተካሂዷል. እዚህ ስለ እነዚህ ሁለት ቴክኖሎጂዎች እንደ ተፎካካሪነት መቆጠር እንደሌለባቸው መናገር እፈልጋለሁ, አንደኛው በግልጽ ከሌላው የተሻለ ነው; በተቃራኒው በመጨረሻ እርስ በርስ ይሟላሉ. በእርግጥ, ለመፍጠር ስለሚያስፈልጉት ነገሮች ትንሽ ካሰቡ አጠቃላይ AI እና በነሱ ሕልውና ውስጥ የመማር ፣ የመፍረድ እና የማቀድ ችሎታ ያላቸው እንደዚህ ያሉ ሥርዓቶች ፣ ከዚያ ይህ ወይም ያ የተቀናጀ መፍትሄ ለዚህ አስፈላጊ ነው ወደሚል መደምደሚያ ላይ እንደምንደርስ እርግጠኛ ነው ። በነገራችን ላይ በዝግመተ ለውጥ ሂደት ውስጥ አጥቢ እንስሳትን እና ሌሎች ከፍተኛ እንስሳትን ወደ ጥምር መፍትሄ የመጣው ተፈጥሮ ነበር።

የዝግመተ ለውጥ ስልቶች

የOpenAI መጣጥፍ ዋና ጭብጥ የማጠናከሪያ ትምህርትን ከባህላዊ የጀርባ ስርጭት ጋር በማጣመር ከመጠቀም ይልቅ "የዝግመተ ለውጥ ስትራቴጂ" (ES) እየተባለ የሚጠራውን በመጠቀም ውስብስብ ችግሮችን ለመፍታት የነርቭ ኔትወርክን በተሳካ ሁኔታ ማሰልጠናቸው ነበር። እንዲህ ዓይነቱ የ ES አቀራረብ በኔትወርክ ሰፊ የክብደት ስርጭትን መጠበቅ ነው, እና ብዙ ወኪሎች በትይዩ የሚሰሩ እና ከዚህ ስርጭት የተመረጡ መለኪያዎችን ይጠቀማሉ. እያንዳንዱ ወኪል የሚሰራው በራሱ አካባቢ ነው፣ እና የተወሰኑ የትዕይንት ክፍሎች ወይም የትዕይንት ደረጃዎች ሲጠናቀቅ፣ አልጎሪዝም እንደ የአካል ብቃት ውጤት የተገለጸውን ድምር ሽልማት ይመልሳል። ከዚህ ዋጋ አንጻር የመለኪያዎች ስርጭቱ ወደ ስኬታማ ወኪሎች ሊሸጋገር ይችላል, ይህም ብዙም ያልተሳካላቸው. በመቶዎች የሚቆጠሩ ወኪሎች በሚሳተፉበት ጊዜ በሚሊዮኖች ለሚቆጠሩ ጊዜያት እንዲህ ዓይነቱን ቀዶ ጥገና በመድገም የክብደት ስርጭትን ወደ ቦታው ማዛወር እና ተወካዮች ተግባራቸውን ለመፍታት የጥራት ፖሊሲን ለመቅረጽ ያስችለናል. በእርግጥ በአንቀጹ ውስጥ የቀረቡት ውጤቶች አስደናቂ ናቸው-አንድ ሺህ ወኪሎችን በትይዩ የሚሮጡ ከሆነ ፣ ከዚያ በሁለት እግሮች ላይ አንትሮፖሞርፊክ ሎኮሞሽን ከግማሽ ሰዓት ባነሰ ጊዜ ውስጥ መማር እንደሚቻል ያሳያል (ነገር ግን በጣም የላቁ የ RL ዘዴዎች እንኳን የበለጠ ይፈልጋሉ) አንድ ሰዓት). ለበለጠ ዝርዝር መረጃ በጣም ጥሩውን እንዲያነቡ እመክራለሁ። ፖስት ከሙከራው ደራሲዎች, እንዲሁም ሳይንሳዊ ጽሑፍ.

አንትሮፖሞርፊክ ቀጥ ያለ የእግር ጉዞን ለማስተማር የተለያዩ ስልቶች ከOpenAI's ES ዘዴ ተማሩ።

ጥቁር ሳጥን

የዚህ ዘዴ ትልቅ ጥቅም በቀላሉ ትይዩ ሊሆን ይችላል. እንደ A3C ያሉ የRL ዘዴዎች በሠራተኛ ክሮች እና በፓራሜትር አገልጋይ መካከል መለዋወጥ የሚያስፈልጋቸው ቢሆንም፣ ES የማረጋገጫ ነጥቦችን እና አጠቃላይ የመለኪያ ስርጭት መረጃን ብቻ ይፈልጋል። በትክክል በዚህ ቀላልነት ምክንያት ይህ ዘዴ ከዘመናዊው የ RL ዘዴዎች በመለኪያ ችሎታዎች እጅግ የላቀ ነው. ሆኖም ግን, ይህ ሁሉ በከንቱ አይደለም: በጥቁር ሳጥን መርህ መሰረት ኔትወርክን ማመቻቸት አለብዎት. በዚህ ጉዳይ ላይ "ጥቁር ሣጥን" ማለት በስልጠና ወቅት የኔትወርክ ውስጣዊ መዋቅር ሙሉ በሙሉ ችላ ይባላል, እና አጠቃላይ ውጤቱ (በአንድ ክፍል ሽልማት) ብቻ ጥቅም ላይ ይውላል, እና የአንድ የተወሰነ አውታረ መረብ ክብደቶች እንደሚሆኑ ይወሰናል. በሚቀጥሉት ትውልዶች ይወርሳሉ. ከአካባቢው ብዙ ግብረ መልስ ባላገኘንበት ሁኔታ - እና በብዙ ባህላዊ የ RL ተግባራት የሽልማት ዥረቱ በጣም አናሳ ነው - ችግሩ ከ "ከፊል ጥቁር ሳጥን" ወደ "ሙሉ ጥቁር ሳጥን" ይሄዳል. በዚህ ሁኔታ አፈፃፀሙን በቁም ነገር ማሻሻል ይቻላል, ስለዚህ, በእርግጥ, እንዲህ ዓይነቱ ስምምነት ትክክለኛ ነው. " ለማንኛውም ተስፋ ቢስ ጫጫታ ካላቸው ግሬዲየንቶች ማን ያስፈልጋቸዋል?" የሚለው አጠቃላይ አስተያየት ነው።

ነገር ግን፣ አስተያየቱ ይበልጥ ንቁ በሆነባቸው ሁኔታዎች፣ ነገሮች ለ ES ስህተት መሄድ ይጀምራሉ። የOpenAI ቡድን ቀላል የMNIST ምደባ አውታረ መረብ ኢኤስን በመጠቀም እንዴት እንደሰለጠነ ይገልፃል፣ እና በዚህ ጊዜ ስልጠናው 1000 ጊዜ የቀነሰ ነው። እውነታው ግን በምስል ምደባ ውስጥ ያለው የግራዲየንት ምልክት አውታረ መረቡን የተሻለ ምደባ እንዴት ማስተማር እንደሚቻል ላይ እጅግ በጣም መረጃ ሰጭ ነው። ስለዚህም ችግሩ በ RL ቴክኒክ ሳይሆን ጫጫታ ቀስ በቀስ በሚሰጡ አከባቢዎች ላይ ባሉ ጥቂት ሽልማቶች ነው።

በተፈጥሮ የተገኘው መፍትሄ

ከተፈጥሮ ለመማር ከሞከሩ, AIን ለማዳበር መንገዶችን በማሰብ, በአንዳንድ ሁኔታዎች AI እንደ ሊወከል ይችላል ችግርን መሰረት ያደረገ አቀራረብ. ደግሞም ተፈጥሮ የኮምፒዩተር ሳይንቲስቶች በሌሉት ገደብ ውስጥ ይሰራል። አንድን ችግር ለመፍታት በንድፈ ሃሳብ ብቻ የሚደረግ አቀራረብ ከተጨባጭ አማራጮች የበለጠ ውጤታማ መፍትሄዎችን ይሰጣል የሚል አስተያየት አለ። ሆኖም፣ በተወሰኑ ገደቦች (መሬት) ስር የሚንቀሳቀሰው ተለዋዋጭ ስርዓት ተለዋዋጭ እና ውስብስብ ባህሪ ያላቸውን ወኪሎች (እንስሳት፣ በተለይም አጥቢ እንስሳት) እንዴት እንደፈጠረ መፈተሽ አሁንም ጠቃሚ ነው ብዬ አምናለሁ። ከእነዚህ ገደቦች ውስጥ አንዳንዶቹ በመረጃ ሳይንስ አስመሳይ ዓለማት ውስጥ የማይተገበሩ ሲሆኑ፣ ሌሎቹ ግን ጥሩ ናቸው።

የአጥቢ እንስሳትን አእምሯዊ ባህሪ ከተመለከትን ፣ የተፈጠረው በሁለት የተሳሰሩ ሂደቶች ውስብስብ በሆነ የጋራ ተፅእኖ የተነሳ መሆኑን እናያለን- ከተሞክሮ መማር и በማድረግ መማር. የመጀመሪያው በተፈጥሮ ምርጫ ብዙ ጊዜ ከዝግመተ ለውጥ ጋር ተለይቶ ይታወቃል፣ ግን እዚህ ሰፋ ያለ ቃል እየተጠቀምኩበት ነው ኤፒጄኔቲክስ፣ ማይክሮባዮሞች እና ሌሎች እርስ በርስ በጄኔቲክ ግንኙነት በሌላቸው ፍጥረታት መካከል የልምድ ልውውጥ ለማድረግ የሚረዱ ዘዴዎችን ለማካተት ነው። ሁለተኛው ሂደት, በመማር መማር, አንድ እንስሳ በሕይወት ዘመኑ ሁሉ ለመማር የሚተዳደረው መረጃ ነው, እና ይህ መረጃ በቀጥታ ይህ እንስሳ ከውጭው ዓለም ጋር ባለው ግንኙነት ምክንያት ነው. ይህ ምድብ ከመማር ጀምሮ ነገሮችን ለይቶ ማወቅ እስከ በመማር ሂደት ውስጥ ያለውን ግንኙነት እስከመቆጣጠር ድረስ ሁሉንም ያካትታል።

በግምት, እነዚህ ሁለት በተፈጥሮ ውስጥ የሚከሰቱ ሂደቶች የነርቭ አውታረ መረቦችን ለማመቻቸት ከሁለት አማራጮች ጋር ሊመሳሰሉ ይችላሉ. የዝግመተ ለውጥ ስልቶች፣ ስለ gradients መረጃ ስለ አካል መረጃ ለማዘመን ጥቅም ላይ የሚውለው፣ ከተሞክሮ ለመማር እየቀረበ ነው። በተመሳሳይ ፣ ይህንን ወይም ያንን ልምድ ማግኘቱ በወኪሉ ባህሪ ላይ አንዳንድ ለውጦችን የሚያመጣበት የግራዲየንት ዘዴዎች ፣ ከተሞክሮ ከመማር ጋር ይወዳደራሉ። አንድ ሰው ስለ አእምሮአዊ ባህሪ ዓይነቶች ወይም እያንዳንዳቸው እነዚህ ሁለት አቀራረቦች በእንስሳት ውስጥ ስለሚያዳብሩት ችሎታዎች ቢያስብ, እንዲህ ዓይነቱ ንጽጽር ይበልጥ ግልጽ ይሆናል. በሁለቱም ሁኔታዎች "የዝግመተ ለውጥ ዘዴዎች" የተወሰነ የአካል ብቃት እድገትን (በህይወት ለመቆየት በቂ) የሚፈቅደውን ምላሽ ሰጪ ባህሪያት ጥናትን ያበረታታሉ. መራመድ ወይም ከምርኮ ማምለጥ መማር በብዙ ሁኔታዎች በጄኔቲክ ደረጃ በብዙ እንስሳት ውስጥ "በደመ ነፍስ" ባህሪያት ጋር እኩል ነው. በተጨማሪም፣ ይህ ምሳሌ የሽልማት ምልክቱ እጅግ በጣም አልፎ አልፎ በሚታይበት ጊዜ የዝግመተ ለውጥ ዘዴዎች ተፈጻሚነት እንደሚኖራቸው ያረጋግጣል (ለምሳሌ ፣ ግልገል በተሳካ ሁኔታ የማሳደግ እውነታ)። በእንዲህ ያለ ሁኔታ, ይህ እውነታ ከመከሰቱ ከብዙ አመታት በፊት ሽልማቱን ከየትኛውም የተለየ ድርጊት ጋር ማዛመድ አይቻልም. በሌላ በኩል፣ ኢኤስ ያልተሳካለትን ጉዳይ ማለትም የምስል ምደባን ከተመለከትን፣ ውጤቶቹ ከ100+ ዓመታት በላይ በተደረጉ ስፍር ቁጥር በሌላቸው የስነ-ልቦና ሙከራዎች ከተገኙት የእንስሳት ትምህርት ውጤቶች ጋር የሚነፃፀር ነው።

የእንስሳት ትምህርት

በማጠናከሪያ ትምህርት ውስጥ ጥቅም ላይ የሚውሉት ዘዴዎች በብዙ ጉዳዮች ላይ በቀጥታ ከሥነ-ልቦና ጽሑፎች የተወሰዱ ናቸው ኦፕሬቲንግ ኮንዲሽነር, እና ኦፕሬቲንግ ኮንዲሽን በእንስሳት ሳይኮሎጂ ቁሳቁስ ላይ ተጠንቷል. በነገራችን ላይ ከሁለቱ የማጠናከሪያ ትምህርት መስራቾች አንዱ የሆነው ሪቻርድ ሱተን በስነ ልቦና የመጀመሪያ ዲግሪ አለው። በኦፕሬቲንግ ኮንዲሽን አውድ ውስጥ እንስሳት ሽልማትን ወይም ቅጣትን ከተወሰኑ የባህሪ ቅጦች ጋር ማያያዝ ይማራሉ ። አሰልጣኞች እና ተመራማሪዎች ይህንን የሽልማት ማህበር በአንድ ወይም በሌላ መንገድ ሊጠቀሙበት ይችላሉ, ይህም እንስሳትን የማሰብ ችሎታን ወይም አንዳንድ ባህሪያትን እንዲያሳዩ ያነሳሳቸዋል. ይሁን እንጂ በእንስሳት ምርምር ውስጥ ጥቅም ላይ የሚውለው ኦፕሬቲንግ ኮንዲሽነር እንስሳት በሕይወት ዘመናቸው ሁሉ ከሚማሩት ኮንዲሽነሪንግ የበለጠ ግልጽ የሆነ መልክ ብቻ አይደለም. ከአካባቢው አወንታዊ ማጠናከሪያ ምልክቶችን በየጊዜው እንቀበላለን እና ባህሪያችንን በዚሁ መሰረት እናስተካክላለን. በእርግጥ ብዙ የነርቭ ሳይንቲስቶች እና የግንዛቤ ባለሙያዎች ሰዎች እና ሌሎች እንስሳት በእውነቱ አንድ ደረጃ እንኳ እንደሚሠሩ ያምናሉ እናም ለወደፊቱ ሁኔታዎች ሊሆኑ የሚችሉትን ሽልማቶች በመጠባበቅ የባህሪያቸውን ውጤት ለመተንበይ ይማራሉ ።

በተሞክሮ ትምህርት ውስጥ የትንበያ ትምህርት ማዕከላዊ ሚና ከላይ የተገለጹትን ተለዋዋጭ ሁኔታዎች በጣም ጉልህ በሆነ መንገድ ይለውጠዋል። ከዚህ ቀደም በጣም ትንሽ ነው ተብሎ ይታሰብ የነበረው ምልክት (ኤፒሶዲክ ሽልማት) በጣም ጥቅጥቅ ያለ ሆኖ ተገኝቷል። በንድፈ ሀሳባዊ ሁኔታ ሁኔታው ​​​​እንዲህ ያለ ነው-በእያንዳንዱ ቅጽበት, አጥቢ እንስሳው አንጎል በተወሳሰበ የስሜት ማነቃቂያዎች እና ድርጊቶች ላይ በመመርኮዝ ውጤቱን ያሰላል, እንስሳው በቀላሉ በዚህ ጅረት ውስጥ ይጠመቃል. በዚህ ሁኔታ የእንስሳቱ የመጨረሻ ባህሪ ጥቅጥቅ ያለ ምልክት ይሰጣል, ትንበያዎችን ለማረም እና ባህሪን ለማዳበር መመራት አለበት. አንጎል እነዚህን ሁሉ ምልክቶች የሚጠቀመው ወደፊት ትንበያዎችን ለማመቻቸት ነው (እና በዚህ መሰረት የተከናወኑ ተግባራት ጥራት)። የዚህ አቀራረብ አጠቃላይ እይታ በጣም ጥሩ በሆነው መጽሐፍ ውስጥ ተሰጥቷል "የሰርፊንግ እርግጠኛ አለመሆን” የግንዛቤ ሳይንቲስት እና ፈላስፋ አንዲ ክላርክ። እንዲህ ዓይነቱ አስተሳሰብ ሰው ሰራሽ ወኪሎችን ለማሰልጠን ከተገለበጠ ፣የማጠናከሪያ ትምህርት መሠረታዊ ጉድለትን ያሳያል-በዚህ ምሳሌ ውስጥ ጥቅም ላይ የዋለው ምልክት ሊሆን ከሚችለው (ወይም መሆን ካለበት) ጋር ሲነፃፀር ተስፋ ቢስ ሆኖ ይታያል። የሲግናል ሙሌት መጨመር በማይቻልበት ጊዜ (ምናልባት በፍቺ ደካማ ወይም ከዝቅተኛ ደረጃ ምላሽ ጋር የተቆራኘ ስለሆነ) ምናልባት ጥሩ ትይዩ የሆነ የስልጠና ዘዴን መምረጥ የተሻለ ነው, ለምሳሌ ES.

የበለፀገ የነርቭ አውታረ መረቦች ስልጠና

በአጥቢ አጥቢ አእምሮ ውስጥ ባለው ከፍተኛ የነርቭ እንቅስቃሴ መርሆች ላይ በመመርኮዝ ፣ ያለማቋረጥ ትንበያ ላይ የተሰማራ ፣ በቅርብ ጊዜ የማጠናከሪያ ትምህርት አንዳንድ መሻሻል ታይቷል ፣ አሁን የእንደዚህ ያሉ ትንበያዎችን አስፈላጊነት ግምት ውስጥ ያስገባል። ልክ ከሌሊት ወፍ፣ ሁለት ተመሳሳይ ስራዎችን ልመክርህ እችላለሁ፡-

• ስለ ወደፊቱ ጊዜ በመተንበይ እርምጃ መውሰድን መማር
• ክትትል በማይደረግበት ረዳት ተግባራት ትምህርትን ማጠናከር

በእነዚህ ሁለቱም ወረቀቶች ደራሲዎቹ የነርቭ ኔትወርኮችን የተለመዱ ነባሪ ፖሊሲን ለወደፊቱ የአካባቢ ሁኔታን በሚመለከቱ ትንበያዎች ያሟሉታል. በመጀመሪያው ጽሁፍ ላይ ትንበያ በተለያዩ የመለኪያ ተለዋዋጮች ላይ ይተገበራል, እና በሁለተኛው ውስጥ, በአካባቢው ለውጦች እና እንደ ወኪሉ ባህሪ. በሁለቱም ሁኔታዎች፣ ከአዎንታዊ ማጠናከሪያ ጋር የተገናኘው ትንሽ ምልክት የበለጠ የበለፀገ እና የበለጠ መረጃ ሰጪ ይሆናል፣ ይህም ሁለቱንም የተፋጠነ ትምህርት እና የበለጠ ውስብስብ የባህሪ ቅጦችን ማግኘት ይችላል። እንደነዚህ ያሉ ማሻሻያዎች የሚገኙት እንደ ES ባሉ የጥቁር ሣጥን ዘዴዎች ሳይሆን ቀስ በቀስ የምልክት ዘዴዎች ብቻ ነው።

በተጨማሪም፣ በመሥራት እና ቀስ በቀስ የመማር ዘዴዎች የበለጠ ውጤታማ ናቸው። በእነዚያ ሁኔታዎች ውስጥ እንኳን የማጠናከሪያ ትምህርትን ከመጠቀም ይልቅ የ ES ዘዴን በመጠቀም የተለየ ችግር ለማጥናት በሚቻልበት ጊዜ ፣ትርፉ የተገኘው በ ES ስትራቴጂ ውስጥ ከ RL የበለጠ ብዙ ጊዜ በመጨመሩ ነው። በዚህ ጉዳይ ላይ ከእንስሳት የመማር መርሆችን በማንፀባረቅ ፣ ከሌላ ሰው ምሳሌ የመማር ውጤት ከብዙ ትውልዶች በኋላ እራሱን እንደሚገለጥ እናስተውላለን ፣ አንዳንድ ጊዜ ከራሱ ልምድ አንድ ነጠላ ክስተት እንስሳ ለዘላለም ትምህርት እንዲወስድ በቂ ነው። ተመሳሳይ ሆኖ ሳለ ያለ ምሳሌዎች መማር ከባህላዊ የግራዲየንት ዘዴዎች ጋር የማይጣጣም ቢሆንም፣ ከ ES የበለጠ ለመረዳት የሚቻል ነው። ለምሳሌ, እንደ አቀራረቦች አሉ የነርቭ ኤፒሶዲክ ቁጥጥርበስልጠና ወቅት የ Q-እሴቶች የሚቀመጡበት ፣ ከዚያ በኋላ እርምጃ ከመውሰዱ በፊት ፕሮግራሙ በእነሱ ላይ ይፈትሻል። ችግሮችን ከበፊቱ በበለጠ ፍጥነት እንዴት እንደሚፈቱ ለመማር የሚያስችል የግራዲየንት ዘዴ ይወጣል። በኒውራል ኤፒሶዲክ ቁጥጥር ላይ በጻፈው ጽሑፍ ላይ ደራሲዎቹ ስለ አንድ ክስተት ከአንድ ልምድ በኋላም ቢሆን መረጃን ማቆየት የሚችለውን የሰው ሂፖካምፐስ ይጠቅሳሉ እና ስለዚህ ይጫወታል። ወሳኝ ሚና በማስታወስ ሂደት ውስጥ. እንደነዚህ ያሉ ዘዴዎች የወኪሉን ውስጣዊ አደረጃጀት ማግኘት ያስፈልጋቸዋል, ይህም በ ES ፓራዲም ውስጥ በትርጉም የማይቻል ነው.

ታዲያ ለምን አታዋህዳቸውም?

ምናልባት የዚህ ጽሑፍ አብዛኛው እኔ የ RL ዘዴዎችን እየደገፍኩ ነው የሚል ስሜት ሊተወው ይችል ነበር። ሆኖም ግን, እንደ እውነቱ ከሆነ, በረጅም ጊዜ ውስጥ, በጣም ጥሩው መፍትሄ የሁለቱም ዘዴዎች ጥምረት ነው, ስለዚህም እያንዳንዱ በጣም ተስማሚ በሆነ ሁኔታ ውስጥ ጥቅም ላይ ይውላል. በግልጽ ለማየት እንደሚቻለው፣ ብዙ ምላሽ ሰጪ ፖሊሲዎች ወይም በጣም ጥቂት አወንታዊ የማጠናከሪያ ምልክቶች ባለባቸው ሁኔታዎች፣ ኢኤስ ያሸንፋል፣ በተለይ በእርስዎ አጠቃቀም ላይ ያለው የማስላት ሃይል ካለ፣ በትልቅ ትይዩ ትምህርት ማካሄድ ይችላሉ። በሌላ በኩል የማጠናከሪያ ትምህርትን ወይም ክትትል የሚደረግበት ትምህርትን በመጠቀም የግራዲየንት ዘዴዎች ብዙ አስተያየቶች ሲኖሩን እና ችግሩ በፍጥነት እና በትንሽ መረጃ መማር ሲኖርብን ጠቃሚ ይሆናል።

ወደ ተፈጥሮ ስንዞር, የመጀመሪያው ዘዴ, በመሠረቱ, ለሁለተኛው መሠረት እንደሚጥል እናገኘዋለን. ለዚህም ነው በዝግመተ ለውጥ ሂደት ውስጥ አጥቢ እንስሳት ከአካባቢው ከሚመጡ ውስብስብ ምልክቶች ቁሳቁስ እጅግ በጣም ውጤታማ በሆነ መንገድ እንዲማሩ የሚያስችል አንጎል ያዳበሩት። ስለዚህ ጥያቄው ክፍት ሆኖ ይቆያል. ምናልባት የዝግመተ ለውጥ ስልቶች ውጤታማ የትምህርት አርክቴክቸር ለመፈልሰፍ ይረዱናል ቀስ በቀስ የመማር ዘዴዎችም ጠቃሚ ይሆናሉ። ደግሞም በተፈጥሮ የተገኘው መፍትሔ በእርግጥ በጣም የተሳካ ነው.

ምንጭ: hab.com