መስመራዊ መመለሻ እና ለማገገም ዘዴዎች

ምንጭ: xkcd

መስመራዊ ሪግሬሽን ከመረጃ ትንተና ጋር ለተያያዙ ብዙ ቦታዎች ከመሰረታዊ ስልተ ቀመሮች አንዱ ነው። የዚህ ምክንያቱ ግልጽ ነው. ይህ በጣም ቀላል እና ሊረዳ የሚችል ስልተ-ቀመር ነው, እሱም ለብዙ አስር, ካልሆነ በመቶዎች ለሚቆጠሩ ዓመታት በስፋት ጥቅም ላይ እንዲውል አስተዋጽኦ አድርጓል. ሃሳቡ የአንድ ተለዋዋጭ ቀጥተኛ ጥገኛ በሌሎች ተለዋዋጮች ስብስብ ላይ እንገምታለን እና ከዚያ ይህን ጥገኝነት ለመመለስ እንሞክራለን።

ነገር ግን ይህ ጽሁፍ ተግባራዊ ችግሮችን ለመፍታት መስመራዊ ሪግሬሽን ስለመጠቀም አይደለም። እዚህ ላይ የማሽን መማሪያ ሞጁሉን ስንጽፍ ያጋጠመንን መልሶ ለማግኘት የተከፋፈሉ አልጎሪዝም አተገባበር አስደሳች ገጽታዎችን እንመለከታለን። Apache Ignite. ትንሽ መሰረታዊ ሂሳብ፣ የማሽን መማር እና የተከፋፈለ ኮምፒዩቲንግ መረጃዎ በሺዎች በሚቆጠሩ ኖዶች ላይ በሚሰራጭበት ጊዜም እንኳ መስመራዊ ሪግሬሽን እንዴት እንደሚሰሩ ለማወቅ ይረዳዎታል።

ስለ ምን እያወራን ነው?

መስመራዊ ጥገኛን ወደነበረበት የመመለስ ተግባር ገጥሞናል። እንደ ግብዓት መረጃ፣ ራሳቸውን የቻሉ ተለዋዋጮች ስብስብ የቬክተር ስብስብ ተሰጥቷል፣ እያንዳንዱም ከጥገኛ ተለዋዋጭ እሴት ጋር የተቆራኘ ነው። ይህ ውሂብ በሁለት ማትሪክስ መልክ ሊወከል ይችላል፡-

አሁን ፣ ጥገኝነቱ ስለሚታሰብ ፣ እና እንዲሁም መስመራዊ ፣ የእኛን ግምት በማትሪክስ ምርት መልክ እንጽፋለን (ቀረጻውን ለማቃለል ፣ እዚህ እና ከዚህ በታች የእኩልታው ነፃ ቃል ከኋላው እንደተደበቀ ይታሰባል) , እና የማትሪክስ የመጨረሻው አምድ ክፍሎች አሉት፡-

የመስመራዊ እኩልታዎች ስርዓት ይመስላል ፣ አይደል? ይመስላል, ግን በአብዛኛው ለእንደዚህ ዓይነቱ የእኩልታዎች ስርዓት ምንም መፍትሄዎች አይኖሩም. የዚህ ምክንያቱ ጫጫታ ነው, እሱም በማንኛውም እውነተኛ መረጃ ውስጥ ይገኛል. ሌላው ምክንያት እንደ መስመራዊ ጥገኝነት አለመኖር ሊሆን ይችላል, ይህም በኦርጅናሎች ላይ ያልተለመዱ ተጨማሪ ተለዋዋጮችን በማስተዋወቅ ሊታገል ይችላል. የሚከተለውን ምሳሌ ተመልከት።

ምንጭ: ውክፔዲያ

ይህ የአንድ ተለዋዋጭ ግንኙነት (በዘንጉ ላይ) ያለውን ግንኙነት የሚያሳይ ቀላል የመስመራዊ መመለሻ ምሳሌ ነው። ) ከሌላ ተለዋዋጭ (በአክሱ በኩል ). ከዚህ ምሳሌ ጋር የሚዛመዱ የመስመራዊ እኩልታዎች ስርዓት መፍትሄ እንዲያገኝ፣ ሁሉም ነጥቦች በትክክል በተመሳሳይ ቀጥታ መስመር ላይ መተኛት አለባቸው። ግን ያ እውነት አይደለም። ነገር ግን በጩኸት (ወይንም የመስመራዊ ግንኙነት ግምት የተሳሳተ ስለነበር) በተመሳሳይ ቀጥተኛ መስመር ላይ አይዋሹም. ስለዚህ, ከትክክለኛው መረጃ ላይ ቀጥተኛ ግንኙነትን ለመመለስ, ብዙውን ጊዜ አንድ ተጨማሪ ግምትን ማስተዋወቅ አስፈላጊ ነው-የግብአት መረጃው ጫጫታ ይይዛል እና ይህ ድምጽ አለው. መደበኛ ስርጭት. ስለ ሌሎች የድምፅ ማከፋፈያ ዓይነቶች ግምቶችን ማድረግ ይችላሉ, ነገር ግን በአብዛኛዎቹ ጉዳዮች ላይ የተለመደው ስርጭት ነው, ይህም የበለጠ ይብራራል.

ከፍተኛው የዕድል ዘዴ

ስለዚህ፣ በዘፈቀደ የተከፋፈለ ጫጫታ መኖሩን ገምተናል። በእንደዚህ ዓይነት ሁኔታ ውስጥ ምን መደረግ አለበት? ለዚህ ጉዳይ በሂሳብ ውስጥ አለ እና በሰፊው ጥቅም ላይ ይውላል ከፍተኛው ዕድል ዘዴ. በአጭሩ, ዋናው ነገር በምርጫው ላይ ነው ዕድል ተግባራት እና ቀጣይ ከፍተኛው.

ከተለመደው ጫጫታ ጋር ከውሂብ ወደ መስመራዊ ግንኙነት ወደነበረበት እንመለሳለን። የታሰበው የመስመር ግንኙነት የሂሳብ መጠበቅ መሆኑን ልብ ይበሉ አሁን ያለው መደበኛ ስርጭት. በተመሳሳይ ጊዜ, የመሆን እድሉ ታዛቢዎች መኖራቸውን ተከትሎ አንድ ወይም ሌላ እሴት ይወስዳል , እንደሚከተለው:

አሁን በምትኩ እንተኩ и የምንፈልጋቸው ተለዋዋጮች፡-

የሚቀረው ቬክተሩን መፈለግ ብቻ ነው , በዚህ ላይ ይህ ዕድል ከፍተኛ ነው. እንዲህ ዓይነቱን ተግባር ከፍ ለማድረግ በመጀመሪያ እሱን ሎጋሪዝም ለመውሰድ ምቹ ነው (የሥራው ሎጋሪዝም ከተግባሩ ጋር በተመሳሳይ ነጥብ ላይ ይደርሳል)

የትኛው፣ በተራው፣ የሚከተለውን ተግባር ለመቀነስ ይወርዳል።

በነገራችን ላይ ይህ ዘዴ ይባላል ቢያንስ ካሬዎች. ብዙውን ጊዜ ሁሉም ከላይ የተገለጹት አስተያየቶች ተትተዋል እና ይህ ዘዴ በቀላሉ ጥቅም ላይ ይውላል.

QR መበስበስ

ከላይ የተጠቀሰው ተግባር ዝቅተኛው የዚህ ተግባር ቅልመት ዜሮ የሆነበትን ነጥብ በማግኘት ሊገኝ ይችላል። እና ቅልጥፍናው እንደሚከተለው ይጻፋል፡-

QR መበስበስ በትንሹ የካሬዎች ዘዴ ጥቅም ላይ የዋለውን የመቀነስ ችግር ለመፍታት የማትሪክስ ዘዴ ነው። በዚህ ረገድ ፣ እኩልታውን በማትሪክስ ቅርፅ እንደገና እንጽፋለን-

ስለዚህ ማትሪክስ እናበስባለን ወደ ማትሪክስ и እና ተከታታይ ለውጦችን ያከናውኑ (የQR መበስበስ ስልተ ቀመር ራሱ እዚህ ላይ አይታሰብም ፣ ከተያዘው ተግባር ጋር በተያያዘ አጠቃቀሙ ብቻ)

ማትሪክስ orthogonal ነው. ይህ ስራውን ለማስወገድ ያስችለናል :

እና ከተተካ ላይ , ከዚያም ይሠራል . ያንን ግምት ውስጥ በማስገባት የላይኛው የሶስት ማዕዘን ማትሪክስ ነው፣ ይህን ይመስላል

ይህ የመተካት ዘዴን በመጠቀም ሊፈታ ይችላል. ንጥረ ነገር እንደ ይገኛል , የቀድሞ አባል እንደ ይገኛል እና የመሳሰሉት.

በ QR መበስበስ አጠቃቀም ምክንያት የተገኘው የአልጎሪዝም ውስብስብነት እዚህ ጋር እኩል መሆኑን ልብ ሊባል ይገባል . ከዚህም በላይ የማትሪክስ ማባዛት ክዋኔው በጥሩ ሁኔታ ትይዩ ቢሆንም, የዚህ ስልተ ቀመር ውጤታማ የሆነ የተከፋፈለ ስሪት መጻፍ አይቻልም.

ቀስ በቀስ መውረድ

አንድን ተግባር ስለማሳነስ ሲናገሩ ሁልጊዜም (ስቶካስቲክ) ቀስ በቀስ የመውረድ ዘዴን ማስታወስ ጠቃሚ ነው። ይህ የአንድን ተግባር ቅልመት በአንድ ነጥብ ላይ ደጋግሞ በማስላት እና ከዚያም ወደ ቅልመት ተቃራኒ አቅጣጫ በማዞር ላይ የተመሰረተ ቀላል እና ውጤታማ የማሳነስ ዘዴ ነው። እያንዳንዱ እንደዚህ አይነት እርምጃ መፍትሄውን ወደ ዝቅተኛው ቅርብ ያደርገዋል. ቅልጥፍናው አሁንም ተመሳሳይ ይመስላል፡-

ይህ ዘዴ በጥሩ ሁኔታ ትይዩ እና የተከፋፈለው በግራዲየንት ኦፕሬተር መስመራዊ ባህሪያት ምክንያት ነው። ከላይ ባለው ቀመር ውስጥ በድምር ምልክት ስር ገለልተኛ ቃላት እንዳሉ ልብ ይበሉ. በሌላ አነጋገር፣ ለሁሉም ኢንዴክሶች ቅልመትን ለብቻው ማስላት እንችላለን ከመጀመሪያው እስከ , ከዚህ ጋር በትይዩ, ለ ኢንዴክሶች ቅልመትን ያሰሉ ወደ . ከዚያ የተገኙትን ቀስቶች ይጨምሩ. የመደመር ውጤቱ ልክ ከመጀመሪያው እስከ ኢንዴክሶች ቅልመትን ካሰላነው ጋር ተመሳሳይ ይሆናል። . ስለዚህ ፣ ውሂቡ በበርካታ የውሂብ ቁርጥራጮች መካከል ከተሰራጨ ፣ ቅልጥፍናው በእያንዳንዱ ቁራጭ ላይ በተናጥል ሊሰላ ይችላል ፣ እና የመጨረሻውን ውጤት ለማግኘት የእነዚህ ስሌቶች ውጤቶች ሊጠቃለሉ ይችላሉ-

ከአተገባበር አንፃር ይህ ከምሳሌው ጋር ይጣጣማል የካርታ ቅነሳ. በእያንዳንዱ የግራዲየንት መውረድ ደረጃ፣ ቅልመትን ለማስላት አንድ ተግባር ወደ እያንዳንዱ የመረጃ መስቀለኛ መንገድ ይላካል፣ ከዚያም የተሰላው ቅልመት አንድ ላይ ይሰበሰባል፣ እና ድምር ውጤቱ ውጤቱን ለማሻሻል ይጠቅማል።

በMapReduce ፓራዳይም ውስጥ የመተግበር ቀላልነት እና የማስፈጸም ችሎታ ቢሆንም፣ ቀስ በቀስ መውረድም የራሱ ድክመቶች አሉት። በተለይም ከሌሎቹ የበለጠ ልዩ ዘዴዎች ጋር ሲነፃፀሩ ውህደትን ለማግኘት የሚያስፈልጉት የእርምጃዎች ብዛት በከፍተኛ ደረጃ ከፍ ያለ ነው።

LSQR

LSQR ለችግሩ መፍትሄ የሚሆን ሌላ ዘዴ ነው፣ ይህም የመስመራዊ ተሃድሶን ወደነበረበት ለመመለስ እና የመስመራዊ እኩልታዎችን ስርዓቶችን ለመፍታት ተስማሚ ነው። ዋናው ባህሪው የማትሪክስ ዘዴዎችን እና ተደጋጋሚ አቀራረብን ጥቅሞችን ያጣምራል. የዚህ ዘዴ አተገባበር በሁለቱም ቤተ-መጻሕፍት ውስጥ ሊገኝ ይችላል ሲሲፒ, እና ውስጥ MATLAB. የዚህ ዘዴ መግለጫ እዚህ አይሰጥም (በጽሁፉ ውስጥ ሊገኝ ይችላል LSQR፡ ለትንንሽ የመስመራዊ እኩልታዎች እና ትንሽ ትንሽ ካሬዎች አልጎሪዝም). በምትኩ፣ LSQRን በተከፋፈለ አካባቢ ውስጥ ለማስፈጸም ለማስማማት አንድ አቀራረብ ይታያል።

የ LSQR ዘዴ የተመሰረተው በ የሁለትዮሽ ሂደት. ይህ ተደጋጋሚ ሂደት ነው, እያንዳንዱ ድግግሞሽ የሚከተሉትን ደረጃዎች ያካትታል:


ነገር ግን ማትሪክስ እንደሆነ ከወሰድን በአግድም የተከፋፈለ ነው፣ ከዚያም እያንዳንዱ ድግግሞሽ እንደ ሁለት MapReduce ደረጃዎች ሊወከል ይችላል። በዚህ መንገድ በእያንዳንዱ ድግግሞሽ ጊዜ የውሂብ ዝውውሮችን መቀነስ ይቻላል (ከማይታወቁ ቁጥር ጋር እኩል የሆነ ርዝመት ያላቸው ቬክተሮች ብቻ)

መስመራዊ ሪግሬሽን ወደ ውስጥ ሲተገበር ጥቅም ላይ የሚውለው ይህ አካሄድ ነው። Apache Ignite ML.

መደምደሚያ

ብዙ የመስመሮች ሪግሬሽን መልሶ ማግኛ ስልተ ቀመሮች አሉ, ነገር ግን ሁሉም በሁሉም ሁኔታዎች ውስጥ ሊተገበሩ አይችሉም. ስለዚህ QR መበስበስ በትንሽ የውሂብ ስብስቦች ላይ ለትክክለኛ መፍትሄ በጣም ጥሩ ነው. የግራዲየንት መውረድ ለመተግበር ቀላል ነው እና ግምታዊ መፍትሄ በፍጥነት እንዲያገኙ ያስችልዎታል። እና LSQR የቀደሙትን ሁለት ስልተ ቀመሮች ምርጥ ባህሪያትን ያጣምራል ፣ ምክንያቱም ሊሰራጭ ስለሚችል ፣ ከቅልመት ቁልቁለት ጋር ሲነፃፀር በፍጥነት ይሰበሰባል ፣ እና እንዲሁም ግምታዊ መፍትሄ ለማግኘት አልጎሪዝምን ቀደም ብሎ ማቆምን ያስችላል ፣ እንደ QR መበስበስ።

ምንጭ: hab.com