Макаланын максаты - башталгыч илимпоздорго колдоо көрсөтүү. IN Биз сызыктуу регрессия теңдемесин чечүүнүн үч жолун белгиледик: аналитикалык чечим, градиенттин түшүүсү, стохастикалык градиенттин түшүүсү. Андан кийин аналитикалык чечим үчүн формуланы колдондук . Бул макалада, аталышы көрүнүп тургандай, биз бул формуланы колдонууну актайбыз же башкача айтканда, аны өзүбүз чыгарабыз.
Эмне үчүн формулага кошумча көңүл буруунун мааниси бар ?
Дал ушул матрицалык теңдеме менен көпчүлүк учурларда сызыктуу регрессия менен тааныша башташат. Ошол эле учурда формуланын кандайча алынгандыгы жөнүндө деталдуу эсептөөлөр сейрек кездешет.
Мисалы, Яндекстен машина үйрөнүү курстарында студенттер регуляризация менен таанышканда, аларга китепкананын функцияларын колдонуу сунушталат. склерн, ал эми алгоритмдин матрицалык көрүнүшү жөнүндө бир да сөз айтылган эмес. Дал ушул учурда кээ бир угуучулар бул маселени тереңирээк түшүнүүнү каалашы мүмкүн - даяр функцияларды колдонбостон кодду жазыңыз. Ал үчүн адегенде регуляризатор менен теңдемени матрицалык формада көрсөтүү керек. Бул макала ушундай көндүмдөрдү өздөштүрүүнү каалагандарга мүмкүнчүлүк берет. Келиңиз баштайлы.
Баштапкы шарттар
Максаттуу индикаторлор
Бизде бир катар максаттуу баалуулуктар бар. Мисалы, максаттуу көрсөткүч ар кандай активдин баасы болушу мүмкүн: мунай, алтын, буудай, доллар ж.б. Ошол эле учурда, бир катар максаттуу көрсөткүчтөр менен биз байкоолордун санын түшүнөбүз. Мындай байкоолор, мисалы, жыл үчүн мунайдын айлык баасы болушу мүмкүн, башкача айтканда, биз 12 максаттуу мааниге ээ болот. Белгилерди киргизүүнү баштайлы. Максаттуу индикатордун ар бир маанисин деп белгилейли . Жалпысынан бизде байкоолор, бул биз байкоолорубузду көрсөтө алабыз дегенди билдирет .
Регрессорлор
Белгилүү бир деңгээлде максаттуу индикатордун маанилерин түшүндүргөн факторлор бар деп ойлойбуз. Мисалы, доллар/рубль курсуна мунайдын баасы, Федералдык резервдин курсу жана башкалар катуу таасир этет. Мындай факторлор регрессорлор деп аталат. Ошол эле учурда, ар бир максаттуу индикатордун мааниси регрессордук мааниге дал келиши керек, башкача айтканда, 12-жылы ар бир ай үчүн бизде 2018 максаттуу индикаторлор болсо, ошол эле мезгил үчүн бизде да 12 регрессордук маани болушу керек. Келгиле, ар бир регрессордун баалуулуктарын белгилейли . Биздин учурда бар болсун регрессорлор (б.а. максаттуу индикатордун маанилерине таасир этүүчү факторлор). Бул биздин регрессорлорду төмөнкүчө чагылдырууга болот дегенди билдирет: 1-регрессор үчүн (мисалы, мунайдын баасы): , 2-регрессор үчүн (мисалы, Fed курсу): , үчүн "-th" регрессор:
Максаттуу индикаторлордун регрессорлорго көз карандылыгы
Максаттуу индикатордун көз карандылыгы деп эсептейли регрессорлордон"th" байкоо төмөнкү түрдөгү сызыктуу регрессия теңдемеси аркылуу көрсөтүлүшү мүмкүн:
кайда - "-th" регрессордун мааниси 1ден ,
— регрессорлордун саны 1ден
— бурчтук коэффициенттер, алар регрессор өзгөргөндө эсептелген максаттуу көрсөткүч орточо өзгөрө турган сумманы билдирет.
Башкача айтканда, биз бардыгы үчүн (мындан тышкары ) регрессордун “биздин” коэффициентин аныктайбыз , андан кийин коэффициенттерди регрессорлордун маанилерине көбөйтүңүз "th "байкоо, натыйжада биз белгилүү бир жакындоону алабыз"-чи” максаттуу көрсөткүч.
Ошондуктан ушундай коэффициенттерди тандап алышыбыз керек , анда биздин жакындоочу функциянын маанилери максаттуу индикаторлордун маанилерине мүмкүн болушунча жакын жайгаштырылат.
Жакындоочу функциянын сапатын баалоо
Биз жакындоочу функциянын сапатын баалоону эң кичине квадраттар ыкмасы менен аныктайбыз. Бул учурда сапатты баалоо функциясы төмөнкү формада болот:
Биз $w$ коэффициенттеринин ушундай маанилерин тандап алышыбыз керек эң кичинеси болот.
Теңдемени матрицалык формага айландыруу
Вектордук көрсөтүү
Баштоо үчүн, жашооңузду жеңилдетүү үчүн, сызыктуу регрессия теңдемесине көңүл буруңуз жана биринчи коэффициентти байкаңыз. эч кандай регрессор менен көбөйтүлбөйт. Ошол эле учурда, биз маалыматтарды матрицалык формага айландырганда, жогоруда айтылган жагдай эсептөөлөрдү олуттуу кыйындатат. Буга байланыштуу биринчи коэффициентке дагы бир регрессор киргизүү сунушталууда жана аны бирине теңеңиз. Тагыраак айтканда, ар бир "бул регрессордун маанисин бирге теңеңиз - баары бир, бирге көбөйтүлгөндө, эсептөөлөрдүн натыйжасы көз карашынан эч нерсе өзгөрбөйт, бирок матрицалардын көбөйтүлүшү үчүн эрежелердин көз карашынан алганда, биздин азап олуттуу кыскартылат.
Азыр, материалды жөнөкөйлөтүү үчүн, бизде бир гана бар деп коёлу "-th" байкоо. Андан кийин, регрессорлордун баалуулуктарын элестетип көргүлө "вектор катары байкоолор . Вектор өлчөмү бар , башкача айтканда саптар жана 1 тилке:
Керектүү коэффициенттерди вектор катары көрсөтөлү , өлчөмгө ээ :
" үчүн сызыктуу регрессия теңдемеси-нчи" байкоо төмөнкүдөй формада болот:
Сызыктуу моделдин сапатын баалоо функциясы төмөнкү формада болот:
Матрицаны көбөйтүү эрежелерине ылайык, биз векторду которуу керек экенин эске алыңыз .
Матрицаны көрсөтүү
Векторлорду көбөйтүүнүн натыйжасында төмөнкү санды алабыз: , бул күтүлөт. Бул болжолдуу сан "-чи” максаттуу көрсөткүч. Бирок бизге бир эле максаттуу мааниге эмес, алардын бардыгына жакындоо керек. Бул үчүн, келгиле, баарын жазалы "-th" регрессорлор матрицалык форматта . Натыйжадагы матрица өлчөмгө ээ :
Эми сызыктуу регрессия теңдемеси төмөнкү форманы алат:
Максаттуу индикаторлордун маанилерин белгилейли (бардыгы ) векторго өлчөм :
Эми сызыктуу моделдин сапатын баалоо үчүн теңдемени матрицалык форматта жаза алабыз:
Чынында, бул формуладан биз дагы бизге белгилүү болгон формуланы алабыз
Кантип жасалды? кашаалар ачылат, дифференциялоо жүргүзүлөт, натыйжада туюнтмалар өзгөртүлөт ж.б., жана биз азыр дал ушундай кылабыз.
Матрицалык трансформациялар
Келгиле, кашааларды ачалы
Дифференциациялоо үчүн теңдеме даярдайлы
Бул үчүн биз кээ бир трансформацияларды жүргүзөбүз. Кийинки эсептөөлөрдө вектор болсо бизге ыңгайлуу болот теңдемедеги ар бир продукттун башында көрсөтүлөт.
Конверсия 1
Бул кантип болду? Бул суроого жооп берүү үчүн, көбөйтүлүп жаткан матрицалардын өлчөмдөрүн карап көрүңүз жана натыйжада биз санды же башка жол менен алганыбызды көрүңүз. .
Матрицалык туюнтмалардын өлчөмдөрүн жазып көрөлү.
Конверсия 2
Келгиле, аны трансформация 1ге окшош кылып жазалы
Жыйынтыгында биз дифференциялообуз керек болгон теңдемени алабыз:
Биз моделдин сапатын баалоо функциясын айырмалайбыз
Векторго карата айырмалайлы :
Эмне үчүн деген суроолор болбошу керек, бирок биз башка эки туюнтмадагы туундуларды аныктоо операцияларын кененирээк карап чыгабыз.
Дифференциация 1
Келгиле, дифференциацияны кеңейтели:
Матрицанын же вектордун туундусун аныктоо үчүн алардын ичинде эмне бар экенин карап чыгуу керек. Кел карайбыз:
Матрицалардын көбөйтүндүсүн белгилейли матрица аркылуу . Матрица чарчы жана анын үстүнө, симметриялуу. Бул касиеттери кийин бизге пайдалуу болот, аларды эстеп көрөлү. Матрица өлчөмү бар :
Эми биздин милдет - векторлорду матрицага туура көбөйтүү жана "эки эсе эки беш" деп албашыбыз керек, андыктан көңүлүбүздү топтоп, өтө этият бололу.
Бирок, биз татаал туюнтма жетиштик! Чынында, биз санды алдык - скаляр. Ал эми азыр, чынында, биз дифференциацияга өтөбүз. Ар бир коэффициент үчүн алынган туундуну табуу керек жана чыгаруу катары өлчөм векторун алыңыз . Болбосо, мен процедураларды иш-аракет менен жазам:
1) айырмалоо , биз алабыз:
2) айырмалоо , биз алабыз:
3) айырмалоо , биз алабыз:
Чыгуу - убада кылынган өлчөмдөгү вектор :
Эгерде сиз векторду жакшыраак карасаңыз, анда вектордун сол жана тийиштүү оң элементтери топтоштурулуп, натыйжада вектор берилген вектордон изоляцияланышы мүмкүн экенин байкайсыз. көлөм . Мисалы, (вектордун жогорку сызыгынын сол элементи) (вектордун жогорку сызыгынын оң элементи) катары көрсөтүлүшү мүмкүн жана - катары жана башкалар. ар бир сапта. Группалашалы:
Векторду чыгаралы жана чыгарууда биз алабыз:
Эми келип чыккан матрицаны жакшыраак карап көрөлү. Матрица эки матрицанын суммасы болуп саналат :
Эске салсак, бир аз мурда биз матрицанын бир маанилүү касиетин белгилегенбиз - бул симметриялуу. Бул касиетке таянып, биз ишенимдүү түрдө туюнтма деп айта алабыз барабар . Муну элемент боюнча матрицалардын продуктусун кеңейтүү аркылуу оңой текшерүүгө болот . Биз муну бул жерде кылбайбыз, кызыккандар өздөрү текшерсе болот.
Келгиле, сөзүбүзгө кайрылып көрөлү. Биздин трансформациялардан кийин, биз аны көргүбүз келгендей болду:
Ошентип, биз биринчи дифференциялоону аяктадык. Экинчи туюнтмага өтөбүз.
Дифференциация 2
Соккон жол менен кетели. Ал мурункусуна караганда бир топ кыска болот, андыктан экрандан алыс кетпеңиз.
Келгиле, векторлорду жана матрица элементтерин элемент боюнча кеңейтели:
Эсептөөдөн экөөнү бир аз алып салалы – бул чоң роль ойнобойт, анан кайра ордуна коебуз. Векторлорду матрицага көбөйтөлү. Биринчиден, матрицаны көбөйтөлү векторго , бул жерде бизде эч кандай чектөөлөр жок. Өлчөмдүн векторун алабыз :
Төмөнкү аракетти жасайлы - векторду көбөйтөбүз пайда болгон векторго. Чыгууда номер бизди күтүп турат:
Андан кийин биз аны айырмалайбыз. Чыгууда биз өлчөмдүн векторун алабыз :
Мага бир нерсени эске салдыбы? Баардыгы туура! Бул матрицанын продуктусу векторго .
Ошентип, экинчи дифференциация ийгиликтүү аяктады.
Ордуна корутундусу
Эми биз теңдик кантип пайда болгонун билебиз .
Акырында, биз негизги формулаларды өзгөртүүнүн тез жолун сүрөттөп беребиз.
Эң кичине квадраттар ыкмасына ылайык моделдин сапатын баалайлы:
Натыйжадагы туюнтманы айырмалайлы:
адабият
Интернет булактары:
1)
2)
3)
4)
Окуу китептери, көйгөйлөр жыйнагы:
1) Жогорку математика боюнча лекциянын конспектиси: толук курс / Д.Т. Жазылган – 4-бас. – М.: Айрис-пресс, 2006
2) Колдонмо регрессиялык анализ / N. Draper, G. Smith - 2nd ed. – М.: Финансы жана статистика, 1986 (англис тилинен котормо)
3) Матрицалык теңдемелерди чыгарууга берилген маселелер:
Source: www.habr.com