Мақаланың мақсаты – жаңадан бастаған деректер ғалымдарына қолдау көрсету. IN Біз сызықтық регрессия теңдеуін шешудің үш әдісін атап өттік: аналитикалық шешім, градиенттің түсуі, стохастикалық градиенттің түсуі. Содан кейін аналитикалық шешім үшін формуланы қолдандық . Бұл мақалада, тақырыбы айтып тұрғандай, біз бұл формуланы қолдануды негіздейтін боламыз немесе басқаша айтқанда, біз оны өзіміз аламыз.
Неліктен формулаға қосымша назар аударудың мағынасы бар ?
Матрицалық теңдеумен көп жағдайда сызықтық регрессиямен танысу басталады. Сонымен бірге формуланың қалай алынғаны туралы егжей-тегжейлі есептеулер сирек кездеседі.
Мысалы, Яндекстің машиналық оқыту курстарында студенттер регуляризациямен танысқанда, оларға кітапхананың функцияларын пайдалану ұсынылады. склерн, ал алгоритмнің матрицалық көрінісі туралы бірде-бір сөз айтылмаған. Дәл осы сәтте кейбір тыңдаушылар бұл мәселені толығырақ түсінгісі келуі мүмкін - дайын функцияларды пайдаланбай кодты жазыңыз. Ал ол үшін алдымен регуляризаторы бар теңдеуді матрицалық түрде ұсыну керек. Бұл мақала осындай дағдыларды меңгергісі келетіндерге мүмкіндік береді. Бастайық.
Бастапқы шарттар
Мақсатты индикаторлар
Бізде мақсатты мәндер ауқымы бар. Мысалы, мақсатты индикатор кез келген активтің бағасы болуы мүмкін: мұнай, алтын, бидай, доллар және т.б. Бұл ретте мақсатты индикатор мәндерінің саны арқылы біз бақылаулар санын түсінеміз. Мұндай байқаулар, мысалы, бір жылдағы мұнайдың айлық бағасы болуы мүмкін, яғни бізде 12 мақсатты мән болады. Белгілеуді енгізуді бастайық. Мақсатты индикатордың әрбір мәнін деп белгілейік . Барлығы бізде бақылаулар, яғни біз өз бақылауларымызды ретінде көрсете аламыз .
Регрессорлар
Белгілі бір дәрежеде мақсатты индикатордың мәндерін түсіндіретін факторлар бар деп есептейміз. Мысалы, доллар/рубль бағамына мұнай бағасы, Федералдық резерв мөлшерлемесі және т.б. қатты әсер етеді.Мұндай факторларды регрессорлар деп атайды. Бұл ретте әрбір нысаналы индикатордың мәні регрессорлық мәнге сәйкес келуі керек, яғни 12 жылы әрбір ай үшін бізде 2018 нысаналы индикатор болса, сол кезең үшін бізде де 12 регрессорлық мән болуы керек. Әрбір регрессордың мәндерін былай белгілейік . Біздің жағдайда бар болсын регрессорлар (яғни. мақсатты индикатор мәндеріне әсер ететін факторлар). Бұл біздің регрессорларды келесідей көрсетуге болатынын білдіреді: 1-регрессор үшін (мысалы, мұнай бағасы): , 2-регрессор үшін (мысалы, ФРЖ мөлшерлемесі): , Үшін »-th» регрессор:
Мақсатты индикаторлардың регрессорларға тәуелділігі
Мақсатты индикатордың тәуелділігі деп есептейік регрессорлардан»th» бақылауды келесі түрдегі сызықтық регрессия теңдеуі арқылы көрсетуге болады:
қайда - «-th» регрессор мәні 1-ден ,
— регрессорлар саны 1-ден
— регрессор өзгерген кезде есептелген мақсатты индикатордың орташа өзгеретін мөлшерін көрсететін бұрыштық коэффициенттер.
Басқаша айтқанда, біз барлығы үшін (басқа ) регрессордың «біздің» коэффициентін анықтаймыз , содан кейін коэффициенттерді регрессорлардың мәндеріне көбейтіңіз »th" бақылау, нәтижесінде біз белгілі бір жуықтау аламыз "-ыншы» нысаналы индикатор.
Сондықтан біз осындай коэффициенттерді таңдауымыз керек , онда біздің жуықтау функциясының мәндері нысаналы индикатор мәндеріне барынша жақын орналасады.
Жақындау функциясының сапасын бағалау
Ең кіші квадраттар әдісі арқылы жуықтау функциясының сапасын бағалауды анықтаймыз. Бұл жағдайда сапаны бағалау функциясы келесі формада болады:
Біз $w$ коэффициенттерінің осындай мәндерін таңдауымыз керек, олар үшін мән ең кішісі болады.
Теңдеуді матрицалық түрге түрлендіру
Векторлық бейнелеу
Бастау үшін өміріңізді жеңілдету үшін сызықтық регрессия теңдеуіне назар аударыңыз және бірінші коэффициентті байқаңыз. ешбір регрессорға көбейтілмейді. Сонымен бірге, деректерді матрицалық түрге түрлендіру кезінде жоғарыда аталған жағдай есептеулерді айтарлықтай қиындатады. Осыған байланысты бірінші коэффициентке тағы бір регрессорды енгізу ұсынылады және оны біреуге теңестіріңіз. Дәлірек айтқанда, әрбір «осы регрессордың ші мәнін біреуге теңестіріңіз - түптеп келгенде, бірге көбейткенде, есептеулер нәтижесі тұрғысынан ештеңе өзгермейді, бірақ матрицалардың көбейтіндісінің ережелері тұрғысынан, біздің азап айтарлықтай азаяды.
Енді, материалды жеңілдету үшін, бізде бір ғана бар деп есептейік».-ші» бақылау. Содан кейін регрессорлардың мәндерін елестетіңіз »-th» бақылаулар вектор ретінде . Вектор өлшемі бар , яғни жолдар мен 1 баған:
Қажетті коэффициенттерді вектор ретінде көрсетейік , өлшемі бар :
" үшін сызықтық регрессия теңдеуі--ші» байқау мынадай нысанда болады:
Сызықтық модельдің сапасын бағалау функциясы келесі формада болады:
Матрицаны көбейту ережелеріне сәйкес векторды ауыстыру қажет екенін ескеріңіз .
Матрицаны бейнелеу
Векторларды көбейту нәтижесінде мына санды аламыз: , бұл күтуге болады. Бұл шамамен алынған сан »-ыншы» нысаналы индикатор. Бірақ бізге бір ғана мақсатты мәннің емес, олардың барлығының жуықтауы қажет. Ол үшін бәрін жазып алайық»-th» регрессорлар матрицалық форматта . Алынған матрица өлшемге ие :
Енді сызықтық регрессия теңдеуі келесідей болады:
Мақсатты индикаторлардың мәндерін белгілейік (барлығы ) векторға өлшем :
Енді матрицалық форматта сызықтық модельдің сапасын бағалау теңдеуін жаза аламыз:
Шын мәнінде, осы формуладан біз өзімізге белгілі формуланы аламыз
Қалай жасалды? Жақшалар ашылады, дифференциалдау жүзеге асырылады, алынған өрнектер түрленеді және т.б., және біз дәл осылай жасаймыз.
Матрицалық түрлендірулер
Жақшаларды ашайық
Дифференциалдау үшін теңдеу дайындаймыз
Ол үшін біз кейбір түрлендірулер жүргіземіз. Келесі есептеулерде вектор болса, бізге ыңғайлы болады теңдеудегі әрбір туындының басында көрсетіледі.
Түрлендіру 1
Бұл қалай болды? Бұл сұраққа жауап беру үшін, көбейтілетін матрицалардың өлшемдерін қараңыз және нәтижеде біз санды немесе басқа жолмен аламыз. .
Матрицалық өрнектердің өлшемдерін жазып алайық.
Түрлендіру 2
Оны 1 түрлендіруге ұқсас етіп жазайық
Шығаруда біз дифференциалдау керек теңдеуді аламыз:
Модель сапасын бағалау функциясын ажыратамыз
Векторға қатысты ажыратып көрейік :
Неге деген сұрақтар болмауы керек, бірақ біз басқа екі өрнектегі туындыларды анықтау операцияларын толығырақ қарастырамыз.
Дифференциация 1
Дифференциацияны кеңейтейік:
Матрицаның немесе вектордың туындысын анықтау үшін олардың ішінде не бар екенін қарау керек. Қарап көрейік:
Матрицалардың көбейтіндісін белгілейік матрица арқылы . Матрица шаршы және оның үстіне симметриялы. Бұл қасиеттер бізге кейінірек пайдалы болады, оларды есте сақтайық. Матрица өлшемі бар :
Енді біздің міндетіміз векторларды матрицаға дұрыс көбейту және «екі есе екі бестен» шықпау, сондықтан назарымызды шоғырландырып, өте сақ болайық.
Дегенмен, біз күрделі өрнекке қол жеткіздік! Шын мәнінде, біз санды алдық - скаляр. Ал енді, шын мәнінде, біз дифференциацияға көшеміз. Әрбір коэффициент үшін алынған өрнектің туындысын табу керек және шығыс ретінде өлшем векторын алыңыз . Кез келген жағдайда мен процедураларды іс-әрекет арқылы жазамын:
1) бойынша ажырату , Біз алып жатырмыз:
2) бойынша ажырату , Біз алып жатырмыз:
3) бойынша ажырату , Біз алып жатырмыз:
Шығару - өлшемнің уәде етілген векторы :
Егер сіз векторды мұқият қарастырсаңыз, вектордың сол және сәйкес оң элементтерін, нәтижесінде вектор ұсынылған вектордан оқшауланатындай етіп топтастыруға болатынын байқайсыз. өлшемі . Мысалы, (вектордың жоғарғы жолының сол жақ элементі) (вектордың жоғарғы сызығының оң жақ элементі) ретінде көрсетуге болады мен - ретінде және т.б. әр жолда. Топтасайық:
Векторды шығарайық және шығысында біз мынаны аламыз:
Енді алынған матрицаны толығырақ қарастырайық. Матрица екі матрицаның қосындысы :
Еске салайық, сәл бұрын біз матрицаның бір маңызды қасиетін атап өттік - бұл симметриялы. Осы қасиетіне сүйене отырып, өрнек деп сенімді түрде айта аламыз тең . Мұны матрицалар элементінің туындысын элемент бойынша кеңейту арқылы оңай тексеруге болады . Біз бұл жерде мұны істемейміз, қызығушылық танытқандар өздері тексере алады.
Өрнегімізге оралайық. Өзгерістерден кейін біз оны көргіміз келгендей болды:
Сонымен, біз бірінші саралауды аяқтадық. Екінші өрнекке көшейік.
Дифференциация 2
Соғылған жолды ұстанайық. Ол алдыңғысынан әлдеқайда қысқа болады, сондықтан экраннан тым алыс кетпеңіз.
Векторлар мен матрица элементін элемент бойынша кеңейтейік:
Екеуін есептеулерден біраз уақытқа алып тастаймыз - бұл үлкен рөл атқармайды, содан кейін біз оны орнына қоямыз. Векторларды матрицаға көбейтейік. Ең алдымен матрицаны көбейтейік векторға , бізде бұл жерде ешқандай шектеулер жоқ. Біз өлшем векторын аламыз :
Келесі әрекетті орындаймыз – векторды көбейтеміз алынған векторға. Шығуда бізді нөмір күтеді:
Содан кейін біз оны ажыратамыз. Шығаруда біз өлшем векторын аламыз :
Маған бірдеңені еске түсіреді ме? Барлығы дұрыс! Бұл матрицаның туындысы векторға .
Осылайша, екінші дифференциация сәтті аяқталды.
Орнына жасасу
Енді біз теңдіктің қалай пайда болғанын білеміз .
Соңында біз негізгі формулаларды түрлендірудің жылдам әдісін сипаттаймыз.
Модельдің сапасын ең кіші квадраттар әдісіне сәйкес бағалайық:
Алынған өрнекті ажыратайық:
Әдебиет
Интернет көздері:
1)
2)
3)
4)
Оқулықтар, есептер жинағы:
1) Жоғары математикадан дәріс конспектісі: толық курс / Д.Т. Жазылған – 4-ші басылым. – М.: Ирис-пресс, 2006 ж
2) Қолданбалы регрессиялық талдау / Н.Дрейпер, Г.Смит – 2-бас. – М.: Қаржы және статистика, 1986 (ағылшын тілінен аудармасы)
3) Матрицалық теңдеулерді шешуге арналған есептер:
Ақпарат көзі: www.habr.com