Целта на статијата е да им даде поддршка на почетните научници за податоци. ВО Наведовме три начини за решавање на линеарна регресивна равенка: аналитичко решение, спуштање на градиент, стохастичко спуштање на градиент. Потоа за аналитичкото решение ја применивме формулата . Во оваа статија, како што сугерира насловот, ќе ја оправдаме употребата на оваа формула или, со други зборови, самите ќе ја изведеме.
Зошто има смисла да се посвети дополнително внимание на формулата ?
Токму со матричната равенка во повеќето случаи се почнува да се запознава со линеарната регресија. Во исто време, ретки се деталните пресметки за тоа како е изведена формулата.
На пример, во курсевите за машинско учење од Yandex, кога студентите се запознаваат со регулација, им се нуди да користат функции од библиотеката учат, додека не се споменува ниту збор за матричната репрезентација на алгоритмот. Во овој момент, некои слушатели можеби ќе сакаат да го разберат ова прашање подетално - пишувајте код без да користите готови функции. И за да го направите ова, прво мора да ја претставите равенката со регулатор во форма на матрица. Оваа статија ќе им овозможи на оние кои сакаат да ги совладаат таквите вештини. Ајде да почнеме.
Почетни услови
Целни индикатори
Имаме низа целни вредности. На пример, целниот индикатор може да биде цената на кое било средство: нафта, злато, пченица, долар итн. Во исто време, под голем број вредности на целните индикатори го подразбираме бројот на набљудувања. Такви согледувања би можеле да бидат, на пример, месечни цени на нафтата за годината, односно ќе имаме 12 целни вредности. Да почнеме да ја воведуваме ознаката. Дозволете ни да ја означиме секоја вредност на целниот индикатор како . Вкупно имаме набљудувања, што значи дека можеме да ги претставиме нашите набљудувања како .
Регресори
Ќе претпоставиме дека постојат фактори кои до одреден степен ги објаснуваат вредностите на целниот индикатор. На пример, курсот на долар/рубља е под силно влијание на цената на нафтата, стапката на Федералните резерви итн. Таквите фактори се нарекуваат регресори. Во исто време, секоја целна вредност на индикаторот мора да одговара на регресорска вредност, односно ако имаме 12 целни индикатори за секој месец во 2018 година, тогаш треба да имаме и 12 регресорни вредности за истиот период. Дозволете ни да ги означиме вредностите на секој регресор со . Нека има во нашиот случај регресори (т.е. фактори кои влијаат на вредностите на целните индикатори). Ова значи дека нашите регресори може да се претстават на следниов начин: за првиот регресор (на пример, цената на нафтата): , за вториот регресор (на пример, стапката на ФЕД): , за "-ти" регресор:
Зависност на целните индикатори од регресори
Да претпоставиме дека зависноста на целниот индикатор од регресори“th“ набљудувањето може да се изрази преку линеарна регресивна равенка од формата:
каде - "-th" вредност на регресорот од 1 до ,
— број на регресори од 1 до
— аголни коефициенти, кои го претставуваат износот за кој пресметаниот целен индикатор ќе се промени во просек кога ќе се промени регресорот.
Со други зборови, ние сме за сите (освен ) на регресорот одредуваме „наш“ коефициент , потоа помножете ги коефициентите со вредностите на регресорите "ти" набљудување, како резултат добиваме одредена апроксимација "-ти“ целен индикатор.
Затоа, треба да избереме такви коефициенти , при што вредностите на нашата приближна функција ќе се наоѓа што е можно поблиску до вредностите на целните индикатори.
Проценка на квалитетот на функцијата за приближување
Ќе ја одредиме оцената на квалитетот на апроксимативната функција користејќи го методот на најмали квадрати. Функцијата за оценување на квалитетот во овој случај ќе ја има следната форма:
Треба да избереме такви вредности на коефициентите $w$ за кои е вредноста ќе биде најмал.
Претворање на равенката во матрица
Векторска репрезентација
За почеток, за да си го олесните животот, треба да обрнете внимание на равенката на линеарна регресија и да забележите дека првиот коефициент не се множи со ниту еден регресор. Во исто време, кога ќе ги претвориме податоците во форма на матрица, горенаведената околност сериозно ќе ги искомплицира пресметките. Во овој поглед, се предлага да се воведе друг регресор за првиот коефициент и изедначете го со еден. Или подобро кажано, секој „изедначете ја та вредност на овој регресор со еден - на крајот на краиштата, кога ќе се помножи со еден, ништо нема да се промени од гледна точка на резултатот од пресметките, туку од гледна точка на правилата за производот на матриците, нашето мачење значително ќе се намали.
Сега, за моментот, за да го поедноставиме материјалот, да претпоставиме дека имаме само еден "-то“ набљудување. Потоа, замислете ги вредностите на регресорите“-ти“ набљудувања како вектор . Вектор има димензија Што е, редови и 1 колона:
Да ги претставиме бараните коефициенти како вектор , има димензија :
Линеарна регресивна равенка за "-тото“ набљудување ќе биде во форма:
Функцијата за оценување на квалитетот на линеарен модел ќе има форма:
Имајте предвид дека во согласност со правилата за множење на матрицата, требаше да го транспонираме векторот .
Матрична репрезентација
Како резултат на множење вектори, го добиваме бројот: , што е и очекувано. Овој број е приближна "-ти“ целен индикатор. Но, ни треба приближување не само на една целна вредност, туку на сите. За да го направите ова, ајде да запишеме сè "-ти“ регресори во формат на матрица . Добиената матрица има димензија :
Сега линеарната регресивна равенка ќе ја има формата:
Дозволете ни да ги означиме вредностите на целните индикатори (сите ) по вектор димензија :
Сега можеме да ја напишеме равенката за проценка на квалитетот на линеарен модел во формат на матрица:
Всушност, од оваа формула дополнително ја добиваме формулата која ни е позната
Како е направено? Заградите се отвораат, се врши диференцијација, добиените изрази се трансформираат итн., И токму тоа ќе го направиме сега.
Матрични трансформации
Ајде да ги отвориме заградите
Да подготвиме равенка за диференцијација
За да го направите ова, ќе извршиме некои трансформации. Во следните пресметки ќе ни биде попогодно ако векторот ќе бидат претставени на почетокот на секој производ во равенката.
Конверзија 1
Како се случи тоа? За да одговорите на ова прашање, само погледнете ги големините на матриците што се множат и видете дека на излезот добиваме број или на друг начин .
Ајде да ги запишеме големините на матричните изрази.
Конверзија 2
Да го напишеме на сличен начин како трансформацијата 1
На излезот добиваме равенка што треба да ја диференцираме:
Ја разликуваме функцијата за оценување на квалитетот на моделот
Ајде да разликуваме во однос на векторот :
Прашања зошто не треба да има, но операциите за определување на изводи во другите два изрази ќе ги испитаме подетално.
Диференцијација 1
Ајде да ја прошириме диференцијацијата:
За да го одредите изводот на матрицата или векторот, треба да погледнете што има внатре во нив. Ајде да видиме:
Да го означиме производот на матриците преку матрицата . Матрица квадрат и згора на тоа, тој е симетричен. Овие својства ќе ни бидат корисни подоцна, да се потсетиме на нив. Матрица има димензија :
Сега нашата задача е правилно да ги помножиме векторите со матрицата и да не добиеме „двапати два е пет“, па ајде да се концентрираме и да бидеме крајно внимателни.
Сепак, постигнавме сложен израз! Всушност, добивме бројка - скалар. И сега, навистина, преминуваме кон диференцијација. Потребно е да се најде изводот на добиениот израз за секој коефициент и да го добиеме векторот на димензија како излез . За секој случај, ќе ги запишам процедурите по акција:
1) се разликува по , добиваме:
2) се разликува по , добиваме:
3) се разликува по , добиваме:
Излезот е ветениот вектор на големина :
Ако го погледнете векторот повнимателно, ќе забележите дека левиот и соодветните десни елементи на векторот можат да се групираат на таков начин што, како резултат на тоа, вектор може да се изолира од презентираниот вектор. големина . На пример, (левиот елемент од горната линија на векторот) (десниот елемент од горната линија на векторот) може да се претстави како И - како итн. на секоја линија. Ајде да групираме:
Ајде да го извадиме векторот а на излезот добиваме:
Сега, ајде внимателно да ја разгледаме добиената матрица. Матрицата е збир од две матрици :
Да потсетиме дека малку порано забележавме едно важно својство на матрицата - тоа е симетрично. Врз основа на овој имот, можеме со сигурност да кажеме дека изразот еднакво . Ова може лесно да се потврди со проширување на производот на матриците елемент по елемент . Ова нема да го правиме овде, заинтересираните можат сами да го проверат.
Да се вратиме на нашиот израз. По нашите трансформации, испадна онака како што сакавме да го видиме:
Значи, ја завршивме првата диференцијација. Да преминеме на вториот израз.
Диференцијација 2
Ајде да го следиме претепаниот пат. Ќе биде многу пократок од претходниот, затоа не одете премногу далеку од екранот.
Ајде да ги прошириме векторите и матрицата елемент по елемент:
Ајде малку да ги тргнеме двете од пресметките - не игра голема улога, па ќе го вратиме на своето место. Ајде да ги помножиме векторите со матрицата. Прво, да ја помножиме матрицата до вектор , овде немаме ограничувања. Го добиваме векторот на големина :
Ајде да го извршиме следното дејство - да го помножиме векторот на добиениот вектор. На излезот ќе не чека бројот:
Потоа ќе го разликуваме. На излезот добиваме вектор со димензија :
Ме потсетува на нешто? Тоа е точно! Ова е производ на матрицата до вектор .
Така, втората диференцијација е успешно завршена.
Наместо заклучок
Сега знаеме како дојде до еднаквоста .
Конечно, ќе опишеме брз начин за трансформирање на основните формули.
Ајде да го оцениме квалитетот на моделот во согласност со методот на најмали квадрати:
Дозволете ни да го разликуваме добиениот израз:
Литература
Интернет извори:
1)
2)
3)
4)
Учебници, збирки проблеми:
1) Белешки за предавање за виша математика: целосен курс / Д.Т. Напишано – 4-то издание. - М.: Ирис-прес, 2006 година
2) Применета регресивна анализа / N. Draper, G. Smith - 2nd ed. – М.: Финансии и статистика, 1986 година (превод од англиски)
3) Задачи за решавање матрични равенки:
Извор: www.habr.com