Привеждаме уравнението на линейната регресия в матрична форма

Целта на статията е да предостави подкрепа на начинаещите специалисти по данни. IN предишна статия Очертахме три начина за решаване на уравнение на линейна регресия: аналитично решение, градиентно спускане, стохастично градиентно спускане. След това за аналитичното решение приложихме формулата . В тази статия, както подсказва заглавието, ще обосновем използването на тази формула или, с други думи, ще я изведем сами.

Защо има смисъл да се обръща допълнително внимание на формулата ?

Именно с матричното уравнение в повечето случаи човек започва да се запознава с линейната регресия. В същото време подробни изчисления за това как е получена формулата са рядкост.

Например, в курсове за машинно обучение от Yandex, когато студентите се запознават с регуляризацията, им се предлага да използват функции от библиотеката sklearn, докато не се споменава нито дума за матричното представяне на алгоритъма. Точно в този момент някои слушатели може да искат да разберат този въпрос по-подробно - пишете код, без да използвате готови функции. И за да направите това, първо трябва да представите уравнението с регулатор в матрична форма. Тази статия ще позволи на желаещите да овладеят такива умения. Да започваме.

Начални условия

Целеви индикатори

Имаме набор от целеви стойности. Например целевият индикатор може да бъде цената на всеки актив: петрол, злато, пшеница, долар и т.н. В същото време под редица стойности на целевия индикатор имаме предвид броя на наблюденията. Такива наблюдения могат да бъдат например месечните цени на петрола за годината, тоест ще имаме 12 целеви стойности. Нека започнем да въвеждаме нотацията. Нека обозначим всяка стойност на целевия индикатор като . Общо имаме наблюдения, което означава, че можем да представим нашите наблюдения като .

Регресори

Ще приемем, че има фактори, които до известна степен обясняват стойностите на целевия индикатор. Например обменният курс долар/рубла е силно повлиян от цената на петрола, курса на Федералния резерв и т.н. Такива фактори се наричат ​​регресори. В същото време всяка стойност на целевия индикатор трябва да съответства на регресорна стойност, т.е. ако имаме 12 целеви индикатора за всеки месец през 2018 г., тогава трябва да имаме и 12 регресорни стойности за същия период. Нека обозначим стойностите на всеки регресор с . Нека в нашия случай има регресори (т.е. фактори, които влияят върху стойностите на целевия индикатор). Това означава, че нашите регресори могат да бъдат представени, както следва: за 1-ви регресор (например цената на петрола): , за втория регресор (например лихвения процент на Фед): , За "-ти" регресор:

Зависимост на целевите показатели от регресорите

Да приемем, че зависимостта на целевия показател от регресори"това" наблюдение може да се изрази чрез уравнение на линейна регресия от вида:

Където - "-та" регресорна стойност от 1 до ,

— брой регресори от 1 до

— ъглови коефициенти, които представляват стойността, с която изчисленият целеви индикатор ще се промени средно при промяна на регресора.

С други думи, ние сме за всички (освен ) на регресора определяме „нашия” коефициент , след това умножете коефициентите по стойностите на регресорите "th" наблюдение, като резултат получаваме определено приближение "-th" целеви индикатор.

Следователно трябва да изберем такива коефициенти , при които стойностите на нашата апроксимираща функция ще бъдат разположени възможно най-близо до стойностите на целевия индикатор.

Оценка на качеството на апроксимиращата функция

Ще определим оценката на качеството на апроксимиращата функция с помощта на метода на най-малките квадрати. Функцията за оценка на качеството в този случай ще приеме следната форма:

Трябва да изберем такива стойности на коефициентите $w$, за които стойността ще бъде най-малката.

Преобразуване на уравнението в матрична форма

Векторно представяне

Като начало, за да улесните живота си, трябва да обърнете внимание на уравнението на линейната регресия и да забележите, че първият коефициент не се умножава по никакъв регресор. В същото време, когато преобразуваме данните в матрична форма, гореспоменатото обстоятелство сериозно ще усложни изчисленията. В тази връзка се предлага въвеждането на друг регресор за първия коефициент и го приравнете към едно. Или по-скоро всеки "приравнете th-та стойност на този регресор към едно - в края на краищата, когато се умножи по едно, нищо няма да се промени от гледна точка на резултата от изчисленията, но от гледна точка на правилата за произведението на матриците, нашите мъки ще бъдат значително намалени.

Сега, за момента, за да опростим материала, нека приемем, че имаме само един "-то" наблюдение. След това си представете стойностите на регресорите "-th" наблюдения като вектор . вектор има измерение Това означава, че редове и 1 колона:

Нека представим търсените коефициенти като вектор , имащ измерение :

Уравнение на линейна регресия за "-то" наблюдение ще приеме формата:

Функцията за оценка на качеството на линеен модел ще приеме формата:

Моля, обърнете внимание, че в съответствие с правилата за умножение на матрици трябваше да транспонираме вектора .

Матрично представяне

В резултат на умножаване на вектори получаваме числото: , което може да се очаква. Това число е приблизителното "-th" целеви индикатор. Но имаме нужда от приближение не само на една целева стойност, а на всички. За да направите това, нека запишем всичко "-th" регресори в матричен формат . Получената матрица има размерността :

Сега уравнението на линейната регресия ще приеме формата:

Нека обозначим стойностите на целевите индикатори (всички ) на вектор измерение :

Сега можем да напишем уравнението за оценка на качеството на линеен модел в матричен формат:

Всъщност от тази формула получаваме известната ни формула

Как се прави? Отварят се скобите, извършва се диференциране, трансформират се получените изрази и т.н. и точно това ще направим сега.

Матрични трансформации

Нека отворим скобите

Нека подготвим уравнение за диференциране

За да направим това, ще извършим някои трансформации. При следващите изчисления ще ни бъде по-удобно, ако векторът ще бъдат представени в началото на всеки продукт в уравнението.

Преобразуване 1

Как се случи това? За да отговорите на този въпрос, просто погледнете размерите на матриците, които се умножават, и вижте, че на изхода получаваме число или по друг начин .

Нека запишем размерите на матричните изрази.

Преобразуване 2

Нека го запишем по подобен начин на трансформация 1

На изхода получаваме уравнение, което трябва да диференцираме:

Различаваме функцията за оценка на качеството на модела

Нека направим разлика по отношение на вектора :

Въпроси защо не би трябвало да има, но ще разгледаме по-подробно операциите за определяне на производните в другите два израза.

Диференциация 1

Нека разширим диференциацията:

За да определите производната на матрица или вектор, трябва да погледнете какво има вътре в тях. Нека видим:

Нека означим произведението на матриците през матрицата . Матрица квадратна и освен това е симетрична. Тези свойства ще ни бъдат полезни по-късно, нека ги запомним. Матрица има измерение :

Сега нашата задача е правилно да умножим векторите по матрицата и да не получим „два пъти две е пет“, така че нека се концентрираме и бъдем изключително внимателни.

Ние обаче постигнахме сложен израз! Всъщност получихме число - скалар. И сега, наистина, преминаваме към диференциацията. Необходимо е да се намери производната на получения израз за всеки коефициент и вземете дименсионния вектор като изход . За всеки случай ще напиша процедурите по действие:

1) разграничете по , получаваме:

2) разграничете по , получаваме:

3) разграничете по , получаваме:

Резултатът е обещаният вектор на размера :

Ако погледнете вектора по-отблизо, ще забележите, че левият и съответният десен елемент на вектора могат да бъдат групирани по такъв начин, че в резултат на това един вектор може да бъде изолиран от представения вектор размерът , Например (ляв елемент от горния ред на вектора) (десният елемент от горния ред на вектора) може да бъде представен като И - като и т.н. на всеки ред. Нека групираме:

Нека извадим вектора и на изхода получаваме:

Сега нека разгледаме по-отблизо получената матрица. Матрицата е сумата от две матрици :

Нека си припомним, че малко по-рано отбелязахме едно важно свойство на матрицата - тя е симетрична. Въз основа на това свойство можем уверено да кажем, че изразът се равнява . Това може лесно да се провери чрез разширяване на произведението на матриците елемент по елемент . Няма да правим това тук, заинтересованите могат да проверят сами.

Да се ​​върнем към нашия израз. След нашите трансформации се получи така, както искахме да го видим:

И така, завършихме първата диференциация. Да преминем към втория израз.

Диференциация 2

Да следваме утъпкания път. Ще бъде много по-кратък от предишния, така че не се отдалечавайте твърде много от екрана.

Нека разширим векторите и матрицата елемент по елемент:

Нека махнем двете от изчисленията за малко - не играе голяма роля, после ще ги върнем на мястото им. Нека умножим векторите по матрицата. Първо, нека умножим матрицата към вектор , тук нямаме ограничения. Получаваме вектора на размера :

Нека извършим следното действие - умножете вектора към получения вектор. На изхода ще ни чака номерът:

Тогава ще го разграничим. На изхода получаваме вектор на размерност :

Напомня ли ми нещо? Това е вярно! Това е продуктът на матрицата към вектор .

Така втората диференциация е успешно завършена.

Вместо заключение

Сега знаем как се стигна до равенството .

Накрая ще опишем бърз начин за трансформиране на основни формули.

Нека да оценим качеството на модела в съответствие с метода на най-малките квадрати:

Нека диференцираме получения израз:

Литература

Интернет източници:

1) habr.com/en/post/278513
2) habr.com/ru/company/ods/blog/322076
3) habr.com/en/post/307004
4) nabatchikov.com/blog/view/matrix_der

Учебници, сборници със задачи:

1) Бележки за лекции по висша математика: пълен курс / D.T. Написано – 4-то изд. – М.: Ирис-прес, 2006
2) Приложен регресионен анализ / Н. Дрейпър, Г. Смит - 2-ро изд. – М.: Финанси и статистика, 1986 (превод от английски)
3) Задачи за решаване на матрични уравнения:
function-x.ru/matrix_equations.html
mathprofi.ru/deistviya_s_matricami.html

Източник: www.habr.com