Привеждаме уравнението на линейната регресия в матричен вид

Целта на статията е да подкрепи начинаещите дата учени. В предишната статия конкретно разгледахме три начина за решаване на уравнението на линейната регресия: аналитично решение, градиентен спуск и стохастичен градиентен спуск. По време на аналитичното решение приложихме формулата . В тази статия, както подсказва заглавието, ще обосновем използването на тази формула или с други думи, ще я извлечем сами.

Защо има смисъл да се отдели специално внимание на формулата ?

Обикновено запознанството с линейната регресия започва от матричното уравнение. В същото време, подробни изчисления на това как формулата е извлечена, рядко се срещат.

Например, в курсовете по машинно обучение на Яндекс, когато слушателите се запознават с регуляризацията, се предлага да се използват функции от библиотеката sklearn, като в същото време не се споменава нищо за матричното представяне на алгоритма. В този момент някои слушатели могат да поискат да разберет темата по-добре — да напишат код без използване на готови функции. А за това, първо трябва да представят уравнението с регуляризатор в матричен вид. Тази статия точно ще помогне на желаещите да овладеят такива умения. Нека започнем.

Начални условия

Целеви показатели

Разполагаме с редица стойности на целевия показател. Например, целевият показател може да бъде цената на някакъв актив: нефт, злато, пшеница, долар и т.н. Под редица стойности на целевия показател разбираме количеството наблюдения. Такива наблюдения могат да бъдат, например, месечните цени на нефта за година, т.е. ще имаме 12 стойности на целевия показател. Нека започнем да въвеждаме обозначения. Ще обозначим всяка стойност на целевия показател като . Общият брой на наблюденията е наблюдения, така че можем да представим наблюденията ни като .

Регресори

Нека приемем, че съществуват фактори, които в определена степен обясняват стойностите на целевия показател. Например, курсът на долара спрямо рублата се влияе силно от цената на нефта, ставката на ФРС и др. Такива фактори се наричат регресори. В същото време, на всяка стойност на целевия показател трябва да съответства стойност на регресора, т.е. ако имаме 12 целеви показателя за всеки месец през 2018 година, то и стойностите на регресорите трябва да бъдат 12 за същия период. Нека обозначим стойностите на всеки регресор чрез . Да предположим, че в нашия случай имаме регресори (т.е. фактори, които оказват влияние на стойностите на целевия показател). Значи нашите регресори могат да се представят по следния начин: за 1-ви регресор (например, цената на нефта): , за 2-ри регресор (например, ставката на ФРС): , за „-ти” регресор:

Зависимостта на целевите показатели от регресорите

Предположим, че зависимостта на целевия показател от регресорите „-ти” наблюдение може да бъде изразена чрез уравнението на линейната регресия от вида:

, където — «-то” значение на регресора от 1 до ,

— броя на регресорите от 1 до

— наклони, които представят величината, с която средно ще се промени изчисленият целеви показател при промяна на регресора.

С други думи, за всеки (с изключение на ) регресор определяме „свой” коефициент , след това умножаваме коефициентите по стойностите на регресорите „-ти” наблюдение, в резултат получаваме някаква приближение на „-ти” целеви показател.

Следователно, трябва да подбере такива коефициенти , при които стойностите на нашата апроксимираща функция ще бъдат разположени максимално близо до стойностите на целевите показатели.

Оценка на качеството на апроксимиращата функция

Ще определим оценката на качеството на апроксимиращата функция с метода на най-малките квадрати. Функцията за оценка на качеството в този случай ще има следния вид:

Трябва да подберем такива стойности на коефициентите $w$, при които стойността ще бъде минимална.

Превеждаме уравнението в матричен вид

Векторно представяне

Първо, за да си улесним живота, трябва да обърнем внимание на уравнението на линейната регресия и да забележим, че първият коефициент не се умножава на нито един регресор. Въпреки това, когато преобразуваме данните в матричен вид, посоченото обстоятелство значително ще усложни изчисленията. В тази връзка предлагаме да въведем още един регресор за първия коефициент. и да му приравним единица. По-точно, всяко "-то" значение на този регресор да се приравни на единица — защото при умножаване с единица от гледна точка на резултатите от изчисленията няма да се промени нищо, а от гледна точка на правилата за умножение на матрици, значително ще намали нашите мъки.

Сега, за известно време, с цел опростяване на материала, нека предположим, че имаме само едно "-но" наблюдение. Тогава, представяме стойностите на регресорите на "-то" наблюдение като вектор. Векторът има размерност , тоест редове и 1 колона:

Искамите коефициенти представяме във вид на вектор , който има размерност :

Уравнението на линейната регресия за "-то" наблюдение ще изглежда така:

Функцията за оценка на качеството на линейния модел ще приеме вида:

Обърнете внимание, че в съответствие с правилата за умножение на матрици, ни трябваше да транспонираме вектора .

Матричното представяне

В резултат на умножението на векторите, ще получим число: , което и следваше да се очаква. Това число е приближение на "-ия" целеви показател. Но ние имаме нужда от приближение не за едно значение на целевия показател, а за всички. За това ще запишем всички "-и" регресори в матричен формат. Получената матрица има размерност. :

Сега уравнението на линейната регресия ще изглежда така:

Да обозначим стойностите на целевите показатели (всички " ") с вектор с размерност. :

Сега можем да запишем уравнението за оценка на качеството на линейния модел в матричен формат:

Собствено, от тази формула по-нататък получаваме известната ни формула.

Как се прави това? Разкриват се скобите, извършва се диференциране, преобразуват се получените изрази и т.н., и именно с това в момента ще се занимаваме.

Матрицни преобразования

Разкриваме скобите.

Подготвяме уравнението за диференциране.

За това ще извършим някои преобразования. В бъдещите изчисления ще ни бъде по-удобно, ако векторът е представен в началото на всяко произведение в уравнението.

Преобразование 1

Как се случи това? За да отговорим на този въпрос, е достатъчно да погледнем размерите на умножаваните матрици и да видим, че на изхода получаваме число или по друг начин .

Да запишем размерите на матричните изрази.

Преобразуване 2

Нека запишем аналогично на преобразуване 1

На изхода получаваме уравнение, което трябва да диференцираме:

Диференцираме функцията за оценка на качеството на модела

Да диференцираме по вектора :

Не би трябвало да има въпроси защо , но операциите по дефинирането на производните в другите две изрази ще разгледаме по-подробно.

Диференциране 1

Да разгърнем диференцирането:

За да определим производната на матрица или вектор, е необходимо да погледнем какво има вътре в тях. Нека видим:

Нека обозначим произведението на матриците чрез матрицата . Матрицата е квадратна и освен това симетрична. Тези свойства ще ни бъдат полезни по-късно, нека ги запомним. Матрицата има размерност :

Сега задачата ни е да умножим правилно векторите с матрицата и да не получим "два пъти два пет", затова ще се концентрираме и ще бъдем изключително внимателни.

Въпреки това, имаме сложно изразяване! Всъщност получихме число — скалар. И сега, наистина, преминаваме към диференцирането. Необходимо е да намерим производната на получения израз по всеки коефициент и на изхода да получим вектор с размерност . За всеки случай ще запиша процедурите по действията:

1) да диференцираме по , получаваме:

2) да диференцираме по , получаваме:

3) да диференцираме по , получаваме:

На изхода — обещаният вектор с размер :

Ако се вгледате по-внимателно в вектора, можете да забележите, че левите и съответстващите десни елементи на вектора могат да се групират по такъв начин, че в крайна сметка от представения вектор да можем да изведем вектор с размер . Например, (левият елемент на горния ред на вектора) (десният елемент на горния ред на вектора) може да се представи като , а — както и т.н. за всеки ред. Нека групираме:

Нека изнесем вектора и на изхода получаваме:

Сега нека да се вгледаме в получената матрица. Матрицата представлява сума от две матрици :

Да си спомним, че преди малко отбелязахме едно важно свойство на матрицата — тя е симетрична. Изхождайки от това свойство, можем уверено да заявим, че изразът е равен на . Това лесно може да се провери, като разкрием произведението на матриците по елементи. . Няма да го правим тук, желаещите могат да направят проверка сами.

Нека се върнем на нашето изразяване. След нашите преобразования, то стана точно такова, каквото искахме да видим:

И така, справихме се с първата диференциация. Преминаваме към второто изразяване.

Диференциране 2

Ще следваме утъпкания път. Той ще бъде значително по-кратък от предишния, така че не се отдалечавайте от екрана.

Нека разгледаме елементите на векторите и матрицата:

За временно ще премахнем двойката от изчисленията — тя не играе голяма роля, по-късно ще я върнем на мястото. Умножаваме векторите с матрицата. Първо ще умножим матрицата с вектора , тук нямаме ограничения. Получаваме вектор с размер :

Извършваме следното действие — умножаваме вектора с полученото векторно състояние. На изхода ни очаква число:

Точно него ще диференцираме. На изхода получаваме вектор с размерност :

Нещо напомня ли? Вярно! Това е произведението на матрицата с вектора .

По този начин, второто диференциране успешно приключи.

Вместо заключение

Сега знаем как се получи равенството .

Накрая ще опишем бързия път за преобразуване на основните формули.

Оценяваме качеството на модела в съответствие с метода на най-малките квадрати:

Диференцираме полученото изразяване:

Литература

Интернет източници:

1) habr.com/ru/post/278513
2) habr.com/ru/company/ods/blog/322076
3) habr.com/ru/post/307004
4) nabatchikov.com/blog/view/matrix_der

Учебници, сборници с задачи:

1) Конспект на лекции по висша математика: пълен курс / Д.Т. Письменный – 4-то изд. – М.: Айрис-пресс, 2006
2) Прилаган регресионен анализ / Н. Дрейпер, Г. Смит – 2-ро изд. – М.: Финанси и статистика, 1986 (превод от английски)
3) Задачи за решаване на матрични уравнения:
function-x.ru/matrix_equations.html
mathprofi.ru/deistviya_s_matricami.html

Източник: habr.com