Мэта артыкула — аказанне падтрымкі пачаткоўцам датасайнтыстам. У мы на пальцах разабралі тры спосабы рашэння раўнання лінейнай рэгрэсіі: аналітычнае рашэнне, градыентны спуск, стахастычны градыентны спуск. Тады для аналітычнага рашэння мы ўжылі формулу . У гэтым артыкуле, як вынікае з загалоўка, мы абгрунтуем ужыванне дадзенай формулы ці іншымі словамі, самастойна яе выведзем.
Чаму мае сэнс надаць падвышаную ўвагу да формулы ?
Менавіта з матрычнага раўнання ў большасці выпадкаў пачынаецца знаёмства з лінейнай рэгрэсіяй. Пры гэтым, падрабязныя выкладкі таго, як формула была выведзена, сустракаюцца рэдка.
Напрыклад, на курсах па машынным навучанні ад Яндэкса, калі слухачоў знаёмяць з рэгулярацыяй, то прапануюць скарыстацца функцыямі з бібліятэкі. склерн, пры гэтым ні слова не згадваецца аб матрычным прадстаўленні алгарытму. Менавіта ў гэты момант у некаторых слухачоў можа з'явіцца жаданне разабрацца ў гэтым пытанні падрабязней - напісаць код без выкарыстання гатовых функцый. А для гэтага, трэба спачатку прадставіць раўнанне з регуляризатором у матрычным выглядзе. Дадзены артыкул, як раз, дазволіць ахвочым авалодаць такімі ўменнямі. Прыступім.
Зыходныя ўмовы
Мэтавыя паказчыкі
У нас ёсць шэраг значэнняў мэтавага паказчыка. Напрыклад, мэтавым паказчыкам можа быць цана на які-небудзь актыў: нафту, золата, пшаніца, даляр і г.д. Пры гэтым пад шэрагам значэнняў мэтавага паказчыка мы разумеем колькасць назіранняў. Такімі назіраннямі могуць быць, напрыклад, штомесячныя цэны на нафту за год, гэта значыць, у нас будзе 12 значэнняў мэтавага паказчыка. Пачнём уводзіць абазначэнні. Абазначым кожнае значэнне мэтавага паказчыка як . Усяго мы маем назіранняў, а значыць можна ўявіць нашы назіранні як .
Рэгрэсары
Будзем лічыць, што існуюць фактары, якія ў вызначанай ступені тлумачаць значэнні мэтавага паказчыка. Напрыклад, на курс пары долар / рубель моцны ўплыў аказвае цана на нафту, стаўка ФРС і інш. Такія фактары называюцца рэгрэсарамі. Пры гэтым, кожнаму значэнню мэтавага паказчыка павінна адпавядаць значэнне рэгрэсара, гэта значыць, калі ў нас ёсць 12 мэтавых паказчыкаў за кожны месяц у 2018 годзе, то і значэнняў рэгрэсараў у нас таксама павінна быць 12 за той жа перыяд. Абазначым значэнні кожнага рэгрэсара праз . Няхай у нашым выпадку маецца рэгрэсараў (г.зн. фактараў, якія ўплываюць на значэння мэтавага паказчыка). Значыць нашы рэгрэсары можна ўявіць наступным чынам: для 1-га рэгрэсара (напрыклад, кошт на нафту): , для 2-га рэгрэсара (напрыклад, стаўка ФРС): , для "-га» рэгрэсара:
Залежнасць мэтавых паказчыкаў ад рэгрэсараў
Выкажам здагадку, што залежнасць мэтавага паказчыка ад рэгрэсараў «-го» назіранні можа быць выяўлена праз раўнанне лінейнай рэгрэсіі выгляду:
, Дзе - «-ое» значэнне рэгрэсара ад 1 да ,
- колькасць рэгрэсараў ад 1 да
- кутнія каэфіцыенты, якія ўяўляюць велічыню, на якую зменіцца разліковы мэтавы паказчык у сярэднім пры змене рэгрэсара.
Іншымі словамі, мы для кожнага (за выключэннем ) рэгрэсара вызначаем «свой» каэфіцыент , затым перамнажаем каэфіцыенты на значэнні рэгрэсараў-го» назіранні, у выніку атрымліваем нейкае набліжэнне-га» мэтавага паказчыка.
Такім чынам, нам трэба падабраць такія каэфіцыенты. , пры якіх значэння нашай апраксімуе функцыі будуць размешчаны максімальна блізка да значэнняў мэтавых паказчыкаў.
Ацэнка якасці апраксімуючай функцыі
Будзем вызначаць ацэнку якасці апраксімуючай функцыі метадам найменшых квадратаў. Функцыя адзнакі якасці ў такім выпадку прыме наступны выгляд:
Нам патрабуецца падабраць такія значэнні каэфіцыентаў $w$, пры якіх значэнне будзе найменшым.
Пераводзім раўнанне ў матрычны выгляд
Вектарнае ўяўленне
Для пачатку, каб аблегчыць сабе жыццё, варта звярнуць увагу на раўнанне лінейнай рэгрэсіі і заўважыць, што першы каэфіцыент не памнажаецца ні на адзін рэгрэсар. Пры гэтым, калі мы перавядзем дадзеныя ў матрычны выгляд, вышэйадзначаныя акалічнасць будзе сур'ёзна ўскладняць разлікі. У сувязі з гэтым прапануецца ўвесці яшчэ адзін рэгрэсар для першага каэфіцыента. і прыраўнаваць яго адзінцы. Дакладней, кожнае-ое» значэнне гэтага рэгрэсара прыраўнаваць адзінцы - бо пры множанні на адзінку ў нас з пункту гледжання выніку вылічэнняў нічога не зменіцца, а з пункту гледжання правілаў творы матрыц, істотна скароцяцца нашы пакуты.
Цяпер, на некаторы час, з мэтай спрашчэння матэрыялу, выкажам здагадку, што ў нас толькі адно.-ое» назіранне. Тады, прадставім значэнні рэгрэсараў-ого» назіранні ў якасці вектара . Вектар мае памернасць , Гэта значыць радкоў і 1 слупок:
Шуканыя каэфіцыенты прадставім у выглядзе вектара , які мае памернасць :
Раўнанне лінейнай рэгрэсіі для-го» назіранні прыме выгляд:
Функцыя адзнакі якасці лінейнай мадэлі прыме выгляд:
Звернем увагу, што ў адпаведнасці з правіламі множання матрыц, нам запатрабавалася транспанаваць вектар. .
Матрычнае прадстаўленне
У выніку множання вектараў, мы атрымаем лік: , што і трэба было чакаць. Гэты лік і ёсць набліжэнне-га» мэтавага паказчыка. Але нам трэба набліжэнне не аднаго значэння мэтавага паказчыка, а ўсіх. Для гэтага запішам усё-ыя» рэгрэсары ў фармаце матрыцы . Атрыманая матрыца мае памернасць :
Цяпер раўнанне лінейнай рэгрэсіі прыме выгляд:
Абазначым значэнні мэтавых паказчыкаў (усе ) за вектар памернасцю :
Цяпер мы можам запісаць у матрычным фармаце раўнанне адзнакі якасці лінейнай мадэлі:
Уласна, з гэтай формулы далей атрымліваюць вядомую нам формулу.
Як гэта робіцца? Раскрываюцца дужкі, праводзіцца дыферэнцыяванне, пераўтворацца атрыманыя выразы і г.д., і менавіта гэтым мы зараз і зоймемся.
Матрычныя пераўтварэнні
Раскрыем дужкі
Падрыхтуем раўнанне для дыферэнцыявання
Для гэтага правядзём некаторыя пераўтварэнні. У наступных разліках нам будзе зручней, калі вектар будзе прадстаўлены на пачатку кожнага твора ва ўраўненні.
Пераўтварэнне 1
Як гэта атрымалася? Для адказу на гэтае пытанне дастаткова паглядзець на памеры множаных матрыц і ўбачыць, што на выхадзе мы атрымліваем лік ці інакш .
Запішам памеры матрычных выразаў.
Пераўтварэнне 2
Распішам аналагічна пераўтварэнню 1
На выхадзе атрымліваем раўнанне, якое нам трэба будзе прадыферэнцыяваць:
Дыферэнцыруем функцыю ацэнкі якасці мадэлі
Прадыферэнцыюем па вектары :
Пытанняў чаму быць не павінна, а вось аперацыі па вызначэнні вытворных у двух іншых выразах мы разбяром падрабязней.
Дыферэнцыяванне 1
Раскрыем дыферэнцыяванне:
Для таго, каб вызначыць вытворную ад матрыцы ці вектара патрабуецца паглядзець, што ў іх тамака ўсярэдзіне. Глядзім:
Абазначым твор матрыц праз матрыцу . Матрыца квадратная і больш за тое, яна сіметрычная. Гэтыя ўласцівасці нам спатрэбяцца далей, запомнім іх. Матрыца мае памернасць :
Цяпер наша задача правільна перамножыць вектара на матрыцу і не атрымаць "двойчы два пяць", таму засяродзімся і будзем лімітава ўважлівыя.
Аднак мудрагелісты выраз у нас атрымалася! Насамрэч мы атрымалі лік – скаляр. І зараз, ужо па-сапраўднаму, пераходзім да дыферэнцыявання. Неабходна знайсці вытворную атрыманага выразы па кожным каэфіцыенце і атрымаць на выхадзе вектар памернасці . На ўсялякі выпадак распішу працэдуры па дзеяннях:
1) продифференцируем па , атрымаем:
2) продифференцируем па , атрымаем:
3) продифференцируем па , атрымаем:
На выхадзе - абяцаны вектар памерам :
Калі прыгледзецца да вектару больш уважліва, то можна заўважыць, што левыя і адпаведныя правыя элементы вектара можна згрупаваць такім чынам, што ў выніку з прадстаўленага вектара можна вылучыць вектар памеру . напрыклад, (левы элемент верхняга радка вектара) (правы элемент верхняга радка вектара) можна прадставіць як , А - як і г.д. па кожным радку. Згрупуем:
Вынесем вектар і на выхадзе атрымаем:
Зараз, дагледзімся да атрыманай матрыцы. Матрыца ўяўляе сабой суму дзвюх матрыц :
Успомнім, што некалькі раней, мы адзначылі адну важную ўласцівасць матрыцы - Яна сіметрычная. Зыходзячы з гэтай уласцівасці, мы можам з упэўненасцю заявіць, што выраз раўняецца . Гэта лёгка праверыць, расчыніўшы паэлементна твор матрыц . Мы не будзем рабіць гэтага тут, ахвочыя могуць правесці праверку самастойна.
Вернемся да нашага выразу. Пасля нашых пераўтварэнняў яно атрымалася такім, якім мы і хацелі яго ўбачыць:
Такім чынам, з першым дыферэнцыяваннем мы зладзіліся. Пераходзім да другога выразы.
Дыферэнцыяванне 2
Пойдзем па пратаптанай дарожцы. Яна будзе нашмат карацей папярэдняй, так што не сыходзьце далёка ад экрана.
Раскрыем паэлементна вектара і матрыцу:
На час прыбяром з разлікаў двойку - яна вялікай ролі не гуляе, потым вернем яе на месца. Перамножым вектара на матрыцу. У першую чаргу памножым матрыцу. на вектар , тут у нас няма ніякіх абмежаванняў. Атрымаем вектар памеру :
Выканаем наступнае дзеянне - памножым вектар на атрыманы вектар. На выхадзе нас будзе чакаць колькасць:
Яго мы і прадыферэнцуем. На выхадзе атрымаем вектар памернасці :
Нешта нагадвае? Усё дакладна! Гэты твор матрыцы на вектар .
Такім чынам, другое дыферэнцыяванне паспяхова завершана.
замест заключэння
Цяпер мы ведаем, як атрымалася роўнасць .
Напрыканцы апішам хуткі шлях пераўтварэнняў асноўных формул.
Ацэнім якасць мадэлі ў адпаведнасці з метадам найменшых квадратаў:
Дыферэнцуемы атрыманы выраз:
Літаратура
Інтэрнэт крыніцы:
1)
2)
3)
4)
Падручнікі, зборнікі задач:
1) Канспект лекцый па вышэйшай матэматыцы: поўны курс / Д.Ц. Пісьмовы - 4-е выд. – М.: Айрыс-прэс, 2006
2) Прыкладны рэгрэсійны аналіз / Н. Дрэйпер, Г. Сміт - 2-е выд. – М.: Фінансы і статыстыка, 1986 (пераклад з англійскай)
3) Задачы на рашэнне матрычных ураўненняў:
Крыніца: habr.com