Celem artykułu jest zapewnienie wsparcia początkującym naukowcom danych. W uporządkowaliśmy trzy sposoby rozwiązania równania regresji liniowej na naszych palcach: rozwiązanie analityczne, opadanie gradientu, opadanie gradientu stochastycznego. Następnie dla rozwiązania analitycznego zastosowaliśmy wzór . W niniejszym artykule, jak wynika z tytułu, uzasadnimy użycie tej formuły, czyli innymi słowy sami ją wyprowadzimy.
Dlaczego warto zwracać szczególną uwagę na formułę ?
Od równania macierzowego w większości przypadków zaczyna się znajomość regresji liniowej. Jednocześnie szczegółowe obliczenia sposobu wyprowadzenia wzoru są rzadkością.
Na przykład na kursach uczenia maszynowego Yandex, gdy studenci zapoznają się z regularyzacją, proponuje się im skorzystanie z funkcji z biblioteki szorować, podczas gdy ani słowa nie wspomniano o reprezentacji macierzowej algorytmu. W tym momencie niektórzy słuchacze mogą chcieć bardziej szczegółowo zrozumieć to zagadnienie - pisać kod bez korzystania z gotowych funkcji. W tym celu musisz najpierw przedstawić równanie z regulatorem w postaci macierzy. Ten artykuł, po prostu, pozwoli tym, którzy chcą opanować takie umiejętności. Zacznijmy.
Warunki początkowe
Cele
Mamy zakres wartości docelowych. Na przykład celem może być cena aktywów: ropy naftowej, złota, pszenicy, dolara itp. Jednocześnie pod zakresem wartości wskaźnika docelowego rozumiemy liczbę obserwacji. Takimi obserwacjami mogą być np. miesięczne ceny ropy za rok, czyli będziemy mieli 12 wartości docelowych. Zacznijmy wprowadzać notację. Oznaczmy każdą wartość wskaźnika docelowego jako . W sumie mamy obserwacje, więc możemy przedstawić nasze obserwacje jako .
Regresory
Przyjmiemy, że istnieją czynniki, które w pewnym stopniu wyjaśniają wartości wskaźnika docelowego. Na przykład kurs wymiany pary dolar/rubel jest silnie uzależniony od ceny ropy, kursu Fed itp. Takie czynniki nazywane są regresorami. Jednocześnie każda wartość wskaźnika celu powinna odpowiadać wartości regresora, czyli jeśli mamy 12 wskaźników celu dla każdego miesiąca w 2018 roku, to powinniśmy mieć również 12 wartości regresora dla tego samego okresu. Oznacz wartości każdego regresora przez . Niech w naszym przypadku mamy regresory (tj. czynniki wpływające na docelowe wartości wskaźników). Zatem nasze regresory można przedstawić w następujący sposób: dla pierwszego regresora (na przykład cena ropy): , dla drugiego regresora (na przykład stopa Fed): , dla "-ty" regresor:
Zależność wskaźników docelowych od regresorów
Załóżmy, że zależność wskaźnika docelowego od regresorów-tą" obserwację można wyrazić równaniem regresji liniowej postaci:
Gdzie - "-ta" wartość regresora od 1 do ,
— liczba regresorów od 1 do
— współczynniki nachylenia, które reprezentują wielkość, o jaką średnio zmieni się obliczony wskaźnik docelowy, gdy zmieni się regresor.
Innymi słowy, jesteśmy dla wszystkich (z wyjątkiem ) regresora wyznaczamy „nasz” współczynnik , następnie mnożymy współczynniki przez wartości regresorów "-tej" obserwacji, w rezultacie otrzymujemy pewne przybliżenie"-ty" wskaźnik celu.
Dlatego musimy wybrać takie współczynniki , dla których wartości naszej funkcji przybliżającej będzie znajdować się jak najbliżej wartości docelowych.
Ocena jakości funkcji aproksymującej
Oszacowanie jakości funkcji przybliżającej wyznaczymy metodą najmniejszych kwadratów. Funkcja oceny jakości w tym przypadku przyjmie następującą postać:
Musimy wybrać takie wartości współczynników $w$ dla których wartość będzie najmniejszy.
Przekształcamy równanie na postać macierzową
Reprezentacja wektorowa
Na początek, aby ułatwić sobie życie, należy zwrócić uwagę na równanie regresji liniowej i zauważyć, że pierwszy współczynnik nie jest mnożona przez żaden regresor. Jednocześnie, gdy przekształcimy dane w postać macierzową, powyższa okoliczność poważnie skomplikuje obliczenia. W związku z tym proponuje się wprowadzenie kolejnego regresora dla pierwszego współczynnika i przyrównać do jednego. Raczej każdyzrównać wartość „th” tego regresora z jedynką – wszak przy mnożeniu przez jeden nic się nie zmieni z punktu widzenia wyniku obliczeń, a z punktu widzenia reguł iloczynu macierzy nasz cierpienie zostanie znacznie zmniejszone.
A teraz dla uproszczenia załóżmy, że mamy tylko jeden "ta obserwacja. Następnie przedstawiamy wartości regresorów”th" obserwacja jako wektor . Wektor ma wymiar Oznacza to, że wiersze i 1 kolumna:
Wymagane współczynniki przedstawiamy jako wektor , który ma wymiar :
Równanie regresji liniowej dla „-ta" obserwacja przyjmie postać:
Funkcja oceny jakości modelu liniowego przyjmie postać:
Zauważmy, że zgodnie z zasadami mnożenia macierzy musieliśmy przetransponować wektor .
Reprezentacja macierzowa
W wyniku mnożenia wektorów otrzymujemy liczbę: , czego należy się spodziewać. Ta liczba jest przybliżeniem-ty" wskaźnik celu. Ale potrzebujemy przybliżenia nie jednej wartości wskaźnika docelowego, ale wszystkich. Aby to zrobić, zapisujemy wszystko-th" regresory w formacie macierzowym . Otrzymana macierz ma wymiar :
Teraz równanie regresji liniowej przyjmie postać:
Oznaczmy wartości wskaźników docelowych (all ) na wektor wymiar :
Teraz możemy zapisać w formacie macierzowym równanie służące do oszacowania jakości modelu liniowego:
Właściwie z tego wzoru otrzymujemy dalej znany nam wzór
Jak to jest zrobione? Nawiasy są otwierane, wykonywane jest różniczkowanie, transformowane wyrażenia wynikowe itd. I tym właśnie się teraz zajmiemy.
Transformacje macierzowe
Otwórzmy nawiasy
Przygotujmy równanie do różniczkowania
Aby to zrobić, przeprowadzimy pewne przekształcenia. W kolejnych obliczeniach będzie nam wygodniej, jeśli wektor zostanie przedstawiony na początku każdego produktu w równaniu.
Transformacja 1
Jak to się stało? Aby odpowiedzieć na to pytanie, wystarczy spojrzeć na rozmiary pomnożonych macierzy i zobaczyć, że na wyjściu otrzymujemy liczbę lub inaczej .
Zapiszmy rozmiary wyrażeń macierzowych.
Transformacja 2
Napiszmy podobnie do transformacji 1
Na wyjściu otrzymujemy równanie, które musimy zróżnicować:
Wyróżniamy funkcję oceny jakości modelu
Różniczkowanie względem wektora :
Pytania dlaczego nie powinno być, ale bardziej szczegółowo przeanalizujemy operacje wyznaczania pochodnych w pozostałych dwóch wyrażeniach.
Wyprowadzenie 1
Rozszerzmy zróżnicowanie:
Aby wyznaczyć pochodną macierzy lub wektora, należy przyjrzeć się temu, co mają w środku. Patrzymy:
Oznacz iloczyn macierzy przez matrix . Macierz kwadratowy, a ponadto jest symetryczny. Te właściwości przydadzą nam się później, zapamiętaj je. Matryca ma wymiar :
Teraz naszym zadaniem jest poprawne pomnożenie wektorów przez macierz i nie otrzymanie „dwa razy dwa pięć”, więc skupmy się i bądźmy bardzo ostrożni.
Mamy jednak skomplikowaną ekspresję! W rzeczywistości mamy liczbę - skalar. A teraz, naprawdę, przechodzimy do różnicowania. Konieczne jest znalezienie pochodnej wynikowego wyrażenia dla każdego współczynnika i uzyskaj wyjściowy wektor wymiaru . Na wszelki wypadek zapiszę procedury działań:
1) różnicować względem , otrzymujemy:
2) różnicować względem , otrzymujemy:
3) różnicować względem , otrzymujemy:
Dane wyjściowe to obiecany wektor wielkości :
Jeśli przyjrzysz się bliżej wektorowi, zauważysz, że lewy i odpowiadający mu prawy element wektora można pogrupować w taki sposób, że w rezultacie można wybrać wektor z prezentowanego wektora размера . Na przykład (lewy element górnego rzędu wektora) (prawy element górnego rzędu wektora) można przedstawić jako I - tak jak itp. dla każdej linii. pogrupujmy:
Wyjmij wektor a na wyjściu otrzymujemy:
Teraz spójrzmy na wynikową macierz. Macierz jest sumą dwóch macierzy :
Przypomnijmy, że nieco wcześniej zauważyliśmy jedną ważną właściwość macierzy - jest symetryczny. Na podstawie tej właściwości możemy śmiało stwierdzić, że wyrażenie równa się . Łatwo to sprawdzić, rozwijając iloczyn macierzy element po elemencie . Tutaj tego nie zrobimy, chętni mogą sami to sprawdzić.
Wróćmy do naszej wypowiedzi. Po naszych przeróbkach wyszło tak jak chcieliśmy:
Mamy więc do czynienia z pierwszym zróżnicowaniem. Przejdźmy do drugiego wyrażenia.
Wyprowadzenie 2
Idźmy utartym szlakiem. Będzie on znacznie krótszy niż poprzedni, więc nie oddalaj się zbytnio od ekranu.
Rozwińmy wektor i macierz element po elemencie:
Na jakiś czas usuniemy dwójkę z obliczeń – nie odgrywa ona dużej roli, potem wrócimy na jej miejsce. Mnożymy wektory przez macierz. Najpierw pomnóż macierz do wektora , nie mamy tu żadnych ograniczeń. Pobierz wektor rozmiaru :
Wykonajmy następującą czynność - pomnóżmy wektor do wynikowego wektora. Na wyjściu będzie czekał na nas numer:
Rozróżnimy to. Na wyjściu otrzymujemy wektor wymiarów :
Czy to ci coś przypomina? W porządku! To jest iloczyn macierzy do wektora .
W ten sposób drugie różniczkowanie zostało pomyślnie zakończone.
Zamiast zawierania
Teraz wiemy, jak doszło do równości .
Na koniec opisujemy szybki sposób na przekształcenie podstawowych formuł.
Oceńmy jakość modelu zgodnie z metodą najmniejszych kwadratów:
Rozróżniamy wynikowe wyrażenie:
literatura
Źródła internetowe:
1)
2)
3)
4)
Podręczniki, zbiory problemów:
1) Notatki z wykładów z matematyki wyższej: pełny kurs / D.T. Pisemne - wyd. 4. - M.: Iris-press, 2006
2) Stosowana analiza regresji / N. Draper, G. Smith - wyd. 2. - M .: Finanse i statystyki, 1986 (przetłumaczone z angielskiego)
3) Zadania rozwiązywania równań macierzowych:
Źródło: www.habr.com