Wir bringen die Gleichung der linearen Regression in matrixform.

— Anzahl der Regressoren von 1 bis

— Steigungskoeffizienten, die den Betrag repräsentieren, um den sich die berechnete Zielgröße im Durchschnitt ändert, wenn sich der Regressor ändert.

Anders gesagt, für jeden (außer ) Regressor bestimmen wir den "eigenen" Koeffizienten , dann multiplizieren wir die Koeffizienten mit den Werten der Regressoren "-ten" Beobachtung, als Ergebnis erhalten wir eine Annäherung an die "-te" Zielgröße.

Folglich müssen wir solche Koeffizienten finden , bei denen die Werte unserer approximierenden Funktion möglichst nahe an den Werten der Zielgrößen liegen.

Bewertung der Qualität der approximierenden Funktion

Wir werden die Bewertung der Qualität der approximierenden Funktion mit der Methode der kleinsten Quadrate bestimmen. Die Funktion zur Bewertung der Qualität sieht in diesem Fall wie folgt aus:

Wir müssen solche Werte für die Koeffizienten $w$ finden, bei denen der Wert am kleinsten ist.

Übersetzen wir die Gleichung in matrixform

Vektorielle Darstellung

Um es uns zunächst einfacher zu machen, sollten wir auf die Gleichung der linearen Regression achten und feststellen, dass der erste Koeffizient multipliziert sich nicht mit einem Regressor. Wenn wir die Daten jedoch in matrize Form bringen, wird das oben genannte Umstand die Berechnungen erheblich komplizieren. In diesem Zusammenhang wird vorgeschlagen, einen weiteren Regressor für den ersten Koeffizienten einzuführen. und ihn auf eins zu setzen. Genauer gesagt, jedes „-te“ Wert dieses Regressors auf eins zu setzen — denn bei der Multiplikation mit eins ändert sich aus der Sicht der Berechnungsergebnisse nichts, und in Bezug auf die Regeln der Matrizenmultiplikation werden unsere Mühen erheblich verringert.

Nehmen wir nun vorübergehend zur Vereinfachung des Materials an, dass wir nur eine „-te“ Beobachtung haben. Stellen wir uns dann die Werte der Regressoren der „-ten“ Beobachtung als Vektor vor. Der Vektor hat die Dimension , das heißt Zeilen und 1 Spalte:

Die gesuchten Koeffizienten stellen wir als Vektor dar , der die Dimension :

hat. Die Gleichung der linearen Regression für die „-te“ Beobachtung hat die Form:

Die Bewertungsfunktion der Qualität des linearen Modells hat die Form:

Wir weisen darauf hin, dass wir gemäß den Regeln der Matrizenmultiplikation den Vektor .

transponieren mussten. Mathematisches Modell

Das Ergebnis der Vektormultiplikation wird eine Zahl sein: , was zu erwarten war. Diese Zahl ist die Annäherung an das „-te“ Zielmaß. Aber wir brauchen keine Annäherung an einen einzelnen Zielwert, sondern an alle. Dafür schreiben wir alle „-ten“ Regressoren im Matrixformat . Die erhaltene Matrix hat die Dimension :

Jetzt wird die Gleichung der linearen Regression die Form annehmen:

Wir nennen die Werte der Zielwerte (alle ) den Vektor mit der Dimension :

Jetzt können wir die Gleichung zur Bewertung der Qualität des linearen Modells im matritzen Format aufschreiben:

Wirklich, aus dieser Formel ergibt sich später die bekannte Formel

Wie wird das durchgeführt? Die Klammern werden geöffnet, die Differenzierung wird durchgeführt, die erhaltenen Ausdrücke werden umgeformt usw., und genau damit werden wir uns jetzt beschäftigen.

Matrixumformungen

Öffnen wir die Klammern

Bereiten wir die Gleichung für die Differenzierung vor.

Dafür werden wir einige Umformungen vornehmen. In den folgenden Berechnungen wird es uns bequemer sein, wenn der Vektor am Anfang jeder Multiplikation in der Gleichung dargestellt wird.

Transformation 1

Wie ist das passiert? Um diese Frage zu beantworten, genügt es, die Dimensionen der multiplizierten Matrizen anzusehen und zu erkennen, dass wir als Ergebnis eine Zahl oder anders erhalten. .

Lass uns die Dimensionen der Matrixausdrücke aufschreiben.

Transformation 2

Lass uns analog zur Transformation 1 weiterverfahren.

Als Ergebnis erhalten wir die Gleichung, die wir jetzt ableiten müssen:

Wir leiten die Funktion zur Qualitätsbewertung des Modells ab.

Wir differenzieren nach dem Vektor. :

Es sollten keine Fragen auftauchen, aber die Operationen zur Definition der Ableitungen in zwei anderen Ausdrücken werden wir näher behandeln. Differenzierung 1

Lass uns die Differenzierung aufschlüsseln:

Um die Ableitung einer Matrix oder eines Vektors zu bestimmen, müssen wir schauen, was sich darin verbirgt. Wir sehen uns an:

Bezeichnen wir das Produkt der Matrizen

durch die Matrix . Die Matrix ist quadratisch und zudem symmetrisch. Diese Eigenschaften werden uns später nützlich sein, wir merken sie uns. Die Matrix Jetzt besteht unsere Aufgabe darin, die Vektoren richtig mit der Matrix zu multiplizieren und nicht "zweimal zwei fünf" zu erhalten, also konzentrieren wir uns und seien wir äußerst vorsichtig. Allerdings haben wir einen komplexen Ausdruck erhalten! Tatsächlich haben wir eine Zahl — ein Skalar — erhalten. Und jetzt, wirklich, gehen wir zur Differenzierung über. Es ist notwendig, die Ableitung des erhaltenen Ausdrucks nach jedem Koeffizienten zu finden hat die Dimension :

und als Ergebnis einen Vektor der Dimension

. Vorsichtshalber werde ich die Vorgänge aufschreiben: 1) Wir differenzieren nach , das Ergebnis lautet:

2) Wir differenzieren nach 3) Wir differenzieren nach

Als Ergebnis — der versprochene Vektor der Größe 3) Wir differenzieren nach

Wenn man sich den Vektor genauer anschaut, kann man bemerken, dass die linken und entsprechenden rechten Elemente des Vektors so gruppiert werden können, dass letztendlich aus dem gegebenen Vektor der Vektor 3) Wir differenzieren nach

der Größe :

(linkes Element der oberen Zeile des Vektors) (rechtes Element der oberen Zeile des Vektors) kann dargestellt werden als . Zum Beispiel, — wie und so weiter für jede Zeile. Lassen Sie uns gruppieren: , und Wir heben den Vektor und erhalten als Ergebnis:

Jetzt schauen wir uns die entstandene Matrix an. Die Matrix stellt die Summe von zwei Matrizen dar Erinnern wir uns, dass wir vorhin eine wichtige Eigenschaft der Matrix festgestellt haben

— sie ist symmetrisch. Basierend auf dieser Eigenschaft können wir mit Sicherheit sagen, dass der Ausdruck :

gleich ist . Das lässt sich leicht überprüfen, indem wir das Matrizenprodukt elementweise auflösen. entspricht . Es ist einfach zu überprüfen, indem man das Produkt der Matrizen elementweise aufschlüsselt. . Wir werden das hier nicht tun, wer möchte, kann die Prüfung selbst durchführen.

Kehren wir zu unserem Ausdruck zurück. Nach unseren Umwandlungen sieht es so aus, wie wir es uns gewünscht haben:

So, das erste Differenzieren haben wir geschafft. Wir gehen zum zweiten Ausdruck über.

Differenzierung 2

Wir gehen den ausgetretenen Pfad. Er wird viel kürzer sein als der vorherige, also gehen Sie nicht zu weit vom Bildschirm weg.

Lassen Sie uns die Vektoren und die Matrix_element für Element aufschlüsseln:

Vorübergehend entfernen wir die Zwei aus den Berechnungen — sie spielt keine große Rolle, später setzen wir sie wieder ein. Multiplizieren wir die Vektoren mit der Matrix. Zuerst multiplizieren wir die Matrix mit dem Vektor , hier gibt es keine Einschränkungen. Wir erhalten einen Vektor der Größe :

Führen wir die nächste Operation durch — multiplizieren wir den Vektor mit dem erhaltenen Vektor. Das Ergebnis wird eine Zahl sein:

Die werden wir differenzieren. Das Ergebnis wird einen Vektor der Dimension :

Erinnerst du dich an etwas? Genau! Das ist das Produkt der Matrix mit dem Vektor .

So wurde die zweite Differenzierung erfolgreich abgeschlossen.

Zum Abschluss

Jetzt wissen wir, wie die Gleichheit zustande kam .

Zum Schluss beschreiben wir den schnellen Weg der Umwandlungen grundlegender Formeln.

Bewerten wir die Qualität des Modells gemäß der Methode der kleinsten Quadrate:

Wir differenzieren den erhaltenen Ausdruck:

Literatur

Internetquellen:

1) habr.com/ru/post/278513
2) habr.com/ru/company/ods/blog/322076
3) habr.com/ru/post/307004
4) nabatchikov.com/blog/view/matrix_der

Lehrbücher, Aufgabensammlungen:

1) Vorlesungsnotizen zur höheren Mathematik: vollständiger Kurs / D.T. Pismennyi – 4. Aufl. – Moskau: Iris-Press, 2006
2) Angewandte Regressionsanalyse / N. Draper, G. Smith – 2. Aufl. – Moskau: Finanzen und Statistik, 1986 (Übersetzung aus dem Englischen)
3) Aufgaben zur Lösung von Matrixgleichungen:
function-x.ru/matrix_equations.html
mathprofi.ru/deistviya_s_matricami.html

Quelle: habr.com