Der Zweck des Artikels besteht darin, angehende Datenwissenschaftler zu unterstützen. IN Wir haben drei Möglichkeiten zur Lösung einer linearen Regressionsgleichung beschrieben: analytische Lösung, Gradientenabstieg, stochastischer Gradientenabstieg. Dann haben wir für die analytische Lösung die Formel angewendet . In diesem Artikel werden wir, wie der Titel schon sagt, die Verwendung dieser Formel begründen oder, mit anderen Worten, sie selbst ableiten.
Warum es sinnvoll ist, der Formel besondere Aufmerksamkeit zu schenken ?
Mit der Matrixgleichung beginnt man in den meisten Fällen, sich mit der linearen Regression vertraut zu machen. Gleichzeitig sind detaillierte Berechnungen zur Herleitung der Formel selten.
In Kursen zum maschinellen Lernen von Yandex wird den Studierenden beispielsweise bei der Einführung in die Regularisierung angeboten, Funktionen aus der Bibliothek zu nutzen sklearn, während kein Wort über die Matrixdarstellung des Algorithmus erwähnt wird. An diesem Punkt möchten einige Zuhörer dieses Problem möglicherweise genauer verstehen – Code schreiben, ohne vorgefertigte Funktionen zu verwenden. Und dazu müssen Sie die Gleichung zunächst mit einem Regularisierer in Matrixform darstellen. Dieser Artikel ermöglicht es denjenigen, die solche Fähigkeiten erlernen möchten. Lass uns anfangen.
Anfangsbedingungen
Zielindikatoren
Wir haben eine Reihe von Zielwerten. Der Zielindikator könnte beispielsweise der Preis eines beliebigen Vermögenswerts sein: Öl, Gold, Weizen, Dollar usw. Unter einer Anzahl von Zielindikatorwerten verstehen wir gleichzeitig die Anzahl der Beobachtungen. Solche Beobachtungen könnten beispielsweise monatliche Ölpreise für das Jahr sein, das heißt, wir haben 12 Zielwerte. Beginnen wir mit der Einführung der Notation. Bezeichnen wir jeden Wert des Zielindikators als . Insgesamt haben wir Beobachtungen, was bedeutet, dass wir unsere Beobachtungen als darstellen können .
Regressoren
Wir gehen davon aus, dass es Faktoren gibt, die die Werte des Zielindikators bis zu einem gewissen Grad erklären. Beispielsweise wird der Wechselkurs Dollar/Rubel stark vom Ölpreis, dem Wechselkurs der Federal Reserve usw. beeinflusst. Solche Faktoren werden als Regressoren bezeichnet. Gleichzeitig muss jeder Zielindikatorwert einem Regressorwert entsprechen, d. h. wenn wir 12 Zielindikatoren für jeden Monat im Jahr 2018 haben, dann sollten wir auch 12 Regressorwerte für denselben Zeitraum haben. Bezeichnen wir die Werte jedes Regressors mit . In unserem Fall sei es so Regressoren (d. h. Faktoren, die die Zielindikatorwerte beeinflussen). Das heißt, unsere Regressoren können wie folgt dargestellt werden: Für den 1. Regressor (zum Beispiel der Ölpreis): , für den 2. Regressor (z. B. den Fed-Zinssatz): , zum "-ter" Regressor:
Abhängigkeit der Zielindikatoren von Regressoren
Nehmen wir an, dass die Abhängigkeit vom Zielindikator ist von Regressoren“Diese Beobachtung kann durch eine lineare Regressionsgleichung der Form ausgedrückt werden:
Wo - "-th" Regressorwert von 1 bis ,
— Anzahl der Regressoren von 1 bis
— Winkelkoeffizienten, die den Betrag darstellen, um den sich der berechnete Zielindikator im Durchschnitt ändert, wenn sich der Regressor ändert.
Mit anderen Worten: Wir sind für alle da (außer ) des Regressors bestimmen wir „unseren“ Koeffizienten , dann multiplizieren Sie die Koeffizienten mit den Werten der Regressoren "th „Beobachtung, als Ergebnis erhalten wir eine gewisse Näherung“-th"-Zielindikator.
Daher müssen wir solche Koeffizienten auswählen , bei dem die Werte unserer Näherungsfunktion möglichst nahe an den Zielindikatorwerten liegen.
Beurteilung der Qualität der Näherungsfunktion
Die Qualitätsbewertung der Näherungsfunktion ermitteln wir mit der Methode der kleinsten Quadrate. Die Qualitätsbewertungsfunktion sieht in diesem Fall wie folgt aus:
Wir müssen solche Werte der Koeffizienten $w$ auswählen, für die der Wert gilt wird das Kleinste sein.
Konvertieren der Gleichung in Matrixform
Vektordarstellung
Um Ihnen das Leben zu erleichtern, sollten Sie zunächst auf die lineare Regressionsgleichung achten und den ersten Koeffizienten beachten wird mit keinem Regressor multipliziert. Gleichzeitig wird der oben genannte Umstand bei der Konvertierung der Daten in Matrixform die Berechnungen erheblich erschweren. In diesem Zusammenhang wird vorgeschlagen, einen weiteren Regressor für den ersten Koeffizienten einzuführen und setze es mit eins gleich. Oder besser gesagt, jeder "Setzen Sie den th-Wert dieses Regressors mit eins gleich – schließlich ändert sich bei der Multiplikation mit eins nichts vom Standpunkt des Ergebnisses der Berechnungen, sondern vom Standpunkt der Regeln für das Produkt von Matrizen, unserer Qual wird deutlich reduziert.
Um das Material zu vereinfachen, gehen wir zunächst einmal davon aus, dass wir nur eine haben.-te" Beobachtung. Stellen Sie sich dann die Werte der Regressoren vor.-th"-Beobachtungen als Vektor . Vektor hat Dimension Das heißt, Zeilen und 1 Spalte:
Stellen wir die erforderlichen Koeffizienten als Vektor dar , mit Dimension :
Lineare Regressionsgleichung für „-te" Beobachtung wird die Form annehmen:
Die Funktion zur Beurteilung der Qualität eines linearen Modells hat die Form:
Bitte beachten Sie, dass wir gemäß den Regeln der Matrixmultiplikation den Vektor transponieren mussten .
Matrixdarstellung
Als Ergebnis der Multiplikation von Vektoren erhalten wir die Zahl: , was zu erwarten ist. Diese Zahl ist die Näherung „-th"-Zielindikator. Aber wir brauchen eine Annäherung nicht nur an einen Zielwert, sondern an alle. Schreiben wir dazu alles auf.“„th“-Regressoren im Matrixformat . Die resultierende Matrix hat die Dimension :
Nun hat die lineare Regressionsgleichung die Form:
Bezeichnen wir die Werte der Zielindikatoren (alle ) pro Vektor Abmessungen :
Jetzt können wir die Gleichung zur Beurteilung der Qualität eines linearen Modells im Matrixformat schreiben:
Tatsächlich erhalten wir aus dieser Formel weiterhin die uns bekannte Formel
Wie es gemacht wird? Die Klammern werden geöffnet, die Differenzierung durchgeführt, die resultierenden Ausdrücke transformiert usw., und genau das werden wir jetzt tun.
Matrixtransformationen
Öffnen wir die Klammern
Bereiten wir eine Differenzierungsgleichung vor
Dazu werden wir einige Transformationen durchführen. In späteren Berechnungen wird es für uns bequemer sein, wenn der Vektor wird am Anfang jedes Produkts in der Gleichung dargestellt.
Konvertierung 1
Wie ist es passiert? Um diese Frage zu beantworten, schauen Sie sich einfach die Größen der zu multiplizierenden Matrizen an und stellen Sie fest, dass wir am Ausgang eine Zahl oder eine andere Zahl erhalten .
Schreiben wir die Größen von Matrixausdrücken auf.
Konvertierung 2
Schreiben wir es ähnlich wie Transformation 1
Am Ausgang erhalten wir eine Gleichung, die wir differenzieren müssen:
Wir unterscheiden die Funktion zur Bewertung der Modellqualität
Differenzieren wir nach dem Vektor :
Fragen warum Dies sollte nicht der Fall sein, aber wir werden die Operationen zur Bestimmung von Ableitungen in den anderen beiden Ausdrücken genauer untersuchen.
Differenzierung 1
Lassen Sie uns die Differenzierung näher erläutern:
Um die Ableitung einer Matrix oder eines Vektors zu bestimmen, müssen Sie sich ansehen, was sich darin befindet. Lass uns nachsehen:
Bezeichnen wir das Produkt von Matrizen durch die Matrix . Matrix quadratisch und darüber hinaus symmetrisch. Diese Eigenschaften werden uns später nützlich sein, erinnern wir uns an sie. Matrix hat Dimension :
Unsere Aufgabe besteht nun darin, die Vektoren korrekt mit der Matrix zu multiplizieren und nicht „zweimal zwei ist fünf“ zu erhalten. Konzentrieren wir uns also und seien wir äußerst vorsichtig.
Wir haben jedoch einen komplizierten Ausdruck erreicht! Tatsächlich haben wir eine Zahl erhalten – einen Skalar. Und jetzt kommen wir tatsächlich zur Differenzierung. Für jeden Koeffizienten muss die Ableitung des resultierenden Ausdrucks ermittelt werden und erhalten Sie den Dimensionsvektor als Ausgabe . Für alle Fälle schreibe ich die Vorgehensweise nach Aktion auf:
1) differenzieren nach , wir bekommen:
2) differenzieren nach , wir bekommen:
3) differenzieren nach , wir bekommen:
Die Ausgabe ist der versprochene Größenvektor :
Wenn Sie sich den Vektor genauer ansehen, werden Sie feststellen, dass die linken und entsprechenden rechten Elemente des Vektors so gruppiert werden können, dass im Ergebnis ein Vektor vom dargestellten Vektor isoliert werden kann Größe . Zum Beispiel (linkes Element der oberen Zeile des Vektors) (das rechte Element der oberen Zeile des Vektors) kann dargestellt werden als Und - wie usw. in jeder Zeile. Lassen Sie uns gruppieren:
Nehmen wir den Vektor heraus und am Ausgang erhalten wir:
Schauen wir uns nun die resultierende Matrix genauer an. Die Matrix ist die Summe zweier Matrizen :
Erinnern wir uns daran, dass wir etwas früher eine wichtige Eigenschaft der Matrix bemerkt haben - es ist symmetrisch. Basierend auf dieser Eigenschaft können wir mit Sicherheit sagen, dass der Ausdruck ist gleich . Dies kann leicht überprüft werden, indem das Produkt der Matrizen Element für Element erweitert wird . Wir werden dies hier nicht tun; Interessenten können es selbst überprüfen.
Kehren wir zu unserem Ausdruck zurück. Nach unseren Transformationen ist es so geworden, wie wir es sehen wollten:
Damit haben wir die erste Differenzierung abgeschlossen. Kommen wir zum zweiten Ausdruck.
Differenzierung 2
Folgen wir den ausgetretenen Pfaden. Es wird viel kürzer sein als das vorherige, also entfernen Sie sich nicht zu weit vom Bildschirm.
Erweitern wir die Vektoren und die Matrix Element für Element:
Lasst uns die beiden für eine Weile aus den Berechnungen herausnehmen – es spielt keine große Rolle, dann setzen wir es wieder an seinen Platz. Lassen Sie uns die Vektoren mit der Matrix multiplizieren. Lassen Sie uns zunächst die Matrix multiplizieren zum Vektor , wir haben hier keine Einschränkungen. Wir erhalten den Größenvektor :
Führen wir die folgende Aktion aus: Multiplizieren Sie den Vektor zum resultierenden Vektor. Am Ausgang wartet die Nummer auf uns:
Dann werden wir es differenzieren. Als Ergebnis erhalten wir einen Dimensionsvektor :
Erinnert mich etwas? Alles ist richtig! Dies ist das Produkt der Matrix zum Vektor .
Damit ist die zweite Differenzierung erfolgreich abgeschlossen.
Statt einer Schlussfolgerung
Jetzt wissen wir, wie es zur Gleichberechtigung kam .
Abschließend beschreiben wir eine schnelle Möglichkeit, Grundformeln umzuwandeln.
Bewerten wir die Qualität des Modells anhand der Methode der kleinsten Quadrate:
Differenzieren wir den resultierenden Ausdruck:
Literatur
Internetquellen:
1)
2)
3)
4)
Lehrbücher, Aufgabensammlungen:
1) Vorlesungsskript zur höheren Mathematik: vollständiger Kurs / D.T. Geschrieben – 4. Auflage. – M.: Iris-Presse, 2006
2) Angewandte Regressionsanalyse / N. Draper, G. Smith – 2. Aufl. – M.: Finanzen und Statistik, 1986 (Übersetzung aus dem Englischen)
3) Probleme zur Lösung von Matrixgleichungen:
Source: habr.com