この記事の目的は、初心者のデータ サイエンティストにサポートを提供することです。 線形回帰方程式を解く3つの方法、すなわち解析解法、勾配降下法、確率的勾配降下法を指で分析しました。そして、解析解法には次の式を適用しました。 
この記事では、タイトルが示すように、この式の使用を正当化します。言い換えれば、私たち自身でこの式を導き出します。
なぜ式に特別な注意を払う必要があるのか 
?
多くの場合、線形回帰の理解は行列方程式から始まります。同時に、その式がどのように導かれたのかを詳細に計算することは稀です。
例えば、Yandexの機械学習コースでは、学生が正規化について学ぶ際に、ライブラリの関数を使用するように勧められる。 学習するアルゴリズムの行列表現については全く触れられていません。この時点で、既成関数を使わずにコードを記述する方法について、より詳しく理解したいリスナーもいるかもしれません。そのためには、まず正規化子を含む方程式を行列形式で提示する必要があります。この記事は、そのようなスキルを習得したい方のためのものです。それでは始めましょう。
初期条件
目標指標
目標指標値の系列があります。例えば、目標指標は原油、金、小麦、ドルなどの資産価格です。この場合、目標指標値の系列とは、観測値の個数を意味します。このような観測値は、例えば12年間の月間原油価格などです。つまり、目標指標値はXNUMX個あります。それでは、表記法を導入してみましょう。それぞれの目標指標値を次のように表記します。 
合計すると 
観察、つまり私たちは観察結果を次のように提示することができます 
.
回帰変数
目標指標の値をある程度説明する要因があると仮定しましょう。例えば、ドル/ルーブルの為替レートは、原油価格やFRB金利などに強く影響されます。このような要因は回帰変数と呼ばれます。この場合、目標指標の各値は回帰変数の値に対応している必要があります。つまり、12年の各月に2018個の目標指標がある場合、同じ期間に12個の回帰変数の値が必要です。各回帰変数の値を次のように表記します。 
. 私たちの場合、 
回帰変数（すなわち 
目標指標の値に影響を与える要因）。これは、回帰変数が次のように表されることを意味します。1番目の回帰変数（たとえば、原油価格）の場合： 
2番目の回帰変数（例えばFRB金利）の場合： 
、 にとって "
-th"回帰変数: 
目標指標の回帰変数への依存性
目標指標の依存性が 
回帰変数から
「-th」観測値は、次の形式の線形回帰方程式で表すことができます。
どこ 
- "
回帰変数の1から 
,
— 回帰変数の数は1から 
— 回帰変数が変化したときに計算されたターゲット指標が平均的に変化する量を表す角度係数。
言い換えれば、私たちはすべての人のために存在します（ただし 
）回帰変数の係数を決定する 
次に、係数に回帰変数の値を掛けます。
観測結果から、我々はある程度の近似値を得る。
-th"ターゲットインジケーター。
したがって、このような係数を選択する必要がある。 
、近似関数の値は 
目標指標値に可能な限り近い位置に配置されます。
近似関数の品質評価
近似関数の品質評価は最小二乗法を用いて行います。この場合の品質評価関数は以下の形になります。
係数$w$の値を選択する必要がある。 
最も小さくなります。
この方程式を行列形式に変換すると
ベクトル表現
まず、あなたの人生を楽にするために、線形回帰方程式を見て、最初の係数に注目してください。 
は回帰変数を乗じられていない。同時に、データを行列形式に変換すると、上記の状況により計算が著しく複雑になる。この点で、最初の係数に別の回帰変数を導入することが提案される。 
それを一つにまとめる。あるいはむしろ、それぞれが「
この回帰変数の「-th」値は 1 に等しくなります。結局のところ、1 を掛けても計算結果の観点からは何も変わらず、行列積の規則の観点からは、私たちの苦痛は大幅に軽減されます。
さて、ここでは、話を簡素化するために、「
次に、回帰変数の値を提示します。
-番目の観測値をベクトルとして 
. ベクター 
次元がある 
つまり、 
行 1 列:
必要な係数をベクトルとして表す。 
次元を有する 
:
「
-th" の観測は次の形式になります。
線形モデルの品質を評価する関数は次の形式になります。
行列の乗算の規則に従って、ベクトルを転置する必要があることに注意してください。 
.
行列表現
ベクトルを掛け合わせると次の数値が得られます。 
予想通りです。この数値は「
ターゲット指標の1つの値だけでなく、すべての値を近似値として取得する必要があります。そのためには、すべての「
行列形式の「-th」回帰変数 
結果の行列の次元は 
:
線形回帰方程式は次のようになります。
目標指標の値を指定しましょう（すべて 
）ベクトル 
寸法 
:
これで、線形モデルの品質を評価するための式を行列形式で記述できるようになりました。
実際、この式から私たちが知っている式が得られる。 
これはどのように行われるのでしょうか? 括弧を展開し、微分を実行し、結果の式を変換するなど、これを今から実行します。
行列変換
括弧を開けてみましょう
微分方程式を準備しましょう
これを実現するために、いくつかの変換を行います。以降の計算では、ベクトルを 
方程式内の各積の先頭に表示されます。
変身1
なぜこのようなことが起こったのでしょうか？この疑問に答えるには、掛け算される行列の大きさを見て、出力に数値やその他が得られるかを確認すれば十分です。 
.
行列式のサイズを書きましょう。
変身2
変換1と同様に書きましょう
出力では、微分する必要がある方程式が得られます。
モデルの品質を評価する機能を区別してみましょう
ベクトルに関して微分してみましょう 
:
理由は問わない 
そうではないはずですが、他の 2 つの式における導関数を決定するための演算を詳しく調べます。
差別化1
差別化を詳しく説明しましょう。 
行列やベクトルの微分を求めるには、その中身を見る必要があります。見てみましょう。
行列の積を次のように表す。 
マトリックスを通して 
。 マトリックス 
正方行列であり、しかも対称的です。これらの性質は後で役に立つので、覚えておきましょう。行列 
次元がある 
:
ここでの課題は、ベクトルを行列に正しく掛け算し、「2 かける 2 は 5」とならないようにすることです。集中して細心の注意を払いましょう。
しかし、複雑な式になってしまいました！実際には、これは数値、つまりスカラー値です。さて、いよいよ微分化です。得られた式の各係数の導関数を求める必要があります。 
出力に次元のベクトルを取得する 
念のため、手順をアクションごとに説明します。
1) に関して微分する 
すると次のようになります: 
2) に関して微分する 
すると次のようになります: 
3) に関して微分する 
すると次のようになります: 
出力は約束されたサイズのベクトルである 
:
ベクトルをもっと詳しく見てみると、ベクトルの左と右の要素をグループ化して、結果として、提示されたベクトルからベクトルを抽出できることに気づくでしょう。 
サイズ 
。 例えば、 
（ベクトルの一番上の行の左の要素） 
（ベクトルの一番上の行の右の要素）は次のように表される。 
と 
- なので 
各行ごとにこのように記述します。グループ化してみましょう。
ベクトルを取り出そう 
出力は次のようになります。
さて、結果の行列を詳しく見てみましょう。この行列は2つの行列の和です。 
:
少し前に、行列の重要な性質の一つについて述べたことを思い出してください。 
対称的である。この性質に基づいて、次の式が 
等しい 
これは行列積を要素ごとに展開することで簡単に確認できます。 
ここではこれを行いませんので、希望される方はご自身でご確認ください。
式に戻りましょう。変換後、期待通りの結果が得られました。
さて、最初の微分は終わりました。次は2番目の式に移りましょう。
差別化2
いつもの道を辿ってみましょう。前回よりもずっと短いので、画面からあまり離れないようにしてください。
ベクトルと行列を要素ごとに展開してみましょう。
しばらくは計算からこの2つを取り除いておきましょう。あまり意味がないので、後で元に戻します。ベクトルと行列を掛け合わせてみましょう。まず、行列を掛け合わせましょう。 
ベクトル化する 
, ここでは制限はありません。サイズのベクトルが得られます 
:
次のアクションを実行してみましょう - ベクトルを乗算します 
結果のベクトルに代入します。出力は数値になります。
これを微分すると、出力は次元ベクトルになります。 
:
これは何かを思い出させますか？そうです！行列積です 
ベクトル化する 
.
これで、2 回目の微分化は正常に完了しました。
代わりに、結論の
これで、平等がどのようにして実現されたのかが分かりました。 
.
最後に、基本的な数式を変換する簡単な方法を説明します。
最小二乗法を使用してモデルの品質を評価してみましょう。
結果の式を微分してみましょう。
文学
インターネット情報源:
1)
2)
3)
4)
教科書、問題集：
1) 高等数学講義ノート：フルコース / D.T. ピスメニー – 第4版 – M.: アイリスプレス、2006
2) 応用回帰分析 / N. Draper、G. Smith - 第 2 版– M.: 財務と統計、1986 (英語からの翻訳)
3) 行列方程式を解く問題:
出所： habr.com
