ロジスティック回帰を理解する

この記事では、変換の理論計算を分析します。 線形回帰関数 в 逆ロジット変換関数 (ロジスティック応答関数とも呼ばれます)。 次に、武器庫を使用して、 最尤法、ロジスティック回帰モデルに従って、損失関数を導き出します。 物流損失、言い換えれば、ロジスティック回帰モデルで重みベクトルのパラメータが選択される関数を定義します。 .

記事の概要:

1. XNUMX つの変数間の線形関係を繰り返してみましょう
2. 変革の必要性を特定しましょう 線形回帰関数 в ロジスティック応答関数
3. 変換して出力してみましょう ロジスティック応答関数
4. パラメータを選択するときに最小二乗法がなぜ悪いのかを理解してみましょう 機能 物流損失
5. を使用しております 最尤法 決定します パラメータ選択機能 :

   5.1. ケース 1: 機能 物流損失 クラス指定のあるオブジェクトの場合 0 и 1:

   

   5.2. ケース 2: 機能 物流損失 クラス指定のあるオブジェクトの場合 -1 и +1:

   

この記事には簡単な例が豊富に記載されており、すべての計算は口頭または紙で簡単に行うことができますが、場合によっては電卓が必要になる場合もあります。 だから準備をしてください:)

この記事は主に、機械学習の基礎に関する初期レベルの知識を持つデータ サイエンティストを対象としています。

この記事では、グラフを描画したり計算したりするためのコードも提供します。 すべてのコードは言語で書かれています python 2.7。 使用するバージョンの「新規性」について事前に説明しておきます。これは、よく知られているコースを受講するための条件の XNUMX つです。 ヤンデックス 同様に有名なオンライン教育プラットフォーム上で Coursera, そして、ご想像のとおり、この教材はこのコースに基づいて作成されました。

01. 直線依存性

線形依存性とロジスティック回帰はそれとどのような関係があるのでしょうか?という質問をするのは非常に合理的です。

それは簡単です！ ロジスティック回帰は、線形分類器に属するモデルの XNUMX つです。 簡単に言えば、線形分類器のタスクはターゲット値を予測することです。 変数から (リグレッサー) 。 特性間の依存関係があると考えられています。 と目標値 線形。 したがって、分類器の名前は線形です。 非常に大まかに言うと、ロジスティック回帰モデルは、特性間に線形関係があるという仮定に基づいています。 と目標値 。 これがつながりです。

スタジオに最初の例があります。これは、正しくは、研究対象の量の直線依存性に関するものです。 記事を準備する過程で、すでに多くの人を不安にさせている例、つまり電流と電圧の依存関係に遭遇しました。 (「応用回帰分析」、N. ドレイパー、G. スミス)。 ここでも見ていきます。

に応じて オームの法則:

どこ - 現在の強さ、 - 電圧、 - 抵抗。

私たちが知らなかったら オームの法則を変更することで、経験的に依存関係を見つけることができます。 そして測定 、サポートしながら 修理済み。 次に、依存グラフが次のようになっていることがわかります。 から 原点を通るほぼ直線が得られます。 「ほぼ」と言ったのは、この関係は実際には正確ですが、測定値には小さな誤差が含まれる可能性があり、そのためグラフ上の点が正確に線上に収まらず、その周りにランダムに点在する可能性があるためです。

グラフ1「依存性」 から »

チャート描画コード

import matplotlib.pyplot as plt
%matplotlib inline

import numpy as np

import random

R = 13.75

x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
    y_line.append(i/R)
    
y_dot = []
for i in y_line:
    y_dot.append(i+random.uniform(-0.9,0.9))


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Actual results')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

02. 線形回帰式を変換する必要性

別の例を見てみましょう。 私たちが銀行で働いており、私たちの仕事は、特定の要因に応じて借り手がローンを返済する可能性を判断することであると想像してみましょう。 タスクを単純化するために、借り手の月給と月々のローン返済額の XNUMX つの要素のみを考慮します。

このタスクは非常に条件付きですが、この例を使用すると、なぜそれを使用するだけでは十分でないのかがわかります。 線形回帰関数、また、その関数でどのような変換を実行する必要があるかを調べます。

例に戻りましょう。 給与が高ければ高いほど、借り手は月々のローン返済に充てることができる額が増えることが理解されています。 同時に、特定の給与範囲では、この関係は非常に直線的になります。 たとえば、給与範囲が 60.000 RUR から 200.000 RUR であり、指定された給与範囲では、月々の支払い額と給与額の依存関係が線形であると仮定します。 指定された範囲の賃金について、給与対支払比率が 3 を下回ることはできず、借り手はまだ 5.000 RUR の準備金を持っていなければならないことが判明したとします。 そしてこの場合に限り、借り手が銀行にローンを返済すると仮定します。 この場合、線形回帰方程式は次の形式になります。

どこ , , , - 給与 -番目の借り手、 - ローンの支払 -番目の借り手。

給与とローンの支払いを固定パラメータで方程式に代入する ローンを発行するか拒否するかを決定できます。

今後のことを考えると、指定されたパラメータを使用すると、 線形回帰関数、 で使われる ロジスティック応答関数 大きな値が生成されるため、ローン返済の確率を決定するための計算が複雑になります。 したがって、係数をたとえば 25.000 分の XNUMX に減らすことが提案されています。 この係数の変換によってローン発行の決定が変わることはありません。 この点は将来のために覚えておいてください。しかし、ここで、私たちが話していることをさらに明確にするために、XNUMX 人の潜在的な借り手の状況を考えてみましょう。

表 1 「潜在的な借り手」

テーブルを生成するコード

import pandas as pd

r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r

data = {'The borrower':np.array(['Vasya', 'Fedya', 'Lesha']), 
        'Salary':np.array([120000,180000,210000]),
       'Payment':np.array([3000,50000,70000])}

df = pd.DataFrame(data)

df['f(w,x)'] = w_0 + df['Salary']*w_1 + df['Payment']*w_2

decision = []
for i in df['f(w,x)']:
    if i > 0:
        dec = 'Approved'
        decision.append(dec)
    else:
        dec = 'Refusal'
        decision.append(dec)
        
df['Decision'] = decision

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision']]

表のデータによると、給料 120.000 RUR の Vasya は、月々 3.000 RUR で返済できるようローンを受け取りたいと考えています。 ローンを承認するには、Vasya さんの給与が支払額の 5.000 倍を超え、かつ XNUMX RUR が残っている必要があると判断しました。 Vasya は次の要件を満たしています。 。 106.000RURも残っています。 にもかかわらず、計算すると、 私たちは確率を下げました 25.000 回実行しても結果は同じで、ローンは承認できました。 フェディアもローンを受け取ることになるが、リーシャは、彼が最も多くを受け取っているという事実にもかかわらず、彼の食欲を抑えなければならないだろう。

この場合のグラフを描いてみましょう。

図表２「借入先の分類」

グラフを描画するコード

salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'], 
         'o', color ='green', markersize = 12, label = 'Decision - Loan approved')
plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'], 
         's', color = 'red', markersize = 12, label = 'Decision - Loan refusal')
plt.xlabel('Salary', size = 16)
plt.ylabel('Payment', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

したがって、関数に従って構築された直線は、 、「悪い」借り手と「良い」借り手を区別します。 欲望と能力が一致しない借り手はラインを上回っていますが (Lesha)、モデルのパラメータによればローンを返済できる借り手はラインを下回っています (Vasya と Fedya)。 言い換えれば、私たちの直系は借り手を XNUMX つのクラスに分けていると言えます。 それらを次のように表します。 ローンを返済する可能性が最も高い借り手を次のように分類します。 または ローンを返済できない可能性が高い借り手も含めます。

この簡単な例から得た結論をまとめてみましょう。 ポイントを見てみましょう そして、点の座標を対応する直線の方程式に代入します。 、次の XNUMX つのオプションを検討してください。

1. 点が線の下にあり、それをクラスに割り当てる場合 、次に関数の値 からプラスになります до 。 これは、ローンを返済できる確率が以下であると仮定できることを意味します。 。 関数の値が大きいほど、確率が高くなります。
2. 点が線の上にあり、それをクラスに割り当てる場合 または の場合、関数の値は負の値になります。 до 。 次に、借金返済の確率が以下であると仮定します。 そして、関数の絶対値が大きいほど、信頼度は高くなります。
3. 点は XNUMX つのクラス間の境界上の直線上にあります。 この場合、関数の値は 等しくなります そしてローンを返済する確率は次のとおりです .

さて、XNUMX つではなく数十、XNUMX つではなく数千の借り手がいると想像してみましょう。 次に、直線の代わりに次のようになります。 m次元 平面と係数 私たちは何もないところから導き出されるのではなく、すべてのルールに従って、ローンを返済したまたは返済していない借り手に関する蓄積されたデータに基づいて導き出されます。 そして実際、現在、既知の係数を使用して借り手を選択していることに注意してください。 。 実際、ロジスティック回帰モデルのタスクはまさに​​パラメータを決定することです。 、損失関数の値は 物流損失 最小限に抑える傾向になります。 ただし、ベクトルの計算方法については、 、詳しくは記事の 5 番目のセクションで説明します。 その間に、私たちは約束の地、銀行家と彼の XNUMX 人の顧客の元に戻ります。

機能のおかげで 私たちは誰に融資が可能で、誰に融資を拒否する必要があるかを知っています。 しかし、そのような情報を持ってディレクターに行くことはできません。彼らは私たちから各借り手のローン返済の可能性を知りたかったからです。 何をするか？ 答えは簡単です。何らかの方法で関数を変換する必要があります。 、その値は範囲内にあります 値が範囲内にある関数に 。 そしてそのような関数が存在し、それは呼ばれます ロジスティック応答関数または逆ロジット変換。 会う：

どのように機能するかを段階的に見てみましょう ロジスティック応答関数。 反対方向に歩くことに注意してください。 からの範囲にある確率値がわかっていると仮定します。 до 次に、この値を次の数値範囲全体に「巻き戻し」ます。 до .

03. ロジスティック応答関数を導出する

ステップ 1. 確率値を範囲に変換する

関数の変換中 в ロジスティック応答関数 信用アナリストのことはそのままにして、代わりにブックメーカーのツアーに参加します。 いいえ、もちろん、賭けはしません。私たちが興味を持っているのは、その式の意味だけです。たとえば、チャンスは 4 対 1 です。すべてのベッターにとっておなじみのオッズは、「成功」と「」の比率です。失敗」。 確率の用語では、オッズとは、イベントが発生する確率をイベントが発生しない確率で割ったものです。 出来事が起こる確率の計算式を書いてみましょう :

どこ - 事象が発生する確率、 — イベントが発生しない確率

たとえば、「ヴェテロク」というあだ名の若くて強くて遊び心のある馬が、レースで「マチルダ」という名前のたるんだ年老いた老婦人に勝つ確率が次のとおりであるとします。 の場合、「Veterok」の成功確率は次のようになります。 к 逆も同様で、オッズがわかれば、確率を計算するのは難しくありません。 :

したがって、私たちは確率をチャンスに「変換」することを学びました。 до 。 もう一歩進んで、確率を次の数直線全体に「変換」する方法を学びましょう。 до .

ステップ 2. 確率値を範囲に変換する

このステップは非常に簡単です。オッズの対数をオイラー数の底に求めます。 そして次のようになります:

これで、次のことがわかります。 、値を計算します 非常にシンプルで、さらにポジティブなものになるはずです。 。 これは本当です。

好奇心から、どうなるかを確認してみましょう の場合、負の値が表示されることが期待されます。 。 私たちは以下をチェックします: 。 それは正しい。

これで、確率値を次から変換する方法がわかりました。 до からの数直線全体に沿って до 。 次のステップでは、その逆のことを行います。

今のところ、対数の法則に従って、関数の値がわかっていることに注意してください。 、オッズを計算できます。

オッズを決定するこの方法は、次のステップで役立ちます。

ステップ 3. を決定するための式を導き出しましょう

それで私たちは学び、知りました 、関数値を検索します 。 しかし、実際には、まったく逆のことが必要です。つまり、価値を知ることです。 見つける 。 これを行うには、次のような逆オッズ関数などの概念に目を向けましょう。

この記事では、上記の式を導き出しませんが、上記の例の数値を使用して確認します。 オッズは 4 対 1 ()、イベントが発生する確率は 0.8 (）。 置き換えてみましょう: 。 これは、以前に実行した計算と一致します。 次へ移りましょう。

最後のステップで次のように推測しました。 これは、逆オッズ関数で置換を行うことができることを意味します。 我々が得る：

分子と分母の両方を次の値で割ります。 次に：

念のため、どこにも間違いがないかを確認するために、もう 2 回小さなチェックを行います。 ステップ XNUMX では、 と判断した 。 次に、値を代入します ロジスティック応答関数に代入すると、次の結果が得られると期待されます。 。 置き換えると次のようになります。

読者の皆さん、おめでとうございます。ロジスティック応答関数を導出し、テストしました。 関数のグラフを見てみましょう。

グラフ3「ロジスティック応答関数」

グラフを描画するコード

import math

def logit (f):
    return 1/(1+math.exp(-f))

f = np.arange(-7,7,0.05)
p = []

for i in f:
    p.append(logit(i))

fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

文献では、この関数の名前を次のように見つけることもできます。 シグモイド関数。 このグラフは、オブジェクトがクラスに属する確率の主な変化が比較的狭い範囲内で発生することを明確に示しています。 、どこかから до .

信用アナリストに戻って、ローン返済の可能性の計算を手伝ってもらうことをお勧めします。そうしないと、ボーナスなしで取り残される危険があります:)

表 2 「潜在的な借り手」

テーブルを生成するコード

proba = []
for i in df['f(w,x)']:
    proba.append(round(logit(i),2))
    
df['Probability'] = proba

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision', 'Probability']]

そこで、ローン返済の確率を求めました。 一般に、これは真実であるようです。

実際、給与が 120.000 RUR の Vasya が毎月 3.000 RUR を銀行に渡すことができる確率は 100% に近いです。 ところで、銀行の方針で、たとえばローン返済の確率がたとえば 0.3 を超える顧客への融資を規定している場合、銀行は Lesha に融資を実行できることを理解する必要があります。 ただ、この場合、銀行は起こり得る損失に備えてより大きな引当金を作成します。

また、給与対支払比率は少なくとも 3 で、5.000 RUR のマージンが上限から引かれていることにも注意してください。 したがって、重みのベクトルを元の形式で使用することはできませんでした。 。 係数を大幅に減らす必要があり、この場合は各係数を 25.000 で除算しました。つまり、結果を調整しました。 ただし、これは特に初期段階での内容の理解を容易にするために行われました。 人生では、係数を発明したり調整したりする必要はなく、係数を見つける必要があります。 この記事の次のセクションでは、パラメータを選択するための方程式を導き出します。 .

04. 重みベクトルを決定するための最小二乗法 ロジスティック応答関数で

重みのベクトルを選択するこの方法はすでに知っています として 最小二乗法 (LSM) 実際、二項分類問題でそれを使用してみてはいかがでしょうか? 確かに、使用を妨げるものは何もありません MNC、分類問題ではこの方法のみが、以下の方法よりも精度の低い結果をもたらします。 物流損失。 これには理論的根拠があります。 まず簡単な例を XNUMX つ見てみましょう。

私たちのモデル（を使用すると、 MSE и 物流損失) すでに重みのベクトルの選択を開始しています そしてある段階で計算を中止しました。 中間、最後、または最初のいずれであっても、重要なことは、重みのベクトルの値がすでにいくつかあるということです。このステップでは、重みのベクトルは 両方のモデルに違いはありません。 次に、結果の重みを取得して次のように代入します。 ロジスティック応答関数 () クラスに属するオブジェクトの場合 。 選択した重みベクトルに従って、モデルが非常に間違っている場合とその逆の XNUMX つのケースを調べます。モデルは、オブジェクトがそのクラスに属していると強く確信しています。 。 使用した場合にどのような罰金が課されるのか見てみましょう MNC и 物流損失.

使用される損失関数に応じてペナルティを計算するコード

# класс объекта
y = 1
# вероятность отнесения объекта к классу в соответствии с параметрами w
proba_1 = 0.01

MSE_1 = (y - proba_1)**2
print 'Штраф MSE при грубой ошибке =', MSE_1

# напишем функцию для вычисления f(w,x) при известной вероятности отнесения объекта к классу +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
    return math.log(proba/(1-proba)) 

LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'Штраф Log Loss при грубой ошибке =', LogLoss_1

proba_2 = 0.99

MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))

print '**************************************************************'
print 'Штраф MSE при сильной уверенности =', MSE_2
print 'Штраф Log Loss при сильной уверенности =', LogLoss_2

失敗例 — モデルはオブジェクトをクラスに割り当てます 0,01の確率で

使用時のペナルティ MNC になります：

使用時のペナルティ 物流損失 になります：

強い自信の事例 — モデルはオブジェクトをクラスに割り当てます 0,99の確率で

使用時のペナルティ MNC になります：

使用時のペナルティ 物流損失 になります：

この例は、重大なエラーの場合、損失関数が ログロス モデルに以下のペナルティを大幅に課す MSE。 ここで、損失関数を使用する理論的背景が何であるかを理解しましょう。 ログロス 分類問題で。

05. 最尤法とロジスティック回帰

冒頭で約束したように、この記事には簡単な例が豊富にあります。 スタジオには、別の例と古いゲスト、銀行の借り手、ヴァシャ、フェディア、レシャがいます。

念のため、例を開発する前に、私たちは人生において、数十または数百の特徴を持つ数千または数百万のオブジェクトのトレーニング サンプルを扱っていることを思い出させてください。 ただし、ここでの数値は、初心者のデータ サイエンティストの頭に簡単に収まるように取られています。

例に戻りましょう。 アルゴリズムがリーシャにはローンを発行しないように指示したにもかかわらず、銀行の取締役が困っている人全員にローンを発行することを決定したと想像してみましょう。 そして今、十分な時間が経過し、XNUMX 人の英雄のうち誰がローンを返済し、誰が返済しなかったのかがわかりました。 予想されていたこと：ヴァシャとフェディアはローンを返済しましたが、リーシャは返済しませんでした。 ここで、この結果が私たちにとって新しいトレーニング サンプルになると想像してみましょう。同時に、あたかもローン返済の可能性に影響を与える要素 (借り手の給与、毎月の支払い額) に関するすべてのデータが消えたかのようです。 次に、直感的には、借り手の XNUMX 人に XNUMX 人が銀行にローンを返済しないと仮定できます。言い換えれば、次の借り手がローンを返済する確率は次のとおりです。 。 この直感的な仮定には理論的な裏付けがあり、以下に基づいています。 最尤法、文献ではよくこう呼ばれています。 最尤原理.

まず、概念的な装置について理解しましょう。

サンプリングの尤度 まさにそのようなサンプルが得られる確率、つまりまさにそのような観察/結果が得られる確率です。 各サンプル結果を取得する確率の積 (たとえば、Vasya、Fedya、Lesha のローンが同時に返済されたかどうか)。

尤度関数 サンプルの可能性を分布パラメータの値に関連付けます。

私たちの場合、トレーニング サンプルは一般化されたベルヌーイ スキームであり、確率変数は次の XNUMX つの値のみを取ります。 または 。 したがって、サンプルの尤度はパラメータの尤度関数として書くことができます。 次のようにします。

上記のエントリは次のように解釈できます。 Vasya と Fedya がローンを返済する共同確率は次のとおりです。 、リーシャがローンを返済しない確率は次のとおりです。 (起こったのはローンの返済ではないため)、したがって、XNUMX つのイベントすべての同時確率は等しいです。 .

最尤法 未知のパラメータを最大化することで推定する手法です。 尤度関数。 私たちの場合、そのような値を見つける必要があります どこで 最大値に達します。

尤度関数が最大値に達する未知のパラメータの値を探すという実際のアイデアはどこから来たのでしょうか? このアイデアの起源は、サンプルが母集団について私たちが利用できる唯一の情報源であるという考えに由来しています。 母集団について私たちが知っているすべてがサンプルに表現されています。 したがって、私たちが言えることは、サンプルは私たちが利用できる母集団を最も正確に反映しているということだけです。 したがって、利用可能なサンプルの可能性が最も高くなるパラメータを見つける必要があります。

明らかに、私たちは関数の極値点を見つける必要がある最適化問題を扱っています。 極値点を見つけるには、一次条件を考慮する必要があります。つまり、関数の導関数をゼロに等しいとみなして、目的のパラメーターに関して方程式を解く必要があります。 ただし、多数の因子の積の導関数を求めるのは時間のかかる作業になる可能性があるため、これを回避するには、対数に切り替えるという特別なテクニックがあります。 尤度関数。 なぜこのような移行が可能なのでしょうか? 関数自体の極値を探しているわけではないことに注意してください。、および極値点、つまり未知のパラメータの値 どこで 最大値に達します。 対数は単調関数であるため、対数に移行する場合、極値点は変わりません (極値自体は異なりますが)。

上記に従って、Vasya、Fedya、Lesha からのローンを使用して例を開発し続けましょう。 まずは次へ進みましょう 尤度関数の対数:

これで、次のように式を簡単に区別できます。 :

そして最後に、一次条件を検討します。関数の導関数をゼロとみなします。

したがって、ローン返済の確率についての直感的な推定は、 理論的には正当化されました。

それはいいのですが、この情報を今どうすればいいでしょうか? 借り手の XNUMX 人に XNUMX 人が銀行にお金を返さないと仮定すると、銀行は必然的に破産することになります。 そうですが、それはローン返済の確率が以下と等しいと評価した場合に限ります。 ローン返済に影響を与える要因、つまり借り手の給与や月々の支払い額は考慮していません。 以前に、これらと同じ要素を考慮して、各顧客によるローンの返済確率を計算したことを思い出してください。 定数と異なる確率が得られたのは論理的です。 .

サンプルの可能性を定義しましょう。

サンプルの尤度を計算するコード

from functools import reduce

def likelihood(y,p):
    line_true_proba = []
    for i in range(len(y)):
        ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
        line_true_proba.append(ltp_i)
    likelihood = []
    return reduce(lambda a, b: a*b, line_true_proba)
        
    
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]


print 'Правдоподобие выборки при константном значении p=2/3:', round(likelihood(y,p_const),3)

print '****************************************************************************************************'

print 'Правдоподобие выборки при расчетном значении p:', round(likelihood(y,p_log_response),3)

一定値でのサンプル尤度 :

要因を考慮してローン返済の確率を計算する際のサンプル尤度 :

要因に応じて計算された確率を持つサンプルの尤度は、一定の確率値を持つ尤度よりも高いことが判明しました。 これはどういう意味ですか？ これは、要因に関する知識により、各顧客のローン返済の確率をより正確に選択できるようになったということを示唆しています。 したがって、次の融資を実行するときは、この記事のセクション 3 の最後で提案されているモデルを使用して借金返済の可能性を評価するのがより正確です。

しかし、最大化したい場合は、 サンプル尤度関数では、Vasya、Fedya、Lesha の確率をそれぞれ 0.99、0.99、0.01 に等しくするアルゴリズムを使用してみてはいかがでしょうか。 おそらく、このようなアルゴリズムは、サンプルの尤度値を次の値に近づけるため、トレーニング サンプルでうまく機能するでしょう。 しかし、第一に、そのようなアルゴリズムは一般化能力に問題がある可能性が高く、第二に、このアルゴリズムは明らかに線形ではありません。 そして、オーバートレーニング (同様に弱い汎化能力) に対抗する方法が明らかにこの記事の計画に含まれていない場合は、2.5 番目の点をさらに詳しく見てみましょう。 これを行うには、簡単な質問に答えるだけです。 私たちが知っている要因を考慮すると、ヴァシャとフェディアがローンを返済する確率は同じになるでしょうか? 健全な論理の観点から言えば、もちろんそうではありません。 したがって、Vasyaはローンを返済するために毎月給与の27,8％を支払い、Fedyaはほぼ2％を支払います。 また、グラフ XNUMX「クライアントの分類」では、Vasya が Fedya よりもクラスを分ける線からはるかに離れていることがわかります。 そして最後に、関数が Vasya と Fedya では異なる値が使用されます。Vasya では 4.24、Fedya では 1.0 です。 ここで、たとえば、Fedya の収入が桁違いに多かった場合、またはより少ない融資を要求した場合、Vasya と Fedya のローンを返済する確率は同等になります。 言い換えれば、線形依存性は騙されないということです。 そして実際にオッズを計算してみると 、そして何もないところからそれらを持ち出したわけではありませんが、私たちの価値観は安全であると言えます。 各借り手によるローンの返済確率を推定できるのが最善ですが、係数の決定は次のとおりであると仮定することに同意したため、 すべてのルールに従って実行された場合は、そのように仮定します。係数を使用すると、確率をより正確に推定できます:)

しかし、話はそれます。 このセクションでは、重みのベクトルがどのように決定されるかを理解する必要があります。 、各借り手によるローンの返済可能性を評価するために必要です。

どのような武器を使ってオッズを探すのかを簡単にまとめてみましょう :

1. 対象変数（予測値）と結果に影響を与える要因との関係は線形であると仮定します。 このような理由で使用されるのです 線形回帰関数 種 、その行はオブジェクト (クライアント) をクラスに分割します。 и または （ローンを返済できる顧客とそうでない顧客）。 私たちの場合、方程式の形式は次のとおりです。 .

2.使用します 逆ロジット関数 種 オブジェクトがクラスに属する確率を決定する .

3. 私たちは、トレーニングセットを一般化されたトレーニングの実装として考えています。 ベルヌーイ スキームつまり、オブジェクトごとに確率変数が生成されます。 (オブジェクトごとに独自のもの) は値 1 をとり、確率で - 0。

4. 最大化するために何が必要かを知っています サンプル尤度関数 利用可能なサンプルが最も妥当なものになるように、受け入れられている要素を考慮に入れます。 言い換えれば、サンプルが最も妥当であると思われるパラメータを選択する必要があります。 この場合、選択したパラメーターはローン返済の確率です。 、これは未知の係数に依存します 。 したがって、そのような重みのベクトルを見つける必要があります 、この時点でサンプルの尤度が最大になります。

5. 私たちは何を最大化すべきかを知っています サンプル尤度関数 使用することができ 最尤法。 そして、私たちはこの方法を使用するための難しいトリックをすべて知っています。

このようにして、複数のステップを踏む必要があることがわかります:)

ここで、記事の冒頭で XNUMX 種類の損失関数を導出しようとしたことを思い出してください。 物流損失 オブジェクトクラスの指定方法に応じて異なります。 偶然にも、XNUMX つのクラスを含む分類問題では、クラスは次のように表されます。 и または 。 表記法に応じて、出力には対応する損失関数が含まれます。

ケース 1. オブジェクトの分類 и

以前は、サンプルの可能性を決定するときに、借り手による借金返済の確率が係数と与えられた係数に基づいて計算されました。 、次の式を適用しました。

実際に 意味は ロジスティック応答関数 指定された重みベクトルに対して

そうすれば、次のようにサンプル尤度関数を書くことを妨げるものは何もありません。

一部の初心者アナリストにとって、この関数がどのように機能するかをすぐに理解することが難しい場合があります。 すべてを明確にする 4 つの短い例を見てみましょう。

1. もし (つまり、トレーニング サンプルによれば、オブジェクトはクラス +1 に属します)、およびアルゴリズム オブジェクトをクラスに分類する確率を決定します が 0.9 に等しい場合、このサンプル尤度は次のように計算されます。

2. もし と の場合、計算は次のようになります。

3. もし と の場合、計算は次のようになります。

4. もし と の場合、計算は次のようになります。

尤度関数がケース 1 と 3、または一般的なケースで、オブジェクトをクラスに割り当てる確率の正しく推測された値で最大化されることは明らかです。 .

オブジェクトをクラスに割り当てる確率を決定するとき、 係数だけがわからない 、それからそれらを探します。 上で述べたように、これは最適化問題であり、最初に重みのベクトルに関する尤度関数の導関数を見つける必要があります。 。 ただし、最初に自分自身でタスクを単純化することは理にかなっています。対数の導関数を探します。 尤度関数.

なぜ対数の後に、 ロジスティック誤差関数から看板を変更しました。 на 。 モデルの品質を評価する問題では関数の値を最小化するのが一般的であるため、すべてが単純です。式の右辺に次の値を掛けます。 したがって、関数を最大化する代わりに、関数を最小化します。

実は今、あなたの目の前で、損失関数が苦心して導出されているのです - 物流損失 XNUMX つのクラスを含むトレーニング セットの場合: и .

さて、係数を見つけるには、導関数を見つけるだけです。 ロジスティック誤差関数 次に、勾配降下法や確率的勾配降下法などの数値最適化手法を使用して、最適な係数を選択します。 。 ただし、この記事はかなりの量であるため、微分を自分で実行することが提案されています。あるいは、おそらくこれは、そのような詳細な例なしで多くの計算を伴う次の記事のトピックになるでしょう。

ケース 2. オブジェクトの分類 и

ここでのアプローチはクラスの場合と同じです и 、ただし、損失関数の出力へのパス自体は 物流損失、より華やかになります。 始めましょう。 尤度関数には演算子を使用します。 「もし…だったら…」。 つまり、もし 番目のオブジェクトはクラスに属します 、次に、サンプルの尤度を計算するために、確率を使用します。 、オブジェクトがクラスに属している場合 を確率に代入します。 。 尤度関数は次のようになります。

それがどのように機能するかを指で説明してみましょう。 4 つのケースを考えてみましょう。

1. もし и の場合、サンプリング尤度は「減少」します。

2. もし и の場合、サンプリング尤度は「減少」します。

3. もし и の場合、サンプリング尤度は「減少」します。

4. もし и の場合、サンプリング尤度は「減少」します。

ケース 1 と 3 では、確率がアルゴリズムによって正しく決定された場合、次のことが明らかです。 尤度関数 つまり、これはまさに私たちが得たかったものです。 ただし、このアプローチは非常に面倒なので、次に、よりコンパクトな表記法を検討します。 ただし、最初に、尤度関数を最小化するので、符号を変更して対数計算しましょう。

代わりに代用しましょう 表現 :

単純な算術手法を使用して、対数の下の正しい項を単純化し、次を取得しましょう。

今度はオペレーターを排除する時が来ました 「もし…だったら…」。 オブジェクトが クラスに属します 、対数の下の式で、分母で、 力を上げた 、オブジェクトがクラスに属している場合 、その後 $e$ がべき乗されます 。 したがって、度の表記は、両方のケースを XNUMX つに組み合わせることで簡略化できます。 。 それから ロジスティック誤差関数 次の形式になります:

対数の法則に従って、分数をひっくり返して記号を出します。" (マイナス) 対数の場合、次のようになります。

ここに損失関数があります 物流損失、クラスにオブジェクトが割り当てられたトレーニング セットで使用されます。 и .

さて、この時点で休暇を取り、この記事を終わります。

著者の過去の著作は「線形回帰方程式を行列形式に変換する」です。

補助材料

1. 文学

1) 応用回帰分析 / N. Draper、G. Smith - 第 2 版– M.: 財務と統計、1986 (英語からの翻訳)

2) 確率論と数理統計 / V.E. グムルマン - 第 9 版- M.: 高等学校、2003 年

3) 確率論 / N.I. チェルノバ - ノボシビルスク: ノボシビルスク州立大学、2007

4) ビジネス分析: データから知識へ / Paklin N. B.、Oreshkov V. I. - 第 2 版— サンクトペテルブルク: ピーター、2013

5) データ サイエンス ゼロからのデータ サイエンス / Joel Gras - サンクトペテルブルク: BHV Petersburg、2017

6) データ サイエンス スペシャリストのための実践統計 / P. ブルース、E. ブルース - サンクトペテルブルク: BHV Petersburg、2018

2. 講演・講座（動画）

1) 最尤法の本質、ボリス・デメシェフ

2) 連続ケースにおける最尤法、Boris Demeshev

3) ロジスティック回帰。 オープン ODS コース、ユーリー・カシニツキー

4) 講義 4、エフゲニー・ソコロフ (ビデオの 47 分より)

5) ロジスティック回帰、ヴャチェスラフ・ボロンツォフ

3. インターネットソース

1) 線形分類および回帰モデル

2) ロジスティック回帰を簡単に理解する方法

3) ロジスティック誤差関数

4) 独立したテストとベルヌーイの公式

5) MMPのバラード

6) 最尤法

7) 対数の公式と性質

8) なぜ番号を付けるのか ?

9) 線形分類器

出所： habr.com