로지스틱 회귀 분석

이 기사에서는 변환의 이론적 계산을 분석합니다. 선형 회귀 함수 в 역로짓 변환 함수(로지스틱 반응 함수라고도 함). 그럼 무기고를 이용해서 최대우도법, 로지스틱 회귀 모델에 따라 손실 함수를 도출합니다. 물류 손실즉, 로지스틱 회귀 모델에서 가중치 벡터의 매개변수를 선택하는 함수를 정의합니다. .

기사 개요:

1. 두 변수 사이의 선형 관계를 반복해 보겠습니다.
2. 변화의 필요성을 파악해보자 선형 회귀 함수 в 물류 응답 기능
3. 변환과 출력을 수행해 봅시다 물류 응답 기능
4. 매개변수를 선택할 때 최소제곱법이 왜 나쁜지 이해해 봅시다. 기능 물류 손실
5. 우리는 사용 최대우도법 결정하기 위해 매개변수 선택 기능 :

   5.1. 사례 1: 기능 물류 손실 클래스 지정이 있는 객체의 경우 0 и 1:

   

   5.2. 사례 2: 기능 물류 손실 클래스 지정이 있는 객체의 경우 -1 и +1:

   

이 기사에는 모든 계산을 구두로 또는 종이로 쉽게 수행할 수 있는 간단한 예가 풍부하며 경우에 따라 계산기가 필요할 수도 있습니다. 그러니 준비하세요 :)

이 문서는 주로 기계 학습의 기초에 대한 초기 지식 수준을 갖춘 데이터 과학자를 대상으로 합니다.

이 기사에서는 그래프 그리기 및 계산을 위한 코드도 제공합니다. 모든 코드는 해당 언어로 작성됩니다. 파이썬 2.7. 사용된 버전의 "참신함"에 대해 미리 설명하겠습니다. 이는 다음에서 잘 알려진 과정을 수강하기 위한 조건 중 하나입니다. 얀덱스 똑같이 잘 알려진 온라인 교육 플랫폼에서 Coursera, 그리고 짐작할 수 있듯이 자료는 이 과정을 기반으로 준비되었습니다.

01. 직선 의존성

질문을 하는 것은 매우 합리적입니다. 선형 의존성과 로지스틱 회귀가 그것과 어떤 관련이 있습니까?

간단 해! 로지스틱 회귀는 선형 분류기에 속하는 모델 중 하나입니다. 간단히 말해서 선형 분류기의 작업은 목표 값을 예측하는 것입니다. 변수(회귀자)에서 . 특성 간의 의존성이 있다고 믿어집니다. 및 목표값 선의. 따라서 분류기의 이름은 선형입니다. 아주 대략적으로 말하면, 로지스틱 회귀 모델은 특성 사이에 선형 관계가 있다는 가정을 기반으로 합니다. 및 목표값 . 이것이 연결입니다.

스튜디오에 첫 번째 예가 있는데, 그것은 정확하게 연구되는 양의 직선 의존성에 관한 것입니다. 기사를 준비하는 과정에서 나는 이미 많은 사람들을 불안하게 만든 예, 즉 전압에 대한 전류의 의존성을 발견했습니다. (“응용 회귀 분석”, N. Draper, G. Smith). 여기서도 살펴보겠습니다.

에 따라 옴의 법칙:

어디에서 - 현재 강도, - 전압, - 저항.

우리가 몰랐다면 옴의 법칙, 그러면 우리는 다음을 변경하여 경험적으로 의존성을 찾을 수 있습니다. 그리고 측정 , 지원하면서 결정된. 그러면 의존성 그래프를 볼 수 있습니다. 부터 원점을 통과하는 다소 직선을 제공합니다. "다소"라고 말하는 이유는 관계가 실제로 정확하더라도 측정값에 작은 오류가 포함될 수 있으므로 그래프의 점이 선에 정확하게 위치하지 않고 무작위로 흩어져 있을 수 있기 때문입니다.

그래프 1 “의존성” 부터 »

차트 그리기 코드

import matplotlib.pyplot as plt
%matplotlib inline

import numpy as np

import random

R = 13.75

x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
    y_line.append(i/R)
    
y_dot = []
for i in y_line:
    y_dot.append(i+random.uniform(-0.9,0.9))


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Actual results')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

02. 선형회귀식의 변환 필요성

또 다른 예를 살펴보겠습니다. 우리가 은행에서 일하고 우리의 임무가 특정 요인에 따라 차용인이 대출금을 상환할 가능성을 결정하는 것이라고 가정해 보겠습니다. 작업을 단순화하기 위해 차용인의 월급과 월별 대출 상환액이라는 두 가지 요소만 고려합니다.

작업은 매우 조건적이지만 이 예를 통해 사용하기에 충분하지 않은 이유를 이해할 수 있습니다. 선형 회귀 함수, 또한 해당 기능을 사용하여 어떤 변환을 수행해야 하는지 알아보세요.

예로 돌아가 보겠습니다. 급여가 높을수록 차용인은 대출 상환을 위해 매달 더 많은 금액을 할당할 수 있는 것으로 이해됩니다. 동시에, 특정 급여 범위에 대해 이 관계는 매우 선형적입니다. 예를 들어 급여 범위가 60.000 RUR에서 200.000 RUR이고 지정된 급여 범위에서 급여 크기에 대한 월별 지불액 크기의 의존성이 선형이라고 가정해 보겠습니다. 지정된 임금 범위에 대해 급여 대 지불 비율이 3 이하로 떨어질 수 없으며 차용인은 여전히 ​​5.000 RUR의 예비금을 보유해야 한다는 것이 밝혀졌다고 가정해 보겠습니다. 그리고 이 경우에만 차용인이 은행에 대출금을 상환한다고 가정합니다. 그러면 선형 회귀 방정식은 다음과 같은 형식을 취합니다.

어디에서 , , , - 봉급 -번째 차용인, - 대출금 지불 -번째 차용인.

고정 매개변수를 사용하여 급여 및 대출금 지불을 방정식에 대체 대출을 발행할지 거부할지 결정할 수 있습니다.

앞으로는 주어진 매개변수를 사용하여 선형 회귀 함수, 에서 사용됨 물류 응답 기능 대출 상환 확률을 결정하기 위해 계산을 복잡하게 만드는 큰 값을 생성합니다. 따라서 계수를 25.000배로 줄이는 것이 제안됩니다. 계수의 이러한 변환은 대출 발행 결정을 변경하지 않습니다. 미래를 위해 이 점을 기억하자. 하지만 이제 우리가 말하는 내용을 더욱 명확하게 하기 위해 세 명의 잠재적 차용인이 있는 상황을 고려해 보자.

표 1 "잠재적 차용자"

테이블 생성 코드

import pandas as pd

r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r

data = {'The borrower':np.array(['Vasya', 'Fedya', 'Lesha']), 
        'Salary':np.array([120000,180000,210000]),
       'Payment':np.array([3000,50000,70000])}

df = pd.DataFrame(data)

df['f(w,x)'] = w_0 + df['Salary']*w_1 + df['Payment']*w_2

decision = []
for i in df['f(w,x)']:
    if i > 0:
        dec = 'Approved'
        decision.append(dec)
    else:
        dec = 'Refusal'
        decision.append(dec)
        
df['Decision'] = decision

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision']]

표의 데이터에 따르면 급여가 120.000 RUR인 Vasya는 매달 3.000 RUR로 상환할 수 있도록 대출을 받고 싶어합니다. 우리는 대출을 승인하려면 Vasya의 급여가 지불 금액의 5.000배를 초과해야 하며 여전히 XNUMX RUR이 남아 있어야 한다고 판단했습니다. Vasya는 다음 요구 사항을 충족합니다. . 106.000 RUR도 남아있습니다. 계산할 때에도 불구하고 우리는 확률을 줄였습니다 25.000번을 시도해도 결과는 동일했습니다. 대출이 승인될 수 있습니다. Fedya도 대출을 받게되지만 Lesha는 가장 많은 대출을 받음에도 불구하고 식욕을 조절해야합니다.

이 경우에 대한 그래프를 그려보겠습니다.

도표 2 “차용자 분류”

그래프를 그리는 코드

salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'], 
         'o', color ='green', markersize = 12, label = 'Decision - Loan approved')
plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'], 
         's', color = 'red', markersize = 12, label = 'Decision - Loan refusal')
plt.xlabel('Salary', size = 16)
plt.ylabel('Payment', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

따라서 우리의 직선은 함수에 따라 구성됩니다. , "나쁜" 차용인과 "좋은" 차용인을 구분합니다. 자신의 능력과 욕구가 일치하지 않는 차용인은 선 위에 있는 반면(Lesha), 우리 모델의 매개변수에 따라 대출금을 상환할 수 있는 사람은 선 아래에 있습니다(Vasya 및 Fedya). 즉, 우리는 이렇게 말할 수 있습니다. 우리의 직계 라인은 차용자를 두 가지 클래스로 나눕니다. 다음과 같이 표시하겠습니다. 우리는 대출금을 상환할 가능성이 가장 높은 차용인을 다음과 같이 분류할 것입니다. 또는 우리는 대출금을 상환할 수 없을 가능성이 가장 높은 차용인을 포함할 것입니다.

이 간단한 예를 통해 결론을 요약해 보겠습니다. 요점을 살펴 보겠습니다. 그리고 점의 좌표를 해당 선의 방정식으로 대체합니다. , 세 가지 옵션을 고려하십시오.

1. 점이 선 아래에 있고 이를 클래스에 할당하는 경우 , 함수의 값 부터 긍정적일 것이다 에 . 즉, 대출금을 상환할 확률은 다음과 같다고 가정할 수 있습니다. . 함수 값이 클수록 확률이 높아집니다.
2. 점이 선 위에 있고 이를 클래스에 할당하는 경우 또는 이면 함수의 값은 음수가 됩니다. 에 . 그런 다음 부채 상환 확률이 다음과 같다고 가정합니다. 그리고 함수의 절대값이 클수록 신뢰도도 높아집니다.
3. 점은 두 클래스 사이의 경계에 있는 직선 위에 있습니다. 이 경우 함수의 값은 평등할 것이다 대출금을 상환할 확률은 다음과 같습니다. .

이제 두 가지 요소가 아니라 수십, 세 개가 아닌 수천 명의 차용인이 있다고 상상해 봅시다. 그러면 직선 대신에 우리는 m차원 평면과 계수 우리는 허공에서 벗어나지 않고 모든 규칙에 따라 그리고 대출금을 상환했거나 상환하지 않은 차용인에 대한 축적된 데이터를 기반으로 파생됩니다. 그리고 실제로 우리는 이미 알려진 계수를 사용하여 차용자를 선택하고 있습니다. . 실제로 로지스틱 회귀 모델의 작업은 매개변수를 정확하게 결정하는 것입니다. , 여기서 손실 함수의 값은 물류 손실 최소화하는 경향이 있습니다. 그러나 벡터 계산 방법에 대해서는 , 기사의 5번째 섹션에서 자세한 내용을 알아볼 것입니다. 그 동안 우리는 은행가와 그의 세 고객에게 약속된 땅으로 돌아갑니다.

기능 덕분에 우리는 대출을 받을 수 있는 사람과 거절해야 할 사람이 누구인지 알고 있습니다. 그러나 그러한 정보를 가지고 이사에게 갈 수는 없습니다. 왜냐하면 그들은 각 차용인이 대출금을 상환할 확률을 우리에게서 얻고 싶었기 때문입니다. 무엇을 해야 할까요? 대답은 간단합니다. 어떻게든 함수를 변환해야 합니다. , 그 값은 범위에 있습니다. 값이 범위에 있는 함수로 . 그리고 그러한 기능이 존재합니다. 로지스틱 반응 함수 또는 역로짓 변환. 만나다:

어떻게 작동하는지 단계별로 살펴보겠습니다. 물류 응답 기능. 우리는 반대 방향으로 걸을 것입니다. 우리는 다음 범위에 있는 확률 값을 알고 있다고 가정합니다. 에 그런 다음 이 값을 다음의 전체 숫자 범위로 "해제"합니다. 에 .

03. 로지스틱 반응함수를 도출한다

1단계. 확률값을 범위로 변환

함수를 변환하는 동안 в 물류 응답 기능 우리는 신용 분석가를 내버려두고 대신 북메이커를 둘러보겠습니다. 아니요, 물론 우리는 베팅하지 않을 것입니다. 우리가 관심을 갖는 것은 표현의 의미입니다. 예를 들어 확률은 4:1입니다. 모든 베터에게 친숙한 확률은 "성공" 대 " 실패”. 확률 측면에서 확률은 사건이 발생할 확률을 사건이 발생하지 않을 확률로 나눈 값입니다. 어떤 사건이 일어날 확률에 대한 공식을 적어보자 :

어디에서 - 사건이 발생할 확률, — 사건이 발생하지 않을 확률

예를 들어, "베테록"이라는 별명을 가진 젊고 강하며 장난기 많은 말이 경주에서 "마틸다"라는 늙고 연약한 노파를 이길 확률은 다음과 같습니다. , 그러면 "Veterok"의 성공 가능성은 다음과 같습니다. к 그 반대의 경우도 마찬가지이므로 확률을 알면 확률을 계산하는 것이 어렵지 않습니다. :

따라서 우리는 확률을 기회로 "변환"하는 방법을 배웠습니다. 에 . 한 단계 더 나아가서 확률을 전체 수직선으로 "변환"하는 방법을 배워 보겠습니다. 에 .

2단계. 확률값을 범위로 변환

이 단계는 매우 간단합니다. 오일러 수의 밑수에 확률의 로그를 취해 보겠습니다. 그리고 우리는 다음을 얻습니다:

이제 우리는 만약에 , 그런 다음 값을 계산합니다. 매우 간단할 뿐만 아니라 긍정적이어야 합니다. . 이것은 사실이다.

궁금해서 확인해 보자. , 그러면 음수 값이 나타날 것으로 예상됩니다. . 우리는 다음을 확인합니다: . 좋아요.

이제 우리는 확률 값을 다음과 같이 변환하는 방법을 알았습니다. 에 수직선 전체를 따라 에 . 다음 단계에서는 그 반대를 수행하겠습니다.

지금은 로그의 규칙에 따라 함수의 값을 아는 것에 주목합니다. , 확률을 계산할 수 있습니다.

이 확률 결정 방법은 다음 단계에서 유용할 것입니다.

3단계. 다음을 결정하는 공식을 도출해 보겠습니다.

그래서 우리는 배웠습니다. , 함수 값 찾기 . 그러나 실제로는 정반대의 가치가 필요합니다. 찾기 . 이를 위해 다음과 같은 역확률 함수와 같은 개념을 살펴보겠습니다.

이 기사에서는 위의 공식을 도출하지 않지만 위 예의 숫자를 사용하여 확인하겠습니다. 우리는 확률이 4 대 1(), 사건이 발생할 확률은 0.8(). 다음과 같이 대체해 보겠습니다. . 이는 이전에 수행한 계산과 일치합니다. 계속 진행합시다.

마지막 단계에서 우리는 다음과 같이 추론했습니다. , 이는 역확률 함수에서 대체를 수행할 수 있음을 의미합니다. 우리는 다음을 얻습니다:

분자와 분모를 모두 다음과 같이 나눕니다. , 그 다음에:

만일을 대비해 우리가 어디에서나 실수를 하지 않았는지 확인하기 위해 작은 점검을 한 번 더 해 봅시다. 2단계에서 우리는 라고 결정했다 . 그런 다음 값을 대체합니다. 로지스틱 응답 함수에 대해 우리는 다음을 얻을 것으로 예상합니다. . 우리는 대체하고 다음을 얻습니다.

축하합니다, 독자 여러분, 우리는 방금 로지스틱 응답 함수를 도출하고 테스트했습니다. 함수의 그래프를 살펴보자.

그래프 3 “로지스틱 응답 함수”

그래프를 그리는 코드

import math

def logit (f):
    return 1/(1+math.exp(-f))

f = np.arange(-7,7,0.05)
p = []

for i in f:
    p.append(logit(i))

fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

문헌에서 이 함수의 이름을 다음과 같이 찾을 수도 있습니다. 시그모이드 함수. 그래프는 클래스에 속하는 객체의 확률의 주요 변화가 상대적으로 작은 범위 내에서 발생함을 명확하게 보여줍니다. , 어딘가에서 에 .

우리 신용 분석가에게 돌아가 대출 상환 확률을 계산하도록 도와줄 것을 제안합니다. 그렇지 않으면 그는 보너스 없이 남겨질 위험이 있습니다. :)

표 2 "잠재적 차용자"

테이블 생성 코드

proba = []
for i in df['f(w,x)']:
    proba.append(round(logit(i),2))
    
df['Probability'] = proba

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision', 'Probability']]

그래서 우리는 대출 상환 확률을 결정했습니다. 일반적으로 이것은 사실인 것 같습니다.

실제로 급여가 120.000 RUR인 Vasya가 매달 3.000 RUR을 은행에 기부할 수 있는 확률은 100%에 가깝습니다. 그건 그렇고, 은행 정책이 예를 들어 0.3 이상의 대출 상환 확률로 고객에게 대출을 제공하는 경우 은행이 Lesha에 대출을 발행할 수 있다는 것을 이해해야 합니다. 이 경우 은행은 가능한 손실에 대비해 더 많은 준비금을 생성할 것입니다.

또한 최소 3의 급여 대 지불 비율과 5.000 RUR의 마진이 한도에서 제외되었다는 점에 유의해야 합니다. 따라서 가중치 벡터를 원래 형태로 사용할 수 없습니다. . 계수를 대폭 줄여야 했고, 이 경우에는 각 계수를 25.000으로 나누었습니다. 즉, 본질적으로 결과를 조정한 것입니다. 그러나 이는 초기 단계에서 자료의 이해를 단순화하기 위해 특별히 수행되었습니다. 인생에서 우리는 계수를 고안하고 조정할 필요가 없지만 계수를 찾을 필요가 있습니다. 기사의 다음 섹션에서는 매개변수가 선택되는 방정식을 도출합니다. .

04. 가중치 벡터를 결정하는 최소제곱법 로지스틱 응답 함수에서

우리는 이미 가중치 벡터를 선택하는 방법을 알고 있습니다. 으로 최소제곱법(LSM) 사실, 이진 분류 문제에 이를 사용하면 어떨까요? 실제로 사용을 방해하는 것은 없습니다. MNC, 분류 문제에서 이 방법만이 다음보다 덜 정확한 결과를 제공합니다. 물류 손실. 이에 대한 이론적 근거가 있습니다. 먼저 간단한 예를 하나 살펴보겠습니다.

우리 모델이 (다음을 사용하여) MSE и 물류 손실) 이미 가중치 벡터 선택을 시작했습니다. 어떤 단계에서 계산을 중단했습니다. 중간, 끝 또는 시작 여부는 중요하지 않습니다. 가장 중요한 것은 우리가 이미 가중치 벡터의 일부 값을 가지고 있으며 이 단계에서 가중치 벡터가 두 모델 모두 차이가 없습니다. 그런 다음 결과 가중치를 가져와서 다음으로 대체합니다. 물류 응답 기능 () 클래스에 속한 일부 객체의 경우 . 선택한 가중치 벡터에 따라 모델이 매우 잘못되었거나 그 반대의 경우 두 가지 경우를 조사합니다. 모델은 객체가 클래스에 속한다고 매우 확신합니다. . 사용시 어떤 벌금이 부과되는지 살펴 보겠습니다. MNC и 물류 손실.

사용된 손실 함수에 따라 페널티를 계산하는 코드

# класс объекта
y = 1
# вероятность отнесения объекта к классу в соответствии с параметрами w
proba_1 = 0.01

MSE_1 = (y - proba_1)**2
print 'Штраф MSE при грубой ошибке =', MSE_1

# напишем функцию для вычисления f(w,x) при известной вероятности отнесения объекта к классу +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
    return math.log(proba/(1-proba)) 

LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'Штраф Log Loss при грубой ошибке =', LogLoss_1

proba_2 = 0.99

MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))

print '**************************************************************'
print 'Штраф MSE при сильной уверенности =', MSE_2
print 'Штраф Log Loss при сильной уверенности =', LogLoss_2

실수의 사례 — 모델이 객체를 클래스에 할당합니다. 0,01의 확률로

사용 시 벌금 MNC 될거야:

사용 시 벌금 물류 손실 될거야:

강한 자신감을 보여준 사례 — 모델이 객체를 클래스에 할당합니다. 0,99의 확률로

사용 시 벌금 MNC 될거야:

사용 시 벌금 물류 손실 될거야:

이 예는 총 오류의 경우 손실 함수가 다음과 같다는 것을 잘 보여줍니다. 로그 손실 모델에 비해 훨씬 더 많은 불이익을 줍니다. MSE. 이제 손실 함수를 사용하는 이론적 배경이 무엇인지 이해해 봅시다. 로그 손실 분류 문제에서.

05. 최대우도법과 로지스틱 회귀

처음에 약속한 대로 이 기사는 간단한 예제로 가득 차 있습니다. 스튜디오에는 은행 차용인 Vasya, Fedya 및 Lesha와 같은 또 다른 예와 오래된 손님이 있습니다.

만일을 대비해 예제를 개발하기 전에 우리는 실제로 수십 또는 수백 가지 기능을 가진 수천 또는 수백만 개의 개체로 구성된 훈련 샘플을 다루고 있다는 점을 상기시켜 드리겠습니다. 그러나 여기서는 초보 데이터 과학자의 머리에 쉽게 들어갈 수 있도록 숫자를 사용했습니다.

예로 돌아가 보겠습니다. 알고리즘이 Lesha에게 대출을 제공하지 말 것을 제안했음에도 불구하고 은행장이 도움이 필요한 모든 사람에게 대출을 제공하기로 결정했다고 가정해 보겠습니다. 그리고 이제 충분한 시간이 흘렀고 우리는 세 명의 영웅 중 누가 대출금을 갚았는지, 누가 안 갚았는지 알게 되었습니다. 예상했던 것: Vasya와 Fedya는 대출금을 상환했지만 Lesha는 그렇지 않았습니다. 이제 이 결과가 우리에게 새로운 훈련 샘플이 될 것이며 동시에 대출 상환 확률에 영향을 미치는 요소(차용자의 급여, 월 지불 규모)에 대한 모든 데이터가 사라진 것처럼 가정해 보겠습니다. 그러면 직관적으로 세 번째 차용인이 은행에 대출금을 상환하지 않는다고 가정할 수 있습니다. 즉, 다음 차용인이 대출금을 상환할 확률은 다음과 같습니다. . 이 직관적인 가정은 이론적으로 확증되었으며, 최대우도법, 종종 문헌에서는 이렇게 불립니다. 최대 우도 원리.

먼저 개념 장치에 대해 알아 보겠습니다.

샘플링 가능성 정확히 그러한 표본을 얻을 확률, 즉 정확히 그러한 관찰/결과를 얻을 확률입니다. 각 샘플 결과를 얻을 확률의 곱(예: Vasya, Fedya 및 Lesha의 대출금이 동시에 상환되었는지 여부)

우도 함수 표본의 우도를 분포 매개변수의 값과 연관시킵니다.

우리의 경우 훈련 샘플은 일반화된 Bernoulli 체계이며, 여기서 확률 변수는 두 가지 값만 사용합니다. 또는 . 따라서 표본 우도는 매개변수의 우도 함수로 작성될 수 있습니다. 다음과 같이

위 항목은 다음과 같이 해석될 수 있습니다. Vasya와 Fedya가 대출금을 상환할 공동 확률은 다음과 같습니다. , Lesha가 대출금을 상환하지 않을 확률은 다음과 같습니다. (이것은 대출 상환이 아니었기 때문에) 따라서 세 사건 모두의 결합 확률은 동일합니다. .

최대 가능성 방법 미지의 매개변수를 최대화하여 추정하는 방법이다. 우도 함수. 우리의 경우에는 그러한 값을 찾아야 합니다. , 어느 곳에서 최대치에 도달합니다.

우도 함수가 최대값에 도달하는 알 수 없는 매개변수의 값을 찾는 실제 아이디어는 어디에서 왔습니까? 이 아이디어의 기원은 표본이 모집단에 관해 우리가 이용할 수 있는 유일한 지식의 원천이라는 아이디어에서 비롯됩니다. 인구에 대해 우리가 아는 모든 것이 표본에 표시됩니다. 그러므로 우리가 말할 수 있는 것은 표본이 우리가 이용할 수 있는 모집단을 가장 정확하게 반영한다는 것뿐입니다. 그러므로 우리는 이용 가능한 표본의 가능성이 가장 높은 매개변수를 찾아야 합니다.

분명히 우리는 함수의 극점을 찾아야 하는 최적화 문제를 다루고 있습니다. 극점을 찾으려면 XNUMX차 조건을 고려해야 합니다. 즉, 함수의 도함수를 XNUMX으로 동일시하고 원하는 매개변수에 대해 방정식을 풀어야 합니다. 그러나 많은 요인의 곱의 파생물을 검색하는 것은 시간이 오래 걸릴 수 있습니다. 이를 피하기 위해 로그로 전환하는 특별한 기술이 있습니다. 우도 함수. 그러한 전환이 가능한 이유는 무엇입니까? 함수 자체의 극값을 구하는 것이 아니라는 사실에 주목하자., 그리고 극점, 즉 알 수 없는 매개변수의 값 , 어느 곳에서 최대치에 도달합니다. 로그로 이동할 때 로그는 단조 함수이므로 극점은 변경되지 않습니다(극값 자체는 다르지만).

위의 내용에 따라 Vasya, Fedya 및 Lesha의 대출을 통해 계속해서 사례를 개발해 보겠습니다. 먼저 다음으로 넘어 갑시다. 우도 함수의 로그:

이제 우리는 표현을 다음과 같이 쉽게 구별할 수 있습니다. :

그리고 마지막으로 XNUMX차 조건을 고려합니다. 함수의 도함수를 XNUMX과 동일시합니다.

따라서 대출 상환 가능성에 대한 직관적인 추정은 이론적으로 타당했다.

좋습니다. 하지만 이제 이 정보로 무엇을 해야 할까요? 세 번째 차용인이 모두 돈을 은행에 반환하지 않는다고 가정하면 후자는 필연적으로 파산하게 될 것입니다. 맞습니다. 하지만 대출 상환 확률을 평가할 때만 우리는 대출 상환에 영향을 미치는 요소, 즉 차용인의 급여 및 월별 지불 규모를 고려하지 않았습니다. 이전에 동일한 요소를 고려하여 각 고객의 대출 상환 확률을 계산했다는 것을 기억하십시오. 우리가 상수 동일과 다른 확률을 얻은 것은 논리적입니다. .

표본의 우도를 정의해 보겠습니다.

표본 우도 계산을 위한 코드

from functools import reduce

def likelihood(y,p):
    line_true_proba = []
    for i in range(len(y)):
        ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
        line_true_proba.append(ltp_i)
    likelihood = []
    return reduce(lambda a, b: a*b, line_true_proba)
        
    
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]


print 'Правдоподобие выборки при константном значении p=2/3:', round(likelihood(y,p_const),3)

print '****************************************************************************************************'

print 'Правдоподобие выборки при расчетном значении p:', round(likelihood(y,p_log_response),3)

일정한 값의 표본 우도 :

요인을 고려하여 대출 상환 확률을 계산할 때 샘플 가능성 :

요인에 따라 계산된 확률로 표본의 우도가 일정한 확률값으로 계산된 우도보다 높은 것으로 나타났습니다. 이것은 무엇을 의미 하는가? 이는 요인에 대한 지식을 통해 각 고객의 대출 상환 확률을보다 정확하게 선택할 수 있음을 시사합니다. 따라서 다음 대출을 발행할 때 부채 상환 가능성을 평가하기 위해 기사의 섹션 3 끝 부분에 제안된 모델을 사용하는 것이 더 정확할 것입니다.

하지만 최대화하고 싶다면 표본 우도 함수, 그렇다면 Vasya, Fedya 및 Lesha에 대한 확률(예: 각각 0.99, 0.99 및 0.01)을 생성하는 일부 알고리즘을 사용하는 것은 어떻습니까? 아마도 그러한 알고리즘은 훈련 표본에서 잘 수행될 것입니다. 왜냐하면 표본 우도 값을 , 그러나 첫째, 이러한 알고리즘은 일반화 능력에 어려움을 겪을 가능성이 높으며 둘째, 이 알고리즘은 확실히 선형이 아닐 것입니다. 그리고 과도한 훈련(약한 일반화 능력)을 방지하는 방법이 이 기사의 계획에 분명히 포함되지 않은 경우 두 번째 사항을 더 자세히 살펴보겠습니다. 이렇게 하려면 간단한 질문에 대답하면 됩니다. 우리에게 알려진 요인을 고려할 때 Vasya와 Fedya가 대출금을 상환할 확률이 동일할 수 있습니까? 건전한 논리의 관점에서 보면 물론 그렇지 않습니다. 따라서 Vasya는 대출 상환을 위해 월급의 2.5%를 지불하고 Fedya는 거의 27,8%를 지불합니다. 또한 그래프 2 "클라이언트 분류"에서 Vasya가 Fedya보다 클래스를 구분하는 선에서 훨씬 더 멀리 떨어져 있음을 알 수 있습니다. 그리고 마지막으로, 우리는 다음과 같은 기능을 알고 있습니다. Vasya와 Fedya의 경우 Vasya의 경우 4.24, Fedya의 경우 1.0이라는 서로 다른 값을 사용합니다. 예를 들어 Fedya가 더 많은 수익을 얻거나 더 적은 대출을 요청한 경우 Vasya와 Fedya에 대한 대출금 상환 확률은 비슷할 것입니다. 즉, 선형 의존성은 속일 수 없습니다. 그리고 실제로 확률을 계산해 본다면 , 그리고 그것들을 허공에서 꺼내지 않았기 때문에 우리는 우리의 가치가 다음과 같다고 안전하게 말할 수 있습니다. 각 차용인의 대출 상환 확률을 가장 잘 추정할 수 있지만 계수의 결정은 다음과 같이 가정하기로 동의했기 때문입니다. 모든 규칙에 따라 수행되었으면 그렇게 가정하겠습니다. 계수를 사용하면 확률을 더 잘 추정할 수 있습니다. :)

그러나 우리는 빗나간다. 이 섹션에서는 가중치 벡터가 어떻게 결정되는지 이해해야 합니다. , 이는 각 차용인의 대출 상환 가능성을 평가하는 데 필요합니다.

우리가 확률을 찾기 위해 어떤 무기고를 사용하는지 간략하게 요약하겠습니다. :

1. 목표변수(예측값)와 결과에 영향을 미치는 요인의 관계는 선형적이라고 가정한다. 이러한 이유로 사용됩니다. 선형 회귀 함수 종 , 객체(클라이언트)를 클래스로 나누는 선 и 또는 (대출금을 상환할 수 있는 고객과 그렇지 않은 고객) 우리의 경우 방정식의 형식은 다음과 같습니다. .

2. 우리는 역로짓 함수 종 클래스에 속하는 개체의 확률을 확인하려면 .

3. 우리는 훈련 세트를 일반화된 구현으로 간주합니다. 베르누이 방식즉, 각 개체에 대해 확률 변수가 생성됩니다. (각 개체에 대해 자체) 값 1을 취하고 확률로 - 0.

4. 우리는 극대화해야 할 것이 무엇인지 알고 있습니다. 표본 우도 함수 사용 가능한 샘플이 가장 그럴듯해 지도록 허용되는 요소를 고려합니다. 즉, 표본이 가장 그럴듯한 매개변수를 선택해야 합니다. 우리의 경우 선택된 매개변수는 대출 상환 확률입니다. , 이는 알 수 없는 계수에 따라 달라집니다. . 따라서 우리는 그러한 가중치 벡터를 찾아야 합니다. , 표본의 가능성이 최대가 됩니다.

5. 우리는 무엇을 극대화해야 하는지 알고 있습니다. 표본 우도 함수 사용할 수있다. 최대우도법. 그리고 우리는 이 방법을 사용하는 데 필요한 모든 까다로운 요령을 알고 있습니다.

이것이 다단계 이동으로 밝혀지는 방법입니다 :)

이제 이 글의 시작 부분에서 우리는 두 가지 유형의 손실 함수를 도출하려고 했다는 점을 기억하세요. 물류 손실 객체 클래스가 어떻게 지정되는지에 따라 다릅니다. 두 클래스의 분류 문제에서 클래스는 다음과 같이 표시됩니다. и 또는 . 표기법에 따라 출력에는 해당 손실 함수가 있습니다.

사례 1. 객체 분류 и

이전에는 차용인의 부채 상환 확률이 요인과 주어진 계수를 기반으로 계산되는 표본의 가능성을 결정할 때 , 우리는 공식을 적용했습니다:

실제로 의미는 물류 응답 기능 주어진 가중치 벡터에 대해

그러면 다음과 같이 표본 우도 함수를 작성하는 데 방해가 되는 것이 없습니다.

일부 초보 분석가가 이 기능의 작동 방식을 즉시 이해하기 어려운 경우가 있습니다. 모든 것을 정리할 수 있는 4가지 짧은 예를 살펴보겠습니다.

1. 면 (즉, 훈련 샘플에 따르면 객체는 클래스 +1에 속합니다) 그리고 우리의 알고리즘은 객체를 클래스로 분류할 확률을 결정합니다. 0.9와 같으면 이 표본 우도 조각은 다음과 같이 계산됩니다.

2. 면 과 , 계산은 다음과 같습니다.

3. 면 과 , 계산은 다음과 같습니다.

4. 면 과 , 계산은 다음과 같습니다.

객체를 클래스에 할당할 확률을 올바르게 추측한 경우 1과 3 또는 일반적인 경우에 우도 함수가 최대화될 것이 분명합니다. .

객체를 클래스에 할당할 확률을 결정할 때 우리는 계수만 모른다 , 그러면 우리는 그들을 찾을 것입니다. 위에서 언급했듯이 이것은 먼저 가중치 벡터에 대한 우도 함수의 도함수를 찾아야 하는 최적화 문제입니다. . 그러나 먼저 작업을 단순화하는 것이 합리적입니다. 로그의 미분을 찾을 것입니다. 우도 함수.

왜 로그 다음에, 로지스틱 오류 함수, 우리는 기호를 다음에서 변경했습니다. 에 . 모델의 품질을 평가하는 문제에서는 함수의 값을 최소화하는 것이 관례이므로 표현식의 오른쪽에 다음을 곱했습니다. 따라서 최대화하는 대신 이제 기능을 최소화합니다.

사실 지금 여러분의 눈앞에서 손실함수는 공들여 도출되어 왔습니다 - 물류 손실 두 개의 클래스가 있는 훈련 세트의 경우: и .

이제 계수를 찾으려면 도함수만 구하면 됩니다. 로지스틱 오류 함수 그런 다음 경사하강법이나 확률적 경사하강법과 같은 수치 최적화 방법을 사용하여 가장 최적의 계수를 선택합니다. . 그러나 기사의 양이 상당하기 때문에 스스로 차별화를 수행하는 것이 좋습니다. 아니면 이러한 자세한 예 없이 산술이 많은 다음 기사의 주제가 될 수도 있습니다.

사례 2. 객체 분류 и

여기서 접근 방식은 클래스와 동일합니다. и , 그러나 손실 함수의 출력에 대한 경로 자체 물류 손실, 더 화려해질 것입니다. 시작하자. 우도 함수의 경우 연산자를 사용합니다. “만약…그럼…”. 즉, 만약 번째 객체는 클래스에 속합니다 그런 다음 표본의 우도를 계산하기 위해 확률을 사용합니다. , 객체가 클래스에 속하는 경우 , 그런 다음 우도를 대체합니다. . 우도 함수는 다음과 같습니다.

그것이 어떻게 작동하는지 손가락으로 설명해 보겠습니다. 4가지 경우를 고려해 보겠습니다.

1. 면 и , 샘플링 가능성은 "진행"됩니다.

2. 면 и , 샘플링 가능성은 "진행"됩니다.

3. 면 и , 샘플링 가능성은 "진행"됩니다.

4. 면 и , 샘플링 가능성은 "진행"됩니다.

사례 1과 3의 경우 알고리즘에 의해 확률이 올바르게 결정되면 우도 함수 즉, 이것이 바로 우리가 얻고자 했던 것입니다. 그러나 이 접근 방식은 상당히 번거롭기 때문에 다음에는 보다 간결한 표기법을 고려해 보겠습니다. 하지만 먼저 부호를 변경하여 우도 함수를 로그해 보겠습니다. 이제 이를 최소화할 것이기 때문입니다.

대신에 대체하자 표현 :

간단한 산술 기법을 사용하여 로그 아래에서 올바른 항을 단순화하고 다음을 얻습니다.

이제 운영자를 제거할 시간이다 “만약…그럼…”. 참고로 객체가 있을 때 클래스에 속해있습니다 , 로그 아래의 표현식에서 분모에, 권력으로 올라섰다 , 객체가 클래스에 속하는 경우 , $e$가 거듭제곱됩니다. . 따라서 두 경우를 하나로 결합하여 학위 표기를 단순화할 수 있습니다. . 그런 다음 로지스틱 오류 함수 다음과 같은 형식을 취합니다.

로그 규칙에 따라 분수를 뒤집어서 " 기호를 표시합니다."(마이너스) 로그에 대해 다음을 얻습니다.

손실 함수는 다음과 같습니다. 물류 손실, 클래스에 할당된 객체와 함께 훈련 세트에 사용됩니다. и .

글쎄, 이 시점에서 나는 작별 인사를 하고 기사를 마무리합니다.

저자의 전작은 “선형회귀 방정식을 행렬 형태로 가져오는 것”이다.

보조재료

1. 문학

1) 응용회귀분석 / N. Draper, G. Smith - 2nd ed. – M.: 금융 및 통계, 1986(영어 번역)

2) 확률이론과 수리통계 / V.E. Gmurman - 9판. - 남: 고등학교, 2003

3) 확률 이론 / N.I. 체르노바 - 노보시비르스크: 노보시비르스크 주립대학교, 2007

4) 비즈니스 분석: 데이터에서 지식으로 / Paklin N. B., Oreshkov V. I. - 2nd ed. — 상트페테르부르크: 피터, 2013

5) 데이터 과학 처음부터 데이터 과학 / 조엘 그라 - 상트페테르부르크: BHV 피터스버그, 2017

6) 데이터 과학 전문가를 위한 실용 통계 / P. Bruce, E. Bruce - St. Petersburg: BHV Petersburg, 2018

2. 강의, 강좌(동영상)

1) 최대우도법의 본질, 보리스 데메셰프

2) 연속 사례의 최대우도법, Boris Demeshev

3) 로지스틱 회귀. 공개 ODS 과정, Yury Kashnitsky

4) 강의 4, Evgeny Sokolov (47분 분량의 비디오에서)

5) 로지스틱 회귀, Vyacheslav Vorontsov

3. 인터넷 소스

1) 선형 분류 및 회귀 모델

2) 로지스틱 회귀를 쉽게 이해하는 방법

3) 로지스틱 오류 기능

4) 독립 테스트 및 베르누이 공식

5) MMP의 발라드

6) 최대 가능성 방법

7) 로그의 공식과 속성

8) 왜 숫자인가? ?

9) 선형 분류기

출처 : habr.com