Жвакање логистичке регресије

У овом чланку ћемо анализирати теоријске прорачуне трансформације функције линеарне регресије в функција инверзне логит трансформације (иначе се назива функција логистичког одговора). Затим, користећи арсенал метода максималне вероватноће, у складу са моделом логистичке регресије, изводимо функцију губитка Логистички губитак, или другим речима, дефинисаћемо функцију којом се бирају параметри вектора тежине у моделу логистичке регресије .

Преглед чланка:

1. Поновимо линеарну везу између две променљиве
2. Хајде да идентификујемо потребу за трансформацијом функције линеарне регресије в функција логистичког одговора
3. Хајде да извршимо трансформације и излаз функција логистичког одговора
4. Покушајмо да разумемо зашто је метода најмањих квадрата лоша при избору параметара funkcije Логистички губитак
5. Користимо метода максималне вероватноће za utvrđivanje функције избора параметара :

   5.1. Случај 1: функција Логистички губитак за објекте са ознакама класа 0 и 1:

   

   5.2. Случај 2: функција Логистички губитак за објекте са ознакама класа -1 и +1:

   

Чланак је препун једноставних примера у којима је све прорачуне лако направити усмено или на папиру; у неким случајевима може бити потребан калкулатор. па спреми се :)

Овај чланак је првенствено намењен научницима података са почетним нивоом знања о основама машинског учења.

Чланак ће такође пружити код за цртање графикона и прорачуна. Сав код је написан на језику питхон 2.7. Дозволите ми да унапред објасним „новину“ коришћене верзије - ово је један од услова за похађање добро познатог курса из Иандек на подједнако познатој платформи за онлајн образовање Цоурсера, а, како се може претпоставити, материјал је припремљен на основу овог курса.

01. Праволинијска зависност

Сасвим је разумно поставити питање – какве везе с тим имају линеарна зависност и логистичка регресија?

То је једноставно! Логистичка регресија је један од модела који припадају линеарном класификатору. Једноставним речима, задатак линеарног класификатора је да предвиди циљне вредности од променљивих (регресора) . Верује се да је зависност између карактеристика и циљне вредности линеарни. Отуда и назив класификатора - линеарни. Веома грубо речено, модел логистичке регресије заснива се на претпоставци да постоји линеарна веза између карактеристика и циљне вредности . Ово је веза.

У студију постоји први пример, а ради се, тачно, о праволинијској зависности величина које се проучавају. У процесу припреме чланка, наишао сам на пример који је многе људе већ поставио на ивицу - зависност струје од напона („Примењена регресиона анализа“, Н. Драпер, Г. Смитх). Погледаћемо и овде.

У складу са Омов закон:

Где - тренутна снага, - Волтажа, - отпор.

Да нисмо знали Омов закон, онда бисмо могли емпиријски пронаћи зависност променом и мерење , док подржава фиксно. Тада бисмо видели да је граф зависности из даје мање-више праву линију кроз исходиште. Кажемо „мање или више“ јер, иако је однос заправо тачан, наша мерења могу садржати мале грешке, па стога тачке на графикону можда неће пасти тачно на праву, већ ће бити расуте око ње насумично.

Графикон 1 „Зависност“ из »

Код за цртање графикона

import matplotlib.pyplot as plt
%matplotlib inline

import numpy as np

import random

R = 13.75

x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
    y_line.append(i/R)
    
y_dot = []
for i in y_line:
    y_dot.append(i+random.uniform(-0.9,0.9))


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Actual results')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

02. Потреба за трансформацијом једначине линеарне регресије

Погледајмо још један пример. Замислимо да радимо у банци и наш задатак је да утврдимо вероватноћу да ће зајмопримац отплатити кредит у зависности од одређених фактора. Да бисмо поједноставили задатак, размотрићемо само два фактора: месечну зараду зајмопримца и износ месечне отплате кредита.

Задатак је веома услован, али на овом примеру можемо разумети зашто га није довољно користити функције линеарне регресије, а такође сазнајте које трансформације треба извршити са функцијом.

Вратимо се на пример. Подразумева се да што је већа плата, зајмопримац ће моћи да издваја месечно за отплату кредита. Истовремено, за одређени распон плата овај однос ће бити прилично линеаран. На пример, узмимо распон плата од 60.000 РУР до 200.000 РУР и претпоставимо да је у наведеном распону плата зависност величине месечне уплате од величине плате линеарна. Рецимо да је за наведени распон плата откривено да однос плата и исплата не може пасти испод 3 и да зајмопримац и даље мора имати 5.000 РУР у резерви. И само у овом случају, претпоставићемо да ће зајмопримац отплатити кредит банци. Тада ће једначина линеарне регресије имати облик:

где , , , - плата -ти зајмопримац, - плаћање кредита -тх зајмопримац.

Замена плате и отплате кредита са фиксним параметрима у једначину Можете одлучити да ли ћете издати или одбити кредит.

Гледајући унапред, примећујемо да, са датим параметрима функција линеарне регресије, се користи у функције логистичког одговора ће произвести велике вредности које ће компликовати прорачуне за одређивање вероватноће отплате кредита. Због тога је предложено смањење наших коефицијената, рецимо, за 25.000 пута. Ова трансформација коефицијената неће променити одлуку о издавању кредита. Запамтимо ову тачку за будућност, али сада, да би било још јасније о чему говоримо, размотримо ситуацију са три потенцијална зајмопримца.

Табела 1 „Потенцијални зајмопримци“

Код за генерисање табеле

import pandas as pd

r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r

data = {'The borrower':np.array(['Vasya', 'Fedya', 'Lesha']), 
        'Salary':np.array([120000,180000,210000]),
       'Payment':np.array([3000,50000,70000])}

df = pd.DataFrame(data)

df['f(w,x)'] = w_0 + df['Salary']*w_1 + df['Payment']*w_2

decision = []
for i in df['f(w,x)']:
    if i > 0:
        dec = 'Approved'
        decision.append(dec)
    else:
        dec = 'Refusal'
        decision.append(dec)
        
df['Decision'] = decision

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision']]

У складу са подацима у табели, Васја, са платом од 120.000 РУР, жели да добије зајам како би могао да га отплаћује месечно по 3.000 РУР. Утврдили смо да Васјина плата мора бити већа од троструког износа уплате да би се одобрио зајам, а да још мора да остане 5.000 РУР. Васја испуњава овај захтев: . Остало је чак 106.000 РУР. Упркос чињеници да приликом израчунавања смањили смо шансе 25.000 пута, резултат је био исти – кредит може да се одобри. Феђа ће такође добити позајмицу, али ће Леша, упркос томе што прима највише, морати да обузда своје апетите.

Хајде да нацртамо график за овај случај.

Графикон 2 “Класификација зајмопримаца”

Код за цртање графика

salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'], 
         'o', color ='green', markersize = 12, label = 'Decision - Loan approved')
plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'], 
         's', color = 'red', markersize = 12, label = 'Decision - Loan refusal')
plt.xlabel('Salary', size = 16)
plt.ylabel('Payment', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

Дакле, наша права линија, конструисана у складу са функцијом , одваја „лоше“ зајмопримце од „добрих“. Они зајмопримци чије се жеље не поклапају са њиховим могућностима су изнад црте (Леша), док су они који су, према параметрима нашег модела у могућности да отплате кредит, испод црте (Васја и Феђа). Другим речима, можемо рећи ово: наша директна линија дели зајмопримце у две класе. Означимо их на следећи начин: разреду Оне зајмопримце за које је највероватније да ће отплатити кредит класификоваћемо као или Укључићемо оне зајмопримце који највероватније неће моћи да отплаћују кредит.

Хајде да сумирамо закључке из овог једноставног примера. Хајде да узмемо поен и, замењујући координате тачке у одговарајућу једначину праве , размотрите три опције:

1. Ако је тачка испод праве и додељујемо је класи , затим вредност функције биће позитивна од до . То значи да можемо претпоставити да је вероватноћа отплате кредита унутар . Што је већа вредност функције, већа је вероватноћа.
2. Ако је тачка изнад праве и додељујемо је класи или , тада ће вредност функције бити негативна од до . Тада ћемо претпоставити да је вероватноћа отплате дуга унутар и, што је већа апсолутна вредност функције, веће је наше поверење.
3. Тачка је на правој линији, на граници између две класе. У овом случају, вредност функције биће једнаки а вероватноћа враћања кредита једнака је .

Сада, замислимо да немамо два фактора, већ десетине, и не три, већ хиљаде зајмопримаца. Тада ћемо уместо праве линије имати м-димензионалан раван и коефицијенти нећемо бити извучени из ваздуха, већ изведени по свим правилима, а на основу нагомиланих података о зајмопримцима који су или нису отплатили кредит. И заиста, имајте на уму да сада бирамо зајмопримце користећи већ познате коефицијенте . У ствари, задатак модела логистичке регресије је управо да одреди параметре , при чему је вредност функције губитка Логистички губитак тежиће ка минимуму. Али о томе како се вектор израчунава , сазнаћемо више у 5. одељку чланка. У међувремену се враћамо у обећану земљу – нашем банкару и његова три клијента.

Захваљујући функцији знамо коме се може дати зајам а коме одбити. Али не можете ићи код директора са таквим информацијама, јер су од нас желели да добију вероватноћу отплате кредита од стране сваког зајмопримца. Шта да радим? Одговор је једноставан - морамо некако трансформисати функцију , чије вредности леже у опсегу на функцију чије ће вредности бити у опсегу . И таква функција постоји, зове се функција логистичког одговора или инверзно-логит трансформација. Сусрет:

Хајде да видимо корак по корак како то функционише функција логистичког одговора. Имајте на уму да ћемо ходати у супротном смеру, тј. претпоставићемо да знамо вредност вероватноће, која лежи у опсегу од до а затим ћемо ову вредност „одмотати“ на цео опсег бројева из до .

03. Изводимо функцију логистичког одговора

Корак 1. Претворите вредности вероватноће у опсег

Приликом трансформације функције в функција логистичког одговора Оставићемо нашег кредитног аналитичара на миру и уместо тога кренути у обилазак кладионица. Не, наравно, нећемо се кладити, све што нас занима ту је значење израза, на пример, шанса је 4 према 1. Квоте, познате свим кладионицима, су однос „успеха“ према „ неуспеси”. У терминима вероватноће, шансе су вероватноћа да се догађај деси подељена са вероватноћом да се догађај не догоди. Хајде да запишемо формулу за шансу да се неки догађај деси :

Где - вероватноћа да ће се догађај десити, — вероватноћа да се догађај НЕ догоди

На пример, ако је вероватноћа да ће млад, снажан и разигран коњ са надимком „Ветерок“ победити стару и млохаву старицу по имену „Матилда“ на трци једнака , онда ће шансе за успех „Ветерока” бити к и обрнуто, знајући шансе, неће нам бити тешко да израчунамо вероватноћу :

Тако смо научили да „преведемо“ вероватноћу у шансе, које узимају вредности из до . Хајде да направимо још један корак и научимо да „преведемо“ вероватноћу на целу бројевну праву из до .

Корак 2. Претворите вредности вероватноће у опсег

Овај корак је врло једноставан - узмимо логаритам квоте на основу Ојлеровог броја и добијамо:

Сада знамо да ако , а затим израчунајте вредност биће врло једноставно и, штавише, требало би да буде позитивно: . Ово је истина.

Из радозналости, хајде да проверимо шта ако , онда очекујемо да ћемо видети негативну вредност . Проверавамо: . Тако је.

Сада знамо како да претворимо вредност вероватноће из до дуж целе бројевне праве од до . У следећем кораку урадићемо супротно.

За сада напомињемо да у складу са правилима логаритма, знајући вредност функције , можете израчунати шансе:

Овај метод одређивања квота ће нам бити од користи у следећем кораку.

Корак 3. Хајде да изведемо формулу за одређивање

Тако смо научили, знајући , пронађите вредности функције . Међутим, у ствари, потребно нам је управо супротно – познавање вредности наћи . Да бисмо то урадили, окренимо се концепту као што је функција инверзне квоте, према којој:

У чланку нећемо изводити горњу формулу, али ћемо је проверити помоћу бројева из примера изнад. Знамо да са квотом 4 према 1 (), вероватноћа да ће се догађај десити је 0.8 (). Хајде да извршимо замену: . Ово се поклапа са нашим ранијим прорачунима. Идемо даље.

У последњем кораку смо то закључили , што значи да можете извршити замену у функцији инверзне квоте. Добијамо:

Поделите и бројилац и именилац са , Онда:

За сваки случај, да бисмо били сигурни да нигде нисмо погрешили, урадићемо још једну малу проверу. У кораку 2, ми за утврдио да . Затим, замена вредности у функцију логистичког одговора, очекујемо да добијемо . Заменимо и добијемо:

Честитамо, драги читаоче, управо смо извели и тестирали функцију логистичког одговора. Погледајмо график функције.

Графикон 3 „Функција логистичког одговора“

Код за цртање графика

import math

def logit (f):
    return 1/(1+math.exp(-f))

f = np.arange(-7,7,0.05)
p = []

for i in f:
    p.append(logit(i))

fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

У литератури можете наћи и назив ове функције као сигмоидна функција. Графикон јасно показује да се главна промена у вероватноћи да објекат припада класи дешава у релативно малом опсегу , негде из до .

Предлажем да се вратите нашем кредитном аналитичару и помогнете му да израчуна вероватноћу отплате кредита, иначе ризикује да остане без бонуса :)

Табела 2 „Потенцијални зајмопримци“

Код за генерисање табеле

proba = []
for i in df['f(w,x)']:
    proba.append(round(logit(i),2))
    
df['Probability'] = proba

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision', 'Probability']]

Дакле, утврдили смо вероватноћу отплате кредита. Уопштено гледано, изгледа да је ово тачно.

Заиста, вероватноћа да ће Васја, са платом од 120.000 РУР, моћи да даје банци 3.000 РУР сваког месеца је близу 100%. Узгред, морамо разумети да банка може да изда кредит Леши ако политика банке предвиђа, на пример, кредитирање клијената са вероватноћом отплате кредита већом од, рецимо, 0.3. Само што ће у овом случају банка створити већу резерву за могуће губитке.

Такође треба напоменути да је однос плата и исплата од најмање 3 и са маргином од 5.000 РУР узет са плафона. Због тога нисмо могли да користимо вектор тежина у његовом оригиналном облику . Требало је јако да смањимо коефицијенте, а у овом случају смо сваки коефицијент поделили са 25.000, односно, у суштини, кориговали смо резултат. Али ово је учињено посебно да би се поједноставило разумевање материјала у почетној фази. У животу нећемо морати да измишљамо и прилагођавамо коефицијенте, већ да их пронађемо. У наредним одељцима чланка ћемо извести једначине помоћу којих се бирају параметри .

04. Метод најмањих квадрата за одређивање вектора тежина у функцији логистичког одговора

Већ знамо овај метод за избор вектора тежина Као метода најмањих квадрата (ЛСМ) и у ствари, зашто га онда не бисмо користили у проблемима бинарне класификације? Заиста, ништа вас не спречава да користите МНЦ, само овај метод у задацима класификације даје резултате који су мање тачни од Логистички губитак. За ово постоји теоријска основа. Хајде да прво погледамо један једноставан пример.

Претпоставимо да наши модели (користећи МСЕ и Логистички губитак) су већ почели да бирају вектор тежина и ми смо у неком кораку зауставили обрачун. Није битно да ли у средини, на крају или на почетку, најважније је да већ имамо неке вредности вектора тежина и претпоставимо да је у овом кораку вектор тежина за оба модела нема разлике. Затим узмите добијене тегове и замените их функција логистичког одговора () за неки објекат који припада класи . Испитујемо два случаја када је, у складу са изабраним вектором тежина, наш модел веома погрешан и обрнуто – модел је веома уверен да објекат припада класи . Да видимо које казне ће бити издате приликом употребе МНЦ и Логистички губитак.

Код за израчунавање казни у зависности од коришћене функције губитка

# класс объекта
y = 1
# вероятность отнесения объекта к классу в соответствии с параметрами w
proba_1 = 0.01

MSE_1 = (y - proba_1)**2
print 'Штраф MSE при грубой ошибке =', MSE_1

# напишем функцию для вычисления f(w,x) при известной вероятности отнесения объекта к классу +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
    return math.log(proba/(1-proba)) 

LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'Штраф Log Loss при грубой ошибке =', LogLoss_1

proba_2 = 0.99

MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))

print '**************************************************************'
print 'Штраф MSE при сильной уверенности =', MSE_2
print 'Штраф Log Loss при сильной уверенности =', LogLoss_2

Случај грешке — модел додељује објекат класи са вероватноћом од 0,01

Казна за коришћење МНЦ биће:

Казна за коришћење Логистички губитак биће:

Случај јаког поверења — модел додељује објекат класи са вероватноћом од 0,99

Казна за коришћење МНЦ биће:

Казна за коришћење Логистички губитак биће:

Овај пример добро илуструје да у случају велике грешке функција губитка Лог Лосс кажњава модел знатно више од МСЕ. Хајде да сада разумемо која је теоријска позадина коришћења функције губитка Лог Лосс у проблемима класификације.

05. Метод максималне вероватноће и логистичка регресија

Као што је обећано на почетку, чланак је препун једноставних примера. У студију је још један пример и стари гости - банковни зајмопримци: Васја, Феђа и Леша.

За сваки случај, пре него што развијете пример, да вас подсетим да у животу имамо посла са узорком обуке од хиљада или милиона објеката са десетинама или стотинама карактеристика. Међутим, овде су бројеви узети тако да се лако могу уклопити у главу научника почетника.

Вратимо се на пример. Замислимо да је директор банке одлучио да изда кредит свима којима је потребна, упркос чињеници да му је алгоритам рекао да га не издаје Леши. А сада је прошло довољно времена и знамо ко је од тројице јунака отплатио кредит, а који није. Шта се могло очекивати: Васја и Феђа су вратили зајам, али Леша није. Замислимо сада да ће нам овај резултат бити нови узорак обуке, а истовремено као да су нестали сви подаци о факторима који утичу на вероватноћу отплате кредита (плата зајмопримца, висина месечне уплате). Тада, интуитивно, можемо претпоставити да сваки трећи зајмопримац не отплаћује кредит банци, односно да је вероватноћа да ће следећи зајмопримац отплатити кредит. . Ова интуитивна претпоставка има теоријску потврду и заснована је на метода максималне вероватноће, често се у литератури назива принцип максималне вероватноће.

Прво, хајде да се упознамо са концептуалним апаратом.

Вероватноћа узорковања је вероватноћа добијања управо таквог узорка, добијања управо таквих запажања/резултата, тј. производ вероватноће добијања сваког од резултата узорка (на пример, да ли је зајам Васје, Феђе и Леше отплаћен или није отплаћен у исто време).

Функција вероватноће повезује вероватноћу узорка са вредностима параметара дистрибуције.

У нашем случају, узорак за обуку је генерализована Бернулијева шема, у којој случајна променљива узима само две вредности: или . Стога се вероватноћа узорка може написати као функција вероватноће параметра како слиједи:

Горњи унос се може протумачити на следећи начин. Заједничка вероватноћа да ће Васја и Феђа отплатити зајам једнака је , вероватноћа да Леша НЕЋЕ отплатити кредит је једнака (пошто НИЈЕ била отплата кредита), стога је заједничка вероватноћа сва три догађаја једнака .

Метода максималне вероватноће је метода за процену непознатог параметра максимизирањем функције вероватноће. У нашем случају, морамо пронаћи такву вредност , на којој достиже свој максимум.

Одакле долази стварна идеја – тражити вредност непознатог параметра при којој функција вероватноће достиже максимум? Порекло идеје потиче од идеје да је узорак једини извор знања који нам је доступан о популацији. У узорку је представљено све што знамо о популацији. Дакле, све што можемо рећи је да је узорак најтачнији одраз популације која нам је доступна. Због тога морамо да пронађемо параметар по коме расположиви узорак постаје највероватнији.

Очигледно, имамо посла са проблемом оптимизације у коме треба да пронађемо тачку екстрема функције. За проналажење тачке екстрема потребно је размотрити услов првог реда, односно изједначити извод функције са нулом и решити једначину у односу на жељени параметар. Међутим, тражење деривата производа великог броја фактора може бити дуготрајан задатак, да би се то избегло, постоји посебна техника - прелазак на логаритам функције вероватноће. Зашто је таква транзиција могућа? Обратимо пажњу на то да не тражимо екстремум саме функције, и тачка екстрема, односно вредност непознатог параметра , на којој достиже свој максимум. Када се пређе на логаритам, тачка екстрема се не мења (иако ће се сам екстремум разликовати), пошто је логаритам монотона функција.

Хајде да, у складу са горе наведеним, наставимо да развијамо наш пример са позајмицама од Васиа, Федиа и Лесха. Прво да пређемо на логаритам функције вероватноће:

Сада можемо лако разликовати израз по :

И на крају, размотрите услов првог реда - изједначавамо извод функције са нулом:

Дакле, наша интуитивна процена вероватноће отплате кредита био теоријски оправдан.

Одлично, али шта да радимо са овом информацијом сада? Ако претпоставимо да сваки трећи зајмопримац не врати новац банци, онда ће ова неминовно банкротирати. Тако је, али само када се процени вероватноћа отплате кредита једнака Нисмо узели у обзир факторе који утичу на отплату кредита: плату зајмопримца и величину месечне уплате. Подсетимо се да смо претходно израчунали вероватноћу отплате кредита од стране сваког клијента, узимајући у обзир те исте факторе. Логично је да смо добили вероватноће различите од константе једнаке .

Хајде да дефинишемо вероватноћу узорака:

Код за израчунавање вероватноће узорка

from functools import reduce

def likelihood(y,p):
    line_true_proba = []
    for i in range(len(y)):
        ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
        line_true_proba.append(ltp_i)
    likelihood = []
    return reduce(lambda a, b: a*b, line_true_proba)
        
    
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]


print 'Правдоподобие выборки при константном значении p=2/3:', round(likelihood(y,p_const),3)

print '****************************************************************************************************'

print 'Правдоподобие выборки при расчетном значении p:', round(likelihood(y,p_log_response),3)

Вероватноћа узорка при константној вредности :

Узорак вероватноће приликом израчунавања вероватноће отплате кредита узимајући у обзир факторе :

Испоставило се да је вероватноћа узорка са вероватноћом израчунатом у зависности од фактора већа од вероватноће са константном вредношћу вероватноће. Шта ово значи? Ово сугерише да је знање о факторима омогућило тачнији одабир вероватноће отплате кредита за сваког клијента. Због тога би при издавању следећег кредита било исправније користити модел који је предложен на крају одељка 3 члана за процену вероватноће отплате дуга.

Али онда, ако желимо да максимизирамо функција вероватноће узорка, зашто онда не користити неки алгоритам који ће произвести вероватноће за Васју, Феђу и Лешу, на пример, једнаке 0.99, 0.99 и 0.01, респективно. Можда ће се такав алгоритам добро понашати на узорку за обуку, јер ће приближити вредност вероватноће узорка , али, прво, такав алгоритам ће највероватније имати потешкоћа са способношћу генерализације, а друго, овај алгоритам дефинитивно неће бити линеаран. А ако методе борбе против претренираности (једнако слаба способност генерализације) очигледно нису укључене у план овог чланка, хајде да прођемо кроз другу тачку детаљније. Да бисте то урадили, само одговорите на једноставно питање. Да ли би вероватноћа да Васја и Феђа отплате зајам могла бити иста, узимајући у обзир нама познате факторе? Са становишта здраве логике, наравно да није, не може. Тако ће Васја плаћати 2.5% своје плате месечно за отплату кредита, а Феђа - скоро 27,8%. Такође у графикону 2 „Класификација клијената“ видимо да је Васја много даље од линије која раздваја класе од Феђе. И коначно, знамо да је функција за Васју и Феђу узима различите вредности: 4.24 за Васју и 1.0 за Феђу. Сада, ако је Феђа, на пример, зарадио ред величине више или тражио мањи зајам, онда би вероватноће отплате кредита за Васју и Феђу биле сличне. Другим речима, линеарна зависност се не може преварити. А ако бисмо стварно израчунали шансе , и није их извадио из ваздуха, можемо слободно рећи да су наше вредности најбоље нам омогућавају да проценимо вероватноћу отплате кредита од стране сваког зајмопримца, али пошто смо се договорили да претпоставимо да ће одређивање коефицијената је спроведено по свим правилима, онда ћемо тако претпоставити - наши коефицијенти нам омогућавају да дамо бољу процену вероватноће :)

Међутим, скрећемо пажњу. У овом одељку морамо разумети како се одређује вектор тежина , што је неопходно за процену вероватноће отплате кредита од стране сваког зајмопримца.

Хајде да укратко сумирамо који арсенал тражимо :

1. Претпостављамо да је однос између циљне променљиве (предвиђене вредности) и фактора који утиче на резултат линеаран. Из тог разлога се користи функција линеарне регресије врста , чија линија дели објекте (клијенте) на класе и или (клијенти који су у могућности да отплате кредит и они који нису). У нашем случају, једначина има облик .

2. Користимо инверзна логит функција врста да се утврди вероватноћа припадности објекта некој класи .

3. Наш сет за обуку сматрамо имплементацијом генерализованог Бернулијеве шеме, односно за сваки објекат се генерише случајна променљива која са вероватноћом (свој за сваки објекат) узима вредност 1 и са вероватноћом - КСНУМКС.

4. Знамо шта треба да максимизирамо функција вероватноће узорка узимајући у обзир прихваћене факторе како би расположиви узорак постао највероватнији. Другим речима, треба да изаберемо параметре по којима ће узорак бити највероватнији. У нашем случају, изабрани параметар је вероватноћа отплате кредита , што опет зависи од непознатих коефицијената . Дакле, морамо пронаћи такав вектор тежина , при чему ће вероватноћа узорка бити максимална.

5. Знамо шта да повећамо функције вероватноће узорка могу да користе метода максималне вероватноће. И знамо све лукаве трикове за рад са овом методом.

Овако се испоставља да је то потез у више корака :)

Сада запамтите да смо на самом почетку чланка желели да изведемо две врсте функција губитка Логистички губитак у зависности од тога како се означавају класе објеката. Десило се да се у класификационим задацима са две класе класе означавају као и или . У зависности од нотације, излаз ће имати одговарајућу функцију губитка.

Случај 1. Класификација објеката у и

Раније, приликом утврђивања вероватноће узорка, у којем је вероватноћа отплате дуга од стране зајмопримца израчуната на основу фактора и датих коефицијената , применили смо формулу:

Заправо је значење функције логистичког одговора за дати вектор тежина

Тада нас ништа не спречава да напишемо функцију вероватноће узорка на следећи начин:

Дешава се да је неким аналитичарима почетницима понекад тешко да одмах схвате како ова функција функционише. Погледајмо 4 кратка примера који ће све разјаснити:

1. Ако (тј. према узорку за обуку, објекат припада класи +1), и наш алгоритам одређује вероватноћу сврставања објекта у класу једнако 0.9, онда ће се вероватноћа овог дела узорка израчунати на следећи начин:

2. Ако И , онда ће прорачун бити овакав:

3. Ако И , онда ће прорачун бити овакав:

4. Ако И , онда ће прорачун бити овакав:

Очигледно је да ће функција вероватноће бити максимизирана у случајевима 1 и 3 или у општем случају - са тачно нагађаним вредностима вероватноће додељивања објекта класи .

Због чињенице да при одређивању вероватноће додељивања објекта класи Само не знамо коефицијенте , онда ћемо их потражити. Као што је горе поменуто, ово је проблем оптимизације у којем прво треба да пронађемо извод функције вероватноће у односу на вектор тежина . Међутим, прво има смисла да поједноставимо задатак за себе: потражићемо извод логаритма функције вероватноће.

Зашто после логаритма, у функције логистичке грешке, променили смо знак са на . Све је једноставно, пошто је у проблемима процене квалитета модела уобичајено да се минимизира вредност функције, десну страну израза помножили смо са и сходно томе, уместо максимизирања, сада минимизирамо функцију.

Заправо, управо сада, пред вашим очима, функција губитка је мукотрпно изведена - Логистички губитак за сет за обуку са две класе: и .

Сада, да бисмо пронашли коефицијенте, само треба да пронађемо извод функције логистичке грешке а затим, користећи методе нумеричке оптимизације, као што су градијентни пад или стохастички градијент пад, изаберите најоптималније коефицијенте . Али, с обзиром на поприличан обим чланка, предлаже се да сами извршите диференцијацију, или ће то можда бити тема за следећи чланак са пуно аритметике без овако детаљних примера.

Случај 2. Класификација објеката у и

Овде ће приступ бити исти као и код часова и , већ сам пут до излаза функције губитка Логистички губитак, биће китњастије. Хајде да почнемо. За функцију вероватноће користићемо оператор "ако онда...". То јест, ако тх објекат припада класи , затим да израчунамо вероватноћу узорка користимо вероватноћу , ако објекат припада класи , онда замењујемо у вероватноћу . Овако изгледа функција вероватноће:

Хајде да опишемо на прстима како то функционише. Хајде да размотримо 4 случаја:

1. Ако и , онда ће вероватноћа узорковања „проћи“

2. Ако и , онда ће вероватноћа узорковања „проћи“

3. Ако и , онда ће вероватноћа узорковања „проћи“

4. Ако и , онда ће вероватноћа узорковања „проћи“

Очигледно је да у случајевима 1 и 3, када су вероватноће тачно одређене алгоритмом, функција вероватноће биће максимизирано, односно управо то смо желели да добијемо. Међутим, овај приступ је прилично тежак и следеће ћемо размотрити компактнију нотацију. Али прво, хајде да логаритаммо функцију вероватноће са променом предзнака, пошто ћемо је сада минимизирати.

Заменимо уместо тога израз :

Хајде да поједноставимо прави термин под логаритмом користећи једноставне аритметичке технике и добијемо:

Сада је време да се решите оператера "ако онда...". Имајте на уму да када објекат припада класи , затим у изразу под логаритмом, у имениоцу, подигнут на власт , ако објекат припада класи , онда се $е$ подиже на степен . Дакле, нотација степена се може поједноставити комбиновањем оба случаја у један: . Онда функција логистичке грешке ће имати облик:

У складу са правилима логаритма, окрећемо разломак и стављамо знак "" (минус) за логаритам, добијамо:

Ево функције губитка логистички губитак, који се користи у скупу за обуку са објектима додељеним класама: и .

Па, у овом тренутку одлазим и закључујемо чланак.

Претходни ауторов рад је „Довођење једначине линеарне регресије у матрични облик“

Помоћни материјали

1. Литература

1) Примењена регресиона анализа / Н. Драпер, Г. Смитх - 2. изд. – М.: Финансије и статистика, 1986 (превод са енглеског)

2) Теорија вероватноће и математичка статистика / В.Е. Гмурман - 9. изд. - М.: Виша школа, 2003

3) Теорија вероватноће / Н.И. Чернова – Новосибирск: Новосибирски државни универзитет, 2007

4) Пословна аналитика: од података до знања / Паклин Н. Б., Оресхков В. И. - 2. изд. — Санкт Петербург: Петар, 2013

5) Дата Сциенце Наука о подацима од нуле / Јоел Грас - Санкт Петербург: БХВ Петерсбург, 2017.

6) Практична статистика за специјалисте Дата Сциенце / П. Бруце, Е. Бруце - Санкт Петербург: БХВ Петерсбург, 2018.

2. Предавања, курсеви (видео)

1) Суштина методе максималне вероватноће, Борис Демесхев

2) Метод максималне вероватноће у континуираном случају, Борис Демешев

3) Логистичка регресија. Отворени ОДС курс, Јуриј Кашницки

4) Предавање 4, Евгениј Соколов (од 47 минута видеа)

5) Логистичка регресија, Вјачеслав Воронцов

3. Интернет извори

1) Линеарна класификација и регресиони модели

2) Како лако разумети логистичку регресију

3) Функција логистичке грешке

4) Независни тестови и Бернулијева формула

5) Балада о ММП-у

6) Метода максималне вероватноће

7) Формуле и својства логаритама

8) Зашто број ?

9) Линеарни класификатор

Извор: ввв.хабр.цом