Џвакање на логистичка регресија

Во оваа статија ќе ги анализираме теоретските пресметки на трансформацијата функции на линеарна регресија в Функција за трансформација на инверзна логит (инаку наречена функција на логистички одговор). Потоа, користејќи го арсеналот метод на максимална веројатност, во согласност со моделот на логистичка регресија, ја изведуваме функцијата загуба Логистичка загуба, или другими словами, мы определим функцию, с помощью которой в модели логистической регрессии подбираются параметры вектора весов .

Преглед на статијата:

1. Да ја повториме линеарната врска помеѓу две променливи
2. Ајде да ја идентификуваме потребата за трансформација функции на линеарна регресија в функција на логистички одговор
3. Ајде да ги извршиме трансформациите и излезот функција на логистички одговор
4. Ајде да се обидеме да разбереме зошто методот на најмали квадрати е лош при изборот на параметри функции Логистичка загуба
5. Ние користиме метод на максимална веројатност за утврдување функции за избор на параметри :

   5.1. Случај 1: функција Логистичка загуба за објекти со ознаки на класи 0 и 1:

   

   5.2. Случај 2: функција Логистичка загуба за објекти со ознаки на класи -1 и +1:

   

Статијата е преполна со едноставни примери во кои сите пресметки се лесно да се направат усно или на хартија; во некои случаи, може да биде потребен калкулатор. Затоа подгответе се :)

Оваа статија е првенствено наменета за научници за податоци со почетно ниво на знаење во основите на машинското учење.

Написот исто така ќе обезбеди код за цртање графикони и пресметки. Целиот код е напишан на јазикот питон 2.7. Дозволете ми однапред да објаснам за „новината“ на користената верзија - ова е еден од условите за полагање на добро познатиот курс од Јандекс на подеднакво позната онлајн едукативна платформа Coursera, и, како што може да се претпостави, материјалот е подготвен врз основа на овој курс.

01. Зависност од права линија

Сосема е разумно да се постави прашањето - каква врска имаат линеарната зависност и логистичката регресија?

Едноставно е! Логистичката регресија е еден од моделите кои припаѓаат на линеарниот класификатор. Со едноставни зборови, задачата на линеарниот класификатор е да ги предвиди целните вредности од променливи (регресори) . Се верува дека зависноста помеѓу карактеристиките и целните вредности линеарна. Оттука и името на класификаторот - линеарен. Многу грубо кажано, моделот на логистичка регресија се заснова на претпоставката дека постои линеарна врска помеѓу карактеристиките и целните вредности . Ова е врската.

Има првиот пример во студиото, и точно е за праволиниската зависност на количините што се проучуваат. Во процесот на подготовка на статијата, наидов на пример кој веќе наиде на многу луѓе - зависноста на струјата од напонот („Применета регресивна анализа“, Н. Дрејпер, Г. Смит). Ќе го разгледаме и овде.

Во согласност со Закон на Ом:

каде - моментална јачина, - Напон, - отпор.

Ако не знаевме Закон на Ом, тогаш зависноста би можеле да ја најдеме емпириски со промена и мерење , додека поддржувате фиксна. Тогаш ќе видиме дека графикот на зависност од дава повеќе или помалку права линија низ потеклото. Велиме „повеќе или помалку“ затоа што, иако врската е всушност точна, нашите мерења може да содржат мали грешки, и затоа точките на графикот може да не паднат точно на линијата, туку случајно да се расфрлаат околу неа.

Графикон 1 „Зависност“ од »

Код за цртање графикон

import matplotlib.pyplot as plt
%matplotlib inline

import numpy as np

import random

R = 13.75

x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
    y_line.append(i/R)
    
y_dot = []
for i in y_line:
    y_dot.append(i+random.uniform(-0.9,0.9))


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Actual results')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

02. Потребата да се трансформира линеарната регресивна равенка

Ајде да погледнеме друг пример. Да замислиме дека работиме во банка и наша задача е да ја одредиме веројатноста заемопримачот да го врати кредитот во зависност од одредени фактори. За да ја поедноставиме задачата, ќе разгледаме само два фактори: месечната плата на заемопримачот и месечниот износ на отплата на заемот.

Задачата е многу условна, но со овој пример можеме да разбереме зошто не е доволно да се користи функции на линеарна регресија, а исто така дознајте кои трансформации треба да се извршат со функцијата.

Да се ​​вратиме на примерот. Разбирливо е дека колку е поголема платата, толку повеќе заемопримачот ќе може да издвојува месечно за отплата на заемот. Во исто време, за одреден опсег на плати овој однос ќе биде доста линеарен. На пример, да земеме опсег на плата од 60.000 RUR до 200.000 RUR и да претпоставиме дека во наведениот опсег на плата, зависноста на големината на месечната исплата од големината на платата е линеарна. Да речеме дека за наведениот опсег на плати беше откриено дека соодносот плата-исплата не може да падне под 3 и заемопримачот мора да има резерва од 5.000 рубли. И само во овој случај, ќе претпоставиме дека заемопримачот ќе го отплати заемот на банката. Потоа, линеарната регресивна равенка ќе ја има формата:

каде што , , , - плата -ти заемопримач, - исплата на заем -ти заемопримач.

Замена на плата и исплата на кредит со фиксни параметри во равенката Можете да одлучите дали да издадете или одбиете заем.

Гледајќи напред, го забележуваме тоа, со дадените параметри линеарна регресивна функција, користено во функции на логистички одговор ќе произведе големи вредности што ќе ги комплицираат пресметките за да се утврдат веројатностите за отплата на заемот. Затоа, се предлага да ги намалиме нашите коефициенти, да речеме, за 25.000 пати. Оваа трансформација на коефициентите нема да ја промени одлуката за издавање кредит. Да се ​​потсетиме на оваа точка во иднина, но сега, за да стане уште појасно за што зборуваме, да ја разгледаме ситуацијата со тројца потенцијални заемопримачи.

Табела 1 „Потенцијални заемопримачи“

Код за генерирање на табелата

import pandas as pd

r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r

data = {'The borrower':np.array(['Vasya', 'Fedya', 'Lesha']), 
        'Salary':np.array([120000,180000,210000]),
       'Payment':np.array([3000,50000,70000])}

df = pd.DataFrame(data)

df['f(w,x)'] = w_0 + df['Salary']*w_1 + df['Payment']*w_2

decision = []
for i in df['f(w,x)']:
    if i > 0:
        dec = 'Approved'
        decision.append(dec)
    else:
        dec = 'Refusal'
        decision.append(dec)
        
df['Decision'] = decision

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision']]

Во согласност со податоците од табелата, Васја, со плата од 120.000 рубли, сака да добие заем за да може да го враќа месечно од 3.000 рубли. Утврдивме дека за да го одобриме заемот, платата на Васија мора да го надмине трикратниот износ на исплатата, а остануваат уште 5.000 рубли. Васија го задоволува ова барање: . Остануваат дури 106.000 рубли. И покрај тоа што при пресметувањето ги намаливме шансите 25.000 пати, резултатот бил ист - заемот може да се одобри. Заем ќе добие и Федија, но Леша и покрај тоа што добива најмногу, ќе мора да си ги заузда апетитите.

Ајде да нацртаме графикон за овој случај.

Графикон 2 „Класификација на должници“

Код за цртање на графиконот

salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'], 
         'o', color ='green', markersize = 12, label = 'Decision - Loan approved')
plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'], 
         's', color = 'red', markersize = 12, label = 'Decision - Loan refusal')
plt.xlabel('Salary', size = 16)
plt.ylabel('Payment', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

Значи, нашата права линија, конструирана во согласност со функцијата , ги одвојува „лошите“ заемопримачи од „добрите“. Оние должници чии желби не се совпаѓаат со нивните можности се над линијата (Леша), додека оние кои, според параметрите на нашиот модел, можат да го вратат заемот се под линијата (Васја и Федија). Со други зборови, можеме да го кажеме ова: нашата директна линија ги дели должниците во две класи. Да ги означиме на следниов начин: на класа Ќе ги класифицираме оние должници кои најверојатно ќе го вратат заемот како или Ќе ги вклучиме оние должници кои најверојатно нема да можат да го вратат заемот.

Да ги сумираме заклучоците од овој едноставен пример. Ајде да земеме точка и, заменувајќи ги координатите на точката во соодветната равенка на правата , разгледајте три опции:

1. Ако точката е под линијата и ја доделиме на класата , потоа вредноста на функцијата ќе биде позитивен од да . Ова значи дека можеме да претпоставиме дека веројатноста за отплата на заемот е внатре . Колку е поголема вредноста на функцијата, толку е поголема веројатноста.
2. Ако точка е над права и ја доделиме на класата или , тогаш вредноста на функцијата ќе биде негативна од да . Тогаш ќе претпоставиме дека веројатноста за отплата на долгот е во рамките и, колку е поголема апсолутната вредност на функцијата, толку е поголема нашата доверба.
3. Точката е на права линија, на границата помеѓу две класи. Во овој случај, вредноста на функцијата ќе бидат еднакви а веројатноста за враќање на заемот е еднаква на .

Сега, да замислиме дека немаме два фактори, туку десетици, и не три, туку илјадници заемопримачи. Тогаш наместо права линија ќе имаме m-димензионална рамнина и коефициенти нема да бидеме вадени од воздух, туку изведени според сите правила и врз основа на акумулирани податоци за должници кои го вратиле или не го вратиле кредитот. И навистина, забележете дека сега избираме позајмувачи користејќи веќе познати коефициенти . Всушност, задачата на моделот на логистичка регресија е токму да ги одреди параметрите , при што вредноста на загубата функција Логистичка загуба ќе се стреми кон минимум. Но, за тоа како се пресметува векторот , ќе дознаеме повеќе во 5-тиот дел од статијата. Во меѓувреме се враќаме во ветената земја - кај нашиот банкар и неговите тројца клиенти.

Благодарение на функцијата знаеме на кого може да му се даде заем и кој треба да се одбие. Но, не можете да одите кај директорот со такви информации, бидејќи тие сакаа да ја добијат од нас веројатноста за отплата на заемот од секој заемопримач. Што да се прави? Одговорот е едноставен - треба некако да ја трансформираме функцијата , чии вредности лежат во опсегот на функција чии вредности ќе лежат во опсегот . И таква функција постои, се нарекува Функција за логистички одговор или инверзна-логитна трансформација. Запознајте се:

Ајде да видиме чекор по чекор како функционира функција на логистички одговор. Забележете дека ќе одиме во спротивна насока, т.е. ќе претпоставиме дека ја знаеме вредноста на веројатноста, која се наоѓа во опсегот од да а потоа ќе ја „одвиткаме“ оваа вредност до целиот опсег на броеви од да .

03. Ја изведуваме функцијата логистички одговор

Чекор 1. Претворете ги вредностите на веројатноста во опсег

При трансформацијата на функцијата в функција на логистички одговор Ќе го оставиме нашиот кредитен аналитичар на мира и наместо тоа ќе направиме обиколка на обложувалниците. Не, се разбира, нема да ставаме облози, се што не интересира таму е значењето на изразот, на пример, шансата е 4 спрема 1. Шансите, познати на сите обложувалници, се односот на „успесите“ со „ неуспеси“. Во смисла на веројатност, шансите се веројатноста за настанување поделена со веројатноста да не се случи настанот. Да ја запишеме формулата за шанса да се случи некој настан :

каде - веројатност да се случи некој настан, — веројатност да НЕ се случи некој настан

На пример, ако веројатноста млад, силен и разигран коњ со прекар „Ветерок“ да победи стара и млитава старица по име „Матилда“ на трка е еднаква на , тогаш шансите за успех на „Ветерок“ ќе бидат к и обратно, знаејќи ги шансите, нема да ни биде тешко да ја пресметаме веројатноста :

Така, научивме да ја „преведуваме“ веројатноста во шанси, од кои земаат вредности да . Ајде да направиме уште еден чекор и да научиме да ја „преведуваме“ веројатноста на целата бројна линија од да .

Чекор 2. Претворете ги вредностите на веројатноста во опсег

Овој чекор е многу едноставен - да го земеме логаритамот на коефициентот до основата на Ојлеровиот број и добиваме:

Сега знаеме дека ако , потоа пресметајте ја вредноста ќе биде многу едноставно и, згора на тоа, треба да биде позитивно: . Ова е вистина.

Од љубопитност, ајде да провериме што ако , тогаш очекуваме да видиме негативна вредност . Проверуваме: . Тоа е точно.

Сега знаеме како да ја конвертираме вредноста на веројатноста од да по целата бројна линија од да . Во следниот чекор ќе го направиме спротивното.

Засега, забележуваме дека во согласност со правилата на логаритам, знаејќи ја вредноста на функцијата , можете да ги пресметате шансите:

Овој метод на одредување на коефициентите ќе ни биде корисен во следниот чекор.

Чекор 3. Ајде да изведеме формула за одредување

Така научивме, знаејќи , најдете вредности на функции . Меѓутоа, всушност, ни треба токму спротивното - да ја знаеме вредноста да се најде . За да го направите ова, да се свртиме кон таков концепт како функцијата на инверзни шанси, според која:

Во написот нема да ја изведеме горната формула, но ќе ја провериме користејќи ги броевите од примерот погоре. Знаеме дека со коефициент од 4 спрема 1 (), веројатноста да се случи настанот е 0.8 (). Ајде да направиме замена: . Ова се совпаѓа со нашите пресметки направени претходно. Ајде да продолжиме.

Во последниот чекор го заклучивме тоа , што значи дека можете да направите замена во функцијата инверзни шанси. Добиваме:

Поделете ги и броителот и именителот со , Потоа:

За секој случај, за да се увериме дека никаде не сме направиле грешка, ајде да направиме уште една мала проверка. Во чекор 2, ние за утврди дека . Потоа, заменувајќи ја вредноста во функцијата логистички одговор, очекуваме да ја добиеме . Заменуваме и добиваме:

Честитки, драг читателу, штотуку ја изведовме и тестиравме функцијата за логистички одговор. Да го погледнеме графикот на функцијата.

Графикон 3 „Функција за логистички одговор“

Код за цртање на графиконот

import math

def logit (f):
    return 1/(1+math.exp(-f))

f = np.arange(-7,7,0.05)
p = []

for i in f:
    p.append(logit(i))

fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

Во литературата можете да го најдете и името на оваа функција како сигмоид-функция. Графикот јасно покажува дека главната промена во веројатноста некој објект да припаѓа на класа се случува во релативно мал опсег , некаде од да .

Предлагам да се вратиме кај нашиот кредитен аналитичар и да му помогнеме да ја пресмета веројатноста за отплата на заемот, инаку ризикува да остане без бонус :)

Табела 2 „Потенцијални заемопримачи“

Код за генерирање на табелата

proba = []
for i in df['f(w,x)']:
    proba.append(round(logit(i),2))
    
df['Probability'] = proba

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision', 'Probability']]

Значи, ја утврдивме веројатноста за отплата на кредитот. Во принцип, ова се чини дека е вистина.

Навистина, веројатноста дека Васија, со плата од 120.000 RUR, ќе може да дава 3.000 RUR на банката секој месец е близу 100%. Патем, мора да разбереме дека банката може да издаде заем на Леша ако политиката на банката предвидува, на пример, заеми на клиенти со веројатност за отплата на заемот повеќе од, да речеме, 0.3. Само во овој случај банката ќе создаде поголема резерва за можни загуби.

Исто така, треба да се забележи дека соодносот плата-исплата од најмалку 3 и со маржа од 5.000 RUR беше земен од плафонот. Затоа, не можевме да го користиме векторот на тегови во неговата оригинална форма . Требаше многу да ги намалиме коефициентите и во овој случај секој коефициент го поделивме со 25.000, односно во суштина го прилагодивме резултатот. Но, ова беше направено специјално за да се поедностави разбирањето на материјалот во почетната фаза. Во животот нема да треба да измислуваме и прилагодуваме коефициенти, туку да ги наоѓаме. Во следните делови од статијата ќе ги изведеме равенките со кои се избираат параметрите .

04. Метод на најмали квадрати за определување на векторот на тегови во функцијата логистички одговор

Ние веќе го знаеме овој метод за избор на вектор на тежини Како метод на најмали квадрати (LSM) и всушност, зошто тогаш не го користиме во проблеми со бинарна класификација? Навистина, ништо не ве спречува да го користите МНЦ, само овој метод во класификација проблеми дава резултати кои се помалку точни од Логистичка загуба. За ова постои теоретска основа. Ајде прво да погледнеме еден едноставен пример.

Да претпоставиме дека нашите модели (користејќи МБ и Логистичка загуба) веќе почнаа да го избираат векторот на тегови и ја прекинавме пресметката на некој чекор. Не е важно дали во средината, на крајот или на почетокот, главната работа е што веќе имаме некои вредности на векторот на тегови и да претпоставиме дека на овој чекор, векторот на тегови за двата модели нема никакви разлики. Потоа земете ги добиените тегови и заменете ги во функција на логистички одговор () за некој објект што припаѓа на класата . Испитуваме два случаи кога, во согласност со избраниот вектор на тежини, нашиот модел е многу погрешен и обратно - моделот е многу уверен дека објектот припаѓа на класата . Ајде да видиме какви казни ќе бидат издадени при користење МНЦ и Логистичка загуба.

Код за пресметување на казните во зависност од користената функција за загуба

# класс объекта
y = 1
# вероятность отнесения объекта к классу в соответствии с параметрами w
proba_1 = 0.01

MSE_1 = (y - proba_1)**2
print 'Штраф MSE при грубой ошибке =', MSE_1

# напишем функцию для вычисления f(w,x) при известной вероятности отнесения объекта к классу +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
    return math.log(proba/(1-proba)) 

LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'Штраф Log Loss при грубой ошибке =', LogLoss_1

proba_2 = 0.99

MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))

print '**************************************************************'
print 'Штраф MSE при сильной уверенности =', MSE_2
print 'Штраф Log Loss при сильной уверенности =', LogLoss_2

Случај на грешка — моделот доделува објект на класа со веројатност од 0,01

Казна при употреба МНЦ ќе биде:

Казна при употреба Логистичка загуба ќе биде:

Случај на силна доверба — моделот доделува објект на класа со веројатност од 0,99

Казна при употреба МНЦ ќе биде:

Казна при употреба Логистичка загуба ќе биде:

Овој пример добро илустрира дека во случај на груба грешка функцијата загуба Загуба на дневник го казнува моделот значително повеќе од МБ. Ајде сега да разбереме која е теоретската позадина за користење на функцијата загуба Загуба на дневник во класификација проблеми.

05. Метод на максимална веројатност и логистичка регресија

Како што беше ветено на почетокот, написот е преполн со едноставни примери. Во студиото има уште еден пример и стари гости - банкарски должници: Васија, Федија и Леша.

За секој случај, пред да го развијам примерот, дозволете ми да ве потсетам дека во животот се занимаваме со примерок за обука од илјадници или милиони предмети со десетици или стотици карактеристики. Сепак, овде бројките се земени за да можат лесно да се вклопат во главата на почетниот научник за податоци.

Да се ​​вратиме на примерот. Да замислиме дека директорот на банката решил да им издаде заем на сите што имаат потреба, и покрај фактот што алгоритмот му рекол да не го издава на Леша. И сега помина доволно време и знаеме кој од тројцата херои го вратил заемот, а кој не. Што требаше да се очекува: Васија и Федија го отплатија заемот, но Леша не. Сега да замислиме дека овој резултат ќе биде нов примерок за обука за нас и, во исто време, како да исчезнаа сите податоци за факторите кои влијаат на веројатноста за отплата на заемот (плата на заемопримачот, големината на месечната исплата). Тогаш, интуитивно, можеме да претпоставиме дека секој трет заемопримач не го враќа заемот на банката, или со други зборови, веројатноста следниот заемопримач да го врати заемот . Оваа интуитивна претпоставка има теоретска потврда и се заснова на метод на максимална веројатност, често во литературата се нарекува принцип на максимална веројатност.

Прво, да се запознаеме со концептуалниот апарат.

Веројатност за земање примероци е веројатноста да се добие токму таков примерок, да се добијат токму такви набљудувања/резултати, т.е. производ на веројатностите за добивање на секој од резултатите од примерокот (на пример, дали заемот на Васја, Федија и Леша бил вратен или не е вратен во исто време).

Функција на веројатност ја поврзува веројатноста за примерок со вредностите на параметрите за дистрибуција.

Во нашиот случај, примерокот за обука е генерализирана Бернулиова шема, во која случајната променлива зема само две вредности: или . Затоа, веројатноста за примерок може да се запише како веројатност на параметарот како што следува:

Горенаведениот запис може да се толкува на следниов начин. Заедничката веројатност дека Васија и Федија ќе го отплатат заемот е еднаква на , веројатноста дека Леша НЕ ќе го врати заемот е еднаква на (бидејќи НЕ се случи отплатата на заемот), затоа заедничката веројатност за сите три настани е еднаква .

Метод на максимална веројатност е метод за проценка на непознат параметар со максимизирање функции на веројатност. Во нашиот случај, треба да најдеме таква вредност на која го достигнува својот максимум.

Од каде потекнува вистинската идеја - да се бара вредноста на непознат параметар при кој функцијата на веројатност достигнува максимум? Потеклото на идејата произлегува од идејата дека примерокот е единствениот извор на знаење што ни е достапен за популацијата. Сè што знаеме за популацијата е претставено во примерокот. Затоа, сè што можеме да кажеме е дека примерокот е најточниот одраз на популацијата што ни е достапна. Затоа, треба да најдеме параметар при кој достапниот примерок станува најверојатен.

Очигледно, ние се занимаваме со проблем за оптимизација во кој треба да ја најдеме екстремната точка на функцијата. За да се најде екстремната точка, потребно е да се земе предвид условот од прв ред, односно да се изедначи изводот на функцијата на нула и да се реши равенката во однос на саканиот параметар. Сепак, пребарувањето за дериват на производ од голем број фактори може да биде долга задача; за да се избегне ова, постои посебна техника - префрлување на логаритам функции на веројатност. Зошто е можна таква транзиција? Да обрнеме внимание на фактот дека не го бараме екстремот на самата функција, и екстремната точка, односно вредноста на непознатиот параметар на која го достигнува својот максимум. Кога се движите кон логаритам, екстремната точка не се менува (иако самиот екстрем ќе се разликува), бидејќи логаритамот е монотона функција.

Ајде, во согласност со горенаведеното, да продолжиме да го развиваме нашиот пример со заеми од Vasya, Fedya и Lesha. Прво да продолжиме на логаритам на функцијата на веројатност:

Сега можеме лесно да го разликуваме изразот по :

И, конечно, разгледајте го условот од прв ред - изводот на функцијата го изедначуваме на нула:

Така, нашата интуитивна проценка за веројатноста за отплата на заемот беше теоретски оправдано.

Одлично, но што да правиме со оваа информација сега? Ако претпоставиме дека секој трет заемопримач не ги враќа парите во банката, тогаш таа неминовно ќе банкротира. Така е, но само кога се проценува веројатноста за отплата на заемот еднаква на Не ги земавме предвид факторите кои влијаат на отплатата на заемот: платата на заемопримачот и големината на месечната исплата. Да потсетиме дека претходно ја пресметавме веројатноста за отплата на заемот од секој клиент, земајќи ги предвид истите овие фактори. Логично е дека добивме веројатности различни од константното еднакво .

Ајде да ја дефинираме веројатноста за примероци:

Код за пресметување на веројатноста за примерок

from functools import reduce

def likelihood(y,p):
    line_true_proba = []
    for i in range(len(y)):
        ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
        line_true_proba.append(ltp_i)
    likelihood = []
    return reduce(lambda a, b: a*b, line_true_proba)
        
    
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]


print 'Правдоподобие выборки при константном значении p=2/3:', round(likelihood(y,p_const),3)

print '****************************************************************************************************'

print 'Правдоподобие выборки при расчетном значении p:', round(likelihood(y,p_log_response),3)

Веројатност за примерок со константна вредност :

Примерок веројатност при пресметување на веројатноста за отплата на заемот земајќи ги предвид факторите :

Веројатноста за примерок со веројатност пресметана во зависност од факторите се покажа дека е поголема од веројатноста со постојана вредност на веројатноста. Што значи тоа? Ова сугерира дека знаењето за факторите овозможило попрецизно да се избере веројатноста за отплата на заемот за секој клиент. Затоа, при издавањето на следниот заем, поправилно би било да се користи моделот предложен на крајот од делот 3 од членот за проценка на веројатноста за отплата на долгот.

Но, тогаш, ако сакаме да го максимизираме функција на веројатност за примерок, тогаш зошто да не користите некој алгоритам што ќе произведе веројатности за Vasya, Fedya и Lesha, на пример, еднакви на 0.99, 0.99 и 0.01, соодветно. Можеби таквиот алгоритам ќе функционира добро на примерокот за обука, бидејќи ќе ја приближи вредноста на веројатноста на примерокот до , но, прво, таквиот алгоритам најверојатно ќе има потешкотии со способноста за генерализација, и второ, овој алгоритам дефинитивно нема да биде линеарен. И ако методите за борба против претренирањето (подеднакво слаба способност за генерализација) очигледно не се вклучени во планот на овој напис, тогаш да ја разгледаме втората точка подетално. За да го направите ова, само одговорете на едноставно прашање. Дали веројатноста Васија и Федија да го вратат заемот може да биде иста, земајќи ги предвид факторите што ни се познати? Од гледна точка на здравата логика, се разбира дека не, не може. Така, Васија ќе плаќа 2.5% од својата плата месечно за да го врати заемот, а Федија - скоро 27,8%. Исто така, во графиконот 2 „Класификација на клиентите“ гледаме дека Васија е многу подалеку од линијата што ги одвојува класите отколку Fedya. И конечно, знаеме дека функцијата за Vasya и Fedya зема различни вредности: 4.24 за Vasya и 1.0 за Fedya. Сега, ако Федја, на пример, заработила ред на големина повеќе или побарала помал заем, тогаш веројатноста за отплата на заемот за Васија и Федија би била слична. Со други зборови, линеарната зависност не може да се измами. И ако всушност ги пресметаме шансите , и не ги извадивме од воздух, можеме слободно да кажеме дека нашите вредности најдобро ни дозволуваат да ја процениме веројатноста за отплата на заемот од секој заемопримач, но бидејќи се согласивме да претпоставиме дека определувањето на коефициентите беше спроведено според сите правила, тогаш така ќе претпоставиме - нашите коефициенти ни дозволуваат да дадеме подобра проценка на веројатноста :)

Сепак, отстапуваме. Во овој дел треба да разбереме како се одредува векторот на тежини , што е неопходно за да се процени веројатноста за отплата на заемот од страна на секој заемопримач.

Ајде накратко да резимираме со каков арсенал бараме шанси :

1. Претпоставуваме дека врската помеѓу целната променлива (вредност на предвидување) и факторот што влијае на резултатот е линеарна. Поради оваа причина се користи линеарна регресивна функција видови , чија линија ги дели објектите (клиентите) во класи и или (клиенти кои се во можност да го вратат заемот и оние кои не се). Во нашиот случај, равенката ја има формата .

2. Ние користиме инверзна логитна функција видови да се определи веројатноста некој објект да припаѓа на класа .

3. Нашиот тренинг сет го сметаме за имплементација на генерализирано Бернули шеми, односно за секој објект се генерира случајна променлива која со веројатност (свој за секој објект) ја зема вредноста 1 и со веројатност - 0.

4. Знаеме што треба да максимизираме функција на веројатност за примерок земајќи ги предвид прифатените фактори за достапниот примерок да стане најверодостоен. Со други зборови, треба да избереме параметри според кои примерокот ќе биде најверодостоен. Во нашиот случај, избраниот параметар е веројатноста за отплата на заемот , што пак зависи од непознати коефициенти . Значи, треба да најдеме таков вектор на тежини , при што веројатноста за примерокот ќе биде максимална.

5. Знаеме што да максимизираме примерок од функциите на веројатност може да се користи метод на максимална веројатност. И ние ги знаеме сите незгодни трикови за работа со овој метод.

Вака испаѓа дека е потег во повеќе чекори :)

Сега запомнете дека на самиот почеток на статијата сакавме да изведеме два типа на функции за загуба Логистичка загуба во зависност од тоа како се назначени класите на објекти. Така се случи во класификациски проблеми со две класи, класите да се означат како и или . Во зависност од ознаката, излезот ќе има соодветна функција на загуба.

Случај 1. Класификација на предмети во и

Претходно, при утврдување на веројатноста за примерок, во кој веројатноста за отплата на долгот од страна на заемопримачот беше пресметана врз основа на фактори и дадени коефициенти , ја применивме формулата:

Всушност е значењето функции на логистички одговор за даден вектор на тежини

Тогаш ништо не нè спречува да ја запишеме функцијата за веројатност на примерокот на следниов начин:

Се случува понекогаш да им е тешко на некои почетници аналитичари веднаш да разберат како функционира оваа функција. Ајде да погледнеме 4 кратки примери кои ќе разјаснат сè:

1. Ако (т.е., според примерокот за обука, објектот припаѓа на класата +1), и нашиот алгоритам ја одредува веројатноста за класификација на објект во класа еднакво на 0.9, тогаш ова парче веројатност за примерок ќе се пресмета на следниов начин:

2. Ако И , тогаш пресметката ќе биде вака:

3. Ако И , тогаш пресметката ќе биде вака:

4. Ако И , тогаш пресметката ќе биде вака:

Очигледно е дека функцијата на веројатност ќе биде максимизирана во случаите 1 и 3 или во општиот случај - со правилно погодени вредности на веројатностите за доделување објект на класа .

Поради тоа што при определување на веројатноста за доделување објект на класа Само коефициентите не ги знаеме , тогаш ќе ги бараме. Како што споменавме погоре, ова е проблем за оптимизација во кој прво треба да го најдеме изводот на функцијата на веројатност во однос на векторот на тежини . Сепак, прво има смисла да ја поедноставиме задачата за себе: ќе го бараме дериватот на логаритмот функции на веројатност.

Зошто по логаритам, во функции на логистичка грешка, го сменивме знакот од на . Сè е едноставно, бидејќи во проблемите за оценување на квалитетот на моделот вообичаено е да се минимизира вредноста на функцијата, десната страна на изразот ја помноживме со и соодветно, наместо максимизирање, сега ја минимизираме функцијата.

Всушност, токму сега, пред твоите очи, макотрпно беше изведена функцијата на загуба - Логистичка загуба за тренинг сет со две класи: и .

Сега, за да ги најдеме коефициентите, само треба да го најдеме изводот функции на логистичка грешка а потоа, користејќи методи за нумеричка оптимизација, како што се спуштање со градиент или стохастичко спуштање на градиент, изберете ги најоптималните коефициенти . Но, со оглед на значителниот обем на статијата, се предлага диференцијацијата да се изврши самостојно, или можеби ова ќе биде тема за следната статија со многу аритметика без такви детални примери.

Случај 2. Класификација на предмети во и

Пристапот овде ќе биде ист како кај часовите и , но самата патека до излезот на функцијата загуба Логистичка загуба, ќе биде повеќе украсен. Ајде да почнеме. За функцијата на веројатност ќе го користиме операторот "ако тогаш...". Тоа е, ако Објектот припаѓа на класата , потоа за да ја пресметаме веројатноста за примерокот ја користиме веројатноста , ако објектот припаѓа на класата , тогаш заменуваме во веројатноста . Вака изгледа функцијата на веројатност:

Дозволете ни да опишеме на нашите прсти како функционира. Да разгледаме 4 случаи:

1. Ако и , тогаш веројатноста за земање примероци „ќе оди“

2. Ако и , тогаш веројатноста за земање примероци „ќе оди“

3. Ако и , тогаш веројатноста за земање примероци „ќе оди“

4. Ако и , тогаш веројатноста за земање примероци „ќе оди“

Очигледно е дека во случаите 1 и 3, кога веројатностите биле правилно одредени со алгоритмот, функција на веројатност ќе биде максимизирано, односно токму тоа сакавме да го добиеме. Сепак, овој пристап е прилично тежок и понатаму ќе разгледаме покомпактна нотација. Но, прво, ајде да ја логаритамизираме функцијата на веројатност со промена на знакот, бидејќи сега ќе ја минимизираме.

Ајде да замениме наместо тоа изразување :

Ајде да го поедноставиме вистинскиот термин под логаритам користејќи едноставни аритметички техники и да добиеме:

Сега е време да се ослободиме од операторот "ако тогаш...". Забележете дека кога објект припаѓа на класата , потоа во изразот под логаритам, во именителот, подигнат на власт , ако објектот припаѓа на класата , тогаш $e$ се подига на моќ . Затоа, ознаката за степенот може да се поедностави со комбинирање на двата случаи во еден: . Тогаш функција на логистичка грешка ќе има форма:

Во согласност со правилата на логаритам, ја превртуваме дропот и го гасиме знакот "" (минус) за логаритам, добиваме:

Еве ја функцијата загуба логистичка загуба, кој се користи во комплетот за обука со предмети доделени на класи: и .

Па, во овој момент земам отсуство и ја завршуваме статијата.

Претходната работа на авторот е „Донесување на равенката на линеарна регресија во форма на матрица“

Помошни материјали

1 Литература

1) Применета регресивна анализа / N. Draper, G. Smith - 2nd ed. – М.: Финансии и статистика, 1986 година (превод од англиски)

2) Теорија на веројатност и математичка статистика / В.Е. Гмурман - 9-ти ед. - М.: Виша школа, 2003 година

3) Теорија на веројатност / Н.И. Чернова - Новосибирск: Државен универзитет во Новосибирск, 2007 година

4) Бизнис аналитика: од податоци до знаење / Paklin N. B., Oreshkov V. I. - 2nd ed. - Санкт Петербург: Петар, 2013 година

5) Наука за податоци Наука за податоци од нула / Џоел Грас - Санкт Петербург: БХВ Петербург, 2017 година

6) Практична статистика за специјалисти за наука за податоци / П. Брус, Е. Брус - Санкт Петербург: БХВ Петербург, 2018 година

2. Предавања, курсеви (видео)

1) Суштината на методот на максимална веројатност, Борис Демешев

2) Метод на максимална веројатност во континуиран случај, Борис Демешев

3) Логистичка регресија. Отворен курс за ODS, Јуриј Кашницки

4) Предавање 4, Евгениј Соколов (од 47 минути видео)

5) Логистичка регресија, Вјачеслав Воронцов

3. Интернет извори

1) Модели за линеарна класификација и регресија

2) Како лесно да се разбере логистичката регресија

3) Функција за логистичка грешка

4) Независни тестови и Бернулиова формула

5) Балада на ММП

6) Метод на максимална веројатност

7) Формули и својства на логаритми

8) Зошто број ?

9) Линеарен класификатор

Извор: www.habr.com