Дар ин мақола мо ҳисобҳои назариявии тағиротро таҳлил хоҳем кард Функсияҳои регрессияи хатӣ в Функсияи трансформатсияи логистикии баръакс (дар акси ҳол функсияи вокуниши логистикӣ номида мешавад). Сипас, бо истифода аз арсенал Усули эҳтимолияти ҳадди аксар, мувофиқи модели регрессияи логистикӣ, мо функсияи талафотро ба даст меорем Талафоти логистикӣ, ё ба ибораи дигар, мо функсияеро муайян мекунем, ки бо он параметрҳои вектори вазн дар модели регрессионии логистикӣ интихоб карда мешаванд. .
Шарҳи мақола:
- Биёед муносибати хаттии байни ду тағирёбандаро такрор кунем
- Биёед зарурати дигаргунсозиро муайян кунем Функсияҳои регрессияи хатӣ в Функсияи ҷавоби логистикӣ
- Дигаргунсозихо ва баромадхоро ба амал барорем Функсияи ҷавоби логистикӣ
- Биёед кӯшиш кунем фаҳмем, ки чаро усули хурдтарин квадратҳо ҳангоми интихоби параметрҳо бад аст функсияҳои Талафоти логистикӣ
- Мо истифода мебарем Усули эҳтимолияти ҳадди аксар барои муайян кардан Функсияҳои интихоби параметр :
5.1. Ҳолати 1: функсия Талафоти логистикӣ барои объектхои дорой нишонахои синфй 0 и 1:
5.2. Ҳолати 2: функсия Талафоти логистикӣ барои объектхои дорой нишонахои синфй -1 и +1:
Мақола бо мисолҳои оддӣ пур аст, ки дар онҳо ҳама ҳисобҳоро шифоҳӣ ё дар рӯи коғаз осон кардан мумкин аст; дар баъзе мавридҳо метавонад ҳисобкунак талаб карда шавад. Пас омода шавед :)
Ин мақола пеш аз ҳама барои олимони маълумот бо сатҳи ибтидоии дониш дар асосҳои омӯзиши мошин пешбинӣ шудааст.
Дар мақола инчунин код барои кашидани графикҳо ва ҳисобҳо дода мешавад. Ҳама кодҳо ба забон навишта шудаанд питон 2.7. Иҷозат диҳед пешакӣ дар бораи "навоварии" версияи истифодашуда шарҳ диҳам - ин яке аз шартҳои гирифтани курси маъруф аз Yandex дар платформаи таълимии онлайни ба таври баробар маъруф Coursera, ва, чунон ки кас гумон мекунад, дар асоси хамин курс материал тайёр карда шудааст.
01. Вобастагии хати рост
Савол додан комилан оқилона аст - вобастагии хатӣ ва регрессияи логистикӣ бо он чӣ иртибот дорад?
Ин оддӣ аст! Регрессияи логистикӣ яке аз моделҳое мебошад, ки ба таснифи хатӣ тааллуқ доранд. Ба ибораи оддӣ, вазифаи таснифгари хатӣ пешгӯии арзишҳои мақсаднок аст аз тағирёбандаҳо (регрессорҳо) . Гумон меравад, ки вобастагии байни хусусиятҳо ва арзишҳои мақсаднок хаттӣ. Аз ин рӯ, номи таснифкунанда - хатӣ. Ба таври тақрибӣ гӯем, модели регрессияи логистикӣ ба фарзия асос ёфтааст, ки байни хусусиятҳо муносибати хатӣ вуҷуд дорад. ва арзишҳои мақсаднок . Ин робита аст.
Мисоли аввал дар студия мавҷуд аст ва он дуруст аст, ки дар бораи вобастагии рости микдорҳои омӯхташаванда аст. Дар ҷараёни таҳияи мақола ман як мисоле пайдо кардам, ки аллакай бисёр одамонро дар канор гузоштааст - вобастагии ҷараён аз шиддат («Таҳлили регрессионии амалӣ», Н. Дрейпер, Г. Смит). Мо онро дар ин ҷо низ дида мебароем.
Мувофики Қонуни Ом:
ки дар - қувваи ҷорӣ, - Шиддат, - муқовимат.
Агар мо намедонистем Қонуни Ом, он гоҳ мо метавонем вобастагии ампирикӣ тавассути тағирёбӣ пайдо кунем ва андозагирӣ , хангоми дастгирй кардан собит. Он гоҳ мо мебинем, ки графики вобастагӣ аз он тавассути пайдоиш каму беш хати рост медиҳад. Мо "каму беш" мегӯем, зеро гарчанде ки муносибат воқеан дақиқ аст, андозагирии мо метавонад хатогиҳои хурд дошта бошад ва аз ин рӯ, нуктаҳои графикӣ метавонанд маҳз дар хат наафтанд, балки ба таври тасодуфӣ дар атрофи он пароканда мешаванд.
Графикаи 1 "Вобастагӣ" аз он »
Рамзи кашидани диаграмма
import matplotlib.pyplot as plt
%matplotlib inline
import numpy as np
import random
R = 13.75
x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
y_line.append(i/R)
y_dot = []
for i in y_line:
y_dot.append(i+random.uniform(-0.9,0.9))
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Actual results')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()02. Зарурати табдил додани муодилаи регрессияи хатӣ
Биёед мисоли дигарро дида бароем. Биёед тасаввур кунем, ки мо дар бонк кор мекунем ва вазифаи мо муайян кардани эҳтимолияти баргардонидани қарзи қарзгиранда вобаста ба омилҳои муайян аст. Барои содда кардани вазифа, мо танҳо ду омилро баррасӣ хоҳем кард: маоши якмоҳаи қарзгир ва маблағи пардохти ҳармоҳаи қарз.
Вазифа хеле шартист, аммо бо ин мисол мо метавонем фаҳмем, ки чаро истифодаи он кофӣ нест Функсияҳои регрессияи хатӣ, ва инчунин фаҳмед, ки бо функсия кадом тағиротро бояд анҷом дод.
Биёед ба мисол бармегардем. Маълум аст, ки маош ҳар қадар зиёд бошад, қарзгиранда метавонад ҳар моҳ барои пардохти қарз маблағ ҷудо кунад. Дар айни замон, барои доираи муайяни музди меҳнат ин муносибат хеле хаттӣ хоҳад буд. Масалан, диапазони маошро аз 60.000 200.000 то 3 5.000 рубл гирем ва фарз кунем, ки дар доираи муайяни музди кор вобастагии андозаи пардохти мохона аз андозаи музди кор хатти аст. Фарз мекунем, ки барои доираи муайяни музди меҳнат маълум шуд, ки таносуби маош ба пардохт наметавонад аз XNUMX камтар бошад ва қарзгир бояд XNUMX рубли захира дошта бошад. Ва танҳо дар ин сурат мо тахмин мезанем, ки қарзгиранда қарзро ба бонк бармегардонад. Пас, муодилаи регрессияи хатӣ чунин шакл мегирад:
ки , , , - музди меҳнат - қарзгиранда, - пардохти қарз - қарзгиранда.
Ба муодила иваз кардани музди меҳнат ва пардохти қарз бо параметрҳои муқарраршуда Шумо метавонед қарор диҳед, ки қарз диҳед ё рад кунед.
Ба пеш нигох карда, мо кайд мекунем, ки бо параметрхои додашуда Функсияи регрессияи хатӣ, истифода бурда мешавад Функсияҳои вокуниши логистикӣ арзишҳои калонеро ба вуҷуд меорад, ки ҳисобҳоро барои муайян кардани эҳтимолияти баргардонидани қарз душвор мегардонад. Аз ин ру, таклиф карда мешавад, ки коэффициентхои мо, масалан, 25.000 хазор маротиба кам карда шаванд. Ин табдили коэффициентхо карори додани карзро тагьир намедихад. Биёед ин нуктаро барои оянда ба ёд орем, аммо ҳоло, барои боз ҳам равшантар кардани он, ки мо дар бораи чӣ гап мезанем, биёед вазъиятро бо се қарзгирандаи эҳтимолӣ баррасӣ кунем.
Ҷадвали 1 «Қарзгирандагони эҳтимолӣ»
Рамз барои тавлиди ҷадвал
import pandas as pd
r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r
data = {'The borrower':np.array(['Vasya', 'Fedya', 'Lesha']),
'Salary':np.array([120000,180000,210000]),
'Payment':np.array([3000,50000,70000])}
df = pd.DataFrame(data)
df['f(w,x)'] = w_0 + df['Salary']*w_1 + df['Payment']*w_2
decision = []
for i in df['f(w,x)']:
if i > 0:
dec = 'Approved'
decision.append(dec)
else:
dec = 'Refusal'
decision.append(dec)
df['Decision'] = decision
df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision']]Мувофики маълумотхои чадвал Вася бо маошаш 120.000 хазор сум карз гирифтан мехохад, то хар мох онро 3.000 сум баргардонад. Мо муайян кардем, ки барои тасдиқи қарз, маоши Вася бояд аз маблағи пардохт се маротиба зиёд бошад ва то ҳол 5.000 рубл боқӣ мемонад. Вася ин талаботро қонеъ мекунад: . Ҳатто 106.000 XNUMX рубл боқӣ мемонад. Сарфи назар аз он, ки хангоми хисоб кардан мо имкониятхоро кам кардем 25.000 маротиба, натиҷа якхела буд - қарзро тасдиқ кардан мумкин аст. Федя низ қарз мегирад, аммо Леша, сарфи назар аз он, ки ӯ аз ҳама бештар мегирад, бояд иштиҳои худро маҳдуд кунад.
Биёед барои ин ҳолат диаграмма кашем.
Диаграммаи 2 «Таснифи қарзгирандагон»
Рамз барои кашидани график
salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'],
'o', color ='green', markersize = 12, label = 'Decision - Loan approved')
plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'],
's', color = 'red', markersize = 12, label = 'Decision - Loan refusal')
plt.xlabel('Salary', size = 16)
plt.ylabel('Payment', size = 16)
plt.legend(prop = {'size': 14})
plt.show()Ҳамин тавр, хати рости мо, ки мувофиқи функсия сохта шудааст , қарзгирандагони «бад»-ро аз «хуб» ҷудо мекунад. Он қарзгирандагоне, ки хоҳиши онҳо бо имкониятҳои онҳо мувофиқат намекунад, болотар аз хат (Леша) мебошанд, дар ҳоле ки онҳое, ки мувофиқи параметрҳои модели мо қарзро баргардонида метавонанд, аз сатр поёнтаранд (Вася ва Федя). Ба ибораи дигар гуем: хатти бевоситаи мо карзгирандагонро ба ду синф таксим мекунад. Биёед онҳоро ба таври зерин ишора кунем: ба синф Мо он қарзгиронро, ки эҳтимоли баргардонидани қарзро доранд, гурӯҳбандӣ мекунем ё Мо он қарзгиронро дохил мекунем, ки ба эҳтимоли зиёд қарзро баргардонида наметавонанд.
Биёед хулосаҳоро аз ин мисоли оддӣ ҷамъбаст кунем. Биёед як нуктаро гирем ва иваз кардани координатаҳои нуқта ба муодилаи мувофиқи хат , се вариантро баррасӣ кунед:
- Агар нукта дар зери хат бошад ва мо онро ба синф таъин кунем , пас арзиши функсия аз мусбат хоҳад буд ба . Ин маънои онро дорад, ки мо метавонем тахмин кунем, ки эҳтимолияти баргардонидани қарз дар дохили он аст . Чӣ қадаре ки арзиши функсия калон бошад, эҳтимолияти он ҳамон қадар баландтар аст.
- Агар нуқта дар болои хат бошад ва мо онро ба синф таъин мекунем ё , он гоҳ арзиши функсия аз манфӣ хоҳад буд ба . Он гоҳ мо тахмин мекунем, ки эҳтимолияти баргардонидани қарз дар дохили он аст ва чӣ қадаре ки арзиши мутлақи функсия зиёд бошад, эътимоди мо ҳамон қадар баландтар аст.
- Нуқта дар хати рост, дар сарҳади байни ду синф ҷойгир аст. Дар ин ҳолат, арзиши функсия баробар мешавад ва эњтимолияти баргардонидани ќарз баробар аст .
Акнун, биёед тасаввур кунем, ки мо на ду омил, балки даҳҳо омил дорем ва на се, балки ҳазорҳо қарзгирандагон дорем. Он гоҳ ба ҷои хати рост мо хоҳад дошт м-ченака хамворй ва коэффициентхо моро аз ҳаво берун намебаранд, балки аз рӯи тамоми қоидаҳо ва дар асоси маълумоти ҷамъшуда дар бораи қарзгирандагоне, ки қарзро пардохт кардаанд ё надодаанд, гирифта мешаванд. Ва дар ҳақиқат, қайд кунед, ки мо ҳоло қарзгиронро бо истифода аз коэффисиентҳои аллакай маълум интихоб карда истодаем . Дар асл, вазифаи модели регрессионии логистикӣ маҳз муайян кардани параметрҳо мебошад , ки дар он арзиши функсияи талафот Талафоти логистикӣ ба ҳадди ақал майл хоҳад кард. Аммо дар бораи чӣ гуна вектор ҳисоб карда мешавад , мо дар боби 5-уми макола бештар маълумот хохем гирифт. Дар ин миён мо ба замини ваъдашуда – назди бонкдори худ ва се муштарии ӯ бармегардем.
Ба шарофати функсия мо медонем, ки ба кй карз додан мумкин аст ва ба кй рад кардан лозим аст. Аммо бо чунин маълумот ба назди директор рафта наметавонед, зеро онҳо мехостанд аз мо эҳтимолияти баргардонидани қарзро аз ҷониби ҳар як қарзгир бигиранд. Чӣ бояд кард? Ҷавоб оддӣ аст - ба мо лозим аст, ки функсияро бо ягон роҳ табдил диҳем , ки арзишҳои онҳо дар диапазон ҷойгиранд ба функсияе, ки арзишаш дар диапазон ҷойгир аст . Ва чунин функсия вуҷуд дорад, он номида мешавад Функсияи вокуниши логистикӣ ё табдили баръакс-логит. Вохӯрӣ:
Биёед қадам ба қадам бубинем, ки он чӣ гуна кор мекунад Функсияи ҷавоби логистикӣ. Аҳамият диҳед, ки мо дар самти муқобил қадам мезанем, яъне. мо тахмин мезанем, ки мо арзиши эҳтимолиятро медонем, ки дар доираи аз ба ва он гоҳ мо ин арзишро ба тамоми диапазони рақамҳо аз "бароварем" ба .
03. Мо функсияи вокуниши логистикиро ба даст меорем
Қадами 1. Табдил додани арзишҳои эҳтимолият ба диапазон
Дар давоми табдил додани функсия в Функсияи ҷавоби логистикӣ Мо таҳлилгари кредитии худро танҳо мегузорем ва ба ҷои он як сафари букмекерӣ мекунем. Не, албатта, мо шартгузорӣ намекунем, ҳама чизе, ки моро ба он ҷалб мекунад, маънои ифода аст, масалан, имкон 4 ба 1 аст. Коэффисиентҳо, ки барои ҳама букмекерҳо шиносанд, таносуби "муваффақиятҳо" ба " нокомиҳо». Дар истилоҳи эҳтимолият, коэффисиентҳо эҳтимолияти рух додани ҳодисаест, ки ба эҳтимолияти рух надодани ҳодиса тақсим карда мешавад. Биёед формулаи имкони рух додани ҳодисаро нависед :
ки дар - эҳтимолияти рух додани ҳодиса; - эҳтимолияти рух додани ҳодиса
Масалан, агар эњтимолияти дар пойга задани аспи љавону тавоно ва бозича бо лаќаби «Ветерок» пиразани пиру лоѓар бо номи «Матилда» баробар бошад. , он гох шонси муваффакияти «Ветерок» мешавад к ва баръакс, донистани эҳтимолиятҳо барои мо ҳисоб кардани эҳтимолият душвор нахоҳад буд :
Ҳамин тариқ, мо омӯхтем, ки эҳтимолиятро ба имкониятҳое, ки арзишҳоро аз он мегиранд, «тарҷума» кунем ба . Биёед боз як қадам гузорем ва «тарҷума» кардани эҳтимолиятро ба тамоми хатти адад аз он ёд гирем ба .
Қадами 2. Табдил додани арзишҳои эҳтимолият ба диапазон
Ин қадам хеле содда аст - биёед логарифми коэффисиентҳоро ба асоси рақами Эйлер гирем ва мо ба даст меорем:
Акнун мо медонем, ки агар , пас арзишро ҳисоб кунед хеле содда хоҳад буд ва илова бар ин, он бояд мусбат бошад: . Ин дуруст аст.
Аз рӯи кунҷковӣ, биёед тафтиш кунем, ки агар , пас мо интизорем, ки арзиши манфӣ мебинем . Мо тафтиш мекунем: . Ин дуруст аст.
Акнун мо медонем, ки чӣ гуна арзиши эҳтимолиятро аз он табдил додан мумкин аст ба дар тамоми хати рақам аз ба . Дар қадами оянда мо баръакс амал мекунем.
Дар айни замон, мо қайд мекунем, ки мувофиқи қоидаҳои логарифм, донистани арзиши функсия , шумо метавонед коэффисиентҳоро ҳисоб кунед:
Ин усули муайян кардани коэффисиентҳо барои мо дар қадами оянда муфид хоҳад буд.
Қадами 3. Биёед формулаеро барои муайян кунем
Ҳамин тавр, мо фаҳмидем, медонистем , арзишҳои функсияро пайдо кунед . Аммо, дар асл, ба мо комилан баръакс лозим аст - донистани арзиш ёфт . Барои ин, биёед ба чунин консепсия, ба монанди функсияи коэффисиентҳои баръакс муроҷиат кунем, ки мувофиқи он:
Дар мақола мо формулаи дар боло зикршударо ба даст намеорем, аммо мо онро бо истифода аз рақамҳои мисоли дар боло овардашуда тафтиш мекунем. Мо медонем, ки бо коэффисиенти 4 бар 1 (), эҳтимолияти рух додани ҳодиса 0.8 (). Биёед иваз кунем: . Ин ба ҳисобҳои қаблан анҷомдодаи мо мувофиқат мекунад. Биёед пеш равем.
Дар қадами охирин мо инро хулоса кардем , ки маънои онро дорад, ки шумо метавонед дар функсияи эҳтимолияти баръакс иваз кунед. Мо ба даст меорем:
Ҳам шумора ва ҳам махраҷро ба тақсим кунед , Сипас:
Ба ҳар сурат, то боварӣ ҳосил кунем, ки мо дар ягон ҷо хато накардаем, биёед боз як тафтиши хурде анҷом диҳем. Дар қадами 2, мо барои муайян кард, ки . Сипас, иваз кардани арзиш ба функсияи вокуниши логистикӣ, мо интизорем, ки ба даст орем . Мо иваз мекунем ва мегирем:
Табрик мекунем, хонандаи азиз, мо навакак функсияи вокуниши логистикиро дарёфт ва санҷидаем. Биёед ба графики функсия назар андозем.
Графикаи 3 «Функсияи вокуниши логистикӣ»
Рамз барои кашидани график
import math
def logit (f):
return 1/(1+math.exp(-f))
f = np.arange(-7,7,0.05)
p = []
for i in f:
p.append(logit(i))
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()Дар адабиёт шумо инчунин метавонед номи ин функсияро ҳамчун функсияи сигмоидӣ. График ба таври возеҳ нишон медиҳад, ки тағироти асосии эҳтимолияти объекти ба синф тааллуқдошта дар доираи нисбатан хурд рух медиҳад. , аз ҷое ба .
Ман пешниҳод мекунам, ки ба таҳлилгари кредитии мо баргардам ва ба ӯ дар ҳисоб кардани эҳтимолияти баргардонидани қарз кӯмак расонем, вагарна ӯ хавфи бе бонус монданро дорад :)
Ҷадвали 2 «Қарзгирандагони эҳтимолӣ»
Рамз барои тавлиди ҷадвал
proba = []
for i in df['f(w,x)']:
proba.append(round(logit(i),2))
df['Probability'] = proba
df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision', 'Probability']]Ҳамин тариқ, мо эҳтимолияти баргардонидани қарзро муайян кардем. Умуман, ин дуруст ба назар мерасад.
Воқеан, эҳтимоли он, ки Вася бо маошаш 120.000 3.000 рубл ҳар моҳ ба бонк 100 рубл диҳад, ба 0.3% наздик аст. Дар омади гап, мо бояд фаҳмем, ки бонк метавонад ба Леша қарз диҳад, агар сиёсати бонк, масалан, қарз додан ба мизоҷонро бо эҳтимолияти баргардонидани қарз бештар аз, масалан, XNUMX пешбинӣ кунад. Ин танҳо он аст, ки дар ин ҳолат бонк барои талафоти эҳтимолӣ захираи бештар эҷод мекунад.
Хаминро хам бояд гуфт, ки таносуби маош ба музд камаш 3 ва бо маржа 5.000 рубл аз боло гирифта шудааст. Аз ин рӯ, мо натавонистем вектори вазнҳоро дар шакли аввалааш истифода барем . Ба мо лозим омад, ки коэффициентхоро хеле кам кунем ва дар ин сурат мо хар як коэффициентро ба 25.000 хазор таксим кардем, яъне аслан натичаро ислох кардем. Аммо ин махсусан барои содда кардани фаҳмиши мавод дар марҳилаи аввал анҷом дода шудааст. Дар зиндагӣ ба мо лозим нест, ки коэффицентҳоро ихтироъ кунем ва ислоҳ кунем, балки онҳоро пайдо кунем. Дар бахшҳои минбаъдаи мақола мо муодилаҳоеро мегирем, ки бо онҳо параметрҳо интихоб карда мешаванд .
04. Усули квадратҳои хурдтарин барои муайян кардани вектори вазнҳо дар функсияи вокуниши логистикӣ
Мо аллакай ин усулро барои интихоби вектори вазнҳо медонем , мисли Усули хурдтарин квадратҳо (LSM) ва дар асл, чаро мо онро дар мушкилоти таснифоти дуӣ истифода намебарем? Дарвоқеъ, ҳеҷ чиз шуморо аз истифодаи он бозмедорад MNC, танҳо ин усул дар масъалаҳои таснифкунӣ натиҷаҳое медиҳад, ки нисбат ба он камтар дақиқанд Талафоти логистикӣ. Барои ин асосхои назариявй мавчуданд. Биёед аввал як мисоли оддиро дида бароем.
Фарз мекунем, ки моделҳои мо (бо истифода аз MSE и Талафоти логистикӣ) аллакай ба интихоби вектори вазнхо шуруъ кардаанд ва мо дар як кадам хисобро бас кардем. Фарқ надорад, ки дар миёна, дар охир ё дар ибтидо, чизи асосӣ ин аст, ки мо аллакай баъзе арзишҳои вектори вазнҳоро дорем ва фарз кунем, ки дар ин марҳила вектори вазнҳо барои ҳарду моделҳо фарқият вуҷуд надорад. Сипас вазнҳои ҳосилшударо гиред ва онҳоро ба ҷои онҳо гузоред Функсияи ҷавоби логистикӣ () барои баъзе объектҳое, ки ба синф тааллуқ доранд . Мо ду ҳолатро дида мебароем, ки мувофиқи вектори интихобшудаи вазнҳо, модели мо хеле хато аст ва баръакс - модел хеле боварӣ дорад, ки объект ба синф тааллуқ дорад. . Биёед бубинем, ки ҳангоми истифода чӣ ҷарима хоҳанд шуд MNC и Талафоти логистикӣ.
Рамз барои ҳисоб кардани ҷарима вобаста ба функсияи талафоти истифодашуда
# класс объекта
y = 1
# вероятность отнесения объекта к классу в соответствии с параметрами w
proba_1 = 0.01
MSE_1 = (y - proba_1)**2
print 'Штраф MSE при грубой ошибке =', MSE_1
# напишем функцию для вычисления f(w,x) при известной вероятности отнесения объекта к классу +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
return math.log(proba/(1-proba))
LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'Штраф Log Loss при грубой ошибке =', LogLoss_1
proba_2 = 0.99
MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))
print '**************************************************************'
print 'Штраф MSE при сильной уверенности =', MSE_2
print 'Штраф Log Loss при сильной уверенности =', LogLoss_2Ҳодисаи хатогӣ — модел объектро ба синф таъин мекунад бо эҳтимолияти 0,01
Ҷарима барои истифода MNC хоҳад буд:
Ҷарима барои истифода Талафоти логистикӣ хоҳад буд:
Ҳодисаи эътимоди қавӣ — модел объектро ба синф таъин мекунад бо эҳтимолияти 0,99
Ҷарима барои истифода MNC хоҳад буд:
Ҷарима барои истифода Талафоти логистикӣ хоҳад буд:
Ин мисол хуб нишон медиҳад, ки дар сурати хатогии дағалона функсияи талафот Лоиҳаи талафот ба модели хеле зиёд чазо медихад MSE. Биёед ҳоло бифаҳмем, ки заминаи назариявии истифодаи функсияи талафот чист Лоиҳаи талафот дар масъалаҳои тасниф.
05. Усули эҳтимолияти максималӣ ва регрессияи логистикӣ
Чунон ки дар аввал ваъда дода будем, макола бо мисолхои оддй пур аст. Дар студия боз як мисол ва мехмонони кухна — карзгирандагони банк: Вася, Федя ва Леша.
Танҳо дар сурате, ки пеш аз таҳияи мисол, ба шумо хотиррасон мекунам, ки дар ҳаёт мо бо намунаи таълимии ҳазорҳо ё миллионҳо объектҳои дорои даҳҳо ё садҳо хусусиятҳо сарукор дорем. Аммо, дар ин ҷо рақамҳо гирифта шудаанд, то онҳо ба осонӣ ба сари як олими маълумотҳои навкор мувофиқат кунанд.
Биёед ба мисол бармегардем. Тасаввур кунед, ки директори бонк тасмим гирифт, ки ба ҳама ниёзманд қарз диҳад, гарчанде ки алгоритм ба ӯ гуфтааст, ки онро ба Леша надиҳад. Ва ҳоло вақти кофӣ гузашт ва мо медонем, ки аз се қаҳрамон кадоме қарзро баргардонд ва кадоме не. Он чизеро интизор шудан мумкин буд: Вася ва Федя қарзро пардохт карданд, аммо Леша не. Акнун биёед тасаввур кунем, ки ин натиҷа барои мо як намунаи нави омӯзишӣ хоҳад буд ва ҳамзамон, гӯё ҳама маълумот дар бораи омилҳое, ки ба эҳтимоли баргардонидани қарз таъсир мерасонанд (музди қарзгиранда, андозаи пардохти моҳона) аз байн рафтаанд. Пас, ба таври интуитивӣ, мо метавонем тахмин кунем, ки ҳар як қарзгирандаи сеюм қарзро ба бонк барнагардонад ё ба ибораи дигар, эҳтимолияти баргардонидани қарзи навбатӣ . Ин фарзияи интуитивӣ тасдиқи назариявӣ дорад ва ба он асос ёфтааст Усули эҳтимолияти ҳадди аксар, аксар вақт дар адабиёт номида мешавад Принсипи эҳтимолияти ҳадди аксар.
Аввалан, биёед бо дастгоҳи консептуалӣ шинос шавем.
Эҳтимолияти интихоб эҳтимолияти ба даст овардани маҳз чунин намуна, ба даст овардани маҳз чунин мушоҳидаҳо/натиҷаҳо, яъне. маҳсули эҳтимолияти ба даст овардани ҳар як натиҷаҳои намунавӣ (масалан, қарзи Вася, Федя ва Леша дар як вақт баргардонида шудааст ё не).
Функсияи эҳтимолият эҳтимолияти интихобро бо арзишҳои параметрҳои тақсимот алоқаманд мекунад.
Дар ҳолати мо, намунаи омӯзиш нақшаи умумии Бернулли мебошад, ки дар он тағирёбандаи тасодуфӣ танҳо ду арзишро мегирад: ё . Аз ин рӯ, эҳтимолияти намуна метавонад ҳамчун функсияи эҳтимолии параметр навишта шавад чунин аст:
Воридоти дар боло овардашударо ба таври зерин маънидод кардан мумкин аст. Эҳтимолияти муштараке, ки Вася ва Федя қарзро бармегардонанд, баробар аст , эњтимолияти он, ки Леша ќарзро барнагардонад, баробар аст (азбаски он пардохти қарз НЕСТ), бинобар ин эҳтимолияти муштараки ҳар се ҳодиса баробар аст .
Усули эҳтимолияти максималӣ усули баҳодиҳии параметри номаълум бо роҳи ҳадди аксар кардан аст Функсияҳои эҳтимолият. Дар мо бояд чунин арзишро пайдо кунем дар кадом ба ҳадди максималии худ мерасад.
Идеяи воқеӣ аз куҷо пайдо мешавад - ҷустуҷӯи арзиши параметри номаълуме, ки дар он функсияи эҳтимолият ба ҳадди аксар мерасад? Сарчашмаи идея аз он ақида бармеояд, ки намуна манбаи ягонаи донишест, ки барои мо дар бораи аҳолӣ дастрас аст. Ҳар он чизе, ки мо дар бораи аҳолӣ медонем, дар намуна оварда шудааст. Аз ин рӯ, мо танҳо гуфта метавонем, ки намуна инъикоси дақиқтарини аҳолӣ дар дастраси мост. Аз ин рӯ, мо бояд параметреро пайдо кунем, ки дар он намунаи мавҷуда эҳтимоли бештар гардад.
Аён аст, ки мо бо як масъалаи оптимизатсия сарукор дорем, ки дар он мо бояд нуқтаи экстремуми функсияро пайдо кунем. Барои ёфтани нуқтаи экстремум шарти тартиби якумро баррасӣ кардан, яъне ҳосилаи функсияро ба сифр баробар кардан ва муодиларо нисбат ба параметри дилхоҳ ҳал кардан лозим аст. Аммо, ҷустуҷӯи ҳосили ҳосили шумораи зиёди омилҳо метавонад кори тӯлонӣ бошад; барои пешгирӣ кардани ин, як усули махсус вуҷуд дорад - гузаштан ба логарифм. Функсияҳои эҳтимолият. Чаро чунин гузариш имконпазир аст? Биёед ба он диққат диҳем, ки мо экстремуми худи функсияро ҷустуҷӯ намекунем, ва нуқтаи экстремум, яъне арзиши параметри номаълум дар кадом ба ҳадди максималии худ мерасад. Ҳангоми гузаштан ба логарифм нуқтаи экстремум тағир намеёбад (ҳарчанд худи экстремум фарқ мекунад), зеро логарифм вазифаи монотонист.
Биёед, мувофиқи гуфтаҳои боло, намунаи худро бо қарзҳои Вася, Федя ва Леша инкишоф диҳем. Аввало, биёед ба логарифми функсияи эҳтимолият:
Акнун мо метавонем ифодаро бо осонӣ фарқ кунем :
Ва ниҳоят, шарти дараҷаи аввалро баррасӣ кунед - ҳосилаи функсияро ба сифр баробар мекунем:
Ҳамин тариқ, тахмини интуитивии мо дар бораи эҳтимолияти баргардонидани қарз аз чихати назариявй асоснок карда шуд.
Аҷоиб, аммо ҳоло мо бояд бо ин маълумот чӣ кор кунем? Агар фарз кунем, ки ҳар як қарзгирандаи сеюм пулро ба бонк барнагардонад, он гоҳ охирин ҳатман муфлис мешавад. Ин дуруст аст, аммо танҳо ҳангоми арзёбии эҳтимолияти баргардонидани қарз ба Мо омилҳои ба пардохти қарз таъсиркунандаро ба назар нагирифтаем: музди меҳнати қарзгир ва андозаи пардохти моҳона. Ёдовар мешавем, ки мо қаблан эҳтимолияти баргардонидани қарзро аз ҷониби ҳар як муштарӣ бо назардошти ҳамин омилҳо ҳисоб карда будем. Мантиқист, ки мо эҳтимолиятҳои гуногунро аз баробарии доимӣ ба даст овардем .
Биёед эҳтимолияти намунаҳоро муайян кунем:
Рамз барои ҳисоб кардани эҳтимолияти намуна
from functools import reduce
def likelihood(y,p):
line_true_proba = []
for i in range(len(y)):
ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
line_true_proba.append(ltp_i)
likelihood = []
return reduce(lambda a, b: a*b, line_true_proba)
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]
print 'Правдоподобие выборки при константном значении p=2/3:', round(likelihood(y,p_const),3)
print '****************************************************************************************************'
print 'Правдоподобие выборки при расчетном значении p:', round(likelihood(y,p_log_response),3)Эҳтимолияти намуна бо арзиши доимӣ :
Эҳтимолияти намунавӣ ҳангоми ҳисоб кардани эҳтимолияти баргардонидани қарз бо назардошти омилҳо :
Эҳтимолияти интихоб бо эҳтимолияти вобаста ба омилҳо ҳисобшуда аз эҳтимолияти дорои арзиши доимии эҳтимолият баландтар шуд. Ин чӣ маъно дорад? Ин аз он шаҳодат медиҳад, ки дониш дар бораи омилҳо имкон дод, ки эҳтимолияти баргардонидани қарз барои ҳар як муштарӣ дақиқтар интихоб карда шавад. Бинобар ин хангоми додани карзи навбатй дурусттар мебуд, ки модели дар охири фасли 3 модда пешниходшуда барои арзёбии эхтимоли баргардонидани карз истифода шавад.
Аммо он гоҳ, агар мо хоҳем, ки ҳадди аксар Функсияи эҳтимолияти намуна, пас чаро баъзе алгоритмҳоеро истифода набаред, ки эҳтимолиятҳоро барои Вася, Федя ва Леша тавлид кунад, масалан, мутаносибан ба 0.99, 0.99 ва 0.01 баробар аст. Эҳтимол, чунин алгоритм дар намунаи омӯзишӣ хуб кор кунад, зеро он арзиши эҳтимолии намунаро ба он наздик мекунад , аммо, аввалан, чунин алгоритм бо қобилияти умумӣ кардан душворӣ хоҳад дошт ва дуюм, ин алгоритм бешубҳа хатӣ нахоҳад буд. Ва агар дар нақшаи ин мақола усулҳои мубориза бо машқҳои зиёдатӣ (қобилияти умумии суст) ба таври возеҳ дохил карда нашуда бошанд, пас биёед нуқтаи дуюмро муфассалтар гузаронем. Барои ин танҳо ба саволи оддӣ ҷавоб диҳед. Оё эҳтимолияти баргардонидани қарзи Вася ва Федя бо назардошти омилҳои ба мо маълум як хел буда метавонад? Аз нигоҳи мантиқи солим, албатта не, наметавонад. Ҳамин тавр, Вася барои баргардонидани қарз дар як моҳ 2.5 фоизи маошашро медиҳад ва Федя - қариб 27,8%. Инчунин дар графики 2 «Таснифи мизоҷон» мо мебинем, ки Вася аз хатти ҷудокунандаи синфҳо нисбат ба Федя хеле дуртар аст. Ва ниҳоят, мо медонем, ки функсия барои Вася ва Федя арзишҳои гуногунро мегиранд: 4.24 барои Вася ва 1.0 барои Федя. Ҳоло, агар Федя, масалан, фармоиши бузургтар ба даст оварда бошад ё қарзи хурдтар талаб кунад, пас эҳтимолияти баргардонидани қарз барои Вася ва Федя якхела хоҳад буд. Ба ибораи дигар, вобастагии хатиро фиреб додан мумкин нест. Ва агар мо воқеан эҳтимолиятҳоро ҳисоб карда бошем , ва онҳоро аз ҳаво берун набаровардем, мо бо боварӣ метавон гуфт, ки арзишҳои мо беҳтарин ба мо имкон медиҳад, ки эҳтимолияти баргардонидани қарзро аз ҷониби ҳар як қарзгир ҳисоб кунем, аммо азбаски мо розӣ шудем, ки муайян кардани коэффитсиентҳо мувофиқи тамоми қоидаҳо гузаронида шуда буд, пас мо чунин мешуморем - коэффицентҳои мо ба мо имкон медиҳанд, ки эҳтимолияти беҳтарро баҳо диҳем :)
Бо вуҷуди ин, мо канорагирӣ мекунем. Дар ин бахш мо бояд фаҳмем, ки вектори вазнҳо чӣ гуна муайян карда мешавад , ки барои арзёбии эҳтимолияти баргардонидани қарз аз ҷониби ҳар як қарзгир зарур аст.
Биёед ба таври мухтасар хулоса кунем, ки бо кадом арсенал мо эҳтимолиятҳоро меҷӯем :
1. Фарз мекунем, ки муносибати байни тағирёбандаи мақсаднок (қимати пешгӯӣ) ва омили таъсиррасон ба натиҷа хатӣ аст. Бо ин сабаб он истифода мешавад Функсияи регрессияи хатӣ намуди , ки сатри он объектҳоро (мизоҷҳоро) ба синфҳо тақсим мекунад и ё (мизоҷоне, ки қобилияти баргардонидани қарзро доранд ва онҳое, ки надоранд). Дар ҳолати мо, муодила шакл дорад .
2. Мо истифода мебарем Функсияи логити баръакс намуди барои муайян кардани эҳтимолияти ба синф мансуб будани объект .
3. Мо маҷмӯи таълимии худро ҳамчун амалисозии умумӣ мешуморем Схемаи Бернулли, яъне барои ҳар як объект як тағирёбандаи тасодуфӣ тавлид мешавад, ки бо эҳтимолият (худ барои ҳар як объект) арзиши 1 ва бо эҳтимолиятро мегирад - 0.
4. Мо медонем, ки чиро ба ҳадди аксар расонидан лозим аст Функсияи эҳтимолияти намуна бо назардошти омилҳои қабулшуда, то ки намунаи мавҷуда бештар қобили эътимод гардад. Ба ибораи дигар, мо бояд параметрҳоеро интихоб кунем, ки дар онҳо намуна бештар қобили эътимод бошад. Дар ҳолати мо, параметри интихобшуда эҳтимолияти баргардонидани қарз мебошад , ки дар навбати худ ба коэффициентхои номаълум вобаста аст . Пас, мо бояд чунин вектори вазнҳоро пайдо кунем , ки дар он эҳтимолияти намуна ҳадди аксар хоҳад буд.
5. Мо медонем, ки чиро ба ҳадди аксар расонидан лозим аст Функсияҳои эҳтимолияти намунавӣ истифода бурдан мумкин аст Усули эҳтимолияти ҳадди аксар. Ва мо ҳама ҳиллаҳои душворро барои кор бо ин усул медонем.
Ин аст, ки чӣ тавр он як ҳаракати бисёрқадам аст :)
Акнун дар хотир доред, ки дар ибтидои мақола мо мехостем, ки ду намуди функсияҳои гумро ба даст орем Талафоти логистикӣ вобаста ба он ки синфҳои объектҳо чӣ гуна таъин карда мешаванд. Чунин шуд, ки дар масъалаҳои тасниф бо ду синф синфҳо ҳамчун ишора карда мешаванд и ё . Вобаста ба қайд, баромад функсияи талафоти мувофиқ дорад.
Мисоли 1. Таснифи объектҳо ба и
Қаблан ҳангоми муайян кардани эҳтимолияти намунае, ки дар он эҳтимолияти баргардонидани қарз аз ҷониби қарзгир дар асоси омилҳо ва коэффитсиентҳои додашуда ҳисоб карда мешуд. , мо формуларо истифода мебарем:
Дар асл маъност Функсияҳои вокуниши логистикӣ барои вектори вазнҳои додашуда
Пас, ҳеҷ чиз ба мо имкон намедиҳад, ки функсияи эҳтимолияти намунаро ба таври зерин нависем:
Чунин мешавад, ки баъзан барои баъзе таҳлилгарони навкор фавран фаҳмидани он, ки ин функсия чӣ гуна кор мекунад, душвор аст. Биёед 4 мисоли кӯтоҳеро бубинем, ки ҳама чизро равшан мекунанд:
1. агар (яъне, мувофиқи намунаи таълим, объект ба синфи +1 тааллуқ дорад) ва алгоритми мо эҳтимолияти тасниф кардани объектро ба синф муайян мекунад ба 0.9 баробар бошад, пас ин порчаи эҳтимолияти интихоб ба таври зерин ҳисоб карда мешавад:
2. агар ва , пас ҳисоб чунин хоҳад буд:
3. агар ва , пас ҳисоб чунин хоҳад буд:
4. агар ва , пас ҳисоб чунин хоҳад буд:
Равшан аст, ки функсияи эҳтимолият дар ҳолатҳои 1 ва 3 ё дар ҳолати умумӣ - бо арзишҳои дурусти эҳтимолияти таъини объект ба синф ҳадди аксар расонида мешавад. .
Аз сабаби он, ки хангоми муайян кардани эхтимолияти ба синф додани объект Мо танҳо коэффицентҳоро намедонем , пас мо онхоро чустучу мекунем. Тавре ки дар боло зикр гардид, ин як масъалаи оптимизатсия аст, ки дар он аввал мо бояд ҳосилаи функсияи эҳтимолиятро нисбат ба вектори вазнҳо пайдо кунем. . Аммо, аввал барои худамон содда кардани вазифа маъно дорад: мо ҳосилаи логарифмро ҷустуҷӯ хоҳем кард. Функсияҳои эҳтимолият.
Чаро пас аз логарифм, дар функсияҳои хатогиҳои логистикӣ, мо аломатро аз ба . Ҳама чиз оддӣ аст, зеро дар масъалаҳои арзёбии сифати модел ба ҳадди ақал кам кардани арзиши функсия одат шудааст, мо тарафи рости ифодаро ба он зарб кардем. ва мувофиқан, ба ҷои ҳадди аксар, ҳоло мо функсияро кам мекунем.
Воқеан, дар айни замон, дар пеши назари шумо, функсияи талафот бо душворӣ ба даст омад - Талафоти логистикӣ барои маҷмӯи омӯзиш бо ду синф: и .
Акнун, барои ёфтани коэффициентҳо, ба мо лозим аст, ки ҳосиларо пайдо кунем функсияҳои хатогиҳои логистикӣ ва он гоҳ, бо истифода аз усулҳои оптимизатсияи ададӣ, ба монанди пастшавии градиент ё пастшавии градиенти стохастикӣ, коэффитсиентҳои беҳтаринро интихоб кунед . Аммо, бо назардошти ҳаҷми назарраси мақола, пешниҳод карда мешавад, ки фарқиятро мустақилона анҷом диҳед, ё шояд ин мавзӯъ барои мақолаи навбатӣ бо арифметикаи зиёд бидуни чунин мисолҳои муфассал бошад.
Мисоли 2. Таснифи объектҳо ба и
Муносибат дар ин ҷо ҳамон тавре ки дарсҳо хоҳад буд и , балки худи рох ба баромади вазифаи талафот Талафоти логистикӣ, бештар зинат медихад. Биёед оғоз кунем. Барои функсияи эҳтимолият мо операторро истифода мебарем "Агар... пас ..."... Яъне, агар Объекти ум ба синф тааллуқ дорад , пас барои ҳисоб кардани эҳтимолияти интихоб мо эҳтимолиятро истифода мебарем , агар объект ба синф тааллуқ дошта бошад , пас мо ба эҳтимолият иваз мекунем . Функсияи эҳтимолият чунин аст:
Биёед дар ангуштони худ тасвир кунем, ки он чӣ гуна кор мекунад. Биёед 4 ҳолатро баррасӣ кунем:
1. агар и , пас эҳтимолияти интихоб "меравад"
2. агар и , пас эҳтимолияти интихоб "меравад"
3. агар и , пас эҳтимолияти интихоб "меравад"
4. агар и , пас эҳтимолияти интихоб "меравад"
Маълум аст, ки дар ҳолатҳои 1 ва 3, вақте ки эҳтимолиятҳо аз рӯи алгоритм дуруст муайян карда шудаанд, Функсияи эҳтимолият ба ҳадди аксар расонида мешавад, яъне маҳз ҳамон чизест, ки мо ба даст овардан мехостем. Бо вуҷуди ин, ин равиш хеле душвор аст ва дар оянда мо қайди паймонеро баррасӣ хоҳем кард. Аммо аввал, биёед функсияи эҳтимолиро бо тағир додани аломат логарифм кунем, зеро ҳоло мо онро кам мекунем.
Биёед ба ҷои он иваз кунем баёнот :
Биёед бо истифода аз усулҳои оддии арифметикӣ истилоҳи дурустро дар логарифм содда кунем ва ба даст орем:
Акнун вакти аз оператор халос шудан расидааст "Агар... пас ...". Дар хотир доред, ки вақте ки объект ба синф тааллук дорад , пас дар ифодаи зери логарифм, дар махраҷ, ба қудрат бардошт , агар объект ба синф тааллуқ дошта бошад , пас $e$ ба қудрат баланд мешавад . Аз ин рӯ, қайди дараҷаро тавассути омезиши ҳарду ҳолат ба як содда кардан мумкин аст: . Он гоҳ Функсияи хатогиҳои логистикӣ шакл мегирад:
Мувофиқи қоидаҳои логарифм, мо касрро гардонем ва аломати "" (минус) барои логарифм, мо мегирем:
Дар ин ҷо функсияи талафот аст талафоти логистикӣ, ки дар маҷмӯи таълим бо объектҳои ба синфҳо таъиншуда истифода мешавад: и .
Хуб, дар ин лаҳза ман рухсатӣ мегирам ва мо мақоларо ҷамъбаст мекунем.
Кори қаблии муаллиф "Ба шакли матритса овардани муодилаи регрессияи хатӣ" мебошад.
Маводҳои ёрирасон
1. Адабиёт
1) Таҳлили регрессионии амалӣ / Н. Дрейпер, Г. Смит - нашри 2. – М.: Молия ва омор, 1986 (тарҷума аз англисӣ)
2) Назарияи эҳтимолият ва омори математикӣ / В.Е. Гмурман - нашри 9. - М.: Мактаби олӣ, 2003
3) Назарияи эҳтимолият / Н.И. Чернова - Новосибирск: Донишгоҳи давлатии Новосибирск, 2007
4) Таҳлили тиҷорат: аз маълумот то дониш / Паклин Н.Б., Орешков В.И. - нашри 2. - Санкт-Петербург: Питер, 2013
5) Илмҳои иттилоотӣ Илми маълумот аз сифр / Ҷоэл Грас - Санкт-Петербург: BHV Petersburg, 2017
6) Омори амалӣ барои мутахассисони соҳаи маълумот / П. Брюс, Э. Брюс - Санкт-Петербург: BHV Petersburg, 2018
2. Лексияҳо, курсҳо (видео)
1)
2)
3)
4)
5)
3. Сарчашмаҳои интернетӣ
1)
2)
3)
4)
5)
6)
7)
8)
Манбаъ: will.com