Nyob rau hauv tsab xov xwm no, peb yuav txheeb xyuas qhov theoretical suav ntawm kev hloov pauv linear regression muaj nuj nqi Π² inverse logit transformation function (lwm yam hu ua logistic teb muaj nuj nqi). Tom qab ntawd, siv lub arsenal txoj kev zoo tshaj plaws, raws li tus qauv logistic regression, peb muab cov kev ua haujlwm poob Logistic Poob, los yog nyob rau hauv lwm yam lus, peb yuav txhais ib tug muaj nuj nqi uas cov parameters ntawm qhov hnyav vector raug xaiv nyob rau hauv lub logistic regression qauv .
Kab lus piav qhia:
- Cia peb rov hais dua qhov kev sib raug zoo ntawm ob qhov sib txawv
- Cia peb txheeb xyuas qhov xav tau ntawm kev hloov pauv linear regression muaj nuj nqi Π² logistic teb muaj nuj nqi
- Cia peb ua cov transformations thiab tso zis logistic teb muaj nuj nqi
- Cia peb sim nkag siab tias vim li cas qhov tsawg tshaj plaws squares txoj kev tsis zoo thaum xaiv cov tsis zog Logistic Poob
- Peb siv txoj kev zoo tshaj plaws rau kev txiav txim parameter xaiv functions :
5.1. Case 1: ua haujlwm Logistic Poob rau cov khoom uas muaj cov chav kawm 0 ΠΈ 1:
5.2. Case 2: ua haujlwm Logistic Poob rau cov khoom uas muaj cov chav kawm -1 ΠΈ +1:
Cov kab lus no muaj cov piv txwv yooj yim uas txhua qhov kev suav tau yooj yim ua rau qhov ncauj lossis ntawm daim ntawv; qee zaum, yuav tsum muaj lub tshuab xam zauv. Yog li npaj txhij :)
Cov kab lus no yog tsim los rau cov kws tshawb fawb cov ntaub ntawv nrog thawj theem ntawm kev paub hauv cov hauv paus ntawm kev kawm tshuab.
Kab lus tseem yuav muab cov lej kos duab kos duab thiab suav. Tag nrho cov cai sau ua lus sej 2.7. Cia kuv piav qhia ua ntej txog "novelty" ntawm lub version siv - qhov no yog ib qho ntawm cov xwm txheej rau kev kawm paub zoo los ntawm Yandex ntawm qhov sib npaug zoo-paub kev kawm online platform Coursera, thiab, raws li ib tug yuav xav tias, cov ntaub ntawv tau npaj raws li qhov kev kawm no.
01. Txoj kab ncaj nraim
Nws yog qhov tsim nyog los nug cov lus nug - dab tsi yog linear dependence thiab logistic regression yuav tsum ua nrog nws?
Nws yog qhov yooj yim! Logistic regression yog ib qho ntawm cov qauv uas muaj nyob rau hauv linear classifier. Hauv cov lus yooj yooj yim, txoj hauj lwm ntawm ib qho kev faib tawm linear yog los kwv yees cov txiaj ntsig ntawm lub hom phiaj los ntawm kev hloov pauv (regressors) . Nws yog ntseeg hais tias qhov dependence ntawm tus yam ntxwv thiab phiaj xwm nqis kab tawm. Li no lub npe ntawm lub classifier - linear. Txhawm rau muab nws roughly, tus qauv logistic regression yog raws li qhov kev xav tias muaj kev sib raug zoo ntawm cov yam ntxwv. thiab phiaj xwm nqis . Qhov no yog qhov kev sib txuas.
Muaj thawj qhov piv txwv nyob rau hauv lub studio, thiab nws yog, yog, hais txog lub rectilinear dependence ntawm qhov ntau uas tau kawm. Nyob rau hauv tus txheej txheem ntawm kev npaj tsab xov xwm, kuv tuaj hla ib qho piv txwv uas twb teem ntau tus neeg ntawm ntug - qhov dependence ntawm tam sim no ntawm voltage (βKev tsom xam rov qab siv duaβ, N. Draper, G. Smith). Peb mam li saib ntawm no thiab.
Raws li Ohm txoj cai:
qhov twg - lub zog tam sim no, - voltage, - tsis kam.
Yog peb tsis paub Ohm txoj cai, ces peb yuav nrhiav tau qhov dependence empirically los ntawm kev hloov thiab ntsuas , thaum txhawb tsau. Tom qab ntawd peb yuav pom tias daim duab dependence los ntawm muab ib txoj kab ncaj nraim ntau dua los ntawm lub hauv paus chiv keeb. Peb hais tias "ntau dua lossis tsawg dua" vim hais tias, txawm hais tias kev sib raug zoo yog qhov tseeb, peb qhov kev ntsuas yuav muaj qhov yuam kev me me, thiab yog li ntawd cov ntsiab lus ntawm daim duab yuav tsis poob raws nraim ntawm kab, tab sis yuav tawg nyob ib ncig ntawm nws random.
Graph 1 βDependenceβ los ntawm Β»
Daim duab kos code
import matplotlib.pyplot as plt
%matplotlib inline
import numpy as np
import random
R = 13.75
x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
y_line.append(i/R)
y_dot = []
for i in y_line:
y_dot.append(i+random.uniform(-0.9,0.9))
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Actual results')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()02. Qhov yuav tsum tau hloov pauv txoj kab rov tav kab sib npaug
Cia peb saib lwm tus piv txwv. Cia peb xav txog tias peb ua haujlwm hauv tuam txhab nyiaj thiab peb txoj haujlwm yog los txiav txim siab qhov yuav tshwm sim ntawm tus neeg qiv nyiaj rov qab cov nyiaj qiv nyob ntawm qee yam. Txhawm rau ua kom yooj yim txoj haujlwm, peb yuav txiav txim siab tsuas yog ob yam: tus qiv nyiaj txhua hli thiab tus nqi qiv nyiaj txhua hli.
Cov hauj lwm yog heev conditional, tab sis nrog rau cov piv txwv no peb yuav to taub yog vim li cas nws tsis txaus siv linear regression muaj nuj nqi, thiab tseem nrhiav tau qhov kev hloov pauv yuav tsum tau ua nrog rau kev ua haujlwm.
Cia peb rov qab mus rau qhov piv txwv. Nws tau nkag siab tias qhov nyiaj hli siab dua, tus qiv nyiaj ntau yuav tuaj yeem faib txhua hli kom them rov qab cov nyiaj qiv. Nyob rau tib lub sijhawm, rau qee qhov nyiaj hli ntau qhov kev sib raug zoo no yuav zoo li linear. Piv txwv li, cia peb siv cov nyiaj hli ntawm 60.000 RUR mus rau 200.000 RUR thiab xav tias nyob rau hauv cov nyiaj hli tau teev tseg, qhov kev cia siab ntawm qhov loj ntawm cov nyiaj them txhua hli ntawm qhov loj ntawm cov nyiaj hli yog linear. Cia peb hais tias rau qhov teev ntau ntawm cov nyiaj ua haujlwm nws tau qhia tias cov nyiaj hli-rau-them nyiaj tsis tuaj yeem poob qis dua 3 thiab tus qiv yuav tsum tseem muaj 5.000 RUR nyob rau hauv cia. Thiab tsuas yog nyob rau hauv cov ntaub ntawv no, peb yuav xav tias tus qiv yuav them rov qab cov nyiaj qiv rau lub txhab nyiaj. Tom qab ntawd, qhov sib npaug linear regression yuav siv daim ntawv:
qhov twg , , , - cov nyiaj hli - tus qiv, - qiv nyiaj -th qiv.
Hloov cov nyiaj hli thiab cov nyiaj qiv nrog cov tsis ruaj khov rau hauv qhov sib npaug Koj tuaj yeem txiav txim siab seb yuav muab lossis tsis kam qiv nyiaj.
Saib tom ntej, peb nco ntsoov tias, nrog rau qhov muab tsis tau linear regression muaj nuj nqi, siv hauv logistic teb muaj nuj nqi yuav tsim cov txiaj ntsig loj uas yuav ua rau muaj kev cuam tshuam rau kev suav los txiav txim qhov tshwm sim ntawm cov nyiaj qiv rov qab. Yog li, nws tau thov kom txo peb cov coefficients, cia peb hais, los ntawm 25.000 zaug. Qhov kev hloov pauv hauv cov coefficients no yuav tsis hloov qhov kev txiav txim siab tawm nyiaj qiv. Cia peb nco ntsoov qhov no rau yav tom ntej, tab sis tam sim no, kom paub meej tias peb tab tom tham txog dab tsi, cia peb xav txog qhov xwm txheej nrog peb tus neeg qiv nyiaj.
Table 1 "Cov neeg muaj peev xwm qiv nyiaj"
Code rau tsim lub rooj
import pandas as pd
r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r
data = {'The borrower':np.array(['Vasya', 'Fedya', 'Lesha']),
'Salary':np.array([120000,180000,210000]),
'Payment':np.array([3000,50000,70000])}
df = pd.DataFrame(data)
df['f(w,x)'] = w_0 + df['Salary']*w_1 + df['Payment']*w_2
decision = []
for i in df['f(w,x)']:
if i > 0:
dec = 'Approved'
decision.append(dec)
else:
dec = 'Refusal'
decision.append(dec)
df['Decision'] = decision
df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision']]Raws li cov ntaub ntawv nyob rau hauv lub rooj, Vasya, nrog ib tug nyiaj hli ntawm 120.000 RUR, xav kom tau txais ib tug qiv nyiaj kom nws them rov qab txhua hli ntawm 3.000 RUR. Peb tau txiav txim siab tias txhawm rau pom zoo cov nyiaj qiv, Vasya cov nyiaj hli yuav tsum tshaj peb npaug ntawm cov nyiaj them, thiab tseem yuav tsum muaj 5.000 RUR ntxiv. Vasya txaus siab rau qhov kev xav tau no: . Txawm tias 106.000 RUR tseem nyob. Txawm tias muaj tseeb hais tias thaum xam peb tau txo qhov txawv txav 25.000 zaug, qhov tshwm sim yog tib yam - cov nyiaj qiv tuaj yeem pom zoo. Fedya tseem yuav tau txais nyiaj qiv, tab sis Lesha, txawm hais tias nws tau txais ntau tshaj, yuav tsum txwv tsis pub nws qab los noj mov.
Cia peb kos ib daim duab rau rooj plaub no.
Daim duab 2 "Kev faib cov neeg qiv nyiaj"
Code rau kos duab
salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'],
'o', color ='green', markersize = 12, label = 'Decision - Loan approved')
plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'],
's', color = 'red', markersize = 12, label = 'Decision - Loan refusal')
plt.xlabel('Salary', size = 16)
plt.ylabel('Payment', size = 16)
plt.legend(prop = {'size': 14})
plt.show()Yog li, peb txoj kab ncaj nraim, tsim ua raws li kev ua haujlwm , cais cov "phem" qiv los ntawm "zoo". Cov neeg qiv nyiaj uas lawv lub siab nyiam tsis sib haum nrog lawv lub peev xwm yog saum kab (Lesha), thaum cov neeg uas, raws li qhov tsis muaj ntawm peb cov qauv, muaj peev xwm them rov qab cov nyiaj qiv yog hauv qab kab (Vasya thiab Fedya). Hauv lwm lo lus, peb tuaj yeem hais qhov no: peb txoj kab ncaj qha faib cov neeg qiv nyiaj ua ob chav kawm. Cia peb qhia lawv raws li hauv qab no: mus rau chav kawm Peb yuav faib cov neeg qiv nyiaj uas feem ntau yuav them rov qab cov nyiaj qiv raws li los yog Peb yuav suav nrog cov neeg qiv nyiaj uas feem ntau yuav tsis tuaj yeem them rov qab cov nyiaj qiv.
Cia peb sau cov lus xaus los ntawm qhov piv txwv yooj yim no. Cia peb ua ib qho thiab, hloov lub coordinates ntawm qhov taw tes rau hauv qhov sib npaug sib npaug ntawm kab , xav txog peb txoj kev xaiv:
- Yog hais tias lub ntsiab lus nyob rau hauv kab thiab peb muab nws rau hauv chav kawm , ces tus nqi ntawm qhov muaj nuj nqi yuav zoo los ntawm rau . Qhov no txhais tau tias peb tuaj yeem xav tias qhov tshwm sim ntawm kev them rov qab cov nyiaj qiv yog nyob rau hauv . Qhov loj dua qhov muaj nuj nqis, qhov ntau dua qhov tshwm sim.
- Yog hais tias ib qho taw tes saum ib kab thiab peb muab nws rau hauv chav kawm los yog , ces tus nqi ntawm qhov muaj nuj nqi yuav tsis zoo los ntawm rau . Tom qab ntawd peb yuav xav tias qhov tshwm sim ntawm kev them nqi rov qab yog nyob rau hauv thiab, qhov ntau dua tus nqi ntawm kev ua haujlwm, qhov siab dua peb txoj kev ntseeg siab.
- Lub ntsiab lus yog nyob rau ntawm txoj kab ncaj nraim, ntawm tus ciam teb ntawm ob chav kawm. Hauv qhov no, tus nqi ntawm cov haujlwm yuav sib npaug thiab qhov tshwm sim ntawm kev them rov qab cov nyiaj qiv yog sib npaug .
Tam sim no, cia peb xav tias peb tsis muaj ob yam, tab sis ntau ntau, thiab tsis yog peb, tab sis ntau txhiab tus qiv. Tom qab ntawd tsis yog txoj kab ncaj nraim peb yuav muaj m-dimensional dav hlau thiab coefficients peb yuav tsis raug tshem tawm ntawm huab cua nyias, tab sis muab tau raws li txhua txoj cai, thiab raws li cov ntaub ntawv khaws tseg ntawm cov neeg qiv nyiaj uas muaj lossis tsis tau them rov qab cov nyiaj qiv. Thiab qhov tseeb, nco ntsoov tias tam sim no peb tab tom xaiv cov qiv nyiaj siv cov coefficients uas twb paub lawm . Qhov tseeb, txoj haujlwm ntawm logistic regression qauv yog qhov tseeb los txiav txim qhov tsis muaj , ntawm qhov uas tus nqi ntawm qhov poob muaj nuj nqi Logistic Poob yuav nyiam qhov tsawg kawg nkaus. Tab sis hais txog yuav ua li cas lub vector yog xam , peb yuav pom ntau ntxiv hauv tshooj 5 ntawm tsab xov xwm. Lub sijhawm no, peb rov qab mus rau thaj av uas tau cog lus tseg - rau peb tus tswv lag luam thiab nws peb tus neeg siv khoom.
Ua tsaug rau txoj haujlwm peb paub tias leej twg tuaj yeem muab qiv nyiaj thiab leej twg yuav tsum tsis lees paub. Tab sis koj tsis tuaj yeem mus rau tus thawj coj nrog cov ntaub ntawv no, vim tias lawv xav tau los ntawm peb qhov tshwm sim ntawm kev them rov qab ntawm cov nyiaj qiv los ntawm txhua tus qiv. Yuav ua li cas? Cov lus teb yog qhov yooj yim - peb yuav tsum tau hloov pauv txoj haujlwm , uas muaj nuj nqis nyob rau hauv qhov ntau mus rau ib qho kev ua haujlwm uas nws qhov tseem ceeb yuav pw hauv qhov ntau . Thiab xws li ib tug muaj nuj nqi tshwm sim, nws yog hu ua logistic teb muaj nuj nqi los yog inverse-logit transformation. Ntsib:
Cia peb saib cov kauj ruam yog kauj ruam nws ua haujlwm li cas logistic teb muaj nuj nqi. Nco ntsoov tias peb yuav taug kev nyob rau hauv qhov opposite direction, i.e. peb yuav xav tias peb paub qhov tshwm sim tus nqi, uas nyob rau hauv qhov ntau ntawm rau thiab tom qab ntawd peb yuav "hloov" tus nqi no mus rau tag nrho ntau ntawm cov lej los ntawm rau .
03. Peb muab lub logistic teb muaj nuj nqi
Kauj Ruam 1. Hloov cov txiaj ntsig qhov tshwm sim rau hauv ntau yam
Thaum lub sij hawm transformation ntawm kev ua haujlwm Π² logistic teb muaj nuj nqi Peb yuav tso peb tus kws tshuaj ntsuam xyuas credit ib leeg thiab mus ncig xyuas cov bookmakers xwb. Tsis yog, tau kawg, peb yuav tsis tso bets, txhua yam uas nyiam peb muaj yog lub ntsiab lus ntawm cov lus qhia, piv txwv li, lub caij nyoog yog 4 rau 1. Qhov txawv, paub rau txhua tus bettors, yog qhov piv ntawm "kev vam meej" rau " kev ua tsis tiav". Nyob rau hauv cov nqe lus muaj tshwm sim, qhov txawv yog qhov tshwm sim ntawm qhov tshwm sim tshwm sim faib los ntawm qhov tshwm sim ntawm qhov tshwm sim tsis tshwm sim. Cia peb sau cov qauv rau lub caij nyoog ntawm qhov xwm txheej tshwm sim :
qhov twg - qhov tshwm sim ntawm qhov tshwm sim tshwm sim, - Qhov tshwm sim ntawm qhov xwm txheej TSIS tshwm sim
Piv txwv li, yog tias qhov tshwm sim uas tus tub hluas, muaj zog thiab ua si nees lub npe menyuam yaus "Veterok" yuav tuav tus poj niam laus thiab flabby npe hu ua "Matilda" ntawm ib haiv neeg sib npaug. , ces txoj kev vam meej rau "Veterok" yuav yog ΠΊ thiab vice versa, paub qhov txawv, nws yuav tsis nyuaj rau peb xam qhov tshwm sim :
Yog li, peb tau kawm "txhais lus" qhov tshwm sim rau hauv txoj hauv kev, uas coj cov txiaj ntsig los ntawm rau . Cia wb mus ua ib kauj ruam ntxiv thiab kawm "txhais" qhov tshwm sim rau tag nrho cov kab ntawm rau .
Kauj Ruam 2. Hloov cov txiaj ntsig qhov tshwm sim rau hauv ntau yam
Cov kauj ruam no yooj yim heev - cia peb coj lub logarithm ntawm qhov tsis sib xws rau lub hauv paus ntawm Euler tus lej thiab peb tau txais:
Tam sim no peb paub tias yog , ces xam tus nqi yuav yooj yim heev thiab, ntxiv rau, nws yuav tsum yog qhov zoo: . Qhov no muaj tseeb.
Tawm ntawm kev xav paub, cia saib seb yog dab tsi , ces peb cia siab tias yuav pom tus nqi tsis zoo . Peb kuaj: . Yog lawm.
Tam sim no peb paub yuav ua li cas hloov tus nqi tshwm sim los ntawm rau raws tag nrho tus lej kab los ntawm rau . Hauv kauj ruam tom ntej peb yuav ua qhov tsis sib xws.
Txog tam sim no, peb nco ntsoov tias ua raws li cov cai ntawm logarithm, paub txog tus nqi ntawm cov haujlwm , koj tuaj yeem xam qhov sib txawv:
Txoj kev txiav txim siab qhov txawv yuav muaj txiaj ntsig zoo rau peb hauv kauj ruam tom ntej.
Kauj Ruam 3. Cia peb muab cov qauv los txiav txim
Yog li peb kawm, paub , nrhiav qhov muaj nuj nqis . Txawm li cas los xij, qhov tseeb, peb xav tau qhov sib txawv - paub txog tus nqi mus pom . Txhawm rau ua qhov no, cia peb tig mus rau lub tswv yim zoo li qhov sib txawv ntawm qhov sib txawv, raws li qhov no:
Hauv tsab xov xwm peb yuav tsis muab cov qauv saum toj no, tab sis peb yuav xyuas nws siv cov lej los ntawm qhov piv txwv saum toj no. Peb paub tias nrog qhov sib txawv ntawm 4 txog 1 (), qhov tshwm sim ntawm qhov tshwm sim tshwm sim yog 0.8 (). Cia peb ua ib qho kev hloov pauv: . Qhov no coincides nrog peb cov kev suav ua ntej. Cia peb mus.
Hauv kauj ruam kawg peb tau txiav txim siab qhov ntawd , uas txhais tau hais tias koj tuaj yeem hloov pauv hauv qhov sib txawv ntawm qhov sib txawv. Peb tau txais:
Faib ob tus lej thiab tus lej los ntawm , Ces:
Tsuas yog nyob rau hauv rooj plaub, kom paub tseeb tias peb tsis tau ua yuam kev nyob qhov twg, peb yuav ua ib qho kev kuaj me me ntxiv. Hauv kauj ruam 2, peb rau txiav txim tias . Tom qab ntawd, hloov tus nqi rau hauv logistic teb muaj nuj nqi, peb cia siab tias yuav tau . Peb hloov thiab tau txais:
Zoo siab nrog rau tus nyeem ntawv, peb nyuam qhuav tau txais thiab sim cov logistic teb muaj nuj nqi. Cia peb saib cov duab ntawm qhov ua haujlwm.
Graph 3 "Logistic teb muaj nuj nqi"
Code rau kos duab
import math
def logit (f):
return 1/(1+math.exp(-f))
f = np.arange(-7,7,0.05)
p = []
for i in f:
p.append(logit(i))
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()Hauv cov ntaub ntawv koj tuaj yeem nrhiav tau lub npe ntawm qhov haujlwm no sigmoid muaj nuj nqi. Daim duab qhia meej meej tias qhov kev hloov pauv tseem ceeb hauv qhov tshwm sim ntawm ib qho khoom uas muaj nyob rau hauv chav kawm tshwm sim nyob rau hauv ib qho me me. , qhov chaw ntawm rau .
Kuv hais kom rov qab mus rau peb tus kws tshuaj ntsuam xyuas credit thiab pab nws xam qhov tshwm sim ntawm cov nyiaj qiv rov qab, txwv tsis pub nws yuav raug tso tseg yam tsis muaj nyiaj ntxiv :)
Table 2 "Cov neeg muaj peev xwm qiv nyiaj"
Code rau tsim lub rooj
proba = []
for i in df['f(w,x)']:
proba.append(round(logit(i),2))
df['Probability'] = proba
df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision', 'Probability']]Yog li, peb tau txiav txim siab qhov tshwm sim ntawm kev qiv nyiaj rov qab. Feem ntau, qhov no zoo li muaj tseeb.
Tseeb, qhov tshwm sim uas Vasya, nrog cov nyiaj hli ntawm 120.000 RUR, yuav muab tau 3.000 RUR rau lub txhab nyiaj txhua hli yog ze rau 100%. Los ntawm txoj kev, peb yuav tsum nkag siab tias lub tsev txhab nyiaj tuaj yeem tso nyiaj qiv rau Lesha yog tias lub txhab nyiaj txoj cai muab, piv txwv li, rau qiv rau cov neeg siv khoom nrog qhov tshwm sim ntawm cov nyiaj qiv rov qab ntau dua, hais, 0.3. Nws tsuas yog hais tias nyob rau hauv cov ntaub ntawv no lub txhab nyiaj yuav tsim ib tug loj reserves rau poob.
Nws tseem yuav tsum tau muab sau tseg tias cov nyiaj hli-rau-them piv ntawm tsawg kawg yog 3 thiab nrog ib tug paj ntawm 5.000 RUR raug coj los ntawm lub qab nthab. Yog li ntawd, peb tsis tuaj yeem siv vector ntawm qhov hnyav hauv nws daim ntawv qub . Peb xav tau kom txo tau cov coefficients zoo heev, thiab qhov no peb faib txhua tus coefficient los ntawm 25.000, uas yog, hauv qhov tseem ceeb, peb tau kho qhov tshwm sim. Tab sis qhov no tau ua tshwj xeeb los ua kom yooj yim nkag siab txog cov khoom siv thaum pib. Hauv lub neej, peb yuav tsis tas yuav tsim thiab kho cov coefficients, tab sis nrhiav lawv. Hauv seem tom ntej ntawm tsab xov xwm peb yuav muab cov kev sib npaug uas cov kev xaiv tau xaiv .
04. Tsawg squares txoj kev los txiav txim qhov vector ntawm qhov hnyav hauv logistic teb muaj nuj nqi
Peb twb paub txoj kev no rau xaiv ib tug vector ntawm qhov hnyav , raws li Yam tsawg kawg squares method (LSM) thiab qhov tseeb, vim li cas peb thiaj li tsis siv nws hauv cov teeb meem kev faib binary? Qhov tseeb, tsis muaj dab tsi tiv thaiv koj los ntawm kev siv MNC, tsuas yog txoj kev no hauv kev faib cov teeb meem muab cov txiaj ntsig uas tsis tshua muaj tseeb dua Logistic Poob. Nws muaj lub hauv paus theoretical rau qhov no. Cia peb xub saib ib qho piv txwv yooj yim.
Cia peb xav tias peb cov qauv (siv MSEM ΠΈ Logistic Poob) twb pib xaiv cov vector ntawm qhov hnyav thiab peb nres qhov kev suav ntawm qee cov kauj ruam. Nws tsis muaj teeb meem txawm tias hauv nruab nrab, thaum kawg lossis thaum pib, qhov tseem ceeb yog tias peb twb muaj qee qhov txiaj ntsig ntawm vector ntawm qhov hnyav thiab cia peb xav tias ntawm cov kauj ruam no, vector ntawm qhov hnyav. rau ob qho tib si qauv tsis muaj qhov sib txawv. Tom qab ntawd muab lub resulting hnyav thiab hloov lawv mus rau hauv logistic teb muaj nuj nqi () rau tej yam khoom uas belongs rau chav kawm . Peb tshuaj xyuas ob qhov xwm txheej thaum, raws li kev xaiv vector ntawm qhov hnyav, peb tus qauv ua yuam kev heev thiab rov ua dua - tus qauv muaj kev ntseeg siab heev tias cov khoom yog nyob rau hauv chav kawm. . Cia saib seb yuav raug nplua dab tsi thaum siv MNC ΠΈ Logistic Poob.
Code los laij cov txim nyob ntawm seb qhov ua haujlwm poob siv
# ΠΊΠ»Π°ΡΡ ΠΎΠ±ΡΠ΅ΠΊΡΠ°
y = 1
# Π²Π΅ΡΠΎΡΡΠ½ΠΎΡΡΡ ΠΎΡΠ½Π΅ΡΠ΅Π½ΠΈΡ ΠΎΠ±ΡΠ΅ΠΊΡΠ° ΠΊ ΠΊΠ»Π°ΡΡΡ Π² ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²ΠΈΠΈ Ρ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠ°ΠΌΠΈ w
proba_1 = 0.01
MSE_1 = (y - proba_1)**2
print 'Π¨ΡΡΠ°Ρ MSE ΠΏΡΠΈ Π³ΡΡΠ±ΠΎΠΉ ΠΎΡΠΈΠ±ΠΊΠ΅ =', MSE_1
# Π½Π°ΠΏΠΈΡΠ΅ΠΌ ΡΡΠ½ΠΊΡΠΈΡ Π΄Π»Ρ Π²ΡΡΠΈΡΠ»Π΅Π½ΠΈΡ f(w,x) ΠΏΡΠΈ ΠΈΠ·Π²Π΅ΡΡΠ½ΠΎΠΉ Π²Π΅ΡΠΎΡΡΠ½ΠΎΡΡΠΈ ΠΎΡΠ½Π΅ΡΠ΅Π½ΠΈΡ ΠΎΠ±ΡΠ΅ΠΊΡΠ° ΠΊ ΠΊΠ»Π°ΡΡΡ +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
return math.log(proba/(1-proba))
LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'Π¨ΡΡΠ°Ρ Log Loss ΠΏΡΠΈ Π³ΡΡΠ±ΠΎΠΉ ΠΎΡΠΈΠ±ΠΊΠ΅ =', LogLoss_1
proba_2 = 0.99
MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))
print '**************************************************************'
print 'Π¨ΡΡΠ°Ρ MSE ΠΏΡΠΈ ΡΠΈΠ»ΡΠ½ΠΎΠΉ ΡΠ²Π΅ΡΠ΅Π½Π½ΠΎΡΡΠΈ =', MSE_2
print 'Π¨ΡΡΠ°Ρ Log Loss ΠΏΡΠΈ ΡΠΈΠ»ΡΠ½ΠΎΠΉ ΡΠ²Π΅ΡΠ΅Π½Π½ΠΎΡΡΠΈ =', LogLoss_2Ib rooj plaub ntawm blunder - tus qauv muab ib qho khoom rau hauv chav kawm nrog qhov tshwm sim ntawm 0,01
Kev nplua rau kev siv MNC yuav yog:
Kev nplua rau kev siv Logistic Poob yuav yog:
Ib rooj plaub ntawm kev ntseeg siab - tus qauv muab ib qho khoom rau hauv chav kawm nrog qhov tshwm sim ntawm 0,99
Kev nplua rau kev siv MNC yuav yog:
Kev nplua rau kev siv Logistic Poob yuav yog:
Qhov piv txwv no qhia tau zoo tias nyob rau hauv cov ntaub ntawv ntawm qhov yuam kev tag nrho cov kev poob haujlwm Log Loss penalizes tus qauv ho ntau dua MSEM. Tam sim no cia peb nkag siab dab tsi theoretical keeb kwm yav dhau los siv qhov poob haujlwm Log Loss hauv kev faib cov teeb meem.
05. Txoj kev ua tau zoo tshaj plaws thiab kev thauj mus los
Raws li tau cog lus tseg thaum pib, tsab xov xwm tau sau nrog cov piv txwv yooj yim. Nyob rau hauv lub studio muaj lwm yam piv txwv thiab cov laus qhua - bank borrowers: Vasya, Fedya thiab Lesha.
Tsuas yog nyob rau hauv rooj plaub no, ua ntej yuav tsim tus piv txwv, cia kuv nco ntsoov koj tias hauv lub neej peb tab tom cuam tshuam nrog kev cob qhia cov qauv ntawm ntau txhiab lossis lab ntawm cov khoom uas muaj kaum lossis ntau pua tus yam ntxwv. Txawm li cas los xij, ntawm no cov lej raug coj los ua kom yooj yim haum rau lub taub hau ntawm tus kws tshawb fawb cov ntaub ntawv novice.
Cia peb rov qab mus rau qhov piv txwv. Cia peb xav txog tias tus thawj coj ntawm lub tsev txhab nyiaj txiav txim siab tawm nyiaj qiv rau txhua tus neeg xav tau, txawm hais tias qhov kev xav tau hais kom nws tsis txhob muab nws rau Lesha. Thiab tam sim no txaus lub sij hawm tau dhau mus thiab peb paub qhov twg ntawm peb tus phab ej tau them rov qab cov nyiaj qiv thiab qhov twg tsis tau. Yuav ua li cas yuav tsum tau: Vasya thiab Fedya them rov qab cov nyiaj txais, tab sis Lesha tsis ua. Tam sim no cia peb xav txog tias qhov txiaj ntsig no yuav yog tus qauv kev cob qhia tshiab rau peb thiab, tib lub sijhawm, nws zoo li yog tias tag nrho cov ntaub ntawv ntawm cov xwm txheej cuam tshuam txog qhov yuav tau them rov qab cov nyiaj qiv (tus qiv nyiaj hli, qhov loj ntawm cov nyiaj them txhua hli) tau ploj mus. Tom qab ntawd, intuitively, peb tuaj yeem xav tias txhua tus neeg qiv nyiaj thib peb tsis them rov qab cov nyiaj qiv rau lub txhab nyiaj, lossis hauv lwm lo lus, qhov tshwm sim ntawm tus qiv nyiaj tom ntej them rov qab cov nyiaj qiv. . Qhov kev xav intuitive no muaj kev pom zoo theoretical thiab ua raws li txoj kev zoo tshaj plaws, feem ntau nyob rau hauv cov ntaub ntawv nws yog hu ua txoj cai zoo tshaj plaws.
Ua ntej, cia peb paub txog lub tswv yim apparatus.
Sampling zoo li yog qhov yuav tau txais raws nraim li cov qauv, tau txais raws nraim li kev soj ntsuam / cov txiaj ntsig, i.e. cov khoom ntawm qhov tshwm sim ntawm kev tau txais txhua yam ntawm cov qauv kev tshwm sim (piv txwv li, seb qhov qiv ntawm Vasya, Fedya thiab Lesha puas tau them rov qab lossis tsis them rov qab rau tib lub sijhawm).
Kev ua haujlwm zoo hais txog qhov yuav tshwm sim ntawm tus qauv mus rau qhov tseem ceeb ntawm cov kev faib khoom.
Nyob rau hauv peb cov ntaub ntawv, cov qauv kev cob qhia yog ib tug generalized Bernoulli tswvyim, nyob rau hauv uas lub random variable yuav siv sij hawm tsuas yog ob qhov tseem ceeb: los yog . Yog li ntawd, tus qauv zoo li yuav sau tau raws li qhov ua tau zoo ntawm qhov parameter raws li nram no:
Cov lus sau saum toj no tuaj yeem txhais tau raws li hauv qab no. Qhov sib koom ua ke uas Vasya thiab Fedya yuav them rov qab yog sib npaug , qhov tshwm sim uas Lesha yuav TSIS them cov nyiaj qiv yog sib npaug (vim nws tsis yog qhov nyiaj qiv rov qab uas tau tshwm sim), yog li qhov sib koom ua ke ntawm tag nrho peb qhov xwm txheej yog sib npaug .
Txoj kev zoo tshaj plaws yog ib txoj hauv kev kwv yees qhov tsis paub tsis paub los ntawm kev ua kom tiav nyiam ua haujlwm. Hauv peb qhov xwm txheej, peb yuav tsum nrhiav tus nqi zoo li no ntawm qhov twg ncav nws qhov siab tshaj plaws.
Lub tswv yim tiag tiag los ntawm qhov twg - txhawm rau nrhiav tus nqi ntawm qhov tsis paub txog qhov uas qhov kev ua haujlwm yuav ncav cuag qhov siab tshaj plaws? Lub hauv paus chiv keeb ntawm lub tswv yim yog los ntawm lub tswv yim tias ib qho qauv yog tib qhov kev paub muaj rau peb txog cov pej xeem. Txhua yam peb paub txog cov pej xeem yog sawv cev hauv cov qauv. Yog li ntawd, txhua yam peb tuaj yeem hais tau yog tias tus qauv yog qhov tseeb tshaj plaws ntawm cov pej xeem muaj rau peb. Yog li ntawd, peb yuav tsum nrhiav ib qho parameter uas muaj cov qauv uas yuav ua tau ntau tshaj plaws.
Obviously, peb tab tom cuam tshuam nrog qhov teeb meem optimization uas peb yuav tsum nrhiav qhov kawg ntawm qhov ua haujlwm. Yuav kom nrhiav tau qhov kawg taw tes, nws yog ib qho tsim nyog yuav tsum xav txog qhov kev txiav txim thawj zaug, uas yog, sib npaug ntawm qhov kev ua haujlwm rau xoom thiab daws qhov sib npaug ntawm qhov xav tau. Txawm li cas los xij, kev tshawb nrhiav cov txiaj ntsig ntawm cov khoom lag luam ntawm ntau yam tuaj yeem ua haujlwm ntev; kom tsis txhob muaj qhov no, muaj cov txheej txheem tshwj xeeb - hloov mus rau lub logarithm. nyiam ua haujlwm. Vim li cas thiaj li muaj kev hloov pauv tau? Cia peb them sai sai rau qhov tseeb tias peb tsis tab tom nrhiav rau qhov kawg ntawm kev ua haujlwm nws tus kheej, thiab qhov kawg taw tes, uas yog, tus nqi ntawm qhov tsis paub parameter ntawm qhov twg ncav nws qhov siab tshaj plaws. Thaum tsiv mus rau lub logarithm, qhov kawg taw tes tsis hloov (txawm hais tias qhov extremum nws tus kheej yuav txawv), vim hais tias lub logarithm yog monotonic muaj nuj nqi.
Cia peb ua raws li cov lus saum toj no, txuas ntxiv txhim kho peb tus qauv nrog qiv nyiaj los ntawm Vasya, Fedya thiab Lesha. Ua ntej cia peb txav mus rau logarithm ntawm qhov muaj peev xwm ua haujlwm:
Tam sim no peb tuaj yeem yooj yim sib txawv qhov kev qhia los ntawm :
Thiab thaum kawg, xav txog qhov kev txiav txim thawj zaug - peb sib npaug ntawm qhov kev ua haujlwm rau xoom:
Yog li, peb intuitive kwv yees ntawm qhov tshwm sim ntawm cov nyiaj qiv rov qab yog theoretically justified.
Zoo heev, tab sis peb yuav ua li cas nrog cov ntaub ntawv tam sim no? Yog tias peb xav tias txhua tus neeg qiv nyiaj thib peb tsis xa cov nyiaj rov qab mus rau lub txhab nyiaj, tom qab ntawd qhov kawg yuav ua tsis tiav. Qhov ntawd yog, tab sis tsuas yog thaum ntsuas qhov tshwm sim ntawm cov nyiaj qiv rov qab sib npaug Peb tsis xav txog qhov cuam tshuam rau kev them nyiaj rov qab: tus qiv nyiaj hli thiab qhov loj ntawm cov nyiaj them txhua hli. Cia peb nco ntsoov tias yav dhau los peb tau suav qhov tshwm sim ntawm kev them rov qab ntawm cov nyiaj qiv los ntawm txhua tus neeg siv khoom, suav nrog cov xwm txheej tib yam. Nws yog qhov laj thawj uas peb tau txais qhov tshwm sim txawv ntawm qhov sib npaug tas li .
Cia peb txheeb xyuas qhov yuav tshwm sim ntawm cov qauv:
Code rau xam cov qauv yuav muaj
from functools import reduce
def likelihood(y,p):
line_true_proba = []
for i in range(len(y)):
ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
line_true_proba.append(ltp_i)
likelihood = []
return reduce(lambda a, b: a*b, line_true_proba)
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]
print 'ΠΡΠ°Π²Π΄ΠΎΠΏΠΎΠ΄ΠΎΠ±ΠΈΠ΅ Π²ΡΠ±ΠΎΡΠΊΠΈ ΠΏΡΠΈ ΠΊΠΎΠ½ΡΡΠ°Π½ΡΠ½ΠΎΠΌ Π·Π½Π°ΡΠ΅Π½ΠΈΠΈ p=2/3:', round(likelihood(y,p_const),3)
print '****************************************************************************************************'
print 'ΠΡΠ°Π²Π΄ΠΎΠΏΠΎΠ΄ΠΎΠ±ΠΈΠ΅ Π²ΡΠ±ΠΎΡΠΊΠΈ ΠΏΡΠΈ ΡΠ°ΡΡΠ΅ΡΠ½ΠΎΠΌ Π·Π½Π°ΡΠ΅Π½ΠΈΠΈ p:', round(likelihood(y,p_log_response),3)Sample zoo li ntawm tus nqi tas li :
Kev ua piv txwv zoo li thaum xam qhov tshwm sim ntawm cov nyiaj qiv rov qab suav nrog cov xwm txheej :
Qhov tshwm sim ntawm ib qho piv txwv nrog qhov tshwm sim suav nrog nyob ntawm cov xwm txheej tau ua kom siab dua qhov muaj feem cuam tshuam nrog tus nqi tsis tu ncua. Qhov no txhais li cas? Qhov no qhia tau hais tias kev paub txog cov xwm txheej ua rau nws muaj peev xwm xaiv tau qhov tseeb ntawm cov nyiaj qiv rov qab rau txhua tus neeg siv khoom. Yog li ntawd, thaum muab cov nyiaj qiv tom ntej, nws yuav yog qhov tseeb dua los siv cov qauv uas tau hais nyob rau qhov kawg ntawm ntu 3 ntawm tsab xov xwm rau kev ntsuam xyuas qhov tshwm sim ntawm cov nuj nqis rov qab.
Tab sis, yog hais tias peb xav kom maximize qauv yuav muaj nuj nqi, ces yog vim li cas ho tsis siv ib co algorithm uas yuav tsim probabilities rau Vasya, Fedya thiab Lesha, piv txwv li, sib npaug rau 0.99, 0.99 thiab 0.01, feem. Tej zaum xws li algorithm yuav ua tau zoo ntawm cov qauv kev cob qhia, vim nws yuav coj tus qauv zoo li tus nqi ze rau , tab sis, ua ntej, xws li ib tug algorithm yuav feem ntau yuav muaj teeb meem nrog generalization muaj peev xwm, thiab thib ob, no algorithm yuav twv yuav raug hu tsis yog linear. Thiab yog tias txoj hauv kev ntawm kev sib ntaus sib tua overtraining (qhov muaj peev xwm ua kom tsis muaj zog sib npaug) kom meej meej tsis suav nrog hauv txoj kev npaj ntawm kab lus no, ces cia peb mus txog qhov thib ob hauv kev nthuav dav ntxiv. Ua li no, tsuas yog teb cov lus nug yooj yim. Puas yog qhov tshwm sim ntawm Vasya thiab Fedya them rov qab cov nyiaj qiv yuav zoo ib yam, suav nrog cov xwm txheej paub peb? Los ntawm qhov pom ntawm lub suab logic, ntawm chav kawm tsis, nws ua tsis tau. Yog li Vasya yuav them 2.5% ntawm nws cov nyiaj hli ib hlis kom them rov qab cov nyiaj qiv, thiab Fedya - yuav luag 27,8%. Tsis tas li ntawd nyob rau hauv daim duab 2 "Client classification" peb pom tias Vasya yog ntau ntxiv los ntawm kab sib cais cov chav kawm tshaj Fedya. Thiab thaum kawg, peb paub tias muaj nuj nqi rau Vasya thiab Fedya siv qhov sib txawv: 4.24 rau Vasya thiab 1.0 rau Fedya. Tam sim no, yog tias Fedya, piv txwv li, tau txais qhov kev txiav txim siab ntau dua lossis thov qiv nyiaj me me, ces qhov tshwm sim ntawm kev them rov qab cov nyiaj qiv rau Vasya thiab Fedya yuav zoo sib xws. Hauv lwm lo lus, linear dependence tsis tuaj yeem dag. Thiab yog hais tias peb ua tau xam qhov txawv , thiab tsis tau coj lawv tawm ntawm huab cua nyias, peb tuaj yeem hais tias peb cov txiaj ntsig zoo qhov zoo tshaj plaws tso cai rau peb kwv yees qhov tshwm sim ntawm kev them rov qab ntawm cov nyiaj qiv los ntawm txhua tus qiv, tab sis txij li peb tau pom zoo los xav tias qhov kev txiav txim siab ntawm cov coefficients tau ua raws li tag nrho cov cai, ces peb yuav xav li ntawd - peb coefficients cia peb muab ib tug zoo kwv yees ntawm qhov tshwm sim :)
Txawm li cas los, peb digress. Hauv seem no peb yuav tsum nkag siab tias vector ntawm qhov hnyav li cas thiaj txiav txim siab , uas yog tsim nyog los soj ntsuam qhov tshwm sim ntawm kev them rov qab ntawm cov nyiaj qiv los ntawm txhua tus neeg qiv nyiaj.
Cia peb luv luv nrog rau dab tsi arsenal peb mus nrhiav qhov txawv :
1. Peb xav tias kev sib raug zoo ntawm lub hom phiaj sib txawv (tus nqi kwv yees) thiab qhov cuam tshuam rau qhov tshwm sim yog linear. Vim li no nws yog siv linear regression muaj nuj nqi hom , kab uas faib cov khoom (cov neeg siv khoom) rau hauv cov chav kawm ΠΈ los yog (cov neeg tuaj yeem them rov qab cov nyiaj qiv thiab cov uas tsis yog). Hauv peb qhov xwm txheej, qhov sib npaug muaj daim ntawv .
2. Peb siv inverse logit muaj nuj nqi hom los txiav txim qhov tshwm sim ntawm ib yam khoom uas muaj nyob rau hauv chav kawm .
3. Peb xav txog peb cov kev cob qhia uas yog ib qho kev siv ntawm ib qho kev qhia dav dav Bernoulli schemes, uas yog, rau txhua yam khoom ib tug random sib txawv yog generated, uas muaj probability (nws tus kheej rau txhua yam khoom) siv tus nqi 1 thiab nrog qhov tshwm sim - 0.
4. Peb paub tias peb xav tau dab tsi los ua kom tiav qauv yuav muaj nuj nqi coj mus rau hauv tus account qhov lees txais yam kom cov qauv muaj los ua qhov plausible tshaj plaws. Hauv lwm lo lus, peb yuav tsum xaiv cov kev txwv uas tus qauv yuav ua tau zoo tshaj plaws. Nyob rau hauv peb cov ntaub ntawv, qhov kev xaiv parameter yog qhov tshwm sim ntawm cov nyiaj qiv rov qab , uas nyob rau hauv lem nyob ntawm tsis paub coefficients . Yog li peb yuav tsum nrhiav cov vector ntawm qhov hnyav , ntawm qhov yuav ua tau ntawm tus qauv yuav siab tshaj plaws.
5. Peb paub yuav ua li cas kom loj piv txwv yuav muaj nuj nqi yuav siv tau txoj kev zoo tshaj plaws. Thiab peb paub tag nrho cov lus dag kom ua haujlwm nrog cov qauv no.
Qhov no yog li cas nws hloov tawm mus ua ntau kauj ruam :)
Tam sim no nco ntsoov tias thaum pib ntawm tsab xov xwm peb xav muab ob hom kev poob haujlwm Logistic Poob nyob ntawm seb cov chav kawm twg raug xaiv. Nws thiaj li tshwm sim hais tias nyob rau hauv kev faib cov teeb meem nrog ob chav kawm, cov chav kawm yog denoted li ΠΈ los yog . Nyob ntawm cov ntawv sau, cov zis yuav muaj qhov cuam tshuam tsis zoo.
Case 1. Kev faib cov khoom rau hauv ΠΈ
Yav dhau los, thaum txiav txim siab qhov yuav tshwm sim ntawm tus qauv, uas qhov tshwm sim ntawm cov nuj nqis them rov qab los ntawm tus neeg qiv nyiaj tau suav los ntawm cov khoom thiab muab cov coefficients. , peb siv cov formula:
Qhov tseeb tiag yog lub ntsiab lus logistic teb muaj nuj nqi rau ib qho vector ntawm qhov hnyav
Tom qab ntawd tsis muaj dab tsi tiv thaiv peb los ntawm kev sau cov qauv kev ua haujlwm raws li hauv qab no:
Nws tshwm sim tias qee zaum nws nyuaj rau qee tus kws tshuaj ntsuam xyuas tshiab kom nkag siab tam sim ntawd txoj haujlwm no ua haujlwm li cas. Cia peb saib 4 cov piv txwv luv luv uas yuav tshem tawm txhua yam:
1. Yog hais tias tus (piv txwv li, raws li cov qauv kev cob qhia, cov khoom belongs rau chav kawm +1), thiab peb cov algorithm txiav txim qhov tshwm sim ntawm kev faib cov khoom rau hauv chav kawm sib npaug rau 0.9, ces daim qauv no yuav raug xam raws li hauv qab no:
2. Yog hais tias tus thiab , ces kev xam yuav zoo li no:
3. Yog hais tias tus thiab , ces kev xam yuav zoo li no:
4. Yog hais tias tus thiab , ces kev xam yuav zoo li no:
Nws yog qhov pom tseeb tias qhov ua tau zoo yuav ua kom siab tshaj plaws nyob rau hauv cov xwm txheej 1 thiab 3 lossis hauv rooj plaub dav dav - nrog qhov tseeb kwv yees qhov txiaj ntsig ntawm qhov tshwm sim ntawm kev muab khoom rau hauv chav kawm .
Vim qhov tseeb tias thaum txiav txim siab qhov tshwm sim ntawm kev muab ib qho khoom rau hauv chav kawm Peb tsuas tsis paub cov coefficients , ces peb yuav nrhiav lawv. Raws li tau hais los saum toj no, qhov no yog qhov teeb meem optimization uas ua ntej peb yuav tsum nrhiav qhov derivative ntawm qhov yuav ua haujlwm nrog kev hwm rau vector ntawm qhov hnyav. . Txawm li cas los xij, ua ntej nws ua rau kev nkag siab yooj yim rau kev ua haujlwm rau peb tus kheej: peb yuav nrhiav qhov derivative ntawm logarithm nyiam ua haujlwm.
Yog vim li cas tom qab logarithm, hauv logistic yuam kev ua haujlwm, peb hloov lub cim ntawm rau . Txhua yam yog qhov yooj yim, txij li hauv cov teeb meem ntawm kev ntsuas qhov zoo ntawm tus qauv nws yog ib txwm ua kom txo qis tus nqi ntawm ib qho kev ua haujlwm, peb muab faib rau sab xis ntawm kev qhia los ntawm thiab raws li, es tsis txhob maximizing, tam sim no peb txo qhov muaj nuj nqi.
Qhov tseeb, tam sim no, ua ntej koj ob lub qhov muag, kev poob haujlwm tau mob siab rau - Logistic Poob rau kev cob qhia nrog ob chav kawm: ΠΈ .
Tam sim no, txhawm rau nrhiav cov coefficients, peb tsuas yog xav nrhiav cov derivative logistic yuam kev ua haujlwm thiab tom qab ntawd, siv txoj hauv kev zoo tshaj plaws, xws li gradient qhovntsej thiaj tsis mob lossis stochastic gradient qhovntsej thiaj tsis mob, xaiv qhov zoo tshaj plaws coefficients . Tab sis, muab qhov ntim ntau ntawm cov kab lus, nws tau thov kom ua tiav qhov sib txawv ntawm koj tus kheej, lossis tej zaum qhov no yuav yog lub ntsiab lus rau tsab xov xwm tom ntej nrog ntau tus lej lej tsis muaj cov piv txwv ntxaws.
Case 2. Kev faib cov khoom rau hauv ΠΈ
Txoj hauv kev ntawm no yuav zoo ib yam nrog cov chav kawm ΠΈ , tab sis txoj kev nws tus kheej mus rau qhov tso zis ntawm qhov poob muaj nuj nqi Logistic Poob, yuav ntau ornate. Cia peb pib. Rau qhov ua tau zoo peb yuav siv tus neeg teb xov tooj βyog tiasβ¦ cesβ¦β... Ntawd yog, yog Cov khoom th yog nyob rau hauv chav kawm , tom qab ntawd los xam qhov muaj feem ntawm tus qauv peb siv qhov tshwm sim , yog hais tias cov khoom belongs rau chav kawm , ces peb hloov mus rau hauv qhov yuav . Nov yog qhov ua tau zoo li no:
Cia peb piav qhia ntawm peb tus ntiv tes nws ua haujlwm li cas. Cia peb xav txog 4 qhov xwm txheej:
1. Yog hais tias tus ΠΈ , ces qhov piv txwv yuav "mus"
2. Yog hais tias tus ΠΈ , ces qhov piv txwv yuav "mus"
3. Yog hais tias tus ΠΈ , ces qhov piv txwv yuav "mus"
4. Yog hais tias tus ΠΈ , ces qhov piv txwv yuav "mus"
Nws yog qhov pom tseeb tias nyob rau hauv rooj plaub 1 thiab 3, thaum qhov tshwm sim tau raug txiav txim siab los ntawm algorithm, nyiam ua haujlwm yuav maximized, uas yog, qhov no yog raws nraim qhov peb xav tau. Txawm li cas los xij, txoj hauv kev no yog qhov nyuaj heev thiab tom ntej no peb yuav xav txog qhov kev cog lus ntau dua. Tab sis ua ntej, cia peb lub logarithm qhov ua tau zoo nrog kev hloov pauv ntawm kos npe, txij li tam sim no peb yuav txo qis nws.
Cia peb hloov pauv qhia :
Cia peb ua kom yooj yim lub sij hawm zoo nyob rau hauv lub logarithm siv cov txheej txheem lej yooj yim thiab tau txais:
Tam sim no nws yog lub sijhawm kom tshem tawm tus neeg teb xov tooj βyog tiasβ¦ cesβ¦β. Nco ntsoov tias thaum muaj khoom belongs rau chav kawm Tom qab ntawd nyob rau hauv cov lus qhia nyob rau hauv lub logarithm, nyob rau hauv lub denominator, tsa rau lub hwj chim , yog hais tias cov khoom belongs rau chav kawm , ces $e$ raug tsa los rau lub hwj chim . Yog li ntawd, cov ntawv sau rau qhov degree tuaj yeem yooj yim los ntawm kev sib txuas ob qho tib si rau hauv ib qho: ... Tom qab ntawv logistic yuam kev ua haujlwm yuav ua daim ntawv:
Raws li cov kev cai ntawm logarithm, peb tig cov feem ntau thiab muab tso rau lub cim ""( rho tawm) rau lub logarithm, peb tau txais:
Ntawm no yog qhov poob muaj nuj nqi logistic poob, uas yog siv nyob rau hauv kev cob qhia teeb nrog cov khoom muab rau cov chav kawm: ΠΈ .
Yog lawm, ntawm qhov no kuv tawm mus thiab peb xaus lus.
Tus sau phau ntawv ua haujlwm dhau los yog "Nqa cov kab rov tav kab sib npaug rau hauv daim ntawv matrix"
Cov khoom siv pabcuam
1. Cov ntawv nyeem
1) Applied regression analysis / N. Draper, G. Smith - 2nd ed. β M.: Nyiaj Txiag thiab Kev Txheeb Xyuas, 1986 (los ntawm txhais lus Askiv)
2) Kev Tshawb Fawb Txog Kev Tshawb Fawb thiab lej lej / V.E. Gmurman - 9th ed. - M.: Tsev Kawm Ntawv Qib Siab, 2003
3) Txoj Kev Ua Tau Zoo / N.I. Chernova - Novosibirsk: Novosibirsk State University, 2007
4) Kev lag luam analytics: los ntawm cov ntaub ntawv mus rau kev paub / Paklin N.B., Oreshkov V. I. - 2nd ed. β St. Petersburg: Peter, 2013
5) Cov Ntaub Ntawv Kev Tshawb Fawb Cov ntaub ntawv tshawb fawb los ntawm kos / Joel Gras - St. Petersburg: BHV Petersburg, 2017
6) Cov ntaub ntawv pov thawj rau Cov Kws Qhia Txog Kev Tshawb Fawb / P. Bruce, E. Bruce - St. Petersburg: BHV Petersburg, 2018
2. Cov lus qhuab qhia, cov chav kawm (video)
1)
2)
3)
4)
5)
3. Internet qhov chaw
1)
2)
3)
4)
5)
6)
7)
8)
Tau qhov twg los: www.hab.com