I totonu o lenei tusiga, o le a tatou auʻiliʻili le faʻatusatusaga faʻapitoa o le suiga galuega fa'asolosolo laina в galuega fa'aliliuina o logit fa'afeagai (e ta'ua o le galuega fa'atino tali fa'atonu). Ona, faʻaaogaina lea o auupega auala aupito maualuga e ono mafai, e tusa ai ma le logistic regression model, tatou maua le galuega leiloa Fa'atauga Fa'atauga, или другими словами, мы определим функцию, с помощью которой в моделе логистической регрессии подбираются параметры вектора весов .
Otootoga o tusitusiga:
- Sei o tatou toe fai le sootaga laina i le va o fesuiaiga e lua
- Sei o tatou faailoaina le manaomia o le suiga galuega fa'asolosolo laina в galuega tali logistic
- Se'i o tatou faia suiga ma mea e maua galuega tali logistic
- Sei o tatou taumafai e malamalama pe aisea e leaga ai le auala aupito itiiti sikuea pe a filifilia parakalafa galuega tauave Fa'atauga Fa'atauga
- Matou te faaaogaina auala aupito maualuga e ono mafai mo le fuafuaina galuega filifiliga filifiliga :
5.1. Mataupu 1: galuega Fa'atauga Fa'atauga mo mea faitino e iai fa'ailoga vasega 0 и 1:
5.2. Mataupu 2: galuega Fa'atauga Fa'atauga mo mea faitino e iai fa'ailoga vasega -1 и +1:
O le tusiga e tumu i faʻataʻitaʻiga faigofie lea e faigofie ai ona fai faʻatusatusaga uma i luga o le tautala poʻo luga o pepa; i nisi tulaga, atonu e manaʻomia se calculator. Ia sauni :)
O lenei tusiga e faʻamoemoe muamua mo saienitisi faʻamaumauga ma se tulaga muamua o le malamalama i faʻavae o aʻoaʻoga masini.
O le tusiga o le a tuʻuina atu foʻi le code mo le tusiaina o kalafi ma faʻatusatusaga. O tulafono uma e tusia i le gagana python-2.7. Seʻi ou faʻamatalaina muamua e uiga i le "mea fou" o le faʻaoga na faʻaaogaina - o se tasi lea o tulaga mo le suʻeina o le ala lauiloa mai Yandex i luga o se tulaga tutusa lauiloa i luga o le initaneti Coursera, ma, e pei ona manatu se tasi, o mea na saunia e faavae i luga o lenei kosi.
01. Fa'alagolago i laina sa'o
E fetaui lelei le fai atu o le fesili - o le a le mea e fai i ai le faʻalagolago i le laina ma le faʻaogaina o le logistic?
E faigofie! Logistic regression o se tasi lea o faʻataʻitaʻiga e aʻafia i le faʻavasegaina laina. I ni upu faigofie, o le galuega a le fa'avasegaina laina o le va'aiga o tau fa'atatau mai fesuiaiga (regressors) . E talitonuina o le faalagolago i le va o uiga ma tau fa'atatau laina laina. O le mea lea o le igoa o le faʻavasegaina - linear. I le tuʻuina atu faʻapitoa, o le logistic regression model e faʻavae i luga o le manatu o loʻo i ai se fesoʻotaʻiga laina i le va o uiga. ma tau fa'atatau . O le sootaga lea.
O loʻo i ai le faʻataʻitaʻiga muamua i totonu o le potu, ma e saʻo, e uiga i le faʻalagolago saʻo o le aofaʻi o loʻo suʻesuʻeina. I le faagasologa o le sauniaina o le tusiga, na ou maua ai se faʻataʻitaʻiga ua uma ona faʻatulagaina le tele o tagata i luga o le pito - o le faʻalagolago i le taimi nei i luga o le voltage (“Applied regression analysis”, N. Draper, G. Smith). O le a tatou tilotilo foi i ai iinei.
E tusa ai ma Tulafono a Ohm:
fea - malosi i le taimi nei, - voltage, - tetee.
Pe ana matou le iloa Tulafono a Ohm, ona mafai lea ona tatou maua le fa'alagolago fa'apitoa e ala i suiga ma fuaina , a o lagolagoina mautu. Ona tatou vaʻai lea i le kalafi faʻalagolago от tuuina atu se laina sa'o sili atu pe itiiti e ala i le amataga. Matou te fai atu "sili atu pe itiiti" aua, e ui lava o le sootaga e saʻo moni lava, o a tatou fua e mafai ona i ai ni nai mea sese, ma o le mea lea o togi i luga o le kalafi atonu e le pa'ū tonu i luga o le laina, ae o le a faʻataʻapeʻapeina faʻatasi ai.
Kalafi 1 “Faalagolago” от »
Fa'ailoga tusi ata
import matplotlib.pyplot as plt
%matplotlib inline
import numpy as np
import random
R = 13.75
x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
y_line.append(i/R)
y_dot = []
for i in y_line:
y_dot.append(i+random.uniform(-0.9,0.9))
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Actual results')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()02. Le manaʻoga e suia le faʻasologa o le faʻasologa o laina
Seʻi o tatou vaavaai i se isi faaaʻoaʻoga. Se'i manatu tatou te faigaluega i se faletupe ma o la tatou galuega o le fuafuaina lea o le ono mafai e le tagata nono mai ona toe totogiina le nonogatupe e faalagolago i ni mea patino. Ina ia faafaigofie le galuega, o le a tatou iloiloina na o ni mea se lua: o le totogi faalemasina o le tagata nono ma le aofaʻi o le toe totogiina o nonogatupe.
O le galuega e matua faʻatatau, ae faʻatasi ai ma lenei faʻataʻitaʻiga e mafai ona tatou malamalama pe aisea e le lava ai le faʻaaogaina galuega fa'asolosolo laina, ma saili foi po oa suiga e tatau ona faia ma le galuega.
Sei o tatou toe foi i le faataitaiga. Ua fa’ailoa mai, o le maualuga o le totogi, o le tele fo’i lea o le fa’asoasoaina e le tagata nono tupe i masina ta’itasi e toe totogi ai le nonogatupe. I le taimi lava e tasi, mo se vaega o totogi o lenei sootaga o le a fai si laina. Mo se faʻataʻitaʻiga, seʻi o tatou ave se totogi mai le 60.000 RUR i le 200.000 RUR ma faʻapea o le faʻatulagaina o totogi faʻapitoa, o le faʻalagolago i le tele o le totogi masina i luga o le tele o le totogi e laina. Seʻi tatou fai atu mo le faʻavasegaina o totogi na faʻaalia e le mafai ona pa'ū le fua faatatau o le totogi-to-totogi i lalo ole 3 ma e tatau lava ona i ai i le tagata nono le 5.000 RUR faʻaagaaga. Ma e naʻo le tulaga lea, o le a tatou manatu o le a toe totogiina e le tagata nono le nonogatupe i le faletupe. Ona fai lea o le fa'asologa o le fa'asologa o le laina:
le mea , , , - totogi -o le tagata nono mai, - totogi o nonogatupe -o le tagata nono mai.
Suiga o totogi ma le totogiina o nogatupe i ni tapula'a fa'amau i totonu ole fa'atusa E mafai ona e filifili pe tuuina atu pe teena se nonogatupe.
I le va'ai i luma, matou te maitauina, fa'atasi ai ma tapula'a ua tu'uina atu galuega fa'asolosolo laina, fa'aaogaina i galuega tali logistic o le a maua ai ni tau tetele o le a faʻalavelave ai faʻatusatusaga e fuafua ai le avanoa o le toe totogiina o nonogatupe. O le mea lea, ua fautuaina e faʻaititia a tatou coefficients, seʻi tatou fai atu, e 25.000 taimi. O lenei suiga i le coefficient o le a le suia ai le faaiuga e tuuina atu se nonogatupe. Seʻi o tatou manatua lenei manatu mo le lumanaʻi, ae o le taimi nei, ina ia faʻamalamalama atili le mea o loʻo tatou talanoa ai, seʻi o tatou mafaufau i le tulaga e tolu tagata e ono nono mai.
Laulau 1 “O tagata e ono nono mai”
Code mo le fausiaina o le laulau
import pandas as pd
r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r
data = {'The borrower':np.array(['Vasya', 'Fedya', 'Lesha']),
'Salary':np.array([120000,180000,210000]),
'Payment':np.array([3000,50000,70000])}
df = pd.DataFrame(data)
df['f(w,x)'] = w_0 + df['Salary']*w_1 + df['Payment']*w_2
decision = []
for i in df['f(w,x)']:
if i > 0:
dec = 'Approved'
decision.append(dec)
else:
dec = 'Refusal'
decision.append(dec)
df['Decision'] = decision
df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision']]E tusa ai ma faʻamatalaga i le laulau, Vasya, ma le totogi o le 120.000 RUR, e manaʻo e maua se nonogatupe ina ia mafai ona ia toe totogiina i masina taʻitasi i le 3.000 RUR. Na matou filifili ina ia faʻamaonia le nonogatupe, o le totogi o Vasya e tatau ona sili atu i le tolu taimi le aofaʻi o le totogi, ma e tatau lava ona i ai le 5.000 RUR o totoe. Ua faamalieina e Vasya lenei manaoga: . E oo lava i le 106.000 RUR o loʻo totoe. E ui i le mea moni e faapea pe a faʻatatau ua tatou faaitiitia faigata 25.000 taimi, o le taunuuga e tutusa - o le nonogatupe e mafai ona faamaonia. O le a maua foi e Fedya se nonogatupe, ae o Lesha, e ui lava i le mea moni e sili ona ia mauaina, e tatau ona taofiofia lona manaʻo.
Tatou tusi se kalafi mo lenei tulaga.
Siata 2 "Fa'avasegaina o tagata nono mai"
Fa'ailoga mo le tusiaina o le kalafi
salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'],
'o', color ='green', markersize = 12, label = 'Decision - Loan approved')
plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'],
's', color = 'red', markersize = 12, label = 'Decision - Loan refusal')
plt.xlabel('Salary', size = 16)
plt.ylabel('Payment', size = 16)
plt.legend(prop = {'size': 14})
plt.show()O lea la, o la tatou laina saʻo, fausia e tusa ai ma le galuega , e tuueseese ai tagata nono mai “leaga” mai i latou “lelei”. O i latou o loʻo nono mai o latou manaʻoga e le ogatasi ma o latou gafatia o loʻo i luga aʻe o le laina (Lesha), ae oi latou, e tusa ai ma faʻataʻitaʻiga o la tatou faʻataʻitaʻiga, e mafai ona toe totogiina le nonogatupe i lalo ole laina (Vasya ma Fedya). I se isi faaupuga, e mafai ona tatou fai atu lenei mea: o la tatou laina tuusaʻo e vaevaeina ai tagata nono i ni vasega se lua. Sei o tatou faailoa atu i latou e faapea: i le vasega O le a matou fa'avasegaina tagata nono mai e sili atu ona toe totogiina le nonogatupe poʻo O le a matou aofia ai tagata nono mai e foliga mai o le a le mafai ona toe totogiina le nonogatupe.
Sei o tatou aoteleina faaiuga mai lenei faataitaiga faigofie. Sei o tatou ave se manatu ma, suia le faamaopoopoina o le mata i le tutusa tutusa o le laina , mafaufau i filifiliga e tolu:
- Afai o le vaega o lo'o i lalo o le laina ma matou tu'uina atu i le vasega , ona taua lea o le galuega o le a lelei mai i . O lona uiga e mafai ona tatou manatu o le avanoa e toe totogi ai le nonogatupe o loʻo i totonu . Ole tele ole tau ole galuega, ole maualuga ole avanoa.
- Afai o se mata i luga a'e o se laina ma matou tofia i le vasega poʻo , ona leaga lea o le tau o le galuega mai i . Ona tatou manatu lea o le avanoa e toe totogi ai aitalafu o loʻo i totonu ma, o le sili atu o le taua atoatoa o le galuega, o le maualuga foi lea o lo tatou talitonuga.
- O le mata'itusi o lo'o i luga o se laina sa'o, i le tuaoi i le va o vasega e lua. I lenei tulaga, o le taua o le galuega o le a tutusa ma o le avanoa e toe totogi ai le nonogatupe e tutusa ma .
Ia, sei o tatou mafaufau e le o ni a tatou mea e lua, ae o le tele, ae le o le tolu, ae o le faitau afe o tagata nono. Ona tatou maua lea nai lo le laina sa'o m-ituaiga vaalele ma coefficients o le a le aveesea i tatou mai le ea manifinifi, ae maua mai e tusa ai ma tulafono uma, ma i luga o le faavae o faamatalaga faaputuputu i luga o tagata nono mai ua i ai pe lei toe totogiina le nonogatupe. Ma e moni lava, ia maitauina o loʻo matou filifilia nei tagata nono mai le faʻaaogaina o coefficient ua leva ona iloa . O le mea moni, o le galuega a le faʻataʻitaʻiga o le logistic regression e saʻo lava le fuafuaina o tapulaʻa , lea e galue ai le tau o le gau Fa'atauga Fa'atauga o le a matele atu i le pito i lalo. Ae e uiga i le auala e fuafua ai le vector , o le a tatou iloa atili i le vaega lona 5 o le mataupu. I le taimi nei, matou te toe foʻi i le fanua folafolaina - i le matou faletupe ma ana tagata faʻatau e toatolu.
Faafetai i le galuega matou te iloa po o ai e mafai ona tuʻuina atu se nonogatupe ma o ai e manaʻomia ona teena. Ae e le mafai ona e alu i le faatonu ma ia faamatalaga, aua na latou mananao e maua mai ia i matou le avanoa e toe totogi ai le nonogatupe e tagata aitalafu taitasi. O le a le mea e fai? E faigofie le tali - e tatau ona tatou suia le galuega , o latou tau o lo'o taoto i le va'aiga i se galuega o lona tau o le a taoto i le lautele . Ma o sea galuega o loʻo i ai, e taʻua galuega tali logistic po'o suiga faafeagai-logit. Feiloai:
Se'i tatou va'ai la'asaga ta'itasi pe fa'apefea ona galue galuega tali logistic. Manatua o le a tatou savavali i le itu faafeagai, i.e. o le a tatou manatu tatou te iloa le tau o le avanoa, lea e taoto i le laina mai i ona tatou "fa'alafoa'i" lea tau i le vaega atoa o numera mai i .
03. Matou te maua mai le galuega faʻatino tali
Laasaga 1. Su'e tau fa'atatau ile avanoa
I le taimi o le suiga o le galuega в galuega tali logistic O le a matou tu'u na'o le matou su'esu'ega fa'aaitalafu ae fai se maimoaga i le au fai tusi. Leai, ioe, o le a tatou le tuʻuina peti, o mea uma tatou te fiafia i ai o loʻo i ai le uiga o le faʻamatalaga, mo se faʻataʻitaʻiga, o le avanoa e 4 i le 1. O faigata, masani i tagata bettors uma, o le fua faatatau o le "manuia" i le " toilalo”. I faaupuga fa'apea, o fa'alavelave o le avanoa lea e tupu ai se mea e vaelua i le avanoa o le mea na tupu e le o tupu. Se'i o tatou tusi i lalo le fua mo le avanoa e tupu ai se mea :
fea - avanoa o se mea e tupu, — le ono tupu o se mea na tupu
Mo se faʻataʻitaʻiga, afai o le avanoa o se solofanua talavou, malosi ma taʻalo e faʻaigoaina "Veterok" o le a sasaina se loʻomatua ma faʻafefeteina e igoa ia "Matilda" i se tuuga e tutusa ma , ona avea ai lea o avanoa o le manuia mo "Veterok". к ma le isi itu, o le iloaina o faigata, o le a le faigata ia i tatou ona fuafua le avanoa :
O le mea lea, ua matou aʻoaʻoina e "faaliliu" avanoa i avanoa, lea e ave faʻatatau mai i . Sei o tatou faia se isi laa ma aoao e “faaliliu” le avanoa i le laina numera atoa mai i .
Laasaga 2. Su'e tau fa'atatau ile avanoa
O lenei laasaga e matua faigofie lava - seʻi o tatou ave le logarithm o faigata i le faʻavae o le numera a Euler ma matou maua:
O lea ua tatou iloa pe afai , ona fuafua lea o le tau o le a matua faigofie lava ma, e le gata i lea, e tatau ona lelei: . E moni lenei mea.
Ona o le fia iloa, se'i o tatou siaki pe faapefea , ona tatou faʻamoemoe lea e vaʻai i se tau le lelei . Matou te siaki: . E mo'i lava oe.
O lea ua tatou iloa pe fa'afefea ona fa'aliliu le tau fa'aletonu mai i i luga ole laina numera atoa mai i . I le isi laasaga o le a tatou faia le faafeagai.
Mo le taimi nei, matou te maitauina e tusa ai ma tulafono o le logarithm, iloa le taua o le galuega , e mafai ona e fa'atatauina fa'alavelave:
O lenei metotia o le fuafuaina o faigata o le a aoga ia i tatou i le isi laasaga.
Laasaga 3. Se'i o tatou maua se fua fa'atatau e fuafua ai
O lea na matou aʻoaʻoina ai, ma le iloa , su'e tau aoga . Ae ui i lea, o le mea moni, tatou te manaʻomia tonu le faʻafeagai - iloa le tau maua . Ina ia faia lenei mea, seʻi o tatou liliu atu i se manatu e pei o le faʻaogaina o faʻalavelave faʻalavelave, e tusa ai ma ia:
I totonu o le tusiga o le a tatou le maua mai le fua faʻatatau i luga, ae o le a tatou siakiina e faʻaaoga ai numera mai le faʻataʻitaʻiga i luga. Matou te iloa e faʻatasi ma faʻalavelave o le 4 i le 1 (), o le avanoa o le mea na tupu e 0.8 (). Sei o tatou suitulaga: . E fetaui lelei lea ma a tatou fa'atatau na faia muamua. Tatou agai i luma.
I le laasaga mulimuli na matou faʻamaonia ai lena mea , o lona uiga e mafai ona e faia se sui i le galuega faʻalavelave faʻalavelave. Matou te maua:
Vaevae uma le numera ma le fa'ailoga i le , Ona:
Na'o le tulaga, ina ia mautinoa tatou te le'i faia se mea sese i soo se mea, o le a tatou toe faia se isi siaki laitiiti. I le Laasaga 2, matou te mo na tonu . Ona suia lea o le tau i le galuega tali logistic, matou te faamoemoe e maua . Matou te suitulaga ma maua:
Fa'amalo, lau pele faitau, ua fa'ato'a maua ma fa'ata'ita'i le galuega fa'atino tali fa'atatau. Sei o tatou tilotilo i le kalafi o le galuega.
Kalafi 3 “Fa'agaioiina o le tali atu”
Fa'ailoga mo le tusiaina o le kalafi
import math
def logit (f):
return 1/(1+math.exp(-f))
f = np.arange(-7,7,0.05)
p = []
for i in f:
p.append(logit(i))
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()I tusitusiga e mafai foi ona e mauaina le igoa o lenei galuega e pei сигмойд-функция. O le kalafi o loʻo faʻaalia manino ai o le suiga tele i le avanoa o se mea e aofia i se vasega e tupu i totonu o se vaega laʻititi. , i se mea mai i .
Ou te fautua atu e toe foʻi i la matou suʻega aitalafu ma fesoasoani ia te ia e fuafua le avanoa o le toe totogiina o nonogatupe, a le o lea e ono tuʻu ai e aunoa ma se ponesi :)
Laulau 2 “O tagata e ono nono mai”
Code mo le fausiaina o le laulau
proba = []
for i in df['f(w,x)']:
proba.append(round(logit(i),2))
df['Probability'] = proba
df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision', 'Probability']]O lea la, ua matou fuafuaina le avanoa e toe totogi ai nonogatupe. I se tulaga lautele, e foliga mai e moni lenei mea.
O le mea moni, o le avanoa o Vasya, ma se totogi o le 120.000 RUR, o le a mafai ona tuʻuina atu le 3.000 RUR i le faletupe i masina uma e latalata ile 100%. I le auala, e tatau ona tatou malamalama e mafai e le faletupe ona tuʻuina atu se nonogatupe ia Lesha pe a fai o le faiga faʻavae a le faletupe e tuʻuina atu, mo se faʻataʻitaʻiga, mo le nonogatupe i tagata faʻatau ma se avanoa o le toe totogiina o nonogatupe e sili atu nai lo, fai mai, 0.3. E na'o le tulaga lea o le a faia ai e le faletupe se fa'aagaaga tele mo tupe gau.
E tatau foi ona maitauina o le fua faatatau o le totogi-to-totogi o le itiiti ifo i le 3 ma faʻatasi ai ma le 5.000 RUR na ave mai le taualuga. O le mea lea, e le mafai ona matou faʻaogaina le vector o le mamafa i lona tulaga muamua . Sa mana'omia le fa'aitiitia tele o coefficient, ma o le tulaga lea na matou vaevaeina ai le coefficient ta'itasi i le 25.000, o lona uiga, o le mea moni, na matou fetuunai le taunuuga. Ae na faia faapitoa lenei mea e faafaigofie ai le malamalama i mea i le tulaga muamua. I le olaga, tatou te le manaʻomia le faʻaogaina ma fetuunai coefficients, ae maua i latou. I vaega o lo'o soso'o mai o le tusiga o le a tatou maua mai ai fa'atusatusaga e filifilia ai fa'asologa .
04. Auala sikuea pito itiiti mo le fuafuaina o le vete o le mamafa i le galuega tali logistic
Ua uma ona tatou iloa lenei metotia mo le filifilia o se vector o le mamafa , e pei metotia sikuea aupito itiiti (LSM) ma o le mea moni, aisea tatou te le faaaogaina ai i faafitauli faavasegaina binary? Ioe, e leai se mea e taofia oe mai le faʻaaogaina MNC, na'o lenei metotia i fa'avasegaga fa'afitauli e maua ai fa'ai'uga e le sa'o lelei nai lo Fa'atauga Fa'atauga. O loʻo i ai se faʻavae faʻavae mo lenei mea. Sei o tatou vaai muamua i se faataitaiga faigofie se tasi.
Seʻi tatou manatu o tatou faʻataʻitaʻiga (faʻaaogaina MSE и Fa'atauga Fa'atauga) ua uma ona amata filifilia le vector o le mamafa ma sa matou taofia le fuafuaina i se laasaga. E le afaina pe i le ogatotonu, i le faaiuga poʻo le amataga, o le mea autu o loʻo i ai ni a tatou tau o le vector o le mamafa ma tatou manatu i lenei laasaga, o le vector o le mamafa. mo faʻataʻitaʻiga e lua e leai se eseesega. Ona ave lea o fua mamafa ma sui i totonu galuega tali logistic () mo nisi mea e patino i le vasega . Matou te suʻesuʻeina ni mataupu se lua pe a, e tusa ai ma le fua filifilia o le mamafa, o la matou faʻataʻitaʻiga e matua sese ma le isi itu - o le faʻataʻitaʻiga e matua mautinoa lava o le mea faitino e patino i le vasega. . Se'i va'ai po'o a sala tupe o le a tu'uina atu pe a fa'aaoga MNC и Fa'atauga Fa'atauga.
Fa'ailoga e fa'atatau i fa'asalaga e fa'atatau ile galuega leiloa na fa'aaogaina
# класс объекта
y = 1
# вероятность отнесения объекта к классу в соответствии с параметрами w
proba_1 = 0.01
MSE_1 = (y - proba_1)**2
print 'Штраф MSE при грубой ошибке =', MSE_1
# напишем функцию для вычисления f(w,x) при известной вероятности отнесения объекта к классу +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
return math.log(proba/(1-proba))
LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'Штраф Log Loss при грубой ошибке =', LogLoss_1
proba_2 = 0.99
MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))
print '**************************************************************'
print 'Штраф MSE при сильной уверенности =', MSE_2
print 'Штраф Log Loss при сильной уверенности =', LogLoss_2O se mataupu o le sese - o le faʻataʻitaʻiga e tuʻuina atu se mea i se vasega ma se avanoa e 0,01
Fa'asalaga ile fa'aoga MNC o le 'a:
Fa'asalaga ile fa'aoga Fa'atauga Fa'atauga o le 'a:
O se mataupu o le mautinoa malosi - o le faʻataʻitaʻiga e tuʻuina atu se mea i se vasega ma se avanoa e 0,99
Fa'asalaga ile fa'aoga MNC o le 'a:
Fa'asalaga ile fa'aoga Fa'atauga Fa'atauga o le 'a:
O lenei fa'ata'ita'iga o lo'o fa'aalia lelei ai pe a tupu se mea sese tele o le galuega gau Ogalaau gau fa'asala le fa'ata'ita'iga e sili atu nai lo MSE. Se'i o tatou malamalama nei po'o le a le tala'aga o le fa'aaogaina o le galuega leiloa Ogalaau gau i fa'avasegaga fa'afitauli.
05. Metotia aupito maualuga e ono tula'i mai ma toe fa'asolo
E pei ona folafola mai i le amataga, ua tumu le tusiga i faataitaiga faigofie. I totonu o le potu o loʻo i ai se isi faʻataʻitaʻiga ma malo tuai - faletupe nono: Vasya, Fedya ma Lesha.
Naʻo le tulaga, aʻo leʻi atiaʻe le faʻataʻitaʻiga, seʻi ou faamanatu atu ia te oe i le olaga o loʻo tatou feagai ma se faʻataʻitaʻiga faʻataʻitaʻiga o le faitau afe poʻo le miliona o mea faitino ma le fiasefulu poʻo le fiaselau o foliga. Ae ui i lea, o numera e ave ina ia faigofie ona ofi i totonu o le ulu o se saienitisi faʻamatalaga fou.
Sei o tatou toe foi i le faataitaiga. Sei o tatou manatu o le faatonu o le faletupe na filifili e tuʻuina atu se nonogatupe i tagata uma e manaʻomia, e ui lava i le mea moni na taʻu atu e le algorithm ia te ia e aua le tuʻuina atu ia Lesha. Ma o lea ua lava le taimi ua mavae ma ua tatou iloa po o ai o toa e toatolu na toe totogiina le nonogatupe ae o ai e lei totogiina. Le mea e tatau ona faʻamoemoeina: Na toe totogi e Vasya ma Fedya le nonogatupe, ae e leʻi faia e Lesha. Sei o tatou mafaufau o lenei taunuuga o le a avea ma se faʻataʻitaʻiga fou aʻoaʻoga mo i tatou ma, i le taimi lava e tasi, e pei o faʻamatalaga uma i luga o mea e aʻafia ai le ono mafai ona toe totogiina le nonogatupe (totogi o le tagata nono, tele o le totogi masina) ua mou atu. Ma, i le faʻaogaina, e mafai ona tatou manatu e le toe totogiina e tagata nono lona tolu uma le nonogatupe i le faletupe, pe i se isi faaupuga, o le avanoa o le isi tagata nono e toe totogi le nonogatupe. . O lenei manatu faʻapitoa e iai faʻamaoniga faʻapitoa ma faʻavae i luga auala aupito maualuga e ono mafai, e masani ona taʻua i tusitusiga mataupu faavae aupito maualuga.
Muamua, se'i o tatou faamasani i le masini manatu.
Fa'ailoga fa'ata'ita'iga o le avanoa o le mauaina tonu o sea faʻataʻitaʻiga, mauaina saʻo o ia faʻamatalaga / taunuuga, i.e. o le oloa o le avanoa e maua ai faʻataʻitaʻiga taʻitasi (mo se faʻataʻitaʻiga, pe o le nonogatupe a Vasya, Fedya ma Lesha na toe totogiina pe leai foi i le taimi e tasi).
Galuega fa'apea fa'afeso'ota'i le avanoa o se fa'ata'ita'iga i tau o fa'asoa fa'asoa.
I la matou tulaga, o le faʻataʻitaʻiga faʻataʻitaʻiga o se faiga lautele Bernoulli, lea e naʻo le lua faʻatauga e ave ai le fesuiaiga faʻafuaseʻi: poʻo . O le mea lea, e mafai ona tusia le faʻataʻitaʻiga faʻataʻitaʻiga o se galuega faʻapitoa o le parakalafa e pei ona taʻua i lalo:
E mafai ona fa'amatalaina le fa'amatalaga o lo'o i luga e fa'apea. O le avanoa faʻatasi o le a toe totogiina e Vasya ma Fedya le nonogatupe e tutusa ma , o le avanoa e LE toe totogiina e Lesha le nonogatupe e tutusa ma (talu ai e le o le toe totogiina o nonogatupe na faia), o le mea lea o le avanoa faʻatasi o mea uma e tolu e tutusa .
Metotia aupito maualuga o se metotia mo le fa'atatauina o se parakalafa e le iloa e ala i le fa'ateleina galuega e ono tutupu mai. I lo tatou tulaga, e tatau ona tatou maua sea taua , lea ausia lona maualuga.
O fea e sau ai le manatu moni - e suʻe le tau o se parakalafa e le iloa lea e oʻo atu ai le gaioiga i le maualuga? O le amataga o le manatu e mafua mai i le manatu o se faʻataʻitaʻiga e na o le pau lea o le puna o le malamalama o loʻo avanoa mo i tatou e uiga i le faitau aofaʻi. O mea uma tatou te iloa e uiga i le faitau aofaʻi o loʻo faʻatusalia i le faʻataʻitaʻiga. O le mea lea, pau lava le mea e mafai ona tatou fai atu o se faʻataʻitaʻiga o le ata sili ona saʻo o le faitau aofaʻi o loʻo avanoa mo i tatou. O le mea lea, e tatau ona tatou sailia se parakalafa lea e avea ai le faʻataʻitaʻiga avanoa e sili ona ono mafai.
E manino lava, o loʻo tatou feagai ma se faʻafitauli sili ona lelei e manaʻomia ai ona tatou maua le pito sili ona maualuga o se galuega. Ina ia maua le pito sili, e tatau ona mafaufau i le tulaga muamua, o lona uiga, faʻatusatusa le mea e maua mai i le galuega i le zero ma foia le faʻatusatusaga e tusa ai ma le parakalafa manaʻomia. Ae ui i lea, o le suʻeina o mea e maua mai i le tele o mea taua e mafai ona avea ma se galuega umi; ina ia aloese mai lenei mea, o loʻo i ai se metotia faʻapitoa - sui i le logarithm galuega e ono tutupu mai. Aiseā e mafai ai ona faia se suiga faapena? Sei o tatou gauai atu i le mea moni e faapea tatou te le o saili mo le extremum o le galuega lava ia, ma le pito sili, o lona uiga, o le tau o le parakalafa le iloa , lea ausia lona maualuga. Pe a alu i se logarithm, e le suia le pito pito i luga (e ui o le pito i luga o le a eseese), talu ai o le logarithm o se galuega faʻapitoa.
Sei o tatou, e tusa ai ma mea o loʻo i luga, faʻaauau pea ona atiaʻe a tatou faʻataʻitaʻiga i nonogatupe mai Vasya, Fedya ma Lesha. Muamua tatou agai i luma i logarithm o le galuega e ono tutupu mai:
Ole taimi nei e faigofie ona tatou fa'avasegaina le fa'amatalaga ile :
Ma le mea mulimuli, mafaufau i le tulaga muamua - matou te faʻatusatusa le faʻaaogaina o le galuega i le zero:
O le mea lea, o le matou faʻatatauga faʻapitoa o le avanoa o le toe totogiina o nonogatupe sa tauamiotonuina manatu.
Lelei, ae o le a le mea e tatau ona tatou faia i lenei faʻamatalaga i le taimi nei? Afai tatou te manatu e le toe faafoi atu e le au nono lona tolu le tupe i le faletupe, o lona uiga o le a gau le tagata mulimuli. E sa'o, ae na'o le iloiloina o le avanoa o le toe totogiina o nonogatupe e tutusa ma Matou te leʻi manatu i mea e aʻafia ai le toe totogiina o nonogatupe: o le totogi o le tagata nono ma le tele o le totogiina o le masina. Ia tatou manatua na tatou fuafuaina muamua le avanoa o le toe totogiina o le nonogatupe e tagata taʻitoʻatasi, ma amanaʻia nei mea tutusa. E talafeagai le maua o avanoa e ese mai le tutusa faifaipea .
Se'i o tatou fa'auigaina le fa'amoemoe o fa'ata'ita'iga:
Fa'ailoga mo le fa'atatauina o fa'ata'ita'iga e ono tupu
from functools import reduce
def likelihood(y,p):
line_true_proba = []
for i in range(len(y)):
ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
line_true_proba.append(ltp_i)
likelihood = []
return reduce(lambda a, b: a*b, line_true_proba)
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]
print 'Правдоподобие выборки при константном значении p=2/3:', round(likelihood(y,p_const),3)
print '****************************************************************************************************'
print 'Правдоподобие выборки при расчетном значении p:', round(likelihood(y,p_log_response),3)Fa'ata'ita'i fa'ata'ita'iga i se tau tumau :
Fa'ata'ita'i fa'ata'ita'iga pe a fa'atatauina le avanoa e toe totogi ai nogatupe e fa'atatau i mea taua :
O le fa'ata'ita'iga o se fa'ata'ita'iga fa'atasi ai ma se fa'alavelave fa'atatau e fuafua e fa'atatau i mea na fa'aalia e maualuga atu nai lo le fa'alavelave fa'atasi ai ma se tau fa'alavelave faifaipea. O le a le uiga o lenei mea? O lo'o ta'u mai ai o le malamalama e uiga i mea taua na mafai ai ona sili atu le sa'o o le filifilia o le avanoa o le toe totogiina o nonogatupe mo tagata ta'ito'atasi. O le mea lea, pe a tuʻuina atu le isi nonogatupe, e sili atu ona saʻo le faʻaogaina o le faʻataʻitaʻiga o loʻo tuʻuina atu i le faaiuga o le vaega 3 o le tusiga mo le iloiloga o le avanoa e toe totogi ai aitalafu.
Ae o lea, pe a tatou mananao e sili atu fa'ata'ita'iga avanoa fa'atino, aisea la e le faʻaogaina ai se algorithm o le a maua ai avanoa mo Vasya, Fedya ma Lesha, mo se faʻataʻitaʻiga, tutusa ma le 0.99, 0.99 ma le 0.01, i le faasologa. Masalo o sea algorithm o le a faʻatinoina lelei i luga o le faʻataʻitaʻiga o aʻoaʻoga, talu ai o le a faʻalatalata atu ai le faʻataʻitaʻiga faʻapitoa , ae, muamua, o sea algorithm o le a sili atu ona i ai ni faigata i le gafatia lautele, ma lona lua, o lenei algorithm o le a mautinoa lava e le laina. Ma afai o metotia o le faʻafefeina o le faʻamalosi (e tutusa le vaivai o le faʻasalalauga lautele) e manino lava e le o aofia ai i le fuafuaga o lenei tusiga, ona tatou o atu lea i le vaega lona lua i le auiliiliga. Ina ia faia lenei mea, na'o le tali i se fesili faigofie. E mafai ona tutusa le avanoa o Vasya ma Fedya e toe totogi ai le nonogatupe, ma amanaʻia mea ua tatou iloa? Mai le vaaiga o le mafaufau lelei, ioe e leai, e le mafai. O lea o le a totogi e Vasya le 2.5% o lona totogi i le masina e toe totogi ai le nonogatupe, ma Fedya - toetoe lava 27,8%. Faʻapea foʻi i le kalafi 2 "Faʻavasegaina o tagata" matou te vaʻai ai o Vasya e sili atu le mamao mai le laina vavaeese vasega nai lo Fedya. Ma le mea mulimuli, matou te iloa o le galuega mo Vasya ma Fedya e eseese tau: 4.24 mo Vasya ma 1.0 mo Fedya. I le taimi nei, afai o Fedya, mo se faʻataʻitaʻiga, na maua se faʻatonuga sili atu pe talosagaina se nonogatupe laʻititi, ona tutusa lea o le avanoa e toe totogi ai le nonogatupe mo Vasya ma Fedya. I se isi faaupuga, e le mafai ona faaseseina le faalagolago laina. Ma afai tatou te fuafuaina moni le faigata , ma e le'i aveesea i latou mai le ea manifinifi, e mafai ona tatou fai atu ma le saogalemu o tatou tulaga faatauaina sili e mafai ai ona matou faʻatatauina le avanoa e toe totogi ai le nonogatupe e tagata nono taʻitasi, ae talu ai na matou malilie e faʻapea o le fuafuaina o le coefficients. na faia e tusa ai ma tulafono uma, ona tatou manatu ai lea - o tatou coefficient e mafai ai ona tatou tuʻuina atu se faʻatusatusaga sili atu o le avanoa :)
Ae ui i lea, matou te faʻafefe. I lenei vaega e tatau ona tatou malamalama i le auala e fuafuaina ai le vector o le mamafa , lea e mana'omia e iloilo ai le avanoa e toe totogi ai le nonogatupe e tagata nono ta'itasi.
Se'i o tatou otooto faapuupuu mai po o le a le auupega tatou te alu e su'e ni faigata :
1. Matou te manatu o le sootaga i le va o le fesuiaiga o loʻo faʻamoemoeina (taua o le valoʻaga) ma le mea e aʻafia ai le taunuuga o le laina laina. Mo lenei mafuaʻaga e faʻaaogaina galuega fa'asolosolo laina o ituaiga , o le laina lea e vaevaeina ai mea (tagata fa'atau) i vasega и poʻo (tagata e mafai ona toe totogiina le nonogatupe ma i latou e le mafai). I la matou tulaga, o le fa'atusa e iai le fomu .
2. Matou te faaaogaina galuega fa'afeagai logit o ituaiga e fuafua ai le avanoa o se mea e auai i se vasega .
3. Matou te mafaufau i la matou seti aʻoaʻoga o se faʻatinoga o se faʻasalalauga lautele Bernoulli fuafuaga, o lona uiga, mo mea ta'itasi e fa'atupuina se fesuiaiga fa'afuase'i, lea e iai le avanoa (ona lava mo mea faitino taitasi) ave le tau 1 ma faʻatasi ai ma faʻalavelave - 0.
4. Tatou te iloa mea tatou te manaʻomia e faʻateleina fa'ata'ita'iga avanoa fa'atino i le amanaʻiaina o mea e talia ina ia avea le faʻataʻitaʻiga avanoa e sili ona faʻamaonia. I se isi faaupuga, tatou te manaʻomia le filifilia o mea faʻataʻitaʻi o le a sili ona talafeagai le faʻataʻitaʻiga. I la matou tulaga, o le parakalafa filifilia o le avanoa o le toe totogiina o nonogatupe , lea e faalagolago i coefficient le iloa . E tatau la ona tatou su'eina se ve'a o le mamafa , lea o le a maualuga ai le fa'ata'ita'iga.
5. Matou te iloa le mea e faʻateleina fa'ata'ita'iga fa'amoemoega galuega mafai ona faʻaaoga auala aupito maualuga e ono mafai. Ma matou te iloa uma togafiti taufaasese e galue ai i lenei metotia.
O le auala lea e iʻu ai i le tele o laasaga :)
Ia manatua nei i le amataga lava o le tusiga matou te manaʻo e maua ni ituaiga se lua o galuega leiloa Fa'atauga Fa'atauga fa'atatau ile fa'avasegaina o vasega mea faitino. Na tupu i le faʻavasegaina o faʻafitauli i vasega e lua, o vasega o loʻo taʻua o и poʻo . Fa'alagolago i le fa'ailoga, o le a iai se galuega fa'aletonu o le gaosiga.
Mataupu 1. Fa'avasegaina o mea i totonu и
I le taimi muamua, pe a fuafuaina le avanoa o se faʻataʻitaʻiga, lea na fuafua ai le avanoa o le toe totogiina o aitalafu a le tagata nono e faʻavae i luga o mea taua ma tuʻuina atu coefficients. , matou faʻaaogaina le fua faʻatatau:
Ioe o le uiga galuega tali logistic mo se vector o le mamafa
Ona leai lea o se mea e taofia ai i tatou mai le tusiaina o le faʻataʻitaʻiga faʻapitoa galuega e pei ona taua i lalo:
E tupu o nisi taimi e faigata ai i nisi tagata suʻesuʻe fou ona malamalama vave pe faʻapefea ona galue lenei galuega. Seʻi o tatou vaʻavaʻai i faʻataʻitaʻiga pupuu 4 o le a faʻamamaina mea uma:
1. ana (o lona uiga, e tusa ai ma le faʻataʻitaʻiga aʻoaʻoga, o le mea faitino e aʻafia i le vasega +1), ma la tatou algorithm fuafua le avanoa e fa'avasega ai se mea i se vasega tutusa ma le 0.9, ona fuafua lea o lenei vaega o faʻataʻitaʻiga e pei ona taua i lalo:
2. ana ma , ona fa'apea lea o le fa'atatauga:
3. ana ma , ona fa'apea lea o le fa'atatauga:
4. ana ma , ona fa'apea lea o le fa'atatauga:
E manino lava o le gaioiga e mafai ona faʻateleina i mataupu 1 ma le 3 poʻo le tulaga lautele - faʻatasi ai ma le saʻo matemateina o tau o avanoa e tuʻuina atu ai se mea i se vasega. .
Ona o le mea moni e faapea pe a fuafuaina le avanoa o le tofiaina o se mea i se vasega E na'o le coefficient tatou te le iloa , ona tatou vaavaai lea mo i latou. E pei ona taʻua i luga, o se faʻafitauli sili ona lelei lea e manaʻomia muamua ona tatou suʻeina le mafuaʻaga o le gaioiga e mafai ona faʻatatau i le vector o le mamafa. . Ae ui i lea, muamua e talafeagai le faʻafaigofieina o le galuega mo i tatou lava: o le a tatou vaʻavaʻai mo le mafuaʻaga o le logarithm galuega e ono tutupu mai.
Aisea pe a uma le logarithm, in galuega sese logistic, na matou suia le faʻailoga mai i . E faigofie mea uma, talu ai i faʻafitauli o le suʻesuʻeina o le lelei o se faʻataʻitaʻiga e masani ona faʻaitiitia le tau o se galuega, matou te faʻateleina le itu taumatau o le faʻamatalaga e ma e tusa ai, nai lo le faʻateleina, o lea ua tatou faʻaititia le galuega.
O le mea moni, i le taimi nei, i luma o ou mata, o le galuega leiloa na maua mai ma le tiga - Fa'atauga Fa'atauga mo se seti aʻoaʻoga e lua vasega: и .
Ia, ina ia maua le coefficients, e tatau lava ona tatou suʻeina le faʻasologa galuega sese logistic ona fa'aaoga lea o metotia fa'afuainumera, e pei o le fa'asolo malie po'o le fa'asolo fa'asolo, filifili le fa'atatau sili ona lelei. . Ae, ona o le tele o voluma o le tusiga, ua fautuaina e faia le eseesega na o oe, pe atonu o le a avea lenei ma autu mo le isi tusiga ma le tele o numera e aunoa ma ni faʻataʻitaʻiga auiliili.
Mataupu 2. Fa'avasegaina o mea i totonu и
O le auala iinei o le a tutusa ma vasega и , ae o le ala lava ia i le gaosiga o galuega leiloa Fa'atauga Fa'atauga, o le a sili atu ona teuteu. Tatou amata. Mo le gaioiga e ono mafai ona matou faʻaogaina le faʻaogaina “afai... ona...”. O lona uiga, afai O le mea lona tolu e a le vasega , ona fa'atatau lea o le avanoa o le fa'ata'ita'iga matou te fa'aogaina le avanoa , pe afai o le mea faitino e patino i le vasega , ona tatou suia lea i le mea e ono tupu . O le mea lea e foliga mai e foliga mai o le gaioiga e ono tutupu:
Se'i o tatou faamatalaina i o tatou tamatamailima pe faapefea ona galue. Seʻi o tatou iloiloina mataupu e 4:
1. ana и , ona "alu" ai lea o le fa'ata'ita'iga
2. ana и , ona "alu" ai lea o le fa'ata'ita'iga
3. ana и , ona "alu" ai lea o le fa'ata'ita'iga
4. ana и , ona "alu" ai lea o le fa'ata'ita'iga
E manino lava i mataupu 1 ma le 3, pe a faʻamaonia saʻo mea e ono tutupu e le algorithm, galuega e ono mafai o le a faʻateleina, o lona uiga, o le mea tonu lava lea na matou manaʻo e maua. Ae ui i lea, o lenei auala e fai si faigata ma o le a sosoo ai o le a tatou iloiloina se faʻamatalaga sili atu ona faʻatusatusa. Ae muamua, se'i o tatou fa'a-logarithm le galuega e ono tutupu ma se suiga o le fa'ailoga, talu ai o le taimi nei o le a tatou fa'aitiitia.
Sei o tatou suitulaga faʻamatalaga :
Se'i fa'afaigofie le upu sa'o i lalo ole logarithm e fa'aaoga ai faiga fa'atatau faigofie ma maua:
Ua o'o nei i le taimi e fa'ate'a ai le fa'afoe “afai... ona...”. Manatua pe a fai se mea e auai i le vasega , ona i ai lea i le faaupuga i lalo o le logarithm, i le denominator, siitia i le pule , pe afai o le mea faitino e patino i le vasega , ona siitia ai lea o le $e$ i le pule . O le mea lea, o le faʻamatalaga mo le tikeri e mafai ona faʻafaigofie e ala i le tuʻufaʻatasia o mataupu uma e lua i le tasi: . Ona galuega sese logistic o le a ave le fomu:
E tusa ai ma tulafono o le logarithm, matou te liliu le vaega ma tuʻu ese le faʻailoga ""(minus) mo le logarithm, matou te maua:
O le galuega leiloa lea leiloa logistic, lea e faʻaaogaina i le seti aʻoaʻoga ma mea faitino e tuʻuina atu i vasega: и .
Ia, o le taimi lenei ou te alu atu ai ma matou faaiuina le tusiga.
O le galuega muamua a le tusitala o le "Aumaia le laina faʻasologa o le faʻasologa i le matrix form"
Mea e fesoasoani ai
1. Tusiga
1) Su'esu'ega toe fa'aaogaina / N. Draper, G. Smith - 2nd ed. – M.: Tupe ma Fuainumera Faamauina, 1986 (faaliliuga mai le Igilisi)
2) A'oa'oga fa'aletonu ma fuainumera fa'a-matematika / V.E. Gmurman - 9th ed. - M.: A'oga Maualuga, 2003
3) A'oa'oga e ono tutupu mai / N.I. Chernova - Novosibirsk: Iunivesite o le Setete o Novosibirsk, 2007
4) Faʻamatalaga pisinisi: mai faʻamatalaga i le malamalama / Paklin N. B., Oreshkov V. I. - 2nd ed. — St. Petersburg: Peteru, 2013
5) Fa'asaienisi Fa'amatalaga Fa'asaienisi fa'amatalaga mai le maoa'e / Joel Gras - St. Petersburg: BHV Petersburg, 2017
6) Fuainumera fa'ata'ita'i mo tagata tomai faapitoa Fa'asaienisi Fa'amatalaga / P. Bruce, E. Bruce - St. Petersburg: BHV Petersburg, 2018
2. Lectures, courses (vitio)
1)
2)
3)
4)
5)
3. Punaoa Initaneti
1)
2)
3)
4)
5)
6)
7)
8)
puna: www.habr.com