I roto i tenei tuhinga, ka wetewetehia e matou nga tatauranga aria mo te huringa nga mahi whakaheke ahorangi в te mahi hurihanga logit inverse (ka kiia ko te mahi urupare logistic). Na, te whakamahi i te patu tikanga tūponotanga mōrahi, i runga i te tauira regression logistic, ka puta mai te mahi mate Ngarohanga Logistic, i etahi atu kupu ranei, ka tautuhia e matou he mahi e kowhiria ai nga tawhā o te vector taumaha i roto i te tauira regression logistic .
Whakahuahua tuhinga:
- Me whakahoki ano te hononga raina i waenga i nga taurangi e rua
- Kia tautuhia te hiahia mo te panoni nga mahi whakaheke ahorangi в mahi urupare logistic
- Me kawe e tatou nga huringa me nga putanga mahi urupare logistic
- Kia ngana tatou ki te mohio he aha te kino o te tikanga tapawha iti rawa ina whiriwhiri tawhā mahi Ngarohanga Logistic
- Ka whakamahia e matou tikanga tūponotanga mōrahi mo te whakatau nga mahi whiriwhiri tawhā :
5.1. Take 1: mahi Ngarohanga Logistic mo nga taonga whai tohu karaehe 0 и 1:
5.2. Take 2: mahi Ngarohanga Logistic mo nga taonga whai tohu karaehe -1 и +1:
Kua whakakiia te tuhinga ki nga tauira ngawari e ngawari ana nga tatauranga katoa ki te mahi ma te waha, ki te pepa ranei; i etahi wa, ka hiahiatia he tatauranga. No reira kia rite :)
Ko tenei tuhinga te mea matua mo nga kaiputaiao raraunga me te taumata tuatahi o te matauranga ki nga kaupapa ako miihini.
Ka tukuna ano e te tuhinga he waehere mo te tuhi kauwhata me nga tatauranga. Kua tuhia nga waehere katoa ki te reo te python 2.7. Me whakamarama ahau i mua mo te "hou" o te putanga kua whakamahia - koinei tetahi o nga tikanga mo te tango i te akoranga rongonui mai i Yandex i runga i te turanga matauranga ipurangi rongonui Coursera, a, ki te whakaaro tetahi, i whakaritea nga rauemi i runga i tenei akoranga.
01. Te ti'aturi i te raina tika
He tino tika te patai - he aha te hononga o te ti'aturi me te regression logistic?
He ngawari noa! Ko te regression logistic tetahi o nga tauira no te whakarōpū rarangi. I roto i nga kupu ngawari, ko te mahi a te whakarōpū raina ko te matapae i nga uara i whaaia mai i ngā taurangi (regressors) . E whakaponohia ana ko te ti'aturi i waenga i nga ahuatanga me nga uara whainga ahorangi. No reira te ingoa o te whakarōpū - linear. Ki te whakamaarama, ko te tauira regression logistic e ahu mai ana i runga i te whakapae he hononga raina kei waenga i nga ahuatanga. me nga uara whainga . Koinei te hononga.
He tauira tuatahi kei roto i te taiwhanga, a, he tika, e pa ana ki te whakawhirinaki tika o nga rahinga e akohia ana. I te wa o te whakarite i te tuhinga, i kite ahau i tetahi tauira kua whakatauhia e te tini o nga tangata - ko te ti'aturi o naianei ki te ngaohiko. (“Tatari whakamuri i whakamahia”, N. Draper, G. Smith). Ka titiro ano tatou ki konei.
Ka rite ki Te ture ohm:
te wahi - te kaha o naianei, - ngaohiko, - ātete.
Mena kaore matou i mohio Te ture o Ohm, katahi ka kitea te whakawhirinakitanga ma te huri me te ine , i te wa e tautoko ana whakaritea. Na ka kite tatou ko te kauwhata whakawhirinaki i ka homai he raina tika atu iti iho ranei ma te takenga mai. Ka kii matou "he nui ake, iti iho ranei" na te mea, ahakoa he tino tika te hononga, kei roto pea i a maatau ine nga hapa iti, na reira kaore pea nga tohu o te kauwhata e taka tika ki te raina, engari ka marara noa atu.
Kauwhata 1 “Tirohanga” i »
Waehere tuhi tūtohi
import matplotlib.pyplot as plt
%matplotlib inline
import numpy as np
import random
R = 13.75
x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
y_line.append(i/R)
y_dot = []
for i in y_line:
y_dot.append(i+random.uniform(-0.9,0.9))
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Actual results')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()02. Te hiahia ki te huri i te wharite whakahekenga rarangi
Ka titiro tatou ki tetahi atu tauira. Me whakaaro tatou kei te mahi tatou i roto i te peeke, ko ta tatou mahi ko te whakatau i te tupono ka utua e te tangata nana te nama te nama i runga i etahi ahuatanga. Hei whakangawari i te mahi, ka whakaarohia e matou nga mea e rua anake: ko te utu o te marama a te kai-nama me te utu o te nama nama.
He tino herenga te mahi, engari ma tenei tauira ka mohio tatou he aha i kore ai e ranea te whakamahi nga mahi whakaheke ahorangi, me te rapu hoki he aha nga huringa hei mahi me te mahi.
Kia hoki ki te tauira. Kei te mohiohia ka nui ake te utu, ka nui ake te kaha o te nama ki te toha ia marama ki te utu i te nama. I te wa ano, mo etahi awhe utu ka noho tonu tenei hononga. Hei tauira, me tango he utu utu mai i te 60.000 RUR ki te 200.000 RUR me te whakaaro kei roto i te awhe utu kua tohua, ko te ti'aturi o te rahi o te utu o ia marama i runga i te rahi o te utu he raina. Me kii mo te awhe utu kua tohua i kitea e kore e taea e te tauwehenga utu-utu-utu ki raro iho i te 3 me te kai-nama me 5.000 RUR tonu te rahui. Na i tenei keehi anake, ka whakaaro tatou ka utua e te tangata nama te nama ki te peeke. Na, ko te wharite whakamuri rarangi ka puta te ahua:
te wahi , , , - moni utu -te tangata nama, - utu nama -te tangata nama.
Te whakakapi i te utu utu me te utu taurewa me nga tawhā kua whakaritea ki roto i te whārite Ka taea e koe te whakatau mena ka whakaputa, ka whakakore ranei i te nama.
Ma te titiro whakamua, ka kite tatou, me nga tawhā kua hoatu mahi whakamuri rārangi, whakamahia i roto i mahi urupare logistic ka whakaputa i nga uara nui ka whakararu i nga tatauranga hei whakatau i nga tupono o te utu nama. No reira, e whakaarohia ana kia whakaitihia a tatou taurangi, me kii, kia 25.000 nga wa. Ko tenei huringa i roto i nga whakarea e kore e whakarereke i te whakatau ki te tuku moni nama. Kia maumahara tatou ki tenei kaupapa mo nga ra kei mua, engari inaianei, kia marama ake ai ta tatou e korero nei, me whai whakaaro tatou ki nga ahuatanga e toru ka taea te nama nama.
Ripanga 1 “Kai tono nama pea”
Waehere mo te whakaputa tepu
import pandas as pd
r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r
data = {'The borrower':np.array(['Vasya', 'Fedya', 'Lesha']),
'Salary':np.array([120000,180000,210000]),
'Payment':np.array([3000,50000,70000])}
df = pd.DataFrame(data)
df['f(w,x)'] = w_0 + df['Salary']*w_1 + df['Payment']*w_2
decision = []
for i in df['f(w,x)']:
if i > 0:
dec = 'Approved'
decision.append(dec)
else:
dec = 'Refusal'
decision.append(dec)
df['Decision'] = decision
df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision']]I runga ano i nga korero i roto i te tepu, ko Vasya, me te utu o te 120.000 RUR, e hiahia ana ki te whiwhi putea kia taea ai e ia te utu i ia marama i te 3.000 RUR. I whakatauhia e maatau kia whakaaetia te nama, ko te utu a Vasya me neke atu i te toru nga wa te nui o te utu, me te 5.000 RUR e toe ana. Ka tutuki a Vasya i tenei whakaritenga: . Ahakoa 106.000 RUR e toe ana. Ahakoa te mea i te wa e tatau ana kua whakaitihia e matou nga waahi 25.000 nga wa, he rite tonu te hua - ka taea te whakaae te nama. Ka whiwhi moni ano a Fedya, engari ko Lesha, ahakoa te mea ka riro i a ia te nuinga, me aukati i ana hiahia.
Me tuhi kauwhata mo tenei keehi.
Tūtohi 2 “Te whakarōpūtanga o te hunga nama”
Waehere mo te tuhi i te kauwhata
salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'],
'o', color ='green', markersize = 12, label = 'Decision - Loan approved')
plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'],
's', color = 'red', markersize = 12, label = 'Decision - Loan refusal')
plt.xlabel('Salary', size = 16)
plt.ylabel('Payment', size = 16)
plt.legend(prop = {'size': 14})
plt.show()Na, to tatou raina tika, i hangaia i runga i te mahi , ka wehe i nga kai-nama "kino" mai i nga "pai". Ko te hunga nama kaore e rite ana o raatau hiahia ki o raatau kaha kei runga ake i te raina (Lesha), ko te hunga, i runga i nga tohu o ta maatau tauira, ka taea te utu i te nama kei raro i te raina (Vasya me Fedya). I etahi atu kupu, ka taea e tatou te kii penei: ko ta tatou raina tika e wehewehe ana i nga kaitono ki nga akomanga e rua. Me tohu tatou e whai ake nei: ki te akomanga Ka whakarōpūhia e matou te hunga nama e tino utu ana i te nama ranei Ka whakaurua e matou te hunga nama kaore e taea te utu i te nama.
Kia whakarāpopotohia nga whakatau mai i tenei tauira ngawari. Me whai whakaaro tatou me te whakakapi i nga taunga o te ira ki te wharite o te raina , whakaarohia e toru nga whiringa:
- Mena kei raro te tohu i te raina ka tohua e matou ki te akomanga , katahi te uara o te mahi ka pai mai ki . Ko te tikanga ka taea e tatou te whakaaro ko te tupono ki te utu i te nama kei roto . Ko te nui o te uara mahi, ka nui ake te tupono.
- Mena kei runga ake tetahi tohu i te rarangi ka tautapa ki te akomanga ranei , ka kino te uara o te mahi mai i ki . Na ka whakaaro tatou kei roto te tupono o te utu nama a, ka nui ake te uara tuturu o te mahi, ka nui ake to tatou maia.
- Ko te tohu kei runga i te raina tika, kei te rohe i waenganui i nga karaehe e rua. I roto i tenei take, te uara o te mahi ka rite ā, he ōrite te tūponotanga ki te utu i te nama .
Inaianei, me whakaaro tatou kaore e rua nga mea, engari he tatini, kaua e toru, engari he mano nga nama. Na hei utu mo te raina tika ka whai tatou ahu-m rererangi me nga taurite e kore matou e tangohia i roto i te rangi kikokore, engari i ahu mai i runga i nga ture katoa, a i runga i te kaupapa o te putu raraunga i runga i te hunga nama kua utua, kua kore ranei i utua te nama. Ae ra, kia mahara kei te kowhiria e matou nga nama nama ma te whakamahi i nga taurangi kua mohiotia . Inaa, ko te mahi a te tauira regression logistic ko te whakatau i nga tawhā , i te mahi te uara o te mate Ngarohanga Logistic ka anga ki te iti rawa. Engari me pehea te tatau i te vector , ka kitea e tatou etahi atu korero i te waahanga 5 o te tuhinga. I tenei wa, ka hoki matou ki te whenua i oatitia - ki to matou putea me ana kaihoko tokotoru.
He mihi ki te mahi e mohio ana matou ko wai ka taea te tuku nama, ko wai me whakakore. Engari kaore e taea e koe te haere ki te kaiwhakahaere me nga korero penei, na te mea i hiahia ratou ki te tiki mai i a maatau te tupono o te utu o te nama a ia nama. Me aha? He ngawari te whakautu - me whakarereke te mahi , ko ona uara kei te awhe ki tetahi mahi ka takoto ona uara ki te awhe . A kei te noho taua mahi, ka kiia te mahi whakautu arorau, te hurihanga hurihuri-raupapa ranei. Hui:
Kia kite a taahiraa i te taahiraa pehea te mahi mahi urupare logistic. Kia mahara ka haere tatou i te huarahi ke, i.e. ka whakaaro tatou e mohio ana tatou ki te uara tūponotanga, kei roto i te awhe mai ki katahi ka "whakarewa" tenei uara ki te katoa o nga tau mai i ki .
03. Ka puta mai i a maatau te mahi urupare logistic
Hipanga 1. Hurihia nga uara tūponotanga ki te awhe
I te huringa o te mahi в mahi urupare logistic Ka waiho e matou to maatau kaitirotiro nama anake ka haere ki te tirotiro i nga kaipupuri pukapuka. Kao, o te akoranga, e kore matou e tuu peti, ko nga mea katoa e pai ana ki a matou ko te tikanga o te korero, hei tauira, ko te tupono ko te 4 ki te 1. Ko nga tupono, e mohio ana ki nga kaitoi katoa, ko te tauwehenga o "angitu" ki " rahunga”. I roto i nga kupu tūponotanga, ko nga taarua ko te tupono ka puta he takahanga wehea ki te tupono karekau i puta. Me tuhi te tauira mo te tupono ka puta mai tetahi huihuinga :
te wahi - te tūponotanga ka puta he takahanga, — te tūponotanga karekau e puta
Hei tauira, mena ko te tupono ka whiua e tetahi hoiho rangatahi, kaha me te purei ko "Veterok" te ingoa ka whiua tetahi kuia kuia ko "Matilda" i te reihi he rite ki , katahi ka whai waahi angitu mo "Veterok". к me te rereke, ma te mohio ki nga ahuatanga, kaore e uaua ki a tatou te tatau i te tupono :
No reira, kua ako matou ki te "whakamaori" tūponotanga ki nga tupono, ka tangohia nga uara mai ki . Kia kotahi ano te hikoi ka ako ki te “whakamaori” te tūponotanga ki te rarangi tau katoa mai i ki .
Hipanga 2. Hurihia nga uara tūponotanga ki te awhe
He tino ngawari tenei taahiraa - me tango te tauritenga o nga taumahatanga ki te turanga o te tau a Euler a ka whiwhi tatou:
Inaianei kua mohio tatou mehemea , ka tatauhia te uara ka tino ngawari, me te mea ano, kia pai: . He pono tenei.
I runga i te hiahia, me titiro tatou me pehea , katahi ka tumanako tatou ka kite i te uara kino . Ka tirohia e matou: . Ka tika.
Inaianei kua mohio tatou ki te huri i te uara tūponotanga mai ki ma te rarangi tau katoa mai i ki . I roto i te taahiraa i muri mai ka mahi tatou i te ritenga.
Mo tenei wa, ka kite tatou i runga i nga tikanga o te taukohiko, me te mohio ki te uara o te mahi , ka taea e koe te tatau i nga taumahatanga:
Ko tenei tikanga mo te whakatau i nga taumahatanga ka whai hua ki a maatau i te waahanga e whai ake nei.
Hipanga 3. Me whakaputa he tauira hei whakatau
Na ka ako matou, ma te mohio , kimi uara mahi . Heoi, i roto i te meka, e hiahia ana tatou i te ritenga - te mohio ki te uara kitea . Ki te mahi i tenei, me tahuri tatou ki tetahi ariā penei i te taumahi rereke rereke, e ai ki tenei:
I roto i te tuhinga kaore matou e whakaputa i te tikanga o runga ake nei, engari ka tirohia ma te whakamahi i nga tau mai i te tauira i runga ake nei. E mohio ana matou me te 4 ki te 1 (), ko te 0.8 te tūponotanga o te takahanga (). Me whakarite he whakakapinga: . E rite ana tenei ki o taatau tataunga i mahia i mua. Me haere tonu tatou.
I te taahiraa whakamutunga i whakatauhia e matou tera , ko te tikanga ka taea e koe te whakakapi i roto i te mahi rerekee. Ka whiwhi tatou:
Wehea te taurite me te taurite ki te , Na:
Ko te take, kia mohio kaore matou i he ki hea, ka mahia e matou tetahi atu tirotiro iti. I te taahiraa 2, ma matou i whakatau i tera . Na, ka whakakapi i te uara ki te mahi urupare logistic, e tumanako ana matou ki te tiki . Ka whakakapi tatou ka whiwhi:
Tena koe, e te kaipanui, katahi ano ka puta me te whakamatau i te mahi whakautu arorau. Me titiro ki te kauwhata o te mahi.
Kauwhata 3 “Mahinga urupare Logistic”
Waehere mo te tuhi i te kauwhata
import math
def logit (f):
return 1/(1+math.exp(-f))
f = np.arange(-7,7,0.05)
p = []
for i in f:
p.append(logit(i))
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()I roto i nga tuhinga ka kitea ano e koe te ingoa o tenei mahi hei mahi sigmoid. E whakaatu marama ana te kauwhata ko te huringa matua o te tupono o tetahi mea no te karaehe ka puta i roto i te awhe iti. , no hea mai ki .
Ka whakaaro ahau kia hoki mai ki ta maatau kaitirotiro nama me te awhina i a ia ki te tatau i te tupono o te utu nama, mena ka tupono ka noho kore he putea :)
Ripanga 2 “Kai tono nama pea”
Waehere mo te whakaputa tepu
proba = []
for i in df['f(w,x)']:
proba.append(round(logit(i),2))
df['Probability'] = proba
df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision', 'Probability']]Na, kua whakatauhia e matou te tupono o te utu nama. I te nuinga o te waa, he pono tenei.
Ae, ko te tupono ka taea e Vasya, me te utu o 120.000 RUR, ki te tuku 3.000 RUR ki te peeke ia marama tata ki te 100%. Ma te ara, me mohio tatou ka taea e te putea te tuku putea ki a Lesha mehemea ka whakaratohia e te kaupapa here a te peeke, hei tauira, mo te tuku moni ki nga kaihoko me te nui atu o te utu o te nama, me kii, 0.3. Ko te mea anake i tenei keehi ka hangaia e te peeke he rahui nui ake mo nga mate ka taea.
Me tohu ano hoki ko te utu utu ki te utu o te iti rawa 3 me te taha o te 5.000 RUR i tangohia mai i te tuanui. Na reira, kaore e taea e matou te whakamahi i te vector o nga taumahatanga ki tona ahua taketake . Me tino whakaitihia e matou nga whakarea, a i tenei keehi ka wehea e matou ia whakarea ki te 25.000, ara, ko te tikanga, i whakatikahia e matou te hua. Engari i mahia tenei hei whakamaarama i te maaramatanga o nga korero i te timatanga. I roto i te ora, kare e hiahia ki te whakaaro me te whakatika i nga taurangi, engari ka kitea. I roto i nga waahanga e whai ake nei o te tuhinga ka puta mai nga wharite e whiriwhiria ai nga tawhā .
04. Tikanga tapawha iti rawa mo te whakatau i te vector o nga taumahatanga i roto i te mahi urupare logistic
Kua mohio tatou ki tenei tikanga mo te kowhiri i te vector o nga taumahatanga , rite tikanga tapawhā iti rawa (LSM) me te pono, he aha tatou e kore ai e whakamahi i roto i nga raru whakarōpūtanga takirua? Ae, kaore he mea e aukati i a koe ki te whakamahi MNC, ko tenei tikanga anake i roto i nga raruraru whakarōpūtanga ka puta nga hua he iti ake te tika Ngarohanga Logistic. He kaupapa whakaaro mo tenei. Tuatahi ka titiro tatou ki tetahi tauira ngawari.
Me whakaaro ko o maatau tauira (ma te whakamahi MSE и Ngarohanga Logistic) kua timata kē ki te kowhiri i te vector o nga taumahatanga a ka whakamutua e matou te tatauranga i tetahi taahiraa. Kaore he mea ahakoa kei waenganui, i te mutunga, i te timatanga ranei, ko te mea nui kei a tatou etahi uara o te vector o nga taumahatanga me te whakaaro i tenei waahanga, ko te vector o nga taumahatanga. mo nga tauira e rua kaore he rereketanga. Na ka tango i nga pauna ka puta, ka whakakapi ki roto mahi urupare logistic () mo etahi mea no te karaehe . Ka tirotirohia e matou nga keehi e rua, i runga i te waahanga o nga taumaha kua tohua, ka pohehe rawa ta matou tauira me te rereke - ka tino maia te tauira no te karaehe te mea . Kia kite tatou he aha nga whaina ka tukuna ina whakamahi MNC и Ngarohanga Logistic.
Waehere ki te tatau whiu i runga i te mahi mate i whakamahia
# класс объекта
y = 1
# вероятность отнесения объекта к классу в соответствии с параметрами w
proba_1 = 0.01
MSE_1 = (y - proba_1)**2
print 'Штраф MSE при грубой ошибке =', MSE_1
# напишем функцию для вычисления f(w,x) при известной вероятности отнесения объекта к классу +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
return math.log(proba/(1-proba))
LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'Штраф Log Loss при грубой ошибке =', LogLoss_1
proba_2 = 0.99
MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))
print '**************************************************************'
print 'Штраф MSE при сильной уверенности =', MSE_2
print 'Штраф Log Loss при сильной уверенности =', LogLoss_2He take pohehe — ka tautapa te tauira i tetahi mea ki tetahi akomanga me te 0,01 te tūponotanga
Te whiu mo te whakamahi MNC ka:
Te whiu mo te whakamahi Ngarohanga Logistic ka:
He take o te tino maia — ka tautapa te tauira i tetahi mea ki tetahi akomanga me te 0,99 te tūponotanga
Te whiu mo te whakamahi MNC ka:
Te whiu mo te whakamahi Ngarohanga Logistic ka:
Ko tenei tauira e whakaatu pai ana mena he hapa nui te mahi ngaro Ngaronga Rangitaki he nui ake te whiu i te tauira MSE. Kia mohio tatou inaianei he aha te papamuri aria mo te whakamahi i te mahi mate Ngaronga Rangitaki i roto i nga raruraru whakarōpūtanga.
05. Tikanga pea morahi me te whakahekenga arorau
Ka rite ki te korero i te timatanga, kua ki tonu te tuhinga i nga tauira ngawari. I roto i te taiwhanga he tauira ano me nga manuhiri tawhito - nga nama putea: Vasya, Fedya me Lesha.
I mua i te whakawhanake i te tauira, me whakamahara ahau ki a koe i roto i te ao kei te mahi tatou i tetahi tauira whakangungu o nga mano tini miriona ranei o nga taonga me nga waahanga tekau, rau ranei. Heoi, i konei ka tangohia nga nama kia pai ai te uru ki te upoko o te kaiputaiao raraunga tauhou.
Kia hoki ki te tauira. Whakaarohia kua whakatauhia e te kaiwhakahaere o te putea ki te tuku putea ki nga tangata katoa e matea ana, ahakoa te mea i kii te algorithm ki a ia kia kaua e tuku ki a Lesha. Na inaianei kua nui te wa ka mohio tatou ko wai o nga toa e toru i utu i te nama a ko wai kaore i utua. He aha te mea e tumanakohia ana: I utua e Vasya raua ko Fedya te nama, engari kaore a Lesha. Inaianei me whakaaro ko tenei hua ka waiho hei tauira whakangungu hou mo tatou, a, i te wa ano, me te mea kua ngaro nga korero katoa mo nga take e awe ana i te utu o te nama (te utu a te kai-nama, te rahi o te utu o ia marama). Na, ma te mohio, ka taea e tatou te whakaaro ko ia tuatoru karekau e utua ana te nama ki te peeke, me etahi atu kupu, ko te tupono ka utua e te kaitango e whai ake nei i te nama. . Ko tenei whakaaro mohio he whakapumautanga aa-a-ria, aa kei runga tikanga tūponotanga mōrahi, i roto i nga tuhinga ka kiia te tino kaupapa pea.
Tuatahi, kia mohio tatou ki te taputapu ariā.
Te tauira tauira ko te tūponotanga o te whiwhi tauira rite, te whiwhi i nga kitenga/hua rite, i.e. te hua o nga tupono ka whiwhi ia o nga tauira tauira (hei tauira, ahakoa i utua te nama a Vasya, Fedya me Lesha, kaore ranei i utua i te wa kotahi).
Mahi tūponotanga e hono ana i te ahua o te tauira ki nga uara o nga tawhā tohatoha.
I roto i ta maatau, ko te tauira whakangungu he kaupapa Bernoulli whanui, e rua noa nga uara o te taurangi matapōkere: ranei . Na reira, ka taea te tuhi i te tauira tūponotanga hei mahi tūponotanga o te tawhā e whai ake nei:
Ka taea te whakamaori i te urunga o runga ake nei. Ko te tūponotanga ka utua e Vasya raua ko Fedya te nama he rite , ko te tūponotanga KORE e utua e Lesha te taurewa he rite ki (i te mea ehara i te utu nama i puta), no reira he rite te tuponotanga o nga huihuinga e toru. .
Tikanga tūponotanga mōrahi he tikanga mo te whakatau tata i te tawhā unknown ma te whakanui mahi tūponotanga. I roto i to maatau, me rapu e tatou he uara penei , kei hea ka eke ki tona teitei.
No hea te tino whakaaro - ki te rapu i te uara o te tawhā e kore e mohiotia e eke ai te mahi tupono ki te teitei? Ko te takenga mai o te whakaaro i ahu mai i te whakaaro ko te tauira anake te puna matauranga e waatea ana ki a tatou mo te taupori. Ko nga mea katoa e mohio ana matou mo te taupori ka whakaatuhia ki te tauira. No reira, ko te mea noa ko te tauira te tino whakaata o te taupori e waatea ana ki a tatou. Na reira, me rapu tawhā e taea ai te tauira e waatea ana te tino tupono.
Maamaa, kei te pa atu tatou ki tetahi raru arotautanga e hiahia ana tatou ki te rapu i te pito tino nui o tetahi mahi. Ki te kimi i te ira teitei, me whai whakaaro ki te ahua o te raupapa tuatahi, ara, te whakaorite i te paheketanga o te mahi ki te kore me te whakaoti i te whārite ki te tawhā e hiahiatia ana. Heoi, he mahi roa te rapu i te hua o te hua o te maha o nga ahuatanga; hei karo i tenei, he tikanga motuhake - te huri ki te logarithm. mahi tūponotanga. He aha i taea ai te whakawhiti pera? Kia whai whakaaro tatou ki te kore e rapua e tatou te tino kaha o te mahi, me te ira teitei, ara, te uara o te tawhā e kore e mohiotia , kei hea ka eke ki tona teitei. Ina neke ki te taukohiko, karekau e rerekee te pito o te pito (ahakoa ka rerekee te pito rawa), i te mea he mahi monotoni te taukohiko.
Kia rite ki nga korero o runga ake nei, ka haere tonu ki te whakawhanake i to maatau tauira me nga putea mai i a Vasya, Fedya me Lesha. Tuatahi ka haere tatou ki te logarithm o te mahi tūponotanga:
Inaianei ka ngawari te wehewehe i te korero na :
Ka mutu, whakaarohia te tikanga ota-tuatahi - ka whakatauritehia te paheketanga o te mahi ki te kore:
No reira, ko ta matou whakatau tata mo te tupono o te utu nama i tika te whakaaro.
He pai, engari me aha tatou ki enei korero inaianei? Ki te whakaaro tatou karekau ia tuatoru o nga kai-nama e whakahoki i nga moni ki te peeke, kare e kore ka kaihau. E tika ana, engari i te wa e aromatawai ana i te tupono o te utu nama e rite ana ki Kaore matou i whai whakaaro ki nga take e awe ana i te utu nama: te utu a te kai-nama me te rahi o te utu ia marama. Kia maumahara tatou i tatau i mua i te tupono o te utunga o te nama a ia kaihoko, me te whakaaro ano ki enei ahuatanga. He arorau i whiwhi tatou i nga tuponotanga rereke mai i te rite tonu .
Me tautuhi i te tupono o nga tauira:
Waehere mo te tatau tauira tūponotanga
from functools import reduce
def likelihood(y,p):
line_true_proba = []
for i in range(len(y)):
ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
line_true_proba.append(ltp_i)
likelihood = []
return reduce(lambda a, b: a*b, line_true_proba)
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]
print 'Правдоподобие выборки при константном значении p=2/3:', round(likelihood(y,p_const),3)
print '****************************************************************************************************'
print 'Правдоподобие выборки при расчетном значении p:', round(likelihood(y,p_log_response),3)Tauira tūponotanga i te uara tonu :
Ko te tauira pea i te wa e tatau ana i te tupono o te utu nama nama me te whakaaro ki nga ahuatanga :
Ko te tūponotanga o tētahi tauira whai tūponotanga kua tātaihia i runga i ngā āhuatanga i kitea he teitei ake i te tūponotanga me te uara tūponotanga tonu. He aha te tikanga o tenei? E tohu ana tenei na te mohiotanga mo nga take i taea ai te whiriwhiri tika i te tupono o te utu nama mo ia kaihoko. No reira, i te wa e tuku ana i te taurewa e whai ake nei, he pai ake te whakamahi i te tauira e whakaarohia ana i te mutunga o te wahanga 3 o te tuhinga hei aromatawai i te tupono o te utu nama.
Engari, ki te hiahia tatou ki te whakanui ake tauira mahi tūponotanga, na te aha e kore ai e whakamahi i etahi algorithm ka whakaputa i nga tupono mo Vasya, Fedya me Lesha, hei tauira, he rite ki te 0.99, 0.99 me te 0.01. Akene ka pai te mahi o taua algorithm i runga i te tauira whakangungu, na te mea ka tata atu te uara o te tauira , engari, i te tuatahi, ka raru pea tenei momo hātepee me te kaha ki te whaanui, tuarua, karekau tenei algorithm e taurangi. A, ki te kore e uru ki roto i te mahere o tenei tuhinga nga tikanga mo te whakaeke i te whakangungu nui (he ngoikore te kaha o te whaanui), katahi ka haere maatau ki te waahanga tuarua. Ki te mahi i tenei, whakautu noa i tetahi patai ngawari. Ka rite pea te tupono o Vasya raua ko Fedya ki te utu i te nama, me te whakaaro ki nga mea e mohiotia ana e tatou? Mai i te tirohanga o te arorau oro, kaore, kaore e taea. Na ka utua e Vasya te 2.5% o tana utu i ia marama ki te utu i te nama, me Fedya - tata ki te 27,8%. I roto ano i te kauwhata 2 "Whakaritenga Kiritaki" ka kite tatou he nui atu a Vasya mai i te raina e wehe ana i nga karaehe atu i a Fedya. Ka mutu, ka mohio tatou ko te mahi mo Vasya me Fedya he rereke nga uara: 4.24 mo Vasya me 1.0 mo Fedya. Inaianei, mena ko Fedya, hei tauira, ka nui ake te ota, ka tono ranei mo te nama iti ake, ka rite nga tupono ki te utu i te nama mo Vasya me Fedya. I etahi atu kupu, kaore e taea te whakapohehe i te ti'aturi raina. A, ki te tino tatau tatou i nga taumahatanga , a kaore i tangohia mai i te hau angiangi, ka taea e taatau te kii ko o taatau uara Ko te mea pai ka taea e matou te whakatau tata ki te utunga o te nama e ia tangata nama, engari i te mea i whakaae matou ki te whakaaro ko te whakatau o nga taurewa. i mahia i runga i nga tikanga katoa, katahi ka penei - ka taea e o taatau whakarea te whakatau tata ake mo te tupono :)
Heoi, ka kee matou. I tenei waahanga me maarama me pehea te whakatau i te vector o nga taumahatanga , e tika ana ki te aromatawai i te tupono o te utunga o te nama e ia nama.
Kia poto tatou ki te whakarapopoto me te aha ta tatou e haere ana ki te rapu i nga raru :
1. Ki ta matou whakaaro ko te hononga i waenga i te taurangi i whaaia (te uara matapae) me te tauwehe e awe ana i te hua he raina. Mo konei ka whakamahia mahi whakamuri rārangi momo , ko te raina e wehewehe ana i nga taonga (kiritaki) ki nga karaehe и ranei (nga kaihoko e kaha ana ki te utu i te nama me te hunga karekau). I roto i to maatau, kei te wharite te ahua .
2. Ka whakamahia e maatau mahi logit kōaro momo ki te whakatau i te tūponotanga o tētahi mea nō tētahi karaehe .
3. Ka whakaarohia e matou ta matou huinga whakangungu hei whakatinanatanga o te kaupapa whanui Nga kaupapa Bernoulli, ara, mo ia ahanoa ka hangaia he taurangi matapōkere, me te tūponotanga (nana ake mo ia mea) ka tango i te uara 1 me te tupono - 0.
4. E mohio ana tatou ki nga mea e tika ana kia whakanuia tauira mahi tūponotanga ka whai whakaaro ki nga mea e whakaaetia ana kia pai ake ai te tauira e waatea ana. I etahi atu kupu, me kowhiria nga tawhā e tino pai ai te tauira. I roto i to maatau, ko te tawhā kua tohua ko te tupono o te utu nama , e ti'aturi ana i runga i nga whakarea e kore e mohiotia . No reira me rapu tatou i taua vector o nga taumahatanga , ka nui ake te tupono o te tauira.
5. E mohio ana matou he aha te whakanui ake tauira mahi tūponotanga Ka taea e koe te whakamahi tikanga tūponotanga mōrahi. A e mohio ana matou ki nga mahi tinihanga katoa hei mahi me tenei tikanga.
Koinei te ahua o te nekehanga maha-taahiraa :)
Inaianei kia mahara i te timatanga o te tuhinga i hiahia matou ki te whakaputa i nga momo mahi ngaro e rua Ngarohanga Logistic i runga i te ahua o te tohu o nga karaehe ahanoa. I tupu i roto i nga raruraru whakarōpūtanga me nga karaehe e rua, ka tohuhia nga karaehe hei и ranei . I runga i te tuhipoka, ka whai mahi ngaronga rite te putanga.
Take 1. Te whakarōpūtanga o nga mea ki roto и
I mua, i te wa e whakatau ana i te tupono o tetahi tauira, i tatauria ai te utunga nama a te kai-nama i runga i nga ahuatanga me nga whakareatanga. , i whakamahia e matou te tauira:
I roto i te meka ko te tikanga mahi urupare logistic mo tetahi vector o nga taumahatanga
Na kaore he mea e aukati i a maatau ki te tuhi i te tauira mahi tupono penei:
I etahi wa he uaua mo etahi kaitätari tauhou ki te mohio tonu me pehea te mahi o tenei mahi. Kia titiro tatou ki nga tauira poto e 4 hei whakamarama i nga mea katoa:
1. ki te (arā, e ai ki te tauira whakangungu, no te karaehe +1 te ahanoa), me to tatou algorithm ka whakatau i te tūponotanga o te whakarōpū i tētahi mea ki tētahi akomanga e rite ana ki te 0.9, katahi ka tatauhia tenei waahanga tauira e whai ake nei:
2. ki te a , ka penei te tatauranga:
3. ki te a , ka penei te tatauranga:
4. ki te a , ka penei te tatauranga:
E kitea ana ka nui ake te mahi tupono i roto i nga keehi 1 me te 3, i roto ranei i te keehi whanui - me nga uara matapae tika o te tupono ki te tautapa i tetahi mea ki tetahi karaehe. .
Nā te mea i te wā e whakatau ana i te tūponotanga o te tuku ahanoa ki te karaehe Kare noa matou e mohio ki nga whakarea , katahi ka rapua e tatou. Ka rite ki te korero i runga ake nei, he rapanga arotautanga tenei, me rapu tuatahi tatou i te paheketanga o te mahi tupono e pa ana ki te vector o nga taumahatanga. . Heoi, i te tuatahi he mea tika ki te whakangawari i te mahi ma tatou ake: ka rapu tatou mo te whakaputanga o te logarithm. mahi tūponotanga.
He aha i muri i te logarithm, in mahi hapa logistic, i hurihia e matou te tohu mai i i runga i . He ngawari nga mea katoa, na te mea i roto i nga raru o te aromatawai i te kounga o te tauira he tikanga ki te whakaiti i te uara o tetahi mahi, ka whakareatia e matou te taha matau o te korero ki na reira, hei utu mo te whakanui, inaianei ka whakaitihia te mahi.
Inaianei, i mua i ou kanohi, i puta mai te mahi mate - Ngarohanga Logistic mo te huinga whakangungu me nga akomanga e rua: и .
Inaianei, ki te kimi i nga whakarea, me rapu noa te pärönaki mahi hapa logistic katahi, ma te whakamahi i nga tikanga arotautanga tau, penei i te heke rōnaki, te hekenga rōnaki stochastic ranei, tīpakohia te whakarea tino pai . Engari, i runga i te nui o te pukapuka o te tuhinga, e whakaarohia ana kia mahia e koe te wehewehenga i a koe ano, tera pea ka waiho hei kaupapa mo te tuhinga e whai ake nei me te maha o nga tatauranga kaore he tauira taipitopito.
Take 2. Te whakarōpūtanga o nga mea ki roto и
Ko te huarahi i konei ka rite ki nga karaehe и , engari ko te ara ake ki te putanga o te mahi mate Ngarohanga Logistic, ka nui ake te whakapaipai. Kia timata tatou. Mo te mahi pea ka whakamahia e matou te kaiwhakahaere "mehemea... na..."... Ko, ki te No te akomanga te mea th , kātahi ka tātai i te tūponotanga o te tauira ka whakamahia te tūponotanga , mehemea no te karaehe te mea , ka whakakapihia e tatou ki te tupono . Koinei te ahua o te mahi tupono:
Me whakaatu ki o tatou maihao pehea te mahi. Ka whakaarohia e 4 nga keehi:
1. ki te и , ka "haere" te tauira tauira
2. ki te и , ka "haere" te tauira tauira
3. ki te и , ka "haere" te tauira tauira
4. ki te и , ka "haere" te tauira tauira
Ka kitea i roto i nga keehi 1 me te 3, i te wa i whakatau tikahia nga tupono e te algorithm, mahi tūponotanga ka whakanuia ake, ara, koinei tonu ta matou i hiahia ai. Heoi, he tino uaua tenei huarahi, a ka whai ake nei ka whakaarohia e tatou he tuhipoka kiato. Engari ko te tuatahi, me whakatairitehia te mahi tuponotanga me te huringa o te tohu, inaianei ka whakaitihia e tatou.
Me whakakapi kīanga :
Kia whakangwarihia te kupu tika i raro i te taukohiko ma te whakamahi i nga tikanga taunga ngawari ka whiwhi:
Inaianei kua tae ki te wa ki te whakakore i te kaiwhakahaere "mehemea... na...". Kia mahara ka he ahanoa no te karaehe , katahi ki te whakahua i raro i te taukohiko, i roto i te taurangi, whakaarahia ki te kaha , mehemea no te karaehe te mea , katahi ka hikina a $e$ ki te mana . Na reira, ko te tohu tohu mo te tohu ka taea te ngawari ma te whakakotahi i nga keehi e rua ki te kotahi: . Kātahi mahi hapa logistic ka tango i te ahua:
I runga ano i nga ture o te logarithm, ka huri tatou i te hautau ka puta te tohu ""(minus) mo te logarithm, ka whiwhi tatou:
Anei te mahi mate ngaronga logistic, ka whakamahia i roto i te huinga whakangungu me nga mea kua tohua ki nga karaehe: и .
Kaati, i tenei wa ka waiho ahau ka mutu te tuhinga.
Ko te mahi a te kaituhi o mua ko "Te kawe i te wharite regression linear into matrix form"
Nga rauemi awhina
1. Ngahau
1) Te wetewete regression tono / N. Draper, G. Smith - 2nd ed. – M.: Pūtea me te Tauanga, 1986 (whakamaoritanga mai i te reo Ingarihi)
2) Te ariā tūponotanga me te tatauranga pāngarau / V.E. Gmurman - 9th ed. - M.: Te Kura Tuarua, 2003
3) Te ariā tūponotanga / N.I. Chernova - Novosibirsk: Novosibirsk State University, 2007
4) Te tātari pakihi: mai i te raraunga ki te matauranga / Paklin N. B., Oreshkov V. I. - 2nd ed. — St. Petersburg: Pita, 2013
5) Pūtaiao Raraunga Pūtaiao raraunga mai i te wahanga / Joel Gras - St. Petersburg: BHV Petersburg, 2017
6) Nga tatauranga whaitake mo nga tohunga mo te Pūtaiao Raraunga / P. Bruce, E. Bruce - St. Petersburg: BHV Petersburg, 2018
2. Akoranga, akoranga (ataata)
1)
2)
3)
4)
5)
3. puna ipurangi
1)
2)
3)
4)
5)
6)
7)
8)
Source: will.com