Artikulu honetan, transformazioaren kalkulu teorikoak aztertuko ditugu erregresio lineala funtzioak Π² alderantzizko logit transformazio-funtzioa (bestela erantzun logistikoa deitzen zaio). Gero, armategia erabiliz gehieneko probabilitate metodoa, erregresio logistikoaren ereduaren arabera, galera-funtzioa ateratzen dugu Galera logistikoa, edo bestela esanda, erregresio logistikoko ereduan pisu-bektorearen parametroak hautatzen dituen funtzio bat definituko dugu. .
Artikuluaren eskema:
- Errepikatu dezagun bi aldagairen arteko erlazio lineala
- Antzeman dezagun eraldaketaren beharra erregresio lineala funtzioak Π² erantzun logistikoko funtzioa
- Egin ditzagun eraldaketak eta irteerak erantzun logistikoko funtzioa
- Saia gaitezen ulertzen zergatik den txarra karratu txikienen metodoa parametroak hautatzerakoan funtzio Galera logistikoa
- Erabiltzen dugu gehieneko probabilitate metodoa zehazteko parametroak aukeratzeko funtzioak :
5.1. 1. kasua: funtzioa Galera logistikoa klase izendapenak dituzten objektuetarako 0 ΠΈ 1:
5.2. 2. kasua: funtzioa Galera logistikoa klase izendapenak dituzten objektuetarako -1 ΠΈ +1:
Artikulua adibide errazez beteta dago, zeinetan kalkulu guztiak ahoz edo paperean egiteko errazak diren; kasu batzuetan, kalkulagailua behar da. Beraz, prest :)
Artikulu hau, batez ere, ikaskuntza automatikoaren oinarrietan hasierako ezagutza maila duten datu-zientzialariei zuzenduta dago.
Artikuluak grafikoak eta kalkuluak marrazteko kodea ere emango du. Kode guztia hizkuntzan idatzita dago 2.7. pitonoa. Utzidazu aldez aurretik erabilitako bertsioaren "berritasuna" azaltzen - hau da ikastaro ezaguna egiteko baldintzetako bat. Yandex lineako hezkuntza plataforma berdin ezagun batean Coursera, eta, pentsa zitekeen moduan, materiala ikastaro honetan oinarrituta prestatu zen.
01. Zuzeneko menpekotasuna
Nahiko arrazoizkoa da galdera egitea: zer zerikusi dute menpekotasun linealak eta erregresio logistikoak?
Sinplea da! Erregresio logistikoa sailkatzaile linealari dagokien ereduetako bat da. Hitz sinpleetan, sailkatzaile lineal baten zeregina helburu-balioak aurreikustea da aldagaietatik (erregressores) . Ezaugarrien arteko menpekotasuna dela uste da eta helburu-balioak lineala. Hortik dator sailkatzailearen izena - lineala. Oso gutxi gorabehera, erregresio logistikoaren eredua ezaugarrien artean erlazio lineal bat dagoela suposatzen du. eta helburu-balioak . Hau da konexioa.
Estudioan dago lehenengo adibidea, eta, zuzen, aztertzen ari diren kantitateen menpekotasun zuzenari buruzkoa da. Artikulua prestatzeko prozesuan, jada jende asko kolokan jarri duen adibide batekin egin nuen topo: korrontearen menpekotasuna tentsioarekiko. ("Aplikaturiko erregresio-analisia", N. Draper, G. Smith). Hemen ere aztertuko dugu.
Arabera Ohm-en legea:
Non - egungo indarra, - Tentsioa, - erresistentzia.
Ez bagenuen Ohmen legea, orduan mendekotasuna enpirikoki aurkitu genezake aldatuz eta neurtzea , onartzen duen bitartean finkoa. Orduan ikusiko genuke mendekotasun grafikoa tik jatorritik zuzen gehiago edo gutxiago ematen du. βGehiago edo gutxiagoβ esaten dugu zeren, erlazioa benetan zehatza den arren, gure neurketek errore txikiak izan ditzakete eta, hortaz, baliteke grafikoko puntuak zuzenaren gainean ez erortzea, ausaz sakabanatuta egongo direlako.
1. grafikoa "Menpekotasuna" tik Β»
Diagrama marrazteko kodea
import matplotlib.pyplot as plt
%matplotlib inline
import numpy as np
import random
R = 13.75
x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
y_line.append(i/R)
y_dot = []
for i in y_line:
y_dot.append(i+random.uniform(-0.9,0.9))
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Actual results')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()02. Erregresio linealaren ekuazioa eraldatzeko beharra
Ikus dezagun beste adibide bat. Imajina dezagun banku batean lan egiten dugula eta gure zeregina mailegu-hartzaileak faktore batzuen arabera mailegua itzultzeko duen probabilitatea zehaztea dela. Zeregin errazteko, bi faktore baino ez ditugu kontuan hartuko: mailegu-hartzailearen hileko soldata eta hileko maileguaren itzulketa zenbatekoa.
Zeregin oso baldintzatua da, baina adibide honekin uler dezakegu zergatik ez den nahikoa erabiltzea erregresio lineala funtzioak, eta funtzioarekin zer transformazio egin behar diren ere ezagutu.
Itzuli gaitezen adibidera. Ulertzen da zenbat eta soldata handiagoa izan, orduan eta gehiago bideratu ahal izango duela maileguak hilero mailegua itzultzeko. Aldi berean, soldata tarte jakin baterako erlazio hori nahiko lineala izango da. Adibidez, har dezagun 60.000 RUR-tik 200.000 RUR arteko soldata-tartea eta demagun zehaztutako soldata-tartean, hileko ordainketaren tamaina soldataren tamainarekin duen menpekotasuna lineala dela. Demagun zehaztutako soldata-tarterako agerian geratu zela soldata-ordainketen ratioa ezin dela 3tik behera jaitsi eta mailegu-hartzaileak oraindik 5.000 RUR izan behar dituela erreserban. Eta kasu honetan bakarrik, mailegu-hartzaileak bankuari mailegua itzuliko diola suposatuko dugu. Orduan, erregresio linealaren ekuazioak honela hartuko du:
non , , , - soldata -garren mailegu-hartzailea, - maileguaren ordainketa -garren mailegua.
Soldata eta maileguaren ordainketa parametro finkoekin ordezkatzea ekuazioan Mailegu bat eman edo ukatu erabaki dezakezu.
Aurrera begira, ohartzen gara, emandako parametroekin erregresio lineala funtzioa, urtean erabilia erantzun logistikoko funtzioak maileguak itzultzeko probabilitateak zehazteko kalkuluak zailduko dituzten balio handiak sortuko ditu. Horregatik, gure koefizienteak, demagun, 25.000 aldiz murriztea proposatzen da. Koefizienteen eraldaketa horrek ez du mailegua emateko erabakia aldatuko. Gogora dezagun puntu hau etorkizunerako, baina orain, zertaz ari garen are argiago gera dadin, kontuan izan dezagun balizko hiru mailegudunen egoera.
1. Taula "Harri-hartzaileak"
Taula sortzeko kodea
import pandas as pd
r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r
data = {'The borrower':np.array(['Vasya', 'Fedya', 'Lesha']),
'Salary':np.array([120000,180000,210000]),
'Payment':np.array([3000,50000,70000])}
df = pd.DataFrame(data)
df['f(w,x)'] = w_0 + df['Salary']*w_1 + df['Payment']*w_2
decision = []
for i in df['f(w,x)']:
if i > 0:
dec = 'Approved'
decision.append(dec)
else:
dec = 'Refusal'
decision.append(dec)
df['Decision'] = decision
df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision']]Taulan agertzen diren datuen arabera, Vasyak, 120.000 RUR-ko soldatarekin, mailegu bat jaso nahi du, hilero 3.000 RURtan itzultzeko. Mailegua onartzeko, Vasyaren soldatak ordainketaren zenbatekoa baino hiru aldiz handiagoa izan behar duela zehaztu genuen, eta oraindik 5.000 RUR falta direla. Vasyak baldintza hau betetzen du: . 106.000 RUR ere geratzen dira. Izan ere, kalkulatzerakoan probabilitateak murriztu ditugu 25.000 aldiz, emaitza bera izan zen: mailegua onar daiteke. Fedyak ere mailegu bat jasoko du, baina Leshak, gehien jasotzen duen arren, gosea moztu beharko du.
Marraz dezagun grafiko bat kasu honetarako.
2. grafikoa "Mailegatzaileen sailkapena"
Grafikoa marrazteko kodea
salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'],
'o', color ='green', markersize = 12, label = 'Decision - Loan approved')
plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'],
's', color = 'red', markersize = 12, label = 'Decision - Loan refusal')
plt.xlabel('Salary', size = 16)
plt.ylabel('Payment', size = 16)
plt.legend(prop = {'size': 14})
plt.show()Beraz, gure zuzena, funtzioaren arabera eraikia , mailegu-hartzaile "txar"etatik "onak" bereizten ditu. Beren nahiak beren gaitasunekin bat ez datozen mailegu-hartzaileak lerroaren gainetik daude (Lesha), eta, gure ereduaren parametroen arabera, mailegua itzultzeko gai direnak lerroaren azpian daude (Vasya eta Fedya). Bestela esanda, hau esan dezakegu: gure zuzeneko lerroak mailegu-hartzaileak bi klasetan banatzen ditu. Adierazi ditzagun honela: klasera Maileguak itzultzeko aukera gehien duten mailegu-hartzaileak honela sailkatuko ditugu edo Ziurrenik mailegua amortizatu ezin izango duten mailegu-hartzaileak sartuko ditugu.
Labur ditzagun adibide sinple honetatik ateratako ondorioak. Har dezagun puntu bat eta, puntuaren koordenatuak zuzenaren dagokion ekuazioan ordezkatuz , kontuan hartu hiru aukera:
- Puntua lerroaren azpian badago eta klaseari esleitzen diogu , orduan funtzioaren balioa positiboa izango da to . Horrek esan nahi du mailegua itzultzeko probabilitatea barruan dagoela suposatu dezakegula . Funtzioaren balioa zenbat eta handiagoa izan, orduan eta probabilitate handiagoa.
- Puntu bat zuzen baten gainean badago eta klaseari esleitzen diogu edo , orduan funtzioaren balioa negatiboa izango da to . Orduan, zorra itzultzeko probabilitatea barruan dagoela suposatuko dugu eta, zenbat eta handiagoa izan funtzioaren balio absolutua, orduan eta handiagoa da gure konfiantza.
- Puntua zuzen batean dago, bi klaseen arteko mugan. Kasu honetan, funtzioaren balioa berdina izango da eta mailegua itzultzeko probabilitatea berdina da .
Orain, pentsa dezagun ez ditugula bi faktore, dozenaka baizik, eta ez hiru, milaka mailegu baizik. Orduan lerro zuzen baten ordez izango dugu m-dimentsioa planoa eta koefizienteak ez gara hutsetik aterako, arau guztien arabera eratorritakoak baizik, eta mailegua itzuli duten edo ez duten mailegu-hartzaileei buruzko metatutako datuen arabera. Eta, hain zuzen ere, kontuan izan orain mailegu-hartzaileak hautatzen ari garela dagoeneko ezagunak diren koefizienteak erabiliz . Izan ere, erregresio logistikoaren ereduaren zeregina parametroak zehaztea da, hain zuzen , zeinetan galera funtzioaren balioa Galera logistikoa minimora joko du. Baina bektorea nola kalkulatzen den , artikuluaren 5. atalean gehiago jakingo dugu. Bitartean, agindutako lurrera itzuliko gara, gure bankari eta bere hiru bezeroengana.
Funtzioari esker badakigu nori eman daitekeen mailegua eta nori uko egin behar zaion. Baina ezin zara zuzendariarengana joan informazio horrekin, mailegu bakoitzak maileguaren itzultzeko probabilitatea jaso nahi baitzuten guregandik. Zer egin? Erantzuna erraza da - funtzioa nolabait eraldatu behar dugu , zeinen balioak tartean dauden balioak barrutian egongo diren funtzio bati . Eta halako funtzio bat existitzen da, deitzen zaio erantzun logistikoko funtzioa edo logit alderantzizko transformazioa. Ezagutu:
Ikus dezagun urratsez urrats nola funtzionatzen duen erantzun logistikoko funtzioa. Kontuan izan kontrako noranzkoan ibiliko garela, hau da. probabilitatearen balioa ezagutzen dugula suposatuko dugu, hau da, tartean dagoen to eta, ondoren, balio hori zenbaki sorta osora "desegin" egingo dugu to .
03. Erantzun logistikoen funtzioa eratortzen dugu
1. urratsa. Bihurtu probabilitate-balioak tarte batean
Funtzioaren eraldaketan zehar Π² erantzun logistikoko funtzioa Gure kreditu-analista bakean utziko dugu eta, horren ordez, bira bat egingo dugu bookmakers. Ez, noski, ez dugu apusturik egingo, hor interesatzen zaigun guztia esamoldearen esanahia da, adibidez, aukera 4 eta 1 da. Apustu guztientzat ezagunak diren probabilitateak "arrakasta" eta "" ratioa dira. porrotakβ. Probabilitate terminoetan, odds gertaera bat gertatzeko probabilitatea zatituta gertaera ez gertatzeko probabilitatea da. Idatzi dezagun gertaera bat gertatzeko aukeraren formula :
Non - Gertaera bat gertatzeko probabilitatea, β Gertaera bat EZ gertatzeko probabilitatea
Esaterako, "Veterok" ezizena den zaldi gazte, indartsu eta jostalari batek lasterketa batean "Matilda" izeneko atso zahar bat irabazteko probabilitatea berdina bada. , orduan βVeterokβ-en arrakasta izateko aukerak izango dira ΠΊ eta alderantziz, probabilitateak ezagututa, ez zaigu zaila izango probabilitatea kalkulatzea :
Horrela, probabilitatea aukeretara "itzultzen" ikasi dugu, balioak hartzen dituztenak to . Eman dezagun urrats bat gehiago eta ikas dezagun probabilitatea zenbaki-zuzen osora "itzultzen". to .
2. urratsa. Bihurtu probabilitate-balioak tarte batean
Urrats hau oso erraza da - har dezagun odds-en logaritmoa Euler-en zenbakiaren oinarrira. eta lortzen dugu:
Orain badakigu bada , gero kalkulatu balioa oso erraza izango da eta, gainera, positiboa izan beharko luke: . Hau egia da.
Jakin-minagatik, egiazta dezagun zer bada , orduan balio negatibo bat ikustea espero dugu . Egiaztatzen dugu: . Hori bai.
Orain badakigu nola bihurtu probabilitatearen balioa to zenbaki-lerro osoan zehar to . Hurrengo urratsean kontrakoa egingo dugu.
Oraingoz, ohartzen gara logaritmoaren arauen arabera, funtzioaren balioa ezagututa , probabilitateak kalkula ditzakezu:
Odds zehazteko metodo hau erabilgarria izango zaigu hurrengo urratsean.
3. urratsa. Erator dezagun formula bat zehazteko
Beraz, ikasi genuen, jakinda , aurkitu funtzioen balioak . Hala ere, egia esan, justu kontrakoa behar dugu - balioa jakitea aurkitu . Horretarako, alderantzizko odds funtzioa bezalako kontzeptu batera jo dezagun, zeinaren arabera:
Artikuluan ez dugu goiko formula aterako, baina goiko adibideko zenbakiak erabiliz egiaztatuko dugu. Badakigu 4 eta 1eko probabilitatearekin (), gertaera gertatzeko probabilitatea 0.8 da (). Egin dezagun ordezkapena: . Hori bat dator lehenago egindako kalkuluekin. Goazen aurrera.
Azken urratsean hori ondorioztatu genuen , horrek esan nahi du ordezkapen bat egin dezakezula alderantzizko odds funtzioan. Lortzen dugu:
Zatitu zenbakitzailea eta izendatzailea , Gero:
Badaezpada, inon akatsik egin ez dugula ziurtatzeko, egin dezagun egiaztapen txiki bat gehiago. 2. urratsean, dugu hori zehaztu zuen . Ondoren, balioa ordezkatuz erantzun logistikoko funtzioan sartzea espero dugu . Ordezkatu eta lortzen dugu:
Zorionak, irakurle maitea, erantzun logistikoen funtzioa eratorri eta probatu berri dugu. Ikus dezagun funtzioaren grafikoa.
3. grafikoa "Erantzun logistikoen funtzioa"
Grafikoa marrazteko kodea
import math
def logit (f):
return 1/(1+math.exp(-f))
f = np.arange(-7,7,0.05)
p = []
for i in f:
p.append(logit(i))
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()Literaturan funtzio honen izena bezala ere aurki dezakezu funtzio sigmoidea. Grafikoak argi erakusten du klase bateko objektu baten probabilitatearen aldaketa nagusia nahiko tarte txiki batean gertatzen dela. , nonbaitetik to .
Gure kreditu analistarengana itzultzea gomendatzen dut eta mailegua itzultzeko probabilitatea kalkulatzen laguntzea, bestela bonusik gabe geratzeko arriskua du :)
2. Taula "Harri-hartzaileak"
Taula sortzeko kodea
proba = []
for i in df['f(w,x)']:
proba.append(round(logit(i),2))
df['Probability'] = proba
df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision', 'Probability']]Beraz, mailegua itzultzeko probabilitatea zehaztu dugu. Oro har, badirudi hori egia dela.
Izan ere, Vasyak, 120.000 RUR-eko soldatarekin, hilero bankuari 3.000 RUR emateko gai izateko probabilitatea %100etik gertu dago. Bide batez, ulertu behar dugu bankuak Lesha-ri mailegu bat eman diezaiokeela bankuaren politikak, adibidez, 0.3 baino gehiagoko maileguak itzultzeko probabilitatea duten bezeroei maileguak ematea aurreikusten badu. Besterik da kasu honetan bankuak erreserba handiagoa sortuko duela balizko galeretarako.
Kontuan izan behar da, halaber, gutxienez 3ko eta 5.000 RUR-ko marjina duen soldata-ordainketa ratioa sabaitik hartu zela. Beraz, ezin izan dugu pisuen bektorea jatorrizko forman erabili . Koefizienteak asko murriztu behar genituen, eta kasu honetan koefiziente bakoitza 25.000z zatitu genuen, hau da, funtsean, emaitza egokitu genuen. Baina hori bereziki hasierako fasean materialaren ulermena errazteko egin zen. Bizitzan, ez dugu koefizienteak asmatu eta egokitu beharko, aurkitu baizik. Artikuluaren hurrengo ataletan parametroak hautatzen dituzten ekuazioak aterako ditugu .
04. Pisuen bektorea zehazteko karratu txikienen metodoa erantzun logistikoko funtzioan
Dagoeneko ezagutzen dugu pisuen bektore bat hautatzeko metodo hau Bezala Karratu minimoen metodoa (LSM) eta hain zuzen ere, zergatik ez dugu orduan erabiltzen sailkapen bitar-problemetan? Izan ere, ezerk ez dizu erabiltzea eragozten MNC, metodo honek soilik sailkapen-problemetan baino zehatzagoak diren emaitzak ematen ditu Galera logistikoa. Horretarako oinarri teoriko bat dago. Ikus dezagun lehenik adibide sinple bat.
Demagun gure ereduak (erabiliz MSE ΠΈ Galera logistikoa) dagoeneko hasi dira pisuen bektorea hautatzen eta pausoren batean kalkulua gelditu genuen. Berdin du erdialdean, amaieran edo hasieran, gauza nagusia da dagoeneko baditugula pisuen bektorearen balio batzuk eta demagun urrats honetan pisuen bektorea dela. bi ereduetarako ez dago alderik. Ondoren, hartu ondoriozko pisuak eta ordezkatu erantzun logistikoko funtzioa () klaseari dagokion objektu baterako . Bi kasu aztertzen ditugu, hautatutako pisuen bektorearen arabera, gure eredua oso oker dagoenean eta alderantziz; eredua oso ziur dago objektua klasekoa dela. . Ikus dezagun zer isun jarriko diren erabiltzean MNC ΠΈ Galera logistikoa.
Erabilitako galera-funtzioaren araberako zigorrak kalkulatzeko kodea
# ΠΊΠ»Π°ΡΡ ΠΎΠ±ΡΠ΅ΠΊΡΠ°
y = 1
# Π²Π΅ΡΠΎΡΡΠ½ΠΎΡΡΡ ΠΎΡΠ½Π΅ΡΠ΅Π½ΠΈΡ ΠΎΠ±ΡΠ΅ΠΊΡΠ° ΠΊ ΠΊΠ»Π°ΡΡΡ Π² ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²ΠΈΠΈ Ρ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠ°ΠΌΠΈ w
proba_1 = 0.01
MSE_1 = (y - proba_1)**2
print 'Π¨ΡΡΠ°Ρ MSE ΠΏΡΠΈ Π³ΡΡΠ±ΠΎΠΉ ΠΎΡΠΈΠ±ΠΊΠ΅ =', MSE_1
# Π½Π°ΠΏΠΈΡΠ΅ΠΌ ΡΡΠ½ΠΊΡΠΈΡ Π΄Π»Ρ Π²ΡΡΠΈΡΠ»Π΅Π½ΠΈΡ f(w,x) ΠΏΡΠΈ ΠΈΠ·Π²Π΅ΡΡΠ½ΠΎΠΉ Π²Π΅ΡΠΎΡΡΠ½ΠΎΡΡΠΈ ΠΎΡΠ½Π΅ΡΠ΅Π½ΠΈΡ ΠΎΠ±ΡΠ΅ΠΊΡΠ° ΠΊ ΠΊΠ»Π°ΡΡΡ +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
return math.log(proba/(1-proba))
LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'Π¨ΡΡΠ°Ρ Log Loss ΠΏΡΠΈ Π³ΡΡΠ±ΠΎΠΉ ΠΎΡΠΈΠ±ΠΊΠ΅ =', LogLoss_1
proba_2 = 0.99
MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))
print '**************************************************************'
print 'Π¨ΡΡΠ°Ρ MSE ΠΏΡΠΈ ΡΠΈΠ»ΡΠ½ΠΎΠΉ ΡΠ²Π΅ΡΠ΅Π½Π½ΠΎΡΡΠΈ =', MSE_2
print 'Π¨ΡΡΠ°Ρ Log Loss ΠΏΡΠΈ ΡΠΈΠ»ΡΠ½ΠΎΠΉ ΡΠ²Π΅ΡΠ΅Π½Π½ΠΎΡΡΠΈ =', LogLoss_2Hutskeria kasu bat β ereduak objektu bat esleitzen dio klase bati 0,01eko probabilitatearekin
Erabiltzearen ondoriozko zigorra MNC izango da:
Erabiltzearen ondoriozko zigorra Galera logistikoa izango da:
Konfiantza sendoko kasua β ereduak objektu bat esleitzen dio klase bati 0,99eko probabilitatearekin
Erabiltzearen ondoriozko zigorra MNC izango da:
Erabiltzearen ondoriozko zigorra Galera logistikoa izango da:
Adibide honek ondo erakusten du errore larrien kasuan galera funtzioa dela Erregistro galera baino nabarmen gehiago zigortzen du eredua MSE. Uler dezagun orain zein den aurrekari teorikoa galera-funtzioa erabiltzeko Erregistro galera sailkapen arazoetan.
05. Gehieneko probabilitatearen metodoa eta erregresio logistikoa
Hasieran agindu bezala, artikulua adibide sinplez beteta dago. Estudioan beste adibide bat eta gonbidatu zaharrak daude - banku-maileguak: Vasya, Fedya eta Lesha.
Badaezpada, adibidea garatu aurretik, gogorarazten dizut bizitzan hamarnaka edo ehunka ezaugarri dituzten milaka edo milioika objekturen prestakuntza-lagin batekin ari garela. Hala ere, hemen zenbakiak hartzen dira, datu-zientzialari hasiberri baten buruan erraz sartzeko.
Itzuli gaitezen adibidera. Imajina dezagun bankuko zuzendariak behar duten guztiei mailegu bat ematea erabaki zuela, algoritmoak Lesha-ri ez emateko esan arren. Eta orain nahikoa denbora pasa da eta badakigu hiru heroietatik zeinek ordaindu zuen mailegua eta zeinek ez. Espero zena: Vasyak eta Fedyak mailegua itzuli zuten, baina Leshak ez. Orain imajina dezagun emaitza hau prestakuntza-lagin berria izango dela guretzat eta, aldi berean, mailegua itzultzeko probabilitatean eragiten duten faktoreen datu guztiak (mailegu-hartzailearen soldata, hileroko ordainketaren tamaina) desagertuko balira bezala da. Orduan, intuizioz, suposa dezakegu hirugarren mailegu bakoitzak ez diola bankuari mailegua itzultzen, edo bestela esanda, hurrengo maileguak mailegua itzultzeko probabilitatea. . Suposizio intuitibo honek baieztapen teorikoa du eta horretan oinarritzen da gehieneko probabilitate metodoa, literaturan askotan esaten zaio gehieneko probabilitate printzipioa.
Lehenik eta behin, ezagut ditzagun aparatu kontzeptuala.
Laginketa probabilitatea lagin hori zehatz-mehatz lortzeko probabilitatea da, zehatz-mehatz halako behaketa/emaitzak lortzeko, hau da. lagin-emaitza bakoitza lortzeko probabilitateen produktua (adibidez, Vasya, Fedya eta Lesha-ren mailegua aldi berean itzuli den ala ez).
Probabilitate funtzioa Lagin baten probabilitatea banaketa-parametroen balioekin erlazionatzen du.
Gure kasuan, entrenamendu-lagina Bernoulli eskema orokortu bat da, zeinetan ausazko aldagaiak bi balio baino ez ditu hartzen: edo . Beraz, laginaren probabilitatea parametroaren probabilitate-funtzio gisa idatz daiteke honela:
Goiko sarrera honela interpreta daiteke. Vasyak eta Fedyak mailegua itzultzeko probabilitate bateratua berdina da , Leshak mailegua EZ itzultzeko probabilitatea berdina da (ez zen maileguaren itzulketa gertatu zena), beraz, hiru gertakarien probabilitate bateratua berdina da .
Gehieneko probabilitate metodoa parametro ezezagun bat maximizatuz estimatzeko metodo bat da probabilitate funtzioak. Gure kasuan, halako balio bat aurkitu behar dugu zeinetan bere maximoa iristen da.
Nondik dator benetako ideia - parametro ezezagun baten balioa bilatzeko, probabilitate-funtzioa maximoa iristen den? Ideiaren jatorria lagin bat biztanleriari buruz eskura dugun ezagutza iturri bakarra dela dioen ideiatik dator. Populazioari buruz dakigun guztia laginean adierazten da. Hori dela eta, esan dezakeguna da lagin bat dela eskura dugun populazioaren islarik zehatzena. Hori dela eta, parametro bat bilatu behar dugu eskuragarri dagoen lagina ziurrenik bilakatzen den.
Jakina, funtzio baten muturreko puntua aurkitu behar dugun optimizazio-problema baten aurrean gaude. Muturreko puntua aurkitzeko, lehen mailako baldintza kontuan hartu behar da, hau da, funtzioaren deribatua zerorekin berdintzea eta ekuazioa nahi den parametroarekiko ebaztea. Hala ere, faktore askoren produktu baten deribatua bilatzea lan luzea izan daiteke; hori ekiditeko, teknika berezi bat dago: logaritmora aldatzea. probabilitate funtzioak. Zergatik da posible trantsizio hori? Errepara diezaiogun funtzioaren beraren muturraren bila ari ez garela, eta muturreko puntua, hau da, parametro ezezagunaren balioa zeinetan bere maximoa iristen da. Logaritmo batera mugitzean, muturreko puntua ez da aldatzen (nahiz eta muturrekoa bera ezberdina izango den), logaritmoa funtzio monotonikoa baita.
Dezagun, aurrekoaren arabera, gure adibidea garatzen Vasya, Fedya eta Lesha-ren maileguekin. Lehenik eta behin, joan gaitezen probabilitate funtzioaren logaritmoa:
Orain erraz bereiz ditzakegu adierazpena :
Eta, azkenik, kontuan hartu lehen mailako baldintza - funtzioaren deribatua zerorekin berdintzen dugu:
Horrela, gure mailegua itzultzeko probabilitatearen estimazio intuitiboa teorikoki justifikatua zegoen.
Bikaina, baina zer egin behar dugu informazio honekin orain? Hirugarren mailegu-hartzaile bakoitzak bankuari dirua itzultzen ez diola suposatzen badugu, azken honek ezinbestean porrot egingo du. Hori bai, baina mailegua itzultzeko probabilitatea berdina ebaluatzen denean bakarrik Ez ditugu kontuan hartu maileguaren amortizazioan eragiten duten faktoreak: mailegu-hartzailearen soldata eta hileko ordainketaren tamaina. Gogora dezagun aurrez bezero bakoitzak mailegua itzultzeko probabilitatea kalkulatu genuela, faktore horiek berak kontuan hartuta. Logikoa da berdin konstantetik desberdinak diren probabilitateak lortzea .
Definitu dezagun laginen probabilitatea:
Laginaren probabilitateak kalkulatzeko kodea
from functools import reduce
def likelihood(y,p):
line_true_proba = []
for i in range(len(y)):
ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
line_true_proba.append(ltp_i)
likelihood = []
return reduce(lambda a, b: a*b, line_true_proba)
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]
print 'ΠΡΠ°Π²Π΄ΠΎΠΏΠΎΠ΄ΠΎΠ±ΠΈΠ΅ Π²ΡΠ±ΠΎΡΠΊΠΈ ΠΏΡΠΈ ΠΊΠΎΠ½ΡΡΠ°Π½ΡΠ½ΠΎΠΌ Π·Π½Π°ΡΠ΅Π½ΠΈΠΈ p=2/3:', round(likelihood(y,p_const),3)
print '****************************************************************************************************'
print 'ΠΡΠ°Π²Π΄ΠΎΠΏΠΎΠ΄ΠΎΠ±ΠΈΠ΅ Π²ΡΠ±ΠΎΡΠΊΠΈ ΠΏΡΠΈ ΡΠ°ΡΡΠ΅ΡΠ½ΠΎΠΌ Π·Π½Π°ΡΠ΅Π½ΠΈΠΈ p:', round(likelihood(y,p_log_response),3)Laginaren probabilitatea balio konstante batean :
Faktoreak kontuan hartuta mailegua itzultzeko probabilitatea kalkulatzeko lagin-probabilitatea :
Faktoreen arabera kalkulatutako probabilitatea duen laginaren probabilitatea probabilitate-balio konstantea duen probabilitatea baino handiagoa izan da. Zer esan nahi du honek? Horrek iradokitzen du faktoreei buruzko ezagutzak posible egin zuela bezero bakoitzaren mailegua itzultzeko probabilitatea zehatzago hautatzeko. Beraz, hurrengo mailegua ematerakoan, zuzenagoa izango litzateke zorra itzultzeko probabilitatea ebaluatzeko artikuluko 3. atalaren amaieran proposatzen den eredua erabiltzea.
Baina gero, maximizatu nahi badugu laginaren probabilitate funtzioa, orduan zergatik ez erabili Vasya, Fedya eta Lesha probabilitateak sortuko dituen algoritmoren bat, adibidez, 0.99, 0.99 eta 0.01, hurrenez hurren. Beharbada, horrelako algoritmo batek ondo funtzionatuko du prestakuntza-laginean, laginaren probabilitate-balioa hurbilduko baitu. , baina, lehenik, algoritmo horrek litekeena da orokortzeko gaitasunarekin zailtasunak izango ditu, eta bigarrenik, algoritmo hau ez da lineala izango. Eta gehiegizko entrenamenduaren aurka borrokatzeko metodoak (orokortze-gaitasun ahula ere) argi eta garbi ez badaude artikulu honetako planoan, joan gaitezen bigarren puntua xehetasun gehiagorekin. Horretarako, galdera erraz bati erantzun besterik ez dago. Vasyak eta Fedyak mailegua itzultzeko probabilitatea berdina izan al daiteke, ezagutzen ditugun faktoreak kontuan hartuta? Soinu logikaren ikuspuntutik, noski ez, ezin da. Beraz, Vasyak bere soldataren % 2.5 ordainduko du hilean mailegua itzultzeko, eta Fedyak - ia % 27,8. "Bezeroen sailkapena" 2. grafikoan ere ikusten dugu Vasya klaseak bereizten dituen lerrotik askoz urrunago dagoela Fedya baino. Eta azkenik, badakigu funtzioa Vasyarentzat eta Fedyarentzat balio desberdinak hartzen ditu: 4.24 Vasyarentzat eta 1.0 Fedyarentzat. Orain, Fedyak, adibidez, magnitude ordena bat gehiago irabaziko balu edo mailegu txikiagoa eskatuko balu, orduan antzekoak izango lirateke Vasya eta Fedyaren mailegua itzultzeko probabilitateak. Beste era batera esanda, menpekotasun lineala ezin da engainatu. Eta benetan probabilitateak kalkulatu bagenitu , eta ez zituen hutsetik kendu, lasai esan genezake gure balioak direla mailegu bakoitzak mailegua itzultzeko probabilitatea zenbatesteko aukera ematen digu onena, baina koefizienteen zehaztapenak onartzea onartu genuenez. arau guztien arabera egin zen, orduan suposatuko dugu - gure koefizienteek probabilitatearen estimazio hobea emateko aukera ematen digute :)
Hala ere, alde egiten dugu. Atal honetan pisuen bektorea nola zehazten den ulertu behar dugu , mailegu-hartzaile bakoitzak mailegua itzultzeko probabilitatea ebaluatzeko beharrezkoa dena.
Laburtu dezagun laburki zer arsenalekin goazen odds bila :
1. Helburuko aldagaiaren (iragarpen-balioa) eta emaitzan eragiten duen faktorearen arteko erlazioa lineala dela suposatzen dugu. Horregatik erabiltzen da erregresio lineala funtzioa espezie , zeinaren lerroak objektuak (bezeroak) klasetan banatzen ditu ΠΈ edo (mailegua itzultzeko gai diren bezeroak eta ez direnak). Gure kasuan, ekuazioak forma du .
2. Erabiltzen dugu alderantzizko logit funtzioa espezie klase bateko objektu bat izateko probabilitatea zehazteko .
3. Gure prestakuntza-multzoa orokortu baten ezarpentzat hartzen dugu Bernoulli eskemak, hau da, objektu bakoitzeko ausazko aldagai bat sortzen da, eta hori probabilitatearekin (objektu bakoitzarentzat berea) 1 balioa hartzen du eta probabilitatearekin - 0.
4. Badakigu zer maximizatu behar dugun laginaren probabilitate funtzioa onartutako faktoreak kontuan hartuta, eskuragarri dagoen lagina sinesgarriena izan dadin. Beste era batera esanda, lagina sinesgarriena izango den parametroak hautatu behar ditugu. Gure kasuan, aukeratutako parametroa mailegua itzultzeko probabilitatea da , koefiziente ezezagunen araberakoa dena . Beraz, halako pisuen bektore bat aurkitu behar dugu , zeinetan laginaren probabilitatea maximoa izango da.
5. Badakigu zer maximizatu laginaren probabilitate funtzioak erabil daiteke gehieneko probabilitate metodoa. Eta metodo honekin lan egiteko trikimailu guztiak ezagutzen ditugu.
Horrela bihurtzen da urrats anitzeko mugimendua :)
Orain gogoratu artikuluaren hasieran bi galera-funtzio mota atera nahi genituela Galera logistikoa objektu-klaseak nola izendatzen diren arabera. Gertatu zen bi klase dituzten sailkapen-problemetan klaseak honela adierazten direla ΠΈ edo . Notaren arabera, irteerak dagokion galera-funtzioa izango du.
1. kasua. Objektuen sailkapena ΠΈ
Lehenago, lagin baten probabilitatea zehaztean, zeinetan mailegu-hartzaileak zorra itzultzeko probabilitatea faktoreetan eta koefizienteetan oinarrituta kalkulatu zen. , formula hau aplikatu dugu:
Egia esan esanahia da erantzun logistikoko funtzioak pisuen bektore jakin baterako
Orduan ezerk ez digu eragozten laginaren probabilitate funtzioa honela idaztea:
Gertatzen da batzuetan zaila dela analista hasiberri batzuentzat funtzio honek nola funtzionatzen duen berehala ulertzea. Ikus ditzagun gauzak argituko dituzten 4 adibide labur:
1. Bada (hau da, entrenamendu-laginaren arabera, objektua +1 klasekoa da), eta gure algoritmoa objektu bat klase batean sailkatzeko probabilitatea zehazten du 0.9 berdina, orduan laginaren probabilitate zati hau honela kalkulatuko da:
2. Bada Eta , orduan kalkulua honela izango da:
3. Bada Eta , orduan kalkulua honela izango da:
4. Bada Eta , orduan kalkulua honela izango da:
Argi dago probabilitate-funtzioa 1. eta 3. kasuetan edo kasu orokorrean maximizatuko dela - objektu bat klase bati esleitzeko probabilitateen balioak ongi asmatuta. .
Izan ere, objektu bat klase bati esleitzeko probabilitatea zehaztean Koefizienteak ez ditugu bakarrik ezagutzen , orduan bilatuko ditugu. Goian esan bezala, optimizazio-problema bat da eta bertan lehenik eta behin probabilitate-funtzioaren deribatua aurkitu behar dugu pisuen bektorearekiko. . Hala ere, lehenik eta behin, zentzuzkoa da zeregina geure buruari sinplifikatzea: logaritmoaren deribatua bilatuko dugu. probabilitate funtzioak.
Zergatik logaritmoaren ondoren, in akats logistikoen funtzioak, ikurra aldatu dugu on . Dena sinplea da, eredu baten kalitatea ebaluatzeko arazoetan funtzio baten balioa minimizatzea ohikoa denez, adierazpenaren eskuineko aldea biderkatu dugu. eta horren arabera, maximizatu beharrean, orain funtzioa minimizatzen dugu.
Egia esan, oraintxe bertan, zure begien aurrean, galera-funtzioa zorrotz eratorri zen - Galera logistikoa bi klase dituen prestakuntza multzo baterako: ΠΈ .
Orain, koefizienteak aurkitzeko, deribatua aurkitu besterik ez dugu egin behar akats logistikoen funtzioak eta gero, zenbakizko optimizazio-metodoak erabiliz, hala nola gradienteen jaitsiera edo gradiente estokastikoa, hautatu koefiziente optimoenak . Baina, artikuluaren bolumen handia ikusita, bereizketa zure kabuz egitea proposatzen da, edo agian hurrengo artikulurako gaia izango da aritmetika askoko adibide zehatzik gabe.
2. kasua. Objektuen sailkapena ΠΈ
Hemengo planteamendua klaseekin bezalakoa izango da ΠΈ , baina galera funtzioaren irteerarako bidea bera Galera logistikoa, apainduagoa izango da. Has gaitezen. Probabilitate funtziorako operadorea erabiliko dugu "baldin... orduan..."... Hau da, bada Hirugarren objektua klasekoa da , gero laginaren probabilitatea kalkulatzeko probabilitatea erabiltzen dugu , objektua klasekoa bada , gero probabilitatean ordezkatzen dugu . Hau da probabilitate funtzioaren itxura:
Deskriba dezagun gure hatzekin nola funtzionatzen duen. Azter ditzagun 4 kasu:
1. Bada ΠΈ , orduan laginketa probabilitatea "joan" egingo da
2. Bada ΠΈ , orduan laginketa probabilitatea "joan" egingo da
3. Bada ΠΈ , orduan laginketa probabilitatea "joan" egingo da
4. Bada ΠΈ , orduan laginketa probabilitatea "joan" egingo da
Bistakoa da 1. eta 3. kasuetan, probabilitateak algoritmoak behar bezala zehazten zituenean, probabilitate funtzioa maximizatuko da, hau da, horixe da lortu nahi genuena. Hala ere, planteamendu hau nahiko astuna da eta hurrengoan notazio trinkoago bat aztertuko dugu. Baina lehenik eta behin, logaritmoa dezagun probabilitate-funtzioa zeinu-aldaketarekin, orain gutxituko baitugu.
Ordezka dezagun ordez adierazpen :
Sinplifikatu dezagun termino egokia logaritmoaren azpian teknika aritmetika sinpleak erabiliz eta lortu:
Orain operadorea kentzeko garaia da "baldin... orduan...". Kontuan izan objektu bat denean klasekoa da , gero logaritmoaren azpiko adierazpenean, izendatzailean, boterera igota , objektua klasekoa bada , orduan $e$ potentziara igotzen da . Beraz, graduaren notazioa sinplifikatu daiteke bi kasuak batean konbinatuz: . gero akats logistikoen funtzioa forma hartuko du:
Logaritmoaren arauen arabera, zatikiari buelta eman eta zeinua jartzen dugu ""(minus) logaritmorako, lortuko dugu:
Hona hemen galera funtzioa galera logistikoa, klaseei esleitutako objektuekin prestakuntza multzoan erabiltzen dena: ΠΈ .
Beno, momentu honetan atseden hartzen dut eta artikulua bukatzen dugu.
Egilearen aurreko lana "Erregresio linealaren ekuazioa matrize moduan ekartzea" da
Material osagarriak
1. Literatura
1) Erregresio-analisi aplikatua / N. Draper, G. Smith - 2. arg. β M.: Finantza eta Estatistika, 1986 (ingelesetik itzulpena)
2) Probabilitatearen teoria eta estatistika matematikoa / V.E. Gmurman - 9. ed. - M.: Goi Eskola, 2003
3) Probabilitatearen teoria / N.I. Chernova - Novosibirsk: Novosibirsk Estatuko Unibertsitatea, 2007
4) Negozioen analitika: datuetatik ezagutzara / Paklin N. B., Oreshkov V. I. - 2. ed. β San Petersburgo: Peter, 2013
5) Data Science Datu zientzia hutsetik / Joel Gras - San Petersburgo: BHV Petersburg, 2017
6) Datuen Zientziako espezialistentzako estatistika praktikoak / P. Bruce, E. Bruce - San Petersburgo: BHV Petersburg, 2018
2. Hitzaldiak, ikastaroak (bideoa)
1)
2)
3)
4)
5)
3. Interneteko iturriak
1)
2)
3)
4)
5)
6)
7)
8)
Iturria: www.habr.com