Hammustades logistilist regressiooni

Selles artiklis uurime teoreetilisi väljundeid, lineaarse regressiooni funktsiooni, ühes tagasipöörde logistilise transformatsiooni funktsiooni (tuntud ka kui logistilise vastuse funktsioon),seejärel kasutame maksimaalse tõenäosuse metoodikat, et vastavalt logistilise regressiooni mudelile tuletada kaotuse funktsioon,, vastavalt logistilise regressiooni mudelile, tuletame kaotusefunktsiooni Logistic Loss,või teisisõnu määratleme funktsiooni, mille abil määritakse logistilise regressiooni mudelis kaaluvektorite parameetrid. .

Artikli plaan:

1. Korrake lineaarse sõltuvuse üle kahe muutuja vahel,
2. tuvastame vajaduse transformatsiooniks, lineaarse regressiooni funktsiooni, ühes logistilise vastuse funktsiooni.
3. Teeme muudatusi ja tuletame, logistilise vastuse funktsiooni.
4. üritame aru saada, miks väikseima ruudu meetod ei tööta parameetrite määramiseks, funktsioonid Logistic Loss,
5. Kasutame maksimaalne tõenäosusmeetod et määratleda, parameetrite määramise funktsiooni. :

   5.1. Juhtum 1: funktsioon Logistic Loss, klasside märgenditud objektide jaoks, 0 ja 1:

   

   5.2. Juhtum 2: funktsioon. Logistic Loss, klasside märgenditud objektide jaoks, -1 ja +1:

   

Artikkel on täis lihtsaid näiteid, kus kõik arvutused on kergesti teostatavad suuliselt või paberil, mõnel juhul võib osutuda vajalikuks kalkulaator. Nii et valmistuge 🙂

See artikkel on suunatud peamiselt algtaseme andeteadlastele, kellel on põhilised teadmised masinõppe alustest.

Artiklis on ka kood jooniste joonistamiseks ja arvutusteks. Kogu kood on kirjutatud keeles, python 2.7eelnevalt selgitan, mis on „uuenduslikus” versioonis – see on üks tingimusi, et täiendada tuntud kursust, Yandexist, ühel kuulsamal internetialust. CourseraNagu järeldada võib, on materjal koostatud selle kursuse alusel.

01. Lineaarne sõltuvus

On täiesti loogiline esitada küsimus – kuidas seondub lineaarne sõltuvus logistilise regressiooniga?

Kõik on lihtne! Logistiline regressioon on üks mudel, mis kuulub lineaarsete klassifikatorite hulka. Lihtsustatult öeldes on lineaarse klassifikaatori ülesanne ennustada sihtväärtuste väärtusi muutujatest (regressoritest), samal ajal oletatakse, et seos tunnuste ja sihiväärtuste vahel on lineaarne. Sealt ka klassifikaatori nimi – lineaarne. Kui väga lihtsalt kokku võtta, siis logistilise regressiooni mudeli aluseks on eeldus, et tunnuste vahel on lineaarne seos. ja sihttulemustele See on seos. ja sihttulemustele Siin on esimene näide ja see on õigesti lineaarse sõltuvuse uuritavatest suurustest. Artikli ettevalmistamise protsessis sattusin näiteks, mis on paljudele tuttav – voolu sõltuvus pinge suhtes,

Stuudios on esimene näide, ja see on, õigesti, sirge seos uuritavate suurustega. Artikli ettevalmistamise käigus komistasin näite peale, mis on juba paljudele tuttav — voolu sõltuvus pingest („Rakenduslik regressioonianalüüs”, N. Draper, G. Smith),mida me siin samuti arutame.

Vastavalt Ohmi seaduse kohaselt:

, kus — vool, — pinge, — takistus.

Kui me ei teaks, Ohmi seadust,siis võiksime sõltuvust leidma hakata empiiriliselt, muutes ja mõõtes, hoides samas fikseeritud. Siis näeksime, et sõltuvuse graafik alates annab rohkem või vähem sirge joone, mis läbib koordinaatide alguspunkti. Me ütlesime „rohkem või vähem”, kuna kuigi sõltuvus on sisuliselt täpne, võivad meie mõõtmised sisaldada väikseid vigu ja seepärast ei pruugi graafikul olevad punktid rangelt joonele jääda, vaid võivad ringelda selle ümber juhuslikult.

Graafik 1 «Sõltuvus, alates »

graafiku joonistamise kood:

import matplotlib.pyplot as plt
%matplotlib inline

import numpy as np

import random

R = 13.75

x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
    y_line.append(i/R)
    
y_dot = []
for i in y_line:
    y_dot.append(i+random.uniform(-0.9,0.9))


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Tegelikud tulemused')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

02. Lineaarse regressiooni võrrandi transformatsioonide vajadus

Vaatame järgnevat näidet. Oletame, et töötame pangas ja meil on ülesanne määrata laenu tagasimaksmise tõenäosus laenaja poolt sõltuvalt mõnest tegurist. Lihtsustamiseks arutame ainult kahte tegurit: laenaja kuupalk ja kuumakse laenu tagasimaksmiseks.

Ülesanne on väga tingimuslik, kuid selle näite kaudu saame aru, miks selle lahendamiseks ei ole piisav ainult lineaarse regressiooni funktsiooni,, ning saame teada, milliseid muudatusi on funktsioonis vaja teha.

Naas tagasi näite juurde. Arusaadav on, et mida kõrgem on palk, seda rohkem suudab laenuvõtja igakuiselt oma laenumakseteks suunata. Sellegipoolest on teatud palgavahemikus see seos üsna lineaarne. Näiteks võttes palga vahemiku 60.000 R kuni 200.000 R, oletame, et antud palga vahemikus on igakuise makse ja palga vaheline seos lineaarne. Oletame, et antud palga suuruse vahemikus on tuvastatud, et palga ja makse suhe ei tohi olla alla 3 ja laenuvõtjale peab jääma üle 5.000 R. Ainult sel juhul peame me laenuvõtjat krediidi tagasimaksmiseks sobivaks. Seega võtab lineaarse regressiooni võrrand järgmise kuju:

kus , , , — palk -e laenuvõtja, — laenu makse -e laenuvõtja.

Asendades võrrandisse palga ja laenu makse fikseeritud parameetritega saab teha otsuse laenu andmise või keeldumise kohta.

Jätkates, märkime, et antud parameetrite juures lineaarse regressiooni funktsioon, mida kasutatakse logistilise vastuse funktsioonis annab suurendatud väärtusi, mis raskendavad laenu tagasimaksmise tõenäosuste arvutamist. Seetõttu soovitame meie koefitsiente vähendada, ütleme, 25.000 korda. Sellest muundamisest koefitsientides ei muutu meie otsus laenu andmise osas. Peame selle hetke meeles tulevikus, ja et oleks veel arusaadavam, millest jutt, vaatame kolme potentsiaalset laenuvõtjat.

Tabel 1 „Potentsiaalsed laenuvõtjad“

Kood tabeli genereerimiseks

import pandas as pd

r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r

data = {'Laenuvõtja':np.array(['Vasya', 'Fedya', 'Lesha']), 
        'Palk':np.array([120000,180000,210000]),
       'Makse':np.array([3000,50000,70000])}

df = pd.DataFrame(data)

df['f(w,x)'] = w_0 + df['Palk']*w_1 + df['Makse']*w_2

decision = []
for i in df['f(w,x)']:
    if i > 0:
        dec = 'Heakskiidetud'
        decision.append(dec)
    else:
        dec = 'Keeldumine'
        decision.append(dec)
        
df['Otsus'] = decision

df[['Laenuvõtja', 'Palk', 'Makse', 'f(w,x)', 'Otsus']]

Tabeli andmete kohaselt soovib Vasja, kelle palk on 120.000 R, saada sellist laenu, et igakuine makse oleks 3.000 R. Oleme kindlaks teinud, et laenu heakskiitmiseks peab Vasja palk ületama kolm korda laenumakset ja tal peab olema veel 5.000 R. Sellele nõudele vastab Vasja: . Isegi jääb 106.000 R. Kuigi me arvutuses oleme koefitsiente vähendanud 25.000 korda, saime ikka sama tulemuse — laen võib olla heaks kiidetud. Ka Fedya saab laenu, kuid Leshal, kuigi tal on kõrgeim palk, tuleb oma soovid tagasi hoida.

Joonistame sellisel juhul graafiku.

Joon 2 „Laenuvõtjate klassifitseerimine“

Kood graafiku joonistamiseks

salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Otsus'] == 'Heakskiidetud']['Palk'], df[df['Otsus'] == 'Heakskiidetud']['Makse'], 
         'o', color ='green', markersize = 12, label = 'Otsus - Laen heaks kiidetud')
plt.plot(df[df['Otsus'] == 'Keeldumine']['Palk'], df[df['Otsus'] == 'Keeldumine']['Makse'], 
         's', color = 'red', markersize = 12, label = 'Otsus - Laenu keeldumine')
plt.xlabel('Palk', size = 16)
plt.ylabel('Makse', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

Nii, meie sirge, mis on joonistatud vastavalt funktsioonile , eraldab "halvad" laenuvõtjad "headest". Need laenuvõtjad, kelle soovid ei vasta võimalustele, on sirgest üleval (Lesha), need, kes suudavad vastavalt meie mudeli parameetritele laenu tagasi maksta, on allpool sirget (Vasya ja Fedya). Teisi sõnu — meie sirge jagab laenuvõtjad kaheks klassiks. Määratleme need järgmiselt: klassi arvame, et need laenuvõtjad, kes tõenäoliselt tagastavad laenu, ning klassi või arvame, et need laenuvõtjad, kes tõenäoliselt ei suuda laenu tagasi maksta.

Kokkuvõtame järeldused sellest lihtsast näitest. Võtame punkti ja asendades punkti koordinaadid vastavasse sirge võrrandisse , vaatame kolme varianti:

1. Kui punkt asub sirgest allpool ning me seame ta klassi , siis funktsiooni väärtus on positiivne punkti. kuni Seega võime arvata, et laenu tagasimaksmise tõenäosus jääb vahemikku . Mida suurem on funktsiooni väärtus, seda kõrgem on tõenäosus.
2. Kui punkt asub sirgest üleval ja me seame ta klassi või , siis funktsiooni väärtus on negatiivne punkti. kuni Siis arvame, et laenu tagasimaksmise tõenäosus on vahemikus ja, mida suurem on funktsiooni väärtuse absoluutne väärtus, seda kõrgem on meie kindel uskumus.
3. Punkt asub sirgel, kahe klassi piiril. Sellisel juhul funktsiooni väärtus on võrdne ja laenu tagasimaksmise tõenäosus on .

Nüüd kujutame ette, et meil pole kaht tegurit, vaid kümneid, laenuvõtjaid on mitte kolm, vaid tuhandeid. Siis on meil sirge asemel m-mõõtmelise tasandi ja koefitsiendid meie andmed ei tule lihtsalt nii öeldes, vaid need on saadud kõigi reeglite kohaselt, tuginedes kogunenud andmetele laenuvõtjate kohta, kes on laenu tagasi maksnud või mitte. Tõepoolest, märgake, et me praegu valime laenuvõtjaid juba teadaolevate koefitsientide põhjal. Tegelikult seisneb logistilise regressiooni mudeli ülesanne just selles, et määrata parameetrid, , mille korral kahjumi funktsiooni väärtus Logistic Loss, püüab minimaalsele läheneda. Kuid kuidas vektorit , me õpime alles artikli 5. osas. Seni suundume tagasi lubatud maale — meie panganduse ja kolme kliendi juurde.

Tänu funktsioonile me teame, kellele saab laenu anda, ja kellele tuleks keelduda. Kuid selliste andmetega ei saa direktorile minna, kuna nad soovisid saada tõenäosust, et iga laenuvõtja maksab laenu tagasi. Mida teha? Vastus on lihtne — me peame kuidagi muutma funktsiooni , mille väärtused jäävad vahemikku funktsiooniks, mille väärtused jäävad vahemikku . Ja selline funktsioon eksisteerib, seda nimetatakse logistilise vastuse funktsiooniks või vastupidiseks logit-muundamiseks.Tutvuge:

Vaadakem samm-sammult, kuidas saame logistilise vastuse funktsiooni.Märka, et me liigume vastupidises suunas, st me eeldame, et me teame tõenäosuse väärtust, mis jääb vahemikku kuni ja seejärel „arendame” seda väärtust kogu arvude ulatuses alates kuni .

03. Saame logistilise vastuse funktsiooni.

Samm 1. Muudame tõenäosuse väärtused vahemikku

Kunstlik transformatsioonifunktsiooni ajal jätame meie krediidianalüütiku rahule ja selle asemel külastame spordiennustuskontoreid. Ei, muidugi me ei hakka panuseid tegema, kõik, mis meid seal huvitab, on väljend, näiteks „võimalus 4:1”. Võimalused, millega kõik panustajad tuttavad, on „edukate” ja „ebaedukate” suhe. Tõenäosuste osas on võimalused sündmuse toimumise tõenäosus jagatud ebaõnnestumise tõenäosusega. Kirjutame sündmuse toimumise võimaluse valemi ühes logistilise vastuse funktsiooni. — sündmuse toimumise tõenäosus, :

, kus — sündmuse mitte toimumise tõenäosus. Näiteks, kui tõenäosus, et noor, tugev ja energiline hobune nimega „Tuuleke” ületab derbihobust nimega „Matilda”, on

, siis „Tuuleke” eduvõimalused on , ja vastupidi, teades võimalusi, pole meil raske arvutada tõenäosust. kellele Seega oleme õppinud „tõlkima” tõenäosust võimalusteks, mille väärtused jäävad vahemikku. :

Teeme veel ühe sammu ja õpime „tõlkima” tõenäosust kogu numbrilisel sirgel alates kuni Samm 2. Muudame tõenäosuse väärtused vahemikku kuni .

See samm on väga lihtne — arvestame võimalusi Euler’i numbri alusel

ja saame: Nüüd teame, et kui

, siis väärtuse arvutamine on väga lihtne ja, rohkem veel, see peab olema positiivne: . Nii ongi. Huvitav kontrollime, et kui

, siis ootame, et näha negatiivset väärtust. Kontrollime: . Kõik on õige. Nüüd teame, kuidas tõlkida tõenäosuse väärtus alates

kogu numbrilisel sirgel alates kuni . Järgmises etapis teeme kõik vastupidi. kuni Ja seni märkime, et logaritmi reeglite kohaselt, teadmine funktsiooni väärtusest

, saab arvutada võimalused: See meetod võimaluste määramiseks on meile kasulik järgmisel sammul.

Samm 3. Saame valemi välja töötamiseks

Nii oleme õppinud, teades

, leidma funktsiooni väärtused. Kuid tegelikult vajame me kõike vastupidi — teades väärtust leida . Selleks viime sisse mõiste vastupidine võimaluste funktsioon, mille kohaselt: Selles artiklis me ei hakka väljatoodud valemit tuletama, kuid kontrollime numbrite põhjal, mis on eespool. Teame, et 4:1 võimaluste korral (

) on sündmuse toimumise tõenäosus 0.8 (). Teeme asenduse:. See vastab meie varasemate arvutuste tulemustele. Liigume edasi. Eelmises etapis leidis, et

, seega saab teha asenduse vastupidises võimaluste funktsioonis. Saame: Nüüd jagame nii nimetaja kui ka lugeja

, seega: Selleks, et olla ettevaatlik, et mitte kuskil viga teha, teeme veel ühe väikese kontrolli. Teises etapis määrasime, et

on. Seejärel, asendades väärtuse logistilise vastuse funktsioonis, ootame, et saada . Asendame ja saame: Palju õnne teile, kallis lugeja, me oleme just välja töötanud ja katsetanud logistilise vastuse funktsiooni. Vaadake graafikut.

Graafik 3 «Logistilise vastuse funktsioon»

Graafik 3 „Logistilise reaktsiooni funktsioon“

Kood graafiku joonistamiseks

import math

def logit (f):
    return 1/(1+math.exp(-f))

f = np.arange(-7,7,0.05)
p = []

for i in f:
    p.append(logit(i))

fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

Käesolevas kirjanduses võib leida ka selle funktsiooni nimetust kui sigmoidi funktsioon. Graafikult on selgelt näha, et objekti kuuluvuse tõenäosus klassi muutub oluliselt suhteliselt kitsas vahemikus , kuskil kuni .

Soovitan naasta meie krediidianalüütiku juurde ja aidata tal arvutada laenu tagasi maksmise tõenäosust, vastasel juhul riskib ta preemia kaotamisega 🙂

Tabel 2 „Potentsiaalsed laenajad“

Kood tabeli genereerimiseks

proba = []
for i in df['f(w,x)']:
    proba.append(round(logit(i),2))
    
df['Tõenäosus'] = proba

df[['Laenaja', 'Palganumber', 'Makse', 'f(w,x)', 'Otsus', 'Tõenäosus']]

Nii et oleme määranud laenu tagasimaksmise tõenäosuse. Üldiselt näib see olevat tõele lähedane.

Tõepoolest, tõenäosus, et Vassil, kelle palk on 120 000 R, suudab igakuiselt pankadele maksta 3 000 R, on lähedane 100%-le. Pealegi peame arvestama, et pank võib anda laenu ka Lešale, juhul kui panga poliitika näeb ette, et laenatakse kliente, kelle tagasimakse tõenäosus ületab näiteks 0.3. Sel juhul moodustab pank suurema reservi võimalike kaotuste katmiseks.

Samuti tuleb märkida, et palga ja makse suhe vähemalt 3 ja 5 000 R varuga on valitud meelevaldselt. Seega ei saanud me mingil juhul kasutada algselt määratud kaaluvektorit . Me pidime proportsioone märgatavalt vähendama ning selle tulemuseks jagasime iga koefitsiendi 25 000-ga, see tähendab, et me kohandasime tulemuse. Kuid see tehti teadlikult, et lihtsustada materjali mõistmist alguses. Elus ei peaks me mitte koefitsiente välja mõtlema ja kohandama, vaid neid leidma. Juba järgmistes artikli osades tuletame välja valemid, mille abil koefitsiendid määratakse .

04. Vähemate ruutude meetod kaaluvektori määramisel logistilise vastuse funktsioonis

Niisiis on meil juba teada, et selline kaaluvektori määramise meetod , nagu vähemate ruutude meetod (VRM) ja miks me siis ei võiks seda kasutada binaarsetes klassifitseerimisülesannetes? Tõepoolest, miski ei takista meie kasutamist MNLK, kuid see meetod annab klassifitseerimisel vähem täpseid tulemusi kui Logistic Loss,. Sellel on teoreetiline alus. Alustame ühe lihtsa näitega.

Oletame, et meie mudelid (mida kasutame MSE ja Logistic Loss,) on juba alustanud kaaluvektori määramist ja me peatasime arvutuse mingil sammul. Ainult, et ei ole tähtis, kas keskel, lõpus või alguses, peamine on see, et meil on juba olemas mõningad kaaluvektorite väärtused ja oletame, et sel sammul, kaaluvektorid mõlema mudeli jaoks ei erine. Siis võtame saadud kaalud ja asetame need logistilise vastuse funktsiooni. () mingisuguse objekti jaoks, mis kuulub klassi . Uurime kahte juhtumit, kui meie mudel, mis põhineb määratud kaaluvektoril, eksib tugevalt ja vastupidi — mudel on kindel, et objekt kuulub klassi . Vaadakem, millised karistused oleksid "välja antud" kasutades MNLK ja Logistic Loss,.

Karistuste arvutamise kood sõltuvalt kasutatavast kaotuse funktsioonist

# класс объекта
y = 1
# вероятность отнесения объекта к классу в соответствии с параметрами w
proba_1 = 0.01

MSE_1 = (y - proba_1)**2
print 'Штраф MSE при грубой ошибке =', MSE_1

# напишем функцию для вычисления f(w,x) при известной вероятности отнесения объекта к классу +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
    return math.log(proba/(1-proba)) 

LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'Штраф Log Loss при грубой ошибке =', LogLoss_1

proba_2 = 0.99

MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))

print '**************************************************************'
print 'Штраф MSE при сильной уверенности =', MSE_2
print 'Штраф Log Loss при сильной уверенности =', LogLoss_2

Juhul jämedast veast — mudel määrab objekti klassi tõenäosusega 0,01

Karistus kasutades MNLK koosneb:

Karistus kasutades Logistic Loss, koosneb:

Juhul tugeva enesekindluse korral — mudel määrab objekti klassi tõenäosusega 0,99

Karistus kasutades MNLK koosneb:

Karistus kasutades Logistic Loss, koosneb:

See näide illustreerib hästi, et jämeda vea korral karistusfunktsioon Log Loss karistab mudelit oluliselt rohkem kui MSE. Nüüd lahendame, millised on teoreetilised eeldused kaotuse funktsiooni kasutamiseks Log Loss klassifitseerimisülesannetes.

05. Maksimaalse tõenäosuse meetod ja logistiline regressioon

Nagu lubatud alguses, sisaldab artikkel palju lihtsaid näiteid. Ateljees on järjekordne näide ja vanad külalised — panga laenuvõtjad: Vassja, Fedja ja Leša.

Igaks juhuks, enne näite arendamist, meenutan, et elus tegeleme õppimisvalimitega, kus on tuhandeid või miljoneid objekte ning kümneid või sadu tunnuseid. Siiski on numbrid siin valitud selliselt, et need mahuksid kergesti algaja andmete teadlase pähe.

Naasime tagasi näite juurde. Kujutame ette, et panga direktor otsustas anda laenu kõigile vajajatele, hoolimata sellest, et algoritm soovitas mitte anda laenu Ljale. Ja siis on möödunud piisavalt aega ning saame teada, kes kolmest kangelasest on laenu tagasi maksnud ja kes ei. Nagu oodata võis: Vassil ja Fedjal õnnestus laen tagasi maksta, kuid Ljale ei õnnestunud. Nüüd kujutame ette, et see tulemus on meie jaoks uus õpikogum ja samas on nagu kadunud kõik andmed, mis mõjutavad laenu tagasi maksmise tõenäosust (laenuvõtja palk, igakuise makse suurus). Seega võime intuitiivselt arvata, et iga kolmas laenuvõtja ei tagasta panka laenu, teisisõnu, tõenäosus, et järgmine laenuvõtja laenu tagasi maksab, on . Sellele intuitiivsele oletusele on teoreetiline tõestus, mis põhineb maksimaalse tõenäosuse meetodil, mida sageli nimetatakse maksimaalse tõenäosuse printsiibiks.

Alustuseks tutvume mõisted.

Valimi tõenäosus on tõenäosus, et saame just sellise valimi ja just sellised vaatlus-/tulemused, s.t. iga tulemuse tõenäosuste korrutis (näiteks Vassi, Fedja ja Lja laenu tagasimaksmine või mitte).

Tõenäosuse funktsioon seob valimi tõenäosuse ja jaotuse parameetrite väärtused.

Meie puhul kujutab väljaõppe valim endast üldistatud Bernoulli skeemi, kus juhuslik suhe võtab ainult kaks väärtust: või . Seega saab valimi tõenäosust kirjutada kui tõenäosuse funktsiooni parameetri järgmiselt:

Ülaltoodud väljendit võib tõlgendada järgmiselt. Kuigi Vassil ja Fedjal on laenud tagastatud, on tõenäosus, et Lja EI tagasta laenu, (kuna toimus just EI tagastamine), seega on kolme sündmuse ühine tõenäosus (kuna juhtus, et laenu ei tasutud), seega on kolme sündmuse ühine tõenäosus võrdne .

Maksimaalne tõenäosusmeetod on parameetri hindamise meetod, mille käigus maksimeeritakse tõenäosusfunktsiooni. Meie puhul peab leidma sellise väärtuse , kus saab maksimumi.

Kust siis, mõte – otsida teadmata parameetri väärtust, mille juures tõenäosuse funktsioon saavutab maksimumi? Idee pärineb arusaamast, et valim on ainus, meile ligipääsetav teadmisallikas populatsiooni kohta. Kõik, mida me teame populatsioonist, on esitatud valimis. Seega saame öelda, et valim on kõige täpsem peegeldus populatsioonist, mis on meile kergesti kätte saadav. Seetõttu peame leidma parameetri, mille juures on olemasolev valim kõige tõenäolisem.

Ilmselgelt on meil tegemist optimeerimisülesandega, kus peame leidma funktsiooni äärmuspunkti. Äärmuspunkti leidmiseks tuleb kaaluda esimese järgu tingimust, s.t. seada funktsiooni derivaat nulliks ja lahendada võrrand otsitava parameetri osas. Siiski, paljude tegurite derivaadi leidmine võib osutuda tülikaks, et vältida seda, on olemas eritehnika - logaritmile üleminek tõenäosusfunktsiooni. Miks on selline üleminek võimalik? Pöörake tähelepanu sellele, et me ei otsi funktsiooni äärmust, vaid äärmuspunkti, ehk väärtust, mille juures teadmata parameeter , kus saab maksimumi. Logaritmile üleminekul äärmuspunkt ei muutu (kuigi funksioon ise muutub). Logaritm on monotoonne funktsioon.

Jätkame seetõttu ülaltoodud kohas esitatud laenude näite arendamist. Esiteks liikume tõenäosuse funktsiooni logaritmile:

Nüüd saame hõlpsasti tuletada väljendit :

Ja lõpuks vaatame esimese järgu tingimust - seame funktsiooni tuletise nulliks:

Seega on meie intuitiivne hinnang laenu tagastamise tõenäosusele olnud teoreetiliselt põhjendatud.

Olej hästi, kuid mida me nüüd sellise infoga teeme? Kui arvame, et iga kolmas laenuvõtja ei tagasta panka raha, siis viimane jääb kindlasti pankrotti. Nii on see, kuid kui hindame laenu tagastamise tõenäosust väärtusega , ei ole me arvesse võtnud tegureid, mis mõjutavad laenu tagastamist: laenuvõtja palk ja igakuise makse suurus. Tuletagem meelde, et varem arvutasime laenu tagastamise tõenäosust iga kliendi jaoks, arvestades neid tegureid. On loogiline, et ka meie tõenäosused on saadud erinevad kui konstant, mis on .

Määratlegem valimite tõenäosus:

Kood tõenäosuste arvutamiseks

functools'i kaupa importimine

def tõenäosus(y,p):
    rea_tõenäosus = []
    for i in range(len(y)):
        ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
        rea_tõenäosus.append(ltp_i)
    tõenäosus = []
    return reduce(lambda a, b: a*b, rea_tõenäosus)
        
    y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]


print 'Valim tõenäosus konstantsel väärtusel p=2/3:', round(tõenäosus(y,p_const),3)

print '****************************************************************************************************'

print 'Valim tõenäosus arvutatud väärtusel p:', round(tõenäosus(y,p_log_response),3)

Valim tõenäosus konstantsel väärtusel :

Valim tõenäosus, kui arvestada krediidi tagasimaksmise tõenäosust teguritega :

Valim tõenäosus, mille tõenäosus arvutati sõltuvalt teguritest, on suurem kui tõenäosus konstantsel väärtusel. Mida see tähendab? See tähendab, et teadmised teguritest võimaldasid täpsemini määrata krediidi tagasimaksmise tõenäosuse iga kliendi jaoks. Seetõttu on järgmise krediidi andmisel parem kasutada artikli 3. peatüki lõpus pakutud mudelit krediidi tagasimaksmise tõenäosuse hindamiseks.

Aga kui me peame maksimeerima valimi tõenäosuse funktsiooni, siis miks mitte kasutada mingit algoritmi, mis annaks tõenäosused Vasjale, Fedjale ja Ljoshale, näiteks 0.99, 0.99 ja 0.01 vastavalt. See algoritm võib osutuda tõhusaks treeningu valimisel, kuna see viib valimi tõenäosuse lähedale , kuid kõigepealt on sellisel algoritmil tõenäoliselt üldistamisvõimekuse probleemid, ja teiseks, see algoritm ei ole kindlasti lineaarne. Kui meetodid ületreenimise vastu (samuti nõrk üldistamisvõime) ei ole selgelt selle artikli plaanis, siis läheme teise punkti juurde lähemale. Selleks piisab lihtsale küsimusele vastamisest. Kas Vasja ja Fedja krediidi tagasimaksmise tõenäosus võib olla sama, arvestades meile teadaolevaid tegureid? Tervislikust mõistusest lähtuvalt, loomulikult mitte, ei saa. Nii et Vasja maksab igakuiselt 2.5% oma palgast tagasi, samas kui Fedja peaaegu 27,8%. Samuti näeme, et joonisel 2 "Kliendiklassifikatsioon" asub Vasja oluliselt kauem klasside eraldusjoonest kui Fedja. Ja lõpuks, me teame, et funktsioon Vasja ja Fedja jaoks võtab erinevaid väärtusi: 4.24 Vasjale ja 1.0 Fedjale. Kui näiteks Fedja teeniks kordades rohkem või küsiks väiksemat laenu, siis oleks Vasja ja Fedja krediidi tagasimaksmise tõenäosused sarnased. Teisiti öeldes, lineaarset sõltuvust ei saa petta. Ja kui me tõeliselt arvutasime koefitsiendid , mitte ei võtnud neid lihtsalt arvesse, siis saaksime julgesti väita, et meie väärtused on parimad, et hinnata iga laenuandja krediidi tagasimaksmise tõenäosust, kuid kuna me oleme nõustunud, et koefitsientide määramine toimus kõigi reeglite järgi, siis oletame, et meie koefitsiendid võimaldavad anda parima hindamise tõenäosusele 🙂

Kuid oleme kõrvale kaldunud. Selles jaos peame selgeks saama, kuidas määratakse kaalude vektor , mis on vajalik iga laenuandja krediidi tagasimaksmise tõenäosuse hindamiseks.

Kokkuvõtteks, millise arsenali abil me koefitsientide otsingut alustame :

1. Eeldame, et seos sihtmuutuja (prognoositava väärtuse) ja tulemusele mõju avaldava teguri vahel on lineaarne. Seetõttu kasutatakse lineaarse regressiooni funktsioon kuju , mille joon jagab objektid (kliendid) klassideks ja või (kliendid, kes suudavad laenu tagastada ja need, kes ei suuda). Meie juhul on võrrandi kuju .

2. Kasutame tagasipööratud logit-muundamisfunktsiooni kuju objekti klassi kuuluvuse tõenäosuse määramiseks .

3. Käsitleme meie treeningvalimit kui üldise Bernoulli skeemi, see tähendab, et iga objekti jaoks genereeritakse juhuslik muutuja, mis tõenäosusega (iga objekti oma) võtab väärtuse 1 ja tõenäosusega – 0.

4. Me teame, et peame maksimeerima valimi tõenäosuse funktsiooni arvestades võetud tegureid, et olemasolev valim oleks kõige tõenäolisem. Teisisõnu, me peame leidma sellised parameetrid, mille korral valim on kõige tõenäolisem. Meie puhul on määratav parameeter — krediidi tagasimaksmise tõenäosus , mis sõltub omakorda tundmatutest koefitsientidest . Seega vajame kaalude vektorit , mille korral valimi tõenäosus on maksimaalne.

5. Teame, et maksimeerimiseks valimi tõenäosuse funktsiooni võib kasutada maksimaalne tõenäosusmeetod. Ja me teame kõiki selle meetodi kohta salajaste trikke.

Nii et selline mitme sammuga protsess ongi 🙂

Ja nüüd tuletame meelde, et artikli alguses soovisime tuua välja kaks erinevat kaotuse funktsiooni Logistic Loss, sõltuvalt sellest, kuidas objektide klassid on määratletud. Niisiis on tavaline, et kahe klassi klassifitseerimise ülesannetes klasifitseeritakse klassid kui ja või . Klassifikaatsiooni määratlemise põhjal on vastava väljundi korraliku kaotuse funktsioon.

Juhtum 1. Objektide klassifitseerimine ja

A varem, proovide tõenäosuse määratlemisel, kus laenuvõtja võlgade tasumise tõenäosus arvutati lähtudes teguritest ja anti koefitsientidest , kasutasime valemit:

Tegelikult — see on väärtus logistilise vastuse funktsioon antud kaaluvõrgustiku vektoriga

Seega ei takista meid miski kirjutamast välja proovide tõenäosuse funktsiooni nii:

Kuid mõnikord on mõned algajad analüütikud keerulised kohe mõista, kuidas see funktsioon töötab. Uurime nelja lühikest näidet, mis kõik selgitavad:

1. Kui (st, kui vastavalt koolitusproovile kuulub objekt klassi +1), ja meie algoritm määra objekti tõenäosus kuuluda klassi olekul 0.9, nii et see tõenäosuse tükk arvutatakse järgmiselt:

2. Kui , ja , siis arvutus oleks selline:

3. Kui , ja , siis arvutus oleks selline:

4. Kui , ja , siis arvutus oleks selline:

Ilmselgelt maksimeeritakse tõenäosuse funktsioon juhtudel 1 ja 3 või üldiselt — õigete tõenäosuse väärtuste puhul objekti klassile määramisel .

Kuna objekti tõenäosuse määratlemisel klassile ei ole meile teada ainult koefitsiendid , siis me otsime neid. Nagu eelpool nimetatud, on see optimeerimise probleem, kus esialgu peaksime leidma tõenäosuse funktsiooni derivatiivi kaaluvõrgustiku vektori suhtes . Siiski on mõistlik alustada oma ülesande lihtsustamisest: otsime derivatiivi logaritmist tõenäosusfunktsiooni.

Miks logaritmimise järel, logistilise vea funktsioonis, vaihtaa märk järgnevaga . Kõik on lihtne, kuna mudeli kvaliteedi hindamise ülesannetes on tavaks miinimumida funktsiooni väärtust, seega korrutame väljendi paremat poolt ja vastavalt rikka jaoks, nüüd miinimumime funktsiooni.

Tegelikult, praegu, teie silmade ees oli paljude kannatustega välja tuletatud kaotuse funktsioon — Logistic Loss, kaks klassi sisaldavates koolitusproovides: ja .

Nüüd, koefitsiendi leidmiseks, vajame lihtsalt derivatiivi leidmist logistilise vea funktsioonis ja seejärel, kasutades numbrilisi optimeerimismeetodeid, nagu näiteks gradientide langetamine või stohhastiline gradientide langetamine, et leida kõige optimaalsed koefitsiendid. . Kuid arvestades juba mitte vähe artikli mahukust, soovitatakse diffeerimist iseseisvalt teha või võib-olla on see järgmise suuremate arvutuste artikli teema.

Juhtum 2. Objektide klassifitseerimine ja

Lähenemine siin on sama, mis klasside puhul ja , kuid tee kaotuse funktsiooni leidmiseni Logistic Loss,, on keerukam. Alustame. Tõenäosuse funktsiooni määramiseks kasutame operaatorit "kui..., siis...". See tähendab, et kui -ndal objektil on klass , siis tõenäosuse kontseptsiooni arvutamiseks kasutame tõenäosust , kui objekt kuulub klassi , siis asendame tõenäosuse . Nii näeb välja tõenäosuse funktsioon:

Käe peal väljendame, kuidas see töötab. Uurime nelja juhtumit:

1. Kui ja , siis tõenäosuse proovile "jõuab"

2. Kui ja , siis tõenäosuse proovile "jõuab"

3. Kui ja , siis tõenäosuse proovile "jõuab"

4. Kui ja , siis tõenäosuse proovile "jõuab"

Ilmselgelt 1. ja 3. juhul, kui tõenäosused oli algoritmiga õigesti määratletud, tõenäosuse funktsioon maksimeeritakse, just seda me soovisime saavutada. Siiski on selline lähenemine piisavalt kolossaalne ja hiljem vaatame tihedamat kirja. Kuid esmalt muudame tõenäosuse funktsiooni logaritmimiseks, märkides ümber, kuna nüüd hakkame seda minimeerima.

Asendame avaldusega :

Lihtsustame õigusprinti logaritmibaasi all vaadata, kasutades lihtsaid aritmeetilisi meetodeid ja saame:

Ja nüüd on aeg vabaneda operaatorist "kui..., siis...". Täheldame, et kui objekt kuulub klassi , siis logaritmi avaldis, nimetaja on tõstetud , kui objekt kuulub klassi , seega $e$ on tõstetud . Seega saab lauseastme kirja lihtsustada — ühendame mõlemad juhtumid üheks: . Siis logistilise vea funktsioon kuju:

Logaritmimise reeglite kohaselt, pöörame murru ümber ja viime märgi "" (miinus) logaritmi välja, saame:

Teie ees on kaotuse funktsioon logistic Loss, mis rakendub koolitusproovides klassidesse kuuluvate objektide suhtes: ja .

Noh, sellel hetkel ma lahkun ja lõpetame artikli.

Autori eelmine töö — "Viime lineaarse regressioonivõrrandi maatriksmoodusesse"

Abimaterjalid

1. Kirjandus

1) Rakendatav regressioonianalüüs / N. Draper, G. Smith – 2. väljaanne – M.: Finants ja statistika, 1986 (tõlge inglise keelest)

2) Tõenäosusteooria ja matemaatiline statistika / V.E. Gmurman — 9. väljaanne — M.: Kõrgkool, 2003

3) Tõenäosusteooria / N.I. Tšernova — Novosibirsk: Novosibirski riiklik ülikool, 2007

4) Ärianalüüs: andmetest teadmisteni / Paklin N. B., Oreshkov V. I. — 2. väljaanne — Peterburi: Peter, 2013

5) Andmete teadus: nullist õppimine / Joel Grass — Peterburi: BHV Peterburi, 2017

6) Praktika statistika spetsialistidele Andmete Teaduses / P. Bruce, E. Bruce — Peterburi: BHV Peterburi, 2018

2. Loengud, kursused (video)

1) Maksimaalse tõenäosuse meetodi olemus, Boris Demešev

2) Maksimaalse tõenäosuse meetod pidevas juhtumis, Boris Demešev

3) Logistiline regressioon. Avatud kursus ODS, Yury Kashnitsky

4) Loeng 4, Jevgeni Sokolov (alates 47. minutist video)

5) Logistiline regressioon, Vjatšeslav Vorontsov

3. Internetiallikad

1) Lineaarsete klassifikaatorite ja regressioonimudelid

2) Kuidas lihtsalt mõista logistilist regressiooni

3) Logistiline vea funktsioon

4) Iseseisvad katsed ja Bernoulli valem

5) Ballaad MMP-st

6) Maksimaalne tõenäosusmeetod

7) Logaritmide valemid ja omadused

8) Miks number ?

9) Lineaarne klassifikaator

Allikas: habr.com