Razmatranje logističke regresije

Razmatranje logističke regresije

U ovom članku ćemo analizirati teoretske osnove transformacije funkcija linearne regresije u funkciju obratne logit-transformacije (takođe se naziva funkcija logističke reakcije). Zatim, iskoristićemo arsenal metode maksimalne verodostojnosti, u skladu sa modelom logističke regresije, izvešćemo funkciju gubitka Logistic Loss, ili drugim rečima, odredićemo funkciju koja se koristi za optimizaciju parametara vektora težina u modelu logističke regresije. Razmatranje logističke regresije.

Plan članka:

  1. Ponovićemo o linearnom zavisnosti između dve varijable
  2. Utvrdićemo potrebu za transformacijom funkcija linearne regresije Razmatranje logističke regresije u funkciju logističke reakcije Razmatranje logističke regresije
  3. Sprovedemo transformacije i izvešćemo funkciju logističke reakcije
  4. Pokušaćemo da shvatimo zašto je metoda najmanjih kvadrata nedovoljna prilikom optimizacije parametara Razmatranje logističke regresije funkcija Logistic Loss
  5. Koristimo metoda maksimalne verodostojnosti za određivanje funkcije optimizacije parametara Razmatranje logističke regresije:

    5.1. Slučaj 1: funkcija Logistic Loss za objekte sa oznakama klasa 0 i 1:

    Razmatranje logističke regresije

    5.2. Slučaj 2: funkcija Logistic Loss za objekte sa oznakama klasa -1 i +1:

    Razmatranje logističke regresije


Članak obiluje jednostavnim primerima u kojima se svi proračuni lako mogu izvršiti verbalno ili na papiru, dok u nekim slučajevima može biti potreban kalkulator. Pripremite se 🙂

Ovaj članak je pretežno namenjen data scientistima sa osnovnim znanjem o mašinskom učenju.

U članku će takođe biti dat kod za crtanje grafikona i proračune. Sav kod je napisan na jeziku python 2.7. U napred, objasniću o "novosti" korišćene verzije — to je jedan od uslova za prolazak poznatog kursa od Yandexa na ne manje poznatoj internet platformi za online obrazovanje Coursera, i, kao što se može pretpostaviti, materijal je pripremljen na osnovu ovog kursa.

01. Linearna zavisnost

Sasvim je razumno postaviti pitanje — kakve veze ima linearna zavisnost sa logističkom regresijom?

Sve je jednostavno! Logistička regresija je jedan od modela koji pripadaju linearnim klasifikatorima. Drugim rečima, zadatak linearnih klasifikatora je predikcija ciljnih vrednosti Razmatranje logističke regresije na osnovu varijabli (regresora) Razmatranje logističke regresije. Pri tom se smatra da je zavisnost između karakteristika Razmatranje logističke regresije i ciljnih vrednosti Razmatranje logističke regresije linearno. Odatle dolazi i naziv klasifikatora — linearni. Ako bismo veoma grubo generalizovali, u osnovi modela logističke regresije leži pretpostavka o postojanju linearne zavisnosti između karakteristika. Razmatranje logističke regresije i ciljnih vrednosti Razmatranje logističke regresije. Evo je — povezanost.

U studiji je prvi primer, i to, kako treba, o direktnoj zavisnosti istraživanih veličina. Tokom pripreme članka naišao sam na primer koji je već postao pomalo zasićen mnogima — zavisnost struje od napona. («Primjenjena regresiona analiza», N.Drejper, G.Smit). Ovdje ćemo ga također razmotriti.

U skladu s Ohmovim zakonom:

Razmatranje logističke regresije, gde Razmatranje logističke regresije — struja, Razmatranje logističke regresije — napon, Razmatranje logističke regresije — otpor.

Da nismo znali Ohmov zakon, mogli bismo empirijski pronaći zavisnost, menjajući Razmatranje logističke regresije i mereći Razmatranje logističke regresije, održavajući pritom Razmatranje logističke regresije fiksnim. Tada bismo videli da grafikon zavisnosti Razmatranje logističke regresije od Razmatranje logističke regresije daje više ili manje pravu liniju koja prolazi kroz početak koordinatnog sistema. Rekli smo „više ili manje“, jer, iako je zavisnost zapravo tačna, naše merenja mogu sadržavati male greške, i stoga tačke na grafiku možda neće biti strogo na liniji, već će biti nasumično rasute oko nje.

Grafikon 1 „Zavisnost Razmatranje logističke regresije od Razmatranje logističke regresije»

Razmatranje logističke regresije

Kod za crtanje grafikona

import matplotlib.pyplot as plt
%matplotlib inline

import numpy as np

import random

R = 13.75

x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
    y_line.append(i/R)
    
y_dot = []
for i in y_line:
    y_dot.append(i+random.uniform(-0.9,0.9))


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Stvarni rezultati')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

02. Potrebnost transformacija u jednačini linearne regresije

Razmotrićemo još jedan primer. Pretpostavimo da radimo u banci i pred nama je zadatak da odredimo verovatnoću vraćanja kredita od strane dužnika u zavisnosti od nekih faktora. Da bismo pojednostavili zadatak, razmotrićemo samo dva faktora: mesečna plata dužnika i mesečna suma otplate kredita.

Zadatak je veoma uslovan, ali na ovom primeru ćemo moći razumeti zašto za njegovo rešenje nije dovoljno primeniti funkcija linearne regresije, kao i saznati koje transformacije funkcije je potrebno sprovesti.

Vraćamo se na primjer. Jasan je stav da što je veća plata, to će više zajmoprimac moći mjesečno usmjeriti na otplatu kredita. Pri tome, za određeni raspone plata, ova zavisnost će biti prilično linearna. Na primjer, uzmimo raspone plata od 60.000 R do 200.000 R i pretpostavimo da je u tom rasponu plata zavisnost između visine mjesečne rate i visine plate - linearna. Pretpostavimo da je utvrđeno da odnos plate prema rati ne može biti manji od 3 i da zajmoprimcu mora ostati 5.000 R. Samo u tom slučaju smatramo da će zajmoprimac vratiti kredit banci. U tom slučaju, jednadžba linearne regresije će imati oblik:

Razmatranje logističke regresije

gde Razmatranje logističke regresije, Razmatranje logističke regresije, Razmatranje logističke regresije, Razmatranje logističke regresije — plata Razmatranje logističke regresije-og zajmoprimca, Razmatranje logističke regresije — mjesečna rata Razmatranje logističke regresije-og zajmoprimca.

Zamjenom plate i mjesečne rate u jednadžbu sa fiksnim parametrima Razmatranje logističke regresije može se donijeti odluka o odobravanju ili odbijanju kredita.

Ispred, napominjemo da će, pri zadatim parametrima, Razmatranje logističke regresije funkcija linearne regresije, primijenjena u funkciji logističke regresije davati velike vrijednosti, što će otežati izračune za određivanje vjerojatnosti otplate kredita. Zato se predlaže smanjiti naše koeficijente, recimo, za 25.000 puta. Od ove transformacije u koeficijentima, odluka o odobravanju kredita se neće promijeniti. Zapamtimo ovaj trenutak za buduće, a sada da bi bilo još jasnije o čemu se radi, razmotrit ćemo situaciju s tri potencijalna zajmoprimca.

Tabela 1 „Potencijalni zajmoprimci“

Razmatranje logističke regresije

Kod za formiranje tabele

import pandas as pd

r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r

data = {'Zajmoprimac':np.array(['Vasya', 'Fedya', 'Lesha']), 
        'Plata':np.array([120000,180000,210000]),
       'Rata':np.array([3000,50000,70000])}

df = pd.DataFrame(data)

df['f(w,x)'] = w_0 + df['Plata']*w_1 + df['Rata']*w_2

decision = []
for i in df['f(w,x)']:
    if i > 0:
        dec = 'Odobreno'
        decision.append(dec)
    else:
        dec = 'Odbijeno'
        decision.append(dec)
        
df['Odluka'] = decision

df[['Zajmoprimac', 'Plata', 'Rata', 'f(w,x)', 'Odluka']]

Prema podacima iz tabele, Vasja sa platom od 120.000 R želi dobiti kredit, kako bi mjesečno otplaćivao 3.000 R. Utvrdili smo da da bi kredit bio odobren, njegova plata mora prelaziti tri puta visinu rate, a da još ostane 5.000 R. Ovom zahtjevu Vasja udovoljava: Razmatranje logističke regresije. Ostaje čak 106.000R. Iako smo prilikom obračuna Razmatranje logističke regresije smanjili koeficijente Razmatranje logističke regresije na 25.000 puta, rezultat je ostao isti — kredit može biti odobren. Fedya će takođe dobiti kredit, dok će Alexey, iako zarađuje najviše, morati da umanji svoje apetite.

Nacrtajmo grafikon u ovom slučaju.

Grafikon 2 „Klasifikacija zajmoprimaca“

Razmatranje logističke regresije

Kod za crtanje grafikona

salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'], 
         'o', color ='green', markersize = 12, label = 'Odlučeno - Kredit odobren')
plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'], 
         's', color = 'red', markersize = 12, label = 'Odlučeno - Kredit odbijen')
plt.xlabel('Plata', size = 16)
plt.ylabel('Plaćanje', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

Dakle, naša prava, izgrađena prema funkciji Razmatranje logističke regresije, deli „loše“ zajmoprimce od „dobrih“. Oni zajmoprimci čija se želja ne poklapa sa mogućnostima su iznad prave (Alexey), dok su oni koji su sposobni da vrate kredit prema parametrima našeg modela ispod prave (Vasya i Fedya). Drugim rečima, naša prava deli zajmoprimce na dve klase. Obeležićemo ih na sledeći način: klasu Razmatranje logističke regresije pripada onim zajmoprimcima koji će verovatno vratiti kredit, dok klasa Razmatranje logističke regresije ili Razmatranje logističke regresije pripada onim zajmoprimcima koji verovatno neće moći da vrate kredit.

Generalizovaćemo zaključke iz ovog jednostavnog primera. Uzećemo tačku Razmatranje logističke regresije i, zamenjujući koordinate tačke u odgovarajuću jednačinu prave Razmatranje logističke regresije, razmotrićemo tri varijante:

  1. Ako se tačka nalazi ispod prave, i mi je pripisujemo klasi Razmatranje logističke regresije, vrednost funkcije Razmatranje logističke regresije biće pozitivna od Razmatranje logističke regresije do Razmatranje logističke regresije. Tako možemo smatrati da je verovatnoća vraćanja kredita u okviru Razmatranje logističke regresije. Što je veća vrednost funkcije, to je veća verovatnoća.
  2. Ako se tačka nalazi iznad prave i mi je pripisujemo klasi Razmatranje logističke regresije ili Razmatranje logističke regresije, vrednost funkcije će biti negativna od Razmatranje logističke regresije do Razmatranje logističke regresije. Tada ćemo smatrati da se verovatnoća vraćanja duga nalazi u okviru Razmatranje logističke regresije i, što je veća po apsolutnoj veličini vrednost funkcije, to je veće naše poverenje.
  3. Tačka se nalazi na pravoj, na granici između dve klase. U tom slučaju, vrednost funkcije Razmatranje logističke regresije će biti jednaka Razmatranje logističke regresije i verovatnoća vraćanja kredita je jednaka Razmatranje logističke regresije.

Sada, zamislimo da imamo ne dva faktora, već desetina, a ne tri zajmoprimca, već hiljade. Tada umesto prave imamo m-mera ravnina i koeficijenti Razmatranje logističke regresije mi ćemo uzeti ne s neba, već će biti izračunati prema svim pravilima, na osnovu prikupljenih podataka o zajmoprimcima, koji su vraćali ili nisu vraćali kredite. I zaista, obratite pažnju, sada biramo zajmoprimce prema već poznatim koeficijentima Razmatranje logističke regresije. U stvarnosti, zadatak modela logističke regresije upravo je da odredi parametre Razmatranje logističke regresije, pri čemu vrednost funkcije gubitaka Logistic Loss teži ka minimalnom. Ali o tome kako se izračunava vektor Razmatranje logističke regresije, saznaćemo u petom poglavlju članka. A sada se vraćamo na obećanu zemlju — našem bankaru i trojici njegovih klijenata.

zahvaljujući funkciji Razmatranje logističke regresije znamo kome možemo odobriti kredit, a kome se treba odbiti. Ali sa takvim informacijama ne možemo kod direktora, jer od nas su želeli da dobiju verovatnoću povrata kredita za svakog zajmoprimca. Šta raditi? Odgovor je jednostavan — moramo nekako transformisati funkciju Razmatranje logističke regresije, čije vrednosti se nalaze u opsegu Razmatranje logističke regresije na funkciju, čije će vrednosti biti u opsegu Razmatranje logističke regresije. I takva funkcija postoji, zove se funkcija logističkog odgovora ili inverzno-logit transformacija. Upoznajte se:

Razmatranje logističke regresije

Pogledajmo korake kako dolazimo do funkcije logističkog odgovora. Obratite pažnju, da ćemo ići unazad, tj. pretpostavićemo da znamo vrednost verovatnoće, koja se nalazi između Razmatranje logističke regresije do Razmatranje logističke regresije i zatim ćemo "raspetljati" ovu vrednost na celu oblast brojeva od Razmatranje logističke regresije do Razmatranje logističke regresije.

03. Izvucimo funkciju logističkog odgovora

Korak 1. Pretvorimo vrednosti verovatnoće u opseg Razmatranje logističke regresije

Tokom transformacije funkcije Razmatranje logističke regresije u funkciju logističke reakcije Razmatranje logističke regresije ostavićemo našeg kreditnog analitičara na miru, a umesto toga proći ćemo kroz kladionice. Ne, naravno, nećemo se kladiti, sve što nas tamo zanima je smisao izraza, na primer, šansa 4 prema 1. Šanse, poznate svima koji se klade, predstavljaju odnos "uspeha" i "neuspeha". Sa stanovišta verovatnoća, šanse — to je verovatnoća događaja podeljena verovatnoćom neostvarenja događaja. Zapišimo formulu šanse za ostvarenje događaja Razmatranje logističke regresije:

Razmatranje logističke regresije

, gde Razmatranje logističke regresije — verovatnoća ostvarivanja događaja, Razmatranje logističke regresije — verovatnoća NE ostvarivanja događaja

Na primjer, ako je vjerovatnost da mladi, snažni i brzi konj po imenu «Vjetar» pobijedi staru i slabu staricu po imenu «Matilda» Razmatranje logističke regresije, tada su šanse za uspjeh «Vjetra» Razmatranje logističke regresije u Razmatranje logističke regresije Razmatranje logističke regresije i obrnuto, znajući šanse, lako ćemo izračunati vjerovatnost Razmatranje logističke regresije:

Razmatranje logističke regresije

Na taj način smo naučili da «prevodimo» vjerovatnost u šanse, koje mogu biti u rasponu od Razmatranje logističke regresije do Razmatranje logističke regresije. Učinićemo još jedan korak i naučiti da «prevodimo» vjerovatnost na cijeli brojčani pravac od Razmatranje logističke regresije do Razmatranje logističke regresije.

Korak 2. Prevešćemo vrijednosti vjerovatnosti u opseg Razmatranje logističke regresije

Ovaj korak je vrlo jednostavan — prologaritmiraćemo šanse po osnovi broja Eulerskog Razmatranje logističke regresije i dobijamo:

Razmatranje logističke regresije

Sada znamo da ako Razmatranje logističke regresije, tada će izračunavanje vrijednosti Razmatranje logističke regresije biti veoma jednostavno i, više od toga, ona bi trebala biti pozitivna: Razmatranje logističke regresije. Tako i jeste.

Iz radoznalosti provjerimo, šta ako Razmatranje logističke regresije, tada očekujemo da ćemo vidjeti negativnu vrijednost Razmatranje logističke regresije. Provjeravamo: Razmatranje logističke regresije. Sve je tačno.

Sada znamo kako prevesti vrijednost vjerovatnosti od Razmatranje logističke regresije do Razmatranje logističke regresije na cijeli brojčani pravac od Razmatranje logističke regresije do Razmatranje logističke regresije. U sljedećem koraku uradićemo sve obrnuto.

A do tada, zabilježimo da prema pravilima logaritmizacije, znajući vrijednost funkcije Razmatranje logističke regresije, možemo izračunati šanse:

Razmatranje logističke regresije

Ova metoda određivanja šansi će nam zatrebati u sljedećem koraku.

Korak 3. Izvešćemo formulu za određivanje Razmatranje logističke regresije

Dakle, naučili smo, znajući Razmatranje logističke regresije, pronaći vrijednosti funkcije Razmatranje logističke regresije. Međutim, zapravo nam treba sve tačno obrnuto — znajući vrijednost Razmatranje logističke regresije pronaći Razmatranje logističke regresije. Za to ćemo se obratiti pojmu kao što je obrnuta funkcija šansi, prema kojoj:

Razmatranje logističke regresije

U članku nećemo izvoditi pomenutu formulu, ali ćemo provjeriti na brojkama iz gornjeg primjera. Znamo da su pri šansama od 4 prema 1 (Razmatranje logističke regresije), vjerovatnost nastanka događaja jednaka 0.8 (Razmatranje logističke regresije). Napravimo substituciju: Razmatranje logističke regresije. To se poklapa sa našim ranijim izračunavanjima. Idemo dalje.

Na prethodnom koraku smo izveli da Razmatranje logističke regresije, a to znači da možemo izvršiti zamjenu u obrnutoj funkciji šansi. Dobijamo:

Razmatranje logističke regresije

Podelićemo i brojilac i imenilac sa Razmatranje logističke regresije, tada:

Razmatranje logističke regresije

Za svaki slučaj, da bismo se uverili da nismo napravili grešku, uradimo još jednu malu provjeru. Na koraku 2, za Razmatranje logističke regresije utvrdili smo da Razmatranje logističke regresije. Tada, substitucijom vrijednosti Razmatranje logističke regresije u funkciju logističke povratne informacije, očekujemo da dobijemo Razmatranje logističke regresije. Substituišemo i dobijamo: Razmatranje logističke regresije

Čestitam vam, poštovani čitatelju, upravo smo razvili i testirali funkciju logističke regresije. Pogledajmo grafikon funkcije.

Grafikon 3 „Funkcija logističke regresije“

Razmatranje logističke regresije

Kod za crtanje grafikona

import math

def logit (f):
    return 1/(1+math.exp(-f))

f = np.arange(-7,7,0.05)
p = []

for i in f:
    p.append(logit(i))

fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

U literaturi se takođe može naći naziv ove funkcije kao sigmoidna funkcija. Na grafikonu se dobro vidi da osnovna promena verovatnoće pripadnosti objekta klasi nastaje u relativno uskom opsegu Razmatranje logističke regresije, otprilike od Razmatranje logističke regresije do Razmatranje logističke regresije.

Predlažem da se vratimo našem kreditnom analitičaru i pomognemo mu da izračuna verovatnoću otplate kredita, inače bi mogao ostati bez premije 🙂

Tabela 2 „Potencijalni zajmoprimci“

Razmatranje logističke regresije

Kod za formiranje tabele

proba = []
for i in df['f(w,x)']:
    proba.append(round(logit(i),2))
    
df['Verovatnoća'] = proba

df[['Zajmoprimac', 'Plata', 'Plaćanje', 'f(w,x)', 'Odluka', 'Verovatnoća']]

Dakle, verovatnoću povratka kredita smo utvrdili. U suštini, to je blizu istine.

Zaista, verovatnoća da Vasja sa platom od 120.000R može mesečno vraćati 3.000R banci bliska je 100%. Usput, treba da razumemo da banka može odobriti kredit i Leši ukoliko je politikom banke predviđeno, na primer, kreditiranje klijenata sa verovatnoćom povratka kredita većom od, recimo, 0.3. Samo u tom slučaju banka će formirati veće rezerve za moguće gubitke.

Takođe bi trebalo napomenuti da je odnos plate prema uplati ne manji od 3 i sa viškom od 5.000R uzet s neba. Zbog toga nismo mogli koristiti prvobitni oblik vektora težina Razmatranje logističke regresije. Bilo je potrebno znatno smanjiti koeficijente i u tom slučaju smo svaki koeficijent podelili sa 25.000, što u suštini znači da smo prilagodili rezultat. Ali to je učinjeno namerno kako bi olakšalo razumevanje materijala u ranoj fazi. U stvarnosti, potrebno je ne izmišljati i prilagođavati koeficijente, već ih pronaći. U narednim delovima članka izvešćemo jednačine pomoću kojih se odabiraju parametri Razmatranje logističke regresije.

04. Metod najmanjih kvadrata u određivanju vektora težina Razmatranje logističke regresije u funkciji logističke regresije

Već nam je poznat takav metod odabira vektora težina Razmatranje logističke regresije, kao metod najmanjih kvadrata (MNK) A upravo, zašto ga ne bismo koristili u zadacima binarne klasifikacije? Zaista, ništa ne sprečava korišćenje MNL, samo što ova metoda daje manje tačne rezultate u klasifikacionim zadacima nego Logistic Loss. Ovo ima teoretsko objašnjenje. Hajde da prvo pogledamo jedan jednostavan primer.

Pretpostavimo da naše modele (koji koriste MSE i Logistic Loss) već počele sa odabirom vektora težina Razmatranje logističke regresije i zaustavili smo proračun na nekom koraku. Nije važno da li je to sredina, kraj ili početak, bitno je da već imamo neke vrednosti vektora težina i pretpostavimo da u ovom koraku, vektori težina Razmatranje logističke regresije za oba modela nemaju razlika. Tada ćemo uzeti dobijene težine i uvrstiti ih u funkciju logističke reakcije (Razmatranje logističke regresije) za neki objekat koji pripada klasi Razmatranje logističke regresije. Istražimo dva slučaja, kada se prema odabranom vektoru težina naš model mnogo greši i obrnuto — model je jako siguran da objekat pripada klasi Razmatranje logističke regresije. Pogledajmo koje kazne će biti „izrečene“ prilikom korišćenja MNL i Logistic Loss.

Kod za izračunavanje kazni u zavisnosti od korišćene funkcije gubitka

# класс объекта
y = 1
# вероятность отнесения объекта к классу в соответствии с параметрами w
proba_1 = 0.01

MSE_1 = (y - proba_1)**2
print 'Штраф MSE при грубой ошибке =', MSE_1

# напишем функцию для вычисления f(w,x) при известной вероятности отнесения объекта к классу +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
    return math.log(proba/(1-proba)) 

LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'Штраф Log Loss при грубой ошибке =', LogLoss_1

proba_2 = 0.99

MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))

print '**************************************************************'
print 'Штраф MSE при сильной уверенности =', MSE_2
print 'Штраф Log Loss при сильной уверенности =', LogLoss_2

Slučaj sa ozbiljnom greškom — model pripisuje objekat klasi Razmatranje logističke regresije sa verovatnoćom od 0,01

Kazna prilikom korišćenja MNL biće:
Razmatranje logističke regresije

Kazna prilikom korišćenja Logistic Loss biće:
Razmatranje logističke regresije

Slučaj sa velikom sigurnošću — model pripisuje objekat klasi Razmatranje logističke regresije sa verovatnoćom od 0,99

Kazna prilikom korišćenja MNL biće:
Razmatranje logističke regresije

Kazna prilikom korišćenja Logistic Loss biće:
Razmatranje logističke regresije

Ovaj primer dobro ilustruje da prilikom ozbiljne greške funkcija gubitka Log Loss kazni model znatno jače nego MSE. Hajde da sada razjasnimo koje su teoretske pretpostavke korišćenja funkcije gubitka Log Loss u klasifikacionim zadacima.

05. Metod maksimalne verovatnoće i logistička regresija

Kao što je obećano na početku, članak obiluje jednostavnim primerima. U studiju imamo novi primer i stare goste — klijente banke: Vasilij, Fedya i Lyoša.

U svakom slučaju, pre nego što razvijemo primer, podsećam da u stvarnosti imamo posla sa obučavanjem koje uključuje hiljade ili milione objekata sa desetine ili stotine osobina. Međutim, ovde su brojevi uzeti tako da ih lako zapamti početnik u dataskajntingu.

Vraćamo se na primer. Zamislimo da je direktor banke odlučio da odobri kredit svima kojima je potreban, uprkos tome što je algoritam preporučivao da se ne odobri Aleksi. Prošlo je dovoljno vremena da saznamo ko od trojice junaka je vratio kredit, a ko nije. Kao što se i očekivalo: Vasja i Fedja su vratili kredit, a Alekse — nije. Sada zamislite da će ova situacija biti nova obuka za nas i, usput, kao da su nestali svi podaci o faktorima koji utiču na verovatnoću vraćanja kredita (plate zajmoprimca, iznos mesečne rate). Tada možemo intuitivno pretpostaviti da svaki treći zajmoprimac ne vraća banki kredit ili, drugim rečima, da je verovatnoća vraćanja kredita sledećem zajmoprimcu Razmatranje logističke regresije. Ova intuitivna pretpostavka ima teoretsku potporu i zasniva se na metodi maksimalne verovatnoće, koja se u literaturi često naziva principom maksimalne verovatnoće.

Za početak, upoznajmo se sa pojmovnim aparatom.

Verovatnoća uzorka — to je verovatnoća dobijanja upravo takvog uzorka, dobijanja upravo ovakvih posmatranja / rezultata, t.j. proizvod verovatnoća dobijanja svakog od rezultata uzorka (na primer, da je kredit vraćen ili nije vraćen od strane Vasje, Fedje i Alekse istovremeno).

Funkcija verovatnoće povezuje verovatnoću uzorka sa vrednostima parametara raspodele.

U našem slučaju, uzorak za obuku predstavlja generalizovanu Bernulijevu shemu, u kojoj slučajna veličina može uzeti samo dve vrednosti: Razmatranje logističke regresije ili Razmatranje logističke regresije. Shodno tome, verovatnoća uzorka može se zapisati kao funkcija verovatnoće od parametra Razmatranje logističke regresije na sljedeći način:

Razmatranje logističke regresije
Razmatranje logističke regresije

Gore navedeni zapis može se interpretirati na sledeći način. Zajednička verovatnoća da Vasja i Fedja vrate kredit jednaka je Razmatranje logističke regresije, verovatnoća da Alekse NE vrati kredit jednaka je Razmatranje logističke regresije (budući da je u pitanju bila upravo NE vraćanje kredita), stoga je zajednička verovatnoća svih triju događaja jednaka Razmatranje logističke regresije.

Metoda maksimalne verovatnoće — to je metoda procene nepoznatog parametra putem maksimalizacije funkcije verovatnoće. U našem slučaju potrebno je pronaći takvu vrednost Razmatranje logističke regresije, pri kojoj Razmatranje logističke regresije dostiže maksimum.

Odakle zapravo dolazi ideja – tražiti vrednost nepoznatog parametra pri kojoj funkcija verovatnoće dostiže maksimum? Izvori te ideje proističu iz predstave da je uzorak jedini dostupni izvor znanja o populaciji. Sve što znamo o populaciji predstavljeno je u uzorku. Stoga, sve što možemo reći je to da je uzorak najtačnije ogledalo populacije koje imamo. Shodno tome, potrebno je pronaći takav parametar pri kojem postojeći uzorak postaje najverovatniji.

Očigledno, imamo posla s optimizacijskim zadatkom, u kojem je potrebno pronaći tačku ekstrema funkcije. Da bismo odredili tačku ekstrema, potrebno je razmatrati uslov prvog reda, tj. izjednačiti derivaciju funkcije sa nulom i rešiti jednačinu u odnosu na traženi parametar. Međutim, pronalazak derivacije proizvoda velikog broja faktorâ može se ispostaviti kao dugotrajan posao, pa da bismo to izbegli, postoji poseban postupak – prelazak na logaritam. funkcije verovatnoće. Zašto je takav prelazak moguć? Obratimo pažnju na to da ne tražimo sam ekstrem funkcijeRazmatranje logističke regresije, već tačku ekstrema, tj. tu vrednost nepoznatog parametra Razmatranje logističke regresije, pri kojoj Razmatranje logističke regresije koja dostiže maksimum. Prilikom prelaska na logaritam, tačka ekstrema se ne menja (iako će sam ekstrem biti drugačiji), jer je logaritamska funkcija monotona.

Hajde, u skladu sa gore navedenim, da nastavimo razvijati naš primer sa kreditima kod Vase, Fede i Leše. Za početak pređimo na logaritam funkcije verovatnoće:

Razmatranje logističke regresije

Sada možemo lako diferencirati izraz po Razmatranje logističke regresije:

Razmatranje logističke regresije

I konačno, razmotrimo uslov prvog reda – izjednačimo derivaciju funkcije sa nulom:

Razmatranje logističke regresije

Dakle, naša intuitivna procena verovatnoće otplate kredita Razmatranje logističke regresije bila je teorijski obrazložena.

Odlično, ali šta sada da radimo s takvim informacijama? Ako pretpostavimo da svaki treći zajmoprimac neće vratiti novac banci, banka će neizbežno propasti. Tako je to, ali kada procenjujemo verovatnoću otplate kredita jednaku Razmatranje logističke regresije Nismo uzeli u obzir faktore koji utiču na povrat kredita: plata zajmoprimca i iznos mesečne rate. Podsetimo se da smo ranije izračunali verovatnoću povrata kredita za svakog klijenta uzimajući u obzir te iste faktore. Logično je da su i verovatnoće dobijene različite od konstante jednakoj Razmatranje logističke regresije.

Definišimo verovatnoće uzoraka:

Kod za izračunavanje verovatnoće uzoraka

from functools import reduce

def likelihood(y,p):
    line_true_proba = []
    for i in range(len(y)):
        ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
        line_true_proba.append(ltp_i)
    likelihood = []
    return reduce(lambda a, b: a*b, line_true_proba)
        
    
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]


print 'Verovatnoća uzorka pri konstantnoj vrednosti p=2/3:', round(likelihood(y,p_const),3)

print '****************************************************************************************************'

print 'Verovatnoća uzorka pri proračunatoj vrednosti p:', round(likelihood(y,p_log_response),3)

Verovatnoća uzorka pri konstantnoj vrednosti Razmatranje logističke regresije:

Razmatranje logističke regresije

Verovatnoća uzorka pri proračunu verovatnoće otplate kredita uzimajući u obzir faktore Razmatranje logističke regresije:

Razmatranje logističke regresije
Razmatranje logističke regresije

Verovatnoća uzorka sa proračunatom verovatnoćom zavisno od faktora je bila viša od verovatnoće pri konstantnoj vrednosti verovatnoće. Šta to znači? To znači da su znanja o faktorima omogućila da se preciznije odredi verovatnoća otplate kredita za svakog klijenta. Stoga, pri odobravanju novog kredita, ispravnije bi bilo koristiti model procene verovatnoće otplate dugovanja koji je predstavljen na kraju trećeg odeljka članka.

Ali tada, ako nam je potrebno da maksimalizujemo funkciju verovatnoće uzorka, zašto ne bismo koristili neki algoritam koji bi davao verovatnoće za Vašu, Fedu i Lešu, na primer, jednake 0.99, 0.99 i 0.01, redom. Možda će takav algoritam dobro funkcionisati na obučenom uzorku, jer će približiti vrednost verovatnoće uzorka ka Razmatranje logističke regresije, ali, prvo, takav algoritam će verovatno imati poteškoća sa generalizacijom, i drugo, ovaj algoritam sigurno neće biti linearan. A ako metode za borbu protiv prekomernog učenja (tj. slaba sposobnost generalizacije) očigledno nisu deo plana ovog članka, hajde da detaljnije razjasnimo drugi deo. Da bismo to uradili, dovoljno je odgovoriti na jednostavno pitanje. Može li verovatnoća otplate kredita Vase i Fede biti identična uzimajući u obzir poznate nam faktore? Sa stanovišta zdravog razuma, naravno da ne može. Tako da će Vasja otplaćivati 2.5% svoje plate mesečno za otplatu kredita, dok će Feda otplaćivati gotovo 27.8%. Takođe, na grafikonu 2 „Klasifikacija klijenata“ vidimo da je Vasja značajno dalje od linije koja deli klase od Fede. I konačno, znamo da funkcija Razmatranje logističke regresije za Vasju i Fedju ima različite vrednosti: 4.24 za Vasju i 1.0 za Fedju. E, da je Feda, na primer, zarađivao red veličine više ili tražio manji kredit, tada bi verovatnoće otplate kredita za Vasju i Fedju bile slične. Drugim rečima, linearnu zavisnost ne možete prevariti. I da smo zaista izračunali koeficijente Razmatranje logističke regresije, a ne uzeli ih s neba, mogli bismo smelo tvrditi da naše vrednosti Razmatranje logističke regresije najbolje omogućavaju procenu verovatnoće otplate kredita od strane svakog zajmoprimca, ali pošto smo se dogovorili da smatramo da je određivanje koeficijenata Razmatranje logističke regresije provireno prema svim pravilima, tako da ćemo smatrati - naši koeficijenti omogućavaju najbolju procenu verovatnoće 🙂

Međutim, skrenuli smo s teme. U ovom delu moramo razjasniti kako se definiše vektor težina Razmatranje logističke regresije, koji je neophodan za procenu verovatnoće povraćaja kredita od strane svakog zajmoprimca.

Kratko rezimiramo, s kojim arsenalom izlazimo u potragu za koeficijentima Razmatranje logističke regresije:

1. Pretpostavljamo da je zavisnost između ciljne promenljive (prognoziranih vrednosti) i faktora koji utiče na ishod - linearna. Iz tog razloga se primenjuje funkcija linearne regresije ovog oblika Razmatranje logističke regresije, čija linija deli objekte (klijente) na klase Razmatranje logističke regresije i Razmatranje logističke regresije ili Razmatranje logističke regresije (klijenti sposobni za otplatu kredita i oni koji nisu sposobni). U našem slučaju, jednačina ima oblik Razmatranje logističke regresije.

2. Koristimo funkciju obrnutog logit-transformisanja ovog oblika Razmatranje logističke regresije za određivanje verovatnoće pripadnosti objekta klasi Razmatranje logističke regresije.

3. Razmatramo našu obučenu uzorku kao realizaciju generalizovane Bernoulli sheme, meaning that for each object a random variable is generated, which with a probability Razmatranje logističke regresije (its own for each object) takes the value of 1 and with a probability Razmatranje logističke regresije – 0.

4. We know that we need to maximize funkciju verovatnoće uzorka considering the accepted factors so that the existing sample becomes the most plausible. In other words, we need to choose parameters under which the sample will be the most plausible. In our case, the parameter we are choosing is the probability of loan repayment Razmatranje logističke regresije, which, in turn, depends on unknown coefficients Razmatranje logističke regresije. Therefore, we need to find such a weight vector Razmatranje logističke regresije, under which the likelihood of the sample will be maximized.

5. We know that for maximizing the likelihood function of the sample možete koristiti metoda maksimalne verodostojnosti. And we know all the clever tricks for working with this method.

This is how the multi-step process looks 🙂

Now let's remember that at the very beginning of the article we wanted to derive two types of loss functions Logistic Loss depending on how the classes of objects are designated. It has been customary in classification tasks with two classes to denote the classes as Razmatranje logističke regresije i Razmatranje logističke regresije ili Razmatranje logističke regresije. Depending on the designation, the corresponding loss function will be output.

Case 1. Classification of objects into Razmatranje logističke regresije i Razmatranje logističke regresije

Earlier, when assessing the likelihood of the sample, in which the probability of loan repayment was calculated based on factors and given coefficients Razmatranje logističke regresije, we applied the formula:

Razmatranje logističke regresije

In fact Razmatranje logističke regresije — this is the value of the logistic response function Razmatranje logističke regresije given a weight vector Razmatranje logističke regresije

Then nothing prevents us from writing the likelihood function of the sample as follows:

Razmatranje logističke regresije

Sometimes it happens that for some beginner analysts it's challenging to immediately understand how this function works. Let's look at 4 short examples that will clarify everything:

1. Ako Razmatranje logističke regresije (i.e., according to the training sample, the object belongs to class +1), and our algorithm Razmatranje logističke regresije determines the probability of attributing the object to class Razmatranje logističke regresije to be 0.9, then this piece of the sample's likelihood will be calculated as follows:

Razmatranje logističke regresije

2. Ako Razmatranje logističke regresije, dok Razmatranje logističke regresije, then the calculation will be as follows:

Razmatranje logističke regresije

3. Ako Razmatranje logističke regresije, dok Razmatranje logističke regresije, then the calculation will be as follows:

Razmatranje logističke regresije

4. Ako Razmatranje logističke regresije, dok Razmatranje logističke regresije, then the calculation will be as follows:

Razmatranje logističke regresije

Clearly, the likelihood function will be maximized in cases 1 and 3 or, in general terms — when the probabilities of attributing the object to the class are correctly guessed Razmatranje logističke regresije.

Due to the fact that when determining the probability of attributing an object to a class Razmatranje logističke regresije ne znamo samo koeficijente Razmatranje logističke regresije, pa ćemo ih tražiti. Kao što je gore rečeno, ovo je optimizacijska zadatak, u kojem nam je potrebno prvo pronaći derivaciju funkcije verovatnoće po vektoru težina Razmatranje logističke regresije. Međutim, pre toga ima smisla pojednostaviti sebi zadatak: tražićemo derivaciju logaritma funkcije verovatnoće.

Razmatranje logističke regresije

Zašto nakon logaritmovanja, u funkciji logističke greške, promenili smo znak sa Razmatranje logističke regresije na Razmatranje logističke regresije. Sve je jednostavno, pošto je u zadacima procene kvaliteta modela uobičajeno minimizirati vrednost funkcije, pomnožili smo desnu stranu izraza sa Razmatranje logističke regresije i prema tome umesto maksimizacije, sada minimiziramo funkciju.

U suštini, upravo je pred vašim očima puno patnje izvedena funkcija gubitka — Logistic Loss za obučeni skup podataka sa dva razreda: Razmatranje logističke regresije i Razmatranje logističke regresije.

Sada, za pronalaženje koeficijenata, biće nam potrebno samo da pronađemo derivaciju funkciji logističke greške i zatim, koristeći numeričke metode optimizacije, kao što su gradijentni spust ili stohastički gradijentni spust, da pronađemo najoptimalnije koeficijente Razmatranje logističke regresije. No, uzimajući u obzir već prilično obiman članak, predlažemo da diferenciranje obavite sami ili, možda, će to biti tema sledećeg članka sa mnogo aritmetike bez toliko detaljnih primera.

Slučaj 2. Klasifikacija objekata na Razmatranje logističke regresije i Razmatranje logističke regresije

Pristup će biti isti kao i sa razredima Razmatranje logističke regresije i Razmatranje logističke regresije, ali sama staza do izvođenja funkcije gubitka Logistic Loss, će biti složenija. Počnimo. Za funkciju verovatnoće koristićemo operator „ako…, onda…“. Dakle, ako Razmatranje logističke regresije-ti objekat pripada klasi Razmatranje logističke regresije, onda za izračunavanje verovatnoće uzorka koristimo verovatnoću Razmatranje logističke regresije, ako objekat pripada klasi Razmatranje logističke regresije, onda u verovatnoću stavljamo Razmatranje logističke regresije. Ovako izgleda funkcija verovatnoće:

Razmatranje logističke regresije

Na jednostavan način objasnićemo kako to funkcioniše. Razmotrite 4 slučaja:

1. Ako Razmatranje logističke regresije i Razmatranje logističke regresije, tada će u verovatnoću uzorka „ići” Razmatranje logističke regresije

2. Ako Razmatranje logističke regresije i Razmatranje logističke regresije, tada će u verovatnoću uzorka „ići” Razmatranje logističke regresije

3. Ako Razmatranje logističke regresije i Razmatranje logističke regresije, tada će u verovatnoću uzorka „ići” Razmatranje logističke regresije

4. Ako Razmatranje logističke regresije i Razmatranje logističke regresije, tada će u verovatnoću uzorka „ići” Razmatranje logističke regresije

Očigledno je da u 1 i 3 slučaju, kada su verovatnoće bile pravilno određene algoritmom, funkcija verovatnoće biće maksimizovana, dakle, upravo to smo želeli postići. Međutim, takav pristup je dovoljno glomazan i dalje ćemo razmotriti sažetiji zapis. No pre toga, logaritmovat ćemo funkciju verovatnoće sa promenom znaka, jer ćemo je sada minimizirati.

Razmatranje logističke regresije

Zamenićemo umesto Razmatranje logističke regresije izraz Razmatranje logističke regresije:

Razmatranje logističke regresije

P pojednostavimo desni član ispod logaritma koristeći jednostavne aritmetičke tehnike i dobijamo:

Razmatranje logističke regresije

A sada je vreme da se oslobodimo operatera „ako…, onda…“. Primetimo da kada objekat Razmatranje logističke regresije pripada klasi Razmatranje logističke regresije, u izrazu ispod logaritma, u imeniocu, Razmatranje logističke regresije se podiže na stepen Razmatranje logističke regresije, ako objekat pripada klasi Razmatranje logističke regresije, tada se $e$ podiže na stepen Razmatranje logističke regresije. Stoga se zapis stepena može pojednostaviti - ujedinimo oba slučaja u jedan: Razmatranje logističke regresije. Tada funkcija logističke greške ima oblik:

Razmatranje logističke regresije

U skladu sa pravilima logaritmizacije, obrnućemo razlomak i izvući znak "Razmatranje logističke regresije" (minus) ispred logaritma, dobijamo:

Razmatranje logističke regresije

Ispred vas je funkcija gubitaka logistic Loss, koja se primenjuje u obučavajućem skupu u kojem su objekti pripisani klasama: Razmatranje logističke regresije i Razmatranje logističke regresije.

Pa, u ovom trenutku se opraštam i završavamo članak.

Razmatranje logističke regresije Prethodni rad autora - „Dovodimo jednadžbu linearne regresije u matrični oblik”

Pomoćni materijali

1. Literatura

1) Primenjena regresiona analiza / N. Drejper, G. Smith - 2. izd. - M.: Finansije i statistika, 1986 (prevod sa engleskog)

2) Teorija verovatnoće i matematička statistika / V.E. Gmurman - 9. izd. - M.: Viša škola, 2003

3) Teorija verovatnoće / N.I. Černova - Novosibirsk: Novosibirjski državni univerzitet, 2007

4) Biznis-analitika: od podataka do znanja / Paklin N.B., Oreškov V.I. - 2. izd. - Sankt Petersburg: Piter, 2013

5) Data Science Nauka o podacima od nule / Džoel Gras - Sankt Petersburg: BHV Petersburg, 2017

6) Praktična statistika za stručnjake Data Science / P.Bruce, E.Bruce - Sankt Petersburg: BHV Petersburg, 2018

2. Predavanja, kursevi (video)

1) Suština metode maksimalne verovatnoće, Boris Demešev

2) Metod maksimalne verovatnoće u kontinuiranom slučaju, Boris Demešev

3) Logistička regresija. Otvoreni kurs ODS, Yury Kashnitsky

4) Predavanje 4, Evgenij Sokolo (od 47. minuta videa)

5) Logistička regresija, Vjačeslav Voroncov

3. Internet izvori

1) Linearni modeli klasifikacije i regresije

2) Kako lako razumeti logističku regresiju

3) Logistička funkcija greške

4) Nezavisni pokusi i Bernulijeva formula

5) Balada o MMP

6) Metoda maksimalne verovatnoće

7) Formule i svojstva logaritama

8) Zašto broj Razmatranje logističke regresije?

9) Linearni klasifikator

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster