ProHoster > Duke kaluar nëpër regresionin logjistik

Duke kaluar nëpër regresionin logjistik

Duke kaluar nëpër regresionin logjistik

Në këtë artikull, ne do të shqyrtojmë teoritë rreth transformimit funksioni i regresionit linear në funksionin e transformimit logit invers (ndryshe i njohur si funksioni i përgjigjes logjistike). Më pas, duke shfrytëzuar arsenalin metodës së maksimumit të mundësisë, sipas modelit të regresionit logjistik, do të nxjerrim funksionin e humbjes Humbja Logjistike, ose, me fjalë të tjera, do të përcaktojmë funksionin që, në modelin e regresionit logjistik, përshtat parametrat e vektorit të peshave Duke kaluar nëpër regresionin logjistik.

Plani i artikullit:

  1. Do të përkujtojmë mbi lidhjen e drejtpërdrejtë midis dy variablave
  2. Do të identifikojmë nevojën për transformimin funksioni i regresionit linear Duke kaluar nëpër regresionin logjistik në funksionin e përgjigjes logjistike Duke kaluar nëpër regresionin logjistik
  3. Do të kryejmë transformime dhe do të nxjerrim funksionin e përgjigjes logjistike
  4. Do të përpiqemi të kuptojmë se përse metoda e katrorëve të vogla është e papërshtatshme për përshtatjen e parametrave Duke kaluar nëpër regresionin logjistik funksione Humbja Logjistike
  5. Përdorim metoda e maksimumit të mundësisë për të identifikuar funksionet e përshtatjes së parametrave Duke kaluar nëpër regresionin logjistik:

    5.1. Rasti 1: funksioni Humbja Logjistike për objektet me etiketat e klasave 0 dhe 1:

    Duke kaluar nëpër regresionin logjistik

    5.2. Rasti 2: funksioni Humbja Logjistike për objektet me etiketat e klasave -1 dhe +1:

    Duke kaluar nëpër regresionin logjistik


Artikulli Ă«shtĂ« i mbushur me shembuj tĂ« thjeshtĂ«, ku tĂ« gjitha llogaritjet mund tĂ« kryhen lehtĂ«sisht gojarisht ose nĂ« letĂ«r, ndonjĂ«herĂ« mund tĂ« nevojitet njĂ« kalkulator. Prandaj, pĂ«rgatituni 🙂

Ky artikull është kryesisht i orientuar ndaj shkencëtarëve të të dhënave me njohuri fillestare në parimet e mësimit të makinerive.

NĂ« artikull do tĂ« jepen gjithashtu kodet pĂ«r vizatimin e grafikĂ«ve dhe llogaritjet. TĂ« gjitha kodet janĂ« tĂ« shkruara nĂ« gjuhĂ«n python 2.7. Le ta sqaroj pĂ«r "novitetin" e versionit tĂ« pĂ«rdorur — kjo Ă«shtĂ« njĂ« nga kĂ«rkesat pĂ«r tĂ« kaluar kursin e njohur nga Yandex nĂ« njĂ« nga platformat mĂ« tĂ« njohura tĂ« arsimit online Coursera, dhe, siç mund tĂ« supozohet, materiali Ă«shtĂ« pĂ«rgatitur nĂ« frymĂ«n e kĂ«tij kursi.

01. Lidhja e drejtpërdrejtë

Ă«shtĂ« plotĂ«sisht e arsyeshme tĂ« bĂ«jmĂ« pyetjen — çfarĂ« ka tĂ« bĂ«jĂ« lidhja e drejtpĂ«rdrejtĂ« me regresionin logjistik?

TĂ« gjitha janĂ« tĂ« thjeshta! Regresioni logjistik Ă«shtĂ« njĂ« nga modelet qĂ« i pĂ«rket klasifikatorit linear. Thjesht, detyra e klasifikatorit linear Ă«shtĂ« parashikimi i vlerave tĂ« synuara Duke kaluar nĂ«pĂ«r regresionin logjistik nga variablat (regresorĂ«t) Duke kaluar nĂ«pĂ«r regresionin logjistik. NĂ« kĂ«tĂ« rast, supozohet se lidhja midis karakteristikave Duke kaluar nĂ«pĂ«r regresionin logjistik dhe vlerave tĂ« synuara Duke kaluar nĂ«pĂ«r regresionin logjistik Ă«shtĂ« lineare. Prandaj quhet klasifikatori i tillĂ« — linear. NĂ«se duam tĂ« pĂ«rgjithĂ«sojmĂ«, nĂ« themel tĂ« modelit tĂ« regresionit logjistik Ă«shtĂ« supozimi pĂ«r prani tĂ« njĂ« lidhjeje lineare midis karakteristikave Duke kaluar nĂ«pĂ«r regresionin logjistik dhe vlerave tĂ« synuara Duke kaluar nĂ«pĂ«r regresionin logjistik. Ja, ky Ă«shtĂ« lidhja.

NĂ« studio Ă«shtĂ« shembulli i parĂ«, dhe ai, saktĂ«sisht, pĂ«r lidhjen e drejtpĂ«rdrejtĂ« tĂ« variablave tĂ« hulumtuar. NĂ« procesin e pĂ«rgatitjes sĂ« artikullit, kam hasur nĂ« njĂ« shembull qĂ« Ă«shtĂ« bĂ«rĂ« tashmĂ« i njohur pĂ«r shumĂ« — lidhja midis forcĂ«s sĂ« rrymĂ«s dhe tensionit ("Analiza e Regresionit tĂ« Aplikuar", N.Dreiper, G.Smith). KĂ«tĂ« do ta shqyrtojmĂ« kĂ«tu.

Sipas me ligjin e Ohmit:

Duke kaluar nĂ«pĂ«r regresionin logjistik, ku Duke kaluar nĂ«pĂ«r regresionin logjistik — forca e rrymĂ«s, Duke kaluar nĂ«pĂ«r regresionin logjistik — tensioni, Duke kaluar nĂ«pĂ«r regresionin logjistik — rezistenca.

Po të mos e dinim ligjin e Ohmit, mund të gjenim lidhjen empirike, duke ndryshuar Duke kaluar nëpër regresionin logjistik dhe duke matur Duke kaluar nëpër regresionin logjistik, duke mbajtur në të njëjtën kohë Duke kaluar nëpër regresionin logjistik konstant. Atëherë do të shihnim se grafiku i varësisë Duke kaluar nëpër regresionin logjistik nga Duke kaluar nëpër regresionin logjistik tregon një linjë më të vogël ose më shumë, e cila kalon përmes origjinës së koordinatave. Thame "më shumë ose më pak", sepse, megjithëse lidhja është në të vërtetë e saktë, masat tona mund të kenë gabime të vogla, dhe për këtë arsye pikat në grafik, mund të mos bien saktësisht mbi vijë, por do të shpërndahen rreth saj në mënyrë të rastësishme.

Grafiku 1 "Lidhja Duke kaluar nëpër regresionin logjistik nga Duke kaluar nëpër regresionin logjistik»

Duke kaluar nëpër regresionin logjistik

Kodi për vizatimin e grafikut

import matplotlib.pyplot as plt
%matplotlib inline

import numpy as np

import random

R = 13.75

x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
    y_line.append(i/R)
    
y_dot = []
for i in y_line:
    y_dot.append(i+random.uniform(-0.9,0.9))


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Rezultatet aktuale')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

02. Nevoja për transformime të ekuacionit të regresionit linear

Le të shqyrtojmë një shembull tjetër. Le të parafytyrojmë se ne punojmë në një bankë dhe para nesh qëndron detyra për të përcaktuar probabilitetin e shpërndarjes së një kredi nga kredimarrësi në varësi të disa faktorëve. Për të thjeshtuar detyrën, le të shqyrtojmë vetëm dy faktorë: paga mujore e kredimarrësit dhe shuma e pagesës mujore për shlyerjen e kredisë.

Detyra është shumë hipotetike, por me këtë shembull do të mund të kuptojmë pse për zgjidhjen e saj nuk është e mjaftueshme aplikimi funksioni i regresionit linear, si dhe do të zbulojmë cilat transformime kërkohen për funksionin.

Kthehemi në shembullin. E qartë se sa më e lartë të jetë paga, aq më shumë mund të drejtojë borxhi çdo muaj për shlyerjen e kredisë. Megjithatë, për një farë diapazoni pagash, kjo varësi do të jetë mjaft lineare. Për shembull, le të marrim një diapazon pagash nga 60.000R deri në 200.000R dhe të supozojmë se në këtë diapazon pagash, varësia e pagesës mujore ndaj pagës është lineare. Le të supozojmë se në këtë diapazon pagash është konstatuar se raporti i pagës ndaj pagesës nuk mund të jetë më i vogël se 3 dhe gjithashtu borxhli duhet të ketë ende 5.000R brenda. Vetëm në këtë rast, ne do të mendojmë se borxhli do ta kthejë kredinë në bankë. Atëherë, ekuacioni i regresionit linear do të marrë këtë formë:

Duke kaluar nëpër regresionin logjistik

ku Duke kaluar nĂ«pĂ«r regresionin logjistik, Duke kaluar nĂ«pĂ«r regresionin logjistik, Duke kaluar nĂ«pĂ«r regresionin logjistik, Duke kaluar nĂ«pĂ«r regresionin logjistik — paga Duke kaluar nĂ«pĂ«r regresionin logjistik-t e borxhlisĂ«, Duke kaluar nĂ«pĂ«r regresionin logjistik — pagesa e kredisĂ« Duke kaluar nĂ«pĂ«r regresionin logjistik-t e borxhlisĂ«.

Duke futur në ekuacionin pagën dhe pagesën e kredisë me parametra të fiksuar Duke kaluar nëpër regresionin logjistik mund të merret një vendim për dhënien ose refuzimin e kredisë.

Duke u shkuar përpara, vëmë re se, me parametrat e dhëna Duke kaluar nëpër regresionin logjistik funkcioni i regresionit linear, i përdorur në funkcioni i reagimit logjik do të jep rezultate të mëdha, të cilat do të vështirësojnë kryerjen e llogaritjeve për të përcaktuar probabilitetet e shlyerjes së kredisë. Prandaj, propozohet që të zvogëlohen koeficientët tanë, le të themi, me 25.000 herë. Nga ky transformim në koeficientë, vendimi për dhënien e kredisë nuk do të ndryshojë. Ta mbajmë këtë moment në mend për të ardhmen, dhe tani, për ta bërë edhe më të qartë, le të shqyrtojmë situatën me tre borxhlinj potencialë.

Tabela 1 "Borxhlinj potencialë"

Duke kaluar nëpër regresionin logjistik

Kodi për formimin e tabelës

import pandas as pd

r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r

data = {'Borxhli':np.array(['Vasya', 'Fedya', 'Lesha']), 
        'Paga':np.array([120000,180000,210000]),
       'Pagesa':np.array([3000,50000,70000])}

df = pd.DataFrame(data)

df['f(w,x)'] = w_0 + df['Paga']*w_1 + df['Pagesa']*w_2

decision = []
for i in df['f(w,x)']:
    if i > 0:
        dec = 'Miratuar'
        decision.append(dec)
    else:
        dec = 'Refuzim'
        decision.append(dec)
        
df['Vendimi'] = decision

df[['Borxhli', 'Paga', 'Pagesa', 'f(w,x)', 'Vendimi']]

Sipas tĂ« dhĂ«nave tĂ« tabelĂ«s, Vasya me njĂ« pagĂ« prej 120.000R dĂ«shiron tĂ« marrĂ« njĂ« kredi tĂ« tillĂ«, nĂ« mĂ«nyrĂ« qĂ« ta paguajĂ« atĂ« me 3.000R çdo muaj. Ne kemi pĂ«rcaktuar se pĂ«r tĂ« miratuar kredinĂ«, niveli i pagĂ«s sĂ« Vasya duhet tĂ« tejkalojĂ« tre herĂ« shumĂ«n e pagesĂ«s, dhe qĂ« tĂ« mbetet ende 5.000R. Ky kĂ«rkesĂ« Vasya e pĂ«rmbush: Duke kaluar nĂ«pĂ«r regresionin logjistik. Mbetej edhe 106.000R. PavarĂ«sisht se nĂ« llogaritjen tonĂ« Duke kaluar nĂ«pĂ«r regresionin logjistik ne zvogĂ«luam koeficientĂ«t Duke kaluar nĂ«pĂ«r regresionin logjistik me 25.000 herĂ«, rezultati ishte po ai — kredia mund tĂ« miratohet. Fedya gjithashtu do tĂ« marrĂ« kredit, por Lesha, pavarĂ«sisht se merr mĂ« shumĂ« se tĂ« tjerĂ«t, do tĂ« duhet tĂ« kufizojĂ« apetitat e tij.

Të vizatojmë një grafik për këtë rast.

Grafiku 2 "Klasifikimi i borxhlinjve"

Duke kaluar nëpër regresionin logjistik

Kodi për vizatimin e grafikut

salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Vendimi'] == 'Miratuar']['Paga'], df[df['Vendimi'] == 'Miratuar']['Pagesa'], 
         'o', color ='green', markersize = 12, label = 'Vendimi - Kredia e miratuar')
plt.plot(df[df['Vendimi'] == 'Refuzim']['Paga'], df[df['Vendimi'] == 'Refuzim']['Pagesa'], 
         's', color = 'red', markersize = 12, label = 'Vendimi - Refuzimi i kredisë')
plt.xlabel('Paga', size = 16)
plt.ylabel('Pagesa', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

Prandaj, linea jonĂ«, e ndĂ«rtuar sipas funksionit Duke kaluar nĂ«pĂ«r regresionin logjistik, ndan "borxhlinjtĂ« e kĂ«qij" nga "borxhlinjtĂ« e mirĂ«". Ata borxhlinj qĂ« dĂ«shirat e tyre nuk pĂ«rputhen me mundĂ«sitĂ« janĂ« mbi linjĂ« (Lesha), ata qĂ« janĂ« nĂ« gjendje, sipas parametra tonĂ« modeli, tĂ« kthejnĂ« kredisĂ«, janĂ« nĂ«n linjĂ« (Vasya dhe Fedya). NĂ«se mund ta themi ndryshe — linea jonĂ« ndan borxhlinjtĂ« nĂ« dy klasa. T’i quajmĂ« kĂ«shtu: nĂ« klasĂ«n Duke kaluar nĂ«pĂ«r regresionin logjistik do tĂ« pĂ«rfshijmĂ« borxhlinjtĂ« qĂ« do tĂ« mund tĂ« kthejnĂ« kredisĂ«, ndĂ«rsa nĂ« klasĂ«n Duke kaluar nĂ«pĂ«r regresionin logjistik ose Duke kaluar nĂ«pĂ«r regresionin logjistik do tĂ« pĂ«rfshijmĂ« borxhlinjtĂ« qĂ« ndoshta nuk do tĂ« mund ta kthejnĂ« kredinĂ«.

Të përmbledhim konkluzionet nga kjo shembull i thjeshtë. Le të marrim pikën Duke kaluar nëpër regresionin logjistik dhe, duke futur koordinatat e pikës në ekuacionin përkatës të linjës Duke kaluar nëpër regresionin logjistik, të shqyrtojmë tri variante:

  1. Nëse pika ndodhet nën linjë, dhe ne e klasifikojmë atë në klasën Duke kaluar nëpër regresionin logjistik, atëherë vlera e funksionit Duke kaluar nëpër regresionin logjistik do të jetë pozitive nga Duke kaluar nëpër regresionin logjistik deri në Duke kaluar nëpër regresionin logjistik. Kështu ne mund të mendojmë se probabiliteti i shlyerjes së kredisë, është brenda Duke kaluar nëpër regresionin logjistik. Sa më e lartë të jetë vlera e funksionit, aq më e lartë është probabiliteti.
  2. Nëse pika ndodhet mbi linjë dhe ne e klasifikojmë atë në klasën Duke kaluar nëpër regresionin logjistik ose Duke kaluar nëpër regresionin logjistik, atëherë vlera e funksionit do të jetë negative nga Duke kaluar nëpër regresionin logjistik deri në Duke kaluar nëpër regresionin logjistik. Atëherë do të mendojmë se probabiliteti i shlyerjes së borxhit është brenda Duke kaluar nëpër regresionin logjistik dhe, sa më i lartë në modulin e vlerës së funksionit, aq më e lartë është siguria jonë.
  3. Pika ndodhet në linjë, në kufirin midis dy klasave. Në këtë rast vlera e funksionit Duke kaluar nëpër regresionin logjistik do të jetë e barabartë me Duke kaluar nëpër regresionin logjistik dhe probabiliteti i shlyerjes së kredisë është i barabartë me Duke kaluar nëpër regresionin logjistik.

Tani, imagjinoni se ne nuk kemi dy faktorë, por disa, borxhlinj nuk janë tre, por mijëra. Atëherë në vend të linjës ne do të kemi pllakë m-dimensional edhe koeficientët Duke kaluar nëpër regresionin logjistik Ne do të marrim të dhëna rastësore, por do t'i nxjerrim sipas rregullave, bazuar në të dhënat e grumbulluara për huamarrësit që kanë kthyer ose nuk kanë kthyer kreditë. Në të vërtetë, vërejeni, tani jemi duke përzgjedhur huamarrësit me koeficientë të njohur. Duke kaluar nëpër regresionin logjistikSidoqoftë, objekti i modelit të regresionit logjistik është pikërisht të përcaktojë parametrat Duke kaluar nëpër regresionin logjistik, për të cilat vlera e funksionit të humbjeve Humbja Logjistike do të përpiqet të minimizohet. Por se si llogaritet vektori Duke kaluar nëpër regresionin logjistik, do ta mësojmë në seksionin e pestë të artikullit. Ndërkohë, le të kthehemi te banka jonë dhe tre klientët e saj.

FalĂ« funksionit Duke kaluar nĂ«pĂ«r regresionin logjistik Ne e dimĂ« se kujt mund t'i jepet kredi dhe kujt duhet t'i refuzohet. Por me kĂ«tĂ« informacion, nuk mund tĂ« shkojmĂ« te drejtori, sepse ata donin tĂ« merrnin probabilitetin e kthimit tĂ« kreditĂ«ve nga çdo huamarrĂ«s. ÇfarĂ« tĂ« bĂ«jmĂ«? PĂ«rgjigjja Ă«shtĂ« e thjeshtĂ« — na nevojitet tĂ« transformojmĂ« funksionin Duke kaluar nĂ«pĂ«r regresionin logjistik, vlerat e tĂ« cilit bien nĂ« gamĂ«n Duke kaluar nĂ«pĂ«r regresionin logjistik nĂ« njĂ« funksion, vlerat e tĂ« cilit do tĂ« bien nĂ« gamĂ«n Duke kaluar nĂ«pĂ«r regresionin logjistik. Dhe njĂ« funksion i tillĂ« ekziston, e quajnĂ« funksionin e pĂ«rgjigjes logjistike ose transformimin invers-logit. Prezantim:

Duke kaluar nëpër regresionin logjistik

Le të shohim hap pas hapi si formohet funksioni i përgjigjes logjistike. Vërejmë se do të ecim në anën e kundërt, dmth. do të supozojmë se na është dhënë vlera e probabilitetit, e cila bie brenda kufijve nga Duke kaluar nëpër regresionin logjistik deri në Duke kaluar nëpër regresionin logjistik dhe më pas do ta "zgjerojmë" këtë vlerë në të gjithë intervalin e numrave nga Duke kaluar nëpër regresionin logjistik deri në Duke kaluar nëpër regresionin logjistik.

03. Formojmë funksionin e përgjigjes logjistike

Hapi 1. Të përkthejmë vlerat e probabilitetit në gamën Duke kaluar nëpër regresionin logjistik

Për kohën e transformimit të funksionit Duke kaluar nëpër regresionin logjistik në funksionin e përgjigjes logjistike Duke kaluar nëpër regresionin logjistik do ta lëmë pa përmendur analistin tonë të kredive, dhe përkundrazi do të shqyrtojmë bastet në zyrat e basteve. Jo, natyrisht, ne nuk do të vendosim bast, ajo që na intereson është vetëm kuptimi i shprehjes, për shembull, probabiliteti 4 me 1. Shanset, të njohura për të gjithë lojtarët e basteve, përfaqësojnë raportin e "sukseseve" ndaj "dështimeve". Nga pikëpamja e probabiliteteve, shanset janë probabiliteti i shfaqjes së ngjarjes, i ndarë me probabilitetin që ngjarja nuk do të ndodhë. Le të shkruajmë formulën e probabilitetit të shfaqjes së ngjarjes Duke kaluar nëpër regresionin logjistik:

Duke kaluar nëpër regresionin logjistik

, ku Duke kaluar nĂ«pĂ«r regresionin logjistik — probabiliteti i shfaqjes sĂ« ngjarjes, Duke kaluar nĂ«pĂ«r regresionin logjistik — probabiliteti qĂ« ngjarja NUK do tĂ« ndodhĂ«

Për shembull, nëse probabiliteti që një kalë i ri, i fortë dhe energjik i quajtur "Erë" të kalojë kalë të vjetër dhe të dobët me emrin "Matilda" është Duke kaluar nëpër regresionin logjistik, atëherë shanset për suksesin e "Erës" do të jenë Duke kaluar nëpër regresionin logjistik për Duke kaluar nëpër regresionin logjistik Duke kaluar nëpër regresionin logjistik dhe anasjelltas, duke ditur shanset, nuk do të na jetë e vështirë të llogarisim probabilitetin Duke kaluar nëpër regresionin logjistik:

Duke kaluar nëpër regresionin logjistik

Në këtë mënyrë, ne kemi mësuar të "përkthejmë" probabilitetin në shanse, të cilat pranojnë vlera nga Duke kaluar nëpër regresionin logjistik deri në Duke kaluar nëpër regresionin logjistik. Të bëjmë një hap tjetër dhe të mësojmë "të përkthejmë" probabilitetin në të gjithë vijën numerike nga Duke kaluar nëpër regresionin logjistik deri në Duke kaluar nëpër regresionin logjistik.

Hapi 2. Të përkthejmë vlerat e probabilitetit në gamën Duke kaluar nëpër regresionin logjistik

Ky hap Ă«shtĂ« shumĂ« i thjeshtĂ« — do ta logarizojmĂ« shanset me bazĂ«n e numrit tĂ« Euler-it Duke kaluar nĂ«pĂ«r regresionin logjistik dhe do tĂ« marrim:

Duke kaluar nëpër regresionin logjistik

Tani e dimë se nëse Duke kaluar nëpër regresionin logjistik, atëherë llogaritja e vlerës Duke kaluar nëpër regresionin logjistik do të jetë shumë e thjeshtë dhe, më tepër, duhet të jetë pozitive: Duke kaluar nëpër regresionin logjistik. Kështu është.

Për kuriozitet, le të kontrollojmë se nëse Duke kaluar nëpër regresionin logjistik, atëherë presim të shohim një vlerë negative Duke kaluar nëpër regresionin logjistik. Kontrollojmë: Duke kaluar nëpër regresionin logjistik. E saktë.

Tani e dimë si të përkthejmë vlerën e probabilitetit nga Duke kaluar nëpër regresionin logjistik deri në Duke kaluar nëpër regresionin logjistik në të gjithë vijën numerike nga Duke kaluar nëpër regresionin logjistik deri në Duke kaluar nëpër regresionin logjistik. Në hapin tjetër do të bëjmë gjithçka në të kundërt.

Ndërkohë, vërejmë se sipas rregullave të logaritmimit, duke ditur vlerën e funksionit Duke kaluar nëpër regresionin logjistik, mund të llogarisim shanset:

Duke kaluar nëpër regresionin logjistik

Ky metodë për përcaktimin e shanseve do të na ndihmojë në hapin tjetër.

Hapi 3. Do të nxjerrim formulën për përcaktimin e Duke kaluar nëpër regresionin logjistik

Pra, kemi mĂ«suar tĂ« gjejmĂ« vlerat e funksionit duke pasur Duke kaluar nĂ«pĂ«r regresionin logjistik. Por, nĂ« tĂ« vĂ«rtetĂ«, ajo qĂ« na nevojitet Ă«shtĂ« e kundĂ«rta — duke ditur vlerĂ«n Duke kaluar nĂ«pĂ«r regresionin logjistikpĂ«r tĂ« gjetur Duke kaluar nĂ«pĂ«r regresionin logjistik . PĂ«r kĂ«tĂ«, do t'i referohemi konceptit tĂ« funksionit invers tĂ« shanseve, sipas tĂ« cilit: Duke kaluar nĂ«pĂ«r regresionin logjistikNĂ« kĂ«tĂ« artikull nuk do tĂ« nxjerrim formulĂ«n e mĂ«sipĂ«rme, por do ta testojmĂ« me numra nga shembulli mĂ« parĂ«. E dimĂ« se kur shanset janĂ« 4 me 1 (

Duke kaluar nëpër regresionin logjistik

), probabiliteti i shfaqjes së ngjarjes është 0.8 (Duke kaluar nëpër regresionin logjistik). Do të bëjmë një zëvendësim:Duke kaluar nëpër regresionin logjistik. Kjo përputhet me llogaritjet tona të bëra më parë. Le të vazhdojmë. Duke kaluar nëpër regresionin logjistikNë hapin e kaluar nxorrëm se

, prandaj mund të bëjmë një zëvendësim në funksionin invers të shanseve. Do të marrim: Duke kaluar nëpër regresionin logjistikTë ndajmë si numëruesin dhe emëruesin me

Duke kaluar nëpër regresionin logjistik

, atëherë: Duke kaluar nëpër regresionin logjistikPër çdo rast, për t'u siguruar se nuk kemi bërë ndonjë gabim, do të bëjmë një kontroll të vogël. Në hapin 2, ne përcaktuam se

Duke kaluar nëpër regresionin logjistik

. Atëherë, duke zëvendësuar vlerën Duke kaluar nëpër regresionin logjistik në funksionin e përgjigjes logjistike, presim të marrim Duke kaluar nëpër regresionin logjistik. Zëvendësojmë dhe marrim: Duke kaluar nëpër regresionin logjistik Urime, lexues i nderuar, sapo kemi nxjerrë dhe testuar funksionin e përgjigjes logjistike. Le të shikojmë grafikun e funksionit. Duke kaluar nëpër regresionin logjistikGrafiku 3 "Funksioni i përgjigjes logjistike" Duke kaluar nëpër regresionin logjistik

Urime ju, lexues i nderuar, sapo kemi nxjerrë dhe testuar funksionin e përgjigjes logistike. Le të shohim grafikën e funksionit.

Grafiku 3 «Funksioni i përgjigjes logistike»

Duke kaluar nëpër regresionin logjistik

Kodi për vizatimin e grafikut

import math

def logit (f):
    return 1/(1+math.exp(-f))

f = np.arange(-7,7,0.05)
p = []

for i in f:
    p.append(logit(i))

fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

Në literaturë mund të takoni gjithashtu emrin e kësaj funksioni si funksioni sigmoid. Nga grafiku, është e qartë se ndryshimi kryesor i probabilitetit të përkatësisë së objektit në klasë ndodh në një gamë relativisht të vogël Duke kaluar nëpër regresionin logjistik, diku nga Duke kaluar nëpër regresionin logjistik deri në Duke kaluar nëpër regresionin logjistik.

Propozoj qĂ« t'i kthehemi analistit tonĂ« tĂ« kreditit dhe t'i ndihmojmĂ« atij nĂ« llogaritjen e probabilitetit tĂ« shlyerjes sĂ« kredive, pĂ«rndryshe ai rrezikon tĂ« mbetet pa bonus 🙂

Tabela 2 "Huamarrësit potencialë"

Duke kaluar nëpër regresionin logjistik

Kodi për formimin e tabelës

proba = []
for i in df['f(w,x)']:
    proba.append(round(logit(i),2))
    
df['Probability'] = proba

df[['Huamarrësi', 'Paga', 'Pagesa', 'f(w,x)', 'Vendimi', 'Probabiliteti']]

Pra, probabiliteti i kthimit të kredive është përcaktuar. Në përgjithësi, kjo duket e arsyeshme.

Në të vërtetë, probabiliteti që Vasja, me një pagë prej 120.000R, të mund të kthejë çdo muaj 3.000R në bankë është afër 100%. Për më tepër, duhet të kuptojmë se banka mund t'i japë një kredi edhe Lleshës, në rast se politika e bankës parashikon, për shembull, të kreditohen klientët me një probabilitet kthimi të kredive më shumë se, le të themi, 0.3. Thjesht në këtë rast, banka do të formojë një rezervë më të madhe për humbjet e mundshme.

Gjithashtu, duhet të theksohet se raporti midis pagës dhe pagesës, jo më pak se 3 dhe me një rezerva prej 5.000R, ishte marrë nga ajri. Prandaj, ne nuk mund ta kishim përdorur në formën e saj fillestare vektorët e peshave Duke kaluar nëpër regresionin logjistik. Ne kishim nevojë që t'i zvogëlojmë ndjeshëm koeficientët dhe në këtë rast ndamë çdo koeficient në 25.000, domethënë, në thelb e përshtatëm rezultatin. Por kjo u bë qëllimisht për të thjeshtuar kuptimin e materialit në fazën fillestare. Në jetën reale, na nevojitet të gjejmë koeficientët, jo t'i shpikim ose t'i përshtasim. Në seksionet e ardhshme të artikullit, do të nxjerrim ekuacionet me ndihmën e të cilave përcaktohen parametrat Duke kaluar nëpër regresionin logjistik.

04. Metoda e katërzuar e minimit të kuadrateve për përcaktimin e vektorit të peshave Duke kaluar nëpër regresionin logjistik në funksionin e përgjigjes logjistike

Metoda e përcaktimit të vektorit të peshave është tashmë e njohur për ne Duke kaluar nëpër regresionin logjistik, si metoda e katërzuar e minimit (MKK) dhe, përse të mos e përdorim atë në problemet e klasifikimit binar? Në të vërtetë, asgjë nuk e ndalon përdorimin MNMK, por kjo metodë në problemet e klasifikimit jep rezultate më pak të sakta se Humbja Logjistike. Kjo ka një bazë teorike. Le të shohim fillimisht një shembull të thjeshtë.

Supozoni se modelet tona (qĂ« pĂ«rdorin MSE dhe Humbja Logjistike) kanĂ« filluar tĂ« pĂ«rshtatin vektorin e peshave Duke kaluar nĂ«pĂ«r regresionin logjistik dhe ne e ndaluam llogaritjen nĂ« njĂ« hap tĂ« caktuar. Ka pak rĂ«ndĂ«si nĂ«se Ă«shtĂ« nĂ« mes, nĂ« fund ose nĂ« fillim, ajo qĂ« Ă«shtĂ« e rĂ«ndĂ«sishme Ă«shtĂ« se ne tashmĂ« kemi disa vlera tĂ« vektorit tĂ« peshave dhe le tĂ« supozojmĂ« se nĂ« kĂ«tĂ« hap, vektori i peshave Duke kaluar nĂ«pĂ«r regresionin logjistik pĂ«r tĂ« dyja modelet nuk ka ndryshime. Pastaj tĂ« marrim peshat e marra dhe t'i vendosim ato nĂ« funksionin e pĂ«rgjigjes logjistike (Duke kaluar nĂ«pĂ«r regresionin logjistik) pĂ«r ndonjĂ« objekt qĂ« i pĂ«rket klasĂ«s Duke kaluar nĂ«pĂ«r regresionin logjistik. Le tĂ« shqyrtojmĂ« dy raste, kur sipas vektorit tĂ« pĂ«rshtatur tĂ« peshave, modeli ynĂ« bĂ«n njĂ« gabim tĂ« madh dhe pĂ«rkundrazi — modeli Ă«shtĂ« shumĂ« i sigurt se objekti i pĂ«rket klasĂ«s Duke kaluar nĂ«pĂ«r regresionin logjistik. Le tĂ« shohim se çfarĂ« dĂ«nimesh do tĂ« "jepen" nĂ« pĂ«rdorimin e MNMK dhe Humbja Logjistike.

Kodi për llogaritjen e dënimeve në varësi të funksionit të humbjes së përdorur

# Đșласс ĐŸĐ±ŃŠĐ”Đșта
y = 1
# ĐČĐ”Ń€ĐŸŃŃ‚ĐœĐŸŃŃ‚ŃŒ ĐŸŃ‚ĐœĐ”ŃĐ”ĐœĐžŃ ĐŸĐ±ŃŠĐ”Đșта Đș Đșлассу ĐČ ŃĐŸĐŸŃ‚ĐČДтстĐČОО с ĐżĐ°Ń€Đ°ĐŒĐ”Ń‚Ń€Đ°ĐŒĐž w
proba_1 = 0.01

MSE_1 = (y - proba_1)**2
print 'йтраф MSE про ĐłŃ€ŃƒĐ±ĐŸĐč ĐŸŃˆĐžĐ±ĐșĐ” =', MSE_1

# ĐœĐ°ĐżĐžŃˆĐ”ĐŒ Ń„ŃƒĐœĐșцою ĐŽĐ»Ń ĐČŃ‹Ń‡ĐžŃĐ»Đ”ĐœĐžŃ f(w,x) про ОзĐČĐ”ŃŃ‚ĐœĐŸĐč ĐČĐ”Ń€ĐŸŃŃ‚ĐœĐŸŃŃ‚Đž ĐŸŃ‚ĐœĐ”ŃĐ”ĐœĐžŃ ĐŸĐ±ŃŠĐ”Đșта Đș Đșлассу +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
    return math.log(proba/(1-proba)) 

LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'йтраф Log Loss про ĐłŃ€ŃƒĐ±ĐŸĐč ĐŸŃˆĐžĐ±ĐșĐ” =', LogLoss_1

proba_2 = 0.99

MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))

print '**************************************************************'
print 'йтраф MSE про ŃĐžĐ»ŃŒĐœĐŸĐč уĐČĐ”Ń€Đ”ĐœĐœĐŸŃŃ‚Đž =', MSE_2
print 'йтраф Log Loss про ŃĐžĐ»ŃŒĐœĐŸĐč уĐČĐ”Ń€Đ”ĐœĐœĐŸŃŃ‚Đž =', LogLoss_2

Rasti i gabimit tĂ« rĂ«ndĂ« — modeli e kategorizon objektin nĂ« klasĂ«n Duke kaluar nĂ«pĂ«r regresionin logjistik me probabilitet 0.01

Dënimi duke përdorur MNMK do të jetë:
Duke kaluar nëpër regresionin logjistik

Dënimi duke përdorur Humbja Logjistike do të jetë:
Duke kaluar nëpër regresionin logjistik

Rasti me siguri tĂ« fortĂ« — modeli e kategorizon objektin nĂ« klasĂ«n Duke kaluar nĂ«pĂ«r regresionin logjistik me probabilitet 0.99

Dënimi duke përdorur MNMK do të jetë:
Duke kaluar nëpër regresionin logjistik

Dënimi duke përdorur Humbja Logjistike do të jetë:
Duke kaluar nëpër regresionin logjistik

Ky shembull ilustron mirë se në rastin e një gabimi të rëndë, funksioni i humbjes Log Loss dënon modelin shumë më fort se MSE. Le të kuptojmë tani se cilat janë parakushtet teorike për përdorimin e funksionit të humbjes Log Loss në problemet e klasifikimit.

05. Metoda e maksimalizimit të ndershmërisë dhe regresioni logjistik

Siç kishim premtuar nĂ« fillim, artikulli Ă«shtĂ« plot me shembuj tĂ« thjeshtĂ«. NĂ« studion tonĂ« kemi njĂ« shembuj tĂ« rinj dhe mysafirĂ«t e vjetĂ«r — huamarrĂ«sit e bankĂ«s: Vasja, Fedja dhe Llesha.

Për çdo rast, para se të zhvillojmë shembullin, le të kujtojmë se në jetë kemi të bëjmë me një mostër trajnimi nga mijëra ose miliona objekte me dhjetëra ose qindra karakteristika. Megjithatë, këtu shifrat janë marrë kështu që ato lehtë përputhen në mendjen e një të saposhtun në fushën e të dhënave.

Po kthehemi në shembullin. Le të supozojmë se drejtori i bankës vendosi të jep kredi të gjithëve që kanë nevojë, pavarësisht se algoritmi sugjeronte të mos ia jepte atij Leshës. Pas një kohe, mësojmë se cili nga tre heronjtë e pagoi kredinë dhe cili jo. Siç u prit, Vasia dhe Fedja e paguan kredinë, ndërsa Lesha jo. Tani le të imagjinojmë që ky rezultat do të shërbejë si një grup i ri edukativ për ne dhe, në të njëjtën kohë, sikur janë zhdukur të gjitha të dhënat mbi faktorët që ndikojnë në probabilitetin e shlyerjes së kredisë (paga e huamarrësit, shuma e pagesës mujore). Atëherë intuitivisht mund të mendojmë se çdo huamarrës i tretë nuk e kthen kredinë, ose në fjalë të tjera probabiliteti i kthimit të kredisë nga huamarrësi i ardhshëm Duke kaluar nëpër regresionin logjistik. Ky supozim intuitiv ka një konfirmim teorik dhe është i bazuar në metodën e maksimalit të mundësisë, shpesh në literaturë quhet principi i maksimalit të mundësisë.

Në fillim, le të njihemi me terminologjinë.

MundĂ«sia e grupit — Ă«shtĂ« probabiliteti i marrjes sĂ« kĂ«tij grupi specifik, i marrjes sĂ« kĂ«tyre vĂ«zhgimeve / rezultateve, domethĂ«nĂ« produkti i probabiliteteve tĂ« marrjes sĂ« secilit nga rezultatet e grupit (pĂ«r shembull, paguar ose jo paguar kredia nga Vasia, Fedja dhe Lesha nĂ« tĂ« njĂ«jtĂ«n kohĂ«).

Funksioni i mundësisë lidhet me mundësinë e grupit dhe vlerat e parametrave të shpërndarjes.

Në rastin tonë, grupi edukativ përbën një skemë të përgjithësuar Bernuli, në të cilën gjendja e rastësishme merr vetëm dy vlera: Duke kaluar nëpër regresionin logjistik ose Duke kaluar nëpër regresionin logjistik. Ndërkaq, mundësia e grupit mund të shkruhet si një funksion mundësie në varësi të parametrin Duke kaluar nëpër regresionin logjistik si nga:

Duke kaluar nëpër regresionin logjistik
Duke kaluar nëpër regresionin logjistik

Shkruan regjistrimin e mĂ«sipĂ«rm mund tĂ« interpretohet kĂ«shtu. Probabiliteti i bashkĂ«t qĂ« Vasia dhe Fedja tĂ« paguajnĂ« kredinĂ« Ă«shtĂ« i barabartĂ« me Duke kaluar nĂ«pĂ«r regresionin logjistik, probabiliteti qĂ« Lesha TË MOS e paguajĂ« kredinĂ« Ă«shtĂ« Duke kaluar nĂ«pĂ«r regresionin logjistik (pasi ndodhi pikĂ«risht MOS pagimi i kredisĂ«), kĂ«shtu qĂ« probabiliteti bashkĂ«kombĂ«tar i tĂ« tre ngjarjeve Ă«shtĂ« Duke kaluar nĂ«pĂ«r regresionin logjistik.

Metoda e maksimalit tĂ« mundĂ«sisĂ« — Ă«shtĂ« njĂ« metodĂ« e vlerĂ«simit tĂ« parametrave tĂ« panjohur duke maksimizuar funksionin e mundĂ«sisĂ«. NĂ« rastin tonĂ«, kĂ«rkohet tĂ« gjejmĂ« njĂ« vlerĂ« Duke kaluar nĂ«pĂ«r regresionin logjistik, pĂ«r tĂ« cilin Duke kaluar nĂ«pĂ«r regresionin logjistik arrin maksimumin.

Prej nga vjen ideja – tĂ« kĂ«rkojmĂ« vlerĂ«n e parametrin tĂ« panjohur, pĂ«r tĂ« cilin funksioni i mundĂ«sisĂ« arrin maksimumin? Origjinat e ideve burojnĂ« nga pĂ«rfaqĂ«simi se grupi Ă«shtĂ« burimi i vetĂ«m i njohurive tona pĂ«r popullatĂ«n e pĂ«rgjithshme. Gjithçka qĂ« dimĂ« pĂ«r popullatĂ«n e pĂ«rgjithshme paraqitet nĂ« grup. Prandaj, gjithçka qĂ« mund tĂ« themi Ă«shtĂ« se grupi Ă«shtĂ« pasqyrimi mĂ« i saktĂ« i popullatĂ«s sĂ« pĂ«rgjithshme qĂ« kemi. Prandaj, na nevojitet njĂ« parametr i tillĂ«, pĂ«r tĂ« cilin grupi ekzistues bĂ«het mĂ« e mundshme.

Në mënyrë të qartë, kemi të bëjmë me një problem optimizimi, në të cilin duhet të gjejmë pikën ekstreme të funksionit. Për të gjetur pikën ekstreme, nevojitet të shqyrtojmë kushtin e rendit të parë, do të thotë të barazojmë derivatin e funksionit me zero dhe të zgjidhim ekuacionin në lidhje me parametrin e kërkuar. Megjithatë, kërkimi i derivatit të produktit të shumë faktorëve mund të jetë një punë e gjatë, për të shmangur këtë, ekziston një teknikë speciale - kalimi në logaritem. funksionin e mundësisë. Pse është i mundshëm një kalim i tillë? Le të vëmë re se ne jemi në kërkim jo të vetë ekstremit të funksionitDuke kaluar nëpër regresionin logjistik, por të pikës ekstreme, do të thotë atë vlerë të parametrin të panjohur Duke kaluar nëpër regresionin logjistik, për të cilin Duke kaluar nëpër regresionin logjistik arrin maksimumin. Kur kalojmë në logaritem, pika ekstreme nuk ndryshon (ndonëse vetë ekstremi do të ndryshojë), pasi logaritemi është një funksion monoton.

Tani, në përputhje me më sipër, le të vazhdojmë të zhvillojmë shembullin tonë me kreditë për Vasin, Fedin dhe Leshën. Në fillim, le të kalojmë në logaritemin e funksionit të mundësisë:

Duke kaluar nëpër regresionin logjistik

Tani mund të lehtësojmë diferencimin e shprehjes në Duke kaluar nëpër regresionin logjistik:

Duke kaluar nëpër regresionin logjistik

Dhe përfundimisht, le të shqyrtojmë kushtin e rendit të parë - do ta barazojmë derivatin e funksionit me zero:

Duke kaluar nëpër regresionin logjistik

Si rezultat, vlerësimi ynë intuitiv për probabilitetin e shlyerjes së kredisë Duke kaluar nëpër regresionin logjistik ishte teorikisht i justifikuar.

Shumë mirë, por çfarë duhet të bëjmë tani me këtë informacion? Nëse do të mendojmë se çdo huamarrës i tretë nuk do ta kthejë paratë në bankë, banka përfundimisht do të falimentojë. E vërteta është, megjithatë, se kur vlerësojmë probabilitetin e shlyerjes së kredisë si Duke kaluar nëpër regresionin logjistik ne nuk e kemi marrë parasysh faktorët që ndikojnë në kthimin e kredisë: paga e huamarrësit dhe shuma e pagesës mujore. Le të kujtojmë se më parë llogaritëm probabilitetin e shlyerjes së kredisë nga çdo klient duke marrë parasysh këta faktorë. Duke kaluar nëpër regresionin logjistik.

Le të përcaktojmë plausibilitetin e mostrave:

Kodi për llogaritjet e plausibilitetit të mostrave

from functools import reduce

def likelihood(y,p):
    line_true_proba = []
    for i in range(len(y)):
        ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
        line_true_proba.append(ltp_i)
    likelihood = []
    return reduce(lambda a, b: a*b, line_true_proba)
        
    
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]


print 'Plausibiliteti i mostrës me vlerën e konstantës p=2/3:', round(likelihood(y,p_const),3)

print '****************************************************************************************************'

print 'Plausibiliteti i mostrës me vlerën e llogaritur p:', round(likelihood(y,p_log_response),3)

Plausibiliteti i mostrës me vlerën e konstantës Duke kaluar nëpër regresionin logjistik:

Duke kaluar nëpër regresionin logjistik

Plausibiliteti i mostrës në llogaritjen e probabilitetit për shlyerjen e kredisë duke marrë parasysh faktorët Duke kaluar nëpër regresionin logjistik:

Duke kaluar nëpër regresionin logjistik
Duke kaluar nëpër regresionin logjistik

Plausibiliteti i mostrĂ«s me probabilitetin e llogaritur nĂ« varĂ«si tĂ« faktorĂ«ve doli tĂ« ishte mĂ« i lartĂ« se plausibiliteti me vlerĂ«n e konstantĂ«s. ÇfarĂ« do tĂ« thotĂ« kjo? Kjo do tĂ« thotĂ« se njohuritĂ« mbi faktorĂ«t lejuan pĂ«rshtatjen mĂ« tĂ« saktĂ« tĂ« probabilitetit tĂ« shlyerjes sĂ« kredisĂ« pĂ«r secilin klient. Prandaj, kur jepet njĂ« kredi, Ă«shtĂ« mĂ« e saktĂ« tĂ« pĂ«rdoret modeli i vlerĂ«simit tĂ« probabilitetit tĂ« shlyerjes sĂ« borxhit, i sugjeruar nĂ« fund tĂ« seksionit tĂ« tretĂ« tĂ« artikullit.

Por atĂ«herĂ«, nĂ«se na nevojitet maksimalizimi i funksionit tĂ« plausibilitetit tĂ« mostrĂ«s, atĂ«herĂ« pse tĂ« mos pĂ«rdorim ndonjĂ« algoritĂ«m qĂ« do tĂ« jepte probabilitetet pĂ«r Vasilin, Fedin dhe Leshin, pĂ«r shembull, si 0.99, 0.99 dhe 0.01 pĂ«rkatĂ«sisht. Ndoshta njĂ« algoritĂ«m i tillĂ« do tĂ« performonte mirĂ« nĂ« mostrat e trajnimit, pasi do ta afronte vlerĂ«n e plausibilitetit tĂ« mostrĂ«s me Duke kaluar nĂ«pĂ«r regresionin logjistik, por, sĂ« pari, njĂ« algoritĂ«m i tillĂ« do tĂ« ketĂ« me siguri vĂ«shtirĂ«si nĂ« kapacitetin e pĂ«rgjithshĂ«m, dhe sĂ« dyti, ky algoritĂ«m me siguri nuk do tĂ« jetĂ« linear. Dhe nĂ«se metodat pĂ«r luftimin e mbipopullimit (po aq sa dhe kapaciteti i dobĂ«t i pĂ«rgjithshĂ«m) nuk janĂ« padyshim nĂ« planin e kĂ«tij artikulli, atĂ«herĂ« pĂ«r pikĂ«n e dytĂ« le tĂ« kalojmĂ« mĂ« nĂ« hollĂ«si. PĂ«r kĂ«tĂ«, mjafton tĂ« pĂ«rgjigjemi nĂ« njĂ« pyetje tĂ« thjeshtĂ«. A mund tĂ« ketĂ« tĂ« njĂ«jtĂ«n probabilitet pĂ«r shlyerjen e kredisĂ« Vasil dhe Fed? Nga pikĂ«pamja e logjikĂ«s sĂ« shĂ«ndoshĂ«, sigurisht qĂ« jo, nuk mundet. Pra, pĂ«r shlyerjen e kredisĂ« Vasil do tĂ« jepte 2.5% tĂ« pagĂ«s sĂ« tij çdo muaj, ndĂ«rsa Fedi — pothuajse 27.8%. Gjithashtu, nĂ« grafikun 2 "Klasifikimi i klientĂ«ve" ne shohim se Vasil Ă«shtĂ« shumĂ« mĂ« larg nga line, qĂ« ndan klasat, se sa Fedi. Dhe pĂ«r mĂ« tepĂ«r, ne e dimĂ« se funksioni Duke kaluar nĂ«pĂ«r regresionin logjistik pĂ«r Vasilin dhe Fedin merr vlera tĂ« ndryshme: 4.24 pĂ«r Vasilin dhe 1.0 pĂ«r Fedin. Tani, po tĂ« thoshim se Fedi pĂ«r shembull, fitonte shumĂ« mĂ« tepĂ«r ose kĂ«rkonte njĂ« kredi mĂ« tĂ« vogĂ«l, atĂ«herĂ« probabilitetet e shlyerjes sĂ« kredisĂ« pĂ«r Vasilin dhe Fedin do tĂ« ishin tĂ« ngjashme. Me fjalĂ« tĂ« tjera, nuk e mashtrohet varĂ«sia lineare. Dhe nĂ«se ne do tĂ« kishim llogaritur me tĂ« vĂ«rtetĂ« koeficientĂ«t Duke kaluar nĂ«pĂ«r regresionin logjistik, e jo t'i kishim marrĂ« nga tavani, atĂ«herĂ« do tĂ« mund tĂ« deklaronim se vlerat tona Duke kaluar nĂ«pĂ«r regresionin logjistik ofrojnĂ« mĂ« sĂ« miri vlerĂ«simin e probabilitetit tĂ« shlyerjes sĂ« kredisĂ« nga çdo huamarrĂ«s, por duke marrĂ« parasysh se ne e kemi vendosur se pĂ«rcaktimi i koeficientĂ«ve Duke kaluar nĂ«pĂ«r regresionin logjistik Ă«shtĂ« kryer sipas rregullave tĂ« gjitha, kĂ«shtu qĂ« edhe ne do tĂ« konsiderojmĂ« — koeficientĂ«t tanĂ« lejojnĂ« tĂ« ofrojnĂ« vlerĂ«simin mĂ« tĂ« mirĂ« tĂ« probabilitetit 🙂

Megjithatë, ne u shpëtuam. Në këtë seksion ne duhet të kuptojmë se si përcaktohet vektori i peshave Duke kaluar nëpër regresionin logjistik, i cili është i nevojshëm për vlerësimin e probabilitetit të kthimit të kredisë nga çdo huamarrës.

Përmbledhim shkurtimisht se me çfarë arsenali do të dalim në kërkim të koeficientëve Duke kaluar nëpër regresionin logjistik:

1. Ne supozojmĂ« se varĂ«sia midis variablit tĂ« synuar (vlefta e parashikuar) dhe faktorĂ«ve qĂ« ndikojnĂ« nĂ« rezultat — Ă«shtĂ« lineare. PĂ«r kĂ«tĂ« arsye aplikohet funkcioni i regresionit linear nĂ« formĂ« Duke kaluar nĂ«pĂ«r regresionin logjistik, linja e sĂ« cilĂ«s ndan objektet (klientĂ«t) nĂ« klasa Duke kaluar nĂ«pĂ«r regresionin logjistik dhe Duke kaluar nĂ«pĂ«r regresionin logjistik ose Duke kaluar nĂ«pĂ«r regresionin logjistik (klientĂ«, tĂ« cilĂ«t janĂ« nĂ« gjendje tĂ« shlyejnĂ« kredinĂ« dhe ata qĂ« s'kanĂ« mundĂ«si). NĂ« rastin tonĂ«, ekuacioni ka formĂ«n Duke kaluar nĂ«pĂ«r regresionin logjistik.

2. Ne përdorim funksionin e kthimit të logit-transformimit në formë Duke kaluar nëpër regresionin logjistik për të vlerësuar probabilitetin e përkatësisë së objektit në klasë Duke kaluar nëpër regresionin logjistik.

3. Ne e konsiderojmĂ« mostrĂ«n tonĂ« tĂ« trajnimit si njĂ« realizim tĂ« pĂ«rgjeneralizuar tĂ« skemĂ«s sĂ« Bernulit, domethĂ«nĂ« pĂ«r çdo objekt gjenerohet njĂ« variabĂ«l e rastit, e cila me probabilitetin Duke kaluar nĂ«pĂ«r regresionin logjistik (me probabilitetin e saj pĂ«r çdo objekt) merr vlerĂ«n 1 dhe me probabilitetin Duke kaluar nĂ«pĂ«r regresionin logjistik – 0.

4. Ne e dimë se na nevojitet maksimalizimi funksionit të plausibilitetit të mostrës funksionit të plausibilitetit për të bërë mostrat ekzistuese sa më plausible. Me fjalë të tjera, ne duhet të përshtatim parametra të tillë, ku mostrat do të jenë më të plausibla. Në rastin tonë, parametri që përshtatet është probabiliteti i shlyerjes së kredisë Duke kaluar nëpër regresionin logjistik, i cili nga ana e tij varet nga koeficientët e panjohur Duke kaluar nëpër regresionin logjistik. Pra, na nevojitet të gjejmë një vektor peshash Duke kaluar nëpër regresionin logjistik, për të cilin plausibiliteti i mostrës do të jetë maksimal.

5. Ne e dimë se për maksimalizimin funksionit të plausibilitetit të mostrës mund të përdoret metoda e maksimumit të mundësisë. Dhe ne dimë të gjitha hilet për të punuar me këtë metodë.

Kjo duket si njĂ« lĂ«vizje shumĂ«dimensionale 🙂

Tani le të kujtojmë se në fillim të artikullit doja të nxirrnim dy lloje të funksioneve të humbjes Humbja Logjistike në përputhje me mënyrën se si shënohen klasat e objekteve. Kështu që është e zakonshme që në detyrat e klasifikimit me dy klasa, klasat shënohen si Duke kaluar nëpër regresionin logjistik dhe Duke kaluar nëpër regresionin logjistik ose Duke kaluar nëpër regresionin logjistik. Në përputhje me shenjat, rezultati do të jetë funksioni përkatës i humbjes.

Rasti 1. Klasifikimi i objekteve në Duke kaluar nëpër regresionin logjistik dhe Duke kaluar nëpër regresionin logjistik

Më parë, kur e përcaktonim kodin e mundësisë së mostrës, ku probabiliteti i shlyerjes së borxhit nga huamarrësi është llogaritur në bazë të faktorëve dhe koeficientëve të caktuar Duke kaluar nëpër regresionin logjistik, ne aplikuam formulën:

Duke kaluar nëpër regresionin logjistik

NĂ« tĂ« vĂ«rtetĂ« Duke kaluar nĂ«pĂ«r regresionin logjistik — ky Ă«shtĂ« vlera e funksionit tĂ« pĂ«rgjigjes logjistike Duke kaluar nĂ«pĂ«r regresionin logjistik me njĂ« vektor peshe tĂ« caktuar Duke kaluar nĂ«pĂ«r regresionin logjistik

Atëherë asgjë nuk na pengon ta shënojmë funksionin e mundësisë së mostrës kështu:

Duke kaluar nëpër regresionin logjistik

Ndonjëherë ndodh që ndonjë analist i ri ka vështirësi të kuptojë menjëherë si funksionon ky funksion. Le të shqyrtojmë 4 shembuj të shkurtër që do t'i ndriçojnë të gjitha:

1. Nëse Duke kaluar nëpër regresionin logjistik (dmth. në përputhje me mostrat e trajnimit, objekti i përket klasës +1), dhe algoritmi ynë Duke kaluar nëpër regresionin logjistik përcakton probabilitetin e përfshirjes së objektit në klasën Duke kaluar nëpër regresionin logjistik të barabartë me 0.9, atëherë ky copë i mundësisë së mostrës do të llogaritet kështu:

Duke kaluar nëpër regresionin logjistik

2. Nëse Duke kaluar nëpër regresionin logjistik, dhe Duke kaluar nëpër regresionin logjistik, kështu që llogaritja do të jetë kështu:

Duke kaluar nëpër regresionin logjistik

3. Nëse Duke kaluar nëpër regresionin logjistik, dhe Duke kaluar nëpër regresionin logjistik, kështu që llogaritja do të jetë kështu:

Duke kaluar nëpër regresionin logjistik

4. Nëse Duke kaluar nëpër regresionin logjistik, dhe Duke kaluar nëpër regresionin logjistik, kështu që llogaritja do të jetë kështu:

Duke kaluar nëpër regresionin logjistik

E qartĂ« se funksioni i mundĂ«sisĂ« do tĂ« maksimizohet nĂ« rastet 1 dhe 3 ose nĂ« pĂ«rgjithĂ«si — kur vlerat e probabilitetit pĂ«rshkrimit tĂ« objektit nĂ« klasĂ« janĂ« tĂ« sakta Duke kaluar nĂ«pĂ«r regresionin logjistik.

Duke pasur parasysh se në përcaktimin e probabilitetit të përfshirjes së objektit në klasë Duke kaluar nëpër regresionin logjistik na mungojnë vetëm koeficientët Duke kaluar nëpër regresionin logjistik, kështu që ne do t'i kërkojmë ata. Siç u tha më parë, kjo është një detyrë optimizimi, ku fillimisht na nevojitet të gjejmë derivatën e funksionit të mundësisë në vektorin e peshave Duke kaluar nëpër regresionin logjistik. Megjithatë, më parë ka kuptim ta thjeshtojmë detyrën: do të kërkojmë derivatën nga logaritmi funksionin e mundësisë.

Duke kaluar nëpër regresionin logjistik

Pse pas logaritmimit, nĂ« funksionin e gabimit logjistik, ne ndĂ«rruam shenjĂ«n nga Duke kaluar nĂ«pĂ«r regresionin logjistik nĂ« Duke kaluar nĂ«pĂ«r regresionin logjistik. ËshtĂ« e thjeshtĂ«, pasi nĂ« detyrat e vlerĂ«simit tĂ« cilĂ«sisĂ« sĂ« modelit Ă«shtĂ« zakon qĂ« tĂ« minimizosh vlerĂ«n e funksionit, kĂ«shtu qĂ« ne e shumezuam anĂ«n e djathtĂ« tĂ« shprehjes me Duke kaluar nĂ«pĂ«r regresionin logjistik dhe pĂ«r rrjedhojĂ«, tani minimizojmĂ« funksionin.

Pra, tani, para jush Ă«shtĂ« nxjerrĂ« me vuajtje funksioni i humbjes — Humbja Logjistike pĂ«r mostrĂ«n e trajnuar me dy klasa: Duke kaluar nĂ«pĂ«r regresionin logjistik dhe Duke kaluar nĂ«pĂ«r regresionin logjistik.

Tani, për të gjetur koeficientët, mjafton të gjejmë derivatën funksionin e gabimit logjistik dhe më pas, duke përdorur metoda numerike optimizimi, si rënia e gradienteve ose rënia e gradienteve stohastike, të gjejmë koeficientët më optimal. Duke kaluar nëpër regresionin logjistik. Por, duke marrë parasysh, tashmë jo një volum të vogël të artikullit, propozohet të bëni diferencimin vetë ose, ndoshta, kjo do të jetë tema e artikullit të ardhshëm me më shumë matematikë pa shembuj kaq të detajuar.

Rasti 2. Klasifikimi i objekteve në Duke kaluar nëpër regresionin logjistik dhe Duke kaluar nëpër regresionin logjistik

Qasja kĂ«tu do tĂ« jetĂ« e ngjashme me ato tĂ« klasave Duke kaluar nĂ«pĂ«r regresionin logjistik dhe Duke kaluar nĂ«pĂ«r regresionin logjistik, por vetĂ« rruga pĂ«r tĂ« nxjerrĂ« funksionin e humbjes Humbja Logjistike, do tĂ« jetĂ« mĂ« e ndĂ«rlikuar. TĂ« fillojmĂ«. Do tĂ« pĂ«rdorim operatorin "nĂ«se
, atĂ«herë ". DomethĂ«nĂ«, nĂ«se Duke kaluar nĂ«pĂ«r regresionin logjistik-i objekt i pĂ«rket klasĂ«s Duke kaluar nĂ«pĂ«r regresionin logjistik, atĂ«herĂ« pĂ«r llogaritjen e mundĂ«sisĂ« sĂ« mostrĂ«s pĂ«rdorim probabilitetin Duke kaluar nĂ«pĂ«r regresionin logjistik, nĂ«se objekti i pĂ«rket klasĂ«s Duke kaluar nĂ«pĂ«r regresionin logjistik, atĂ«herĂ« nĂ« mundĂ«si zĂ«vendĂ«sojmĂ« Duke kaluar nĂ«pĂ«r regresionin logjistik. KĂ«shtu duket funksioni i mundĂ«sisĂ«:

Duke kaluar nëpër regresionin logjistik

Për ta thjeshtuar, le të shohim si funksionon. Le të shqyrtojmë 4 raste:

1. Nëse Duke kaluar nëpër regresionin logjistik dhe Duke kaluar nëpër regresionin logjistik, atëherë në mundësinë e mostrës "do të shkojë" Duke kaluar nëpër regresionin logjistik

2. Nëse Duke kaluar nëpër regresionin logjistik dhe Duke kaluar nëpër regresionin logjistik, atëherë në mundësinë e mostrës "do të shkojë" Duke kaluar nëpër regresionin logjistik

3. Nëse Duke kaluar nëpër regresionin logjistik dhe Duke kaluar nëpër regresionin logjistik, atëherë në mundësinë e mostrës "do të shkojë" Duke kaluar nëpër regresionin logjistik

4. Nëse Duke kaluar nëpër regresionin logjistik dhe Duke kaluar nëpër regresionin logjistik, atëherë në mundësinë e mostrës "do të shkojë" Duke kaluar nëpër regresionin logjistik

E qartë se në rastin 1 dhe 3, kur probabilitetet ishin përcaktuar saktë nga algoritmi, funksioni i mundësisë do të maksimizohet, pra, pikërisht këtë donim të arrijmë. Megjithatë, kjo qasje është mjaft voluminoze dhe më tej do të shqyrtojmë një shkrim më kompakt. Por për fillim, do ta logaritmojmë funksionin e mundësisë me ndërrimin e shenjës, pasi tani do të minimizojmë atë.

Duke kaluar nëpër regresionin logjistik

Le të zëvendësojmë me Duke kaluar nëpër regresionin logjistik shprehjen Duke kaluar nëpër regresionin logjistik:

Duke kaluar nëpër regresionin logjistik

Le të thjeshtojmë pjesën e djathtë nën logaritm, duke përdorur metoda të thjeshta aritmetike dhe të marrim:

Duke kaluar nëpër regresionin logjistik

Dhe tani ka ardhur koha tĂ« heqim operatorin "nĂ«se
, atĂ«herë ". VĂ«rejmĂ« se kur objekti Duke kaluar nĂ«pĂ«r regresionin logjistik i pĂ«rket klasĂ«s Duke kaluar nĂ«pĂ«r regresionin logjistik, atĂ«herĂ« nĂ« shprehjen nĂ«n logaritm, nĂ« emĂ«ruesin, Duke kaluar nĂ«pĂ«r regresionin logjistik ngrihet nĂ« fuqi Duke kaluar nĂ«pĂ«r regresionin logjistik, nĂ«se objekti i pĂ«rket klasĂ«s Duke kaluar nĂ«pĂ«r regresionin logjistik, kĂ«shtu qĂ« $e$ ngrihet nĂ« fuqi Duke kaluar nĂ«pĂ«r regresionin logjistik. Si rezultat, shprehja e fuqisĂ« mund tĂ« thjeshtohet — tĂ« dy rastet tĂ« bashkohen nĂ« njĂ«: Duke kaluar nĂ«pĂ«r regresionin logjistik. AtĂ«herĂ« funksioni i gabimit logjistik do tĂ« marrĂ« formĂ«n:

Duke kaluar nëpër regresionin logjistik

Sipas rregullave të logaritmimit, ne e kthejmë fraksionin përmbys dhe nxjerrim shenjën "Duke kaluar nëpër regresionin logjistik" (minus) përpara logaritmit, duke marrë:

Duke kaluar nëpër regresionin logjistik

Para jush është funksioni i humbjes logistic Loss, i cili përdoret në mostrat e trajnuara me objekte që i përkasin klasave: Duke kaluar nëpër regresionin logjistik dhe Duke kaluar nëpër regresionin logjistik.

ÇfarĂ« do, nĂ« kĂ«tĂ« moment po e lĂ« dhe mbyllim artikullin.

Duke kaluar nĂ«pĂ«r regresionin logjistik Puna e mĂ«parshme e autorit — "Kthimi i ekuacionit tĂ« regresionit linear nĂ« formĂ« matricore"

Materiale ndihmëse

1. Literatura

1) Analiza regresionare e aplikimeve / N. Draper, G. Smith – botimi i dytĂ« – M.: Financa dhe Statistika, 1986 (pĂ«rkthim nga anglishtja)

2) Teoria e probabilitetit dhe statistika matematike / V.E. GmurmĂĄn — botimi i nĂ«ntĂ« — M.: Shkolla e LartĂ«, 2003

3) Teoria e probabilitetit / N.I. Çernova — Novosibirsk: Universitete i Shtetit tĂ« Novosibirskut, 2007

4) Biznes-analitika: nga tĂ« dhĂ«nat nĂ« njohuri / Paklin N. B., Oreshkov V. I. — botimi i dytĂ« — ShĂ«n Petersburg: Piter, 2013

5) Data Science Shkenca e tĂ« dhĂ«nave nga e para / Joel Gras — ShĂ«n Petersburg: BHK Petersburg, 2017

6) Statistika praktike pĂ«r specialistĂ«t e Data Science / P.Bruce, E.Bruce — ShĂ«n Petersburg: BHK Petersburg, 2018

2. Lectures, courses (video)

1) The essence of the method of maximum likelihood, Boris Demechev

2) The method of maximum likelihood in continuous cases, Boris Demechev

3) Logistic regression. Open course ODS, Yury Kashnitsky

4) Lecture 4, Evgeny Sokolov (from the 47th minute of the video)

5) Logistic regression, Vyacheslav Vorontsov

3. Internet sources

1) Linear models of classification and regression

2) How to easily understand logistic regression

3) Logistic error function

4) Independent trials and Bernoulli's formula

5) Ballad about MMP

6) Metoda e maksimalit të mundësisë

7) Formulas and properties of logarithms

8) Why the number Duke kaluar nëpër regresionin logjistik?

9) Linear classifier

Burimi: habr.com

Bleni hostim tĂ« besueshĂ«m pĂ«r faqe me mbrojtje nga DDoS, serverĂ« VPS VDS đŸ”„ Bleni hostim tĂ« besueshĂ«m pĂ«r faqe me mbrojtje nga DDoS, serverĂ« VPS VDS | ProHoster