
I den hÀr artikeln kommer vi att gÄ igenom de teoretiska redogörelserna för omvandlingen av linjÀr regressionsfunktion pÄ omvÀnd logit-omvandlingsfunktionen (eller som den ocksÄ kallas, logistiske responsfunktionen). Sedan, med hjÀlp av arsenalen för metoden för maximal sannolikhet, enligt modellen för logistisk regression, kommer vi att hÀrleda förlustfunktionen Logistic Loss, eller med andra ord, vi kommer att definiera en funktion som anvÀnds för att justera parametrarna för viktvektorn i den logistiska regressionsmodellen
.
Artikelplan:
- LÄt oss Äterkomma till den linjÀra relationen mellan tvÄ variabler
- Vi kommer att identifiera behovet av omvandlingen av linjÀr regressionsfunktion
pÄ logistisk responsfunktion 
- Vi kommer att genomföra omvandlingar och hÀrleda logistisk responsfunktion
- Vi ska försöka förstÄ vad som Àr fel med minskad kvadratmetod vid justering av parametrar
funktioner Logistic Loss - AnvÀnds metoden för maximalt sannolikhet för att bestÀmma parameterjusteringsfunktionen
:5.1. Fall 1: funktion Logistic Loss för objekt med klassbeteckningar 0 och 1:

5.2. Fall 2: funktion Logistic Loss för objekt med klassbeteckningar -1 och +1:

Artikeln Ă€r full av enkla exempel dĂ€r alla berĂ€kningar enkelt kan göras mentalt eller pĂ„ papper, och i vissa fall kan en rĂ€knare behövas. SĂ„ var beredd đ
Denna artikel Àr frÀmst avsedd för datavetare med grundlÀggande kunskaper om maskininlÀrning.
I artikeln kommer det Àven att ges kod för att rita diagram och utföra berÀkningar. All kod Àr skriven pÄ sprÄket python 2.7. Jag kommer pÄ förhand att förklara "nyheten" i den anvÀnda versionen - detta Àr ett av kraven för att genomgÄ en kÀnd kurs frÄn Yandex pÄ en inte mindre kÀnd online utbildningsplattform Coursera, och som man kan anta Àr materialet förberett utifrÄn denna kurs.
01. LinjÀr relation
Det Ă€r fullt rimligt att stĂ€lla frĂ„gan â vad har linjĂ€r relation att göra med logistisk regression?
Det Àr enkelt! Logistisk regression Àr en av modellerna som tillhör den linjÀra klassificeraren. Enkelt uttryckt Àr uppgiften för en linjÀr klassificerare att förutsÀga mÄlvÀrden
frÄn variabler (regressorer)
. HĂ€rvid antas det att relationen mellan attributen
och mÄlvÀrdena
Àr linjÀr. DÀrav namnet pÄ klassificeraren - linjÀr. Om man ska göra en mycket grov generalisering, sÄ bygger modellen för logistisk regression pÄ antagandet om en linjÀr relation mellan attributen
och mÄlvÀrdena
. HÀr Àr sambandet.
I studien Ă€r det första exemplet, och det handlar om det linjĂ€ra sambandet mellan de undersökta storheterna. Under förberedelserna av artikeln stötte jag pĂ„ ett exempel som redan mĂ„nga har tröttnat pĂ„ â sambandet mellan strömstyrka och spĂ€nning. ("Praktisk regressionsanalys", N. Draper, G. Smith). HĂ€r kommer vi ocksĂ„ att ta en titt pĂ„ det.
I enlighet med Ohms lag:
, dÀr
â strömstyrka,
â spĂ€nning,
â motstĂ„nd.
Om vi inte hade vetat Ohms lag, skulle vi kunna hitta sambandet empiriskt genom att Àndra
och mÀta
, och samtidigt hÄlla
konstant. DÄ skulle vi se att grafen över sambandet
frÄn
ger en mer eller mindre rak linje som gÄr genom origo. Vi sÀger "mer eller mindre" eftersom, Àven om sambandet faktiskt Àr exakt, kan vÄra mÀtningar innehÄlla smÄ fel, och dÀrför kanske punkterna pÄ grafen inte trÀffar linjen exakt, utan sprids runt den pÄ ett slumpmÀssigt sÀtt.
Graf 1 "Samband
frÄn
»

Kod för att rita grafen
import matplotlib.pyplot as plt
%matplotlib inline
import numpy as np
import random
R = 13.75
x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
y_line.append(i/R)
y_dot = []
for i in y_line:
y_dot.append(i+random.uniform(-0.9,0.9))
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Verkliga resultat')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()02. Behovet av transformationer av linjÀr regressionsformel
Vi övervÀger ett annat exempel. LÄt oss anta att vi arbetar pÄ en bank och att vi har till uppgift att bestÀmma sannolikheten för att en lÄntagare Äterbetalar sitt lÄn beroende pÄ vissa faktorer. För att förenkla uppgiften, övervÀger vi endast tvÄ faktorer: lÄntagarens mÄnadslön och mÄnadskostnaden för att Äterbetala lÄnet.
Uppgiften Àr mycket hypotetisk, men med detta exempel kan vi förstÄ varför det Àr otillrÀckligt att anvÀnda av linjÀr regressionsfunktion, och vilka transformationer som krÀvs för funktionen.
Vi ÄtervÀnder till exemplet. Det Àr tydligt att ju högre lön, desto mer kan lÄntagaren avsÀtta varje mÄnad för att betala tillbaka lÄnet. För ett visst lönespann kommer detta samband att vara ganska linjÀrt. LÄt oss ta ett lönespann frÄn 60 000 kr till 200 000 kr och anta att i det angivna lönespannet Àr sambandet mellan storleken pÄ den mÄnatliga betalningen och lönen linjÀrt. Anta att det har visat sig för det angivna lönespannet att förhÄllandet mellan lönen och betalningen inte kan vara mindre Àn 3 och att lÄntagaren dessutom mÄste ha 5 000 kr kvar i reserv. Endast under dessa omstÀndigheter kommer vi att anse att lÄntagaren Äterbetalar lÄnet till banken. DÄ kommer ekvationen för linjÀr regression att se ut sÄ hÀr:

w
,
,
,
â lönen
-en lÄntagare,
â lĂ„nebetalning
-en lÄntagare.
Genom att sÀtta in lönen och lÄnebetalningen i ekvationen med fasta parametrar
kan ett beslut om beviljande eller avslag av lÄnet fattas.
För att förhindra framtida problem, notera att under givna parametrar
linjÀr regressionsfunktion, som anvÀnds i logistisk regressionsfunktion kommer att ge stora vÀrden, vilket gör det svÄrt att berÀkna sannolikheten för lÄneÄterbetalning. DÀrför föreslÄs det att vi minskar vÄra koefficienter, sÀg med 25 000 gÄnger. Denna omvandling i koefficienterna pÄverkar inte beslutet om att bevilja lÄnet. LÄt oss komma ihÄg detta för framtiden, och nu för att tydliggöra vad vi talar om, lÄt oss titta pÄ situationen med tre potentiella lÄntagare.
Tabell 1 "Potentiella lÄntagare"

Kod för att skapa tabellen
import pandas as pd
r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r
data = {'LÄntagaren':np.array(['Vasya', 'Fedya', 'Lesha']),
'Lön':np.array([120000,180000,210000]),
'Betalning':np.array([3000,50000,70000])}
df = pd.DataFrame(data)
df['f(w,x)'] = w_0 + df['Lön']*w_1 + df['Betalning']*w_2
decision = []
for i in df['f(w,x)']:
if i > 0:
dec = 'GodkÀnd'
decision.append(dec)
else:
dec = 'Avslag'
decision.append(dec)
df['Beslut'] = decision
df[['LÄntagaren', 'Lön', 'Betalning', 'f(w,x)', 'Beslut']]I enlighet med tabellens data vill Vasya, med en lön pÄ 120 000 kr, fÄ ett lÄn dÀr han kan betala 3 000 kr i mÄnaden. Vi har faststÀllt att för att lÄnet ska godkÀnnas mÄste Vasya ha en lön som överstiger tre gÄnger betalningen och att han ska ha 5 000 kr kvar. Detta krav uppfyller Vasya:
. Det ÄterstÄr till och med 106.000R. Trots att vi har minskat koefficienterna
med 25.000 gĂ„nger, fick vi samma resultat â lĂ„net kan godkĂ€nnas. Fedya kommer ocksĂ„ att fĂ„ ett lĂ„n, medan Lesha, trots att han tjĂ€nar mest, mĂ„ste dĂ€mpa sina begĂ€r.
LÄt oss rita en graf för detta fall.
Graf 2 "Klassificering av lÄntagare"
Kod för att rita grafen

salary = np.arange(60000,240000,20000) payment = (-w_0-w_1*salary)/w_2fig, axes = plt.subplots(figsize = (14,6), dpi = 80) plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$') plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'], 'o', color ='green', markersize = 12, label = 'Beslut - LÄn godkÀnt') plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'], 's', color = 'red', markersize = 12, label = 'Beslut - LÄn avslaget') plt.xlabel('Lön', size = 16) plt.ylabel('Betalning', size = 16) plt.legend(prop = {'size': 14}) plt.show()
SÄ vÄr linje, som byggs enligt funktionen, separerar "dÄliga" lÄntagare frÄn "goda". De lÄntagare vars önskningar inte överensstÀmmer med möjligheterna ligger ovanför linjen (Lesha), medan de som kan Äterbetala lÄnet enligt parametrarna i vÄr modell ligger under linjen (Vasya och Fedya). Man kan sÀga att vÄr linje delar in lÄntagarna i tvÄ klasser. LÄt oss beteckna dem som:
vi kommer att inkludera de lÄntagare som troligen kommer att Äterbetala lÄnet i klassen
vi kommer att inkludera de lÄntagare som troligen inte kommer att kunna Äterbetala lÄnet i klassen.
eller
LÄt oss generalisera slutsatserna frÄn detta enkla exempel. LÄt oss ta en punkt
och, genom att sÀtta in koordinaterna för punkten i motsvarande linjens ekvation
, övervÀga tre alternativ:
Om punkten ligger under linjen och vi tillskriver den klassen
- , kommer funktionsvÀrdet
att vara positivt frÄn
. DÄ kan vi sÀga att sannolikheten för Äterbetalning av lÄnet ligger inom
till
. Ju högre funktionens vÀrde Àr, desto högre Àr sannolikheten.
Om punkten ligger ovanför linjen och vi tillskriver den klassen - , dÄ kommer funktionsvÀrdet att vara negativt frÄn
eller
. DÄ kommer vi att anse att sannolikheten för att Äterbetala skulden ligger inom
till
och ju större vÀrde funktionen har i absolutvÀrde, desto högre blir vÄr övertygelse.
Punkten ligger pÄ linjen, pÄ grÀnsen mellan de tvÄ klasserna. I sÄdana fall Àr funktionsvÀrdet - lika med
och sannolikheten för Äterbetalning av lÄnet Àr
Nu, förestÀll dig att vi inte har tvÄ faktorer, utan dussintals, lÄntagare inte tre, utan tusentals. DÄ istÀllet för en linje har vi
.
Nu, förestÀll oss att vi inte har tvÄ faktorer, utan tiotals, och att lÄntagarna inte Àr tre, utan tusentals. DÄ istÀllet för en linje har vi m-omrÄde ytan och koefficienterna
de kommer inte att tas framsidan, utan berÀknas enligt alla regler, baserat pÄ insamlade data om lÄntagare som har Äterbetalat eller inte Äterbetalat sina lÄn. Och faktiskt, mÀrk vÀl, vi vÀljer nu lÄntagare med redan kÀnda koefficienter
. I sjÀlva verket bestÄr modellen för logistisk regression just av att bestÀmma parametrarna
, dÀr vÀrdet av förlustfunktionen Logistic Loss strÀvar efter att vara minimalt. Men hur vektorn
, berĂ€knas, fĂ„r vi veta i avsnitt 5 av artikeln. Tills dess Ă„tervĂ€nder vi till det utlovade landet â till vĂ„r banktjĂ€nsteman och tre av hans kunder.
Tack vare funktionen
vet vi vem som kan fĂ„ ett lĂ„n och vem som mĂ„ste nekas. Men med sĂ„dan information kan vi inte gĂ„ till direktören, eftersom vi vill ha sannolikheten för Ă„terbetalning för varje lĂ„ntagare. Vad göra? Svaret Ă€r enkelt â vi behöver pĂ„ nĂ„got sĂ€tt omvandla funktionen
, vars vÀrden ligger i intervallet
till en funktion vars vÀrden kommer att ligga i intervallet
. Och en sÄdan funktion existerar, den kallas logistisk responsfunktion eller invers-logit-transform. Bekanta er med:

LÄt oss se steg för steg hur man fÄr fram logistisk responsfunktion.Vi noterar att vi kommer att gÄ bakÄt, det vill sÀga vi förutsÀtter att vi kÀnner till sannolikhetsvÀrdet, som ligger inom grÀnserna frÄn
till
och dÀrefter kommer vi att "rulla upp" detta vÀrde över hela talomrÄdet frÄn
till
.
03. Vi ger fram logistisk responsfunktion
Steg 1. Ăverför sannolikhetsvĂ€rden till intervallet 
Under transformeringen av funktionen
pÄ logistisk responsfunktion
lÀmnar vi vÄr kreditanalytiker ifred för en stund och istÀllet gÄr vi till sportoddsen. Nej, sjÀlvklart kommer vi inte att placera nÄgot vad, allt som intresserar oss dÀr Àr betydelsen av uttrycket, till exempel oddset 4 till 1. Oddsen, kÀnda för alla som spelar pÄ vad, Àr förhÄllandet mellan "framgÄngar" och "misslyckanden". Ur sannolikhetsperspektiv Àr oddsen sannolikheten för att en hÀndelse intrÀffar dividerat med sannolikheten för att hÀndelsen inte intrÀffar. LÄt oss skriva formeln för oddset för att hÀndelsen intrÀffar
:

, dÀr
â sannolikheten för att hĂ€ndelsen intrĂ€ffar,
â sannolikheten för att hĂ€ndelsen INTE intrĂ€ffar
Till exempel, om sannolikheten för att en ung, stark och energisk hÀst vid namn "Vindpinne" ska slÄ den gamla och skröpliga damen "Matilda" i ett lopp Àr
, sÄ kommer "Vindpinne" ha en framgÄngschans pÄ
till
och omvÀnt, om vi kÀnner till oddsen, blir det enkelt att berÀkna sannolikheten
:

SÄledes har vi lÀrt oss att "översÀtta" sannolikhet till odds, som kan anta vÀrden frÄn
till
. Vi tar ett steg till och lÀr oss att "översÀtta" sannolikhet till hela den numeriska linjen frÄn
till
.
Steg 2. Vi kommer att översÀtta sannolikhetsvÀrden till intervallet 
Detta steg Ă€r mycket enkelt â vi loggar oddsen med basen av talet Euler
och fÄr:

Nu vet vi att om
, sÄ kommer det att vara mycket enkelt att berÀkna vÀrdet
och dessutom bör det vara positivt:
. SÄ Àr det.
För nyfikenhetens skull kontrollerar vi, om
, dÄ förvÀntar vi oss att se ett negativt vÀrde
. Vi kontrollerar:
. Helt rÀtt.
Nu vet vi hur man översÀtter sannolikhetsvÀrdet frÄn
till
till hela den numeriska linjen frÄn
till
. I nÀsta steg gör vi allt tvÀrtom.
Men för nu, lÄt oss notera att enligt logaritmeringsreglerna, om vi kÀnner till funktionens vÀrde
, kan vi berÀkna oddsen:

Denna metod för att bestÀmma oddsen kommer att vara anvÀndbar i nÀsta steg.
Steg 3. Vi kommer att hÀrleda formeln för att bestÀmma 
SÄ, vi har lÀrt oss att, med veten
, hitta vÀrdena för funktionen
. Men i verkligheten behöver vi allt tvĂ€rtom â att veta vĂ€rdet
för att fÄ
. För detta vÀnder vi oss till begreppet inversa oddset, enligt vilket:

I artikeln kommer vi inte att hÀrleda den ovan nÀmnda formeln, men vi kommer att kontrollera med siffrorna frÄn exemplet ovan. Vi vet att med odds lika med 4 till 1 (
), Àr sannolikheten för att hÀndelsen intrÀffar 0,8 (
). Vi gör en substitution:
. Detta stÀmmer överens med vÄra tidigare berÀkningar. LÄt oss gÄ vidare.
I det föregÄende steget kom vi fram till att
, vilket innebÀr att vi kan göra en substitution i den inversa oddset. Vi fÄr:

Vi delar sÄvÀl tÀljaren som nÀmnaren med
, dÄ:

För att vara pÄ den sÀkra sidan, för att sÀkerstÀlla att vi inte har gjort nÄgot misstag, gör vi en liten kontroll till. I steg 2 faststÀllde vi att
. DÄ, genom att ersÀtta vÀrdet
i den logistiska Äterkopplingsfunktionen, förvÀntar vi oss att fÄ
. Vi sÀtter in och fÄr:
. 
Grattis, kÀra lÀsare! Vi har just utvecklat och testat logit-funktionen. LÄt oss ta en titt pÄ grafen för funktionen.
Graf 3 "Logit-funktionen"

salary = np.arange(60000,240000,20000) payment = (-w_0-w_1*salary)/w_2fig, axes = plt.subplots(figsize = (14,6), dpi = 80) plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$') plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'], 'o', color ='green', markersize = 12, label = 'Beslut - LÄn godkÀnt') plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'], 's', color = 'red', markersize = 12, label = 'Beslut - LÄn avslaget') plt.xlabel('Lön', size = 16) plt.ylabel('Betalning', size = 16) plt.legend(prop = {'size': 14}) plt.show()
import math
def logit(f):
return 1/(1 + math.exp(-f))
f = np.arange(-7, 7, 0.05)
p = []
for i in f:
p.append(logit(i))
fig, axes = plt.subplots(figsize=(14, 6), dpi=80)
plt.plot(f, p, color='grey', label='$ 1 / (1 + e^{-w^Tx_i})$')
plt.xlabel('$f(w, x_i) = w^Tx_i$', size=16)
plt.ylabel('$p_{i+}$', size=16)
plt.legend(prop={'size': 14})
plt.show()I litteraturen kan denna funktion ocksÄ kallas sigmoidfunktion. Det framgÄr tydligt av grafen att den största förÀndringen av sannolikheten för att ett objekt tillhör en klass sker över ett relativt smalt intervall
, nÄgonstans mellan
till
.
Jag föreslĂ„r att vi Ă„tergĂ„r till vĂ„r kreditanalytiker och hjĂ€lper honom att berĂ€kna sannolikheten för kreditĂ„terbetalning, annars riskerar han att gĂ„ miste om sin premie đ
Tabell 2 "Potentiella lÄntagare"

Kod för att skapa tabellen
proba = []
for i in df['f(w, x)']:
proba.append(round(logit(i), 2))
df['Sannolikhet'] = proba
df[['LÄntagaren', 'Lön', 'Betalning', 'f(w,x)', 'Beslut', 'Sannolikhet']]SÄ, vi har faststÀllt sannolikheten för kreditÄterbetalning. Generellt sett ser det ut att vara rimligt.
Verkligen, sannolikheten för att Vasja med en lön pÄ 120.000R kan betala 3.000R mÄnadsvis till banken, ligger nÀra 100%. För övrigt bör vi förstÄ att banken kan bevilja ett lÄn till Ljoƥa om bankens policy tillÄter, till exempel att lÄna ut till kunder med en Äterbetalningssannolikhet över 0.3. I sÄdana fall bildar banken en större reserv för potentiella förluster.
Det bör ocksÄ noteras att förhÄllandet mellan lön och betalning pÄ minst 3 och med en sÀkerhetsmarginal pÄ 5.000R togs frÄn luften. SÄ vi kunde inte anvÀnda vikterna i sin ursprungliga form.
. Vi var tvungna att kraftigt minska koefficienterna och i dessa fall delade vi varje koefficient med 25.000, vilket i grunden anpassade resultatet. Men detta gjordes medvetet för att förenkla förstÄelsen av materialet i det inledande skedet. I verkligheten behöver vi inte hitta pÄ och justera koefficienter utan faktiskt finna dem. I de följande avsnitten av artikeln kommer vi att hÀrleda ekvationer för att bestÀmma parametrarna.
.
04. Metod för minsta kvadrat i bestÀmning av viktvektorn
i logit-funktionen
Vi kÀnner redan till en sÄdan metod för att justera viktvektorn.
, som metoden för minsta kvadrat (MKM) och faktiskt, varför skulle vi dÄ inte anvÀnda det i uppgifter för binÀr klassificering? Verkligen, ingenting hindrar oss frÄn att anvÀnda MNLK, men just denna metod inom klassificeringsuppgifter ger mindre precisa resultat Àn Logistic Loss. Det finns en teoretisk grund för detta. LÄt oss först titta pÄ ett enkelt exempel.
Anta att vÄra modeller (som anvÀnder MSE och Logistic Loss) redan har börjat optimera viktvektorn
och vi har avbrutit berÀkningen vid nÄgot steg. Det spelar ingen roll om det Àr i mitten, i slutet eller i början, det viktiga Àr att vi redan har nÄgra vÀrden i viktvektorn och lÄt oss anta att vid detta steg har viktvektorerna
för bÄda modellerna inga skillnader. DÄ tar vi de erhÄllna vikterna och sÀtter in dem i logistisk responsfunktion (
) för nÄgot objekt som tillhör klassen
. Vi undersöker tvĂ„ fall, nĂ€r vĂ„r modell enligt den optimerade viktvektorn gör ett stort misstag och Ă„ sin sida â modellen Ă€r mycket sĂ€ker pĂ„ att objektet tillhör klassen
. LÄt oss se vilka straff som kommer att "utfÀrdas" vid anvÀndning av MNLK och Logistic Loss.
Koden för att berÀkna straffen beroende pÄ den anvÀnda förlustfunktionen
# ĐșлаŃŃ ĐŸĐ±ŃĐ”ĐșŃа
y = 1
# ĐČĐ”ŃĐŸŃŃĐœĐŸŃŃŃ ĐŸŃĐœĐ”ŃĐ”ĐœĐžŃ ĐŸĐ±ŃĐ”ĐșŃа Đș ĐșлаŃŃŃ ĐČ ŃĐŸĐŸŃĐČĐ”ŃŃŃĐČОО Ń ĐżĐ°ŃĐ°ĐŒĐ”ŃŃĐ°ĐŒĐž w
proba_1 = 0.01
MSE_1 = (y - proba_1)**2
print 'ĐšŃŃĐ°Ń MSE ĐżŃĐž ĐłŃŃĐ±ĐŸĐč ĐŸŃОбĐșĐ” =', MSE_1
# ĐœĐ°ĐżĐžŃĐ”ĐŒ ŃŃĐœĐșŃĐžŃ ĐŽĐ»Ń ĐČŃŃĐžŃĐ»Đ”ĐœĐžŃ f(w,x) ĐżŃĐž ОзĐČĐ”ŃŃĐœĐŸĐč ĐČĐ”ŃĐŸŃŃĐœĐŸŃŃĐž ĐŸŃĐœĐ”ŃĐ”ĐœĐžŃ ĐŸĐ±ŃĐ”ĐșŃа Đș ĐșлаŃŃŃ +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
return math.log(proba/(1-proba))
LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'ĐšŃŃĐ°Ń Log Loss ĐżŃĐž ĐłŃŃĐ±ĐŸĐč ĐŸŃОбĐșĐ” =', LogLoss_1
proba_2 = 0.99
MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))
print '**************************************************************'
print 'ĐšŃŃĐ°Ń MSE ĐżŃĐž ŃОлŃĐœĐŸĐč ŃĐČĐ”ŃĐ”ĐœĐœĐŸŃŃĐž =', MSE_2
print 'ĐšŃŃĐ°Ń Log Loss ĐżŃĐž ŃОлŃĐœĐŸĐč ŃĐČĐ”ŃĐ”ĐœĐœĐŸŃŃĐž =', LogLoss_2Fallet med ett grovt misstag â modellen klassificerar objektet som tillhörande klassen
med en sannolikhet pÄ 0,01
Straffet vid anvÀndning av MNLK blir:

Straffet vid anvÀndning av Logistic Loss blir:

Fallet med stark sĂ€kerhet â modellen klassificerar objektet som tillhörande klassen
med en sannolikhet pÄ 0,99
Straffet vid anvÀndning av MNLK blir:

Straffet vid anvÀndning av Logistic Loss blir:

Detta exempel illustrerar tydligt att vid grova misstag straffar förlustfunktionen Log Loss modellen betydligt hÄrdare Àn MSE. LÄt oss nu förstÄ vilka teoretiska förutsÀttningar som ligger till grund för anvÀndningen av förlustfunktionen Log Loss i klassificeringsuppgifter.
05. Metod för maximal sannolikhet och logistisk regression
Som lovat i början Ă€r artikeln full av enkla exempel. HĂ€r Ă€r ytterligare ett exempel med gamla bekanta â banklĂ„ntagare: Vasia, Fedja och Ljosa.
För sÀkerhets skull, innan vi utvecklar exemplet, pÄminner jag om att vi i verkligheten arbetar med en trÀningsuppsÀttning av tusentals eller miljoner objekt med tiotals eller hundratals attribut. Men hÀr Àr siffrorna valda sÄ att de lÀtt kan förstÄs av en nybörjare inom datavetenskap.
LÄt oss ÄtervÀnda till exemplet. Anta att bankdirektören har beslutat att bevilja lÄn till alla som behöver, trots att algoritmen föreslog att inte bevilja det till Lesja. Tiden har gÄtt och vi har fÄtt veta vem av de tre hjÀltarna som har Äterbetalat lÄnet och vem som inte har det. Som förvÀntat: Vasilij och Fedja Äterbetalade lÄnet, medan Lesja inte gjorde det. LÄt oss nu tÀnka oss att detta resultat blir vÄr nya trÀningsdata, och att vi pÄ nÄgot sÀtt har förlorat all information om faktorerna som pÄverkar sannolikheten för Äterbetalning av lÄnet (lÄntagarens lön, storleken pÄ mÄnadskostnaden). DÄ kan vi intuitivt anta att var tredje lÄntagare inte betalar tillbaka lÄnet till banken, eller med andra ord, sannolikheten för Äterbetalning av lÄnet av nÀsta lÄntagare.
. Denna intuitiva hypotes har teoretisk bekrÀftelse och bygger pÄ metoden för maximal sannolikhet, som ofta kallas maximal sannolikhetsprincipen..
För att börja, lÄt oss bekanta oss med begreppen.
Sannolikheten för urvalet Àr sannolikheten att fÄ just detta urval, exakt dessa observationer/resultat, det vill sÀga produkten av sannolikheterna för att fÄ vart och ett av resultaten i urvalet (till exempel om lÄnet Àr Äterbetalat eller inte av Vasilij, Fedja och Lesja samtidigt).
Sannolikhetsfunktionen kopplar sannolikheten för urvalet till vÀrdena av distributionsparametrarna.
I vÄrt fall representerar trÀningsurvalet ett generaliserat Bernoullischema, dÀr den slumpmÀssiga variabeln antar endast tvÄ vÀrden:
eller
. DÀrför kan sannolikheten för urvalet skrivas som en sannolikhetsfunktion av parametern
pÄ följande sÀtt:


Den ovanstÄende uppsÀttningen kan tolkas sÄ hÀr. Den sammantagna sannolikheten för att Vasilij och Fedja kommer att Äterbetala lÄnet Àr
, sannolikheten att Lesja INTE Äterbetalar lÄnet Àr
(eftersom det faktiskt handlade om att INTE Äterbetala lÄnet), dÀrför Àr den gemensamma sannolikheten för alla tre hÀndelser lika med
.
Metoden för maximalt sannolikhet - detta Àr metoden för att uppskatta en okÀnd parameter genom maximering av sannolikhetsfunktion. I vÄrt fall behöver vi hitta ett sÄdant vÀrde
, dÀr
nÄr sitt maximum.
Var kommer egentligen idĂ©n frĂ„n â att söka efter vĂ€rdet av en okĂ€nd parameter för vilken sannolikhetsfunktionen nĂ„r sitt maximum? IdĂ©n har sitt ursprung i uppfattningen om att ett urval Ă€r den enda tillgĂ€ngliga kĂ€llan till kunskap om populationen. Allt vi vet om populationen framgĂ„r av urvalet. DĂ€rför kan vi sĂ€ga att urvalet Ă€r den mest exakta spegelbilden av populationen som Ă€r tillgĂ€nglig för oss. DĂ€rmed behöver vi hitta en parameter dĂ€r det existerande urvalet blir mest sannolikt.
Uppenbarligen har vi att göra med ett optimeringsproblem dĂ€r vi behöver hitta extrempunkten för en funktion. För att hitta extrempunkten krĂ€vs det att vi betraktar det första ordningens villkoret, det vill sĂ€ga att sĂ€tta derivatan av funktionen lika med noll och lösa ekvationen för den okĂ€nda parametern. Dock kan sökandet efter derivatan av produkten av mĂ„nga faktorer bli en tidskrĂ€vande uppgift, för att undvika detta finns det en speciell teknik â att gĂ„ till logaritmen. sannolikhetsfunktion. Varför Ă€r en sĂ„dan övergĂ„ng möjlig? LĂ„t oss notera att vi inte söker extrema vĂ€rdet av funktionen
, utan extrempunkten, det vill sÀga det vÀrde av den okÀnda parametern
, dÀr
nÄr sitt maximum. Vid övergÄngen till logaritmen förÀndras inte extrempunkten (Àven om sjÀlva extremvÀrdet kommer att skilja sig), eftersom logaritmen Àr en monoton funktion.
LÄt oss, i enlighet med det som tidigare sagts, fortsÀtta utveckla vÄrt exempel med lÄn frÄn Vasilij, Fedja och Ljoƥa. Först gÄr vi till logaritmen av sannolikhetsfunktionen.:

Nu kan vi enkelt derivera uttrycket med avseende pÄ
:

Och slutligen, lĂ„t oss betrakta det första ordningens villkoret â sĂ€tta derivatan av funktionen lika med noll:

PÄ sÄ sÀtt har vÄr intuitiva bedömning av sannolikheten för Äterbetalning av lÄn
teoretiskt motiverats.
UtmÀrkt, men vad ska vi nu göra med sÄdan information? Om vi antar att varje tredje lÄntagare inte returnerar pengar till banken, kommer denna oundvikligen att gÄ i konkurs. SÄ Àr det, men vid bedömningen av sannolikheten för Äterbetalning av lÄn lika med
Vi har inte tagit hÀnsyn till de faktorer som pÄverkar lÄneÄterbetalningen: lÄntagarens lön och storleken pÄ den mÄnatliga betalningen. LÄt oss minnas att vi tidigare berÀknade sannolikheten för att varje kund Äterbetalar lÄnet med hÀnsyn till just dessa faktorer. Det Àr logiskt att vÄra sannolikheter dÀrför avviker frÄn konstantvÀrdet som Àr lika med
.
LÄt oss definiera sannolikheten för urvalen:
Kod för att berÀkna sannolikheterna för urvalen
from functools import reduce
def likelihood(y,p):
line_true_proba = []
for i in range(len(y)):
ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
line_true_proba.append(ltp_i)
likelihood = []
return reduce(lambda a, b: a*b, line_true_proba)
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]
print 'Sannolikheten för urvalet vid konstant vÀrde p=2/3:', round(likelihood(y,p_const),3)
print '****************************************************************************************************'
print 'Sannolikheten för urvalet vid berÀknat vÀrde p:', round(likelihood(y,p_log_response),3)Sannolikheten för urvalet vid konstant vÀrde
:

Sannolikheten för urvalet vid berÀkning av lÄneÄterbetalning med hÀnsyn till faktorer
:


Sannolikheten för urvalet med sannolikheten berÀknad beroende pÄ faktorer visade sig vara högre Àn sannolikheten vid konstant vÀrde. Vad betyder det? Det betyder att kunskap om faktorerna har möjliggjort en mer exakt anpassning av sannolikheten för lÄneÄterbetalning för varje kund. DÀrför, vid beviljande av nÀsta lÄn, Àr det mer korrekt att anvÀnda modellen för att bedöma sannolikheten för Äterbetalning av lÄn, som föreslogs i slutet av avsnitt 3 av artikeln.
Men dÄ, om vi behöver maximera sannolikhetsfunktionen för urvalet, varför inte anvÀnda nÄgon algoritm som skulle ge sannolikheter för Vasia, Fedya och Lesha, till exempel, lika med 0,99, 0,99 och 0,01 respektive. Kanske skulle en sÄdan algoritm fungera bra pÄ trÀningsuppsÀttningen, eftersom den skulle nÀrma sig vÀrdet pÄ sannolikheten för urvalet.
, men för det första kommer en sÄdan algoritm troligtvis ha svÄrigheter med förmÄgan att generalisera, för det andra kommer denna algoritm definitivt inte att vara linjÀr. Och om metoder för att motverka överanpassning (lika svag generaliseringsförmÄga) uppenbarligen inte ingÄr i planen för denna artikel, lÄt oss gÄ in mer pÄ det andra punkten. För detta rÀcker det att svara pÄ en enkel frÄga. Kan sannolikheten för att Äterbetala lÄnet för Vasja och Fedja vara densamma med hÀnsyn till de faktorer vi kÀnner till? Ur ett sunt förnufts perspektiv, sjÀlvklart kan det inte vara sÄ. SÄ nÀr det kommer till Äterbetalningen av lÄnet kommer Vasja att ge 2,5% av sin lön per mÄnad, medan Fedja nÀstan ger 27,8%. PÄ diagram 2
Klassificering av kunder
ser vi att Vasja ligger betydligt lÀngre frÄn linjen som delar klasserna Àn Fedja. Slutligen vet vi att funktionen
för Vasja och Fedja antar olika vÀrden: 4,24 för Vasja och 1,0 för Fedja. Om Fedja till exempel skulle tjÀna betydligt mer eller be om ett mindre lÄn, skulle sannolikheterna för Äterbetalning av lÄn för Vasja och Fedja vara liknande. Med andra ord kan du inte luras med en linjÀr beroende. Och om vi verkligen hade rÀknat ut koefficienterna
, och inte tagit dem ur luften, skulle vi kunna pÄstÄ att vÄra vÀrden
bÀst bedömer sannolikheten för att varje lÄntagare Äterbetalar lÄnet, men eftersom vi har kommit överens om att bestÀmma koefficienterna
har gjorts enligt alla regler, sĂ„ kommer vi att rĂ€kna med att vĂ„ra koefficienter ger den bĂ€sta bedömningen av sannolikheten đ
Men vi har avvikit frÄn Àmnet. I detta avsnitt behöver vi förstÄ hur viktvektorn bestÀms
:
, som Àr nödvÀndig för att bedöma sannolikheten för Äterbetalning av lÄnet för varje lÄntagare. linjÀr regressionsfunktion Sammanfattningsvis, med vilket arsenaler vi gÄr in i sökandet efter koefficienterna
1. Vi antar att relationen mellan den beroende variabeln (förutsÀgelsevÀrdet) och faktorn som pÄverkar resultatet Àr linjÀr. Av detta skÀl tillÀmpas
och
eller
typ
.
, vars linje delar objekten (kunderna) i klasser (kunder, som kan Äterbetala lÄnet och de som inte kan). I vÄrt fall har ekvationen formen Sammanfattningsvis, med vilket arsenaler vi gÄr in i sökandet efter koefficienterna
2. Vi anvÀnder
.
funktionen för invers logit-transformering Bernoullische Modelle, det vill sÀga för varje objekt genereras en slumpvariabel som med en sannolikhet
(sin egen för varje objekt) antar vÀrdet 1 och med en sannolikhet
â 0.
4. Vi vet att vi behöver maximera sannolikhetsfunktionen för urvalet med hÀnsyn till de accepterade faktorerna sÄ att det givna urvalet blir mest troligt. Med andra ord, vi behöver vÀlja sÄdana parametrar som gör urvalet mest troligt. I vÄrt fall Àr den parameter vi justerar sannolikheten för att lÄnet betalas tillbaka
, vilket i sin tur beror pÄ okÀnda koefficienter
. Det betyder att vi behöver hitta en sÄdan viktsvektor
, dÀr sannolikheten för urvalet blir maximal.
5. Vi vet att för att maximera sannolikhetsfunktionen för urvalet kan anvÀndas metoden för maximalt sannolikhet. Och vi kÀnner till alla smarta knep för att arbeta med denna metod.
SĂ„ hĂ€r blir det en komplex lösning đ
Och nu ska vi pÄminna oss om att vi i början av artikeln ville hÀrleda tvÄ typer av förlustfunktioner Logistic Loss beroende pÄ hur objekts klasser betecknas. Det Àr sÄ det blivit att i klassificeringsuppgifter med tvÄ klasser, klasserna betecknas som
och
eller
. Beroende pÄ beteckningen, kommer motsvarande förlustfunktion att bli utgÄende.
Fall 1. Klassificering av objekt pÄ
och 
Tidigare, vid berÀkning av sannolikheten för urvalet, dÀr sannolikheten för att lÄnet tas tillbaka berÀknades utifrÄn faktorer och givna koefficienter
, tillÀmpade vi formeln:

I sjÀlva verket
â det Ă€r vĂ€rdet av logitfunktionen
med den angivna viktsvektorn 
DÄ finns det inget som hindrar oss frÄn att skriva sannolikhetsfunktionen för urvalet sÄ hÀr:

Det hÀnder att vissa nybörjare inom analys kan ha svÄrt att direkt förstÄ hur denna funktion fungerar. LÄt oss titta pÄ 4 korta exempel som alla klargör:
1. Om
(dvs. enligt trÀningsurvalet tillhör objektet klass +1), medan vÄr algoritm
berÀknar sannolikheten för att objektet tillhör klassen
till 0,9, sÄ den hÀr delen av sannolikheten för urvalet kommer att berÀknas sÄ hÀr:

2. Om
, och
, sÄ berÀkningen blir sÄ hÀr:

3. Om
, och
, sÄ berÀkningen blir sÄ hÀr:

4. Om
, och
, sÄ berÀkningen blir sÄ hÀr:

Det Ă€r uppenbart att sannolikhetsfunktionen maximalt kommer att uppnĂ„s i fallen 1 och 3 eller i allmĂ€nhet â vid korrekt gissade sannolikhetsvĂ€rden för att tilldela objektet till klassen
.
Eftersom vid bestÀmningen av sannolikheten att tilldela objektet till klassen
vi kÀnner inte till nÄgra koefficienter
, sÄ vi kommer att leta efter dem. Som nÀmnt ovan Àr detta en optimeringsuppgift dÀr vi först behöver hitta derivatan av sannolikhetsfunktionen med avseende pÄ viktvektorn
. Men innan dess Àr det vÀrt att förenkla uppgiften: vi kommer att söka derivatan av logaritmen sannolikhetsfunktion.

Varför efter logaritmering, i logistisk felfunktion, bytte vi tecken frÄn
till
. Det Àr enkelt, eftersom det i uppgifter om modellutvÀrdering Àr vanligt att minimera funktionsvÀrdet, sÄ vi multiplicerade den högra delen av uttrycket med
och istÀllet för maximisering, minimerar vi nu funktionen.
Nu har vi, inför era ögon, genomlidit funktionen för förlust â Logistic Loss för trĂ€ningsdatasetet med tvĂ„ klasser:
och
.
Nu, för att hitta koefficienterna, behöver vi bara hitta derivatan logistisk felfunktion och vidare, med hjÀlp av numeriska optimeringsmetoder som gradientnedstigning eller stokastisk gradientnedstigning, justera till de mest optimala koefficienterna
. Men med tanke pÄ den redan stora mÀngden artikel, föreslÄs det att utföra differentiering sjÀlv, eller kanske detta blir Àmnet för nÀsta artikel med mer matematik utan sÄ mÄnga detaljerade exempel.
Fall 2. Klassificering av objekt pÄ
och 
TillvÀgagÄngssÀttet hÀr kommer att vara detsamma som med klasserna
och
, men sjĂ€lva vĂ€gen till att hĂ€rleda förlustfunktionen Logistic Loss, kommer att vara mer invecklad. LĂ„t oss börja. Vi kommer att anvĂ€nda operatören «omâŠ, dĂ„âŠÂ». Det vill sĂ€ga, om
-te objektet hör till klassen
, sÄ för att berÀkna sannolikheten för urvalet anvÀnder vi sannolikhet
, om objektet hör till klassen
, sÄ sÀtter vi in i sannolikheten
. SÄ hÀr ser sannolikhetsfunktionen ut:

LÄt oss förklara hur detta fungerar. Vi övervÀger 4 fall:
1. Om
och
, dÄ kommer sannolikheten för urvalet att gÄ till 
2. Om
och
, dÄ kommer sannolikheten för urvalet att gÄ till 
3. Om
och
, dÄ kommer sannolikheten för urvalet att gÄ till 
4. Om
och
, dÄ kommer sannolikheten för urvalet att gÄ till 
Det Àr uppenbart att i fall 1 och 3, nÀr sannolikheterna var korrekt definierade av algoritmen, sannolikhetsfunktionen kommer att maximeras, dvs. detta var exakt vad vi ville uppnÄ. Men sÄdan ansats Àr ganska otymplig och vidare kommer vi att granska en mer kompakt skrift. Men först, logaritmera sannolikhetsfunktionen med teckenbyte, eftersom vi nu kommer att minimera den.

Vi sÀtter istÀllet for
uttryck
:

LÄt oss förenkla det högra ledet under logaritmen med hjÀlp av enkla aritmetiska metoder och fÄ:

Och nu Ă€r det dags att bli av med operatören «omâŠ, dĂ„âŠÂ». Observera att nĂ€r ett objekt
hör till klassen
, dÄ i uttrycket under logaritmen, i nÀmnaren,
upphöjs till en exponent
, om objektet hör till klassen
, dÄ $e$ upphöjs till en exponent
. Följaktligen kan exponentnotationen förenklas â vi kan kombinera bĂ„da fallen i ett:
. DÄ funktionen för logistisk förlust att ta formen:

Enligt logaritmeringsreglerna vÀnder vi brÄket och tar ut tecknet "
" (minus) ur logaritmen, och fÄr:

HÀr Àr funktionen för förlust logistic Loss, som anvÀnds i trÀningsdataset med objekt som hör till klasser:
och
.
Ja, jag tar farvÀl hÀr och vi avslutar artikeln.
Författarens föregĂ„ende arbete â "SĂ€tter linjĂ€r regressions ekvation i matrisform"
Kompletterande material
1. Litteratur
1) TillĂ€mpad regressionsanalys / N. Draper, G. Smith â 2:a uppl. â Moskva: Finanser och statistik, 1986 (översĂ€ttning frĂ„n engelska)
2) Sannolikhetsteori och matematisk statistik / V.E. Gmurman â 9:e uppl. â Moskva: Högskolan, 2003
3) Sannolikhetsteori / N.I. Tjernova â Novosibirsk: Novosibirsk statliga universitet, 2007
4) AffĂ€rsanalys: frĂ„n data till kunskap / Paklin N.B., Oreshkov V.I. â 2:a uppl. â Sankt Petersburg: Piter, 2013
5) Data Science frĂ„n grunden / Joel Grus â Sankt Petersburg: BHV Petersburg, 2017
6) Praktisk statistik för Data Science-specialister / P. Bruce, E. Bruce â Sankt Petersburg: BHV Petersburg, 2018
2. FörelÀsningar, kurser (video)
1)
2)
3)
4)
5)
3. InternetkÀllor
1)
2)
3)
4)
5)
6)
7)
8)
KĂ€lla: habr.com

pÄ logistisk responsfunktion 
funktioner Logistic Loss
:

att vara positivt frÄn
. DÄ kan vi sÀga att sannolikheten för Äterbetalning av lÄnet ligger inom
till
. Ju högre funktionens vÀrde Àr, desto högre Àr sannolikheten.
Om punkten ligger ovanför linjen och vi tillskriver den klassen
eller
. DÄ kommer vi att anse att sannolikheten för att Äterbetala skulden ligger inom
till
och ju större vÀrde funktionen har i absolutvÀrde, desto högre blir vÄr övertygelse.
Punkten ligger pÄ linjen, pÄ grÀnsen mellan de tvÄ klasserna. I sÄdana fall Àr funktionsvÀrdet
och sannolikheten för Äterbetalning av lÄnet Àr
Nu, förestÀll dig att vi inte har tvÄ faktorer, utan dussintals, lÄntagare inte tre, utan tusentals. DÄ istÀllet för en linje har vi
.


i logit-funktionen
och 
och 