Mumsande logistisk regression

Mumsande logistisk regression

I den hÀr artikeln kommer vi att gÄ igenom de teoretiska redogörelserna för omvandlingen av linjÀr regressionsfunktion pÄ omvÀnd logit-omvandlingsfunktionen (eller som den ocksÄ kallas, logistiske responsfunktionen). Sedan, med hjÀlp av arsenalen för metoden för maximal sannolikhet, enligt modellen för logistisk regression, kommer vi att hÀrleda förlustfunktionen Logistic Loss, eller med andra ord, vi kommer att definiera en funktion som anvÀnds för att justera parametrarna för viktvektorn i den logistiska regressionsmodellen Mumsande logistisk regression.

Artikelplan:

  1. LÄt oss Äterkomma till den linjÀra relationen mellan tvÄ variabler
  2. Vi kommer att identifiera behovet av omvandlingen av linjÀr regressionsfunktion Mumsande logistisk regression pÄ logistisk responsfunktion Mumsande logistisk regression
  3. Vi kommer att genomföra omvandlingar och hÀrleda logistisk responsfunktion
  4. Vi ska försöka förstÄ vad som Àr fel med minskad kvadratmetod vid justering av parametrar Mumsande logistisk regression funktioner Logistic Loss
  5. AnvÀnds metoden för maximalt sannolikhet för att bestÀmma parameterjusteringsfunktionen Mumsande logistisk regression:

    5.1. Fall 1: funktion Logistic Loss för objekt med klassbeteckningar 0 och 1:

    Mumsande logistisk regression

    5.2. Fall 2: funktion Logistic Loss för objekt med klassbeteckningar -1 och +1:

    Mumsande logistisk regression


Artikeln Ă€r full av enkla exempel dĂ€r alla berĂ€kningar enkelt kan göras mentalt eller pĂ„ papper, och i vissa fall kan en rĂ€knare behövas. SĂ„ var beredd 🙂

Denna artikel Àr frÀmst avsedd för datavetare med grundlÀggande kunskaper om maskininlÀrning.

I artikeln kommer det Àven att ges kod för att rita diagram och utföra berÀkningar. All kod Àr skriven pÄ sprÄket python 2.7. Jag kommer pÄ förhand att förklara "nyheten" i den anvÀnda versionen - detta Àr ett av kraven för att genomgÄ en kÀnd kurs frÄn Yandex pÄ en inte mindre kÀnd online utbildningsplattform Coursera, och som man kan anta Àr materialet förberett utifrÄn denna kurs.

01. LinjÀr relation

Det Ă€r fullt rimligt att stĂ€lla frĂ„gan – vad har linjĂ€r relation att göra med logistisk regression?

Det Àr enkelt! Logistisk regression Àr en av modellerna som tillhör den linjÀra klassificeraren. Enkelt uttryckt Àr uppgiften för en linjÀr klassificerare att förutsÀga mÄlvÀrden Mumsande logistisk regression frÄn variabler (regressorer) Mumsande logistisk regression. HÀrvid antas det att relationen mellan attributen Mumsande logistisk regression och mÄlvÀrdena Mumsande logistisk regression Àr linjÀr. DÀrav namnet pÄ klassificeraren - linjÀr. Om man ska göra en mycket grov generalisering, sÄ bygger modellen för logistisk regression pÄ antagandet om en linjÀr relation mellan attributen Mumsande logistisk regression och mÄlvÀrdena Mumsande logistisk regression. HÀr Àr sambandet.

I studien Ă€r det första exemplet, och det handlar om det linjĂ€ra sambandet mellan de undersökta storheterna. Under förberedelserna av artikeln stötte jag pĂ„ ett exempel som redan mĂ„nga har tröttnat pĂ„ — sambandet mellan strömstyrka och spĂ€nning. ("Praktisk regressionsanalys", N. Draper, G. Smith). HĂ€r kommer vi ocksĂ„ att ta en titt pĂ„ det.

I enlighet med Ohms lag:

Mumsande logistisk regression, dĂ€r Mumsande logistisk regression — strömstyrka, Mumsande logistisk regression — spĂ€nning, Mumsande logistisk regression — motstĂ„nd.

Om vi inte hade vetat Ohms lag, skulle vi kunna hitta sambandet empiriskt genom att Àndra Mumsande logistisk regression och mÀta Mumsande logistisk regression, och samtidigt hÄlla Mumsande logistisk regression konstant. DÄ skulle vi se att grafen över sambandet Mumsande logistisk regression frÄn Mumsande logistisk regression ger en mer eller mindre rak linje som gÄr genom origo. Vi sÀger "mer eller mindre" eftersom, Àven om sambandet faktiskt Àr exakt, kan vÄra mÀtningar innehÄlla smÄ fel, och dÀrför kanske punkterna pÄ grafen inte trÀffar linjen exakt, utan sprids runt den pÄ ett slumpmÀssigt sÀtt.

Graf 1 "Samband Mumsande logistisk regression frÄn Mumsande logistisk regression»

Mumsande logistisk regression

Kod för att rita grafen

import matplotlib.pyplot as plt
%matplotlib inline

import numpy as np

import random

R = 13.75

x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
    y_line.append(i/R)
    
y_dot = []
for i in y_line:
    y_dot.append(i+random.uniform(-0.9,0.9))


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Verkliga resultat')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

02. Behovet av transformationer av linjÀr regressionsformel

Vi övervÀger ett annat exempel. LÄt oss anta att vi arbetar pÄ en bank och att vi har till uppgift att bestÀmma sannolikheten för att en lÄntagare Äterbetalar sitt lÄn beroende pÄ vissa faktorer. För att förenkla uppgiften, övervÀger vi endast tvÄ faktorer: lÄntagarens mÄnadslön och mÄnadskostnaden för att Äterbetala lÄnet.

Uppgiften Àr mycket hypotetisk, men med detta exempel kan vi förstÄ varför det Àr otillrÀckligt att anvÀnda av linjÀr regressionsfunktion, och vilka transformationer som krÀvs för funktionen.

Vi ÄtervÀnder till exemplet. Det Àr tydligt att ju högre lön, desto mer kan lÄntagaren avsÀtta varje mÄnad för att betala tillbaka lÄnet. För ett visst lönespann kommer detta samband att vara ganska linjÀrt. LÄt oss ta ett lönespann frÄn 60 000 kr till 200 000 kr och anta att i det angivna lönespannet Àr sambandet mellan storleken pÄ den mÄnatliga betalningen och lönen linjÀrt. Anta att det har visat sig för det angivna lönespannet att förhÄllandet mellan lönen och betalningen inte kan vara mindre Àn 3 och att lÄntagaren dessutom mÄste ha 5 000 kr kvar i reserv. Endast under dessa omstÀndigheter kommer vi att anse att lÄntagaren Äterbetalar lÄnet till banken. DÄ kommer ekvationen för linjÀr regression att se ut sÄ hÀr:

Mumsande logistisk regression

w Mumsande logistisk regression, Mumsande logistisk regression, Mumsande logistisk regression, Mumsande logistisk regression — lönen Mumsande logistisk regression-en lĂ„ntagare, Mumsande logistisk regression — lĂ„nebetalning Mumsande logistisk regression-en lĂ„ntagare.

Genom att sÀtta in lönen och lÄnebetalningen i ekvationen med fasta parametrar Mumsande logistisk regression kan ett beslut om beviljande eller avslag av lÄnet fattas.

För att förhindra framtida problem, notera att under givna parametrar Mumsande logistisk regression linjÀr regressionsfunktion, som anvÀnds i logistisk regressionsfunktion kommer att ge stora vÀrden, vilket gör det svÄrt att berÀkna sannolikheten för lÄneÄterbetalning. DÀrför föreslÄs det att vi minskar vÄra koefficienter, sÀg med 25 000 gÄnger. Denna omvandling i koefficienterna pÄverkar inte beslutet om att bevilja lÄnet. LÄt oss komma ihÄg detta för framtiden, och nu för att tydliggöra vad vi talar om, lÄt oss titta pÄ situationen med tre potentiella lÄntagare.

Tabell 1 "Potentiella lÄntagare"

Mumsande logistisk regression

Kod för att skapa tabellen

import pandas as pd

r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r

data = {'LÄntagaren':np.array(['Vasya', 'Fedya', 'Lesha']), 
        'Lön':np.array([120000,180000,210000]),
       'Betalning':np.array([3000,50000,70000])}

df = pd.DataFrame(data)

df['f(w,x)'] = w_0 + df['Lön']*w_1 + df['Betalning']*w_2

decision = []
for i in df['f(w,x)']:
    if i > 0:
        dec = 'GodkÀnd'
        decision.append(dec)
    else:
        dec = 'Avslag'
        decision.append(dec)
        
df['Beslut'] = decision

df[['LÄntagaren', 'Lön', 'Betalning', 'f(w,x)', 'Beslut']]

I enlighet med tabellens data vill Vasya, med en lön pĂ„ 120 000 kr, fĂ„ ett lĂ„n dĂ€r han kan betala 3 000 kr i mĂ„naden. Vi har faststĂ€llt att för att lĂ„net ska godkĂ€nnas mĂ„ste Vasya ha en lön som överstiger tre gĂ„nger betalningen och att han ska ha 5 000 kr kvar. Detta krav uppfyller Vasya: Mumsande logistisk regression. Det Ă„terstĂ„r till och med 106.000R. Trots att vi har minskat koefficienterna Mumsande logistisk regression med 25.000 gĂ„nger, fick vi samma resultat — lĂ„net kan godkĂ€nnas. Fedya kommer ocksĂ„ att fĂ„ ett lĂ„n, medan Lesha, trots att han tjĂ€nar mest, mĂ„ste dĂ€mpa sina begĂ€r. Mumsande logistisk regression LĂ„t oss rita en graf för detta fall.

Graf 2 "Klassificering av lÄntagare"

Kod för att rita grafen

Mumsande logistisk regression

salary = np.arange(60000,240000,20000) payment = (-w_0-w_1*salary)/w_2fig, axes = plt.subplots(figsize = (14,6), dpi = 80) plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$') plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'], 'o', color ='green', markersize = 12, label = 'Beslut - LÄn godkÀnt') plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'], 's', color = 'red', markersize = 12, label = 'Beslut - LÄn avslaget') plt.xlabel('Lön', size = 16) plt.ylabel('Betalning', size = 16) plt.legend(prop = {'size': 14}) plt.show()

SÄ vÄr linje, som byggs enligt funktionen

, separerar "dÄliga" lÄntagare frÄn "goda". De lÄntagare vars önskningar inte överensstÀmmer med möjligheterna ligger ovanför linjen (Lesha), medan de som kan Äterbetala lÄnet enligt parametrarna i vÄr modell ligger under linjen (Vasya och Fedya). Man kan sÀga att vÄr linje delar in lÄntagarna i tvÄ klasser. LÄt oss beteckna dem som: Mumsande logistisk regressionvi kommer att inkludera de lÄntagare som troligen kommer att Äterbetala lÄnet i klassen Mumsande logistisk regression vi kommer att inkludera de lÄntagare som troligen inte kommer att kunna Äterbetala lÄnet i klassen. Mumsande logistisk regression eller Mumsande logistisk regression LÄt oss generalisera slutsatserna frÄn detta enkla exempel. LÄt oss ta en punkt

och, genom att sÀtta in koordinaterna för punkten i motsvarande linjens ekvation Mumsande logistisk regression , övervÀga tre alternativ: Mumsande logistisk regressionOm punkten ligger under linjen och vi tillskriver den klassen

  1. , kommer funktionsvÀrdet Mumsande logistisk regressionatt vara positivt frÄn Mumsande logistisk regression . DÄ kan vi sÀga att sannolikheten för Äterbetalning av lÄnet ligger inom Mumsande logistisk regression till Mumsande logistisk regression. Ju högre funktionens vÀrde Àr, desto högre Àr sannolikheten. Mumsande logistisk regressionOm punkten ligger ovanför linjen och vi tillskriver den klassen
  2. , dÄ kommer funktionsvÀrdet att vara negativt frÄn Mumsande logistisk regression eller Mumsande logistisk regression. DÄ kommer vi att anse att sannolikheten för att Äterbetala skulden ligger inom Mumsande logistisk regression till Mumsande logistisk regressionoch ju större vÀrde funktionen har i absolutvÀrde, desto högre blir vÄr övertygelse. Mumsande logistisk regression Punkten ligger pÄ linjen, pÄ grÀnsen mellan de tvÄ klasserna. I sÄdana fall Àr funktionsvÀrdet
  3. lika med Mumsande logistisk regression och sannolikheten för Äterbetalning av lÄnet Àr Mumsande logistisk regression Nu, förestÀll dig att vi inte har tvÄ faktorer, utan dussintals, lÄntagare inte tre, utan tusentals. DÄ istÀllet för en linje har vi Mumsande logistisk regression.

Nu, förestĂ€ll oss att vi inte har tvĂ„ faktorer, utan tiotals, och att lĂ„ntagarna inte Ă€r tre, utan tusentals. DĂ„ istĂ€llet för en linje har vi m-omrĂ„de ytan och koefficienterna Mumsande logistisk regression de kommer inte att tas framsidan, utan berĂ€knas enligt alla regler, baserat pĂ„ insamlade data om lĂ„ntagare som har Ă„terbetalat eller inte Ă„terbetalat sina lĂ„n. Och faktiskt, mĂ€rk vĂ€l, vi vĂ€ljer nu lĂ„ntagare med redan kĂ€nda koefficienter Mumsande logistisk regression. I sjĂ€lva verket bestĂ„r modellen för logistisk regression just av att bestĂ€mma parametrarna Mumsande logistisk regression, dĂ€r vĂ€rdet av förlustfunktionen Logistic Loss strĂ€var efter att vara minimalt. Men hur vektorn Mumsande logistisk regression, berĂ€knas, fĂ„r vi veta i avsnitt 5 av artikeln. Tills dess Ă„tervĂ€nder vi till det utlovade landet — till vĂ„r banktjĂ€nsteman och tre av hans kunder.

Tack vare funktionen Mumsande logistisk regression vet vi vem som kan fĂ„ ett lĂ„n och vem som mĂ„ste nekas. Men med sĂ„dan information kan vi inte gĂ„ till direktören, eftersom vi vill ha sannolikheten för Ă„terbetalning för varje lĂ„ntagare. Vad göra? Svaret Ă€r enkelt — vi behöver pĂ„ nĂ„got sĂ€tt omvandla funktionen Mumsande logistisk regression, vars vĂ€rden ligger i intervallet Mumsande logistisk regression till en funktion vars vĂ€rden kommer att ligga i intervallet Mumsande logistisk regression. Och en sĂ„dan funktion existerar, den kallas logistisk responsfunktion eller invers-logit-transform. Bekanta er med:

Mumsande logistisk regression

LÄt oss se steg för steg hur man fÄr fram logistisk responsfunktion.Vi noterar att vi kommer att gÄ bakÄt, det vill sÀga vi förutsÀtter att vi kÀnner till sannolikhetsvÀrdet, som ligger inom grÀnserna frÄn Mumsande logistisk regression till Mumsande logistisk regression och dÀrefter kommer vi att "rulla upp" detta vÀrde över hela talomrÄdet frÄn Mumsande logistisk regression till Mumsande logistisk regression.

03. Vi ger fram logistisk responsfunktion

Steg 1. Överför sannolikhetsvĂ€rden till intervallet Mumsande logistisk regression

Under transformeringen av funktionen Mumsande logistisk regression pÄ logistisk responsfunktion Mumsande logistisk regression lÀmnar vi vÄr kreditanalytiker ifred för en stund och istÀllet gÄr vi till sportoddsen. Nej, sjÀlvklart kommer vi inte att placera nÄgot vad, allt som intresserar oss dÀr Àr betydelsen av uttrycket, till exempel oddset 4 till 1. Oddsen, kÀnda för alla som spelar pÄ vad, Àr förhÄllandet mellan "framgÄngar" och "misslyckanden". Ur sannolikhetsperspektiv Àr oddsen sannolikheten för att en hÀndelse intrÀffar dividerat med sannolikheten för att hÀndelsen inte intrÀffar. LÄt oss skriva formeln för oddset för att hÀndelsen intrÀffar Mumsande logistisk regression:

Mumsande logistisk regression

, dĂ€r Mumsande logistisk regression — sannolikheten för att hĂ€ndelsen intrĂ€ffar, Mumsande logistisk regression — sannolikheten för att hĂ€ndelsen INTE intrĂ€ffar

Till exempel, om sannolikheten för att en ung, stark och energisk hÀst vid namn "Vindpinne" ska slÄ den gamla och skröpliga damen "Matilda" i ett lopp Àr Mumsande logistisk regression, sÄ kommer "Vindpinne" ha en framgÄngschans pÄ Mumsande logistisk regression till Mumsande logistisk regression Mumsande logistisk regression och omvÀnt, om vi kÀnner till oddsen, blir det enkelt att berÀkna sannolikheten Mumsande logistisk regression:

Mumsande logistisk regression

SÄledes har vi lÀrt oss att "översÀtta" sannolikhet till odds, som kan anta vÀrden frÄn Mumsande logistisk regression till Mumsande logistisk regression. Vi tar ett steg till och lÀr oss att "översÀtta" sannolikhet till hela den numeriska linjen frÄn Mumsande logistisk regression till Mumsande logistisk regression.

Steg 2. Vi kommer att översÀtta sannolikhetsvÀrden till intervallet Mumsande logistisk regression

Detta steg Ă€r mycket enkelt — vi loggar oddsen med basen av talet Euler Mumsande logistisk regression och fĂ„r:

Mumsande logistisk regression

Nu vet vi att om Mumsande logistisk regression, sÄ kommer det att vara mycket enkelt att berÀkna vÀrdet Mumsande logistisk regression och dessutom bör det vara positivt: Mumsande logistisk regression. SÄ Àr det.

För nyfikenhetens skull kontrollerar vi, om Mumsande logistisk regression, dÄ förvÀntar vi oss att se ett negativt vÀrde Mumsande logistisk regression. Vi kontrollerar: Mumsande logistisk regression. Helt rÀtt.

Nu vet vi hur man översÀtter sannolikhetsvÀrdet frÄn Mumsande logistisk regression till Mumsande logistisk regression till hela den numeriska linjen frÄn Mumsande logistisk regression till Mumsande logistisk regression. I nÀsta steg gör vi allt tvÀrtom.

Men för nu, lÄt oss notera att enligt logaritmeringsreglerna, om vi kÀnner till funktionens vÀrde Mumsande logistisk regression, kan vi berÀkna oddsen:

Mumsande logistisk regression

Denna metod för att bestÀmma oddsen kommer att vara anvÀndbar i nÀsta steg.

Steg 3. Vi kommer att hÀrleda formeln för att bestÀmma Mumsande logistisk regression

SĂ„, vi har lĂ€rt oss att, med veten Mumsande logistisk regression, hitta vĂ€rdena för funktionen Mumsande logistisk regression. Men i verkligheten behöver vi allt tvĂ€rtom — att veta vĂ€rdet Mumsande logistisk regression för att fĂ„ Mumsande logistisk regression. För detta vĂ€nder vi oss till begreppet inversa oddset, enligt vilket:

Mumsande logistisk regression

I artikeln kommer vi inte att hÀrleda den ovan nÀmnda formeln, men vi kommer att kontrollera med siffrorna frÄn exemplet ovan. Vi vet att med odds lika med 4 till 1 (Mumsande logistisk regression), Àr sannolikheten för att hÀndelsen intrÀffar 0,8 (Mumsande logistisk regression). Vi gör en substitution: Mumsande logistisk regression. Detta stÀmmer överens med vÄra tidigare berÀkningar. LÄt oss gÄ vidare.

I det föregÄende steget kom vi fram till att Mumsande logistisk regression, vilket innebÀr att vi kan göra en substitution i den inversa oddset. Vi fÄr:

Mumsande logistisk regression

Vi delar sÄvÀl tÀljaren som nÀmnaren med Mumsande logistisk regression, dÄ:

Mumsande logistisk regression

För att vara pÄ den sÀkra sidan, för att sÀkerstÀlla att vi inte har gjort nÄgot misstag, gör vi en liten kontroll till. I steg 2 faststÀllde vi att Mumsande logistisk regression . DÄ, genom att ersÀtta vÀrdet Mumsande logistisk regressioni den logistiska Äterkopplingsfunktionen, förvÀntar vi oss att fÄ Mumsande logistisk regression . Vi sÀtter in och fÄr: Mumsande logistisk regression. Mumsande logistisk regression

Grattis, kÀra lÀsare! Vi har just utvecklat och testat logit-funktionen. LÄt oss ta en titt pÄ grafen för funktionen.

Graf 3 "Logit-funktionen"

Mumsande logistisk regression

salary = np.arange(60000,240000,20000) payment = (-w_0-w_1*salary)/w_2fig, axes = plt.subplots(figsize = (14,6), dpi = 80) plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$') plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'], 'o', color ='green', markersize = 12, label = 'Beslut - LÄn godkÀnt') plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'], 's', color = 'red', markersize = 12, label = 'Beslut - LÄn avslaget') plt.xlabel('Lön', size = 16) plt.ylabel('Betalning', size = 16) plt.legend(prop = {'size': 14}) plt.show()

import math

def logit(f):
    return 1/(1 + math.exp(-f))

f = np.arange(-7, 7, 0.05)
p = []

for i in f:
    p.append(logit(i))

fig, axes = plt.subplots(figsize=(14, 6), dpi=80)
plt.plot(f, p, color='grey', label='$ 1 / (1 + e^{-w^Tx_i})$')
plt.xlabel('$f(w, x_i) = w^Tx_i$', size=16)
plt.ylabel('$p_{i+}$', size=16)
plt.legend(prop={'size': 14})
plt.show()

I litteraturen kan denna funktion ocksÄ kallas sigmoidfunktion. Det framgÄr tydligt av grafen att den största förÀndringen av sannolikheten för att ett objekt tillhör en klass sker över ett relativt smalt intervall Mumsande logistisk regression, nÄgonstans mellan Mumsande logistisk regression till Mumsande logistisk regression.

Jag föreslĂ„r att vi Ă„tergĂ„r till vĂ„r kreditanalytiker och hjĂ€lper honom att berĂ€kna sannolikheten för kreditĂ„terbetalning, annars riskerar han att gĂ„ miste om sin premie 🙂

Tabell 2 "Potentiella lÄntagare"

Mumsande logistisk regression

Kod för att skapa tabellen

proba = []
for i in df['f(w, x)']:
    proba.append(round(logit(i), 2))
    
df['Sannolikhet'] = proba

df[['LÄntagaren', 'Lön', 'Betalning', 'f(w,x)', 'Beslut', 'Sannolikhet']]

SÄ, vi har faststÀllt sannolikheten för kreditÄterbetalning. Generellt sett ser det ut att vara rimligt.

Verkligen, sannolikheten för att Vasja med en lön pÄ 120.000R kan betala 3.000R mÄnadsvis till banken, ligger nÀra 100%. För övrigt bör vi förstÄ att banken kan bevilja ett lÄn till Ljoƥa om bankens policy tillÄter, till exempel att lÄna ut till kunder med en Äterbetalningssannolikhet över 0.3. I sÄdana fall bildar banken en större reserv för potentiella förluster.

Det bör ocksÄ noteras att förhÄllandet mellan lön och betalning pÄ minst 3 och med en sÀkerhetsmarginal pÄ 5.000R togs frÄn luften. SÄ vi kunde inte anvÀnda vikterna i sin ursprungliga form. Mumsande logistisk regression. Vi var tvungna att kraftigt minska koefficienterna och i dessa fall delade vi varje koefficient med 25.000, vilket i grunden anpassade resultatet. Men detta gjordes medvetet för att förenkla förstÄelsen av materialet i det inledande skedet. I verkligheten behöver vi inte hitta pÄ och justera koefficienter utan faktiskt finna dem. I de följande avsnitten av artikeln kommer vi att hÀrleda ekvationer för att bestÀmma parametrarna. Mumsande logistisk regression.

04. Metod för minsta kvadrat i bestÀmning av viktvektorn Mumsande logistisk regression i logit-funktionen

Vi kÀnner redan till en sÄdan metod för att justera viktvektorn. Mumsande logistisk regression, som metoden för minsta kvadrat (MKM) och faktiskt, varför skulle vi dÄ inte anvÀnda det i uppgifter för binÀr klassificering? Verkligen, ingenting hindrar oss frÄn att anvÀnda MNLK, men just denna metod inom klassificeringsuppgifter ger mindre precisa resultat Àn Logistic Loss. Det finns en teoretisk grund för detta. LÄt oss först titta pÄ ett enkelt exempel.

Anta att vĂ„ra modeller (som anvĂ€nder MSE och Logistic Loss) redan har börjat optimera viktvektorn Mumsande logistisk regression och vi har avbrutit berĂ€kningen vid nĂ„got steg. Det spelar ingen roll om det Ă€r i mitten, i slutet eller i början, det viktiga Ă€r att vi redan har nĂ„gra vĂ€rden i viktvektorn och lĂ„t oss anta att vid detta steg har viktvektorerna Mumsande logistisk regression för bĂ„da modellerna inga skillnader. DĂ„ tar vi de erhĂ„llna vikterna och sĂ€tter in dem i logistisk responsfunktion (Mumsande logistisk regression) för nĂ„got objekt som tillhör klassen Mumsande logistisk regression. Vi undersöker tvĂ„ fall, nĂ€r vĂ„r modell enligt den optimerade viktvektorn gör ett stort misstag och Ă„ sin sida — modellen Ă€r mycket sĂ€ker pĂ„ att objektet tillhör klassen Mumsande logistisk regression. LĂ„t oss se vilka straff som kommer att "utfĂ€rdas" vid anvĂ€ndning av MNLK och Logistic Loss.

Koden för att berÀkna straffen beroende pÄ den anvÀnda förlustfunktionen

# Đșласс ĐŸĐ±ŃŠĐ”Đșта
y = 1
# ĐČĐ”Ń€ĐŸŃŃ‚ĐœĐŸŃŃ‚ŃŒ ĐŸŃ‚ĐœĐ”ŃĐ”ĐœĐžŃ ĐŸĐ±ŃŠĐ”Đșта Đș Đșлассу ĐČ ŃĐŸĐŸŃ‚ĐČДтстĐČОО с ĐżĐ°Ń€Đ°ĐŒĐ”Ń‚Ń€Đ°ĐŒĐž w
proba_1 = 0.01

MSE_1 = (y - proba_1)**2
print 'йтраф MSE про ĐłŃ€ŃƒĐ±ĐŸĐč ĐŸŃˆĐžĐ±ĐșĐ” =', MSE_1

# ĐœĐ°ĐżĐžŃˆĐ”ĐŒ Ń„ŃƒĐœĐșцою ĐŽĐ»Ń ĐČŃ‹Ń‡ĐžŃĐ»Đ”ĐœĐžŃ f(w,x) про ОзĐČĐ”ŃŃ‚ĐœĐŸĐč ĐČĐ”Ń€ĐŸŃŃ‚ĐœĐŸŃŃ‚Đž ĐŸŃ‚ĐœĐ”ŃĐ”ĐœĐžŃ ĐŸĐ±ŃŠĐ”Đșта Đș Đșлассу +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
    return math.log(proba/(1-proba)) 

LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'йтраф Log Loss про ĐłŃ€ŃƒĐ±ĐŸĐč ĐŸŃˆĐžĐ±ĐșĐ” =', LogLoss_1

proba_2 = 0.99

MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))

print '**************************************************************'
print 'йтраф MSE про ŃĐžĐ»ŃŒĐœĐŸĐč уĐČĐ”Ń€Đ”ĐœĐœĐŸŃŃ‚Đž =', MSE_2
print 'йтраф Log Loss про ŃĐžĐ»ŃŒĐœĐŸĐč уĐČĐ”Ń€Đ”ĐœĐœĐŸŃŃ‚Đž =', LogLoss_2

Fallet med ett grovt misstag — modellen klassificerar objektet som tillhörande klassen Mumsande logistisk regression med en sannolikhet pĂ„ 0,01

Straffet vid anvÀndning av MNLK blir:
Mumsande logistisk regression

Straffet vid anvÀndning av Logistic Loss blir:
Mumsande logistisk regression

Fallet med stark sĂ€kerhet — modellen klassificerar objektet som tillhörande klassen Mumsande logistisk regression med en sannolikhet pĂ„ 0,99

Straffet vid anvÀndning av MNLK blir:
Mumsande logistisk regression

Straffet vid anvÀndning av Logistic Loss blir:
Mumsande logistisk regression

Detta exempel illustrerar tydligt att vid grova misstag straffar förlustfunktionen Log Loss modellen betydligt hÄrdare Àn MSE. LÄt oss nu förstÄ vilka teoretiska förutsÀttningar som ligger till grund för anvÀndningen av förlustfunktionen Log Loss i klassificeringsuppgifter.

05. Metod för maximal sannolikhet och logistisk regression

Som lovat i början Ă€r artikeln full av enkla exempel. HĂ€r Ă€r ytterligare ett exempel med gamla bekanta — banklĂ„ntagare: Vasia, Fedja och Ljosa.

För sÀkerhets skull, innan vi utvecklar exemplet, pÄminner jag om att vi i verkligheten arbetar med en trÀningsuppsÀttning av tusentals eller miljoner objekt med tiotals eller hundratals attribut. Men hÀr Àr siffrorna valda sÄ att de lÀtt kan förstÄs av en nybörjare inom datavetenskap.

LÄt oss ÄtervÀnda till exemplet. Anta att bankdirektören har beslutat att bevilja lÄn till alla som behöver, trots att algoritmen föreslog att inte bevilja det till Lesja. Tiden har gÄtt och vi har fÄtt veta vem av de tre hjÀltarna som har Äterbetalat lÄnet och vem som inte har det. Som förvÀntat: Vasilij och Fedja Äterbetalade lÄnet, medan Lesja inte gjorde det. LÄt oss nu tÀnka oss att detta resultat blir vÄr nya trÀningsdata, och att vi pÄ nÄgot sÀtt har förlorat all information om faktorerna som pÄverkar sannolikheten för Äterbetalning av lÄnet (lÄntagarens lön, storleken pÄ mÄnadskostnaden). DÄ kan vi intuitivt anta att var tredje lÄntagare inte betalar tillbaka lÄnet till banken, eller med andra ord, sannolikheten för Äterbetalning av lÄnet av nÀsta lÄntagare. Mumsande logistisk regression. Denna intuitiva hypotes har teoretisk bekrÀftelse och bygger pÄ metoden för maximal sannolikhet, som ofta kallas maximal sannolikhetsprincipen..

För att börja, lÄt oss bekanta oss med begreppen.

Sannolikheten för urvalet Àr sannolikheten att fÄ just detta urval, exakt dessa observationer/resultat, det vill sÀga produkten av sannolikheterna för att fÄ vart och ett av resultaten i urvalet (till exempel om lÄnet Àr Äterbetalat eller inte av Vasilij, Fedja och Lesja samtidigt).

Sannolikhetsfunktionen kopplar sannolikheten för urvalet till vÀrdena av distributionsparametrarna.

I vÄrt fall representerar trÀningsurvalet ett generaliserat Bernoullischema, dÀr den slumpmÀssiga variabeln antar endast tvÄ vÀrden: Mumsande logistisk regression eller Mumsande logistisk regression. DÀrför kan sannolikheten för urvalet skrivas som en sannolikhetsfunktion av parametern Mumsande logistisk regression pÄ följande sÀtt:

Mumsande logistisk regression
Mumsande logistisk regression

Den ovanstÄende uppsÀttningen kan tolkas sÄ hÀr. Den sammantagna sannolikheten för att Vasilij och Fedja kommer att Äterbetala lÄnet Àr Mumsande logistisk regression, sannolikheten att Lesja INTE Äterbetalar lÄnet Àr Mumsande logistisk regression (eftersom det faktiskt handlade om att INTE Äterbetala lÄnet), dÀrför Àr den gemensamma sannolikheten för alla tre hÀndelser lika med Mumsande logistisk regression.

Metoden för maximalt sannolikhet - detta Àr metoden för att uppskatta en okÀnd parameter genom maximering av sannolikhetsfunktion. I vÄrt fall behöver vi hitta ett sÄdant vÀrde Mumsande logistisk regression, dÀr Mumsande logistisk regression nÄr sitt maximum.

Var kommer egentligen idĂ©n frĂ„n – att söka efter vĂ€rdet av en okĂ€nd parameter för vilken sannolikhetsfunktionen nĂ„r sitt maximum? IdĂ©n har sitt ursprung i uppfattningen om att ett urval Ă€r den enda tillgĂ€ngliga kĂ€llan till kunskap om populationen. Allt vi vet om populationen framgĂ„r av urvalet. DĂ€rför kan vi sĂ€ga att urvalet Ă€r den mest exakta spegelbilden av populationen som Ă€r tillgĂ€nglig för oss. DĂ€rmed behöver vi hitta en parameter dĂ€r det existerande urvalet blir mest sannolikt.

Uppenbarligen har vi att göra med ett optimeringsproblem dĂ€r vi behöver hitta extrempunkten för en funktion. För att hitta extrempunkten krĂ€vs det att vi betraktar det första ordningens villkoret, det vill sĂ€ga att sĂ€tta derivatan av funktionen lika med noll och lösa ekvationen för den okĂ€nda parametern. Dock kan sökandet efter derivatan av produkten av mĂ„nga faktorer bli en tidskrĂ€vande uppgift, för att undvika detta finns det en speciell teknik – att gĂ„ till logaritmen. sannolikhetsfunktion. Varför Ă€r en sĂ„dan övergĂ„ng möjlig? LĂ„t oss notera att vi inte söker extrema vĂ€rdet av funktionenMumsande logistisk regression, utan extrempunkten, det vill sĂ€ga det vĂ€rde av den okĂ€nda parametern Mumsande logistisk regression, dĂ€r Mumsande logistisk regression nĂ„r sitt maximum. Vid övergĂ„ngen till logaritmen förĂ€ndras inte extrempunkten (Ă€ven om sjĂ€lva extremvĂ€rdet kommer att skilja sig), eftersom logaritmen Ă€r en monoton funktion.

LÄt oss, i enlighet med det som tidigare sagts, fortsÀtta utveckla vÄrt exempel med lÄn frÄn Vasilij, Fedja och Ljoƥa. Först gÄr vi till logaritmen av sannolikhetsfunktionen.:

Mumsande logistisk regression

Nu kan vi enkelt derivera uttrycket med avseende pÄ Mumsande logistisk regression:

Mumsande logistisk regression

Och slutligen, lĂ„t oss betrakta det första ordningens villkoret – sĂ€tta derivatan av funktionen lika med noll:

Mumsande logistisk regression

PÄ sÄ sÀtt har vÄr intuitiva bedömning av sannolikheten för Äterbetalning av lÄn Mumsande logistisk regression teoretiskt motiverats.

UtmÀrkt, men vad ska vi nu göra med sÄdan information? Om vi antar att varje tredje lÄntagare inte returnerar pengar till banken, kommer denna oundvikligen att gÄ i konkurs. SÄ Àr det, men vid bedömningen av sannolikheten för Äterbetalning av lÄn lika med Mumsande logistisk regression Vi har inte tagit hÀnsyn till de faktorer som pÄverkar lÄneÄterbetalningen: lÄntagarens lön och storleken pÄ den mÄnatliga betalningen. LÄt oss minnas att vi tidigare berÀknade sannolikheten för att varje kund Äterbetalar lÄnet med hÀnsyn till just dessa faktorer. Det Àr logiskt att vÄra sannolikheter dÀrför avviker frÄn konstantvÀrdet som Àr lika med Mumsande logistisk regression.

LÄt oss definiera sannolikheten för urvalen:

Kod för att berÀkna sannolikheterna för urvalen

from functools import reduce

def likelihood(y,p):
    line_true_proba = []
    for i in range(len(y)):
        ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
        line_true_proba.append(ltp_i)
    likelihood = []
    return reduce(lambda a, b: a*b, line_true_proba)
        
    
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]


print 'Sannolikheten för urvalet vid konstant vÀrde p=2/3:', round(likelihood(y,p_const),3)

print '****************************************************************************************************'

print 'Sannolikheten för urvalet vid berÀknat vÀrde p:', round(likelihood(y,p_log_response),3)

Sannolikheten för urvalet vid konstant vÀrde Mumsande logistisk regression:

Mumsande logistisk regression

Sannolikheten för urvalet vid berÀkning av lÄneÄterbetalning med hÀnsyn till faktorer Mumsande logistisk regression:

Mumsande logistisk regression
Mumsande logistisk regression

Sannolikheten för urvalet med sannolikheten berÀknad beroende pÄ faktorer visade sig vara högre Àn sannolikheten vid konstant vÀrde. Vad betyder det? Det betyder att kunskap om faktorerna har möjliggjort en mer exakt anpassning av sannolikheten för lÄneÄterbetalning för varje kund. DÀrför, vid beviljande av nÀsta lÄn, Àr det mer korrekt att anvÀnda modellen för att bedöma sannolikheten för Äterbetalning av lÄn, som föreslogs i slutet av avsnitt 3 av artikeln.

Men dÄ, om vi behöver maximera sannolikhetsfunktionen för urvalet, varför inte anvÀnda nÄgon algoritm som skulle ge sannolikheter för Vasia, Fedya och Lesha, till exempel, lika med 0,99, 0,99 och 0,01 respektive. Kanske skulle en sÄdan algoritm fungera bra pÄ trÀningsuppsÀttningen, eftersom den skulle nÀrma sig vÀrdet pÄ sannolikheten för urvalet. Mumsande logistisk regression, men för det första kommer en sÄdan algoritm troligtvis ha svÄrigheter med förmÄgan att generalisera, för det andra kommer denna algoritm definitivt inte att vara linjÀr. Och om metoder för att motverka överanpassning (lika svag generaliseringsförmÄga) uppenbarligen inte ingÄr i planen för denna artikel, lÄt oss gÄ in mer pÄ det andra punkten. För detta rÀcker det att svara pÄ en enkel frÄga. Kan sannolikheten för att Äterbetala lÄnet för Vasja och Fedja vara densamma med hÀnsyn till de faktorer vi kÀnner till? Ur ett sunt förnufts perspektiv, sjÀlvklart kan det inte vara sÄ. SÄ nÀr det kommer till Äterbetalningen av lÄnet kommer Vasja att ge 2,5% av sin lön per mÄnad, medan Fedja nÀstan ger 27,8%. PÄ diagram 2 Mumsande logistisk regression Klassificering av kunder Mumsande logistisk regressionser vi att Vasja ligger betydligt lÀngre frÄn linjen som delar klasserna Àn Fedja. Slutligen vet vi att funktionen Mumsande logistisk regression för Vasja och Fedja antar olika vÀrden: 4,24 för Vasja och 1,0 för Fedja. Om Fedja till exempel skulle tjÀna betydligt mer eller be om ett mindre lÄn, skulle sannolikheterna för Äterbetalning av lÄn för Vasja och Fedja vara liknande. Med andra ord kan du inte luras med en linjÀr beroende. Och om vi verkligen hade rÀknat ut koefficienterna Mumsande logistisk regression , och inte tagit dem ur luften, skulle vi kunna pÄstÄ att vÄra vÀrden

bĂ€st bedömer sannolikheten för att varje lĂ„ntagare Ă„terbetalar lĂ„net, men eftersom vi har kommit överens om att bestĂ€mma koefficienterna Mumsande logistisk regressionhar gjorts enligt alla regler, sĂ„ kommer vi att rĂ€kna med att vĂ„ra koefficienter ger den bĂ€sta bedömningen av sannolikheten 🙂

Men vi har avvikit frÄn Àmnet. I detta avsnitt behöver vi förstÄ hur viktvektorn bestÀms Mumsande logistisk regression:

, som Àr nödvÀndig för att bedöma sannolikheten för Äterbetalning av lÄnet för varje lÄntagare. linjÀr regressionsfunktion Sammanfattningsvis, med vilket arsenaler vi gÄr in i sökandet efter koefficienterna Mumsande logistisk regression1. Vi antar att relationen mellan den beroende variabeln (förutsÀgelsevÀrdet) och faktorn som pÄverkar resultatet Àr linjÀr. Av detta skÀl tillÀmpas Mumsande logistisk regression och Mumsande logistisk regression eller Mumsande logistisk regression typ Mumsande logistisk regression.

, vars linje delar objekten (kunderna) i klasser (kunder, som kan Äterbetala lÄnet och de som inte kan). I vÄrt fall har ekvationen formen Sammanfattningsvis, med vilket arsenaler vi gÄr in i sökandet efter koefficienterna Mumsande logistisk regression 2. Vi anvÀnder Mumsande logistisk regression.

funktionen för invers logit-transformering Bernoullische Modelle, det vill sĂ€ga för varje objekt genereras en slumpvariabel som med en sannolikhet Mumsande logistisk regression (sin egen för varje objekt) antar vĂ€rdet 1 och med en sannolikhet Mumsande logistisk regression – 0.

4. Vi vet att vi behöver maximera sannolikhetsfunktionen för urvalet med hÀnsyn till de accepterade faktorerna sÄ att det givna urvalet blir mest troligt. Med andra ord, vi behöver vÀlja sÄdana parametrar som gör urvalet mest troligt. I vÄrt fall Àr den parameter vi justerar sannolikheten för att lÄnet betalas tillbaka Mumsande logistisk regression, vilket i sin tur beror pÄ okÀnda koefficienter Mumsande logistisk regression. Det betyder att vi behöver hitta en sÄdan viktsvektor Mumsande logistisk regression, dÀr sannolikheten för urvalet blir maximal.

5. Vi vet att för att maximera sannolikhetsfunktionen för urvalet kan anvÀndas metoden för maximalt sannolikhet. Och vi kÀnner till alla smarta knep för att arbeta med denna metod.

SĂ„ hĂ€r blir det en komplex lösning 🙂

Och nu ska vi pÄminna oss om att vi i början av artikeln ville hÀrleda tvÄ typer av förlustfunktioner Logistic Loss beroende pÄ hur objekts klasser betecknas. Det Àr sÄ det blivit att i klassificeringsuppgifter med tvÄ klasser, klasserna betecknas som Mumsande logistisk regression och Mumsande logistisk regression eller Mumsande logistisk regression. Beroende pÄ beteckningen, kommer motsvarande förlustfunktion att bli utgÄende.

Fall 1. Klassificering av objekt pÄ Mumsande logistisk regression och Mumsande logistisk regression

Tidigare, vid berÀkning av sannolikheten för urvalet, dÀr sannolikheten för att lÄnet tas tillbaka berÀknades utifrÄn faktorer och givna koefficienter Mumsande logistisk regression, tillÀmpade vi formeln:

Mumsande logistisk regression

I sjĂ€lva verket Mumsande logistisk regression — det Ă€r vĂ€rdet av logitfunktionen Mumsande logistisk regression med den angivna viktsvektorn Mumsande logistisk regression

DÄ finns det inget som hindrar oss frÄn att skriva sannolikhetsfunktionen för urvalet sÄ hÀr:

Mumsande logistisk regression

Det hÀnder att vissa nybörjare inom analys kan ha svÄrt att direkt förstÄ hur denna funktion fungerar. LÄt oss titta pÄ 4 korta exempel som alla klargör:

1. Om Mumsande logistisk regression (dvs. enligt trÀningsurvalet tillhör objektet klass +1), medan vÄr algoritm Mumsande logistisk regression berÀknar sannolikheten för att objektet tillhör klassen Mumsande logistisk regression till 0,9, sÄ den hÀr delen av sannolikheten för urvalet kommer att berÀknas sÄ hÀr:

Mumsande logistisk regression

2. Om Mumsande logistisk regression, och Mumsande logistisk regression, sÄ berÀkningen blir sÄ hÀr:

Mumsande logistisk regression

3. Om Mumsande logistisk regression, och Mumsande logistisk regression, sÄ berÀkningen blir sÄ hÀr:

Mumsande logistisk regression

4. Om Mumsande logistisk regression, och Mumsande logistisk regression, sÄ berÀkningen blir sÄ hÀr:

Mumsande logistisk regression

Det Ă€r uppenbart att sannolikhetsfunktionen maximalt kommer att uppnĂ„s i fallen 1 och 3 eller i allmĂ€nhet — vid korrekt gissade sannolikhetsvĂ€rden för att tilldela objektet till klassen Mumsande logistisk regression.

Eftersom vid bestÀmningen av sannolikheten att tilldela objektet till klassen Mumsande logistisk regression vi kÀnner inte till nÄgra koefficienter Mumsande logistisk regression, sÄ vi kommer att leta efter dem. Som nÀmnt ovan Àr detta en optimeringsuppgift dÀr vi först behöver hitta derivatan av sannolikhetsfunktionen med avseende pÄ viktvektorn Mumsande logistisk regression. Men innan dess Àr det vÀrt att förenkla uppgiften: vi kommer att söka derivatan av logaritmen sannolikhetsfunktion.

Mumsande logistisk regression

Varför efter logaritmering, i logistisk felfunktion, bytte vi tecken frÄn Mumsande logistisk regression till Mumsande logistisk regression. Det Àr enkelt, eftersom det i uppgifter om modellutvÀrdering Àr vanligt att minimera funktionsvÀrdet, sÄ vi multiplicerade den högra delen av uttrycket med Mumsande logistisk regression och istÀllet för maximisering, minimerar vi nu funktionen.

Nu har vi, inför era ögon, genomlidit funktionen för förlust — Logistic Loss för trĂ€ningsdatasetet med tvĂ„ klasser: Mumsande logistisk regression och Mumsande logistisk regression.

Nu, för att hitta koefficienterna, behöver vi bara hitta derivatan logistisk felfunktion och vidare, med hjÀlp av numeriska optimeringsmetoder som gradientnedstigning eller stokastisk gradientnedstigning, justera till de mest optimala koefficienterna Mumsande logistisk regression. Men med tanke pÄ den redan stora mÀngden artikel, föreslÄs det att utföra differentiering sjÀlv, eller kanske detta blir Àmnet för nÀsta artikel med mer matematik utan sÄ mÄnga detaljerade exempel.

Fall 2. Klassificering av objekt pÄ Mumsande logistisk regression och Mumsande logistisk regression

TillvĂ€gagĂ„ngssĂ€ttet hĂ€r kommer att vara detsamma som med klasserna Mumsande logistisk regression och Mumsande logistisk regression, men sjĂ€lva vĂ€gen till att hĂ€rleda förlustfunktionen Logistic Loss, kommer att vara mer invecklad. LĂ„t oss börja. Vi kommer att anvĂ€nda operatören «om
, dÄ ». Det vill sĂ€ga, om Mumsande logistisk regression-te objektet hör till klassen Mumsande logistisk regression, sĂ„ för att berĂ€kna sannolikheten för urvalet anvĂ€nder vi sannolikhet Mumsande logistisk regression, om objektet hör till klassen Mumsande logistisk regression, sĂ„ sĂ€tter vi in i sannolikheten Mumsande logistisk regression. SĂ„ hĂ€r ser sannolikhetsfunktionen ut:

Mumsande logistisk regression

LÄt oss förklara hur detta fungerar. Vi övervÀger 4 fall:

1. Om Mumsande logistisk regression och Mumsande logistisk regression, dÄ kommer sannolikheten för urvalet att gÄ till Mumsande logistisk regression

2. Om Mumsande logistisk regression och Mumsande logistisk regression, dÄ kommer sannolikheten för urvalet att gÄ till Mumsande logistisk regression

3. Om Mumsande logistisk regression och Mumsande logistisk regression, dÄ kommer sannolikheten för urvalet att gÄ till Mumsande logistisk regression

4. Om Mumsande logistisk regression och Mumsande logistisk regression, dÄ kommer sannolikheten för urvalet att gÄ till Mumsande logistisk regression

Det Àr uppenbart att i fall 1 och 3, nÀr sannolikheterna var korrekt definierade av algoritmen, sannolikhetsfunktionen kommer att maximeras, dvs. detta var exakt vad vi ville uppnÄ. Men sÄdan ansats Àr ganska otymplig och vidare kommer vi att granska en mer kompakt skrift. Men först, logaritmera sannolikhetsfunktionen med teckenbyte, eftersom vi nu kommer att minimera den.

Mumsande logistisk regression

Vi sÀtter istÀllet for Mumsande logistisk regression uttryck Mumsande logistisk regression:

Mumsande logistisk regression

LÄt oss förenkla det högra ledet under logaritmen med hjÀlp av enkla aritmetiska metoder och fÄ:

Mumsande logistisk regression

Och nu Ă€r det dags att bli av med operatören «om
, dÄ ». Observera att nĂ€r ett objekt Mumsande logistisk regression hör till klassen Mumsande logistisk regression, dĂ„ i uttrycket under logaritmen, i nĂ€mnaren, Mumsande logistisk regression upphöjs till en exponent Mumsande logistisk regression, om objektet hör till klassen Mumsande logistisk regression, dĂ„ $e$ upphöjs till en exponent Mumsande logistisk regression. Följaktligen kan exponentnotationen förenklas — vi kan kombinera bĂ„da fallen i ett: Mumsande logistisk regression. DĂ„ funktionen för logistisk förlust att ta formen:

Mumsande logistisk regression

Enligt logaritmeringsreglerna vÀnder vi brÄket och tar ut tecknet "Mumsande logistisk regression" (minus) ur logaritmen, och fÄr:

Mumsande logistisk regression

HÀr Àr funktionen för förlust logistic Loss, som anvÀnds i trÀningsdataset med objekt som hör till klasser: Mumsande logistisk regression och Mumsande logistisk regression.

Ja, jag tar farvÀl hÀr och vi avslutar artikeln.

Mumsande logistisk regression Författarens föregĂ„ende arbete — "SĂ€tter linjĂ€r regressions ekvation i matrisform"

Kompletterande material

1. Litteratur

1) TillĂ€mpad regressionsanalys / N. Draper, G. Smith – 2:a uppl. – Moskva: Finanser och statistik, 1986 (översĂ€ttning frĂ„n engelska)

2) Sannolikhetsteori och matematisk statistik / V.E. Gmurman — 9:e uppl. — Moskva: Högskolan, 2003

3) Sannolikhetsteori / N.I. Tjernova — Novosibirsk: Novosibirsk statliga universitet, 2007

4) AffĂ€rsanalys: frĂ„n data till kunskap / Paklin N.B., Oreshkov V.I. — 2:a uppl. — Sankt Petersburg: Piter, 2013

5) Data Science frĂ„n grunden / Joel Grus — Sankt Petersburg: BHV Petersburg, 2017

6) Praktisk statistik för Data Science-specialister / P. Bruce, E. Bruce — Sankt Petersburg: BHV Petersburg, 2018

2. FörelÀsningar, kurser (video)

1) Essensen av maximum likelihood-metoden, Boris Demechev

2) Maximum likelihood-metoden i kontinuerligt fall, Boris Demechev

3) Logistisk regression. Öppen kurs ODS, Yury Kashnitsky

4) FörelÀsning 4, Evgeny Sokolov (frÄn 47:e minuten i videon)

5) Logistisk regression, Vyacheslav Vorontsov

3. InternetkÀllor

1) LineÀra modeller för klassificering och regression

2) Hur man enkelt förstÄr logistisk regression

3) Logistisk felfunktion

4) Oberoende försök och Bernoullis formel

5) Ballad om MMP

6) Metoden för maximalt sannolikhet

7) Formler och egenskaper för logaritmer

8) Varför siffran Mumsande logistisk regression?

9) LinjÀr klassificerare

KĂ€lla: habr.com

Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar đŸ”„ Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar | ProHoster