á€áá±á¬ááºážáá«ážááœááºá á¡ááœááºááŒá±á¬ááºážááŒááºážááá¯ááºáᬠáá®á¡áá¯áá®ááá¯ááºáᬠááœááºáá»ááºááŸá¯áá»á¬ážááᯠááœá²ááŒááºážá
áááºááŒá¬áá«áááºá linear regression áá¯ááºáá±á¬ááºáá»ááºáá»á¬áž в inverse logit transformation function (áá
áºáááºážá¡á¬ážááŒáá·áº logistic response function áá¯áá±á«áºáááº). ááá¯á·áá±á¬áẠáááºáááºááá¯ááºááᯠá¡áá¯á¶ážááŒá¯áááºá á¡áá»á¬ážáá¯á¶ážááŒá
áºááá¯ááºááŒá±áááºážáááºážáá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±áž áá¯ááºáá¯ááºááŸá¯áá¯á¶á
á¶ááŸáá·áºá¡áá®á áá»áœááºá¯ááºááá¯á·ááẠáá¯á¶ážááŸá¯á¶ážááŸá¯áá¯ááºáá±á¬ááºáá»ááºááᯠááá°áááºá áá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯á¶ážááŸá¯á¶ážááŸá¯ááá¯á·ááá¯áẠáá
áºáááºážááá¯ááá±á¬áºá áá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±áž áá¯ááºáá¯ááºááŸá¯áá¯á¶á
á¶ááœáẠweight vector á parameters áá»á¬ážááᯠááœá±ážáá»ááºáá¬ážááá·áº function ááᯠáááºááŸááºáá«áááºá .
áá±á¬ááºážáá«ážáá±á¬ááºááŒá±á¬ááºáž-
- ááááºážááŸááºááŸá áºáá¯ááŒá¬ážááŸá áá»ááºážááŒá±á¬ááºážáááºááœááºááŸá¯ááᯠááŒááºáá¯ááºááŒáá·áºáá¡á±á¬ááº
- á¡ááœááºáá°ážááŒá±á¬ááºážáá±áž ááá¯á¡ááºáá»ááºááᯠáá±á¬áºáá¯ááºááŒáá«á áá¯á· linear regression áá¯ááºáá±á¬ááºáá»ááºáá»á¬áž в áá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯á¶á·ááŒááºááŸá¯áá¯ááºáá±á¬ááºáá»ááº
- á¡ááœááºááŒá±á¬ááºážááŒááºážááŸáá·áº áá¯ááºáá±ážááŒááºážááá¯á·ááᯠáá±á¬ááºááœááºááŒáá«á áá¯á· áá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯á¶á·ááŒááºááŸá¯áá¯ááºáá±á¬ááºáá»ááº
- áá±á¬ááºáá»á¬ážááᯠááœá±ážáá»ááºáá¬ááœáẠá¡áá²áá¯á¶áž á áá¯áááºážáá¯á¶áááºážáááºážááẠá¡áááºááŒá±á¬áá·áº ááá±á¬ááºážááŒá±á¬ááºáž áá¬ážáááºááẠááŒáá¯ážá á¬ážááŒáá«á áá¯á· áá¯ááºáááºážáá±á¬ááºáᬠáá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯á¶ážááŸá¯á¶ážááŸá¯
- áá»áœááºáá±á¬áºááᯠá¡áá»á¬ážáá¯á¶ážááŒá
áºááá¯ááºááŒá±áááºážáááºáž áá¯á¶ážááŒááºááá¯á· ááá·áºáááºááœá±ážáá»ááºááŸá¯áá¯ááºáá±á¬ááºáá»ááºáá»á¬áž :
á .áá Case 5.1: áá¯ááºáá±á¬ááºáá»áẠáá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯á¶ážááŸá¯á¶ážááŸá¯ á¡áááºážá¡á á¬áž áááºááŸááºáá»ááºáá»á¬ážááŸááá±á¬ á¡áá¬ááá¹áá¯áá»á¬ážá¡ááœáẠ0 О 1:
á .áá Case 5.2: áá¯ááºáá±á¬ááºáá»áẠáá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯á¶ážááŸá¯á¶ážááŸá¯ á¡áááºážá¡á á¬áž áááºááŸááºáá»ááºáá»á¬ážááŸááá±á¬ á¡áá¬ááá¹áá¯áá»á¬ážá¡ááœáẠ-1 О +1:
áá±á¬ááºážáá«ážááœáẠááœááºáá»ááºááŸá¯á¡á¬ážáá¯á¶ážááᯠáá«ážá
áẠááá¯á·ááá¯áẠá
á¬ááœááºáá±á«áºááœáẠááŒá¯áá¯ááºááẠááœááºáá°ááá·áº ááá¯ážááŸááºážáá±á¬ á¥ááá¬áá»á¬ážááŒáá·áº ááŒáá·áºá
á¯á¶áááºá á¡áá»áá¯á·ááá
á¹á
áá»á¬ážááœáẠááááºážááœááºá
áẠááá¯á¡ááºááá¯ááºáááºá áá«ááᯠá¡áááºááá·áºááŒá
áºááŒá® :)
á€áá±á¬ááºážáá«ážááẠá ááºáááºáá°ááŒááºážáá¡ááŒá±áá¶ááœáẠáááŠážá¡ááááá¬á¡ááá·áºááŸá áá±áá¬áááá¹áá¶ááá¬ááŸááºáá»á¬ážá¡ááœáẠá¡ááááááºááœááºáá«áááºá
áá±á¬ááºážáá«ážááœáẠááááºáá¯á¶ááœá²ááŒááºážááŸáá·áº ááœááºáá»ááºááŸá¯áá»á¬ážá¡ááœáẠáá¯ááºááá¯áááºáž áá±ážáá«áááºá áá¯ááºá¡á¬ážáá¯á¶ážááᯠáá¬áá¬á áá¬ážááŒáá·áº áá±ážáá¬ážáá¬ážáááºá python 2.7. á¡áá¯á¶ážááŒá¯áá¬ážáá±á¬áá¬ážááŸááºážá "áááºážáá áºáá®ááœááºááŸá¯" á¡ááŒá±á¬ááºážááᯠááŒáá¯áááºááŸááºážááŒáá«áá á± - áá«á áá¬áááºááŒá®ážáááºáááºážáááºááá¯á·á¡ááœáẠá¡ááŒá±á¡áá±áá áºáá¯áá«á Yandex á¡áá®á¡áá»áŸ áá°áááá»á¬ážáá±á¬ á¡áœááºááá¯ááºáž ááá¬áá±áž ááááºáá±á¬ááºážáá±á«áºááœáẠCourseraá ááŸáá·áºá áá°áááá¯ááºááá²á·ááá¯á·á á€áááºáááºážááá¯á¡ááŒá±áá¶á áá á¹á ááºážááá¯ááŒááºáááºáá¬ážáááºá
01. ááŒá±á¬áá·áºáááºážá áœá¬ááŸá®ááá¯
linear ááŸá®ááá¯ááŸá¯ ááŸáá·áº logistic regression ááẠáááºážááŸáá·áº áááºááá¯ááºááá·áº áá±ážááœááºážááᯠáá±ážááẠá¡áá±á¬áºáá±áž áá»áá¯ážááŒá±á¬ááºážáá®áá»á±á¬áºáá«áááºá
ááá¯ážááŸááºážáá«áááºá Logistic regression ááẠlinear classifier ááŸáá«áááºááá·áº áá±á¬áºáááºáá»á¬ážáá²ááŸáá áºáá¯ááŒá áºáááºá ááá¯ážááŸááºážáá±á¬á¡á¬ážááŒáá·áºá linear classifier áá áºáá¯ááá¬áááºááŸá¬ áá áºááŸááºáááºááá¯ážáá»á¬ážááᯠááá·áºááŸááºážáááºááŒá áºáááºá ááááºážááŸááºáá»á¬áž (regressors) á០. áááá±áááá¹ááá¬áá»á¬ážá¡ááŒá¬áž ááŸá®ááá¯ááŸá¯áᯠáá¯á¶ááŒááºáááºá áá áºááŸááºáááºááá¯ážáá»á¬áž lineará ááá¯á·ááŒá±á¬áá·áº á¡áá»áá¯ážá¡á á¬ážááœá²ááŒá¬ážááŸá¯- linear áá¡áááºá á¡ááŒááºážáá»ááºážá¡á¬ážááŒáá·áºááŒá±á¬ááá»áŸáẠlogistic regression model ááẠáááá±áááá¹ááá¬áá»á¬ážá¡ááŒá¬áž linear áááºááœááºááŸá¯ááŸáááŒá±á¬ááºáž áá°ááá»ááºá¡áá±á«áº á¡ááŒá±áá¶áááºá áá áºááŸááºáááºááá¯ážáá»á¬áž . áá«á áá»áááºáááºááŸá¯áá«á
á áá°áá®ááá¯ááœáẠááááá¯á¶áž á¥ááá¬áá áºáᯠááŸáááŒá®áž áááºážááẠáá±á·áá¬áá±ááá·áº ááá¬áá rectilinear ááŸá®ááá¯ááŸá¯ááŸáá·áº áááºáááºá ááŸááºáááºáá«áááºá áá±á¬ááºážáá«ážááá¯ááŒááºáááºáá±á ááºááœááºá áá°áá»á¬ážá áœá¬ááá¯á¡á áœááºážááá±á¬ááºá á±áá±á¬á¥ááá¬áá áºáá¯ááá¯ááœá±á·áá²á·ááẠ- ááá¯á·á¡á¬ážá¡áá±á«áºáááºááŸáááŸá®ááá¯ááŸá¯ (âá¡áá¯á¶ážáá» áá¯ááºáá¯ááºááŸá¯ ááœá²ááŒááºážá áááºááŒá¬ááŸá¯âá N. Draperá G. Smith). áá®ááŸá¬áááºáž ááŒáá·áºáááºá
ááŸááºá·á¡áá® Ohm á á¥ááá±-
áááºááŸá¬ - áááºááŸá á¡ááºá¡á¬ážá - áá¬ááºá¡á¬áž, - áá¯áá¶ááŸá¯á
áá«ááá¯á·ááááá²á·áá»áŸáẠOhm á á¥ááá±ááá¯á·ááá¯áá»áŸáẠááŒá±á¬ááºážáá²ááŒááºážááŒáá·áº áááºááœá±á·áá»áá» ááŸá®ááá¯á¡á¬ážáá¬ážááŸá¯ááᯠáá»áœááºá¯ááºááá¯á· ááŸá¬ááœá±ááá¯ááºáááºááŒá áºáááºá ááá¯ááºážáá¬ááŒááºážá áá¶á·ááá¯ážáá±á áẠáááºááŸááºáá¬ážáá²á·á ááŒá®ážááẠááŸá®ááá¯ááŸá¯ááááºááᯠááŒáá·áºáááºá ÐŸÑ áá°áááºážááá¯ááŒááºá á¡ááŒá±á¬áá·áºáá»ááºážááŒá±á¬ááºážááᯠáá±ážáááºá áááºáá¶áá±ážááẠá¡ááŸááºááááºáááá»áá±á¬áºáááºáž áá»áœááºá¯ááºááá¯á·áááá¯ááºážáá¬ááŸá¯áá»á¬ážááœáẠáá±ážáááºáá±á¬á¡ááŸá¬ážá¡ááœááºážáá»á¬ážáá«áááºáá±á¬ááŒá±á¬áá·áº "ááá¯áááºáááºážáááº" áá¯áá»áœááºá¯ááºááá¯á·ááŒá±á¬ááŒáááºá ááá¯á·ááŒá±á¬áá·áº ááááºáá±á«áºááŸáá¡ááŸááºáá»á¬ážááẠáá»ááºážááŒá±á¬ááºážáá±á«áºááœááºá¡ááá¡áá»áá»áááºááá¯ááºáá±á¬áºáááºáž áááºážááá¯áá»áááºážá¡á¬ážááŒáá·áº ááœá²ááŒá¬ážááœá¬ážáááºááŒá áºáááºá
Graph 1 "ááŸá®ááá¯ááŸá¯" ÐŸÑ Â»
ááá¬ážááœá²áá¯ááº
import matplotlib.pyplot as plt
%matplotlib inline
import numpy as np
import random
R = 13.75
x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
y_line.append(i/R)
y_dot = []
for i in y_line:
y_dot.append(i+random.uniform(-0.9,0.9))
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Actual results')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()
02. linear regression equation ááᯠááŒá±á¬ááºážáá²ááẠááá¯á¡ááºáááºá
áá±á¬ááºá¥ááá¬áá áºáá¯ááᯠááŒáá·áºáá¡á±á¬ááºá áá»áœááºá¯ááºááá¯á·ááẠáááºáá áºáá¯ááœáẠá¡áá¯ááºáá¯ááºááŒá®áž áá»áœááºá¯ááºááá¯á·ááá¬áááºááŸá¬ á¡áá»áá¯á·áá±á¬á¡áá»ááºáá»á¬ážáá±á«áº áá°áááºá áá»á±ážááœá±ááŒááºáááºááá·áºáá°á ááŒá áºááá¯ááºááŒá±ááᯠáá¯á¶ážááŒááºáááºááŒá áºáááºá áá¯ááºáááºážááᯠááá¯ážááŸááºážá á±áááºá áá»á±ážáá°áá°á áá ááºáá á¬ááŸáá·áº áá ááºáá»á±ážááœá±ááŒááºáááºáááá·áº ááá¬áááᯠá¡áá»ááºááŸá áºáá»ááºááá¯áᬠááá·áºááœááºážá ááºážá á¬ážáá«áááºá
á¡áá¯ááºááẠá¡ááŒá±á¡áá±á¡á á¡ááœááºáá±á¬ááºážááœááºáá±á¬áºáááºáž á€á¥ááá¬ááŒáá·áº áááºážááᯠá¡áá¯á¶ážááŒá¯ááẠá¡áááºááŒá±á¬áá·áº ááá¯á¶áá±á¬ááºáááºááᯠáá»áœááºá¯ááºááá¯á· áá¬ážáááºááá¯ááºáá«áááºá linear regression áá¯ááºáá±á¬ááºáá»ááºáá»á¬ážááŸáá·áº áá¯ááºáá±á¬ááºáá»ááºááŸáá·áºá¡áá° áááºááá·áºá¡ááœááºááŒá±á¬ááºážááŸá¯áá»á¬áž áá¯ááºáá±á¬ááºááẠááá¯á¡ááºááŒá±á¬ááºážááá¯áááºáž ááŸá¬ááœá±áá«á
ááá°áá¬ááᯠááŒááºááŒáá·áºáá¡á±á¬ááºá áá á¬ááá¯ááŒáá·áºáá±á áá»á±ážáá°áá°ááẠáá»á±ážááœá±ááŒááºáááºááẠáá ááºááœá²áá±ááá¯ááºáá±áá±ááŒá áºáááºá áá áºáá»áááºáááºážááŸá¬áááºá á¡áá»áá¯á·áá±á¬áá á¬á¡ááœá¬á¡áá±ážá¡ááœááºá á€áááºáá¶áá±ážááẠá¡áá±á¬áºáá±ážáá»ááºážááŒá±á¬áá·áºáá±áááá·áºáááºá á¥ááá¬á¡á¬ážááŒáá·áºá áá á¬á¡ááœá¬á¡áá±áž 60.000 RUR á០200.000 RUR ááá¯áá°á áááºááŸááºáá¬ážáá±á¬áá á¬á¡ááœá¬á¡áá±ážááœáẠáá ááºáá±ážáá»á±ááŸá¯á¡ááœááºá¡á á¬ážá ááŸá®ááá¯á¡á¬ážáá¬ážááŸá¯ááá¬áááẠáá»ááºážááŒá±á¬ááºážáá®áááºáᯠáá°áááŒáá«á áá¯á·á áááºááŸááºáá¬ážáá±á¬áá¯ááºáá¡ááœá¬á¡áá±ážá¡ááœáẠáá á¬-ááœá±áá±ážáá»á±ááŸá¯á¡áá»áá¯ážááẠ3 áááºááááºážááá¯ááºááŒá±á¬ááºážááŸáá·áº áá»á±ážáá°áá°ááœáẠá¡áá¶ááœá± 5.000 RUR ááŸáááááºáᯠááá¯ááŒáá«á áá¯á·á á€ááá á¹á ááœááºáá¬á ááœá±áá»á±ážáá°ááẠáááºááá¯á· áá»á±ážááœá±ááŒááºáááºáááºáᯠáá»áœááºá¯ááºááá¯á· áá°ááá«áááºá ááá¯á·áá±á¬ááºá linear regression equation ááẠáá¯á¶á á¶ááŒá áºáááá·áºáááº-
áááºááŸá¬ , , , - áá -th á¡ááºá - áá»á±ážááœá±áá±ážáá»á±ááŸá¯ -th á¡ááºá
áá®áá»áŸááŒááºážááœáẠáá¯á¶áá±áááºááŸááºáá»ááºáá»á¬ážááŒáá·áº áá á¬ááŸáá·áº áá»á±ážááœá±áá±ážáá»á±ááŸá¯ááᯠá¡á á¬ážááá¯ážááŒááºážá áá»á±ážááœá±áá¯ááºááẠááá¯á·ááá¯áẠááŒááºážáááºááŒááºážááŸááááŸá áááºáá¯á¶ážááŒááºááá¯ááºáááºá
ááŸá±á·ááá¯ááŒáá·áºáá«á áá±ážáá¬ážáá±á¬áá±á¬ááºáá»á¬ážááŒáá·áºáááºážááá¯áááááŒá¯áá«á linear regression functionáá¡áá¯á¶ážááŒá¯áááºá logistic áá¯á¶á·ááŒááºááŸá¯áá¯ááºáá±á¬ááºáá»ááºáá»á¬áž áá»á±ážááœá±ááŒááºáááºááŒááºážá ááŒá áºááá¯ááºááŒá±áá»á¬ážááᯠáá¯á¶ážááŒááºááẠááœááºáá»ááºááŸá¯áá»á¬ážááᯠááŸá¯ááºááœá±ážá á±ááá·áº ááŒá®ážáá¬ážáá±á¬áááºááá¯ážáá»á¬ážááᯠáá¯ááºáá±ážáááºááŒá áºáááºá ááá¯á·ááŒá±á¬áá·áºá áá»áœááºá¯ááºááá¯á·á coefficients ááᯠá¡ááŒááẠ25.000 áá»áŸá±á¬á·áá»ááẠá¡ááá¯ááŒá¯áá¬ážáááºá ááááºážááááºážáá»á¬ážááœáẠá€á¡ááœááºááŒá±á¬ááºážááŒááºážááẠáá»á±ážááœá±áá¯ááºááẠáá¯á¶ážááŒááºáá»ááºááᯠááŒá±á¬ááºážáá²áááºááá¯ááºáá«á á¡áá¬áááºá¡ááœáẠá€á¡áá»ááºááᯠááŸááºáá¬ážááŒáá«á áá¯á·á ááá¯á·áá±á¬áº ááᯠáá»áœááºá¯ááºááá¯á·ááŒá±á¬áá±ááá·áºá¡áá¬ááᯠááá¯ááá¯ááŸááºážáááºážá á±áááºá¡ááœáẠááŒá áºááá¯ááºáá»á±ááŸááá±á¬ ááœá±áá»á±ážáá° áá¯á¶ážáŠážááŸáá·áº á¡ááŒá±á¡áá±ááᯠáá¯á¶ážáááºááŒáá·áºááŒáá«á áá¯á·á
ááá¬áž á âá¡áá¬ážá¡áá¬ááŸááá±á¬ ááœá±áá»á±ážáá°áá»á¬ážâ
ááá¬ážááá¯áááºáá®ážáááºáá¯ááº
import pandas as pd
r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r
data = {'The borrower':np.array(['Vasya', 'Fedya', 'Lesha']),
'Salary':np.array([120000,180000,210000]),
'Payment':np.array([3000,50000,70000])}
df = pd.DataFrame(data)
df['f(w,x)'] = w_0 + df['Salary']*w_1 + df['Payment']*w_2
decision = []
for i in df['f(w,x)']:
if i > 0:
dec = 'Approved'
decision.append(dec)
else:
dec = 'Refusal'
decision.append(dec)
df['Decision'] = decision
df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision']]
ááá¬ážáá«á¡áá»ááºá¡áááºáá»á¬ážááŸáá·áºá¡áá® áá ᬠ120.000 RUR ááŸááá±á¬ Vasya ááẠáá áẠRUR 3.000 ááŒáá·áº ááŒááºáááºááá¯ááºá á±ááẠáá»á±ážááœá±ááá°ááá¯áá«áááºá áá»á±ážááœá±á¡áááºááŒá¯áááºá¡ááœáẠVasya ááá á¬ááẠááœá±áá±ážáá»á±ááŸá¯ááá¬áááẠáá¯á¶ážááá»á±á¬áºááŸáááááºááŒá áºááŒá®áž 5.000 RUR áá»ááºááŸááá±ááááºáᯠáá»áœááºá¯ááºááá¯á·áá¯á¶ážááŒááºáá¬ážáá«áááºá Vasya ááẠá€ááá¯á¡ááºáá»ááºááᯠááŒáá·áºáááºážáá±ážáááº- . 106.000 RUR áááºáá»ááºáá±ážáááºá ááœááºáá»ááºáá±áá±á¬áºáááºážá áá»áœááºá¯ááºááá¯á·ááẠá¡ááœáá·áºá¡áááºážáá»á¬ážááᯠáá»áŸá±á¬á·áá»ááá¯ááºáá«áááºá á¡ááŒááẠ25.000 ááááºáááºáá°áá®áá²á·ááẠ- áá»á±ážááœá±ááá¯á¡áááºááŒá¯ááá¯ááºáááºá Fedya áááºáááºážáá»á±ážááœá±ááááá·áºáááºá ááá¯á·áá±á¬áº Lesha áááºáá°á¡áá»á¬ážáá¯á¶ážáááŸááá±ááá·áºááŒá¬ážááŸáá°áá á¬ážáá»ááºá áááºááá¯ááááºážáá»á¯ááºááááá·áºáááºá
áá®ááá á¹á á¡ááœáẠááááºáá áºáá¯ááœá²ááŒáá·áºáá¡á±á¬ááºá
ááá¬áž á âááœá±áá»á±ážáá° á¡áá»áá¯ážá¡á á¬ážááœá²ááŒá¬ážááŒááºážâ
ááááºááœá²áááºá¡ááœááºáá¯ááº
salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'],
'o', color ='green', markersize = 12, label = 'Decision - Loan approved')
plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'],
's', color = 'red', markersize = 12, label = 'Decision - Loan refusal')
plt.xlabel('Salary', size = 16)
plt.ylabel('Payment', size = 16)
plt.legend(prop = {'size': 14})
plt.show()
áá«ááŒá±á¬áá·áº áá»áœááºáá±á¬áºááá¯á·áá²á· ááŒá±á¬áá·áºáááºážáá²á· áá¯ááºáá±á¬ááºáá»ááºáá²á·á¡áá® áááºáá±á¬ááºáá¬ážáá«áááºá âááá±á¬ááºážáá²á·â ááœá±áá»á±ážáá°ááœá±ááᯠâáá±á¬ááºážâ áá°ááœá±áá²á· ááœá²ááŒá¬ážáá¬ážáááºá ááááááá¯á·á á á¶ááŒáááºááŸááºáá»ááºáá»á¬ážá¡ááá¯ááºáž áá»á±ážááœá±ááŒááºáááºááá¯ááºáá°áá»á¬ážááẠáá»ááºážá¡á±á¬áẠ(Vasya ááŸáá·áº Fedya) á¡á±á¬ááºááœáẠááŸááá±áá±á¬áºáááºáž ááá¹ááá»á¬ážááŸáá·áº áááá¯ááºáá®áá±á¬ ááœá±áá»á±ážáá°áá»á¬ážááẠáá»ááºážá¡ááẠ(Lesha) ááŒá áºáááºá áá áºáááºážá¡á¬ážááŒáá·áºááá¯ááá±á¬áºá áá»áœááºá¯ááºááá¯á·áááá¯ááºááá¯ááºááá¯ááºážááẠááœá±áá»á±ážáá°áá»á¬ážááᯠáá°áááºážá á¬ážááŸá áºáááºá¡ááŒá Ạááá¯ááºážááŒá¬ážáá¬ážáááºá áááºážááá¯á·ááᯠá¡á±á¬ááºáá«á¡ááá¯ááºáž áá±á¬áºááŒááŒáá«á áá¯á· áá»á±ážááœá±ááŒááºáááºááá¯ááºááŒá±á¡ááŸááá¯á¶áž ááœá±áá»á±ážáá°áá»á¬ážááᯠá¡áá»áá¯ážá¡á á¬ážááœá²ááŒá¬ážáá«áááºá ááá¯á·ááá¯áẠáá»á±ážááœá±ááŒááºááááºááá¯ááºááá·áº ááŒá áºááá¯ááºááŒá±á¡ááŸááá¯á¶áž ááœá±áá»á±ážáá°áá»á¬áž áá«áááºáá«áááºá
á€ááá¯ážááŸááºážáá±á¬ á¥ááá¬á០áááá¯á¶ážáá»á¯ááºááŒá áá¯á·á á¡ááŸááºáá áºáá¯áá°ááŒáá«á áá¯á· ááŸáá·áºá á¡ááŸááºáááŒááááááºáá»á¬ážááá¯áá»ááºážááááºááá¯ááºáá¬áá®áá»áŸááŒááºážááá¯á·á¡á á¬ážááá¯ážááŒááºážá ááœá±ážáá»ááºá áá¬áá¯á¶ážáá¯ááᯠáá¯á¶ážáááºááŒáá·áºáá«-
- á¡ááŸááºááẠáá»ááºážááŒá±á¬ááºážá¡á±á¬ááºááœáẠááŸááá«á áááºážááᯠá¡áááºážááá¯á· áááºááŸááºáá±ážáááºá ááá¯á·áá±á¬áẠfunction ááááºááá¯áž á¡ááŒá¯ááá±á¬áá±á¬ááºáá±á¬áá¶ááŸááŒá áºáááá·áºáááºá ááá¯á· . ááá¯ááá¯áááºááŸá¬ áá»á±ážááœá±ááŒááºáááºááá¯ááºááŒá±ááẠá¡áá²ááŸá¬ ááŸááá±áááºáᯠáá»áœááºá¯ááºááá¯á· áá°áááá¯ááºáááºá . áá¯ááºáá±á¬ááºáá»ááºáááºááá¯áž ááŒá®ážáá±á ááŒá áºááá¯ááºááŒá± ááá¯áá»á¬ážáá±ááŒá áºáááºá
- á¡ááŸááºáá áºáá¯ááẠáá»ááºážáá áºááŒá±á¬ááºážáááºááœáẠááŸááá«á áááºážááᯠá¡áááºážááá¯á· áááºááŸááºáá±ážáááºá ááá¯á·ááá¯áẠááá¯á·áá±á¬áẠfunction ááááºááá¯ážááẠá¡ááŸá¯ááºááŸááŒá áºáááá·áºáááºá ááá¯á· . ááá¯á·áá±á¬áẠá¡ááŒáœá±ážááŒááºáááºááá¯ááºááŒá±ááẠá¡áá²ááŸá¬ ááŸááá±áááºáᯠáá»áœááºá¯ááºááá¯á· áá°ááá«áááºá áá¯ááºáá±á¬ááºáá»ááºá áááááááºááá¯áž ááŒá®ážáá±á áá»áœááºá¯ááºááá¯á·á áá¯á¶ááŒááºááŸá¯ ááŒáá·áºáá¬ážáá±ááŒá áºáááºá
- á¡ááŸááºááẠá¡áááºážááŸá áºáááºážááŒá¬áž áááºááááááºáá»ááºážáá±á«áºááœáẠááŒá±á¬áá·áºáááºážáá±áááºá á€ááá á¹á ááœááºáá¯ááŸá áº, function ááááºááá¯áž áááºážáá°ááŒá áºáááá·áºáááºá áá»á±ážááœá±ááŒááºáááºááá¯ááºááŒá±ááẠáá®áá»áŸáááºá .
ááá¯á áá»áœááºá¯ááºááá¯á·ááœáẠá¡áá»ááºááŸá áºáá»ááºáááŸááá±á¬áºáááºáž áá«áááºááŸáá·áº áá¯á¶ážáá¯ááá¯ááºáá±á¬áºáááºáž áá±á¬ááºáá±á«ááºážáá»á¬ážá áœá¬áá±á¬ áá»á±ážááŸá¬ážáá°áá»á¬ážááŸáááŒá±á¬ááºáž á áááºáá°ážááŒáá·áºááŒáá«á áá¯á·á ááŒá®ážááẠáá»ááºážááŒá±á¬áá·áºá¡á á¬áž áá«ááá¯á·ááááá·áºáááºá m-dimensional áá±áá¬ááºááŸáá·áº ááááºážááááºážáá»á¬áž áá»áœááºá¯ááºááá¯á·ááẠáá«ážááœáŸá¬áá±á¬áá±áá¯áá²á០áááºáá¯ááºáá¶ááááºááá¯ááºáá±á¬áºáááºáž á ááºážáá»ááºážáá»á¬ážá¡á¬ážáá¯á¶ážá¡á áá»á±ážááœá±áááŸáááẠááá¯á·ááá¯áẠááŒááºááááºááá±ážáá±á¬ ááœá±áá»á±ážáá°áá»á¬ážá á á¯áá±á¬ááºážáá±áá¬á¡áá±á«áº á¡ááŒá±áá¶á áááºážáááºáá¬áááºá á¡ááŸááºáááºá áá»áœááºá¯ááºááá¯á·ááẠááááŸáááŒá®ážáá¬áž coefficients áá»á¬ážááᯠá¡áá¯á¶ážááŒá¯á ááœá±áá»á±ážáá°áá»á¬ážááᯠááœá±ážáá»ááºáá±ááŒá±á¬ááºáž áááááŒá¯áá«á . ááááºáá±á¬á·á logistic regression model ááá¬áááºááẠparameters áá»á¬ážááá¯áá¯á¶ážááŒááºáááºá¡ááá¡áá»ááŒá áºáááºá á¡ááŸá¯á¶ážááááºááá¯ážááŸá¬ áá¯ááºáá±á¬ááºáá»ááºááŒá áºáááºá áá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯á¶ážááŸá¯á¶ážááŸá¯ á¡áááºážáá¯á¶ážááŒá áºáááá·áºáááºá áá«áá±ááá·áº vector ááᯠáááºááᯠááœááºááá²á áá±á¬ááºážáá«ážá 5th section ááœááºááá¯ááá¯ááááŸáááá¯ááºáá«áááºá ááá¯á¡áá»áááºááœáẠáá»áœááºá¯ááºááá¯á·ááẠáá»áœááºá¯ááºááá¯á·ááááºáá¯ááºáááºážááŸááºááŸáá·áº áá°ááá±á¬ááºáááºáá¯á¶ážáŠážáá¶ááá¯á· áááááŒá¯áá¬ážáá±á¬ááŒááºááá¯á· ááŒááºááœá¬ážááŒáááºá
áá¯ááºáá±á¬ááºáá»ááºááᯠáá»á±ážáá°ážáááºáá«áááºá áááºáá°á áá»á±ážááá¯á·ááááºá áááºáá°á ááŒááºážááááºááá¯áᬠáá«ááá¯á·áááááºá áá«áá±ááá·áº ááœá±áá»á±ážáá°ááá¯ááºážá áá»á±ážááœá±ááŒááºáááºááá¯ááºááŒá±ááᯠáá»áœááºáá±á¬áºááá¯á·áá®ááá± ááá°áá»ááºáá¬ááŒá±á¬áá·áº áá®ááá¯á¡áá»ááºá¡áááºááœá±áá²á· áá«ááá¯ááºáá¬áᶠáááœá¬ážááá¯ááºáá«áá°ážá áá¬áá¯ááºááá²? á¡ááŒá±á ááá¯ážááŸááºážáá«ááẠ- áá»áœááºáá±á¬áºááá¯á· function ááᯠáá áºáááºážáááºážáá²á· á¡ááœááºááŒá±á¬ááºážááá¯á· ááá¯áá«áááºá á¡ááœá¬á¡áá±ážááœááºááŸááá±á¬áááºááá¯ážáá»á¬áž áááºááá¯ážáá»á¬ážááẠá¡ááœá¬á¡áá±ážááœáẠááŸááá±ááá·áº áá¯ááºáá±á¬ááºáá»ááºáá áºáá¯áá®ááá¯á· . ááá¯áá²á·ááá¯á·áá±á¬ áá¯ááºáá±á¬ááºáá»ááºáá áºáᯠááŸááááºááᯠáááºážááᯠáá±á«áºáááºá logistic áá¯á¶á·ááŒááºááŸá¯áá¯ááºáá±á¬ááºáá»áẠááá¯á·ááá¯áẠááŒá±á¬ááºážááŒááº-logit á¡ááœááºááŒá±á¬ááºážááŒááºážá. ááœá±á·áá¯á¶áááº-
áá¯ááºáá±á¬ááºáá¯á¶á¡ááá·áºááá·áºááᯠááŒáá·áºááŒáá¡á±á¬áẠáá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯á¶á·ááŒááºááŸá¯áá¯ááºáá±á¬ááºáá»ááº. áá»áœááºá¯ááºááá¯á·ááẠááá·áºáá»ááºááẠáŠážáááºáá¬ááá¯á· áá»áŸá±á¬ááºááŸááºážáááºááᯠáááááŒá¯áá«á á¡ááœá¬á¡áá±ážá០áááºááŸááá±á¬ ááŒá áºááá¯ááºááŒá±áááºááá¯ážááᯠáááááºáᯠáá»áœááºá¯ááºááá¯á· áá°ááá«áááºá ááá¯á· ááá¯á·áá±á¬áẠáá»áœááºá¯ááºááá¯á·ááẠá€áááºááá¯ážááᯠáá¶áá«ááºáá»á¬ážá á¡ááœá¬á¡áá±ážáá áºáá¯áá¯á¶ážááá¯á· âááŒá±áá»áŸá±á¬á·â áá«áááºá ááá¯á· .
03. áá»áœááºá¯ááºááá¯á·ááẠáá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯á¶á·ááŒááºááŸá¯áá¯ááºáá±á¬ááºáá»ááºááᯠááá°áááºá
á¡ááá·áº 1. ááŒá áºááá¯ááºááŒá±áááºááá¯ážáá»á¬ážááᯠá¡ááá¯ááºážá¡ááŒá¬ážá¡ááŒá ẠááŒá±á¬ááºážáá«á
function ááá¯ááŒá±á¬ááºážáá²áá±á áẠв áá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯á¶á·ááŒááºááŸá¯áá¯ááºáá±á¬ááºáá»áẠáá»áœááºá¯ááºááá¯á·ááẠáá»áœááºá¯ááºááá¯á·á ááááºáá áºáá¯á¶ážáááºáá° áá áºáŠážáááºážááᯠáá»ááºáá¬ážáá²á·áᬠáááºážá¡á á¬áž á á¬áááºážááœááºážáá°áá»á¬ážáᶠááœá¬ážáá±á¬ááºáááºáááºáá«áááºá ááá¯ááºáá«á áá»áœááºá¯ááºááá¯á·ááẠá¡áá±á¬ááºážá¡á á¬ážááᯠááá¬ážááŸááá«á áá»áœááºá¯ááºááá¯á· á áááºáááºá á¬ážááá·áºá¡áá¬á¡á¬ážáá¯á¶ážááẠá áá¬ážáááºá á¡áááá¹áá¬ááºááŒá áºáááºá á¥ááá¬á á¡ááœáá·áºá¡áááºážááẠ4 á០1 ááŒá áºáááºá áá±á¬ááºážáá á¬ážáá°áá»á¬ážá¡á¬ážáá¯á¶ážááŸáá·áºáááºážááŸá®ážáá±á¬ áá±á«ááºáá±á«ááºáá»á¬ážááẠ"á¡á±á¬ááºááŒááºááŸá¯" ááŸáá·áº "" á¡áá»áá¯ážááŒá áºáááºá ááŸá¯á¶ážáááá·áºááŸá¯áá»á¬ážá" ááŒá áºááá¯ááºááŒá± áááºááŸááºáá»ááºáá»á¬ážááœááºá odds áá»á¬ážááẠáááŒá áºááœá¬ážááŒááºážá ááŒá áºááá¯ááºááŒá±ááŒáá·áº ááá¯ááºážááŒá¬ážáá¬ážáá±á¬ á¡ááŒá áºá¡áá»ááºáá áºáá¯á ááŒá áºááá¯ááºááŒá±áá»á¬ážááŒá áºáááºá á¡ááŒá áºá¡áá»ááºáá áºáᯠááŒá áºááœá¬ážááá¯ááºááŒá±á¡ááœáẠáá¯á¶áá±áááºážááᯠáá»áá±ážááŒáá·áºáá¡á±á¬áẠ:
áááºááŸá¬ - á¡ááŒá áºá¡áá»ááºáá áºáᯠááŒá áºááœá¬ážááá¯ááºááŒá±á - áááŒá áºááœá¬ážááá¯ááºáá±á¬ ááŒá áºáááºáá áºáᯠááŒá áºááá¯ááºááŒá±
á¥ááá¬á¡á¬ážááŒáá·áºá "Veterok" áá¯áá±á«áºáá±á¬ áááºááœááºááŒá®áž áááºáá¬ááŒá®áž á¡áá»á±á¬áºááá±á¬ááŸááá±á¬ááŒááºážáá áºáá±á¬ááºááẠááŒáá¯ááºááœá²áá áºáá¯ááœáẠ"Matilda" áá¯áá±á«áºáá±á¬ á¡áááºááŒá®ážááŒá®áž áá»á±á¬á·áá»á±á¬ááºážáá±á¬á¡ááœá¬ážá¡áá¯ááᯠá¡ááá¯ááºáá°ááá¯ááºááŒá±ááẠáá®áá»áŸááẠááá¯á·áá±á¬áẠ"Veterok" á¡ááœááºá¡á±á¬ááºááŒááºááŸá¯á¡ááœáá·áºá¡áááºážáá»á¬ážááŒá áºáá¬áááá·áºáááºá к ááŸáá·áº á¡ááŒááºá¡ááŸááºá¡á¬ážááŒáá·áº áá¬áááá»á¬ážááᯠáááá¬ážááŒááºážááŒáá·áº ááŒá áºááá¯ááºááŒá±ááᯠááœááºáá»ááºááẠáá»áœááºá¯ááºááá¯á·á¡ááœáẠáááºáá²áááºááá¯ááºáá«á :
ááá¯á·ááŒá±á¬áá·áºá áá»áœááºá¯ááºááá¯á·ááẠáááºááá¯ážáá»á¬ážááᯠáá°áá±á¬ááºááá·áº á¡ááœáá·áºá¡áááºážáá»á¬ážá¡ááŒá Ạâáá¬áá¬ááŒááºáááºâ ááŒá áºááá¯ááºááŒá±ááᯠáááºáá°áá²á·áááºá ááá¯á· . áá±á¬ááºáááºáá áºááŸááºáž ááŸááºážááŒá®áž ááááºážá á¬ááŒá±á¬ááºážáá áºáá¯áá¯á¶ážá¡ááœáẠááŒá áºááá¯ááºááŒá±ááᯠ"áá¬áá¬ááŒááºááá¯áááº" áá±á·áá¬ááŒáá«á áá¯á· ááá¯á· .
á¡ááá·áº 2. ááŒá áºááá¯ááºááŒá±áááºááá¯ážáá»á¬ážááᯠá¡ááá¯ááºážá¡ááŒá¬ážá¡ááŒá ẠááŒá±á¬ááºážáá«á
á€á¡ááá·áºááẠá¡ááœááºááá¯ážááŸááºážáá«ááẠ- Euler á áá¶áá«ááºá á¡ááŒá±áá¶ááá¯á· áá±ážáá¬ááŸá¯á áá±á¬á·ááá áºáááºááᯠáá°ááŒáá«á áá¯á·á ááŸáá·áºáá»áœááºá¯ááºááá¯á·áááŸá:
á¡áá¯á០ááááá¬á ááá¯á·áá±á¬áẠáááºááá¯ážááᯠááœááºáá»ááºáá«á á¡ááœááºááá¯ážááŸááºážáááºááŒá áºááŒá®ážá ááá¯á·á¡ááŒááºáááºážáááºá¡ááŒá¯ááá±á¬áá±á¬ááºááá·áºáááº- . áá«á¡ááŸááºáá«áá²á
áááá»ááºá áááºáááŸáááẠáá¬ááŒá áºááá² áááºážá á áºááŒáá·áºáá¡á±á¬áẠááá¯á·áá±á¬áẠáá»áœááºá¯ááºááá¯á·ááẠá¡áá¯ááºááá¹ááá¬áááºááá¯ážááᯠááŒááºááœá±á·ááááºááŒá áºáááºá . áá»áœááºá¯ááºááá¯á·á á áºáá±ážáááº- . ááŸááºáááºá
ááᯠáá»áœááºá¯ááºááá¯á·ááẠááŒá áºááá¯ááºááŒá±áááºááá¯ážááᯠáááºááá¯á·ááŒá±á¬ááºážááááºáááºážá ááá¯á· áá¶áá«ááºááá¯ááºážáá áºáá¯áá¯á¶ážááá± ááá¯á· . áá±á¬ááºáá áºááá·áºááŸá¬ ááá·áºáá»ááºáááºáá¯ááºáááºá
ááá¯á¡áá»áááºááœááºá áá»áœááºá¯ááºááá¯á·ááẠáá±á¬á·ááá áºáááºá á ááºážáá»ááºážáá»á¬ážááŸáá·áºá¡áá® áá¯ááºáá±á¬ááºááŸá¯ááááºááá¯ážááᯠááááŸááá¬ážáááºááŒá±á¬ááºáž áááááŒá¯áá«á á áá±á«ááºáá±á«ááºáá»á¬ážááᯠááœááºáá»ááºááá¯ááºáááº-
á€áááºážáááºážááẠáá±á¬ááºáááá·áºááœáẠáá»áœááºá¯ááºááá¯á·á¡ááœáẠá¡áá¯á¶ážáááºáá«áááá·áºáááºá
á¡ááá·áº 3. áá¯á¶ážááŒááºááẠáá±á¬áºááŒá°áá¬áá áºáá¯ááᯠááá°ááŒáá«á áá¯á·
á¡á²áá®áá±á¬á· ááááá¯ááºá ááááá¯ááºááááºá áá¯ááºáá±á¬ááºáá»ááºáááºááá¯ážáá»á¬ážááᯠááŸá¬áá«á . ááá¯á·áá±á¬áºá ááááºáá±á¬á·á áá»áœááºá¯ááºááá¯á·ááẠáááºááá¯ážááᯠááááŸááá¬ážáááºááẠá¡ááá¡áá» ááá·áºáá»ááºááẠááá¯á¡ááºáá«áááºá ááŸá¬ . áá«ááá¯áá¯ááºááá¯á·á á¡á²áá®ááá±á¬ááá¬ážááᯠááŒá±á¬ááºážááŒááºááŸááºááŒá®áž áá°ážáá°ážááŒá¬ážááŒá¬ážáá¯ááºáá±á¬ááºááŸá¯á¡ááŒá áºá
áá±á¬ááºážáá«ážááœáẠáá»áœááºá¯ááºááá¯á·ááẠá¡áááºáá±á¬áºááŒáá« áá¯á¶áá±áááºážááᯠááá°áááºááá¯ááºáá±á¬áºáááºáž á¡áááºáá±á¬áºááŒáá« á¥ááá¬á០áá¶áá«ááºáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯á áááºážááᯠá á áºáá±ážáá«áááºá 4 á០1 (á¡áá¬á¡áá¬) ááŒáá·áºáá»áœááºá¯ááºááá¯á·áááááºá) á¡ááŒá áºá¡áá»áẠááŒá áºááœá¬ážááá¯ááºááŒá±ááẠ0.8 () á¡á á¬ážááá¯ážááá¯ááºáá¡á±á¬ááºá . áááºážááẠáá»áœááºá¯ááºááá¯á·á á¡á á±á¬ááá¯ááºážááœááºáá»ááºááŸá¯áá»á¬ážááŸáá·áº ááá¯ááºááá¯ááºáá«áááºá áááºááŒáá¡á±á¬ááºá
áá±á¬ááºáá¯á¶ážá¡ááá·áºááŸá¬ áá«ááᯠáá»áœááºáá±á¬áºááá¯á· áá±á¬ááºáá»ááºáá»áá²á·áá«áááºá ááá¯ááá¯áááºááŸá¬ áááºááẠááŒá±á¬ááºážááŒáẠodds áá¯ááºáá±á¬ááºáá»ááºááœáẠá¡á á¬ážááá¯ážááŸá¯áá áºáᯠááŒá¯áá¯ááºááá¯ááºáááºáᯠááá¯ááá¯áááºá áá»áœááºá¯ááºááá¯á·áááŸááááº-
ááá¯ááºážáá±ááŸáá·áº ááá¯ááºážááŒá± ááŸá áºáá¯áá¯á¶ážááᯠááœá²áá«á ááá¯á·áá±á¬ááº-
á¡áááºá áá»áœááºá¯ááºááá¯á·ááẠáááºááá·áºáá±áá¬ááœááºáá»áŸ á¡ááŸá¬ážá¡ááœááºážáááŸáááŒá±á¬ááºáž áá±áá»á¬á á±áááºá¡ááœááºá áá»áœááºá¯ááºááá¯á·ááẠáá±á¬ááºááẠá á áºáá±ážáá»ááºáá áºáᯠááŒá¯áá¯ááºáá«áááºá á¡ááá·áº 2 ááœááºáá»áœááºá¯ááºááá¯á·á¡ááá¯á· áá¯á¶ážááŒááºáááºá . ááá¯á·áá±á¬áẠáááºááá¯ážááᯠá¡á á¬ážááá¯ážáá«á logistic áá¯á¶á·ááŒááºááŸá¯ function áá²ááá¯á·áá»áœááºá¯ááºááá¯á·áááŸááááºáá»áŸá±á¬áºááá·áºáá¬ážáááºá . áá»áœááºá¯ááºááá¯á· á¡á á¬ážááá¯ážááŒá®áž áááŸááááº-
áá¯ááºáá°áá«áááºá áá»á áºá áœá¬áá±á¬á á¬áááºáá°á áá»áœááºá¯ááºááá¯á·ááẠáá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯á¶á·ááŒááºááŸá¯áá¯ááºáá±á¬ááºáá»ááºááᯠááá¯ááŸáááŸáááŒá®áž á ááºážáááºááá¯ááºáá«ááŒá®á function áá²á· graph ááᯠááŒáá·áºáá¡á±á¬ááºá
Graph 3 "Logistic áá¯á¶á·ááŒááºááŸá¯áá¯ááºáá±á¬ááºáá»ááº"
ááááºááœá²áááºá¡ááœááºáá¯ááº
import math
def logit (f):
return 1/(1+math.exp(-f))
f = np.arange(-7,7,0.05)
p = []
for i in f:
p.append(logit(i))
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()
á á¬áá±ááœáẠá€áá¯ááºáá±á¬ááºáá»ááºá á¡áááºááá¯áááºáž áááºááœá±á·ááá¯ááºáááºá sigmoid áá¯ááºáá±á¬ááºáá»ááº. á¡áááºážááá¯ááºá¡áá¬ááá¹áá¯áá áºáá¯á ááŒá áºááá¯ááºááŒá±ááŸá á¡áááááŒá±á¬ááºážáá²ááŸá¯ááẠá¡áá±á¬áºáá±ážáá±ážáááºáá±á¬ á¡ááœá¬á¡áá±ážá¡ááœááºáž ááŒá áºáá±á«áºááŒá±á¬ááºáž ááááºá ááŸááºážáááºážá áœá¬ááŒáááẠáá áºáá±áá¬ááŸá ááá¯á· .
áá»áœááºá¯ááºááá¯á·á á¡ááŒáœá±ážáá±á·áá¬áá¯á¶ážáááºáá°áᶠááŒááºááœá¬ážááŒá®áž áá»á±ážááœá±ááŒááºáááºááá¯ááºááŒá±ááᯠááœááºáá»ááºáá°áá®áá±ážááẠá¡ááŒá¶ááŒá¯ááá¯áá«áááºá ááá¯ááºáá«á áá±á¬áááºá áºááá«áá² ááœááºááœá¬ááœá¬ážááá·áº á¡áá¹ááá¬ááºááŸáááá¯ááºááẠ:)
ááá¬áž á âá¡áá¬ážá¡áá¬ááŸááá±á¬ ááœá±áá»á±ážáá°áá»á¬ážâ
ááá¬ážááá¯áááºáá®ážáááºáá¯ááº
proba = []
for i in df['f(w,x)']:
proba.append(round(logit(i),2))
df['Probability'] = proba
df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision', 'Probability']]
áá«ááŒá±á¬áá·áº áá»á±ážááœá±ááŒááºáááºááá¯ááºááŒá±ááᯠáá¯á¶ážááŒááºááŒá®ážáá«ááŒá®á áá±áá°áá»á¡á¬ážááŒáá·áºá á€á¡áá¬ááẠá¡ááŸááºááŒá áºáá¯á¶ááááºá
á¡ááŸááºááŸá¬á áá ᬠ120.000 RUR ááŸááá±á¬ Vasya ááẠáá áẠ3.000 RUR ááᯠáááºááá¯á· áá±ážááá¯ááºááá·áº ááŒá áºááá¯ááºááŒá±ááẠ100% áá®ážáá«ážááŒá áºáááºá á áá¬ážáá ááºá á¥ááá¬á¡á¬ážááŒáá·áºá áááºááá°áá«áááẠáá±á¬ááºáááºáá»á¬ážá¡á¬áž áá»á±ážááœá±ááŒááºáááºááá¯ááºááŒá± 0.3 áááºááá¯á áá»á±ážááœá±ááŒááºáááºááá¯ááºááŒá±ááŸááá±á¬ áááºáá áºáá¯á០áá»á±ážááœá±áá¯ááºáá±ážáááºááá¯áá«á áááºáá áºáá¯ááẠLesha á¡á¬áž áá»á±ážááœá±áá¯ááºáá±ážááá¯ááºáááºááᯠáá¬ážáááºááá«áááºá á€ááá á¹á ááœáẠáááºááẠááŒá áºááá¯ááºááŒá±áá¯á¶ážááŸá¯á¶ážááŸá¯á¡ááœáẠááá¯ááŒá®ážáá±á¬ á áááºááœá±ááᯠáááºáá®ážáá±ážááẠááŒá áºáááºá
á¡áááºážáá¯á¶áž 3 áá á¬á០áá±ážáá»á±ááŸá¯á¡áá»áá¯ážááŸáá·áº á¡áá¬ážááẠRUR 5.000 ááŒáá·áº áá»ááºááŸá¬áá»ááºá០áá°áá¬ážáááºááá¯áááºáž áááááŒá¯ááá·áºáááºá ááá¯á·ááŒá±á¬áá·áºá áá»áœááºá¯ááºááá¯á·ááẠáááºážááá°áááºážáá¯á¶á á¶ááœáẠá¡áá±ážáá»á¬ážá vector ááᯠá¡áá¯á¶ážáááŒá¯ááá¯ááºáá«á . áá»áœááºá¯ááºááá¯á·ááẠááááºážááááºážáá»á¬ážááᯠáá»á¬ážá áœá¬áá»áŸá±á¬á·áá»ááẠááá¯á¡ááºááŒá®áž á€ááá á¹á ááœáẠáá»áœááºá¯ááºááá¯á·ááẠááááºážááááºážáá áºáá¯á á®ááᯠ25.000 ááŒáá·áº ááá¯ááºážááŒá¬ážáá¬ážáááºá ááá¯ááá¯áááºááŸá¬ á¡ááŸá áºáá¬áá¡á¬ážááŒáá·áº áá»áœááºá¯ááºááá¯á·ááẠááááºááᯠáá»áááºááŸááá¬ážáá«áááºá ááá¯á·áá±á¬áº á€á¡áá¬á¡á¬áž áááŠážá¡ááá·áºááœáẠá¡ááŒá±á¬ááºážá¡áá¬ááᯠáá¬ážáááºááœááºá á±ááẠá¡áá°ážááŒá¯áá¯ááºáá¬ážáá«áááºá ááááœááºá áá»áœááºá¯ááºááá¯á·ááẠááááºážááááºážáá»á¬ážááᯠáá®ááœááºááŒá®áž áá»áááºááŸáááẠáááá¯á¡ááºáá² áááºážááá¯á·ááᯠááŸá¬ááœá±áá«á áá±á¬ááºážáá«ážá áá±á¬ááºá¡ááá¯ááºážáá»á¬ážááœáẠáá«áá¬áá®áá¬áá»á¬ážááᯠááœá±ážáá»ááºáá¬ážááá·áº áá®áá»áŸááŒááºážáá»á¬ážááᯠáá±á¬ááºááŸá¯ááºáá«áááºá .
04. á¡áá±ážá vector ááá¯áá¯á¶ážááŒááºááẠá¡áááºážáá¯á¶ážá áá¯áááºážáá¯á¶áááºážáááºáž logistic áá¯á¶á·ááŒááºááŸá¯áá¯ááºáá±á¬ááºáá»ááºááœááº
á¡áá±ážááá¯á¶ááá¹áá¬ááºááá¯ááœá±ážáá»ááºáááºá¡ááœáẠá€áááºážáááºážááᯠáá»áœááºá¯ááºááá¯á·áááá¬ážááŒá®ážááŒá áºáááºá áááºááᯠá¡áááºážáá¯á¶áž ááŸá áºáááºáááºážáááºáž (LSM) ááááºáá±á¬á·á á¡á²áá«ááᯠbinary á¡áá»áá¯ážá¡á á¬ážááœá²ááŒá¬ážááŒááºážááŒá¿áá¬ááœá±ááŸá¬ áá¬ááŒá±á¬áá·áºááá¯á¶ážáá¬áá²á á¡ááŸááºááááºáá±á¬á· áááºá¡áá¬áá០ááá·áºááᯠáá¯á¶ážá áœá²ááŒááºážá០áá¬ážáá®ážááááºáááºááŸá¬ ááá¯ááºáá«áá°ážá MNCá¡áá»áá¯ážá¡á á¬ážááœá²ááŒááºážááá¯ááºáᬠááŒá¿áá¬áá»á¬ážááœáẠá€áááºážáááºážááᬠáááá»ááŸá¯áááºážáá±á¬ ááááºáá»á¬ážááᯠáá±ážáááºá áá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯á¶ážááŸá¯á¶ážááŸá¯. áá®á¡ááœáẠáá®á¡áá¯áá®á¡ááŒá±áá¶ááŸááá«áááºá ááá¯ážááŸááºážáá²á· á¥ááá¬áá áºáá¯ááᯠá¡áááºááŒáá·áºáá¡á±á¬ááºá
áá»áœááºá¯ááºááá¯á·á áá±á¬áºáááºáá»á¬ážááᯠ(á¡áá¯á¶ážááŒá¯áááº) áᯠáá°áááŒáá«á áá¯á· MSE О áá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯á¶ážááŸá¯á¶ážááŸá¯) á¡áá±ážá vector ááá¯á áááºááœá±ážáá»ááºááŒá®ážááŒá áºáááºá ááŒá®ážáá±á¬á· ááœááºáá»ááºááŸá¯ááᯠá¡ááá·áºáá áºááá·áºááŸá¬ áááºááá·áºááá¯ááºáááºá á¡áááºááŸá¬áá²ááŒá áºááŒá áºá á¡áá¯á¶ážááŸá¬áá²ááŒá áºááŒá Ạá¡á ááŸá¬áá²ááŒá áºááŒá Ạá¡áá±ážáááŒá®ážáá«áá°ážá á¡áááááá±á¬á· áá»áœááºáá±á¬áºááá¯á·ááŸá¬ á¡áá±ážáá»áááºáá²á· vector áá²á·áááºááá¯ážá¡áá»áá¯á·ááŸáááŒá®ážá áá®á¡ááá·áºááŸá¬á á¡áá±ážáá»áááºáá²á· vector ááá¯á· áá°áááŒáá«á áá¯á·á áá±á¬áºáááºááŸá áºáá»áá¯ážáá¯á¶ážá¡ááœáẠááœá¬ááŒá¬ážááŸá¯áááŸááá«á ááŒá®ážááẠááá¬áá²á· á¡áá±ážááœá±ááᯠáá°ááŒá®áž á¡á á¬ážááá¯ážááá¯ááºáá«á áá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯á¶á·ááŒááºááŸá¯áá¯ááºáá±á¬ááºáá»áẠ() class áá²á· áááºááá¯ááºáá²á· á¡áá¬áá áºáá»áá¯á·á¡ááœáẠ. á¡áá±ážáá»áááºáááœá±ážáá»ááºáá¬ážáá±á¬áá¯á¶ááá¹áá¬ááºááŸáá·áºá¡áá® áá»áœááºá¯ááºááá¯á·ááá±á¬áºáááºááẠá¡ááœááºááŸá¬ážááœááºážáá±ááŒá®áž á¡ááŒááºá¡ááŸááºá¡á¬ážááŒáá·áº áá±á¬áºáááºááẠá¡áá¬ááá¹áá¯ááᯠá¡áááºážááá¯ááºááŒá áºááŒá±á¬ááºáž á¡ááœááºáá¯á¶ááŒááºááŸá¯ááŸááá±á¬á¡áá«á . á¡áá¯á¶ážááŒá¯áá²á·á¡áá« áááºááá¯áááºááŒá±ážááœá± áá±ážááá²ááá¯áᬠááŒáá·áºááá¯ááºáá¡á±á¬áẠMNC О áá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯á¶ážááŸá¯á¶ážááŸá¯.
á¡áá¯á¶ážááŒá¯áá¬ážáá±á¬ áá¯á¶ážááŸá¯á¶ážááŸá¯áá±á«áºáá°áááºá ááŒá áºáááºáá»á¬ážááᯠááœááºáá»ááºááẠCode
# клаÑÑ ÐŸÐ±ÑекÑа
y = 1
# веÑПÑÑМПÑÑÑ ÐŸÑМеÑÐµÐœÐžÑ ÐŸÐ±ÑекÑа к клаÑÑÑ Ð² ÑППÑвеÑÑÑвОО Ñ Ð¿Ð°ÑаЌеÑÑаЌО w
proba_1 = 0.01
MSE_1 = (y - proba_1)**2
print 'КÑÑÐ°Ñ MSE пÑО гÑÑбПй ПÑОбке =', MSE_1
# МапОÑеЌ ÑÑМкÑÐžÑ ÐŽÐ»Ñ Ð²ÑÑОÑÐ»ÐµÐœÐžÑ f(w,x) пÑО ОзвеÑÑМПй веÑПÑÑМПÑÑО ПÑМеÑÐµÐœÐžÑ ÐŸÐ±ÑекÑа к клаÑÑÑ +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
return math.log(proba/(1-proba))
LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'КÑÑÐ°Ñ Log Loss пÑО гÑÑбПй ПÑОбке =', LogLoss_1
proba_2 = 0.99
MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))
print '**************************************************************'
print 'КÑÑÐ°Ñ MSE пÑО ÑОлÑМПй ÑвеÑеММПÑÑО =', MSE_2
print 'КÑÑÐ°Ñ Log Loss пÑО ÑОлÑМПй ÑвеÑеММПÑÑО =', LogLoss_2
ááœá²ááŸá¬ážááŸá¯áá áºáᯠ- áá±á¬áºáááºááẠá¡áá¬ááá¹áá¯áá áºáá¯ááᯠá¡áááºážáá áºáá¯ááá¯á· áááºááŸááºáá±ážáááºá ááŒá áºááá¯ááºááŒá± 0,01 ááŸáá·áº
á¡áá¯á¶ážááŒá¯ááŸá¯á¡ááœáẠááŒá
áºááẠMNC ááŒá
áºáááá·áºáááº-
á¡áá¯á¶ážááŒá¯ááŸá¯á¡ááœáẠááŒá
áºááẠáá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯á¶ážááŸá¯á¶ážááŸá¯ ááŒá
áºáááá·áºáááº-
ááá¯ááºáá¬áá±á¬áá¯á¶ááŒááºááŸá¯ááŸááá±á¬ááá á¹á - áá±á¬áºáááºááẠá¡áá¬ááá¹áá¯áá áºáá¯ááᯠá¡áááºážáá áºáá¯ááá¯á· áááºááŸááºáá±ážáááºá ááŒá áºááá¯ááºááŒá± 0,99 ááŸáá·áº
á¡áá¯á¶ážááŒá¯ááŸá¯á¡ááœáẠááŒá
áºááẠMNC ááŒá
áºáááá·áºáááº-
á¡áá¯á¶ážááŒá¯ááŸá¯á¡ááœáẠááŒá
áºááẠáá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯á¶ážááŸá¯á¶ážááŸá¯ ááŒá
áºáááá·áºáááº-
á€á¥ááá¬ááẠáá¯á¶ážá ááŸá¬ážááœááºážááŸá¯áá áºáá¯ááœáẠáá¯á¶ážááŸá¯á¶ážááŸá¯áá¯ááºáá±á¬ááºáá»ááºááᯠáá±á¬ááºážá áœá¬áá±á¬áºááŒáááºá áá±á¬á·ááºáá»ááŒááºážá áá±á¬áºáááºááẠáááááá¬áᬠá¡ááŒá áºáá±ážáááºá MSE. Loss Function ááᯠá¡áá¯á¶ážááŒá¯ááŒááºáž áá®á¡áá¯áá® áá±á¬ááºáᶠá¡ááŒá±á¬ááºážá¡áááºážááᯠááᯠáá¬ážáááºááŒáá«á áá¯á· áá±á¬á·ááºáá»ááŒááºážá á¡áá»áá¯ážá¡á á¬ážááœá²ááŒá¬ážááŸá¯ááŒá¿áá¬áá»á¬ážá
05. á¡áá»á¬ážáá¯á¶ážááŒá áºááá¯ááºááŒá±áááºážáááºážááŸáá·áº áá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯ááºáá¯ááºááŸá¯
á¡á ááœáẠáááááŒá¯áá¬ážááá·áºá¡ááá¯ááºáž áá±á¬ááºážáá«ážááẠááá¯ážááŸááºážáá±á¬ á¥ááá¬áá»á¬ážááŒáá·áº ááŒáá·áºáá±áááºá á áá°áá®ááá¯ááœááºá¡ááŒá¬ážá¥ááá¬ááŸáá·áºá§áá·áºáááºáá±á¬ááºážáá»á¬áž - áááºááœá±áá»á±ážáá°áá»á¬áž - Vasyaá Fedya ááŸáá·áº Lesha á
á¥ááá¬á¡á¬ážááŒáá·áºá á¥ááá¬áááŒá¯á á¯áá®á áá»áœááºá¯ááºááá¯á·ááẠáááºááááºáž ááá¯á·ááá¯áẠáá¬ááŸáá·áºáá»á®áá±á¬ á¡áá¬ááá¹áá¯áá±á¬ááºáá±á«ááºážáá»á¬ážá áœá¬á áá±á·áá»áá·áºááá°áá¬ááá°áá¬áá áºáá¯ááŸáá·áº áááºáá¶áá±áááŒá±á¬ááºáž áá»áœááºá¯ááºá¡á¬áž ááááá±ážáá«áá á±á ááá¯á·áá±á¬áºá á€áá±áá¬ááœáẠááááºážááá¬ááºážáá»á¬ážááᯠáá±áá¬ááá¬ááŸááºáá áºáŠážááŠážáá±á«ááºážáá²ááá¯á· á¡ááœááºááá° ááá¯ááºáá»á±á¬áá®ááœá±ááŒá áºá á±áááºá¡ááœáẠáááºážááá¯á·ááᯠáá±á¬ááºáá°áá¬ážáááºá
ááá°áá¬ááᯠááŒááºááŒáá·áºáá¡á±á¬ááºá algorithm á Lesha ááá¯ááá¯ááºááá¯á·ááŒá±á¬áá²á·áá±ááá·áº áááºáá«ááá¯ááºáá¬á ááá¯á¡ááºáá±áá²á·áá°ááá¯ááºážááᯠáá»á±ážááœá±áá¯ááºáá±ážááá¯á· áá¯á¶ážááŒááºáá²á·áá¬ááᯠá áááºáá°ážááŒáá·áºáá¡á±á¬ááºáá«á ááá¯áá±á¬á· á¡áá»áááºá¡áá±á¬áºááŒá¬ááœá¬ážáá«ááŒá®á áá°áá²áá±á¬ááºážáá¯á¶ážáá±á¬ááºáá²á áááºáá°á áá»á±ážááœá±ááᯠááŒááºáááºááŒá®áž áááºáá¬á ááŒááºááááºáá°ážááá¯áᬠááááœá¬ážáá«ááŒá®á áá»áŸá±á¬áºááá·áºáááá·áºá¡áá¬- Vasya ááŸáá·áº Fedya ááẠáá»á±ážááœá±ááᯠááŒááºáááºáá²á·áá±á¬áºáááºáž Lesha á ááá±ážáá²á·áá«á ááᯠá€ááááºááẠáá»áœááºá¯ááºááá¯á·á¡ááœáẠáá±á·áá»áá·áºááŸá¯ááá°áá¬á¡áá áºááŒá áºáá¬áááºááᯠááœá±ážááŒáá·áºááŒá áá¯á·á áá áºáá»áááºáááºážááœááºá áá»á±ážááœá±ááŒááºáááºááá¯ááºááŒá±ááᯠááœáŸááºážááá¯ážááá¯ááºááá·áºá¡áá»ááºáá»á¬ážááá¯ááºáᬠá¡áá»ááºá¡áááºá¡á¬ážáá¯á¶áž (áá»á±ážáá°ááá á¬á áá ááºáá±ážáá»á±ááŸá¯ááá¬á) áá»á±á¬ááºááœááºááœá¬ážááá²á·ááá¯á· ááŒá áºáá±áá«áááºá ááá¯á·áá±á¬áẠáááºááá¯ááºá¡á¬ážááŒáá·áºá áááááá»á±ážáá°ááá¯ááºážááẠáááºááá¯á· áá»á±ážááœá±ááŒááºááááºááŒááºáž ááá¯á·ááá¯áẠáá áºáááºážá¡á¬ážááŒáá·áº áá»á±ážááœá±ááŒááºáááºááá·áº áá±á¬ááºáá»á±ážáá°á ááŒá áºááá¯ááºááŒá± ááŒá áºááá¯ááºááŒá±ááᯠáá»áœááºá¯ááºááá¯á· áá°áááá¯ááºáááºá . á€á¡ááá¯ááá¯ááááŒááºáá°ááá»ááºááẠáá®á¡áá¯áá®ááá¯ááºáᬠá¡áááºááŒá¯áá»ááºá¡áá±á«áº á¡ááŒá±áá¶áá¬ážáááºá á¡áá»á¬ážáá¯á¶ážááŒá áºááá¯ááºááŒá±áááºážáááºážá á¬áá±áá»á¬ážááœáẠáááŒá¬áá áá±á«áºáá±á«áºááŒáááºá á¡áá»á¬ážáá¯á¶ážááŒá áºááá¯ááºááŒá±áááá¬á.
áŠážá áœá¬á á¡áá°á¡áááá¯ááºáᬠááá¹ááá¬ážááŸáá·áº áááºážááŸá®ážáá¡á±á¬ááºá
ááá°áá¬áá°ááœááºááŸááááºá ááá¯ááá¯á·áá±á¬ááá°áá¬ááᯠá¡ááá¡áá»áááŸáááẠááŒá áºááá¯ááºááŒá±á á¡ááá¡áá» ááá¯áá²á·ááá¯á· áá±á·áá¬ááœá±á·ááŸááá»ááºáá»á¬áž/ááááºáá»á¬ážááᯠááá°ááŒááºážááŒá áºáááºá ááá¯ááá¯áááºááŸá¬á ááá°áá¬ááááºáá áºáá¯á á®ááá¯áááŸáááŒááºážáááŒá áºááá¯ááºááŒá±áá»á¬ážááá¯ááºáá¯áẠ(á¥ááá¬á Vasyaá Fedya ááŸáá·áº Lesha ááá»á±ážááœá±ááá¯áá áºááŒáá¯ááºáááºáááºážááŒááºáááºáááºááŒá áºá á±á ááááºáááºááŒá áºá á±)á
ááŒá áºááá¯ááºááŒá± áá¯ááºáá±á¬ááºáá»áẠááá°áá¬áá áºáá¯áááŒá áºááá¯ááºááŒá±ááᯠááŒáá·áºááŒá°ážááŸá¯áá±á¬ááºáá»á¬ážá áááºááá¯ážáá»á¬ážááŸáá·áº áááºá ááºáááºá
áá»áœááºá¯ááºááá¯á·áá¡ááŒá±á¡áá±ááœááºá áá±á·áá»áá·áºáá±ážááá°áá¬ááẠáá±áá°áá»á¡á¬ážááŒáá·áº Bernoulli á¡á á®á¡á ááºáá áºáá¯ááŒá áºááŒá®áž áá»áááºáž variable ááẠáááºááá¯ážááŸá áºáá¯áá¬áá°áááº- ááá¯á·ááá¯áẠ. ááá¯á·ááŒá±á¬áá·áº ááá°áá¬ááŒá áºááá¯ááºááŒá±ááᯠáá«áá¬áá®áá¬á ááŒá áºááá¯ááºááŒá±áá¯ááºáá±á¬ááºáá»ááºáá áºáá¯á¡ááŒá Ạáá±ážáá¬ážááá¯ááºáááºá á¡á±á¬ááºáá«á¡ááá¯ááºáž:
á¡áááºáá« ááá·áºááœááºážáá»ááºááᯠá¡á±á¬ááºáá«á¡ááá¯ááºáž á¡áááá¹áá¬ááºááœáá·áºááá¯ááá¯ááºáá«áááºá Vasya ááŸáá·áº Fedya áá»á±ážááœá±ááŒááºáááºááá·áº áá°ážááœá²ááŒá áºááá¯ááºááŒá±ááẠáá®áá»áŸáááºá Lesha ááẠáá»á±ážááœá±ááŒááºááááºááá¯ááºááá·áº ááŒá áºááá¯ááºááŒá±ááŸáá·áº áá®áá»áŸáááºá (ááŒá áºáá»ááºáá²á·áá±á¬ áá»á±ážááœá±ááŒááºáááºááŒááºážááá¯ááºáá±á¬ááŒá±á¬áá·áº) ááá¯á·ááŒá±á¬áá·áº ááŒá áºáááºáá¯á¶ážáá¯á áá¯á¶ážá áá°ážááœá²ááŒá áºááá¯ááºááŒá±ááẠáá°áá®áá«áááºá .
ááŒá áºááá¯ááºááŒá±á¡áá»á¬ážáá¯á¶ážáááºážáááºáž ááá¬áááᯠáá»á²á·ááœááºááŒááºážááŒáá·áº á¡áááºááá ááá·áºáááºáá»ááºáá áºáá¯ááᯠááá·áºááŸááºážááẠáááºážáááºážáá áºáá¯ááŒá áºáááºá ááŒá áºááá¯ááºááŒá±ááŸááá±á¬áá¯ááºáá±á¬ááºáá»ááºáá»á¬áž. áá»áœááºá¯ááºááá¯á·áá¡ááŒá±á¡áá±ááœááºá áá»áœááºá¯ááºááá¯á·ááẠááá¯ááá¯á·áá±á¬áááºááá¯ážááá¯ááŸá¬ááœá±ááẠááá¯á¡ááºáá«áááºá áááºááŸá¬áá²á áááºážáá¡ááŒáá·áºáá¯á¶ážáá±á¬ááºááŸáá
á¡ááŸááºáááẠá áááºáá°ážá áááºá áá¬ááá² - ááŒá áºááá¯ááºááŒá± áá¯ááºáá±á¬ááºáá»áẠá¡áá»á¬ážáá¯á¶áž áá±á¬ááºááœá¬ážáá²á· á¡áááºááá áá±á¬ááºáá áºáá¯áá²á· áááºááá¯ážááᯠááŸá¬ááá¯á·á á¡áá¯ááºáá®áá¬á áá áºááŒá áºááŸá¬ ááá°áá¬áá áºáá¯ááẠáá°áŠážáá±ááŸáá·áºáááºáááºááá·áº áá áºáá¯áááºážáá±á¬ á¡ááááá¬á¡áááºážá¡ááŒá áºááŒá áºáááºáá°áá±á¬ á¡áá°á¡áá០áááºážáááºáá¬ááŒááºážááŒá áºáááºá áá°áŠážáá±á¡ááŒá±á¬ááºáž áá»áœááºá¯ááºááá¯á·áááá¬ážááá»áŸááᯠááá°áá¬ááœáẠáá±á¬áºááŒáá¬ážáá«áááºá ááá¯á·ááŒá±á¬áá·áºá áá»áœááºá¯ááºááá¯á·ááŒá±á¬ááá¯ááºáááºááŸá¬ ááá°áá¬áá áºáá¯ááẠáá»áœááºá¯ááºááá¯á·á¡ááœááºáááŸáááá¯ááºáá±á¬ áá°áŠážáá±á á¡ááŸááºáááºáá¯á¶ážáááºáááºááŸá¯ááŒá áºááẠá ááá¯á·ááŒá±á¬áá·áºá áááŸáááá¯ááºáá±á¬ááá°áá¬ááẠááŒá áºááá¯ááºááŒá±á¡ááŸááá¯á¶ážááŒá áºáá¬ááá·áº ááá·áºáááºáá»ááºáá áºáá¯ááᯠááŸá¬ááœá±ááẠááá¯á¡ááºáá«áááºá
áááºááŸá¬ážáááºááŸá¬á áá»áœááºá¯ááºááá¯á·ááẠáá¯ááºáá±á¬ááºááŸá¯áá áºáá¯á ááœááºáá²áá±á¬á¡áá»ááºááᯠááŸá¬ááœá±áááºááá¯á¡ááºááá·áº ááá¯ááá¯áá±á¬ááºážááœááºá¡á±á¬ááºáá¯ááºáá±á¬ááºááŸá¯ááŒá¿áá¬áá áºáá¯ááŸáá·áº áááºááá¯ááºáá±ááááºááŸá¬ áááºááŸá¬ážáá«áááºá ááœááºáá²áá±á¬á¡ááŸááºááá¯ááŸá¬áááºá áááá¡ááŸá¬á á¬á¡ááŒá±á¡áá±á ááá¯ááá¯áááºááŸá¬á áá¯ááºáá±á¬ááºáá»ááºááááºážáááºááŸá¯ááᯠáá¯áááŸáá·áºáá®áá»áŸá á±ááŒá®áž ááá¯áá»ááºáá±á¬áá±á¬ááºááŸáá·áºá ááºáá»ááºážááŒá®áž áá®áá»áŸááŒááºážááá¯ááŒá±ááŸááºážááẠááá¯á¡ááºáááºá ááá¯á·áá±á¬áºá á¡áá»ááºáá»á¬ážá áœá¬á áá¯ááºáá¯ááºáá áºáá¯á áááºážáááºáá¬ááŸá¯ááᯠááŸá¬ááœá±ááŒááºážááẠááŸááºáá»á¬ážáá±á¬á¡áá¯ááºááŒá áºááá¯ááºáááºá áááºážááá¯ááŸá±á¬ááºááŸá¬ážáááºá áá±á¬á·ááá áºáááºááá¯á·ááŒá±á¬ááºážááẠá¡áá°ážáááºážáááºážáá áºáá¯ááŸááá«áááºá ááŒá áºááá¯ááºááŒá±ááŸááá±á¬áá¯ááºáá±á¬ááºáá»ááºáá»á¬áž. áááºážááá¯á· á¡ááœááºáá°ážááŒá±á¬ááºážááŸá¯ á¡áááºááŒá±á¬áá·áº ááŒá áºááá¯ááºááááºážá áá»áœááºá¯ááºááá¯á·ááẠáá¯ááºáá±á¬ááºáá»ááºááá¯ááºááá¯ááºá ááœááºáá²ááŸá¯ááᯠááŸá¬ááœá±áá±ááŒááºážááá¯ááºáá°áá±á¬á¡áá»ááºááᯠá¡á¬áá¯á¶á áá¯ááºááŒáá«á áá¯á·ááŸáá·áº extremum pointá ááá¯ááá¯áááºááŸá¬ á¡áááºááá ááá·áºáááºáá±á¬ááºááááºááá¯áž áááºááŸá¬áá²á áááºážáá¡ááŒáá·áºáá¯á¶ážáá±á¬ááºááŸáá áá±á¬á·ááá áºáááºááá¯á· ááœáŸá±á·áá±á¬á¡áá«á ááŒááºážáááºáá±á¬á¡ááŸááºááẠáááŒá±á¬ááºážáá²áá² (á¡ááœááºá¡ááááºáá°á·áá¬áá° ááœá²ááŒá¬ážáá±á¬áºáááºáž) áá±á¬á·ááá áºáááºááẠááá¯ááá¯ááá¯áá áºáá¯ááºáá±á¬ááºáá»ááºááŒá áºáá±á¬ááŒá±á¬áá·áº ááŒá áºáááºá
á¡áááºáá±á¬áºááŒáá«ááŸáá·áºá¡áá® Vasyaá Fedya ááŸáá·áº Lesha ááá¯á·á០áá»á±ážááœá±áá»á¬ážááŒáá·áº áá»áœááºá¯ááºááá¯á·áá á¶ááá°áá¬ááᯠáááºáááºáá±á¬áºáá±á¬ááºááŒáá«á áá¯á·á á¡áááºáá¯á¶áž áááºááœá¬ážáá¡á±á¬áẠááŒá áºááá¯ááºááŒá± áá¯ááºáá±á¬ááºáá»ááºá áá±á¬á·ááá áºáááº:
ááá¯áá»áœááºá¯ááºááá¯á·ááẠá áá¬ážá¡áá¯á¶ážá¡ááŸá¯ááºážááᯠá¡ááœááºááá°ááœá²ááŒá¬ážááá¯ááºááŒá®ááŒá áºáááºá :
áá±á¬ááºáá¯á¶ážá¡áá±ááŸáá·áºá áááá¡ááŸá¬á á¬á¡ááŒá±á¡áá±á¡á¬áž áá¯á¶ážáááºááŒáá·áºáá«- áá»áœááºá¯ááºááá¯á·ááẠáá¯ááºáá±á¬ááºáá»ááºá áááºážáááºááŸá¯ááᯠáá¯áááŸáá·áº áá®áá»áŸáááº-
ááá¯á·ááŒá±á¬áá·áº áá»á±ážááœá±ááŒááºáááºááá¯ááºááŒá±á á¡ááá¯ááá¯ááááŒááºááá¯ááºáá±á¬ ááá·áºááŸááºážáá»áẠáá®á¡áá¯áá®á¡á ááá¬ážáá»áŸááá²á·áááºá
áá±á¬ááºážáááºá áá«áá±ááá·áº á¡áᯠáá®á¡áá»ááºá¡áááºáá²á· áá¬áá¯ááºááá·áºáá²á áááá áá»á±ážáá°ááá¯ááºážá áááºááᯠááá¯ááºáá¶ááŒááºááá±ážáá°áž ááá¯á· áá°áááẠáá±á¬ááºááᯠáááœáŸá²áááŸá±á¬ááºáᬠáá±áá«áá®áá¶ááœá¬ážááŸá¬áá«á áá«ááŸááºáá«áááºá áá«áá±ááá·áº áá»á±ážááœá±ááŒááºáááºááá¯ááºááŒá±ááᯠá¡áá²ááŒááºáá²á·á¡áá«ááŸáᬠáá®áá»áŸáá«áááºá áá»á±ážááœá±ááŒááºáááºááŸá¯á¡áá±á«áº áááºáá±á¬ááºááŸá¯ááŸááá±á¬ á¡áá»ááºáá»á¬áž- áá»á±ážáá°áá°ááá á¬ááŸáá·áº áá ááºáá±ážáá»á±ááŸá¯á¡ááœááºá¡á á¬ážááá¯á·ááᯠááá·áºááœááºážááœááºáá»ááºáá¬ážááŒááºážáááŸááá«á á€áá°áá®áá±á¬á¡áá»ááºáá»á¬ážááᯠááá·áºááœááºážá ááºážá á¬ážá áá¯á¶ážá áœá²áá°áá áºáŠážá á®á០áá»á±ážááœá±ááŒááºáááºááá¯ááºááŒá±ááᯠááááºá ááœááºáá»ááºáá²á·ááŒá±á¬ááºáž ááŸááºáá¬ážáá¬ážááŒáá«á áá¯á·á ááááºážáá±áááºážáá°áá®áá»áŸááŸáá·áº áá»áœááºá¯ááºááá¯á· áááŸáááá¯ááºáá±á¬ ááŒá áºááá¯ááºááŒá±áá»á¬ážááẠáá¯áá¹áááááºážáá«áááºá .
ááá°áá¬áá»á¬ážá ááŒá áºááá¯ááºááŒá±ááᯠáááºááŸááºááŒáá«á áá¯á·á
ááá°áá¬ááŒá áºááá¯ááºáá»á±áá»á¬ážááᯠááœááºáá»ááºáááºá¡ááœáẠáá¯ááº
from functools import reduce
def likelihood(y,p):
line_true_proba = []
for i in range(len(y)):
ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
line_true_proba.append(ltp_i)
likelihood = []
return reduce(lambda a, b: a*b, line_true_proba)
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]
print 'ÐÑавЎПпПЎПбОе вÑбПÑкО пÑО кПМÑÑаМÑМПЌ зМаÑеМОО p=2/3:', round(likelihood(y,p_const),3)
print '****************************************************************************************************'
print 'ÐÑавЎПпПЎПбОе вÑбПÑкО пÑО ÑаÑÑеÑМПЌ зМаÑеМОО p:', round(likelihood(y,p_log_response),3)
ááááºážáá±áááºááá¯ážááœáẠááá°áá¬ááŒá áºááá¯ááºááŒá± :
á¡ááŒá±á¬ááºážáááºážáá»á¬ážááᯠááá·áºááœááºážá ááºážá á¬ážá áá»á±ážááœá±ááŒááºáááºááá¯ááºááŒá±ááᯠááœááºáá»ááºáá¬ááœáẠááá°áá¬ááŒá áºááá¯ááºááŒá± :
á¡áá»ááºáá»á¬ážáá±á«áºáá°áááºá ááœááºáá»ááºáá¬ážáá±á¬ ááŒá áºááá¯ááºááŒá±ááŸááá±á¬ ááá°áá¬áá áºáá¯á ááŒá áºááá¯ááºááŒá±ááẠááááºážáá±ááŒá áºááá¯ááºááŒá±áááºááá¯ážááŸáá·áºá¡áá° ááŒá áºááá¯ááºááŒá±ááẠááá¯áá»á¬ážáá±áá«áááºá áá«áá¬ááá¯ááá¯ááá¯áá¬áá«áá²? áááºážá¡áá»ááºáá»á¬ážááŸáá·áºáááºáááºá á¡ááááá¬ááẠáá±á¬ááºáááºáá áºáŠážá á®á¡ááœáẠáá»á±ážááœá±ááŒááºáááºááá¯ááºááŒá±ááᯠááá¯ááá¯áááá»á áœá¬ááœá±ážáá»ááºááá¯ááºá á±ááŒá±á¬ááºáž á¡ááŒá¶ááŒá¯áá¬ážáááºá ááá¯á·ááŒá±á¬áá·áº áá±á¬ááºáá»á±ážááœá±áá¯ááºáá±ážááá·áºá¡áá«á á¡ááŒáœá±ážááŒááºáááºááá¯ááºááŒá±ááᯠá¡áá²ááŒááºáááºá¡ááœáẠáá±á¬ááºážáá«ážá á¡ááá¯ááºáž 3 áá¡áá¯á¶ážááœáẠá¡ááá¯ááŒá¯áá¬ážáá±á¬áá¯á¶á á¶ááᯠá¡áá¯á¶ážááŒá¯ááŒááºážááẠááá¯ááá¯ááŸááºáááºáááºááŒá áºáááºá
áá«áá±ááá·áº á¡á²áá«ááᯠááá¯áá»ááºáááºáá±á¬á· á¡ááŒá®ážáá»ááºáá¯á¶ážáá±á«á·á ááá°áᬠááŒá áºááá¯ááºááŒá± áá¯ááºáá±á¬ááºáá»ááºááá¯á·ááŒá±á¬áá·áº Vasyaá Fedya ááŸáá·áº Lesha á¡ááœáẠááŒá áºááá¯ááºááŒá±áá»á¬ážááᯠáá¯ááºáá±ážááá·áº algorithm á¡áá»áá¯á·ááᯠá¡áááºááŒá±á¬áá·áº ááá¯á¶ážáá«ááááºážá á¥ááá¬á 0.99á 0.99 ááŸáá·áº 0.01 á¡áá®ážáá®áž áá°áá®áá«áááºá ááá¯ááá¯á·áá±á¬ á¡ááºáááá¯áá®áááºáá áºáá¯ááẠáá±á·áá»áá·áºáá±ážááá°áá¬ááœáẠáá±á¬ááºážááœááºá áœá¬áá¯ááºáá±á¬ááºááá¯ááºááẠááŒá áºáá±á¬ááºážááŒá áºááá¯ááºáááºá áááºážááẠááá°áá¬ááŒá áºááá¯ááºááŒá±áááºááá¯ážááᯠááá¯ááá¯áá®ážá ááºá á±áááºááŒá áºáá±á¬ááŒá±á¬áá·áºá ááá¯á·áá±á¬áº ááááŠážá áœá¬á ááá¯ááá¯á·áá±á¬ á¡ááºáááá¯áá®áááºááẠáá±áá°áá»áááºááŸááºááá¯ááºááŸá¯ááœáẠá¡áááºá¡áá²áá»á¬ážá áœá¬ááŸáááá¯ááºááŒá®áž áá¯áááá¡áá»ááºááŸá¬á á€á¡ááºáááá¯áá®áááºááẠáá»ááºážááŒá±á¬áá·áºááŒá áºáááºááá¯ááºáá«á á¡áááºá overtraining ááᯠááá¯ááºáá»ááºááá·áº áááºážáááºážáá»á¬áž (á¡áá®á¡áá»áŸ á¡á¬ážáááºážáá±á¬ áá±áá°áá» á áœááºážáááº) ááᯠá€áá±á¬ááºážáá«ážá á¡á á®á¡á ááºááœáẠááŸááºážááŸááºážáááºážáááºáž ááá«áááºáá«áá áá¯áááá¡áá»ááºááᯠááá¯ááá¯á¡áá±ážá áááºááŒáá·áºááŒáá«á áá¯á·á áá®ááá¯áá¯ááºááá¯á·á ááá¯ážááŸááºážáá²á·áá±ážááœááºážááá¯ááŒá±áá«á áá»á±ážááœá±ááŒááºáááºáá¬ááœáẠVasya ááŸáá·áº Fedya áááŒá áºááá¯ááºááŒá±ááẠáá»áœááºá¯ááºááá¯á·áááá¬ážááá·áºá¡áá»ááºáá»á¬ážááᯠááá·áºááœááºážá ááºážá á¬ážááŒá®áž áá°áá®ááá¯ááºáá«ááá¬ážá á¡áá¶áá¯áá¹ááááŸá¯áá±á¬áá·áºááá±ááŒáá·áºáá¬áá±á¬á· ááá¯ááºáá°ážá á¡á²áá«á ááá¯ááºááá¯ááºáá°ážá ááá¯á·ááŒá±á¬áá·áº Vasya áááºáá»á±ážááœá±ááŒááºáááºáááºáá áºááá»áŸáẠ2.5% ááŸáá·áº Fedya - 27,8% áá®ážáá«ážá áááẠ2 ááœááºáááºáž âClient á¡áá»áá¯ážá¡á á¬ážááœá²ááŒá¬ážááŒááºážâ ááœáẠVasya ááẠFedya ááẠá¡áááºážáá»á¬ážááᯠááá¯ááºážááŒá¬ážááá·áºáá»ááºážááŸáá·áº áá»á¬ážá áœá¬áá±ážááœá¬áááºááᯠáá»áœááºá¯ááºááá¯á·ááœá±á·ááŒááºáááºá áá±á¬ááºáá¯á¶ážá¡áá±áá²á· áá»áœááºáá±á¬áºááá¯á· function ááá¯áááá«áááºá Vasya ááŸáá·áº Fedya á¡ááœáẠááá°áá®áá±á¬áááºááá¯ážáá»á¬ážááᯠVasya á¡ááœáẠ4.24 ááŸáá·áº Fedya á¡ááœáẠ1.0 ááŒá áºáááºá á¥ááá¬á Fedya ááẠááá¯ááá¯ááŒá®ážáá¬ážáá±á¬á¡á á®á¡á á¥áºáá áºáá¯ááá²á·áá«á ááá¯á·ááá¯áẠáá±ážáááºáá±á¬áá»á±ážááœá±áá áºáá¯áá±á¬ááºážáá«áá Vasya ááŸáá·áº Fedya á¡ááœááºáá»á±ážááœá±ááŒááºáááºááŒááºážáááŒá áºááá¯ááºááŒá±áá»á¬ážááŸá¬ á¡áá¬ážáá°áááºááŒá áºáááºá áá áºáááºážá¡á¬ážááŒáá·áº linear ááŸá®ááá¯ááŸá¯ááᯠááŸáá·áºá á¬ážááá¯á·áááá«áá°ážá á¡ááŸááºáááẠááœááºáá»áŸááºáááºáž á¡áá±ážáá¬áá«áááºá ááŒá®ážáá±á¬á· áá°ááá¯á·ááᯠáá±ááá¡á¬ážáááºážáááºáááºážááá± ááá¯ááºáá²á áá«ááá¯á·áá²á·áááºááá¯ážááœá±ááᯠáá¯á¶ááŒá¯á¶á áœá¬ááŒá±á¬ááá¯ááºáááºá ááœá±áá»á±ážáá° áá áºáŠážá á®á០áá»á±ážááœá±ááŒááºáááºááá¯ááºááŒá±ááᯠááá·áºááŸááºážááẠáá»áœááºá¯ááºááá¯á·á¡á¬áž á¡áá±á¬ááºážáá¯á¶ážááœáá·áºááŒá¯áá¬ážáá±á¬áºáááºážá ááááºážááááºážáá»á¬ážááᯠá¡áá¯á¶ážá¡ááŒááºáá±ážáááºáᯠáá»áœááºá¯ááºááá¯á·ááá±á¬áá°áá±á¬ááŒá±á¬áá·áºá á ááºážáá»ááºážáá»á¬ážá¡á¬ážáá¯á¶ážá¡á áá¯ááºáá±á¬ááºáá²á·áááºá ááá¯á·áá±á¬áẠáá»áœááºá¯ááºááá¯á· áá°ááá«ááẠ- áá»áœááºá¯ááºááá¯á·á coefficients ááẠáá»áœááºá¯ááºááá¯á·á¡á¬áž ááŒá áºááá¯ááºááŒá±á ááá¯ááá¯áá±á¬ááºážááœááºáá±á¬ ááá·áºááŸááºážáá»ááºááᯠáá±ážááá¯ááºááẠ:)
ááá¯á·áá±á¬áºá áá«ááá¯á·ááẠáá¯ááºáá¬áá á€á¡ááá¯ááºážááœáẠá¡áá±ážá áá¯á¶ááá¹áá¬ááºááᯠáááºááá¯á·áá¯á¶ážááŒááºááŒá±á¬ááºáž áá¬ážáááºááẠááá¯á¡ááºáá«áááºá áá»á±ážáá°áá°ááá¯ááºážá០áá»á±ážááœá±ááŒááºáááºááá¯ááºááŒá±ááᯠá¡áá²ááŒááºááẠááá¯á¡ááºáá«áááºá
áá°ážáá°ážááŒá¬ážááŒá¬ážááŸá¬ááœá±áá±áá²á· áááºáááºáááºááá¯ááºááᯠá¡ááá¯áá»á¯á¶ážáá»á¯ááºááŒáá·áºáá¡á±á¬áẠ:
1. áá áºááŸááºáááŒá±á¬ááºážáá²ááá¯ááºáá±á¬ (ááá·áºááŸááºážáááºááá¯áž) ááŸáá·áº ááááºá¡áá±á«áº áááºáá±á¬ááºááŸá¯ááŸááá±á¬ á¡áá»ááºááẠáá»ááºážáá¬ážááŒá±á¬ááºáž áá»áœááºá¯ááºááá¯á· áá°ááá«áááºá á€á¡ááŒá±á¬ááºážááŒá±á¬áá·áºáááºážááá¯á¡áá¯á¶ážááŒá¯áááºá linear regression function áá»áá¯áž á¡áá¬ááá¹áá¯áá»á¬áž (Client) áá»á¬ážááᯠá¡áááºážáá»á¬ážá¡ááŒá Ạááá¯ááºážááŒá¬ážáá±ážáá±á¬áá»ááºáž О ááá¯á·ááá¯áẠ(áá»á±ážááœá±ááŒááºáááºááá¯ááºáá±á¬ áá±á¬ááºáááºáá»á¬ážááŸáá·áº ááááºááá¯ááºáá°áá»á¬áž)á áá»áœááºá¯ááºááá¯á·áá¡ááŒá±á¡áá±ááœááºá áá®áá»áŸááŒááºážááœáẠáá¯á¶á á¶ááŸááááºá .
áá áá»áœááºá¯ááºááá¯á·áá¯á¶ážááẠááŒá±á¬ááºážááŒáẠlogit áá¯ááºáá±á¬ááºáá»áẠáá»áá¯áž class áá áºáá¯ááŸá object áá áºáá¯á ááŒá áºááá¯ááºááŒá±ááᯠáá¯á¶ážááŒááºááẠ.
3. áá»áœááºá¯ááºááá¯á·ááááºáááºážá¡á¬áž áá±áá°áá»á¡á¬ážááŒáá·áº á¡áá±á¬ááºá¡áááºáá±á¬áºááŸá¯áá áºáá¯á¡ááŒá Ạáá»áœááºá¯ááºááá¯á·áá°ááá«áááºá Bernoulli á¡á á®á¡á ááºáá»á¬ážááá¯ááá¯áááºááŸá¬á á¡áá¬ááá¹áá¯áá áºáá¯á á®á¡ááœáẠááŒá áºááá¯ááºááŒá±ááŸáááá·áº random variable ááá¯áá¯ááºáá±ážáááºá (á¡áá¬ááá¹áá¯áá áºáá¯á á®á¡ááœáẠáááºážáááá¯ááºááá¯ááº) áááºááá¯áž 1 ááŸáá·áº ááŒá áºááá¯ááºááŒá±ááᯠáá°áááºá - 0 á
4. áá»áœááºá¯ááºááá¯á·ááẠá¡áááºá¡áá¬ááᯠááŒáŸáá·áºáááºááẠááá¯á¡ááºáááºááᯠáá»áœááºá¯ááºááá¯á· áááá«áááºá ááá°áᬠááŒá áºááá¯ááºááŒá± áá¯ááºáá±á¬ááºáá»áẠáááŸáááá¯ááºáá±á¬ááá°áá¬ááẠááŒá áºááá¯ááºááŒá±á¡ááŸááá¯á¶ážááŒá áºáá¬á á±ááẠáááºáá¶áá¬ážáá±á¬á¡áá»ááºáá»á¬ážááᯠááá·áºááœááºážá ááºážá á¬ážáá«á áá áºáááºážááá¯ááá±á¬áº ááá°áá¬ááẠááŒá áºááá¯ááºááŒá±á¡ááŸááá¯á¶ážááŒá áºááá·áº áá±á¬ááºáá»á¬ážááᯠááœá±ážáá»ááºááẠááá¯á¡ááºáááºá áá»áœááºá¯ááºááá¯á·áááá á¹á ááœááºá ááœá±ážáá»ááºáá¬ážáá±á¬ ááá·áºáááºáá»ááºááẠáá»á±ážááœá±ááŒááºáááºááá¯ááºááŒá±ááŒá áºáááºá á¡áááºááá coefficients áá»á¬ážáá±á«áºááœááºáá°áááºáááºá . ááá¯á·ááŒá±á¬áá·áº á¡áá±ážá áá¯á¶ááá¹áá¬ááºááᯠááŸá¬ááẠááá¯á¡ááºáá«áááºá ááá°áá¬áááŒá áºááá¯ááºááŒá±ááẠá¡áá»á¬ážáá¯á¶ážááŒá áºáááá·áºáááºá
5. áá»áœááºá¯ááºááá¯á·ááẠáááºááá·áºá¡áá¬ááᯠááŒáŸáá·áºáááºááááºááᯠáááááºá ááá°áá¬ááŒá áºááá¯ááºááŒá±áá¯ááºáá±á¬ááºáá»ááºáá»á¬áž ááá»ááá»ááá¯áá¯á¶ážááá¯ááºááẠá¡áá»á¬ážáá¯á¶ážááŒá áºááá¯ááºááŒá±áááºážáááºáž. ááŒá®ážáá±á¬á· áá®áááºážáááºážáá²á· á¡áá¯ááºáá¯ááºááá¯á· áááºážáá»ááºáá²á· ááŸáá·áºááœááºááœá±á¡á¬ážáá¯á¶ážááᯠáá»áœááºáá±á¬áºááá¯á· áááá«áááºá
áá«áᬠááŒá±ááŸááºážáá±á«ááºážáá»á¬ážá áœá¬ ááœá±á·áá»á¬ážááŸá¯áá áºáᯠááŒá áºáá¬áá¯á¶áá«áá²á :)
ááá¯áá±á¬ááºážáá«ážáá¡á ááœáẠáá»áœááºá¯ááºááá¯á·ááẠáá¯á¶ážááŸá¯á¶ážááŸá¯áá¯ááºáá±á¬ááºáá»ááºááŸá áºáá»áá¯ážááᯠááá°ááá¯ááŒá±á¬ááºáž áááááá«á áá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯á¶ážááŸá¯á¶ážááŸá¯ Object Class ááœá±ááᯠáááºááá¯áááºááŸááºáá¬ážáá²áá±á«áºáá°áááºáááºá á¡áááºážááŸá áºáá¯ááŸáá·áº á¡áá»áá¯ážá¡á á¬ážááœá²ááŒá¬ážááŒááºážááá¯ááºáᬠááŒá¿áá¬áá»á¬ážááœáẠá¡áááºážáá»á¬ážááᯠá¡ááŸááºá¡áá¬ážááŒá¯ááŒááºážááŒá áºáá±áááºá О ááá¯á·ááá¯áẠ. ááŸááºáá¬ážááŸá¯á¡áá±á«áºáá°áááºá á¡ááœááºááœáẠáááºááá¯ááºáá±á¬áá¯á¶ážááŸá¯á¶ážááŸá¯áá¯ááºáá±á¬ááºáá»ááºáá áºáá¯ááŸááááºá
Case 1. Classification of objects into О
á¡á á±á¬ááá¯ááºážááœááºá áá»á±ážáá°áá°áá¶á០ááŒáœá±ážááŒá®ááŒááºáááºááá¯ááºááŒá±ááᯠá¡ááŒá±á¬ááºážáááºážáá»á¬ážááŸáá·áº áá±ážáá¬ážáá±á¬ ááááºážááááºážáá»á¬ážá¡áá±á«áº á¡ááŒá±áá¶á ááœááºáá»ááºáá¬ážááá·áº ááá°áá¬áá áºáá¯á ááŒá áºááá¯ááºááŒá±ááᯠáá¯á¶ážááŒááºááá·áºá¡áá«á áá»áœááºá¯ááºááá¯á·ááẠáá±á¬áºááŒá°áá¬ááᯠá¡áá¯á¶ážááŒá¯áá²á·áááº-
ááááºáá±á¬á· á¡áááá¹áá«áẠááŒá áºáá logistic áá¯á¶á·ááŒááºááŸá¯áá¯ááºáá±á¬ááºáá»ááºáá»á¬áž áá±ážáá¬ážáá±á¬ á¡áá±ážáá»á¬áž á¡ááœááº
ááá¯á·áá±á¬áẠá¡á±á¬ááºáá«á¡ááá¯ááºáž ááá°áá¬ááŒá áºááá¯ááºááŒá±áá¯ááºáá±á¬ááºáá»ááºááᯠáá±ážáá¬ážááŒááºážá០áá»áœááºá¯ááºááá¯á·á¡á¬áž áááºááá·áºá¡áá¬áá០áá¬ážáá®ážáá¬ážáááºááá¯ááºáá±á
áá áºáá«áá áºáá¶ááœáẠá¡áá»áá¯á·áá±á¬ áá±á·áá¬áááºážá á áºáá°áá»á¬ážááẠá€áá¯ááºáá±á¬ááºáá»ááºááᯠáá»ááºááŒááºážáá¬ážáááºááẠáááºáá²áááºá ááŸááºážááŸááºážáááºážáááºážááŒá áºá á±ááá·áº á¥ááá¬á¡ááá¯áá±áž (á) áá¯ááᯠááŒáá·áºááŒáá¡á±á¬ááºá
1. áá»áŸáẠ(ááá¯ááá¯áááºááŸá¬á áá±á·áá»áá·áºáá±ážááá°áá¬á¡áá á¡áá¬ááá¹áá¯ááẠá¡áááºáž +1) ááŸáá·áº áá»áœááºá¯ááºááá¯á·á á¡ááºáááá¯áá®áááºá á¡áá¬ááá¹áá¯áá áºáá¯ááᯠclass áá áºáá¯ááá¯á· á¡áá»áá¯ážá¡á á¬ážááœá²ááŒááºážá ááŒá áºááá¯ááºááŒá±ááᯠáá¯á¶ážááŒááºáááºá 0.9 ááŸáá·áº áá®áá»áŸáááºá ááá¯á·áá±á¬áẠá€ááá°áá¬á ááŒá áºááá¯ááºááŒá±á¡ááá¯ááºážááᯠá¡á±á¬ááºáá«á¡ááá¯ááºáž ááœááºáá»ááºáá«áááº-
2. áá»áŸáẠááŸáá·áº ááá¯á·áá±á¬áẠááœááºáá»ááºááŸá¯ááŸá¬ á€áá²á·ááá¯á· ááŒá áºáááá·áºáááºá
3. áá»áŸáẠááŸáá·áº ááá¯á·áá±á¬áẠááœááºáá»ááºááŸá¯ááŸá¬ á€áá²á·ááá¯á· ááŒá áºáááá·áºáááºá
4. áá»áŸáẠááŸáá·áº ááá¯á·áá±á¬áẠááœááºáá»ááºááŸá¯ááŸá¬ á€áá²á·ááá¯á· ááŒá áºáááá·áºáááºá
ááŒá áºááẠ1 ááŸáá·áº 3 ááœáẠááá¯á·ááá¯áẠáá±áá¯áá»ááá á¹á ááœáẠááŒá áºááá¯ááºááŒá±ááŸááá±á¬áá¯ááºáá±á¬ááºáá»ááºááᯠááŸááºáááºá áœá¬ ááá·áºááŸááºážáá¬ážáá±á¬ áááºááá¯ážáá»á¬ážááŒáá·áº á¡áááºážáá áºáá¯ááá¯á· á¡áá¬ááá¹áá¯áá áºáá¯á¡á¬áž áááºááŸááºáá±ážááá·áº ááŒá áºááá¯ááºááŒá±áá»á¬ážá ááŸááºáááºáá±á¬ ááá·áºááŸááºážáá»ááºáááºááá¯ážáá»á¬ážááŸáá·áºá¡áá° ááŒá áºááá¯ááºááŒá±áá¯ááºáá±á¬ááºáá»ááºááᯠáá»á²á·ááœááºááá¯ááºáááºááŸá¬ áááºááŸá¬ážáá«áááºá .
á¡áá¬ááá¹áá¯áá áºáá¯á¡á¬áž class áá áºáá¯ááá¯á· assign áá¯ááºááŒááºážá ááŒá áºááá¯ááºááŒá±ááᯠáá¯á¶ážááŒááºáá±á¬á¡áá«á ááááºážááááºážáá»á¬ážááá¯áᬠáá»áœááºá¯ááºááá¯á· ááááá«á ááŒá®ážááẠáá°ááá¯á·ááᯠááŸá¬áááºá á¡áááºááœááºáá±á¬áºááŒáá²á·ááá·áºá¡ááá¯ááºážá á€áááºááŸá¬ á¡áá±ážá vector ááŸáá·áºá ááºáá»ááºážá ááŒá áºááá¯ááºááŒá±ááŸááá±á¬ áá¯ááºáá±á¬ááºááŸá¯á áááºážáááºáá¬ááŒááºážááᯠááááá¯á¶ážááŸá¬ááœá±ááẠááá¯á¡ááºáá±á¬ optimization ááŒá¿áá¬ááŒá áºáááºá . ááá¯á·áá±á¬áºá áá»áœááºá¯ááºááá¯á·á¡ááœáẠáá¯ááºáá±á¬ááºá áá¬ááᯠááá¯ážááŸááºážá á±ááẠáŠážá áœá¬ á¡áááá¹áá«ááºááŸááá«áááº- áá»áœááºá¯ááºááá¯á·ááẠáá±á¬á·ááá áºáááºá áááºážáááºáá¬ááŸá¯ááᯠááŸá¬ááœá±áá«áááºá ááŒá áºááá¯ááºááŒá±ááŸááá±á¬áá¯ááºáá±á¬ááºáá»ááºáá»á¬áž.
áá±á¬á·ááá áºáááºáá±á¬ááºááŸá¬ áá¬á·ááŒá±á¬áá·áºáá²á logistic á¡ááŸá¬ážáá¯ááºáá±á¬ááºáá»ááºáá»á¬ážááá¯ááºážáá¯ááºááᯠááŒá±á¬ááºážááá¯ááºáááºá á¡áá±á«áº . áá±á¬áºáááºáá áºáá¯á á¡áááºá¡ááœá±ážááᯠá¡áá²ááŒááºááŒááºážááá¯ááºáᬠááŒá¿áá¬áá»á¬ážááœáẠáá¯ááºáá±á¬ááºáá»ááºáá áºáá¯ááááºááá¯ážááᯠáááºážáá«ážá¡á±á¬ááºááŒá¯áá¯ááºááẠáá¯á¶ážá á¶á¡ááá¯ááºážááŒá áºáá±á¬ááŒá±á¬áá·áº á¡áá¬á¡á¬ážáá¯á¶ážááẠááá¯ážááŸááºážáá±á¬ááŒá±á¬áá·áºá áá»áœááºá¯ááºááá¯á·ááẠá áá¬ážáááºá áá¬áááºááŒááºážááᯠááŒáŸá±á¬ááºááá¯ááºáá«áááºá ááŸáá·áºá¡áá®á áá»á²á·ááœááºááŒááºážá¡á á¬ážá ááᯠáá»áœááºá¯ááºááá¯á·ááẠáá¯ááºáá±á¬ááºáá»ááºááᯠáá»áŸá±á¬á·áá»ááá¯ááºáá«áááºá
ááááºáá±á¬á· á¡áá¯á¡áá»áááºááŸá¬ áááºážáá»ááºá áááŸá±á·ááŸá¬ááẠáá¯á¶ážááŸá¯á¶ážááŸá¯áá²á·áá¯ááºáá±á¬ááºáá»ááºáᬠáá®áááá áá¯ááºáá¯ááºááŒá®áž áááºážáááºáá¬áá²á·áááº- áá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯á¶ážááŸá¯á¶ážááŸá¯ áááºážááœá²ááŸá áºáá¯áá«ááŸááá±á¬ áá±á·áá»áá·áºááŸá¯áá áºáá¯á¡ááœáẠО .
ááᯠááááºážááááºážáá»á¬ážááᯠááŸá¬ááœá±áááºá áá»áœááºá¯ááºááá¯á·ááẠáááºážáááºááŒááºážááᯠááŸá¬ááœá±áááºáᬠááá¯á¡ááºáá«áááºá logistic á¡ááŸá¬ážáá¯ááºáá±á¬ááºáá»ááºáá»á¬áž ááá¯á·áá±á¬ááºá gradient descent ááá¯á·ááá¯áẠstochastic gradient descent áá²á·ááá¯á·áá±á¬ ááááºážááá¬ááºážáá»á¬ážááᯠááá¯ááá¯áá±á¬ááºážááœááºá¡á±á¬ááºááŒá¯áá¯ááºááŒááºážáááºážáááºážáá»á¬ážááᯠá¡áá¯á¶ážááŒá¯á á¡ááá·áºáá±á¬áºáá¯á¶áž coefficients ááᯠááœá±ážáá»ááºáá«á . ááá¯á·áá±á¬áº áá±á¬ááºážáá«ážá ááá¬áá¡áá±á¬áºá¡áááºááŸááá±á¬ááŒá±á¬áá·áºá áááºážááẠááá·áºáá¬áá¬ááŒá¬ážáá¬ážááŸá¯ááᯠáá¯ááºáá±á¬ááºááẠá¡ááá¯ááŒá¯áá¬ážáá«áááºá ááá¯á·ááá¯áẠáááºážááẠá¡áá±ážá áááºá¥ááá¬áá»á¬ážááá«áá² ááááºážáááºá¹áá»á¬áá»á¬ážá áœá¬ááŸááá±á¬ áá±á¬ááºáá±á¬ááºážáá«ážá¡ááœáẠáá±á«ááºážá ááºáá áºáá¯ááŒá áºááá¯ááºáááºá
Case 2. Classification of objects into О
á€áá±áá¬ááœáẠáá»ááºážáááºáá¯á¶ááẠá¡áááºážáá»á¬ážááŸáá·áº á¡áá°áá°ááẠááŒá áºáááá·áºáááºá О áá«áá±ááá·áº áá¯á¶ážááŸá¯á¶ážááŸá¯ function áá²á· output ááᯠáá°á·áá¬áá° áááºážááŒá±á¬ááºážáá±ážáááºá áá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯á¶ážááŸá¯á¶ážááŸá¯á ááá¯ááŸáá¬áááºá á ááá¯ááºááŒá áá¯á·á ááŒá áºááá¯ááºááŒá±ááŸááá±á¬ áá¯ááºáá±á¬ááºáá»ááºá¡ááœáẠáá»áœááºá¯ááºááá¯á·ááẠá¡á±á¬áºááá±áá¬ááᯠá¡áá¯á¶ážááŒá¯áá«áááºá âá¡áááºáâŠâ. ááá¯ááá¯áááºááŸá¬á th object ááẠclass ááŸáá·áºáááºááá¯ááºáááºá ááá¯á·áá±á¬áẠááá°áá¬á ááŒá áºááá¯ááºááŒá±ááᯠááœááºáá»ááºááẠááŒá áºááá¯ááºááŒá±ááᯠá¡áá¯á¶ážááŒá¯áááºá á¡áááºá á¡áá¬ááá¹áá¯ááẠá¡áááºážááá¯ááºááŒá áºáááºá ááá¯á·áá±á¬áẠááŒá áºááá¯ááºááŒá±ááᯠáá»áœááºá¯ááºááá¯á· á¡á á¬ážááá¯ážáááºá . á€áááºááŸá¬ ááŒá áºááá¯ááºááŒá±ááŸááá±á¬ áá¯ááºáá±á¬ááºáá»ááºááŸáá·áº áá¯á¶ááá¹áá¬ááºáá°áááº-
áá»áœááºá¯ááºááá¯á·ááááºáá»á±á¬ááºážáá»á¬ážáá±á«áºááœáẠáááºááá¯á·áá¯ááºáá±á¬ááºáááºááᯠáá±á¬áºááŒááŒáá«á áá¯á·á ááá á¹á 4 áá¯ááᯠáá¯á¶ážáááºááŒáá·áºáá¡á±á¬ááºá
1. áá»áŸáẠО ááá¯á·áá±á¬ááºááá°áá¬ááŒá áºááá¯ááºááŒá± "ááœá¬áž" áááá·áºáááº
2. áá»áŸáẠО ááá¯á·áá±á¬ááºááá°áá¬ááŒá áºááá¯ááºááŒá± "ááœá¬áž" áááá·áºáááº
3. áá»áŸáẠО ááá¯á·áá±á¬ááºááá°áá¬ááŒá áºááá¯ááºááŒá± "ááœá¬áž" áááá·áºáááº
4. áá»áŸáẠО ááá¯á·áá±á¬ááºááá°áá¬ááŒá áºááá¯ááºááŒá± "ááœá¬áž" áááá·áºáááº
ááŒá áºááá¯ááºáá»á±áá»á¬ážááᯠá¡ááºáááá¯áá®áááºááŒáá·áº ááŸááºáááºá áœá¬ áá¯á¶ážááŒááºáá±á¬á¡áá«á 1 ááŸáá·áº 3 ááœáẠáááºááŸá¬ážáááºááŸá¬á ááŒá áºááá¯ááºááŒá± áá¯ááºáá±á¬ááºáá»áẠá¡ááŒá®ážáá»ááºáá¯á¶ážááŒá áºáááºá ááá¯ááá¯áááºááŸá¬á á€á¡áá¬ááẠáá»áœááºá¯ááºááá¯á·ááá¯áá»ááºááá·áºá¡áá¬ááŒá áºáááºá ááá¯á·áá±á¬áºá á€áááºážáááºážááẠá¡ááœááºáááºáá²ááŒá®áž áá±á¬ááºááœáẠááá¯ááá¯áá»á áºáá»á áºáá±á¬ á¡áááá¹áá«ááºááᯠáá»áœááºá¯ááºááá¯á·á ááºážá á¬ážáá«áááºá ááá¯á·áá±á¬áº áŠážá áœá¬á ááᯠáá»áœááºá¯ááºááá¯á· áááºážááᯠá¡áááºážáá¯á¶áž áá»áŸá±á¬á·áá»áááºááŒá áºáá±á¬ááŒá±á¬áá·áº áŠážá áœá¬ ááá¹ááá¬ááŒá±á¬ááºážáá²ááŸá¯ááŒáá·áº áá±á¬á·ááá áºáááºá ááŒá áºááá¯ááºááŒá±áá¯ááºáá±á¬ááºáá»ááºááᯠáá¯á¶áá±á¬áºááŒáá·áºááŒáá«á áá¯á·á
á¡á á¬ážáá¡á±á¬áẠá áá¬ážááẠ:
ááá¯ážááŸááºážáá±á¬ááááºážáááºá¹áá»á¬áááºážááá¬áá»á¬ážááᯠá¡áá¯á¶ážááŒá¯á áá±á¬á·ááá áºáááºá¡á±á¬ááºááœáẠááŸááºáááºáá±á¬á¡áá¯á¶ážá¡ááŸá¯ááºážááᯠááá¯ážááŸááºážá¡á±á¬ááºááŒá¯áá¯ááºááŒá®áž ááá°ááŒáá«á áá¯á·-
á¡áá¯á á¡á±á¬áºááá±áá¬ááᯠáááºááŸá¬ážááá¯á· á¡áá»áááºáá±á¬ááºáá«ááŒá®á âá¡áááºáâŠâ. á¡áá¬ááá¹áá¯áá áºáá¯ááᯠáááºá¹áá«áááŸááºáá¬ážáá«á á¡áááºážááá¯áẠááá¯á·áá±á¬áẠáá±á¬á·ááá áºáááºá¡á±á¬ááºááŸá á áá¬ážáááºááœááºá ááá¯ááºážááŒá±áá áá«áá«ááᯠááŒáŸáá·áºáááºáá²á·áááºá á¡áááºá á¡áá¬ááá¹áá¯ááẠá¡áááºážááá¯ááºááŒá áºáááºá ááá¯á·áá±á¬áẠ$e$ ááᯠáá«áá«ááá¯á· áááºáááºáááºá . ááá¯á·ááŒá±á¬áá·áºá ááœá²á·á¡ááœáẠá¡ááŸááºá¡áá¬ážááᯠááŒá áºáááºááŸá áºáá¯áá¯á¶ážááᯠáá áºáá¯áááºážá¡ááŒá Ạáá±á«ááºážá ááºááŒááºážááŒáá·áº ááá¯ážááŸááºážááá¯ááºáááºá ... ááá¯á¡áá« logistic á¡ááŸá¬ážáá¯ááºáá±á¬ááºáá»áẠáá¯á¶á á¶áá°áá«áááº
áá±á¬á·ááá áºáááºá á ááºážáá»ááºážáá»á¬ážááŸáá·áºá¡áá® áá»áœááºá¯ááºááá¯á·ááẠá¡ááá¯ááºážááááºážááᯠááŸááºááŒá®áž ááááááºááᯠáá¯ááºááá¯ááºááẠá" áá±á¬á·ááá áºáááºá¡ááœáẠ(á¡áá¯ááº)á áá»áœááºá¯ááºááá¯á· áááŸááááº-
áá®ááŸá¬ áá¯á¶ážááŸá¯á¶ážááŸá¯ function áá«á áá±á¬ááºáá¶á·ááá¯á·áá±á¬ááºáá±ážáá¯á¶ážááŸá¯á¶ážááŸá¯á¡áááºážáá»á¬ážá¡ááœáẠáááºááŸááºáá¬ážáá±á¬ á¡áá¬ááá¹áá¯áá»á¬ážááŒáá·áº áá±á·áá»áá·áºáá±áž set ááœáẠá¡áá¯á¶ážááŒá¯áááº- О .
áá±á¬ááºážááŒá®á áá®á¡áá»áááºááŸá¬ áá»áœááºáá±á¬áº á¡áá¬ážáá°ááŒá®áž áá±á¬ááºážáá«ážááᯠáááá¯á¶ážáá»á¯ááºááá¯ááºáá«áááºá
á¡áááºáá á¹á ááºážáá»á¬áž
1 á á á¬áá±
1) á¡áá¯á¶ážáá» áá¯ááºáá¯ááºááŸá¯ ááœá²ááŒááºážá áááºááŒá¬ááŸá¯ / N. Draper, G. Smith - 2nd ed. â M.: Finance and Statistics, 1986 (á¡ááºá¹áááááºá០áá¬áá¬ááŒááº)
2) ááŒá áºááá¯ááºááŒá±áá®á¡áá¯áá®ááŸáá·áºáááºá¹áá»á¬ááááºážááááºážáá»á¬áž / V.E. Gmurman - á áááºááŒá±á¬ááºáá±á·á - M.: á¡áááºáááºážáá»á±á¬ááºážá áááá
3) ááŒá áºááá¯ááºááŒá±áá®á¡áá¯áá® / N.I. Chernova - Novosibirsk: Novosibirsk State Universityá 2007
4) áá¯ááºáááºážááœá²ááŒááºážá áááºááŒá¬ááŸá¯- á¡áá»ááºá¡áááºá០á¡ááááá¬ááá¯á· / Paklin N. B., Oreshkov V. I. - 2nd ed. â á ááá·áºáá®áá¬á áááº- Peterá 2013
5) áá±áá¬áááá¹áᶠáá±áá¬áááá¹áᶠ/ Joel Gras - á ááá·áºáá®áá¬á áááº: BHV Petersburgá 2017á
6) áá±áá¬áááá¹áᶠá¡áá°ážáá¯ááá¬áááºááŒá®ážáá»á¬áž/ P. Bruceá E. Bruce - á ááá·áºáá®áá¬á áááº- BHV Petersburgá 2018á
2. ááá¯á·áá»áá»ááºáááºáááºážáá»á¬áž (áá®áá®ááá¯)á
4)
3. á¡ááºáá¬áááºááááºážáááºážááŒá áº
2)
5)
6)
8)
source: www.habr.com