Ninu nkan yii, a yoo ṣe itupalẹ awọn iṣiro imọ-jinlẹ ti iyipada laini ifaseyin awọn iṣẹ в iṣẹ iyipada logit onidakeji (ni awọn ọrọ miiran, iṣẹ idahun eekadẹri). Lẹhinna, lo ohun ija o pọju ọna ti o ṣeeṣe, ni ibamu pẹlu awoṣe atunṣe logistic, a gba iṣẹ isonu naa Isonu Lojististic, tabi ni awọn ọrọ miiran, a yoo ṣalaye iṣẹ kan pẹlu eyiti a yan awọn paramita ti fekito iwuwo ni awoṣe isọdọtun logistic. .
Ilana nkan:
- Jẹ ki a ṣe atunṣe ibatan laini taara laarin awọn oniyipada meji
- Ṣe afihan iwulo fun iyipada laini ifaseyin awọn iṣẹ в logistic esi iṣẹ
- Jẹ ká gbe jade awọn iyipada ati nianfani logistic esi iṣẹ
- Jẹ ki a gbiyanju lati loye idi ti ọna onigun mẹrin ti o kere julọ jẹ buburu nigbati o yan awọn aye awọn faili Isonu Lojististic
- A nlo o pọju o ṣeeṣe ọna fun ti npinnu aṣayan awọn iṣẹ :
5.1. Ọran 1: iṣẹ Isonu Lojististic fun ohun pẹlu kilasi yiyan 0 и 1:
5.2. Ọran 2: iṣẹ Isonu Lojististic fun ohun pẹlu kilasi yiyan -1 и +1:
Nkan naa kun pẹlu awọn apẹẹrẹ ti o rọrun ninu eyiti gbogbo awọn iṣiro rọrun lati ṣe ni ẹnu tabi lori iwe, ni awọn igba miiran o le nilo ẹrọ iṣiro kan. Nitorina mura silẹ 🙂
Nkan yii jẹ ipinnu diẹ sii fun awọn onimọ-jinlẹ data pẹlu ipele ibẹrẹ ti imọ ni awọn ipilẹ ti ẹkọ ẹrọ.
Nkan naa yoo tun pese koodu fun iyaworan awọn aworan ati awọn iṣiro. Gbogbo koodu ti kọ sinu ere 2.7. Emi yoo ṣe alaye siwaju nipa “aratuntun” ti ikede ti a lo - eyi jẹ ọkan ninu awọn ipo fun gbigbe papa-iṣe olokiki daradara lati Yandex lori ipilẹ eto ẹkọ ori ayelujara ti o mọye daradara Coursera, ati, bi o ṣe le fojuinu, ohun elo naa da lori iṣẹ-ẹkọ yii.
01. Gígùn Line Dependency
O jẹ ohun ti o bọgbọnwa lati beere ibeere naa - kini igbẹkẹle laini taara ati ipadasẹhin eekadẹri ni lati ṣe pẹlu rẹ?
Ohun gbogbo rọrun! Ipadasẹhin logistic jẹ ọkan ninu awọn awoṣe ti o ni ibatan si alasọtọ laini. Ni awọn ọrọ ti o rọrun, iṣẹ-ṣiṣe ti olutọpa laini ni lati ṣe asọtẹlẹ awọn iye ibi-afẹde lati awọn oniyipada (regressors) . O ti wa ni pe awọn ibasepọ laarin awọn ẹya ara ẹrọ ati awọn iye afojusun laini. Nitorinaa orukọ classifier - laini. Ti o ba jẹ aijọju pupọ, lẹhinna awoṣe isọdọtun eekaderi da lori arosinu pe ibatan laini wa laarin awọn ẹya. ati awọn iye afojusun . Eyi ni, asopọ naa.
Ni awọn isise, akọkọ apẹẹrẹ, ati awọn ti o, ti tọ, nipa awọn rectilinear gbára ti awọn titobi labẹ iwadi. Ninu ilana ti ngbaradi nkan naa, Mo wa apẹẹrẹ kan ti o ti ṣeto awọn eyin tẹlẹ si eti fun ọpọlọpọ - igbẹkẹle ti agbara lọwọlọwọ lori foliteji. ("Onínọmbà Ifasẹyin ti a lo", N. Draper, G. Smith). Nibi ti a yoo tun ro o.
Ni ibamu pẹlu Ofin Ohm:
nibo - agbara lọwọlọwọ, - foliteji, - resistance.
Ti a ko ba mọ Ofin Ohm, lẹhinna a le rii igbẹkẹle ni agbara nipasẹ iyipada ati idiwon nigba ti mimu ti o wa titi. Lẹhinna a yoo rii pe iyaa igbẹkẹle naa lati yoo fun kan diẹ ẹ sii tabi kere si ila gbooro nipasẹ awọn Oti. A sọ “diẹ sii tabi kere si” nitori, botilẹjẹpe ibatan jẹ ni otitọ gangan, awọn wiwọn wa le ni awọn aṣiṣe kekere ninu, ati nitori naa awọn aaye ti o wa lori aworan le ma ṣubu ni deede lori laini, ṣugbọn yoo tuka laileto ni ayika rẹ.
Awọn aworan 1 "Igbẹkẹle lati »
Chart iyaworan koodu
import matplotlib.pyplot as plt
%matplotlib inline
import numpy as np
import random
R = 13.75
x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
y_line.append(i/R)
y_dot = []
for i in y_line:
y_dot.append(i+random.uniform(-0.9,0.9))
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Actual results')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()02. Awọn iwulo fun awọn iyipada ti iṣiro atunṣe laini
Ẹ jẹ́ ká gbé àpẹẹrẹ mìíràn yẹ̀ wò. Fojuinu pe a ṣiṣẹ ni banki kan ati pe a dojuko pẹlu iṣẹ ṣiṣe ti ṣiṣe ipinnu iṣeeṣe ti isanpada ti awin nipasẹ oluya kan, da lori diẹ ninu awọn ifosiwewe. Láti mú iṣẹ́ náà rọrùn, a óò gbé àwọn kókó méjì péré yẹ̀wò: owó oṣù ẹni tí ń yáni lóṣooṣù àti ìsanwó oṣù láti san awin náà padà.
Iṣẹ naa jẹ ipo pupọ, ṣugbọn ninu apẹẹrẹ yii a le loye idi ti ko to lati lo laini ifaseyin awọn iṣẹ, ati tun rii kini awọn iyipada pẹlu iṣẹ ti o nilo lati ṣe.
Jẹ ki a pada si apẹẹrẹ. O ye wa pe bi owo-oya ti ga, diẹ sii ni oluyawo yoo ni anfani lati firanṣẹ ni oṣu kan lati san awin naa pada. Ni akoko kanna, fun iwọn awọn owo osu kan, igbẹkẹle yii yoo jẹ laini laini. Fun apẹẹrẹ, jẹ ki a mu iwọn isanwo lati 60.000R si 200.000R ki o ro pe ni iwọn isanwo ti a sọ pato, igbẹkẹle ti isanwo oṣooṣu lori owo osu jẹ laini. Ṣebi, fun ibiti o ti sọ pato ti awọn owo-iṣẹ, o ti han pe ipin ti owo sisan si sisan ko le ṣubu ni isalẹ 3 ati pe oluyawo yẹ ki o tun ni 5.000R ni ipamọ. Ati pe ninu ọran yii nikan, a yoo ro pe oluyawo yoo da awin naa pada si banki naa. Lẹhinna, idogba ipadasẹhin laini yoo gba fọọmu naa:
nibi ti , , , - owo osu oluyawo, - owo awin th oluya.
Fidipo owo osu ati sisanwo awin pẹlu awọn aye ti o wa titi sinu idogba O le pinnu boya tabi kii ṣe fifun awin kan.
Wiwa iwaju, a ṣe akiyesi pe, fun awọn aye ti a fun laini ifaseyin iṣẹloo sinu logistic esi awọn iṣẹ yoo ṣe agbejade awọn iye nla ti yoo jẹ ki o nira lati ṣe awọn iṣiro lati pinnu awọn iṣeeṣe ti isanpada awin naa. Nitorina, o ti wa ni dabaa lati din wa iyeida, jẹ ki a sọ, nipa 25.000 igba. Lati iyipada yii ni awọn iyeida, ipinnu lati fun awin kan kii yoo yipada. Jẹ ki a ranti akoko yii fun ọjọ iwaju, ati ni bayi, lati jẹ ki o ṣe alaye diẹ sii ohun ti a n sọrọ nipa, jẹ ki a gbero ipo naa pẹlu awọn oluya ti o pọju mẹta.
Table 1 O pọju Borrowers
Koodu fun ti o npese a tabili
import pandas as pd
r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r
data = {'The borrower':np.array(['Vasya', 'Fedya', 'Lesha']),
'Salary':np.array([120000,180000,210000]),
'Payment':np.array([3000,50000,70000])}
df = pd.DataFrame(data)
df['f(w,x)'] = w_0 + df['Salary']*w_1 + df['Payment']*w_2
decision = []
for i in df['f(w,x)']:
if i > 0:
dec = 'Approved'
decision.append(dec)
else:
dec = 'Refusal'
decision.append(dec)
df['Decision'] = decision
df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision']]Ni ibamu pẹlu data ti o wa ninu tabili, Vasya, pẹlu owo-oṣu ti 120.000R, fẹ lati gba iru awin bẹ lati san pada ni 3.000R oṣooṣu. A pinnu pe lati le fọwọsi kọni naa, owo osu Vasya gbọdọ kọja ni igba mẹta iye owo sisan, ati pe o yẹ ki o tun jẹ 5.000R. Vasya ni itẹlọrun ibeere yii: . O wa paapaa 106.000R. Botilẹjẹpe nigbati o ṣe iṣiro a dinku awọn aidọgba Awọn akoko 25.000, abajade jẹ kanna - awin naa le fọwọsi. Fedya yoo tun gba awin kan, ṣugbọn Lesha, botilẹjẹpe o gba pupọ julọ, yoo ni lati ṣe iwọntunwọnsi awọn ifẹkufẹ rẹ.
Jẹ ki a ya aworan kan fun ọran yii.
Atọka 2 "Isọsọtọ ti Awọn oluyawo"
Chart iyaworan koodu
salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'],
'o', color ='green', markersize = 12, label = 'Decision - Loan approved')
plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'],
's', color = 'red', markersize = 12, label = 'Decision - Loan refusal')
plt.xlabel('Salary', size = 16)
plt.ylabel('Payment', size = 16)
plt.legend(prop = {'size': 14})
plt.show()Nitorinaa, laini taara wa, ti a ṣe ni ibamu pẹlu iṣẹ naa , ya sọtọ "buburu" oluya lati "dara" eyi. Awọn oluyawo ti awọn ifẹ wọn ko baamu awọn agbara wọn wa loke laini taara (Lesha), lakoko ti awọn ti, ni ibamu si awọn aye ti awoṣe wa, ni anfani lati san awin naa pada, wa labẹ laini taara (Vasya ati Fedya). Bibẹẹkọ, a le sọ eyi - laini wa pin awọn oluyawo si awọn kilasi meji. A ṣe afihan wọn gẹgẹbi atẹle: si kilasi naa a yoo ṣe iyatọ awọn oluyawo ti o ṣeese julọ lati san awin naa si kilasi naa tabi a yoo pẹlu awọn oluyawo ti o ṣeese julọ kii yoo ni anfani lati san awin naa pada.
Jẹ ki a ṣe akopọ awọn ipinnu lati apẹẹrẹ ti o rọrun yii. Jẹ ká ya a ojuami ati, rọpo awọn ipoidojuko ti aaye naa sinu idogba ti o baamu ti laini taara Jẹ ki a ro awọn aṣayan mẹta:
- Ti o ba ti ojuami ni labẹ awọn ila, ati awọn ti a fi o si awọn kilasi , lẹhinna iye iṣẹ naa yoo jẹ rere lati si . Nitorinaa a le ro pe iṣeeṣe ti sanpada awin naa wa laarin . Ti o tobi ni iye ti iṣẹ naa, ti o ga julọ iṣeeṣe.
- Ti aaye naa ba wa loke ila ati pe a fi si kilasi naa tabi , lẹhinna iye iṣẹ naa yoo jẹ odi lati si . Lẹhinna a yoo ro pe iṣeeṣe ti isanpada gbese wa laarin ati, ti o tobi awọn modulo iye ti awọn iṣẹ, awọn ti o ga wa igbekele.
- Ojuami naa wa lori laini taara, lori aala laarin awọn kilasi meji. Ni idi eyi, iye ti iṣẹ naa yoo dogba si ati awọn iṣeeṣe ti san awin ni .
Bayi, jẹ ki a fojuinu pe a ko ni awọn ifosiwewe meji, ṣugbọn awọn mewa, awọn oluyawo, kii ṣe mẹta, ṣugbọn ẹgbẹẹgbẹrun. Lẹhinna dipo laini taara a yoo ni m-onisẹpo ofurufu ati iyeida a kii yoo gba lati aja, ṣugbọn yọkuro ni ibamu pẹlu gbogbo awọn ofin, ati lori ipilẹ data ti a kojọpọ lori awọn oluya ti o ti san tabi ko san awin naa. Ati nitootọ, ṣe akiyesi pe a n yan awọn oluyawo ni awọn iye-iye ti a ti mọ tẹlẹ . Ni otitọ, iṣẹ-ṣiṣe ti awoṣe isọdọtun logistic jẹ deede lati pinnu awọn aye , fun eyi ti iye iṣẹ isonu Isonu Lojististic yoo ṣọ lati awọn kere. Ṣugbọn nipa bi a ṣe ṣe iṣiro awọn fekito , a yoo rii ni apakan 5th ti nkan naa. Lakoko, a pada si ilẹ ileri - si banki wa ati awọn onibara rẹ mẹta.
Ṣeun si iṣẹ naa a mọ ẹni ti a le fun ni awin, ati ẹniti o yẹ ki o kọ. Ṣugbọn o ko le lọ si oludari pẹlu iru alaye bẹ, nitori wọn fẹ lati gba lati ọdọ wa iṣeeṣe ti sisanwo ti awin nipasẹ oluya kọọkan. Kin ki nse? Idahun si jẹ rọrun - a nilo lati yi iṣẹ naa pada bakan , ẹniti iye rẹ wa ni ibiti o wa si iṣẹ kan ti awọn iye yoo wa ni sakani . Ati iru iṣẹ kan wa, o pe iṣẹ idahun logistic tabi iyipada-logit. Pade:
Jẹ ká wo bi o ti lọ igbese nipa igbese logistic esi iṣẹ. Ṣe akiyesi pe a yoo rin ni ọna idakeji, i.e. a yoo ro pe a mọ iṣeeṣe iye ti o wa da laarin si ati ki o si a yoo "unwind" yi iye lori gbogbo ibiti o ti awọn nọmba lati si .
03. Nianfani awọn logistic esi iṣẹ
Igbesẹ 1. Yipada awọn iye iṣeeṣe si iwọn
Ni akoko iyipada iṣẹ в logistic esi iṣẹ a yoo fi nikan wa gbese Oluyanju, ati dipo a yoo lọ nipasẹ awọn bookmakers. Rara, dajudaju, a ko ni tẹtẹ, gbogbo ohun ti o nifẹ si wa nibẹ ni itumọ ti ikosile, fun apẹẹrẹ, awọn idiwọn jẹ 4 si 1. Awọn idiwọn, faramọ si gbogbo awọn olutẹtisi, jẹ ipin ti "awọn aṣeyọri" si "awọn ikuna" ". Ni awọn ofin ti awọn iṣeeṣe, awọn aidọgba jẹ iṣeeṣe iṣẹlẹ ti o ṣẹlẹ ti o pin nipasẹ iṣeeṣe ti iṣẹlẹ naa kii yoo waye. Jẹ ki a kọ agbekalẹ fun aye iṣẹlẹ iṣẹlẹ kan :
nibo jẹ iṣeeṣe ti iṣẹlẹ iṣẹlẹ, - iṣeeṣe ti KO iṣẹlẹ ti iṣẹlẹ
Fun apẹẹrẹ, ti o ba jẹ pe o ṣeeṣe pe ọdọ, ti o lagbara ati ẹlẹṣin ẹlẹṣin ti a pe ni “Veterok” yoo lu obinrin arugbo ati arugbo flabby ti a npè ni “Matilda” ni awọn ere-ije jẹ dọgba si , lẹhinna awọn anfani ti aṣeyọri fun Veterok yoo jẹ к ati idakeji, mọ awọn aidọgba, o yoo ko ni le soro fun a ṣe iṣiro awọn iṣeeṣe :
Nitorinaa, a ti kọ ẹkọ lati “tumọ” iṣeeṣe sinu awọn aye, eyiti o gba awọn iye lati si . Jẹ ki a gbe igbesẹ kan diẹ sii ki o kọ ẹkọ bi a ṣe le “tumọ” iṣeeṣe si gbogbo laini nọmba lati si .
Igbesẹ 2. Yipada awọn iye iṣeeṣe si iwọn
Igbesẹ yii rọrun pupọ - a mu logarithm ti awọn aye si ipilẹ ti nọmba Euler ati gba:
Bayi a mọ pe ti o ba , lẹhinna ṣe iṣiro iye naa yoo rọrun pupọ ati, pẹlupẹlu, o gbọdọ jẹ rere: . Eyi jẹ otitọ.
Fun idi ti iwariiri, a ṣayẹwo pe ti o ba , lẹhinna a nireti lati rii iye odi . A ṣayẹwo: . O dara.
Bayi a mọ bi a ṣe le tumọ iye iṣeeṣe lati si lori gbogbo ila nọmba lati si . Ni igbesẹ ti n tẹle, a yoo ṣe idakeji.
Lakoko, a ṣe akiyesi pe ni ibamu pẹlu awọn ofin ti logarithm, mọ iye iṣẹ naa , o le ṣe iṣiro awọn aidọgba:
Ọna yii ti ipinnu awọn aidọgba yoo wulo fun wa ni igbesẹ ti n tẹle.
Igbesẹ 3. A gba agbekalẹ kan fun ṣiṣe ipinnu
Nitorina a ti kọ ẹkọ nipa mimọ , wa awọn iye iṣẹ . Sibẹsibẹ, ni otitọ, a nilo ohun gbogbo ni idakeji - mọ iye naa wa . Lati ṣe eyi, a yipada si iru imọran bi iṣẹ awọn aidọgba onidakeji, ni ibamu si eyiti:
Ninu nkan naa, a kii yoo gba agbekalẹ ti o wa loke, ṣugbọn a yoo ṣayẹwo awọn nọmba lati apẹẹrẹ loke. A mọ pe pẹlu awọn aidọgba ti 4 si 1 (), iṣeeṣe ti iṣẹlẹ iṣẹlẹ jẹ 0.8 (). Jẹ ki a ṣe aropo kan: . Eyi ni ibamu pẹlu awọn iṣiro iṣaaju wa. A gbe siwaju.
Ni igbesẹ ti o kẹhin, a yọkuro iyẹn , eyi ti o tumo a le ṣe kan ayipada ninu awọn inverse awọn aidọgba iṣẹ. A gba:
Pin mejeeji oni nọmba ati iyeida nipasẹ , Lẹhinna:
Fun gbogbo fireman, lati rii daju pe a ko ṣe aṣiṣe nibikibi, a yoo ṣe ayẹwo kekere kan diẹ sii. Ni igbese 2, a pinnu pé . Lẹhinna, rọpo iye naa sinu iṣẹ idahun logistic, a nireti lati gba . Rọpo ati gba:
E ku oriire, oluka olufẹ, a ṣẹṣẹ ṣe yo ati idanwo iṣẹ idahun eekadẹri. Jẹ ká wo ni awonya ti awọn iṣẹ.
Aworan 3 "Iṣẹ idahun Logistic"
Chart iyaworan koodu
import math
def logit (f):
return 1/(1+math.exp(-f))
f = np.arange(-7,7,0.05)
p = []
for i in f:
p.append(logit(i))
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()Ninu awọn iwe-iwe, o tun le rii orukọ iṣẹ yii bi iṣẹ sigmoid. Aya naa fihan ni kedere pe iyipada akọkọ ni iṣeeṣe ti ohun kan ti o jẹ ti kilasi waye ni iwọn kekere ti o jo. , ibikan lati si .
Mo daba lati pada si oluyanju kirẹditi wa ati ṣe iranlọwọ fun u pẹlu iṣiro iṣeeṣe ti isanpada ti awọn awin, bibẹẹkọ o ṣe eewu pe o fi silẹ laisi Ere 🙂
Table 2 O pọju Borrowers
Koodu fun ti o npese a tabili
proba = []
for i in df['f(w,x)']:
proba.append(round(logit(i),2))
df['Probability'] = proba
df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision', 'Probability']]Nitorinaa, a ti pinnu iṣeeṣe ti isanpada ti awin naa. Ni gbogbogbo, eyi dabi pe o jẹ otitọ.
Lootọ, iṣeeṣe ti Vasya, pẹlu owo-oṣu ti 120.000R, yoo ni anfani lati san 3.000R si banki ni gbogbo oṣu ti sunmọ 100%. Nipa ọna, a gbọdọ loye pe ile-ifowopamọ le funni ni awin kan si Lesha ni iṣẹlẹ ti eto imulo ile-ifowopamọ pese, fun apẹẹrẹ, lati yani si awọn onibara pẹlu iṣeeṣe ti sisanwo awin naa ju, sọ, 0.3. Nikan ninu ọran yii, banki yoo ṣe ifipamọ nla fun awọn adanu ti o ṣeeṣe.
O yẹ ki o tun ṣe akiyesi pe ipin ti ekunwo si sisanwo ti o kere ju 3 ati pẹlu ala ti 5.000R ni a mu lati aja. Nitorinaa, a ko le lo fekito iwuwo ni irisi atilẹba rẹ . A nilo lati dinku awọn iṣiro pupọ ati ninu ọran yii a pin pinpin kọọkan nipasẹ 25.000, iyẹn ni, ni otitọ, a ṣatunṣe abajade. Ṣugbọn eyi ni a ṣe ni idi lati jẹ ki oye ti ohun elo rọrun ni ipele ibẹrẹ. Ni igbesi aye, a kii yoo nilo lati ṣẹda ati ṣatunṣe awọn iye-iye, ṣugbọn lati wa wọn. Nikan ni awọn apakan atẹle ti nkan naa, a yoo gba awọn idogba pẹlu eyiti a ti yan awọn paramita naa .
04. Awọn ọna ti o kere onigun ni ti npinnu awọn fekito ti òṣuwọn ninu iṣẹ idahun logistic
A ti mọ iru ọna kan fun yiyan fekito iwuwo , bi Ọna onigun mẹrin ti o kere julọ (LSM) ati ni otitọ, kilode ti a ko lo ni awọn iṣoro ipinya alakomeji lẹhinna? Nitootọ, ko si ohun ti o ṣe idiwọ fun ọ lati lo MNC, nikan yi ọna ni classification isoro yoo fun esi kere deede ju Isonu Lojististic. Nibẹ ni a tumq si idalare fun yi. Jẹ ki a kọkọ wo apẹẹrẹ rọrun kan.
Ṣebi awọn awoṣe wa (lilo MSE и Isonu Lojististic) ti bẹrẹ lati yan fekito iwuwo ati pe a da iṣiro naa duro ni diẹ ninu awọn igbesẹ. Ko ṣe pataki ti o ba wa ni aarin, ni ipari tabi ni ibẹrẹ, ohun akọkọ ni pe a ti ni diẹ ninu awọn iye ti fekito iwuwo ati jẹ ki a sọ pe ni ipele yii, fekito iwuwo. fun awọn awoṣe mejeeji ko ni iyatọ. Lẹhinna a mu awọn iwuwo ti o gba ati paarọ wọn sinu logistic esi iṣẹ () fun ohun kan ti o jẹ ti kilasi naa . Jẹ ki a ṣe iwadi awọn ọran meji nigbati, ni ibamu pẹlu fekito iwuwo ti a yan, awoṣe wa jẹ aṣiṣe pupọ ati ni idakeji - awoṣe naa ni igboya pupọ pe ohun naa jẹ ti kilasi naa. . Jẹ ki a wo iru awọn ijiya ti yoo jẹ “jade” nigba lilo MNC и Isonu Lojististic.
Koodu fun iṣiro awọn ijiya da lori iṣẹ isonu ti a lo
# класс объекта
y = 1
# вероятность отнесения объекта к классу в соответствии с параметрами w
proba_1 = 0.01
MSE_1 = (y - proba_1)**2
print 'Штраф MSE при грубой ошибке =', MSE_1
# напишем функцию для вычисления f(w,x) при известной вероятности отнесения объекта к классу +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
return math.log(proba/(1-proba))
LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'Штраф Log Loss при грубой ошибке =', LogLoss_1
proba_2 = 0.99
MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))
print '**************************************************************'
print 'Штраф MSE при сильной уверенности =', MSE_2
print 'Штраф Log Loss при сильной уверенности =', LogLoss_2Awọn blunder nla - awọn awoṣe tijoba ohun to kilasi pẹlu iṣeeṣe 0,01
Lo Ifiyaje MNC yio je:
Lo Ifiyaje Isonu Lojististic yio je:
Ọran ti Igbekele Lagbara - awọn awoṣe tijoba ohun to kilasi pẹlu iṣeeṣe 0,99
Lo Ifiyaje MNC yio je:
Lo Ifiyaje Isonu Lojististic yio je:
Apeere yii ṣe afihan daradara pe labẹ aṣiṣe nla, iṣẹ isonu naa log pipadanu penalizes awoṣe Elo siwaju sii ju MSE. Jẹ ki a ni oye bayi kini ipilẹ imọ-jinlẹ ti lilo iṣẹ isonu naa log pipadanu ni classification isoro.
05. O pọju o ṣeeṣe ọna ati logistic padasẹyin
Gẹgẹbi a ti ṣe ileri ni ibẹrẹ, nkan naa kun pẹlu awọn apẹẹrẹ ti o rọrun. Ni ile-iṣere, apẹẹrẹ miiran ati awọn alejo atijọ - awọn oluya banki: Vasya, Fedya ati Lesha.
O kan lati wa ni ẹgbẹ ailewu, ṣaaju idagbasoke apẹẹrẹ kan, jẹ ki n leti pe ni igbesi aye a n ṣe ayẹwo pẹlu apẹẹrẹ ikẹkọ ti ẹgbẹẹgbẹrun tabi awọn miliọnu awọn nkan pẹlu awọn mewa tabi awọn ọgọọgọrun awọn ẹya. Sibẹsibẹ, nibi awọn nọmba naa ni a mu ki wọn le ni irọrun ni ori ti oluyẹwo data wiwo alakobere.
Jẹ ki a pada si apẹẹrẹ. Jẹ ki a ro pe oludari ile-ifowopamọ pinnu lati funni ni awin kan si gbogbo awọn ti o nilo, bi o tilẹ jẹ pe algorithm daba lati ma fun Lesha. Ati nisisiyi akoko to ti kọja ati pe a ti mọ kini ninu awọn akikanju mẹta ti o san awin naa, ati tani ko ṣe. Gẹgẹbi a ti ṣe yẹ: Vasya ati Fedya san awin naa, ṣugbọn Lesha ko ṣe. Bayi jẹ ki a fojuinu pe abajade yii yoo jẹ apẹẹrẹ ikẹkọ tuntun fun wa ati, ni akoko kanna, a dabi pe o ti padanu gbogbo data lori awọn okunfa ti o ni ipa lori iṣeeṣe ti awin naa (oya oluya, sisanwo oṣooṣu). Lẹhinna, ni oye, a le ro pe gbogbo oluyawo kẹta ko san awin naa si banki, tabi ni awọn ọrọ miiran, iṣeeṣe ti isanpada awin naa nipasẹ oluyawo atẹle . Iro inu inu inu yii ni ijẹrisi imọ-jinlẹ ati da lori o pọju ọna ti o ṣeeṣe, nigbagbogbo tọka si ninu awọn litireso o pọju opo ti o ṣeeṣe.
Ni akọkọ, jẹ ki a ni oye pẹlu ohun elo imọran.
O ṣeeṣe iṣapẹẹrẹ jẹ iṣeeṣe ti gbigba iru apẹẹrẹ kan, gbigba iru awọn akiyesi / awọn abajade, ie. ọja ti awọn iṣeeṣe ti gba ọkọọkan awọn abajade ti apẹẹrẹ (fun apẹẹrẹ, Vasya, Fedya ati awin Lesha ti san tabi ko san ni akoko kanna).
o ṣeeṣe iṣẹ ni ibatan iṣeeṣe ti ayẹwo si awọn iye ti awọn aye pinpin.
Ninu ọran wa, apẹẹrẹ ikẹkọ jẹ ero Bernoulli gbogbogbo, ninu eyiti oniyipada laileto gba awọn iye meji nikan: tabi . Nitorinaa, o ṣeeṣe ti apẹẹrẹ le jẹ kikọ bi iṣẹ iṣeeṣe ti paramita naa ni ọna atẹle:
Akọsilẹ ti o wa loke le jẹ itumọ bi atẹle. Iṣeeṣe apapọ ti Vasya ati Fedya yoo san awin naa jẹ dọgba si , iṣeeṣe ti Lesha kii yoo san awin naa jẹ dọgba si (niwọn igba ti kii ṣe isanpada awin), nitorinaa, iṣeeṣe apapọ ti gbogbo awọn iṣẹlẹ mẹta jẹ dọgba si .
O pọju ọna ti o ṣeeṣe jẹ ọna kan lati ṣe iṣiro paramita aimọ nipa mimu iwọn o ṣeeṣe awọn iṣẹ. Ninu ọran wa, a nilo lati wa iru iye bẹẹ , ninu eyiti Gigun kan ti o pọju.
Nibo ni ero naa ti wa nitootọ - lati wa iye ti paramita aimọ nibiti iṣẹ iṣeeṣe ti de opin rẹ? Awọn ipilẹṣẹ ti ero naa wa lati inu ero pe apẹẹrẹ nikan ni orisun ti imọ ti o wa fun wa nipa awọn olugbe. Ohun gbogbo ti a mọ nipa awọn olugbe ti wa ni ipoduduro ninu awọn ayẹwo. Nitorinaa, gbogbo ohun ti a le sọ ni pe apẹẹrẹ jẹ afihan deede julọ ti olugbe ti o wa si wa. Nitorinaa, a nilo lati wa iru paramita kan nibiti apẹẹrẹ ti o wa tẹlẹ di eyiti o ṣeeṣe julọ.
O han ni, a n ṣe pẹlu iṣoro iṣapeye ninu eyiti o nilo lati wa aaye ti o ga julọ ti iṣẹ naa. Lati wa aaye ti o ga julọ, o jẹ dandan lati ṣe akiyesi ipo aṣẹ-akọkọ, iyẹn ni, dọgba itọsẹ ti iṣẹ naa si odo ati yanju idogba fun paramita ti o fẹ. Sibẹsibẹ, wiwa fun itọsẹ ti ọja ti nọmba nla ti awọn okunfa le yipada lati jẹ ọrọ gigun; lati yago fun eyi, ẹtan pataki kan wa - iyipada si logarithm o ṣeeṣe awọn iṣẹ. Kilode ti iru iyipada bẹ ṣee ṣe? Jẹ ki a san ifojusi si otitọ pe a ko wa fun extremum ti iṣẹ naa, ati aaye ti o ga julọ, eyini ni, iye ti paramita aimọ , ninu eyiti Gigun kan ti o pọju. Nigbati o ba n lọ si logarithm, aaye ti o pọju ko ni iyipada (biotilejepe extremum tikararẹ yoo yatọ), niwon logarithm jẹ iṣẹ monotonic.
Jẹ ki a, ni ibamu pẹlu eyi ti o wa loke, tẹsiwaju lati ṣe agbekalẹ apẹẹrẹ wa pẹlu awọn awin lati Vasya, Fedya ati Lesha. Lati bẹrẹ, jẹ ki a lọ si logarithm ti iṣẹ iṣeeṣe:
Bayi a le ni rọọrun ṣe iyatọ ikosile pẹlu ọwọ si :
Ati nikẹhin, ronu ipo aṣẹ-akọkọ - a dọgba itọsẹ ti iṣẹ naa si odo:
Nitorinaa, iṣiro inu inu wa ti iṣeeṣe ti isanpada awin je o tumq si lare.
Nla, ṣugbọn kini a ṣe pẹlu alaye yii ni bayi? Ti a ba ro pe gbogbo oluyawo kẹta ko da owo pada si ile-ifowopamọ, lẹhinna igbehin yoo ṣaṣeyọri lọ. Nitorina o jẹ, ṣugbọn nikan nigbati o ba ṣe ayẹwo iṣeeṣe ti sanpada awin naa dogba si a ko ṣe akiyesi awọn okunfa ti o ni ipa lori sisanwo awin naa: owo osu oluyawo ati iye owo sisanwo oṣooṣu. Ranti pe tẹlẹ a ṣe iṣiro iṣeeṣe ti isanpada awin nipasẹ alabara kọọkan, ni akiyesi awọn ifosiwewe kanna. O ti wa ni mogbonwa pe wa iṣeeṣe wa ni tan-jade lati wa ni o yatọ si lati ibakan dogba si .
Jẹ ki a pinnu iṣeeṣe ti awọn ayẹwo:
Koodu fun Iṣiro Awọn iṣeeṣe ti Awọn ayẹwo
from functools import reduce
def likelihood(y,p):
line_true_proba = []
for i in range(len(y)):
ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
line_true_proba.append(ltp_i)
likelihood = []
return reduce(lambda a, b: a*b, line_true_proba)
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]
print 'Правдоподобие выборки при константном значении p=2/3:', round(likelihood(y,p_const),3)
print '****************************************************************************************************'
print 'Правдоподобие выборки при расчетном значении p:', round(likelihood(y,p_log_response),3)Iṣeeṣe iṣapẹẹrẹ ni iye igbagbogbo :
Iṣeeṣe iṣapẹẹrẹ ni iṣiro iṣeeṣe ti isanpada ti awin kan, ni akiyesi awọn ifosiwewe :
O ṣeeṣe ti ayẹwo pẹlu iṣeeṣe iṣiro ti o da lori awọn okunfa ti o jade lati ga ju iṣeeṣe pẹlu iye iṣeeṣe igbagbogbo. Kini o sọ? Eyi ṣe imọran pe imọ ti awọn ifosiwewe jẹ ki o ṣee ṣe lati yan deede diẹ sii iṣeeṣe ti isanpada awin fun alabara kọọkan. Nitorinaa, nigbati o ba funni ni awin miiran, yoo jẹ deede diẹ sii lati lo awoṣe ti a dabaa ni ipari apakan 3rd ti nkan fun ṣiṣe iṣiro iṣeeṣe ti isanpada gbese.
Ṣugbọn lẹhinna, ti a ba fẹ lati mu iwọn iṣẹ iṣeeṣe ayẹwo, lẹhinna kilode ti o ko lo diẹ ninu algorithm ti yoo fun awọn iṣeeṣe fun Vasya, Fedya ati Lesha, fun apẹẹrẹ, dogba si 0.99, 0.99 ati 0.01, lẹsẹsẹ. Boya iru algorithm kan yoo ṣe daradara lori apẹẹrẹ ikẹkọ, bi o ti yoo mu iye ti o ṣeeṣe ti ayẹwo naa sunmọ si. , ṣugbọn, ni akọkọ, iru algorithm kan yoo ṣeese julọ ni awọn iṣoro pẹlu agbara gbogbogbo, ati ni ẹẹkeji, algorithm yii yoo dajudaju kii yoo jẹ laini. Ati pe ti awọn ọna ti ibaṣe pẹlu apọju (agbara gbogbogbo alailagbara) ko han gbangba ninu ero ti nkan yii, lẹhinna jẹ ki a lọ lori aaye keji ni awọn alaye diẹ sii. Lati ṣe eyi, o to lati dahun ibeere ti o rọrun. Njẹ iṣeeṣe ti sanpada awin naa si Vasya ati Fedya le jẹ kanna, ni akiyesi awọn ifosiwewe ti a mọ si wa? Lati oju-ọna ti oye ohun, dajudaju kii ṣe, ko le. Nitorina, Vasya yoo fun 2.5% ti ekunwo rẹ fun osu kan lati san awin naa pada, ati Fedya - fere 27,8%. Paapaa lori Chart 2 “Isọri Awọn alabara” a rii pe Vasya jẹ pupọ siwaju si laini ti o ya sọtọ awọn kilasi ju Fedya. Ni ipari, a mọ pe iṣẹ naa fun Vasya ati Fedya gba awọn iye oriṣiriṣi: 4.24 fun Vasya ati 1.0 fun Fedya. Bayi, ti Fedya, fun apẹẹrẹ, gba aṣẹ titobi diẹ sii tabi beere fun awin kekere, lẹhinna Vasya ati Fedya yoo ni awọn iṣeeṣe kanna ti san awin naa pada. Ni awọn ọrọ miiran, o ko le tan ibatan laini jẹ. Ati ti o ba a gan iṣiro awọn aidọgba , ati pe ko gba wọn lati aja, a le sọ lailewu pe awọn iye wa gba laaye ti o dara julọ lati ṣe iṣiro iṣeeṣe ti isanpada awin nipasẹ oluya kọọkan, ṣugbọn niwọn igba ti a gba lati gbero pe asọye awọn iye-iye. Ti ṣe ni ibamu pẹlu gbogbo awọn ofin, lẹhinna a yoo ro bẹ - awọn alafisọpọ wa gba wa laaye lati fun iṣiro to dara julọ ti iṣeeṣe 🙂
Sibẹsibẹ, a digress. Ni apakan yii, a nilo lati ni oye bi a ṣe pinnu fekito iwuwo , eyi ti o jẹ dandan lati ṣe ayẹwo iṣeeṣe ti sisanwo awin nipasẹ oluya kọọkan.
Ni ṣoki ṣe akopọ kini arsenal ti a lo ni wiwa awọn iye-iye :
1. A ro pe ibasepọ laarin iyipada afojusun (iye asọtẹlẹ) ati ifosiwewe ti o ni ipa lori abajade jẹ laini. Fun idi eyi, o kan laini ifaseyin iṣẹ oninuure , ila ti o pin awọn nkan (awọn onibara) si awọn kilasi и tabi (awọn onibara le san awin naa pada ati pe ko le). Ninu ọran wa, idogba naa ni fọọmu naa .
2. A nlo onidakeji logit iṣẹ oninuure lati pinnu iṣeeṣe ohun ti o jẹ ti kilasi kan .
3. A ṣe akiyesi ayẹwo ikẹkọ wa bi imọran ti iṣakojọpọ Awọn eto Bernoulli, iyẹn ni, fun ohun kọọkan, iyipada laileto ti ipilẹṣẹ, eyiti o pẹlu iṣeeṣe (ara rẹ fun ohun kọọkan) gba iye 1 ati pẹlu iṣeeṣe - 0.
4. A mọ pe a nilo lati mu iwọn iṣẹ iṣeeṣe ayẹwo ni akiyesi awọn ifosiwewe ti o gba lati jẹ ki ayẹwo ti o wa ni o ṣeeṣe julọ. Ni awọn ọrọ miiran, a nilo lati yan awọn paramita ti yoo jẹ ki ayẹwo naa ṣeeṣe julọ. Ninu ọran wa, paramita ti a yan ni iṣeeṣe ti sanpada awin naa , eyiti o da lori awọn iye-iye aimọ . Nitorinaa a nilo lati wa iru fekito ti awọn iwuwo , ni eyiti o ṣeeṣe ti ayẹwo yoo jẹ o pọju.
5. A mọ kini lati mu iwọn awọn iṣẹ iṣeeṣe ayẹwo le lo o pọju o ṣeeṣe ọna. Ati pe a mọ gbogbo awọn ẹtan ẹtan lati ṣiṣẹ pẹlu ọna yii.
Eyi ni iru kan olona-ọna wa ni jade 🙂
Ati nisisiyi ranti pe ni ibẹrẹ akọkọ ti nkan naa a fẹ lati gba awọn oriṣi meji ti iṣẹ isonu Isonu Lojististic da lori bi awọn kilasi ti awọn ohun ti wa ni pataki. O ṣẹlẹ pe ni awọn iṣoro ipinya pẹlu awọn kilasi meji, awọn kilasi jẹ itọkasi bi и tabi . Ti o da lori ami akiyesi, abajade yoo jẹ iṣẹ isonu ti o baamu.
Ọran 1. Isọri awọn nkan lori и
Ni iṣaaju, nigba ti npinnu iṣeeṣe ti apẹẹrẹ, ninu eyiti iṣeeṣe ti isanpada gbese nipasẹ oluyawo ti ṣe iṣiro da lori awọn ifosiwewe ati fun awọn iye-iye. , a lo ilana naa:
Ni otitọ ni iye logistic esi awọn iṣẹ fun a fi fun àdánù fekito
Lẹhinna ko si ohun ti o ṣe idiwọ fun wa lati kikọ iṣẹ iṣeeṣe ti apẹẹrẹ bi atẹle:
O ṣẹlẹ pe nigbakan, o nira fun diẹ ninu awọn atunnkanka alakobere lati ni oye lẹsẹkẹsẹ bi iṣẹ yii ṣe n ṣiṣẹ. Jẹ ki a wo awọn apẹẹrẹ kukuru 4 ti yoo jẹ ki ohun gbogbo ṣe kedere:
1. ti o ba ti (ie, ni ibamu si apẹẹrẹ ikẹkọ, ohun naa jẹ ti kilasi +1), ati algorithm wa ṣe ipinnu iṣeeṣe ti ohun kan ti a yàn si kilasi kan dogba si 0.9, lẹhinna nkan ti iṣeeṣe ayẹwo yii yoo ṣe iṣiro bi atẹle:
2. ti o ba ti , ati , lẹhinna iṣiro yoo jẹ:
3. ti o ba ti , ati , lẹhinna iṣiro yoo jẹ:
4. ti o ba ti , ati , lẹhinna iṣiro yoo jẹ:
O han gbangba pe iṣẹ o ṣeeṣe yoo pọ si ni awọn ọran 1 ati 3, tabi ni ọran gbogbogbo - pẹlu awọn iye amoye ti o tọ ti awọn iṣeeṣe ti pinpin nkan si kilasi kan. .
Nitori otitọ pe nigba ti npinnu iṣeeṣe ti itọkasi ohun kan si kilasi kan a ko mọ nikan iyeida , lẹhinna a yoo wa wọn. Gẹgẹbi a ti sọ loke, eyi jẹ iṣoro iṣapeye ninu eyiti a nilo akọkọ lati wa itọsẹ ti iṣẹ iṣeeṣe pẹlu ọwọ si fekito iwuwo. . Sibẹsibẹ, o jẹ oye lati ṣe irọrun iṣẹ-ṣiṣe tẹlẹ: a yoo wa itọsẹ ti logarithm. o ṣeeṣe awọn iṣẹ.
Kilode, lẹhin mu logarithm kan, ni logistic aṣiṣe awọn iṣẹ, a ti yipada ami lati on . Ohun gbogbo ni o rọrun, niwon ninu awọn iṣẹ ṣiṣe ti iṣiro didara awoṣe o jẹ aṣa lati dinku iye iṣẹ naa, a ti pọ si apa ọtun ti ikosile nipasẹ ati gẹgẹ bi, dipo ti mimu ki, a bayi gbe awọn iṣẹ.
Lootọ, ni bayi, ṣaaju oju rẹ, iṣẹ isonu ti yọkuro pupọ - Isonu Lojististic fun apẹẹrẹ ikẹkọ pẹlu awọn kilasi meji: и .
Ni bayi, lati wa awọn iye-iye, a nilo nikan lati wa itọsẹ naa logistic aṣiṣe awọn iṣẹ ati lẹhinna, ni lilo awọn ọna iṣapeye nọmba, gẹgẹ bi irandiwọn gradient tabi isale isọdi-sitokasitik, wa awọn iye-iye ti o dara julọ julọ. . Ṣugbọn, fun iwọn ti o tobi tẹlẹ ti nkan naa, o dabaa lati ṣe iyatọ lori tirẹ, tabi boya eyi yoo jẹ koko-ọrọ fun nkan atẹle pẹlu ọpọlọpọ awọn iṣiro laisi iru awọn apẹẹrẹ alaye.
Ọran 2. Isọri awọn nkan lori и
Ọna nibi yoo jẹ kanna bi pẹlu awọn kilasi и , ṣugbọn awọn ọna ara si awọn wu ti awọn isonu iṣẹ Isonu Lojististic, yoo jẹ diẹ ọṣọ. Jẹ ká bẹrẹ. A yoo lo oniṣẹ ẹrọ fun iṣẹ ti o ṣeeṣe "ti o ba jẹ ... nigbana...". Iyẹn ni, ti o ba -th ohun je ti si awọn kilasi , lẹhinna lati ṣe iṣiro iṣeeṣe ti ayẹwo, a lo iṣeeṣe naa ti ohun naa ba jẹ ti kilasi naa , lẹhinna a rọpo sinu iṣeeṣe . Eyi ni ohun ti iṣẹ iṣeeṣe dabi:
Jẹ ki a kọ lori awọn ika ọwọ bi o ṣe n ṣiṣẹ. Wo awọn ọran 4:
1. ti o ba ti и , lẹhinna o ṣeeṣe ti ayẹwo yoo "lọ"
2. ti o ba ti и , lẹhinna o ṣeeṣe ti ayẹwo yoo "lọ"
3. ti o ba ti и , lẹhinna o ṣeeṣe ti ayẹwo yoo "lọ"
4. ti o ba ti и , lẹhinna o ṣeeṣe ti ayẹwo yoo "lọ"
O han ni, ni awọn ọran 1 ati 3, nigbati awọn iṣeeṣe ti pinnu ni deede nipasẹ algoridimu, o ṣeeṣe iṣẹ yoo wa ni maximized, eyi ti o jẹ gangan ohun ti a fe lati gba. Sibẹsibẹ, ọna yii jẹ ẹru pupọ ati siwaju a yoo gbero akiyesi iwapọ diẹ sii. Ṣugbọn ni akọkọ, jẹ ki a wọle iṣẹ ti o ṣeeṣe pẹlu iyipada ami, nitori bayi a yoo dinku rẹ.
Rọpo dipo ikosile :
Ṣe irọrun ọrọ ti o tọ labẹ logarithm ni lilo awọn ẹtan isiro ti o rọrun ki o gba:
Ati nisisiyi o to akoko lati yọ oniṣẹ kuro "ti o ba jẹ ... nigbana...". Ṣe akiyesi pe nigbati ohun kan je ti kilasi , lẹhinna ninu ikosile labẹ logarithm, ni iyeida, dide si agbara ti ohun naa ba jẹ ti kilasi naa , nigbana a gbe $e$ dide si agbara . Nitorinaa, akiyesi alefa le jẹ irọrun - darapọ awọn ọran mejeeji sinu ọkan: ... Lẹhinna logistic aṣiṣe iṣẹ yoo gba fọọmu:
Ni ibamu pẹlu awọn ofin ti logarithm, a tan ida naa ati mu ami naa jade ""(iyokuro) fun logarithm, a gba:
Eyi ni iṣẹ isonu eekaderi pipadanu, eyiti a lo ninu apẹẹrẹ ikẹkọ pẹlu awọn nkan ti o ni ibatan si awọn kilasi: и .
O dara, ni aaye yii Mo gba isinmi mi ati pe a pari nkan naa.
Iṣẹ iṣaaju ti onkọwe ni “A mu idogba ti ipadasẹhin laini wa sinu fọọmu matrix kan”
Awọn ohun elo iranlọwọ
1. Litireso
1) Ayẹwo atunṣe ti a lo / N. Draper, G. Smith - 2nd ed. - M .: Isuna ati awọn iṣiro, 1986 (tumọ lati Gẹẹsi)
2) Ilana iṣeeṣe ati awọn iṣiro mathematiki / V.E. Gmurman - 9th ed. - M .: Ile-iwe giga, 2003
3) Ilana iṣeeṣe / N.I. Chernova - Novosibirsk: Novosibirsk State University, 2007
4) Awọn atupale iṣowo: lati data si imọ / Paklin N. B., Oreshkov V. I. - 2nd ed. Petersburg: Peteru, 2013
5) Imọ data Imọ-jinlẹ Data lati ibere / Joel Gras - St. Petersburg: BHV Petersburg, 2017
6) Awọn iṣiro adaṣe fun awọn alamọja Imọ-jinlẹ Data / P. Bruce, E. Bruce - St. Petersburg: BHV Petersburg, 2018
2. Awọn ikẹkọ, awọn iṣẹ ikẹkọ (fidio)
1)
2)
3)
4)
5)
3. Awọn orisun Ayelujara
1)
2)
3)
4)
5)
6)
7)
8)
orisun: www.habr.com