In hoc articulo, rationes theoricae transformationis resolvemus linearibus procedere munera Π² inversa munus transmutatio logit (alias munus responsionis logisticae appellatur). deinde armamentarium utens maximam modum likelihoodsecundum exemplar regressionis logisticae munus amittit Logistic Lossvel aliis verbis, functionem definiemus qua parametri ponderis vectoris in exemplar regressionis logisticae eliguntur. .
Articuli adumbratio:
- Repetamus lineares necessitudines inter binas variabiles
- Sit scriptor transformationis opus identify linearibus procedere munera Π² logisticam munus responsum
- Mutationes et output exsequamur logisticam munus responsum
- Experiamur cur minime quadrat modus malus eligens parametri munera Logistic Loss
- Utimur maximam modum likelihood ad determinandum modularis lectio munera :
5.1. Case 1: function Logistic Loss nam res cum genere vocabulis 0 ΠΈ 1:
5.2. Case 2: function Logistic Loss nam res cum genere vocabulis -1 ΠΈ +1:
Articulus plenus est exemplis simplicibus, in quibus omnes calculi vel ore vel charta faciliores sunt, in quibusdam calculator requiri potest. Sic parandas :)
Articulus hic principaliter destinatur ad notitias scientiarum cum gradu initiali cognitionis in fundamentis apparatus eruditionis.
Articulus etiam codicem praebebit ad graphas et calculas delineatas. Totum codicem in lingua scriptum est python 2.7. In antecessum exponam de "novitate" versionis adhibitae - haec est una ex condicionibus ad cursum notum accipiendum. Yandex an aeque bene notum online educationem suggestum Courseraet, ut supponeretur, materia praeparata est ex hoc cursu.
01. Recta linea dependentia
Rationabile est quaerere quaestionem - quidnam dependens linearis et regressus logisticam habent cum ea?
Simplex est! Regressio logistica est unum e exemplaribus quae ad classificatorem linearem pertinent. Simplicibus verbis, munus classificantis linearis est valores scopum praedicere ex variables (regressores) . Creditur dependentia inter characteres ac scopum values linearibus. Hinc nomen classifier - linearis. Ut id durissime ponatur, regressionis logisticae exemplar innititur suppositione lineari relationem inter notas collocari. ac scopum values . nexus hic est.
Primum exemplum est in studio, estque recte circa rectilinea quantitatum dependentia. In processu ad articulum parandum incidi exemplum quod iam multi obstupuerunt - dependentia currentis in intentione. N. Draper, G. Smith.. Nos quoque hic intuebimur.
Secundum Legem Ohm;
quibus β vena vi; β intentione; β Repugnantia.
Si nesciebam Ohm lexErgo invenire potuimus dependentiam empirice mutando et mensuræ Dum supportantes fixum. Deinde volumus, ut graphi dependentiae ex plus minusve rectae originis dat. Dicimus plus minusve, quia, licet relatio actualiter accurata sit, mensurae nostrae errores parvos continere possunt, ideoque puncta in grapho non exacte in linea cadere possunt, sed passim circa eam spargentur.
Aliquam lacinia purus 1 "Dependentia" ex Β»
Chart drawing code
import matplotlib.pyplot as plt
%matplotlib inline
import numpy as np
import random
R = 13.75
x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
y_line.append(i/R)
y_dot = []
for i in y_line:
y_dot.append(i+random.uniform(-0.9,0.9))
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Actual results')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()02. Necessitas procedere aequationem linearem transformare
Intueamur aliud exemplum. Fingamus nos in argentariis operari et negotium nostrum determinare verisimilitudinem mutui reddendi mutui secundum aliquas causas. Ad negotium simpliciorem reddendum, duo tantum considerabimus: salarium menstruum mutuum et recompensatio menstruae mutui.
Negotium valde conditionale est, sed hoc exemplo intellegere possumus quare parum sit uti linearibus procedere muneraatque etiam ex- plicare quaenam transformationes officio peragi oporteat.
Ad exemplum redeamus. Intelligitur quanto plus salarium fuerit, eo magis mutuum menstrua ad mutuum reddere. Eodem tempore, pro certo salario, haec relatio satis linearis erit. Exempli causa, salarium ab 60.000 RUR usque ad 200.000 RUR capiamus et id in statuto salarii spatio sumamus, dependentia quantitatis MENSTRUUM MENSTRUUM secundum magnitudinem salarii linearis. Dicamus ob certum spatium mercedis indicatum esse rationem salarii solvendi infra 3 cadere non posse et mutuum adhuc habere in subsidiis 5.000 RUR. Et in hoc tantum casu ponemus quod mutuum mutuum rependet ripae. Deinde, aequatio linearis regressionis formam habebit;
quibus , , , - salarium -th mutuum accipit; - loan solucionis -th mutuum accipit.
Stipendium substituendi et solvendi mutui fixa parametris in aequationem Potes iudicare utrum mutuum ferat an recuses.
Prospicientes notamus, parametris datis linearibus munus procedere, usus est in logisticam responsionem munera magnas valores efficiet qui calculis implicabunt ut probabilia mutui recompensationis determinent. Ideo propositum est coefficientes nostros reducere, dicamus per XXV 25.000 temporum. Haec mutatio in coefficientibus consilium mutuum ferat non mutabit. Hoc punctum in posterum meminerimus, nunc, ut clarius etiam quid loquimur, cum tribus mutuis potentialibus condicionem consideremus.
Mensam I "Potentia borrowers"
Code ad generandi mensam
import pandas as pd
r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r
data = {'The borrower':np.array(['Vasya', 'Fedya', 'Lesha']),
'Salary':np.array([120000,180000,210000]),
'Payment':np.array([3000,50000,70000])}
df = pd.DataFrame(data)
df['f(w,x)'] = w_0 + df['Salary']*w_1 + df['Payment']*w_2
decision = []
for i in df['f(w,x)']:
if i > 0:
dec = 'Approved'
decision.append(dec)
else:
dec = 'Refusal'
decision.append(dec)
df['Decision'] = decision
df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision']]Iuxta tabulam datam Vasya, cum salario 120.000 RUR, mutuum recipere vult ut menstrua ad 3.000 RUR reddere possit. Statuimus quod ut mutuum approbet, salarium Vasya ter excedit solutionis quantitatem et restare debet 5.000 RUR. Vasya satisfacit hac postulatione; . Etiam 106.000 RUR manet. Non obstante quod cum colligendis redegerunt odds 25.000 vicibus, eventus idem erat - creditum approbari potest. Fedya etiam mutuum recipiet, sed Lesha, licet plus recipit, gulam refrenare debebit.
Aliquam lacinia purus ut hac.
Chart 2 "Classificatio mutuorum"
Codex ad graph
salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'],
'o', color ='green', markersize = 12, label = 'Decision - Loan approved')
plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'],
's', color = 'red', markersize = 12, label = 'Decision - Loan refusal')
plt.xlabel('Salary', size = 16)
plt.ylabel('Payment', size = 16)
plt.legend(prop = {'size': 14})
plt.show()Nostra igitur linea recta ad normam functionis constructa a bonis mutuis separat. Qui mutuum mutuat cum suis facultatibus non conveniunt, supra lineam sunt (Lesha), at illi qui, secundum ambitum exemplaris nostri, mutuum reddere possunt, infra lineam sunt (Vasya et Fedya). Aliis verbis hoc dicere possumus: mutuum nostrum recta linea in duas classes dividit. Eos sic demus: ad class Dicemus eos qui mutuum reddere maxime verisimile est aut FΕneratores illos comprehendemus qui verisimile non poterunt mutuum reddere.
Conclusiones ex hoc exemplo simplici compendiamus. Sit punctum accipies &, substitutis coordinatis puncti in aequatione rectae correspondentem considera tria bene:
- Si punctum est sub linea, et assignamus illud classi ergo valor functionis erit positivum ex * ad . Hoc modo possumus supponere quod in mutuum redintegrandae probabilitas . Quo maioris pretii munus, eo probabilitas superior.
- Si punctus est supra lineam et eam classi assignamus aut , valor functionis negativus erit e ad . Deinde ut probabile est intra debitum recompensatio et, quo maior absoluta utilitas officii, eo altior fiducia.
- Punctum est recta linea, in confinio duorum generum. Hoc in casu, valor muneris erit aequalis et probabilitas mutuum reddere aequalis .
Nunc fingamus nos non duo factores, sed justos, nec tres, sed mille mutuo habere. Tunc pro linea recta habebimus m dimensiva planum et coefficientium non ex aere tenui, sed ex omnibus legibus derivatis, et ex coacervatis data mutuis, qui mutuum non habentibus vel non reddiderunt. Et sane notandum est nos nunc mutuum deligendis uti coefficientibus iam notis . Re quidem vera, exemplar regressionis logisticae est prorsus ambitum determinare Ad quod munus valorem amissionis Logistic Loss tendam ad minimum. Sed quomodo vector computatur plura in 5. Articuli sectione videbimus. Interim ad terram promissionis revertamur nostro argentario et tribus clientibus.
Gratias ad munus Scimus quis mutuum dari et cui denegari oporteat. Sed cum tali notitia non potes ire ad moderatorem, quod a nobis obtinere vellent probabilitatem mutui mutui. Quid facere? Responsio simplex est - opus est aliquo modo munus transformare , cuius bona in latitudine ad functionem cuius valores in range . Et talis functio existit, vocatur logisticae responsum munus vel inversum logit transformatio. Obviam:
Videamus gradus quomodo operatur logisticam munus responsum. Nota quod in oppositum ambulabimus, i.e. ponamus nos valorem probabilem cognoscere, qui in extensione consistit ad et tunc hunc valorem "solvuntur" ad omnem extensionem numerorum e ad .
03. Dicimus logisticam responsionem munus
Gradus 1. converte probabilitatem values ββββin a range
Per mutationem functionis Π² logisticam munus responsum Sola nostra analysta fidem relinquemus et pro librariorum pretium accipiemus. Non, utique, sponsiones non ponemus, omnia quae ad nos pertinent significationem locutionis, exempli gratia, casus est 4 ad 1. Discordes, omnibus melioribus familiares, proportio "res" ad " defectis ". Probabiliter in verbis, dissident probabilitas rei occurrentis divisae a probabilitate eventus non occurrentis. Formulam scribamus casui eventi occurrentis :
quibus β probabilitas rei occurrentis; - probabile est res non fit
Exempli gratia, si probabilis est iuvenis, equus fortis et lascivus cognomento "Veterok", vetulam et marcidam vetulam nomine "Matildam" in stadio verberabit. ergo casus successus "Veterok" erit ΠΊ et e converso, scientes discordantes, non erit difficile probabilitatem nobis computare :
Ita probabilitatem "transferre" in casus didicimus, qui valores accipiunt ex ad . Unum gradum sumamus et disce "translate" probabilitatem toti numeri lineae ad .
Gradus 2. converte probabilitatem values ββββin a range
Hic gradus est valde simplex - logarithmum oddorum sumamus ad basim numeri Euleri et dabimus;
Nunc scimus quia si Ergo valorem computare valde simplex erit, ac praeterea positiva esse debet; . Haec sit vera.
De curiositate, quid inspiciamus Ergo exspectamus ut valorem negativum . Reprehendimus: . SIC.
Nunc scimus quomodo convertat valorem probabilitatis a ad secundum numerum lineae ad . Proximo gradu contrarium faciamus.
Nunc enim animadvertimus secundum regulas logarithmi, cognoscentes valorem functionis , rationem odds;
Haec methodus discors determinandi in proximo gradu nobis utilis erit.
Gradus 3. Sit formula determinare demus
Ita didicimus, scientes , Munus invenire values . Attamen, re vera, opus est prorsus contrarium - cognoscendi valorem inveniet . Ad hoc, accedamus ad talem conceptum, ut munus inversum dissident, secundum quod;
In Articulo hanc formulam non derivabimus, sed eam numeris ab exemplo supra scripto coercebimus. Scimus cum odds 4 ad 1 () Probabilitas rei quae est 0.8 (). ineamus substitutionem; . Hoc congruit cum calculis nostris antea peractis. Transeamus in.
In ultimo gradu deduximus id quod inverso dissident functioni substituere potes. Et dabimus tibi:
Utrumque numeratorem et denominatorem divide by , deinde;
In casu fac ut nos alicubi erraverimus, unum minorem reprehendo faciamus. In gradu 2, pro nobis determinari quod . Deinde, substituto valore munus in logisticam responsionem, exspectamus obtinere . Substituimus et possidemus;
Gratulor, lector charissime, quod munus logisticum modo derivavimus et probavimus. Intueamur lacinia purus functionis.
Aliquam lacinia purus 3 "responsum Logistic munus"
Codex ad graph
import math
def logit (f):
return 1/(1+math.exp(-f))
f = np.arange(-7,7,0.05)
p = []
for i in f:
p.append(logit(i))
fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()In litteris etiam nomen huius functionis invenire potes sigmoidea munus. Aliquam lacinia purus clare ostendit principalem mutationem probabilitatis rei alicuius generis accidere intra relative parvas partes Alicubi e ad .
Ad analyticum fidem nostram reddens suadeo et adiuvans ut probabilitatem mutuae recompensationis calculet, alioquin periculum sine bono relinquitur :)
Mensam I "Potentia borrowers"
Code ad generandi mensam
proba = []
for i in df['f(w,x)']:
proba.append(round(logit(i),2))
df['Probability'] = proba
df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision', 'Probability']]Idco probabilitas mutui recompensationis statuimus. Fere hoc videtur verum.
Re vera verisimile Vasya, cum salario 120.000 RUR, posse dare 3.000 RUR argentariis singulis mensibus prope 100%. Obiter intelligendum est argentaria dare posse Lesha si consilium argentarii praebet, exempli gratia, clientibus commodare probabilitate mutui plus reddendi quam dicere 0.3. Iustum est quod in hoc casu maiora subsidia pro damnis possibilibus creabit.
Animadvertendum etiam est quod salarii proportio solutionis saltem 3 et cum margine 5.000 RUR e lacunari desumptum est. Ergo non potuimus uti vectore gravium in sua forma originali . Debuimus ad coefficientes multum reducere, et in hoc casu unumquemque coefficientem per XXV 25.000 divisimus, id est in essentia, eventum accommodavimus. Sed hoc specialiter fiebat ad simpliciorem cognitionem materiae in rudimento. In vita, non opus est invenire coefficientes et accommodare, sed eas invenire. In sectionibus proximis articuli dabimus aequationes quibus parametri eliguntur .
04. Minime quadrat modum determinandi vector ponderum in logisticam responsionem munus
Iam novimus hunc modum ad eligendum vector ponderum quam quadrata saltem modum (LSM) et re vera, cur in binariis quaestionibus classificationis tunc utimur? Immo nihil prohibet te uti MNC, modo haec methodus in quaestionibus classificationis minus accurate reddit eventus qui sunt Logistic Loss. Hoc est fundamentum speculativum. Vnum simplex exemplum primum videamus.
Demus exempla nostra (utendo MSE ΠΈ Logistic Loss) Iam coepi eligens vector ponderum et calculi in aliquo gradu destitimus. Nihil refert utrum in medio, in fine, vel in principio, summa res est, nos iam habere aliquas valores vectoris gravium et ponamus hoc passu, vectorem gravium. nam utroque exemplo nullae sunt differentiae. Ponderum ergo inde sume et in ea substitue logisticam munus responsum () Ad aliquid quod pertinet ad genus . Inspicimus duos casus cum, secundum vectorem delectu ponderum, exemplar nostrum valde erratum est et vice versa - exemplar valde confidimus quod obiectum classis pertinet. . Quid multae edantur, cum usura videamus MNC ΠΈ Logistic Loss.
Codex computare poenas pendentes amissione functionis usus est
# ΠΊΠ»Π°ΡΡ ΠΎΠ±ΡΠ΅ΠΊΡΠ°
y = 1
# Π²Π΅ΡΠΎΡΡΠ½ΠΎΡΡΡ ΠΎΡΠ½Π΅ΡΠ΅Π½ΠΈΡ ΠΎΠ±ΡΠ΅ΠΊΡΠ° ΠΊ ΠΊΠ»Π°ΡΡΡ Π² ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²ΠΈΠΈ Ρ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠ°ΠΌΠΈ w
proba_1 = 0.01
MSE_1 = (y - proba_1)**2
print 'Π¨ΡΡΠ°Ρ MSE ΠΏΡΠΈ Π³ΡΡΠ±ΠΎΠΉ ΠΎΡΠΈΠ±ΠΊΠ΅ =', MSE_1
# Π½Π°ΠΏΠΈΡΠ΅ΠΌ ΡΡΠ½ΠΊΡΠΈΡ Π΄Π»Ρ Π²ΡΡΠΈΡΠ»Π΅Π½ΠΈΡ f(w,x) ΠΏΡΠΈ ΠΈΠ·Π²Π΅ΡΡΠ½ΠΎΠΉ Π²Π΅ΡΠΎΡΡΠ½ΠΎΡΡΠΈ ΠΎΡΠ½Π΅ΡΠ΅Π½ΠΈΡ ΠΎΠ±ΡΠ΅ΠΊΡΠ° ΠΊ ΠΊΠ»Π°ΡΡΡ +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
return math.log(proba/(1-proba))
LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'Π¨ΡΡΠ°Ρ Log Loss ΠΏΡΠΈ Π³ΡΡΠ±ΠΎΠΉ ΠΎΡΠΈΠ±ΠΊΠ΅ =', LogLoss_1
proba_2 = 0.99
MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))
print '**************************************************************'
print 'Π¨ΡΡΠ°Ρ MSE ΠΏΡΠΈ ΡΠΈΠ»ΡΠ½ΠΎΠΉ ΡΠ²Π΅ΡΠ΅Π½Π½ΠΎΡΡΠΈ =', MSE_2
print 'Π¨ΡΡΠ°Ρ Log Loss ΠΏΡΠΈ ΡΠΈΠ»ΡΠ½ΠΎΠΉ ΡΠ²Π΅ΡΠ΅Π½Π½ΠΎΡΡΠΈ =', LogLoss_2Casus erroris - exemplum rei assignat genus probabilitate 0,01
Poena in usu MNC erit:
Poena in usu Logistic Loss erit:
A casu fortis fiducia - exemplum rei assignat genus probabilitate 0,99
Poena in usu MNC erit:
Poena in usu Logistic Loss erit:
Hoc exemplum bene illustrat quod in casu gravi erroris amissionem functionis Log Loss significantly magis quam exemplar punit MSE. Nunc intellegamus quid sit subiectum theoreticum ad munus amissum Log Loss in classi- stionibus.
05. Maximum probabilitatis modum et regressionem logisticam
Sicut in principio promissum est, articuli simplicibus exemplis refertum est. In studio est aliud exemplum et veteres hospites mutui argentarii: Vasya, Fedya et Lesha.
In casu, antequam exemplum enucleetur, admoneam te ut in vita agimus de disciplina exempli causarum mille vel decies centena milia vel centenis lineamentis. Tamen hic sumi possunt numeri, ita ut facile in caput notitiae novitistae aptari possint.
Ad exemplum redeamus. Fingamus moderatorem argentariae mutuum ferat omnibus indigentibus, non obstante quod algorithmus ei nuntiaverit ne Lesha eam ferat. Et iam satis est tempus praeterisse et scimus uter trium heroum mutuum retulerit et quod non fecerit. Exspectandum quid erat: Vasya et Fedya mutuum reddidit, sed Lesha non fecit. Nunc fingamus hunc exitum fore nobis specimen novae disciplinae specimenque simul, quasi omnia notitia factorum influentium verisimilitudo reddendi mutui (salarium mutui, magnitudo MENSTRUUM) evanuit. Intuitive deinde supponere possumus quod omnis tertius qui mutuum accipit mutuum non reddit mutuum, vel aliis verbis, probabilitas proximi mutui reddens mutuum. . Haec intuitiva assumptio confirmationem theoricam habet et innititur maximam modum likelihoodsaepe in litteris appellatur maximum likelihood principium.
Primum instrumentum rationis cognoscat.
Sampling likelihood is the probable of obtaining exactly such a sample, obtaining exactly such observations/results, i.e. producto probabilium ad unumquemque proventum specimen obtinendum (exempli gratia, utrum mutuum Vasya, Fedya et Lesha rependerint vel non simul rependantur).
Verisimilitudo munus probabilius exemplum refert ad valores ambitus distributionis.
In casu nostro, specimen disciplinae Bernoullii schema generale est, in quo temere variabilis tantum duos valores capit; aut . Ergo, exempli gratia, probabilius scribi potest ut probabilis functio parametri ut sequitur:
Viscus suprascriptus potest sic interpretari. Communis probabilitas Vasya et Fedya mutuum rependet = Probabilitas quod Lesha mutuum non reddat aequalis (quia non erat recompensatio mutuata), ergo probabilitas trium rerum omnium aequalis est .
Maxime likelihood modum est modus habendis ignotus parametri ab maxima verisimilitudo munera. In casu nostro, necesse est talem valorem invenire ad quod maximum attingit.
Undenam idea actualis venit a - quaerere valorem parametri ignoti ad quem verisimilitudo munus maximum attingit? Origines ideae oriuntur ab eo quod exemplum unicum est fons cognitionis nobis de multitudine promptae. Cuncta scimus de multitudine in sample repraesentari. Ideo omnia possumus dicere exemplum accuratissimum esse reflexionem incolarum nobis praesto. Ergo parametrum invenire oportet in quo specimen promptum fit probabilior.
Uti patet, de optimizatione problemate agitur, in qua extremam functionis punctum invenire debemus. Ad extremum punctum inveniendum, necesse est condicionem primi ordinis considerare, hoc est, derivativum functionis ad nihilum aequare et aequationem respectu parametri desiderati solvere. Attamen, quaerendo derivationem producti plurium factorum, longum opus esse potest, ad hoc vitandum, specialis ars est - commutatio logarithmi. verisimilitudo munera. Cur talis transitus fieri potest? Attendamus nos quod finem ipsius functionis non quaerimuset punctum extremum, id est, valoris ignoti moduli ad quod maximum attingit. Cum ad logarithmum moveatur, punctum extremum non mutat (quamvis extremum ipsum differat), quoniam logarithmus est munus monotonic.
Eamus, secundum praedicta, exemplum nostrum cum mutuis ex Vasya, Fedya et Lesha utamur. Primum abeamus ad munus verisimilitudo Logarithmus:
Nunc facile distinguere possumus hoc quod dictum est :
Ac tandem considera condicionem primi-ordinis - derivationem functionis ad nihilum adaequamus;
Sic nostra intuitiva aestimatio probabilitatis mutuae retributionis scientia fuit iustificatus.
Magna, sed quid nunc hoc agimus? Si ponimus quod quilibet tertius qui mutuat pecuniam non reddit ad ripam, hoc necessario decoquet. Ius est, sed solum cum probabilitate mutuae mercedis aestimandis aequale factores recompensationis mutui influentes non habuimus rationem: salarium mutui et MENSTRUUM amplitudo MENSTRUUM. Meminerimus nos antehac probabilitatem reddi mutui ab unoquoque cliente, ratione eorundem factorum. Consentaneum est quod probabilia alia ab aequalibus constantibus consecuti sumus .
Diffinimus verisimilitudinem exempla:
Code pro colligendis specimen expertarum
from functools import reduce
def likelihood(y,p):
line_true_proba = []
for i in range(len(y)):
ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
line_true_proba.append(ltp_i)
likelihood = []
return reduce(lambda a, b: a*b, line_true_proba)
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]
print 'ΠΡΠ°Π²Π΄ΠΎΠΏΠΎΠ΄ΠΎΠ±ΠΈΠ΅ Π²ΡΠ±ΠΎΡΠΊΠΈ ΠΏΡΠΈ ΠΊΠΎΠ½ΡΡΠ°Π½ΡΠ½ΠΎΠΌ Π·Π½Π°ΡΠ΅Π½ΠΈΠΈ p=2/3:', round(likelihood(y,p_const),3)
print '****************************************************************************************************'
print 'ΠΡΠ°Π²Π΄ΠΎΠΏΠΎΠ΄ΠΎΠ±ΠΈΠ΅ Π²ΡΠ±ΠΎΡΠΊΠΈ ΠΏΡΠΈ ΡΠ°ΡΡΠ΅ΡΠ½ΠΎΠΌ Π·Π½Π°ΡΠ΅Π½ΠΈΠΈ p:', round(likelihood(y,p_log_response),3)Sample likelihood ad constantem valorem :
Sample verisimilitudo cum computandi probabilitas mutui redditio habita ratione factorum :
Verisimilitudo exempli cum probabilitate secundum factores computata altiora evasit quam verisimilitudo cum valore constanti probabili. Quid est hoc, Pythi? Hoc suggerit cognitionem factorum posse ut verius eligat probabilitatem mutui recompensationis pro singulis clientibus. Cum igitur emissa altera mutui, rectius erit uti exemplar propositum in fine sectionis 3 articuli ad probabilitatem recompensationis debiti perpendendam.
Sed tunc, si maximize velimus Sample verisimilitudo munuscur non utar algorithmo aliquo probabilia pro Vasya, Fedya et Lesha, exempli gratia, = 0.99, 0.99 et 0.01, respective. Fortasse talis algorithmus bene faciet in disciplina exempli, quia propius ad valorem probabilitatis exemplum afferet at primum talis algorithmus verisimillimum erit difficultates cum facultate generalizatione, et deinde algorithmus hic definite non erit linearis. Et si methodi pugnandi exercendi (facultas generalizationis aeque infirma) plane non comprehenduntur in ratione huius articuli, tum per alterum punctum accuratius eamus. Ad hoc modo respondetur quaestio simplex. Potuitne probabilitas Vasya et Fedya eadem esse mutui reddendi, habita ratione factorum nobis notorum? Ex parte sanae logicae, utique non, non potest. Ita Vasya solvet 2.5% stipendii sui per mensem ut mutuum reddat, et Fedya - fere 27,8%. Etiam in graphe 2 "classificationis Clientis" videmus Vasya multo longius a linea classium separare quam Fedya. Scimus denique munus pro Vasya et Fedya diversos valores accipiunt: 4.24 pro Vasya et 1.0 pro Fedya. Nunc, si Fedya, exempli gratia, ordinem magnitudinis plus meruit vel mutuum minorem petivit, similia probabilia reddendi mutui Vasya et Fedya similia essent. Id est, dependentia linearis non potest seduci. Et si quidem ratione odds nec eas ex aere tenui possemus dicere bona nostra maxime permittit nos aestimare probabilitatem mutui mutui ab unoquoque, sed quia decrevimus determinationem coefficientium assumere. peractum secundum omnes regulas, tunc sic assumebimus - coefficientes nostri permittunt nos ut meliorem aestimationem veri reddamus :)
Sed digredimur. In hac sectione intellegendum est quomodo constituatur vector ponderum quod necesse est perpendere ab unoquoque mutuum, ut probabilitas reddatur mutui.
Qua re armamentarium discors quaerimus :
1. Ponimus relationem inter scopum variabile (valorem praedictionis) et factorem influentem ad eventum linearem. Hac ratione ponitur linearibus munus procedere species , cuius linea obiecta dividit in classes ΠΈ aut ( clientes qui mutuum reddere possunt et qui non sunt). In casu nostro, aequatio formam habet .
2. utimur inversa logit munus species probabilitas rei determinare genus .
3. Disciplinam nostram instituendam censemus veluti exsecutionem generativus Bernoullius consiliaid est, pro unoquoque generatur temere variabile, quod probabiliter (Sua cuique obiecto) valorem accipit et probabiliter I - 0.
4. Scimus quid nos postulo ut maximize Sample verisimilitudo munus attentis factoribus acceptis ut specimen promptum fit probabilius. Aliis verbis, parametris eligere opus est quibus exemplum verisimilissimum erit. In casu nostro, modulus delectatus probabilitas est mutuae retributionis quae rursus ab ignotis coefficientibus pendent . Itaque necesse est invenire vectorem talium ponderum at quam sit amet lacus maximus.
5. Scimus quid maximize Sample verisimilitudo munera vos can utor maximam modum likelihood. Scimus autem omnes sycophantias hoc modo operari.
Hoc est quomodo evenit ut multi-gradus moveantur :)
Nunc memento nos in ipso initio articuli duo genera amissionis functionum habere voluimus Logistic Loss secundum quam objectum classes designantur. Accidit ut in quaestionibus classificationis duae classes, classes ut designarentur ΠΈ aut . Secundum notationem, output debita damnum munus habebit.
Causa 1. Ordo obiecti in ΠΈ
Antea, cum verisimilitudo exempli determinans, in quo probabilitas recompensationis debitoris ab ipso mutuante computata est in factoribus et coefficientibus data. formulam adhibuimus:
Praesent est significatio logisticam responsionem munera pro dato vector ponderum
Deinde nihil impedit quominus exemplum verisimilitudinis scripserit ut sequitur:
Contingit interdum difficile esse aliquos analystas novitiorum statim intelligere quomodo hoc munus operatur. Intueamur 4 brevia exempla quae omnia patebunt:
1. si (i.e., secundum specimen disciplinae, res pertinet ad genus 1), et nostrum algorithmus probabilitas determinat genus obiecti digerendi aequale 0.9, haec pars verisimilitudinis exemplorum sic calculanda erit:
2. si quod calculus erit talis;
3. si quod calculus erit talis;
4. si quod calculus erit talis;
Perspicuum est munus verisimilitudinis maximisari in casibus 1 et 3 vel in generali casu - cum valores recte conieci probabilium obiecti genus assignandi. .
Ex eo quod cum probabilitate determinans genus obiectum assignans Tantum non scire coefficientes tunc expectabimus eos. Ut supra dictum est, haec quaestio optimizatio est in qua primo quaerenda est functionis probabilitatis derivatio respectu vectoris ponderum. . Attamen primum sensum efficit ut negotium nobis simpliciorem reddat: inde logarithmi quaeramus verisimilitudo munera.
Quare post Logarithmum, in . logistic errore munera, signum mutavimus e on . Omnia simplicia sunt, cum in quaestionibus perpendendis qualitatem exemplaris consuetum est functionis valorem minuere, dextram elocutionis partem multiplicamus. ac proinde pro maximiza, nunc munus augemus.
Profecto nunc, ante oculos tuos, munus amissum sedulo derivatum est. Logistic Loss ad exercitationem ad duo genera; ΠΈ .
Nunc, ut coefficientes invenias, tantum opus est ut inde inveniatur logistic errore munera ac deinde, adhibitis optimizationibus methodis numeralibus, ut descensus gradiens seu descensus stochasticus gradiens, coefficientes optimos elige. . Sed, dato magno volumine articuli, proponitur differentiam perficiendam in tuo, vel fortasse hic erit thema sequentis articuli cum multa arithmetica sine exemplis distinctis.
Causa 2. Ordo obiecti in ΠΈ
Accessus hic erit idem cum classibus ΠΈ sed ipsa via ad functionis amissionis output Logistic Lossornatior. Incipiamus. Ad functionem probabilis utemur auctor "si igitur ...."... Hoc est, si Th quod est genus deinde probabilitatem exempli calculi, probabilitate utimur si res est classis ergo substituimus in verisimilitudinem . Hoc est quod verisimilitudo muneris similis est;
In digitis describere quomodo operatur. Consideremus IV casibus:
1. si ΠΈ ergo sampling verisimilitudo "ibit"
2. si ΠΈ ergo sampling verisimilitudo "ibit"
3. si ΠΈ ergo sampling verisimilitudo "ibit"
4. si ΠΈ ergo sampling verisimilitudo "ibit"
Patet quod in casibus 1 et 3, quando probabilia algorithmus recte determinata sunt; likelihood munus maximized, id est hoc ipsum quod vellemus. Sed haec accessio satis gravia est, deinde notationem pressiorem considerabimus. Sed primum logarithmum verisimilitudinis fungeretur cum mutatione signi, quia nunc illud minuemus.
Sit loco loco expressio :
Rectum terminum simplicioremus sub logarithmo utendo technicis simplicibus arithmeticis et acquiescentibus:
Nunc tempus est operator carere "si igitur ....". Nota quod quando aliquid pertinet ad genus dictio sub logarithmo, in denominatore; erexit in potestate si res est classis ergo $e$ erigitur in potestatem . Ideo notatio pro gradu simplicior potest utrumque in unum iungendo; . tum munus error logistic forma erit;
Iuxta regulas logarithmicae fractionem nos convertimus et signum emittimus ""(minus) pro logarithmo, dabimus;
Hic munus amissio logisticam damnumquae adhibetur in disciplina cum obiectis ad classes; ΠΈ .
Bene, hic relinquo et concludimus articulum.
Auctoris praecedens opus est "Aquationem regressionem linearem in formam matrix affere".
Auxiliares materiae
1. Literature
1) De analysi regressionis applicata / N. Draper, G. Smith - 2nd ed. - M.: Finance and Statistics, 1986
2) Probabilitas theoriae et statisticae mathematicae / V.E. Gmurman - 9th ed. - M.: Schola Superioris, 2003
3) Probabilitas theoriae / N.I. Chernova - Novosibirsk: Novosibirsk University, 2007
4) Negotia analytica: a notitia ad cognitionem / Paklin N. B., Oreshkov V. I. - 2nd ed. - St. Petersburg: Peter, 2013
5) Data scientiarum notitia de integro / Joel Gras - St. Petersburg: BHV Petersburg, 2017
6) Practica statistica pro Data scientiarum specialium / P. Bruce, E. Bruce - St. Petersburg: BHV Petersburg, MMXVIII
2. Lectures, cursus.
1)
2)
3)
4)
5)
3. Internet fontes
1)
2)
3)
4)
5)
6)
7)
8)
Source: www.habr.com