Regressionem linearem et methodos ad suam recuperationem

Source: xkcd

Regressio linearis est una e algorithmis fundamentalibus multis locis ad analysin notata. Cuius ratio est manifesta. Haec algorithmus simplex et comprehensibilis est, qui multis decenis, si non centenariis, usum suum contulit. Idea est quod dependentiam linearem unius variabilis in statuto aliarum variabilium ponimus, et deinde dependentiam hanc restituere conamur.

Sed hic articulus non est de lineari regressione utendo ad solvendas quaestiones practicas. Hic considerabimus interesting lineamenta ad exsequendam algorithms distributam pro recuperatione sua, quam invenimus cum scribendo machinam discendi moduli in Apache Ignite. Parva mathematica fundamentalis, apparatus discendi et computandi distributus adiuvare potest te instar sicco quomodo regressionem linearem exercere, etiam cum notitia tua per milia nodum distributa est.

Quid ergo dicemus?

Adversus nos sumus munus restituendi dependentiam linearem. Sicut input data, copia vectoriarum variabilium velut independentium datur, quarum unaquaeque cum quodam variabili dependentis valore coniungitur. Haec notitia in duabus matricis forma repraesentari potest;

Nunc, cum dependentia ponatur, et insuper lineares, scribemus assumptionem nostram in forma producti matricis (ad simpliciorem recordationem, hic et infra supponitur liberum terminum aequationis latitare. et ultimam columnam matricis unitates continet):

Nonne multum sonat sicut systema aequationum linearium? Videtur, sed verisimile non erit solutiones tali aequationum systemate. Causa huius vocis est, quae in omni fere notitia reali inest. Alia ratio potest esse defectus dependentiae linearis qua talis, quae potest pugnare additis variabilibus inducendis quae ab originalibus nonlineari pendent. Considera hoc exemplum:

Source: Wikipedia

Hoc simplex exemplum est regressionis linearis ostendens relationem unius variabilis (per axem ) Ex alia variabilis (per axem ). Ut ad systema aequationum linearium huic exemplo respondentium solutionem habeant, omnia puncta in eadem linea recta prorsus jacere debent. Sed id non est. Sed in eadem recta linea praecise propter strepitum non mentiuntur (vel quia erronea erat relatio linearis suppositio). Itaque, ut relationem linearem e notitia reali restituat, plerumque necessarium est unum plures suppositiones inducere: notitia initus strepitum continet et hunc sonum habet. normalis distribution. De aliis generibus strepitus distributionem facere potes, sed in pluribus casibus normalis distributio consideratur, de quo ulterius dicetur.

Maxime likelihood modum

Nos itaque temere consuete distribui strepitum sumpsimus presentibus. Quid in tali re facere? Hic enim casus in mathematicis est et late dicitur maximam modum likelihood. Denique eius essentia in electione est verisimilitudo munera et eius maximization subsequente.

Redimus ad relationem linearem a notitia cum strepitu normali restituendam. Nota quod relatio linearis sumpta est exspectatio mathematica normalis existentium distributio. Eodem tempore probabile sumit unum valorem vel alium, coram observables hoc modo:

Nunc substituamus и Variabiles nobis opus sunt:

Reliquum est ut vector in quo hoc maximum est probabile. Ad talem functionem maximize, commodum est Logarithmum ejus primum accipere (perveniet Logarithmus functionis maximum in eodem puncto ac ipsa functione);

Quae, vicissim, descendit ad munus sequens obscurandum;

Obiter haec methodus appellatur saltem quadrata. Saepe praedicta omnia omittuntur et hic modus simpliciter adhibetur.

QR compositione

Minimum functionis praedictae inveniri potest invenire punctum ad quod huius functionis clivus nullus est. et clivus sic scribetur;

QR compositione matrix modus est problema solvendi minimisationi adhibita in methodo quadratis minimis. Qua de re rescribimus aequationem in forma matricis:

Sic corrumpimus vulvam ut vulvis и et seriem transmutationis faciendam (ipsum algorithmus QR compositione hic non consideretur, tantum usus eius in relatione ad munus praesens);

matrix est orthogonale. Hoc nobis concedit ut opus removendum :

Et si reponere on , tunc operabitur . Cum autem matrix superior triangularis similis est;

Solvi potest haec substitutionis methodo utens. Elementum sita est , elementum priorem sita est et ita in.

Notatu hic dignum est multiplicitatem algorithmi proventuum propter usum compositionis QR aequalem esse. . Praeterquam quod multiplicatio matrix operationi bene parallelis efficitur, non potest scribere efficax versio distributa huius algorithmi.

Gradiente Descensu

Cum de munere extenuando loquitur, semper memorabile est modum descensus (stochastic) gradientis. Haec methodus minimization simplex et efficax est secundum iterative computans clivum functionis in puncto, et deinde eam in contrariam partem gradatim transferens. Quisque talis gradus solutionem propius ad minimum affert. Clivum adhuc spectat eundem;

Haec methodus bene etiam paralledizatur et distribuitur ob proprietates lineares operantis gradientis. Nota quod in praedicta formula, sub signo summae, sunt termini independentes. Aliis verbis, clivum independenter pro omnibus indicibus computare possumus ex primo to , huic parallelo , computa clivum pro indicibus cum ad . Deinde adde gradus consequens. Proventus additionis idem erit ac si protinus a primo to indices gradatim computaremus . Si ergo notitia inter plures partes datae distributa est, gradiens separatim in unaquaque parte computari potest, et tunc eventus horum calculi summam consequi possunt exitum;

Ex parte exsecutionis, hoc aptat paradigma MapReduce. In unoquoque gradu descensus gradientis, negotium ad singulas notas nodi mittitur ad computandum clivum, deinde calculi calculi in unum colliguntur, et effectus summae ad effectum meliorem efficiendum adhibetur.

Quamvis facilitas exsecutionis et facultas faciendi in MapReduce paradigma, descensus clivus etiam sua vitia habet. Praesertim numerus graduum ad concursum consequendum requiritur insigniter altioribus aliis modis specialioribus comparandus.

LSQR

LSQR alius modus est solvendi problema, qui aptus est tum ad regressionem linearem restituendam, tum ad systemata aequationum linearium solvendas. Praecipuum eius proprium est ut commoda matricis modos coniungat et aditum iterativam. Huius methodi exsecutiones in utroque bibliothecis inveniuntur SciPyet in MATLAB. Huius methodi descriptio hic non dabitur (inueniri potest in art LSQR: algorithmus pro sparsis aequationibus linearibus et sparsis minimis quadratis). Sed accessus demonstrabitur ad supplicium in ambitu distributo LSQR accommodare.

In modum fundatur LSQR bidiagonalization procedure. Haec ratio iterativa est, unaquaeque iteratio sequentibus gradibus constans;


sed si matrix supponitur horizontaliter partita, unaquaeque iteratio ut duo gradus MapReduce repraesentari potest. Hoc modo, notitias translationes in unaquaque iteratione obscurare potest (tantum vectorum longitudine aequale numero incognitarum);

Hic modus est qui adhibetur cum regressionem linearem in effectum deducendi Apache Ignite ML.

conclusio,

Multae regressionis lineares algorithmarum recuperationis sunt, sed non omnes in omnibus conditionibus applicari possunt. Itaque QR compositione optima est ad solutionem accurate in parva notitia ponit. Descensus clivus simplex est ad efficiendum et permittit ut cito solutionem proximam invenias. Et LSQR optimas proprietates duorum priorum algorithmorum componit, cum distribui possit, ad clivum descensum citius converti, ac etiam algorithm, dissimilis compositione QR, primae morae sinit, ut proximam solutionem invenias.

Source: www.habr.com