Source:
Regression linear yek ji algorîtmayên bingehîn e ku ji bo gelek deverên ku bi analîzkirina daneyê ve girêdayî ye. Sedema vê diyar e. Ev algorîtmayek pir hêsan û têgihîştî ye, ku bi dehan salan, heke ne bi sedan, beşdarî karanîna wê ya berfireh bûye. Fikir ev e ku em pêwendiyek xêzikî ya guhêrbarek bi komek guhêrbarên din ve dihesibînin, û dûv re hewl didin ku vê girêdayîbûnê vegerînin.
Lê ev gotar ne li ser karanîna paşveçûna xêzik e ku ji bo çareserkirina pirsgirêkên pratîkî bikar bîne. Li vir em ê taybetmendiyên balkêş ên pêkanîna algorîtmayên belavkirî yên ji bo vejandina wê, ya ku me di dema nivîsandina modulek fêrbûna makîneyê de pê re rû bi rû maye bihesibîne. . Piçek matematîkî ya bingehîn, fêrbûna makîneyê, û hesabkirina belavbûyî dikare ji we re bibe alîkar ku hûn fêr bibin ka meriv çawa paşvekêşana xêzikî pêk tîne tewra gava ku daneyên we li bi hezaran girêk têne belav kirin.
Em behsa çi dikin?
Em bi peywira vegerandina girêdana xêzikî re rû bi rû ne. Wekî daneyên têketinê, komek vektorên guhêrbarên serbixwe yên gumanbar têne dayîn, ku her yek ji wan bi nirxek diyarkirî ya guhêrbara girêdayî ve girêdayî ye. Ev dane dikare di forma du matrican de were temsîl kirin:
Naha, ji ber ku girêdayîbûn tê texmîn kirin, û ji bilî vê, xêzek e, em ê texmîna xwe di forma hilberek matrican de binivîsin (ji bo hêsankirina tomarkirinê, li vir û jêr tê texmîn kirin ku terma azad a hevkêşeyê li paş veşartî ye. , û stûna dawî ya matrixê yekîneyan pêk tîne):
Pir dişibe pergalek hevkêşeyên xêzik, ne wusa? Wusa dixuye, lê bi îhtîmaleke mezin dê ji bo pergalek hevkêşeyên weha çareserî nebin. Sedema vê deng e, ku hema hema di her daneyên rastîn de heye. Sedemek din jî dibe ku nebûna girêdana xêzikî bi vî rengî be, ku dikare bi danasîna guhêrbarên din ên ku nehêlî bi yên orîjînal ve girêdayî ne were şer kirin. Mînaka jêrîn bifikirin:
Source:
Ev mînakek hêsan a paşvekêşana xêzkirî ye ku têkiliya yek guhêrbar (li ser eksê) nîşan dide ) ji guherbareke din (li ser eksê ). Ji bo ku pergala hevkêşeyên xêzikî yên li gorî vê nimûneyê çareseriyek hebe, divê hemî xal tam li ser heman xeta rast bin. Lê ev ne rast e. Lê ew bi rastî ji ber deng (an jî ji ber ku texmîna têkiliyek xêzik xelet bû) li ser heman xeta rast derewan nakin. Ji ber vê yekê, ji bo vegerandina têkiliyek xêzikî ji daneyên rastîn, bi gelemperî pêdivî ye ku meriv texmînek din destnîşan bike: Daneyên têketinê deng vedihewîne û ev deng heye. . Hûn dikarin di derbarê cûreyên din ên belavkirina deng de texmînan bikin, lê di pirraniya bûyeran de ew dabeşkirina normal e ku tête hesibandin, ku dê bêtir were nîqaş kirin.
Rêbaza îhtîmala herî zêde
Ji ber vê yekê, me hebûna dengek normal a normal belavkirî texmîn kir. Di rewşeke weha de çi bikin? Ji bo vê rewşê di matematîkê de heye û pir tê bikaranîn . Bi kurtasî, cewhera wê di hilbijartinê de ye û mezinkirina wê ya paşîn.
Em vedigerin vegerandina têkiliyek xêzik ji daneyan bi dengê normal. Bala xwe bidinê ku têkiliya xêzikî ya tê texmîn kirin bendewariya matematîkî ye belavkirina normal heyî. Di heman demê de, îhtîmala ku nirxek an yekî din digire, li gorî hebûna çavdêran , wiha:
Werin em niha li şûna wê bikin и Guherbarên ku em hewce ne ev in:
Tiştê ku dimîne dîtina vektorê ye , ku ev îhtimal herî zêde ye. Ji bo zêdekirina fonksiyonek wusa, hêsan e ku meriv pêşî logarîtmayek jê bigire (logarîtmaya fonksiyonê dê di heman nuqteya fonksiyonê de bigihîje herî zêde):
Ku, di encamê de, kêmkirina fonksiyona jêrîn tê:
Bi awayê, ji vê yekê re rêbazek tê gotin . Gelek caran, hemî ramanên jorîn têne derxistin û ev rêbaz bi hêsanî tê bikaranîn.
hilweşîna QR
Bi dîtina xala ku gradienta vê fonksiyonê sifir e, hindiktirîn fonksiyona jorîn dikare were dîtin. Û gradient dê wiha were nivîsandin:
rêbazek matrixê ye ku ji bo çareserkirina pirsgirêka kêmkirinê di rêbaza çarçikên herî kêm de tê bikar anîn. Di vî warî de, em hevkêşeyê di forma matrixê de ji nû ve dinivîsin:
Ji ber vê yekê em matrixê hilweşînin ji bo matrican и û rêzek veguherînan pêk bînin (algorîtmaya hilweşandina QR bixwe dê li vir neyê hesibandin, tenê karanîna wê bi peywira di dest de ye):
Matrix ortogonal e. Ev rê dide me ku em ji kar xilas bibin :
Û heger hûn veguherînin li ser , paşê ew ê kar bike . Li ber çavan matrixek sêgoşeya jorîn e, bi vî rengî xuya dike:
Ev dikare bi bikaranîna rêbaza cîgir çareser bibe. Pêve wekî cih tê , hêmana berê wekî cih tê û da ser.
Li vir hêjayî gotinê ye ku tevliheviya algorîtmaya encam a ji ber karanîna hilweşîna QR-yê wekhev e. . Digel vê yekê, tevî vê yekê ku operasyona pirkirina matrixê baş paralel e, ne gengaz e ku meriv guhertoyek belavkirî ya vê algorîtmê binivîsîne.
Gradient Descent
Dema ku behsa kêmkirina fonksiyonek tê kirin, her gav hêja ye ku meriv rêbaza daketina gradient (stochastic) bi bîr bîne. Ev rêbazek kêmkirina hêsan û bandorker e ku li ser bingeha dubarekirina gradientê ya fonksiyonê li xalek û paşê veguheztina wê berbi berevajî gradientê ve girêdayî ye. Her pêngavek wiha çareseriyê nêzî herî kêm dike. Gradient hîn jî heman xuya dike:
Ev rêbaz di heman demê de ji ber taybetmendiyên xêzikî yên operatorê gradientê jî baş tê paralel û belav kirin. Bala xwe bidinê ku di formula jorîn de, di binê nîşana berhevokê de şertên serbixwe hene. Bi gotineke din, em dikarin gradientê ji bo hemî nîşanan serbixwe bihesibînin ji yekem heta , paralel bi vê, gradient ji bo nîşanekan bi ber . Dûv re hûrgelên encam zêde bikin. Encama lêzêdekirinê dê heman be mîna ku me tavilê gradient ji bo îndeksan ji ya yekem heya hesab bike . Bi vî rengî, heke dane di nav çend perçeyên daneyê de were belav kirin, gradient dikare li ser her perçeyek serbixwe were hesibandin, û dûv re encamên van hesaban dikare were berhev kirin da ku encama dawî were bidestxistin:
Ji aliyê pêkanînê ve, ev li gorî paradîgmayê ye . Di her gavê daketina gradientê de, peywirek ji her girêka daneyê re tê şandin da ku pileyê hesab bike, dûv re gradientên hesabkirî bi hev re têne berhev kirin, û encama berhevoka wan ji bo baştirkirina encamê tê bikar anîn.
Tevî hêsaniya pêkanînê û şiyana darvekirinê di paradîgmaya MapReduce de, daketina gradient kêmasiyên xwe jî hene. Bi taybetî, hejmara gavên ku ji bo gihîştina hevgirtinê hewce ne li gorî rêbazên din ên pisportir pir zêde ye.
LSQR
Rêbazek din a çareserkirina pirsgirêkê ye, ku hem ji bo vegerandina paşvekêşana xêz û hem jî ji bo çareserkirina pergalên hevkêşeyên xêzkirî guncan e. Taybetmendiya wê ya sereke ev e ku ew avantajên rêbazên matrixê û nêzîkatiyek dubare dike. Pêkanîna vê rêbazê di her du pirtûkxaneyan de têne dîtin û di . Danasîna vê rêbazê dê li vir neyê dayîn (ew dikare di gotarê de were dîtin ). Di şûna wê de, dê nêzîkatiyek were destnîşan kirin ku LSQR bi darvekirinê di hawîrdorek belavkirî de adapte bike.
Rêbaza LSQR li ser bingehê ye . Ev pêvajoyek dubare ye, her dubarekirin ji gavên jêrîn pêk tê:
Lê eger em bihesibînin ku matrix bi horizontî ve tê dabeş kirin, wê hingê her dubarekirin dikare wekî du gavên MapReduce were destnîşan kirin. Bi vî rengî, gengaz e ku di her dubarekirinê de veguheztinên daneyê kêm bikin (tenê vektorên ku dirêjahiya wan bi hejmara nenasan re ye):
Ev nêzîkatî ye ku di dema pêkanîna vegerandina xêzikî de tê bikar anîn .
encamê
Gelek algorîtmayên vegerandina regresyonê yên xêzkirî hene, lê ne hemî wan di her şert û mercan de têne sepandin. Ji ber vê yekê veqetandina QR ji bo çareseriya rast a li ser komên daneya piçûk pir xweş e. Daxistina gradient hêsan e ku meriv bicîh bike û dihêle hûn zû çareseriyek nêzîk bibînin. Û LSQR taybetmendiyên çêtirîn ên her du algorîtmayên berê berhev dike, ji ber ku ew dikare were belav kirin, li gorî daketina gradientê zûtir li hev dicive, û di heman demê de rê dide sekinandina zû ya algorîtmê, berevajî hilweşandina QR, da ku çareseriyek nêzîk bibîne.
Source: www.habr.com