Waxaan keenaynaa isla'egta regression toosan qaab matrix ah

Ujeedada maqaalku waa in taageero la siiyo saynisyahanada xogta bilowga ah. IN maqaal hore Waxaan soo bandhignay saddex siyaabood oo lagu xalliyo isla'egta regression toos ah: Xalka gorfaynta, farcanka gradient, stochastic gradient deescent. Kadibna xalka falanqaynta waxaanu isticmaalnay qaacidada . В этой статье, как следует из заголовка, мы обоснуем применение данной формулы или другими словами, самостоятельно ее выведем.

Почему имеет смысл уделить повышенное внимание к формуле ?

Именно с матричного уравнения в большинстве случаев начинается знакомство с линейной регрессией. При этом, подробные выкладки того, как формула была выведена, встречаются редко.

Tusaale ahaan, koorasyada barashada mashiinka ee Yandex, marka ardayda lagu baro nidaaminta, waxaa la siiyaa inay isticmaalaan shaqooyinka maktabadda. sklearsan, iyada oo aan kelmad lagu sheegin matalaadda matrixka algorithm. Waa wakhtigan in qaar ka mid ah dhagaystayaasha laga yaabo inay rabaan inay arrintan si faahfaahsan u fahmaan - qor koodka adigoon isticmaalin hawlo diyaarsan. Si tan loo sameeyo, waa inaad marka hore u soo bandhigtaa isla'egta qaabeeyaha qaab matrix ah. Maqaalkani wuxuu u oggolaanayaa kuwa raba inay bartaan xirfadahaas. Aan bilowno.

Shuruudaha bilowga ah

Целевые показатели

Waxaan leenahay qiimeyaal kala duwan oo bartilmaameed ah. Tusaale ahaan, tilmaame yoolku wuxuu noqon karaa qiimaha hanti kasta: saliid, dahab, sarreen, dollar, iwm. Isla mar ahaantaana, tiro ka mid ah qiyamka tilmaamayaasha bartilmaameedka ah waxaan ula jeednaa tirada indha-indheynta. Indho-indhaynta noocan oo kale ah waxay noqon kartaa, tusaale ahaan, qiimaha saliidda bishiiba sanadka, taas oo ah, waxaan yeelan doonnaa 12 qiyam oo bartilmaameed ah. Aan bilowno soo bandhigidda qoraalka. Aan u muujinno qiime kasta oo tilmaamaya bartilmaameedka sida . Guud ahaan waxaan leenahay indho-indheynta, taas oo macnaheedu yahay in aan mateli karno indha-indhayntayada sida .

Regressors

Waxaan u qaadan doonaa in ay jiraan arrimo ilaa xad sharaxaya qiyamka tilmaame bartilmaameedka. Tusaale ahaan, sarifka dollarka/ruble waxa si xoog leh u saameeya qiimaha saliida, heerka kaydka federaalka, iwm. Arimahan oo kale waxa loo yaqaan regressors. Isla mar ahaantaana, qiimaha tilmaame kasta oo bartilmaameed ah waa inuu u dhigmaa qiimaha regressor, taas oo ah, haddii aan haysano 12 tilmaame oo bartilmaameed ah bil kasta 2018, markaa waa inaan sidoo kale haysanaa 12 qiimaha regressor isla muddadaas. Aynu muujino qiyamka regressor kasta by . Arrinkayaga ha jiro regressors (i.. arrimaha saameeya qiyamka tilmaamayaasha la beegsanayo). Tani waxay ka dhigan tahay dib-u-celintayada waxaa loo soo bandhigi karaa sida soo socota: dib-u-celinta 1aad (tusaale, qiimaha saliidda): , loogu talagalay dib-u-cusboonaynta 2aad (tusaale ahaan, heerka Fed): , Waayo, "dib-u-celinta:

Ku-tiirsanaanta tilmaamayaasha bartilmaameedka ah ee dib-u-celinta

Aynu ka fikirno ku-tiirsanaanta tilmaame yoolka ka dib regressors"-го» наблюдения может быть выражена через уравнение линейной регрессии вида:

halkaas oo - "-th"qiimaha regressor laga bilaabo 1 ilaa ,

- tirada regressors laga bilaabo 1 ilaa

— угловые коэффициенты, которые представляют величину, на которую изменится расчетный целевой показатель в среднем при изменении регрессора.

Si kale haddii loo dhigo, waxaan u nahay qof walba (marka laga reebo ) регрессора определяем «свой» коэффициент , ka dibna ku dhufo coefficients by qiyamka regressors "-го» наблюдения, в результате получаем некое приближение «-th" tilmaame bartilmaameed.

Sidaa darteed, waxaan u baahannahay inaan dooranno isku-xireyaashaas , kaas oo qiyamka shaqadayada qiyaasida waxay ku yaalliin sida ugu dhow ee suurtogalka ah ee qiyamka tilmaamayaasha.

Qiimaynta tayada shaqada qiyaasida

Waxaan go'aamin doonaa qiimeynta tayada shaqada qiyaastii iyadoo la adeegsanayo habka ugu yar ee labajibbaaran. Shaqada qiimaynta tayada kiiskan waxay qaadan doontaa qaabkan soo socda:

Waxaan u baahanahay inaan doorano qiyamka noocaas ah ee isbarbardhigga $ w$ kaas oo qiimihiisu yahay noqon doona kan ugu yar.

U beddelashada isla'egta qaabka matrixka

Векторное представление

Si aad u bilawdo, si aad noloshaada uga dhigto mid sahlan, waa inaad fiiro gaar ah u yeelataa isla'egta regression-ka toosan oo aad ogaataa in isku-xidhka koowaad laguma dhufto dib-u-dhac kasta. Isla mar ahaantaana, marka aan xogta u beddelno qaab matrix ah, xaaladda kor ku xusan waxay si dhab ah u adkeyn doontaa xisaabinta. Marka tan la eego, waxaa la soo jeediyay in la soo bandhigo dib-u-dejin kale oo loogu talagalay isku-dhafka koowaad oo la mid dhig. Ama halkii, mid kasta"barbardhig qiimaha th ee regressor-ka mid ah - ka dib oo dhan, marka lagu dhufto mid, waxba kama beddeli doonaan aragtida natiijada xisaabinta, laakiin laga eego aragtida xeerarka alaabta matrices, cadaabkeena. si weyn ayaa loo dhimi doonaa.

Hadda, wakhtigan xaadirka ah, si loo fududeeyo maaddada, aan u qaadanno inaan haysanno mid keliya "-th" fiirsashada. Ka dibna, qiyaas qiyamka regressors"-th" indho-indhaynta sida vector ahaan . Vector имеет размерность , taasi waa saf iyo 1 tiir:

Искомые коэффициенты представим в виде вектора , leh cabbir :

Уравнение линейной регрессии для «-th" fiirsashada waxay qaadan doontaa foomka:

Hawsha qiimaynta tayada qaabka toosan waxay qaadan doontaa foomka:

Fadlan ogow in iyadoo la raacayo qawaaniinta isku dhufashada matrixka, waxaan u baahanahay inaan bedelno vector-ka .

Матричное представление

В результате умножения векторов, мы получим число: , taasoo la filayo. Tiradani waa qiyaastii"-th" tilmaame bartilmaameed. Laakiin waxaan u baahannahay qiyaas aan ahayn hal qiime oo kaliya, laakiin dhammaantood. Si tan loo sameeyo, aan qorno wax walba "-ые» регрессоры в формате матрицы . Matrixka soo baxay wuxuu leeyahay cabbirka :

Теперь уравнение линейной регрессии примет вид:

Обозначим значения целевых показателей (все ) halkii vector размерностью :

Hadda waxaan qori karnaa isla'egta qiimaynta tayada moodeel toosan oo qaab matrix ah:

Dhab ahaantii, qaacidadan waxaynu ka helaynaa qaacidada nala yaqaan

Sidee loo sameeyay? Xirmooyinka ayaa la furay, kala duwanaansho ayaa la sameeyaa, tibaaxaha ka soo baxa waa la beddelaa, iwm., tanina waa waxa aan hadda sameyn doono.

Isbeddellada Matrix

Aan furno xirmooyinka

Aan diyaarino isla'egta kala soocida

Si tan loo sameeyo, waxaanu samayn doonaa isbeddello qaar. Xisaabinta soo socota waxay noqon doontaa mid aad noogu habboon haddii vector будет представлен в начале каждого произведения в уравнении.

Beddelka 1

Sidee ku dhacday? Si aad uga jawaabto su'aashan, kaliya fiiri cabbirada matriyada la dhufto oo arag in wax soo saarka aan helno lambar ama si kale .

Aynu qorno cabbirrada tibaaxaha matrixka.

Beddelka 2

Aan u qorno si la mid ah isbeddelka 1

Wax soo saarka waxaan helnaa isla'egta ay tahay inaan ku kala saarno:

Дифференцируем функцию оценки качества модели

Aynu ku kala soocno dhinaca xididka :

Su'aalaha sababta ma aha inay jiraan, laakiin waxaanu si faahfaahsan u baari doonaa hawlgalada lagu go'aaminayo waxyaabaha ka soo jeeda labada tibaax ee kale.

Дифференцирование 1

Раскроем дифференцирование:

Si loo go'aamiyo kala soocida matrix ama vector, waxaad u baahan tahay inaad eegto waxa ku jira. Aan eegno:

Aynu tilmaamno wax soo saarka matrixka iyada oo loo marayo matrixka . Матрица labajibbaaran iyo weliba, waa simmetrical. Guryahani waxay noqon doonaan kuwo anfacaya mar dambe, aynu xasuusano iyaga. Matrix имеет размерность :

Hadda hawsheenu waa inaan si sax ah ugu dhufano vectors-ka shaxanka oo aynaan helin "laba laba waa shan," markaa aynu xoogga saarno oo aad u taxaddarno.

Si kastaba ha ahaatee, waxaan gaadhnay odhaah qalafsan! Dhab ahaantii, waxaan helnay nambar - scalar. Oo hadda, dhab ahaantii, waxaan u gudubnay kala duwanaanshaha. Waa lagama-maarmaan in la helo ka-soo-jeedka tibaaxaha ka dhashay isku-dheellitirka kasta oo u hel vector cabbirka sida wax soo saarka . На всякий случай распишу процедуры по действиям:

1) ku kala saar , waxaan helnaa:

2) ku kala saar , waxaan helnaa:

3) ku kala saar , waxaan helnaa:

Wax-soo-saarku waa xajmiga la ballanqaaday :

Haddii aad si dhow u eegto vector-ka, waxaad ogaan doontaa in qaybaha bidix iyo kuwa u dhigma ee vector-ka loo qaybin karo si, natiijada, vector uu ka sooci karo vectorka la soo bandhigay. cabirka . Tusaale ahaan, (qaybta bidix ee xariiqda sare ee vector) (cutubka saxda ah ee xariiqda sare ee vector) waxa lagu matali karaa sida iyo - sidee и т.д. по каждой строчке. Сгруппируем:

Aan soo saarno vector-ka wax-soo-saarka waxaan helnaa:

Теперь, присмотримся к получившейся матрице. Матрица представляет собой сумму двух матриц :

Вспомним, что несколько ранее, мы отметили одно важное свойство матрицы - waa simmetrical. Iyada oo ku saleysan hantidaan, waxaan si kalsooni leh u dhihi karnaa muujinta raвняется . Tan waxaa si fudud loo xaqiijin karaa iyadoo la balaadhiyo wax soo saarka matrices element . Halkan kuma samayn doono tan; kuwa danaynaya laftoodu way hubin karaan.

Вернемся к нашему выражению. После наших преобразований оно получилось таким, каким мы и хотели его увидеть:

Markaa, waxaanu dhammaystirnay kala-duwanaanshaha koowaad. Aan u gudubno weedha labaad.

Дифференцирование 2

Aan raacno wadadii la garaacay. Waxay noqon doontaa mid aad uga gaaban tii hore, markaa ha ka fogaanin shaashadda.

Aynu ku balaadhino unugyada iyo curiyaha matrixka curiye:

Labadaba aynu xisaabta ka saarno in muddo ah – door wayn kuma laha, markaas ayaynu halkeedii ku celinaynaa. Aynu ku dhufano vector-ka matrixka. Marka hore, aan badinno matrixka ku dhufasho , здесь у нас нет никаких ограничений. Получим вектор размера :

Выполним следующее действие — умножим вектор si ay u keento vector. Marka laga baxo nambarka ayaa nagu sugaya:

Markaa waan kala saari doonaa. Marka la soo saaro waxaan helnaa vector cabbirka :

Wax i xasuusiya? Waa sax! Tani waa sheyga matrixka ku dhufasho .

Таким образом, второе дифференцирование успешно завершено.

Halkii gabagabo

Hadda waxaan ognahay sida ay ku timid sinnaanta .

Ugu dambeyntii, waxaan ku tilmaami doonaa hab degdeg ah oo lagu beddelo qaacidooyinka aasaasiga ah.

Оценим качество модели в соответствии с методом наименьших квадратов:

Дифференцируем полученное выражение:

Suugaanta

Ilaha internetka:

1) habr.com/en/post/278513
2) habr.com/ru/company/ods/blog/322076
3) habr.com/en/post/307004
4) nabatchikov.com/blog/view/matrix_der

Учебники, сборники задач:

1) Qoraallada casharrada ee xisaabta sare: koorsada buuxda / D.T. Qoray – qormada 4aad. – M.: Iris-press, 2006
2) Falanqaynta dib u celinta la dabaqay / N. Draper, G. Smith - 2nd. – M.: Maaliyadda iyo Tirakoobka, 1986 (oo laga turjumay Ingiriis)
3) Задачи на решение матричных уравнений:
function-x.ru/matrix_equations.html
mathprofi.ru/deistviya_s_matricami.html

Source: www.habr.com