Məqalənin məqsədi yeni başlayan data alimlərinə dəstək verməkdir. IN Xətti reqressiya tənliyini həll etməyin üç yolunu qeyd etdik: analitik həll, qradiyent eniş, stoxastik qradiyent eniş. Sonra analitik həll üçün düsturu tətbiq etdik . Bu yazıda, adından da göründüyü kimi, bu düsturun istifadəsini əsaslandıracağıq və ya başqa sözlə, özümüz əldə edəcəyik.
Niyə formulaya əlavə diqqət yetirmək məntiqlidir ?
Məhz matris tənliyi ilə əksər hallarda xətti reqressiya ilə tanış olmağa başlayır. Eyni zamanda, formulun necə əldə edildiyinə dair ətraflı hesablamalar nadir hallarda olur.
Məsələn, Yandex-dən maşın öyrənmə kurslarında tələbələr nizamlama ilə tanış olduqda, onlara kitabxananın funksiyalarından istifadə etmək təklif olunur. sklearn, halbuki alqoritmin matris təmsili haqqında bir kəlmə də deyilmir. Məhz bu anda bəzi dinləyicilər bu məsələni daha ətraflı başa düşmək istəyə bilər - hazır funksiyalardan istifadə etmədən kod yazın. Bunu etmək üçün əvvəlcə nizamlayıcı ilə tənliyi matris şəklində təqdim etməlisiniz. Bu məqalə bu cür bacarıqlara yiyələnmək istəyənlərə imkan verəcəkdir. Gəlin başlayaq.
İlkin şərtlər
Hədəf göstəriciləri
Bizim bir sıra hədəf dəyərlərimiz var. Məsələn, hədəf göstərici istənilən aktivin qiyməti ola bilər: neft, qızıl, buğda, dollar və s. Eyni zamanda, bir sıra hədəf göstərici dəyərləri dedikdə, müşahidələrin sayını nəzərdə tuturuq. Belə müşahidələr, məsələn, il üçün aylıq neft qiymətləri ola bilər, yəni bizim 12 hədəf dəyərimiz olacaq. Gəlin qeydi təqdim etməyə başlayaq. Hədəf indikatorunun hər bir qiymətini kimi işarə edək . Ümumilikdə bizdə var müşahidələr, yəni müşahidələrimizi olaraq təmsil edə bilərik .
Reqressorlar
Güman edirik ki, hədəf göstəricinin dəyərlərini müəyyən dərəcədə izah edən amillər var. Məsələn, dollar/rubl məzənnəsinə neftin qiyməti, Federal Ehtiyatın məzənnəsi və s. güclü təsir göstərir.Belə amillər reqressorlar adlanır. Eyni zamanda, hər bir hədəf göstərici dəyəri reqressor dəyərinə uyğun olmalıdır, yəni 12-ci ildə hər ay üçün 2018 hədəf göstəricimiz varsa, o zaman eyni dövr üçün də 12 reqressor dəyərimiz olmalıdır. Gəlin hər bir reqressorun dəyərlərini işarə edək . Qoy bizim vəziyyətimizdə olsun reqressorlar (məs. hədəf göstərici dəyərlərinə təsir edən amillər). Bu o deməkdir ki, reqressorlarımızı aşağıdakı kimi təqdim etmək olar: 1-ci reqressor üçün (məsələn, neftin qiyməti): , 2-ci reqressor üçün (məsələn, Fed dərəcəsi): , Üçün "-th" reqressor:
Hədəf göstəricilərinin reqressorlardan asılılığı
Tutaq ki, hədəf göstəricinin asılılığı reqressorlardan"th" müşahidəsini formanın xətti reqressiya tənliyi ilə ifadə etmək olar:
Hara - "-th" reqressor dəyəri 1-dən ,
— reqressorların sayı 1-dən
— reqressor dəyişdikdə hesablanmış hədəf göstəricinin orta hesabla dəyişəcəyi məbləği əks etdirən bucaq əmsalları.
Başqa sözlə, biz hamı üçün (istisna ) reqressorun “bizim” əmsalını təyin edirik , sonra əmsalları reqressorların dəyərlərinə vurun "ci "müşahidə, nəticədə müəyyən bir yaxınlaşma əldə edirik"-th" hədəf göstəricisi.
Buna görə də belə əmsalları seçməliyik , burada yaxınlaşma funksiyamızın dəyərləri hədəf göstərici dəyərlərinə mümkün qədər yaxın yerləşdiriləcək.
Təxmini funksiyanın keyfiyyətinin qiymətləndirilməsi
Ən kiçik kvadratlar metodundan istifadə edərək yaxınlaşma funksiyasının keyfiyyətinin qiymətləndirilməsini təyin edəcəyik. Bu halda keyfiyyətin qiymətləndirilməsi funksiyası aşağıdakı formanı alacaq:
Dəyəri olan $w$ əmsallarının belə dəyərlərini seçməliyik ən kiçik olacaq.
Tənliyin matris formasına çevrilməsi
Vektor təmsili
Başlamaq üçün həyatınızı asanlaşdırmaq üçün xətti reqressiya tənliyinə diqqət yetirməli və ilk əmsalın heç bir reqressorla vurulmur. Eyni zamanda, məlumatları matris formasına çevirəndə yuxarıda qeyd olunan hal hesablamaları ciddi şəkildə çətinləşdirəcək. Bununla əlaqədar olaraq birinci əmsal üçün başqa reqressorun tətbiqi təklif olunur və onu birinə bərabərləşdirin. Daha doğrusu, hər"bu reqressorun inci dəyərini birinə bərabərləşdirin - axır ki, birə vurulduqda, hesablamaların nəticəsi baxımından heç bir şey dəyişməyəcək, ancaq matrislərin məhsulu üçün qaydalar baxımından bizim əzabımız əhəmiyyətli dərəcədə azalacaq.
İndi, bu an üçün, materialı sadələşdirmək üçün tutaq ki, bizdə yalnız bir var "-ci" müşahidə. Sonra reqressorların dəyərlərini təsəvvür edin "-th" müşahidələri vektor kimi . Vektor ölçüsü var Ki, sətir və 1 sütun:
Lazım olan əmsalları vektor kimi təqdim edək , ölçüsü olan :
" üçün xətti reqressiya tənliyi-th" müşahidəsi aşağıdakı formada olacaq:
Xətti modelin keyfiyyətinin qiymətləndirilməsi funksiyası aşağıdakı formanı alacaq:
Nəzərə alın ki, matrisin vurulması qaydalarına uyğun olaraq vektoru köçürməli olduq .
Matris təmsili
Vektorları çoxaltmaq nəticəsində nömrəni alırıq: , bu gözləniləndir. Bu rəqəm təxminidir”-th" hədəf göstəricisi. Ancaq bizə yalnız bir hədəf dəyərinin deyil, hamısının yaxınlaşması lazımdır. Bunun üçün gəlin hər şeyi yazaq”matris formatında -th" reqressorlar . Nəticədə alınan matrisin ölçüsü var :
İndi xətti reqressiya tənliyi formanı alacaq:
Hədəf göstəricilərinin dəyərlərini qeyd edək (hamısı ) vektor başına ölçü :
İndi matris formatında xətti modelin keyfiyyətini qiymətləndirmək üçün tənliyi yaza bilərik:
Əslində, bu düsturdan bizə məlum olan düsturu daha da alırıq
Necə edilib? Mötərizələr açılır, fərqləndirmə aparılır, nəticədə ifadələr çevrilir və s.
Matris çevrilmələri
Mötərizələri açaq
Diferensiallaşma üçün tənlik hazırlayaq
Bunun üçün bəzi transformasiyalar həyata keçirəcəyik. Sonrakı hesablamalarda vektor olsa bizim üçün daha rahat olar tənlikdə hər bir məhsulun əvvəlində təmsil olunacaq.
Dönüşüm 1
Necə oldu? Bu suala cavab vermək üçün vurulan matrislərin ölçülərinə baxmaq kifayətdir və nəticədə rəqəm və ya başqa şəkildə əldə edildiyini görmək kifayətdir. .
Matris ifadələrinin ölçülərini yazaq.
Dönüşüm 2
Gəlin onu transformasiya 1-ə bənzər şəkildə yazaq
Çıxışda fərqləndirməli olduğumuz bir tənlik alırıq:
Biz modeli keyfiyyətin qiymətləndirilməsi funksiyasını fərqləndiririk
vektora görə fərqləndirək :
Suallar niyə olmamalıdır, lakin biz digər iki ifadədə törəmələrin müəyyən edilməsi əməliyyatlarını daha ətraflı təhlil edəcəyik.
Fərqləndirmə 1
Fərqləndirməni genişləndirək:
Bir matrisin və ya vektorun törəməsini müəyyən etmək üçün onların içərisində nə olduğuna baxmaq lazımdır. Baxaq:
Matrislərin hasilini işarə edək matris vasitəsilə . Matris kvadrat və üstəlik, simmetrikdir. Bu xüsusiyyətlər sonradan bizə faydalı olacaq, onları xatırlayaq. Matris ölçüsü var :
İndi bizim vəzifəmiz vektorları matrislə düzgün vurmaq və “iki dəfə iki beşdir” almamaqdır, ona görə də konsentrə olaq və son dərəcə diqqətli olaq.
Bununla belə, biz mürəkkəb bir ifadə əldə etdik! Əslində, biz bir nömrə aldıq - skalyar. İndi, həqiqətən, biz fərqləndirməyə keçirik. Hər bir əmsal üçün alınan ifadənin törəməsini tapmaq lazımdır və ölçü vektorunu çıxış kimi alın . Hər halda, prosedurları hərəkətlə yazacam:
1) fərqləndirmək , alırıq:
2) fərqləndirmək , alırıq:
3) fərqləndirmək , alırıq:
Çıxış vəd edilmiş ölçü vektorudur :
Vektora daha yaxından baxsanız, vektorun sol və uyğun sağ elementlərini elə qruplaşdırmaq olar ki, nəticədə vektor təqdim edilmiş vektordan təcrid oluna bilsin. ölçüsü . Məsələn, (vektorun yuxarı xəttinin sol elementi) (vektorun yuxarı xəttinin sağ elementi) kimi təmsil oluna bilər Və - kimi və s. hər sətirdə. Gəlin qruplaşdıraq:
vektoru çıxaraq və çıxışda alırıq:
İndi isə gəlin ortaya çıxan matrisə daha yaxından nəzər salaq. Matris iki matrisin cəmidir :
Yada salaq ki, bir az əvvəl biz matrisin bir mühüm xassəsini qeyd etmişdik - simmetrikdir. Bu xassədən çıxış edərək əminliklə deyə bilərik ki, ifadə bərabərdir . Bu, matris elementlərinin məhsulunu element üzrə genişləndirməklə asanlıqla yoxlanıla bilər . Biz bunu burada etməyəcəyik, maraqlananlar özləri yoxlaya bilər.
İfadəmizə qayıdaq. Transformasiyalarımızdan sonra görmək istədiyimiz kimi oldu:
Beləliklə, ilk diferensasiyanı tamamladıq. İkinci ifadəyə keçək.
Fərqləndirmə 2
Gəlin döyülən yolla gedək. Əvvəlki ilə müqayisədə çox qısa olacaq, ona görə də ekrandan çox da uzağa getməyin.
Vektorları və matris elementini elementlərə görə genişləndirək:
Gəlin ikisini bir müddət hesablamalardan çıxaraq - bu, böyük rol oynamır, sonra onu öz yerinə qoyuruq. Vektorları matrisə vuraq. Əvvəlcə matrisi çoxaldaq vektor etmək , burada heç bir məhdudiyyətimiz yoxdur. Ölçü vektorunu alırıq :
Aşağıdakı hərəkəti yerinə yetirək - vektoru çoxaldaq yaranan vektora. Çıxışda nömrə bizi gözləyəcək:
Sonra onu fərqləndirəcəyik. Çıxışda bir ölçü vektoru alırıq :
Mənə nəyisə xatırladır? Düzdür! Bu matrisin məhsuludur vektor etmək .
Beləliklə, ikinci diferensiasiya uğurla başa çatdı.
Bunun əvəzinə bir nəticəyə
İndi biz bərabərliyin necə yarandığını bilirik .
Nəhayət, əsas düsturları çevirməyin sürətli yolunu təsvir edəcəyik.
Ən kiçik kvadratlar metoduna uyğun olaraq modelin keyfiyyətini qiymətləndirək:
Nəticə ifadəsini fərqləndirək:
Ədəbiyyat
İnternet mənbələri:
1)
2)
3)
4)
Dərsliklər, problemlər toplusu:
1) Ali riyaziyyatdan mühazirə qeydləri: tam kurs / D.T. Yazılı – 4-cü nəşr. – M.: İris-press, 2006
2) Tətbiqi reqressiya təhlili / N. Draper, G. Smith - 2-ci nəşr. – M.: Maliyyə və Statistika, 1986 (ingilis dilindən tərcümə)
3) Matris tənliklərinin həlli üçün tapşırıqlar:
Mənbə: www.habr.com