ხაზოვანი რეგრესიის განტოლება მატრიცულ ფორმაში ვყვანთ

სტატიის მიზანია დაეხმაროს დამწყებ მონაცემთა მეცნიერებს. IN წინა სტატია ჩვენ გამოვყავით წრფივი რეგრესიის განტოლების ამოხსნის სამი გზა: ანალიტიკური ამონახსნები, გრადიენტური დაღმართი, სტოქასტური გრადიენტური დაღმართი. შემდეგ ანალიტიკური ამოხსნისთვის გამოვიყენეთ ფორმულა . ამ სტატიაში, როგორც სათაურიდან ჩანს, ჩვენ გავამართლებთ ამ ფორმულის გამოყენებას ან სხვა სიტყვებით რომ ვთქვათ, ჩვენ თვითონ გამოვიყვანთ მას.

რატომ აქვს აზრი ფორმულას მეტი ყურადღების მიქცევა ?

მატრიცული განტოლებით უმეტეს შემთხვევაში იწყება წრფივი რეგრესიის გაცნობა. ამავდროულად, იშვიათია დეტალური გამოთვლები იმის შესახებ, თუ როგორ იქნა მიღებული ფორმულა.

მაგალითად, Yandex-ის მანქანათმცოდნეობის კურსებში, როდესაც სტუდენტები ეცნობიან რეგულარიზაციას, მათ სთავაზობენ ბიბლიოთეკის ფუნქციების გამოყენებას. სკლეერნი, მაშინ როცა არც ერთი სიტყვაა ნახსენები ალგორითმის მატრიცული წარმოდგენის შესახებ. სწორედ ამ მომენტში შეიძლება ზოგიერთ მსმენელს მოუნდეს ამ საკითხის უფრო დეტალურად გაგება - დაწერე კოდი მზა ფუნქციების გამოყენების გარეშე. და ამისათვის ჯერ უნდა წარმოადგინოთ განტოლება რეგულატორით მატრიცის სახით. ეს სტატია საშუალებას მისცემს მათ, ვისაც სურს დაეუფლოს ასეთ უნარებს. Დავიწყოთ.

საწყისი პირობები

სამიზნე ინდიკატორები

ჩვენ გვაქვს სამიზნე მნიშვნელობების დიაპაზონი. მაგალითად, სამიზნე მაჩვენებელი შეიძლება იყოს ნებისმიერი აქტივის ფასი: ნავთობი, ოქრო, ხორბალი, დოლარი და ა.შ. ამავდროულად, სამიზნე ინდიკატორის რიგი მნიშვნელობებით ვგულისხმობთ დაკვირვებების რაოდენობას. ასეთი დაკვირვებები შეიძლება იყოს, მაგალითად, ნავთობის ყოველთვიური ფასები წელიწადში, ანუ გვექნება 12 სამიზნე მნიშვნელობა. დავიწყოთ აღნიშვნის შემოღება. მოდით აღვნიშნოთ სამიზნე ინდიკატორის თითოეული მნიშვნელობა როგორც . საერთო ჯამში გვაქვს დაკვირვებები, რაც ნიშნავს, რომ ჩვენ შეგვიძლია წარმოვადგინოთ ჩვენი დაკვირვებები, როგორც .

რეგრესორები

ჩვენ ვივარაუდებთ, რომ არსებობს ფაქტორები, რომლებიც გარკვეულწილად ხსნიან სამიზნე ინდიკატორის მნიშვნელობებს. მაგალითად, დოლარი/რუბლის კურსზე ძლიერ გავლენას ახდენს ნავთობის ფასი, ფედერალური სარეზერვო კურსი და ა.შ. ასეთ ფაქტორებს რეგრესორები ეწოდება. ამავდროულად, თითოეული სამიზნე ინდიკატორის მნიშვნელობა უნდა შეესაბამებოდეს რეგრესორულ მნიშვნელობას, ანუ თუ ჩვენ გვაქვს 12 სამიზნე ინდიკატორი 2018 წლის ყოველ თვეში, მაშინ ასევე უნდა გვქონდეს 12 რეგრესორის მნიშვნელობა იმავე პერიოდისთვის. მოდით აღვნიშნოთ თითოეული რეგრესორის მნიშვნელობები . მოდით ჩვენს შემთხვევაში იყოს რეგრესორები (ე.ი. ფაქტორები, რომლებიც გავლენას ახდენენ სამიზნე ინდიკატორის მნიშვნელობებზე). ეს ნიშნავს, რომ ჩვენი რეგრესორები შეიძლება წარმოდგენილი იყოს შემდეგნაირად: 1-ლი რეგრესორისთვის (მაგალითად, ნავთობის ფასი): მე-2 რეგრესორისთვის (მაგალითად, Fed განაკვეთი): , ამისთვის-th" რეგრესორი:

მიზნობრივი ინდიკატორების დამოკიდებულება რეგრესორებზე

დავუშვათ, რომ სამიზნე ინდიკატორის დამოკიდებულება რეგრესორებისგან"th" დაკვირვება შეიძლება გამოიხატოს ფორმის წრფივი რეგრესიის განტოლებით:

სად - "-th" რეგრესორის მნიშვნელობა 1-დან ,

- რეგრესორების რაოდენობა 1-დან

— კუთხური კოეფიციენტები, რომლებიც წარმოადგენს ოდენობას, რომლითაც გამოთვლილი სამიზნე მაჩვენებელი შეიცვლება საშუალოდ რეგრესორის ცვლილებისას.

სხვა სიტყვებით რომ ვთქვათ, ჩვენ ყველასთვის ვართ (გარდა ) რეგრესორის განვსაზღვრავთ „ჩვენს“ კოეფიციენტს , შემდეგ გავამრავლოთ კოეფიციენტები რეგრესორების მნიშვნელობებზე ""დაკვირვება, შედეგად მივიღებთ გარკვეულ მიახლოებას"-th" სამიზნე მაჩვენებელი.

ამიტომ, ჩვენ უნდა შევარჩიოთ ასეთი კოეფიციენტები , რომელზედაც ჩვენი მიახლოებითი ფუნქციის მნიშვნელობებია განთავსდება რაც შეიძლება ახლოს სამიზნე ინდიკატორის მნიშვნელობებთან.

მიახლოებითი ფუნქციის ხარისხის შეფასება

ჩვენ განვსაზღვრავთ მიახლოებითი ფუნქციის ხარისხის შეფასებას უმცირესი კვადრატების მეთოდით. ხარისხის შეფასების ფუნქცია ამ შემთხვევაში მიიღებს შემდეგ ფორმას:

ჩვენ უნდა ავირჩიოთ კოეფიციენტების ისეთი მნიშვნელობები $w$, რისთვისაც არის მნიშვნელობა ყველაზე პატარა იქნება.

განტოლების მატრიცულ ფორმაში გადაყვანა

ვექტორული წარმოდგენა

დასაწყისისთვის, თქვენი ცხოვრების გასაადვილებლად, ყურადღება უნდა მიაქციოთ ხაზოვანი რეგრესიის განტოლებას და შეამჩნიოთ, რომ პირველი კოეფიციენტი არ მრავლდება არცერთ რეგრესორზე. ამავდროულად, როდესაც მონაცემებს მატრიცულ ფორმაში გადავიყვანთ, ზემოაღნიშნული გარემოება სერიოზულად გაართულებს გამოთვლებს. ამასთან დაკავშირებით, შემოთავაზებულია პირველი კოეფიციენტისთვის სხვა რეგრესორის შემოღება და გაათანაბრეთ იგი ერთთან. უფრო სწორად, ყოველი "გააიგივეთ ამ რეგრესორის მე-თე მნიშვნელობა ერთთან - ბოლოს და ბოლოს, ერთზე გამრავლებისას, არაფერი შეიცვლება გამოთვლების შედეგის თვალსაზრისით, მაგრამ მატრიცების ნამრავლის წესების თვალსაზრისით, ჩვენი ტანჯვა მნიშვნელოვნად შემცირდება.

ახლა, ამ მომენტისთვის, მასალის გასამარტივებლად, დავუშვათ, რომ გვაქვს მხოლოდ ერთი "- დაკვირვება. მაშინ წარმოიდგინეთ რეგრესორების ღირებულებები"-th" დაკვირვებები როგორც ვექტორი . ვექტორი აქვს განზომილება ანუ, რიგები და 1 სვეტი:

გამოვსახოთ საჭირო კოეფიციენტები ვექტორად , რომელსაც აქვს განზომილება :

წრფივი რეგრესიის განტოლება "-th" დაკვირვება მიიღებს ფორმას:

ხაზოვანი მოდელის ხარისხის შეფასების ფუნქცია მიიღებს ფორმას:

გთხოვთ გაითვალისწინოთ, რომ მატრიცის გამრავლების წესების შესაბამისად, დაგვჭირდა ვექტორის ტრანსპონირება .

მატრიცული წარმოდგენა

ვექტორების გამრავლების შედეგად ვიღებთ რიცხვს: , რაც მოსალოდნელია. ეს რიცხვი არის მიახლოებითი "-th" სამიზნე მაჩვენებელი. მაგრამ ჩვენ გვჭირდება არა მხოლოდ ერთი სამიზნე მნიშვნელობის, არამედ ყველა მათგანის მიახლოება. ამისათვის მოდით დავწეროთ ყველაფერი ""th" რეგრესორები მატრიცის ფორმატში . მიღებულ მატრიცას აქვს განზომილება :

ახლა ხაზოვანი რეგრესიის განტოლება მიიღებს ფორმას:

მოდით აღვნიშნოთ სამიზნე ინდიკატორების მნიშვნელობები (ყველა ) თითო ვექტორზე განზომილება :

ახლა ჩვენ შეგვიძლია დავწეროთ განტოლება ხაზოვანი მოდელის ხარისხის შესაფასებლად მატრიცის ფორმატში:

სინამდვილეში, ამ ფორმულიდან ჩვენ ვიღებთ ჩვენთვის ცნობილ ფორმულას

როგორ კეთდება? იხსნება ფრჩხილები, ტარდება დიფერენციაცია, მიღებული გამონათქვამები გარდაიქმნება და ა.შ. და ზუსტად ამას გავაკეთებთ ახლა.

მატრიცული გარდაქმნები

გავხსნათ ფრჩხილები

მოვამზადოთ განტოლება დიფერენციაციისთვის

ამისათვის ჩვენ განვახორციელებთ რამდენიმე ტრანსფორმაციას. შემდგომ გამოთვლებში ჩვენთვის უფრო მოსახერხებელი იქნება თუ ვექტორი წარმოდგენილი იქნება განტოლებაში თითოეული პროდუქტის დასაწყისში.

კონვერტაცია 1

Როგორ მოხდა? ამ კითხვაზე პასუხის გასაცემად, უბრალოდ შეხედეთ გამრავლებული მატრიცების ზომებს და ნახეთ, რომ გამოსავალზე მივიღებთ რიცხვს ან სხვაგვარად .

მოდით ჩამოვწეროთ მატრიცული გამონათქვამების ზომები.

კონვერტაცია 2

მოდით დავწეროთ იგი ტრანსფორმაციის 1-ის ანალოგიურად

გამოსავალზე ვიღებთ განტოლებას, რომელიც უნდა განვასხვავოთ:

ჩვენ განვასხვავებთ მოდელის ხარისხის შეფასების ფუნქციას

განვასხვავოთ ვექტორის მიმართ :

კითხვები რატომ არ უნდა იყოს, მაგრამ ჩვენ უფრო დეტალურად განვიხილავთ წარმოებულების განსაზღვრის ოპერაციებს დანარჩენ ორ გამონათქვამში.

დიფერენციაცია 1

მოდით გავაფართოვოთ დიფერენციაცია:

მატრიცის ან ვექტორის წარმოებულის დასადგენად, თქვენ უნდა დააკვირდეთ რა არის მათ შიგნით. მოდით შევხედოთ:

ავღნიშნოთ მატრიცების ნამრავლი მატრიცის მეშვეობით . მატრიცა კვადრატული და მეტიც, სიმეტრიულია. ეს თვისებები მოგვიანებით გამოგვადგება, გავიხსენოთ ისინი. მატრიცა აქვს განზომილება :

ახლა ჩვენი ამოცანაა სწორად გავამრავლოთ ვექტორები მატრიცით და არ მივიღოთ „ორჯერ ორი არის ხუთი“, ასე რომ, მოდი კონცენტრირდეთ და ვიყოთ უკიდურესად ფრთხილად.

თუმცა, ჩვენ მივაღწიეთ რთულ გამოხატულებას! ფაქტობრივად, მივიღეთ რიცხვი - სკალარი. ახლა კი, რეალურად, ჩვენ გადავდივართ დიფერენციაციაზე. აუცილებელია თითოეული კოეფიციენტისთვის მიღებული გამოხატვის წარმოებულის პოვნა და მიიღეთ განზომილების ვექტორი, როგორც გამოსავალი . ყოველი შემთხვევისთვის, პროცედურებს მოქმედებით დავწერ:

1) განასხვავებენ , ვიღებთ:

2) განასხვავებენ , ვიღებთ:

3) განასხვავებენ , ვიღებთ:

გამომავალი არის ზომის დაპირებული ვექტორი :

თუ უფრო ყურადღებით დავაკვირდებით ვექტორს, შეამჩნევთ, რომ ვექტორის მარცხენა და შესაბამისი მარჯვენა ელემენტები შეიძლება დაჯგუფდეს ისე, რომ შედეგად ვექტორი იზოლირებული იყოს წარმოდგენილი ვექტორიდან. ზომა . მაგალითად, (ვექტორის ზედა ხაზის მარცხენა ელემენტი) (ვექტორის ზედა ხაზის მარჯვენა ელემენტი) შეიძლება წარმოდგენილი იყოს როგორც ხოლო - როგორც და ა.შ. თითოეულ ხაზზე. დავაჯგუფოთ:

ამოვიღოთ ვექტორი და გამოსავალზე ვიღებთ:

ახლა მოდით უფრო ახლოს მივხედოთ მიღებულ მატრიცას. მატრიცა არის ორი მატრიცის ჯამი :

შეგახსენებთ, რომ ცოტა ადრე ჩვენ აღვნიშნეთ მატრიცის ერთი მნიშვნელოვანი თვისება - სიმეტრიულია. ამ თვისებიდან გამომდინარე, თამამად შეგვიძლია ვთქვათ, რომ გამოხატულება ტოლია . ამის მარტივად დამოწმება შესაძლებელია მატრიცების პროდუქტის ელემენტის მიხედვით გაფართოებით . ჩვენ ამას აქ არ გავაკეთებთ, დაინტერესებულ პირებს შეუძლიათ თავად შეამოწმონ.

დავუბრუნდეთ ჩვენს გამოთქმას. ჩვენი გარდაქმნების შემდეგ, აღმოჩნდა ისე, როგორც გვინდოდა მისი ნახვა:

ასე რომ, ჩვენ დავასრულეთ პირველი დიფერენციაცია. გადავიდეთ მეორე გამოთქმაზე.

დიფერენციაცია 2

მოდი გავყვეთ ნაცემი გზას. ის გაცილებით მოკლე იქნება ვიდრე წინა, ასე რომ ძალიან შორს ნუ წახვალ ეკრანიდან.

მოდით გავაფართოვოთ ვექტორები და მატრიცა ელემენტებად:

ცოტა ხნით ამოვიღოთ ეს ორი გათვლებიდან - დიდ როლს არ თამაშობს, მერე თავის ადგილზე დავაბრუნოთ. გავამრავლოთ ვექტორები მატრიცით. პირველ რიგში გავამრავლოთ მატრიცა ვექტორამდე , აქ არანაირი შეზღუდვა არ გვაქვს. ვიღებთ ზომის ვექტორს :

შევასრულოთ შემდეგი მოქმედება - გავამრავლოთ ვექტორი მიღებულ ვექტორამდე. გასასვლელში გველოდება ნომერი:

შემდეგ ჩვენ განვასხვავებთ მას. გამოსავალზე ვიღებთ განზომილების ვექტორს :

რამეს მახსენებს? Სწორია! ეს არის მატრიცის პროდუქტი ვექტორამდე .

ამრიგად, მეორე დიფერენციაცია წარმატებით დასრულდა.

იმის ნაცვლად, რომ დასკვნა

ახლა ჩვენ ვიცით, როგორ მოხდა თანასწორობა .

და ბოლოს, ჩვენ აღვწერთ ძირითადი ფორმულების გარდაქმნის სწრაფ გზას.

მოდით შევაფასოთ მოდელის ხარისხი უმცირესი კვადრატების მეთოდის მიხედვით:

მოდით განვასხვავოთ მიღებული გამოხატულება:

ლიტერატურა

ინტერნეტ წყაროები:

1) habr.com/en/post/278513
2) habr.com/ru/company/ods/blog/322076
3) habr.com/en/post/307004
4) nabatchikov.com/blog/view/matrix_der

სახელმძღვანელოები, ამოცანების კრებული:

1) სალექციო შენიშვნები უმაღლესი მათემატიკის შესახებ: სრული კურსი / დ.თ. დაწერილი – მე-4 გამოცემა. – M.: Iris-press, 2006 წ
2) გამოყენებითი რეგრესიული ანალიზი / N. Draper, G. Smith - 2nd ed. – M.: ფინანსები და სტატისტიკა, 1986 (თარგმანი ინგლისურიდან)
3) მატრიცული განტოლებების ამოხსნის ამოცანები:
function-x.ru/matrix_equations.html
mathprofi.ru/deistviya_s_matricami.html

წყარო: www.habr.com