אנו מביאים את משוואת הרגרסיה הליניארית לצורת מטריצה

מטרת המאמר היא לספק תמיכה למדעני נתונים מתחילים. IN מאמר קודם תיארנו שלוש דרכים לפתור משוואת רגרסיה ליניארית: פתרון אנליטי, ירידה שיפוע, ירידה סטוכסטית שיפוע. ואז עבור הפתרון האנליטי יישם את הנוסחה . במאמר זה, כפי שעולה מהכותרת, נצדיק את השימוש בנוסחה זו או, במילים אחרות, נגזר אותה בעצמנו.

למה זה הגיוני לשים לב במיוחד לנוסחה ?

עם משוואת המטריצה ​​מתחילים ברוב המקרים להכיר רגרסיה לינארית. יחד עם זאת, חישובים מפורטים של אופן גזירת הנוסחה הם נדירים.

לדוגמה, בקורסי למידת מכונה מ-Yandex, כאשר התלמידים מתוודעים לרגוליזציה, מוצע להם להשתמש בפונקציות מהספרייה למד, בעוד שאף מילה לא מוזכרת על ייצוג המטריצה ​​של האלגוריתם. זה הרגע שמאזינים מסוימים עשויים לרצות להבין את הנושא הזה ביתר פירוט - לכתוב קוד מבלי להשתמש בפונקציות מוכנות. וכדי לעשות זאת, תחילה עליך להציג את המשוואה עם מסדר בצורת מטריצה. מאמר זה יאפשר למי שרוצה לשלוט במיומנויות כאלה. בואו נתחיל.

תנאים התחלתיים

מדדי יעד

יש לנו מגוון של ערכי יעד. לדוגמה, אינדיקטור היעד יכול להיות המחיר של כל נכס: נפט, זהב, חיטה, דולר וכו'. יחד עם זאת, במספר ערכי אינדיקטור יעד אנו מתכוונים למספר התצפיות. תצפיות כאלה יכולות להיות, למשל, מחירי נפט חודשיים לשנה, כלומר יהיו לנו 12 ערכי יעד. בואו נתחיל להציג את הסימון. הבה נסמן כל ערך של מחוון היעד כ . בסך הכל יש לנו תצפיות, מה שאומר שאנחנו יכולים לייצג את התצפיות שלנו כמו .

רגרסורים

נניח שישנם גורמים המסבירים במידה מסוימת את ערכי מחוון היעד. לדוגמה, שער החליפין של הדולר/רובל מושפע מאוד ממחיר הנפט, שער הפדרל ריזרב וכו'. גורמים כאלה נקראים רגרסורים. יחד עם זאת, כל ערך אינדיקטור יעד חייב להתאים לערך רגרסור, כלומר, אם יש לנו 12 מדדי יעד לכל חודש בשנת 2018, אז צריכים להיות לנו גם 12 ערכי רגרסור לאותה תקופה. הבה נסמן את הערכים של כל רגרסור ב . שיהיה במקרה שלנו רגרסורים (כלומר. גורמים המשפיעים על ערכי מחוון היעד). המשמעות היא שניתן להציג את הרגרסורים שלנו באופן הבא: עבור הרגרסור הראשון (לדוגמה, מחיר הנפט): , עבור הרגרסור השני (לדוגמה, ריבית הפד): , ל "רגרסטור -th":

תלות של מדדי יעד ברגרסורים

הבה נניח כי התלות של מחוון היעד מהרגרסורים"ניתן לבטא את התצפית באמצעות משוואת רגרסיה ליניארית בצורה:

איפה - "ערך הרגרסי-th" מ-1 עד ,

- מספר הרגרסורים מ-1 עד

- מקדמים זוויתיים, המייצגים את הכמות שבה ישתנה מחוון היעד המחושב בממוצע כאשר הרגרסור משתנה.

במילים אחרות, אנחנו מיועדים לכולם (חוץ מ ) של הרגרסור אנו קובעים את המקדם "שלנו". , ואז תכפיל את המקדמים בערכי הרגרסורים "התצפית, כתוצאה מכך נקבל קירוב מסוים "מחוון יעד.

לכן, עלינו לבחור מקדמים כאלה , שבו הערכים של הפונקציה המקורבת שלנו ימוקם קרוב ככל האפשר לערכי מחוון היעד.

הערכת איכות הפונקציה המקורבת

אנו נקבע את הערכת האיכות של הפונקציה המקורבת בשיטת הריבועים הקטנים ביותר. פונקציית הערכת האיכות במקרה זה תתבצע בצורה הבאה:

אנחנו צריכים לבחור ערכים כאלה של המקדמים $w$ שעבורם הערך יהיה הקטן ביותר.

המרת המשוואה לצורת מטריצה

ייצוג וקטור

מלכתחילה, כדי להקל על חייכם, כדאי לשים לב למשוואת הרגרסיה הליניארית ולשים לב שהמקדם הראשון אינו מוכפל בשום רגרסור. יחד עם זאת, כאשר אנו ממירים את הנתונים לצורת מטריצה, הנסיבות הנ"ל יסבכו מאוד את החישובים. בהקשר זה, מוצע להכניס רגרסור נוסף למקדם הראשון ולהשוות אותו לאחד. או יותר נכון, כל"השוו את הערך של הרגרסור הזה לאחד - אחרי הכל, כשמכפילים אותו באחד, שום דבר לא ישתנה מנקודת המבט של תוצאת החישובים, אלא מנקודת המבט של הכללים למכפלת המטריצות, הייסורים שלנו יקטן משמעותית.

כעת, לעת עתה, על מנת לפשט את החומר, נניח שיש לנו רק אחד "תצפית -ה. ואז, דמיינו את הערכים של הרגרסורים "תצפיות כווקטור . וֶקטוֹר יש מימד כלומר, שורות ועמודה אחת:

בואו נציג את המקדמים הנדרשים כווקטור , בעל מימד :

משוואת רגרסיה לינארית עבור "תצפית -th" תהיה בצורה:

הפונקציה להערכת האיכות של מודל ליניארי תהיה בצורה:

שימו לב שבהתאם לכללי הכפל המטריצה, היינו צריכים לבצע טרנספוזיציה של הווקטור .

ייצוג מטריצה

כתוצאה מהכפלת וקטורים, נקבל את המספר: , מה שצפוי. מספר זה הוא הקירוב"מחוון יעד. אבל אנחנו צריכים קירוב של לא רק ערך יעד אחד, אלא של כולם. כדי לעשות זאת, בואו נרשום הכל "-th" רגרסורים בפורמט מטריצה . למטריצה ​​המתקבלת יש את הממד :

כעת משוואת הרגרסיה הליניארית תקבל את הצורה:

הבה נסמן את ערכי מדדי היעד (הכל ) לכל וקטור מֵמַד :

כעת נוכל לכתוב את המשוואה להערכת האיכות של מודל ליניארי בפורמט מטריצה:

למעשה, מנוסחה זו אנו משיגים עוד את הנוסחה המוכרת לנו

איך זה נעשה? פותחים את הסוגריים, מבצעים בידול, הופכים את הביטויים המתקבלים וכו', וזה בדיוק מה שנעשה עכשיו.

טרנספורמציות מטריצות

בואו נפתח את הסוגריים

בואו נכין משוואה להבדלה

לשם כך, נבצע כמה טרנספורמציות. בחישובים הבאים זה יהיה יותר נוח לנו אם הווקטור יוצג בתחילת כל מוצר במשוואה.

המרה 1

איך זה קרה? כדי לענות על שאלה זו, פשוט תסתכל על הגדלים של המטריצות המוכפלות וראה שבפלט אנו מקבלים מספר או אחרת .

נרשום את הגדלים של ביטויי מטריצה.

המרה 2

הבה נכתוב את זה בצורה דומה לטרנספורמציה 1

בפלט נקבל משוואה שעלינו להבדיל:

אנו מבדילים את פונקציית הערכת האיכות של המודל

בואו נבדיל ביחס לווקטור :

שאלות למה לא אמור להיות, אבל נבחן ביתר פירוט את הפעולות לקביעת נגזרים בשני הביטויים האחרים.

בידול 1

בואו נרחיב על הבידול:

כדי לקבוע את הנגזרת של מטריצה ​​או וקטור, צריך להסתכל על מה שיש בתוכם. בואו נראה:

הבה נסמן את המכפלה של מטריצות דרך המטריצה . מַטרִיצָה מרובע ויותר מכך, הוא סימטרי. מאפיינים אלה יהיו שימושיים עבורנו מאוחר יותר, בואו נזכור אותם. מַטרִיצָה יש מימד :

כעת המשימה שלנו היא להכפיל נכון את הוקטורים במטריצה ​​ולא לקבל "פעמיים שתיים זה חמש", אז בואו נתרכז ונזהר מאוד.

עם זאת, השגנו ביטוי מורכב! למעשה, קיבלנו מספר - סקלר. ועכשיו, באמת, אנחנו עוברים לבידול. יש צורך למצוא את הנגזרת של הביטוי המתקבל עבור כל מקדם וקבל את וקטור הממד כפלט . לכל מקרה, אכתוב את הנהלים בפעולה:

1) להבדיל על ידי , אנחנו מקבלים:

2) להבדיל על ידי , אנחנו מקבלים:

3) להבדיל על ידי , אנחנו מקבלים:

הפלט הוא הווקטור המובטח של הגודל :

אם תסתכל על הווקטור מקרוב, תבחין שניתן לקבץ את הרכיבים השמאליים והימניים התואמים של הווקטור באופן שכתוצאה מכך, ניתן לבודד וקטור מהווקטור המוצג. размера . לדוגמה, (אלמנט שמאלי של השורה העליונה של הווקטור) (האלמנט הימני של השורה העליונה של הווקטור) יכול להיות מיוצג כ ו - - כפי ש וכו ' בכל שורה. בואו נקבץ:

בוא נוציא את הווקטור ובפלט נקבל:

כעת, בואו נסתכל מקרוב על המטריצה ​​שהתקבלה. המטריצה ​​היא סכום של שתי מטריצות :

נזכיר שקצת קודם לכן ציינו תכונה אחת חשובה של המטריצה - הוא סימטרי. בהתבסס על נכס זה, אנו יכולים לומר בביטחון כי הביטוי שווה . ניתן לאמת זאת בקלות על ידי הרחבת המכפלה של מטריצות אלמנט אחר אלמנט . לא נעשה זאת כאן, המעוניינים יכולים לבדוק זאת בעצמם.

נחזור לביטוי שלנו. לאחר השינויים שלנו, זה התברר כמו שרצינו לראות את זה:

אז, השלמנו את ההבחנה הראשונה. נעבור לביטוי השני.

בידול 2

בוא נלך בשביל המכות. זה יהיה הרבה יותר קצר מהקודם, אז אל תתרחקו יותר מדי מהמסך.

בואו נרחיב את הוקטורים והמטריקס אלמנט אחר אלמנט:

נסיר את השניים מהחישובים לזמן מה - זה לא משחק תפקיד גדול, ואז נחזיר את זה למקומו. בוא נכפיל את הוקטורים במטריצה. קודם כל, בואו נכפיל את המטריצה לוקטור , אין לנו הגבלות כאן. נקבל את וקטור הגודל :

בוא נבצע את הפעולה הבאה - נכפיל את הווקטור לוקטור המתקבל. ביציאה יחכה לנו המספר:

ואז נבדיל את זה. במוצא נקבל וקטור של מימד :

מזכיר לי משהו? זה נכון! זהו המכפלה של המטריצה לוקטור .

לפיכך, הבידול השני הושלם בהצלחה.

במקום מסקנה

עכשיו אנחנו יודעים איך נוצר השוויון .

לבסוף, נתאר דרך מהירה לשנות נוסחאות בסיסיות.

הבה נעריך את איכות המודל בהתאם לשיטת הריבועים הקטנים ביותר:

הבה נבדיל את הביטוי המתקבל:

ספרות

מקורות אינטרנט:

1) habr.com/en/post/278513
2) habr.com/ru/company/ods/blog/322076
3) habr.com/en/post/307004
4) nabatchikov.com/blog/view/matrix_der

ספרי לימוד, אוספי בעיות:

1) הערות הרצאה על מתמטיקה גבוהה: קורס מלא / D.T. נכתב - מהדורה רביעית. – M.: Iris-press, 4
2) ניתוח רגרסיה יישומי / N. Draper, G. Smith - 2nd ed. – מ.: פיננסים וסטטיסטיקה, 1986 (תרגום מאנגלית)
3) בעיות לפתרון משוואות מטריצות:
function-x.ru/matrix_equations.html
mathprofi.ru/deistviya_s_matricami.html

מקור: www.habr.com