🥇לועסים על רגרסיה לוגיסטית

במאמר זה ננתח את החישובים התיאורטיים של הטרנספורמציה פונקציות רגרסיה לינארית в פונקציית טרנספורמציה לוגית הפוכה (נקראת אחרת פונקציית תגובה לוגיסטית). לאחר מכן, באמצעות הארסנל שיטת הסבירות המקסימלית, בהתאם למודל הרגרסיה הלוגיסטית, אנו גוזרים את פונקציית ההפסד הפסד לוגיסטי, או במילים אחרות, נגדיר פונקציה שאיתה נבחרים הפרמטרים של וקטור המשקל במודל הרגרסיה הלוגיסטית .

מתווה מאמר:

הבה נחזור על הקשר הליניארי בין שני משתנים
בואו נזהה את הצורך בשינוי פונקציות רגרסיה לינארית в פונקציית תגובה לוגיסטית
בואו נבצע את התמורות והפלט פונקציית תגובה לוגיסטית
בואו ננסה להבין מדוע שיטת הריבועים הקטנים היא גרועה בבחירת פרמטרים פונקציות הפסד לוגיסטי
השתמש שיטת הסבירות המקסימלית לקביעה פונקציות בחירת פרמטרים :
5.1. מקרה 1: פונקציה הפסד לוגיסטי עבור אובייקטים עם ייעודי כיתות 0 и 1:

5.2. מקרה 2: פונקציה הפסד לוגיסטי עבור אובייקטים עם ייעודי כיתות -1 и +1:

המאמר גדוש בדוגמאות פשוטות שבהן כל החישובים קלים לביצוע בעל פה או על נייר; במקרים מסוימים, ייתכן שיידרש מחשבון. אז תתכוננו :)

מאמר זה מיועד בעיקר למדעני נתונים בעלי רמה ראשונית של ידע ביסודות למידת מכונה.

המאמר יספק גם קוד לציור גרפים וחישובים. כל הקוד כתוב בשפה פיתון 2.7. הרשו לי להסביר מראש על "החידוש" של הגרסה המשמשת - זה אחד התנאים ללימוד הקורס הידוע מ יאנדקס בפלטפורמת חינוך מקוונת ידועה לא פחות Coursera, וכפי שניתן לשער, החומר הוכן על סמך קורס זה.

01. תלות בקו ישר

זה די הגיוני לשאול את השאלה - מה הקשר בין תלות לינארית ורגרסיה לוגיסטית?

זה פשוט! רגרסיה לוגיסטית היא אחד המודלים השייכים למסווג הליניארי. במילים פשוטות, המשימה של מסווג ליניארי היא לחזות ערכי יעד ממשתנים (רגרסורים) . הוא האמין כי התלות בין המאפיינים וערכי יעד ליניארי. מכאן שמו של המסווגן - ליניארי. בניסוח גס מאוד, מודל הרגרסיה הלוגיסטית מבוסס על ההנחה שיש קשר ליניארי בין המאפיינים וערכי יעד . זה החיבור.

יש את הדוגמה הראשונה באולפן, והיא, נכון, על התלות הישנית של הכמויות הנבדקות. בתהליך הכנת המאמר נתקלתי בדוגמה שכבר הוציאה אנשים רבים על הקצה – תלות הזרם במתח ("ניתוח רגרסיה יישומית", נ. דרייפר, ג'י סמית'). נסתכל על זה גם כאן.

בהתאם חוק אוהם:

איפה - חוזק נוכחי, - מתח, - התנגדות.

אם לא ידענו חוק אוהם, אז נוכל למצוא את התלות באופן אמפירי על ידי שינוי ומדידה , תוך כדי תמיכה תוקן. אז היינו רואים את גרף התלות מ נותן קו ישר פחות או יותר דרך המוצא. אנו אומרים "פחות או יותר", כי למרות שהקשר למעשה מדויק, המדידות שלנו עשויות להכיל טעויות קטנות, ולכן הנקודות בגרף עשויות שלא ליפול בדיוק על הקו, אלא יתפזרו סביבו באופן אקראי.

גרף 1 "תלות" מ »

קוד ציור תרשים

import matplotlib.pyplot as plt
%matplotlib inline

import numpy as np

import random

R = 13.75

x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
    y_line.append(i/R)
    
y_dot = []
for i in y_line:
    y_dot.append(i+random.uniform(-0.9,0.9))


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Actual results')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

02. הצורך להפוך את משוואת הרגרסיה הליניארית

בואו נסתכל על דוגמה נוספת. בואו נדמיין שאנחנו עובדים בבנק והמשימה שלנו היא לקבוע את הסבירות שהלווה יחזיר את ההלוואה בהתאם לגורמים מסוימים. כדי לפשט את המשימה, נשקול שני גורמים בלבד: השכר החודשי של הלווה וסכום החזר ההלוואה החודשי.

המשימה מותנית מאוד, אבל עם הדוגמה הזו אנחנו יכולים להבין למה זה לא מספיק להשתמש פונקציות רגרסיה לינארית, וגם לברר אילו טרנספורמציות צריך לבצע עם הפונקציה.

נחזור לדוגמא. מובן שככל שהשכר גבוה יותר, כך הלווה יוכל להקצות מדי חודש להחזר ההלוואה. יחד עם זאת, עבור טווח שכר מסוים הקשר הזה יהיה ליניארי למדי. לדוגמה, ניקח טווח שכר בין 60.000 RUR ל-200.000 RUR ונניח שבטווח השכר שצוין, התלות של גודל התשלום החודשי בגודל השכר היא ליניארית. נניח שעבור טווח השכר שצוין התגלה כי יחס השכר לתשלום אינו יכול לרדת מתחת ל-3 ועדיין ללווה חייב להיות 5.000 RUR ברזרבה. ורק במקרה זה, נניח שהלווה יחזיר את ההלוואה לבנק. לאחר מכן, משוואת הרגרסיה הליניארית תקבל את הצורה:

איפה , , , - שכר הלווה ה-, - תשלום הלוואה הלווה -ה.

החלפת שכר ותשלום הלוואה בפרמטרים קבועים למשוואה אתה יכול להחליט אם להנפיק או לסרב להלוואה.

במבט קדימה, אנו מציינים כי, עם הפרמטרים הנתונים פונקציית רגרסיה לינארית, בשימוש ב פונקציות תגובה לוגיסטית ייצור ערכים גדולים שיסבכו את החישובים כדי לקבוע את ההסתברויות להחזר ההלוואה. לכן, מוצע להפחית את המקדמים שלנו, נניח, פי 25.000. שינוי זה במקדמי לא ישנה את ההחלטה על מתן הלוואה. בואו נזכור את הנקודה הזו לעתיד, אבל עכשיו, כדי להבהיר עוד יותר על מה אנחנו מדברים, בואו נשקול את המצב עם שלושה לווים פוטנציאליים.

טבלה 1 "לווים פוטנציאליים"

קוד להפקת הטבלה

import pandas as pd

r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r

data = {'The borrower':np.array(['Vasya', 'Fedya', 'Lesha']), 
        'Salary':np.array([120000,180000,210000]),
       'Payment':np.array([3000,50000,70000])}

df = pd.DataFrame(data)

df['f(w,x)'] = w_0 + df['Salary']*w_1 + df['Payment']*w_2

decision = []
for i in df['f(w,x)']:
    if i > 0:
        dec = 'Approved'
        decision.append(dec)
    else:
        dec = 'Refusal'
        decision.append(dec)
        
df['Decision'] = decision

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision']]

בהתאם לנתונים בטבלה, Vasya, עם שכר של 120.000 RUR, רוצה לקבל הלוואה כדי שיוכל להחזיר אותה מדי חודש ב-3.000 RUR. קבענו שכדי לאשר את ההלוואה, שכרו של ואסיה חייב לעלות על פי שלושה מסכום התשלום, ועדיין חייבים להישאר 5.000 RUR. Vasya עונה על הדרישה הזו: . נשארו אפילו 106.000 RUR. למרות העובדה כי בעת חישוב הקטנו את הסיכויים 25.000 פעמים, התוצאה הייתה זהה - ניתן לאשר את ההלוואה. גם פדיה יקבל הלוואה, אבל לשה, למרות שהוא מקבל הכי הרבה, יצטרך לרסן את התיאבון.

בואו נצייר גרף למקרה זה.

תרשים 2 "סיווג לווים"

קוד לציור הגרף

salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'], 
         'o', color ='green', markersize = 12, label = 'Decision - Loan approved')
plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'], 
         's', color = 'red', markersize = 12, label = 'Decision - Loan refusal')
plt.xlabel('Salary', size = 16)
plt.ylabel('Payment', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

אז, הקו הישר שלנו, בנוי בהתאם לפונקציה , מפריד בין לווים "רעים" ל"טובים". אותם לווים שרצונותיהם אינם עולים בקנה אחד עם היכולות שלהם נמצאים מעל הקו (לשה), ואילו מי שעל פי הפרמטרים של המודל שלנו מסוגלים להחזיר את ההלוואה נמצאים מתחת לקו (וסיה ופדיה). במילים אחרות, אנו יכולים לומר זאת: הקו הישיר שלנו מחלק את הלווים לשתי מחלקות. הבה נסמן אותם כך: לכיתה אנו נסווג את הלווים שהסבירות הגבוהה ביותר להחזיר את ההלוואה כ או נכלול את הלווים שסביר להניח שלא יוכלו להחזיר את ההלוואה.

הבה נסכם את המסקנות מדוגמה פשוטה זו. בואו ניקח נקודה וכן, החלפת הקואורדינטות של הנקודה במשוואה המתאימה של הישר , שקול שלוש אפשרויות:

אם הנקודה נמצאת מתחת לקו ואנו מקצים אותה לכיתה , ואז הערך של הפונקציה יהיה חיובי מ до . המשמעות היא שאנו יכולים להניח שההסתברות להחזר ההלוואה היא בפנים . ככל שערך הפונקציה גדול יותר, כך ההסתברות גבוהה יותר.
אם נקודה נמצאת מעל קו ואנו מקצים אותה לכיתה או , אז הערך של הפונקציה יהיה שלילי מ до . אז נניח שההסתברות לפירעון החוב היא בפנים וככל שהערך המוחלט של הפונקציה גדול יותר, כך הביטחון שלנו גבוה יותר.
הנקודה נמצאת על קו ישר, על הגבול בין שתי מחלקות. במקרה זה, הערך של הפונקציה יהיה שווה וההסתברות להחזר ההלוואה שווה ל .

עכשיו, בואו נדמיין שאין לנו שני גורמים, אלא עשרות, ולא שלושה, אלא אלפי לווים. ואז במקום קו ישר יהיה לנו ממדית מישור ומקדמים לא נוציא אותנו מהאוויר, אלא נגזר על פי כל הכללים, ועל בסיס נתונים מצטברים על לווים שהחזירו או לא החזירו את ההלוואה. ואכן, שימו לב שאנו בוחרים כעת לווים באמצעות מקדמים ידועים כבר . למעשה, המשימה של מודל הרגרסיה הלוגיסטית היא בדיוק לקבוע את הפרמטרים , שבו מתפקד ערך ההפסד הפסד לוגיסטי יטו למינימום. אבל על איך הווקטור מחושב , נגלה עוד בחלק החמישי של המאמר. בינתיים אנחנו חוזרים לארץ המובטחת - לבנקאי שלנו ולשלושת לקוחותיו.

בזכות הפונקציה אנחנו יודעים למי אפשר לתת הלוואה ולמי צריך לשלול. אבל אתה לא יכול ללכת למנהל עם מידע כזה, כי הם רצו לקבל מאיתנו את ההסתברות להחזר ההלוואה על ידי כל לווה. מה לעשות? התשובה פשוטה - אנחנו צריכים איכשהו לשנות את הפונקציה , שערכיו נמצאים בטווח לפונקציה שהערכים שלה יהיו בטווח . וקיימת פונקציה כזו, היא נקראת פונקציית תגובה לוגיסטית או טרנספורמציה הפוך-לוגית. לִפְגוֹשׁ:

בואו נראה צעד אחר צעד איך זה עובד פונקציית תגובה לוגיסטית. שימו לב שנלך בכיוון ההפוך, כלומר. נניח שאנו יודעים את ערך ההסתברות, שנמצא בטווח מ до ואז "נפרק" את הערך הזה לכל טווח המספרים מ до .

03. אנו גוזרים את פונקציית התגובה הלוגיסטית

שלב 1. המר את ערכי ההסתברות לטווח

במהלך השינוי של הפונקציה в פונקציית תגובה לוגיסטית נשאיר את אנליסט האשראי שלנו בשקט ונצא לסיור בין סוכני ההימורים במקום זאת. לא, כמובן, לא נבצע הימורים, כל מה שמעניין אותנו שם הוא משמעות הביטוי, למשל, הסיכוי הוא 4 ל-1. הסיכויים, המוכרים לכל המהמרים, הם היחס בין "הצלחות" ל" כישלונות". במונחי הסתברות, הסיכויים הם ההסתברות להתרחשות של אירוע חלקי ההסתברות שהאירוע לא יתרחש. נרשום את הנוסחה לסיכוי להתרחשות אירוע :

איפה - הסתברות להתרחשות אירוע, - הסתברות שאירוע לא יתרחש

לדוגמה, אם ההסתברות שסוס צעיר, חזק ושובב המכונה "וטרוק" ינצח זקנה ורפויה בשם "מטילדה" במרוץ שווה ל- , אז סיכויי ההצלחה של "Veterok" יהיו к ולהיפך, לדעת את הסיכויים, לא יהיה לנו קשה לחשב את ההסתברות :

לפיכך, למדנו "לתרגם" הסתברות לסיכויים, שלוקחים מהם ערכים до . בואו נעשה עוד צעד אחד ונלמד "לתרגם" את ההסתברות לכל שורת המספרים до .

שלב 2. המר את ערכי ההסתברות לטווח

שלב זה הוא פשוט מאוד - בואו ניקח את הלוגריתם של הסיכויים לבסיס המספר של אוילר ואנחנו מקבלים:

עכשיו אנחנו יודעים שאם , ואז חשב את הערך יהיה פשוט מאוד, ויתרה מכך, זה צריך להיות חיובי: . זה נכון.

מתוך סקרנות, בואו נבדוק מה אם , אז אנו מצפים לראות ערך שלילי . אנחנו בודקים: . זה נכון.

כעת אנו יודעים כיצד להמיר את ערך ההסתברות מ до לאורך כל קו המספרים מ до . בשלב הבא נעשה את ההיפך.

לעת עתה, נציין כי בהתאם לכללי הלוגריתם, לדעת את הערך של הפונקציה , אתה יכול לחשב את הסיכויים:

שיטה זו לקביעת סיכויים תהיה שימושית עבורנו בשלב הבא.

שלב 3. בואו נגזר נוסחה לקביעה

אז למדנו, לדעת , מצא ערכי פונקציה . עם זאת, למעשה, אנחנו צריכים בדיוק את ההיפך - לדעת את הערך למצוא . לשם כך, הבה נפנה למושג כמו פונקציית הסיכויים ההפוכה, לפיה:

במאמר לא נגזר את הנוסחה הנ"ל, אלא נבדוק אותה באמצעות המספרים מהדוגמה למעלה. אנחנו יודעים שעם סיכויים של 4 ל-1 (), ההסתברות להתרחשות האירוע היא 0.8 (). בוא נעשה החלפה: . זה עולה בקנה אחד עם החישובים שלנו שבוצעו קודם לכן. בוא נמשיך הלאה.

בשלב האחרון הסקנו את זה , מה שאומר שאתה יכול לבצע החלפה בפונקציית הסיכויים ההפוכים. אנחנו מקבלים:

מחלקים גם את המונה וגם את המכנה ב , לאחר מכן:

ליתר ביטחון, כדי לוודא שלא טעינו בשום מקום, נבצע עוד בדיקה קטנה אחת. בשלב 2, אנחנו עבור קבע את זה . לאחר מכן, החלפת הערך לתוך פונקציית התגובה הלוגיסטית, אנו מצפים לקבל . אנחנו מחליפים ומקבלים:

מזל טוב, קורא יקר, זה עתה הפקנו ובדקנו את פונקציית התגובה הלוגיסטית. בואו נסתכל על הגרף של הפונקציה.

גרף 3 "פונקציית תגובה לוגיסטית"

קוד לציור הגרף

import math

def logit (f):
    return 1/(1+math.exp(-f))

f = np.arange(-7,7,0.05)
p = []

for i in f:
    p.append(logit(i))

fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

בספרות ניתן למצוא גם את השם של פונקציה זו פונקציה סיגמואידית. הגרף מראה בבירור שהשינוי העיקרי בהסתברות לאובייקט השייך למחלקה מתרחש בטווח קטן יחסית , מאיפה שהוא до .

אני מציע לחזור לאנליסט האשראי שלנו ולעזור לו לחשב את ההסתברות להחזר ההלוואה, אחרת הוא מסתכן להישאר ללא בונוס :)

טבלה 2 "לווים פוטנציאליים"

קוד להפקת הטבלה

proba = []
for i in df['f(w,x)']:
    proba.append(round(logit(i),2))
    
df['Probability'] = proba

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision', 'Probability']]

אז, קבענו את ההסתברות להחזר ההלוואה. באופן כללי, נראה שזה נכון.

ואכן, ההסתברות שואסיה, עם משכורת של 120.000 RUR, תוכל לתת 3.000 RUR לבנק מדי חודש קרובה ל-100%. אגב, עלינו להבין כי בנק יכול להנפיק הלוואה ללשה אם מדיניות הבנק מאפשרת, למשל, הלוואות ללקוחות עם הסתברות להחזר הלוואה של יותר מ- נניח, 0.3. רק שבמקרה הזה הבנק יצור רזרבה גדולה יותר להפסדים אפשריים.

עוד יצוין כי יחס השכר לתשלום של 3 לפחות וברווח של 5.000 RUR נלקח מהתקרה. לכן, לא יכולנו להשתמש בוקטור המשקולות בצורתו המקורית . היינו צריכים להפחית מאוד את המקדמים, ובמקרה הזה חילקנו כל מקדם ב-25.000, כלומר בעצם, התאמנו את התוצאה. אבל זה נעשה במיוחד כדי לפשט את ההבנה של החומר בשלב הראשוני. בחיים לא נצטרך להמציא ולהתאים מקדמים אלא למצוא אותם. בחלקים הבאים של המאמר נגזור את המשוואות איתן נבחרים הפרמטרים .

04. שיטת הריבועים הקטנים לקביעת וקטור המשקולות בפונקציית המענה הלוגיסטי

אנחנו כבר מכירים את השיטה הזו לבחירת וקטור של משקולות כמו שיטת הריבועים הקטנים ביותר (LSM) ולמעשה, מדוע איננו משתמשים בו בבעיות סיווג בינארי? אכן, שום דבר לא מונע ממך להשתמש MNC, רק שיטה זו בבעיות סיווג נותנת תוצאות פחות מדויקות מאשר הפסד לוגיסטי. יש לכך בסיס תיאורטי. בואו נסתכל תחילה על דוגמה אחת פשוטה.

בואו נניח שהמודלים שלנו (באמצעות MSE и הפסד לוגיסטי) כבר התחילו לבחור את וקטור המשקולות והפסקנו את החישוב בשלב כלשהו. זה לא משנה אם באמצע, בסוף או בהתחלה, העיקר שיש לנו כבר כמה ערכים של וקטור המשקולות ובואו נניח שבשלב הזה, וקטור המשקולות עבור שני הדגמים אין הבדלים. לאחר מכן קח את המשקולות שהתקבלו והחליפו אותן פונקציית תגובה לוגיסטית () עבור אובייקט כלשהו ששייך למחלקה . אנו בוחנים שני מקרים שבהם, בהתאם לוקטור המשקולות שנבחר, המודל שלנו טועה מאוד ולהיפך - המודל בטוח מאוד שהאובייקט שייך למחלקה . בואו נראה אילו קנסות יונפקו בעת השימוש MNC и הפסד לוגיסטי.

קוד לחישוב עונשים בהתאם לפונקציית ההפסד המשמשת

# класс объекта
y = 1
# вероятность отнесения объекта к классу в соответствии с параметрами w
proba_1 = 0.01

MSE_1 = (y - proba_1)**2
print 'Штраф MSE при грубой ошибке =', MSE_1

# напишем функцию для вычисления f(w,x) при известной вероятности отнесения объекта к классу +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
    return math.log(proba/(1-proba)) 

LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'Штраф Log Loss при грубой ошибке =', LogLoss_1

proba_2 = 0.99

MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))

print '**************************************************************'
print 'Штраф MSE при сильной уверенности =', MSE_2
print 'Штраф Log Loss при сильной уверенности =', LogLoss_2

מקרה של טעות - המודל מקצה אובייקט למחלקה עם הסתברות של 0,01

קנס על שימוש MNC יהיה:

קנס על שימוש הפסד לוגיסטי יהיה:

מקרה של אמון חזק - המודל מקצה אובייקט למחלקה עם הסתברות של 0,99

קנס על שימוש MNC יהיה:

קנס על שימוש הפסד לוגיסטי יהיה:

דוגמה זו ממחישה היטב שבמקרה של טעות גסה פונקציית ההפסד אובדן יומן מעניש את המודל באופן משמעותי יותר מ MSE. כעת נבין מה הרקע התיאורטי לשימוש בפונקציית ההפסד אובדן יומן בבעיות סיווג.

05. שיטת סבירות מקסימלית ורגרסיה לוגיסטית

כפי שהובטח בהתחלה, המאמר גדוש בדוגמאות פשוטות. בסטודיו יש עוד דוגמה ואורחים ותיקים - לווים בנקים: ואסיה, פדיה ולשה.

ליתר בטחון, לפני פיתוח הדוגמה, הרשו לי להזכיר לכם שבחיים אנו מתמודדים עם מדגם אימון של אלפי או מיליוני אובייקטים עם עשרות או מאות תכונות. עם זאת, כאן נלקחים המספרים כך שיוכלו להתאים בקלות לראשו של מדען נתונים מתחיל.

נחזור לדוגמא. בואו נדמיין שמנהל הבנק החליט להנפיק הלוואה לכל מי שזקוק, למרות שהאלגוריתם אמר לו לא להנפיק אותה לשה. ועכשיו עבר מספיק זמן ואנו יודעים מי משלושת הגיבורים החזיר את ההלוואה ומי לא. מה היה צפוי: ואסיה ופדיה החזירו את ההלוואה, אבל לשה לא. עכשיו בואו נדמיין שהתוצאה הזו תהווה עבורנו מדגם הכשרה חדש, ובמקביל, זה כאילו נעלמו כל הנתונים על הגורמים המשפיעים על הסיכוי להחזר ההלוואה (שכר הלווה, גודל התשלום החודשי). ואז, אינטואיטיבית, ניתן להניח שכל לווה שלישי אינו מחזיר את ההלוואה לבנק, או במילים אחרות, את ההסתברות שהלווה הבא יחזיר את ההלוואה. . להנחה אינטואיטיבית זו יש אישור תיאורטי והיא מבוססת על שיטת הסבירות המקסימלית, לעתים קרובות בספרות זה נקרא עקרון הסבירות המקסימלית.

ראשית, בואו נכיר את המנגנון הרעיוני.

סבירות לדגימה היא ההסתברות לקבל בדיוק מדגם כזה, לקבל בדיוק תצפיות/תוצאות כאלה, כלומר. מכפלת ההסתברויות להשגת כל אחת מתוצאות המדגם (לדוגמה, האם ההלוואה של ואסיה, פדיה ולשה נפרעה או לא הוחזרה בו-זמנית).

פונקציית סבירות מקשר את הסבירות של מדגם לערכי פרמטרי ההתפלגות.

במקרה שלנו, מדגם האימון הוא סכימת ברנולי מוכללת, שבה המשתנה האקראי לוקח רק שני ערכים: או . לכן, ניתן לכתוב את סבירות המדגם כפונקציית סבירות של הפרמטר כדלקמן:

ניתן לפרש את הערך לעיל באופן הבא. ההסתברות המשותפת לווסיה ופדיה יחזירו את ההלוואה שווה לה , ההסתברות שלשה לא תחזיר את ההלוואה שווה ל (מכיוון שלא החזר ההלוואה התרחש), לכן ההסתברות המשותפת של כל שלושת האירועים שווה .

שיטת הסבירות המקסימלית היא שיטה להערכת פרמטר לא ידוע על ידי מיקסום פונקציות סבירות. במקרה שלנו, אנחנו צריכים למצוא ערך כזה בו מגיע למקסימום שלו.

מאיפה הרעיון בפועל - לחפש את הערך של פרמטר לא ידוע שבו פונקציית הסבירות מגיעה למקסימום? מקורות הרעיון נובעים מהרעיון שמדגם הוא מקור הידע היחיד העומד לרשותנו על האוכלוסייה. כל מה שאנחנו יודעים על האוכלוסייה מיוצג במדגם. לכן, כל מה שאנחנו יכולים לומר הוא שמדגם הוא השתקפות המדויקת ביותר של האוכלוסייה העומדת לרשותנו. לכן, עלינו למצוא פרמטר שבו המדגם הזמין הופך לסביר ביותר.

ברור שאנו מתמודדים עם בעיית אופטימיזציה שבה עלינו למצוא את נקודת הקיצון של פונקציה. כדי למצוא את נקודת הקיצון, יש צורך לשקול את התנאי מסדר ראשון, כלומר, להשוות את הנגזרת של הפונקציה לאפס ולפתור את המשוואה ביחס לפרמטר הרצוי. עם זאת, חיפוש אחר הנגזרת של מכפלה של מספר רב של גורמים יכול להיות משימה ארוכה; כדי להימנע מכך, ישנה טכניקה מיוחדת - מעבר ללוגריתם פונקציות סבירות. למה מעבר כזה אפשרי? הבה נשים לב לעובדה שאיננו מחפשים את הקיצון של הפונקציה עצמה, ונקודת הקיצון, כלומר, הערך של הפרמטר הלא ידוע בו מגיע למקסימום. כאשר עוברים ללוגריתם, נקודת הקיצון אינה משתנה (אם כי הקיצון עצמו יהיה שונה), מכיוון שהלוגריתם הוא פונקציה מונוטונית.

הבה, בהתאם לאמור לעיל, נמשיך לפתח את הדוגמה שלנו בהלוואות של ואסיה, פדיה ולשה. ראשית בואו נעבור ל לוגריתם של פונקציית הסבירות:

כעת נוכל להבדיל בקלות את הביטוי לפי :

ולבסוף, קחו בחשבון את התנאי מסדר ראשון - אנו משווים את הנגזרת של הפונקציה לאפס:

לפיכך, ההערכה האינטואיטיבית שלנו לגבי ההסתברות להחזר ההלוואה היה מוצדק תיאורטית.

נהדר, אבל מה עלינו לעשות עם המידע הזה עכשיו? אם נניח שכל לווה שלישי לא מחזיר את הכסף לבנק, אז האחרון בהכרח יפשוט רגל. זה נכון, אבל רק כאשר מעריכים את ההסתברות להחזר ההלוואה שווה ל לא לקחנו בחשבון את הגורמים המשפיעים על החזר ההלוואה: משכורת הלווה וגובה התשלום החודשי. נזכיר כי חישבנו בעבר את ההסתברות להחזר ההלוואה על ידי כל לקוח, תוך התחשבות באותם גורמים. זה הגיוני שקיבלנו הסתברויות שונות מהשווה הקבוע .

הבה נגדיר את הסבירות לדגימות:

קוד לחישוב סבירות מדגם

from functools import reduce

def likelihood(y,p):
    line_true_proba = []
    for i in range(len(y)):
        ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
        line_true_proba.append(ltp_i)
    likelihood = []
    return reduce(lambda a, b: a*b, line_true_proba)
        
    
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]


print 'Правдоподобие выборки при константном значении p=2/3:', round(likelihood(y,p_const),3)

print '****************************************************************************************************'

print 'Правдоподобие выборки при расчетном значении p:', round(likelihood(y,p_log_response),3)

סבירות לדוגמא בערך קבוע :

סבירות לדוגמא בעת חישוב ההסתברות להחזר ההלוואה תוך התחשבות בגורמים :

הסבירות של מדגם עם הסתברות המחושבת בהתאם לגורמים התבררה כגבוהה מהסבירות עם ערך הסתברות קבוע. מה זה אומר? הדבר מצביע על כך שידע על הגורמים איפשר לבחור בצורה מדויקת יותר את ההסתברות להחזר ההלוואה עבור כל לקוח. לפיכך, בעת מתן ההלוואה הבאה, נכון יותר יהיה להשתמש במודל המוצע בסוף סעיף 3 למאמר להערכת ההסתברות לפירעון החוב.

אבל אז, אם אנחנו רוצים למקסם פונקציית סבירות לדוגמה, אז למה לא להשתמש באיזה אלגוריתם שיפיק הסתברויות עבור Vasya, Fedya ו-Lesha, למשל, שווה ל-0.99, 0.99 ו-0.01, בהתאמה. אולי אלגוריתם כזה יתפקד היטב במדגם האימון, מכיוון שהוא יקרב את ערך הסבירות של המדגם ל , אבל ראשית, סביר להניח שלאלגוריתם כזה יהיו קשיים ביכולת ההכללה, ושנית, אלגוריתם זה בהחלט לא יהיה ליניארי. ואם שיטות למלחמה באימון יתר (יכולת הכללה חלשה באותה מידה) אינן נכללות בתוכנית של מאמר זה, אז בואו נעבור על הנקודה השנייה ביתר פירוט. כדי לעשות זאת, פשוט ענה על שאלה פשוטה. האם ההסתברות של Vasya ו-Fedya להחזיר את ההלוואה יכולה להיות זהה, בהתחשב בגורמים המוכרים לנו? מנקודת המבט של היגיון בריא, כמובן שלא, זה לא יכול. אז ואסיה ישלם 2.5% ממשכורתו לחודש כדי להחזיר את ההלוואה, ופדיה - כמעט 27,8%. גם בגרף 2 "סיווג לקוחות" אנו רואים כי ואסיה נמצאת הרבה יותר מהקו המפריד בין המעמדות מאשר פדיה. ולבסוף, אנחנו יודעים שהפונקציה עבור Vasya ו-Fedya לוקח ערכים שונים: 4.24 עבור Vasya ו-1.0 עבור Fedya. כעת, אם פדיה, למשל, הרוויחה בסדר גודל יותר או תבקש הלוואה קטנה יותר, אז ההסתברויות להחזיר את ההלוואה לוואסיה ולפדיה יהיו דומות. במילים אחרות, אי אפשר לרמות תלות ליניארית. ואם באמת חישבנו את הסיכויים , ולא הוציא אותם יש מאין, יכולנו לומר בבטחה שהערכים שלנו לאפשר לנו בצורה הטובה ביותר להעריך את ההסתברות לפירעון ההלוואה על ידי כל לווה, אך מכיוון שהסכמנו להניח כי קביעת המקדמים בוצע על פי כל הכללים, אז נניח שכן - המקדמים שלנו מאפשרים לנו לתת הערכה טובה יותר של ההסתברות :)

עם זאת, אנו מתרחקים. בסעיף זה עלינו להבין כיצד נקבע וקטור המשקולות , אשר יש צורך להעריך את ההסתברות להחזר ההלוואה על ידי כל לווה.

בואו נסכם בקצרה באיזה ארסנל אנחנו מחפשים סיכויים :

1. אנו מניחים שהקשר בין משתנה היעד (ערך החיזוי) לבין הגורם המשפיע על התוצאה הוא ליניארי. מסיבה זו משתמשים בו פונקציית רגרסיה לינארית מינים , שהשורה שלו מחלקת אובייקטים (לקוחות) למחלקות и או (לקוחות שמסוגלים להחזיר את ההלוואה וכאלה שלא). במקרה שלנו, למשוואה יש את הצורה .

2. אנו משתמשים פונקציית logit הפוכה מינים כדי לקבוע את ההסתברות של אובייקט שייך למחלקה .

3. אנו מחשיבים את מערך האימונים שלנו כיישום של כללי ברנולי מתכנן, כלומר, עבור כל אובייקט נוצר משתנה אקראי, אשר בהסתברות (שלו עבור כל אובייקט) לוקח את הערך 1 ובהסתברות - 0.

4. אנחנו יודעים מה אנחנו צריכים כדי למקסם פונקציית סבירות לדוגמה תוך התחשבות בגורמים המקובלים כך שהמדגם הזמין יהפוך לסביר ביותר. במילים אחרות, עלינו לבחור פרמטרים שבהם המדגם יהיה סביר ביותר. במקרה שלנו, הפרמטר הנבחר הוא ההסתברות להחזר ההלוואה , אשר בתורו תלוי במקדמים לא ידועים . אז אנחנו צריכים למצוא וקטור כזה של משקולות , שבו הסבירות של המדגם תהיה מקסימלית.

5. אנחנו יודעים מה למקסם פונקציות סבירות לדוגמה אתה יכול להשתמש שיטת הסבירות המקסימלית. ואנחנו מכירים את כל הטריקים המסובכים לעבוד עם השיטה הזו.

כך מסתבר שזה מהלך רב שלבים :)

כעת זכור שבתחילת המאמר רצינו לגזור שני סוגים של פונקציות אובדן הפסד לוגיסטי בהתאם לאופן שבו מסווגות מחלקות אובייקטים. כך קרה שבבעיות סיווג עם שתי כיתות, השיעורים מסומנים כ и או . בהתאם לסימון, לפלט תהיה פונקציית אובדן מתאימה.

מקרה 1. סיווג חפצים לתוך и

קודם לכן, בעת קביעת הסבירות למדגם, שבו חושבה ההסתברות לפירעון החוב על ידי הלווה על סמך גורמים ומקדמים נתונים. , יישמנו את הנוסחה:

למעשה היא המשמעות פונקציות תגובה לוגיסטית עבור וקטור נתון של משקלים

אז שום דבר לא מונע מאיתנו לכתוב את פונקציית הסבירות לדוגמה באופן הבא:

זה קורה שלפעמים קשה לכמה אנליסטים מתחילים להבין מיד איך הפונקציה הזו עובדת. בואו נסתכל על 4 דוגמאות קצרות שיבהירו הכל:

1. אם (כלומר, לפי מדגם האימון, האובייקט שייך לכיתה +1), והאלגוריתם שלנו קובע את ההסתברות לסיווג אובייקט למחלקה שווה ל-0.9, אז פיסת סבירות מדגם זו תחושב באופן הבא:

2. אם ו - , אז החישוב יהיה כך:

3. אם ו - , אז החישוב יהיה כך:

4. אם ו - , אז החישוב יהיה כך:

ברור שפונקציית הסבירות תהיה מקסימלית במקרים 1 ו-3 או במקרה הכללי - עם ערכים מנחשים נכון של ההסתברויות להקצאת אובייקט למחלקה .

בשל העובדה כי בעת קביעת ההסתברות להקצאת אובייקט למחלקה אנחנו רק לא יודעים את המקדמים , אז נחפש אותם. כפי שצוין לעיל, זוהי בעיית אופטימיזציה שבה ראשית עלינו למצוא את הנגזרת של פונקציית הסבירות ביחס לוקטור המשקולות . עם זאת, קודם כל הגיוני לפשט את המשימה עבור עצמנו: נחפש את הנגזרת של הלוגריתם פונקציות סבירות.

למה אחרי לוגריתם, ב פונקציות שגיאה לוגיסטית, שינינו את השלט מ על . הכל פשוט, שכן בבעיות של הערכת איכות של מודל נהוג למזער את הערך של פונקציה, הכפלנו את הצד הימני של הביטוי ב ובהתאם לכך, במקום למקסם, כעת אנו ממזערים את הפונקציה.

למעשה, כרגע, לנגד עיניך, פונקציית האובדן נגזרה בקפידה - הפסד לוגיסטי עבור ערכת אימונים עם שני שיעורים: и .

עכשיו, כדי למצוא את המקדמים, אנחנו רק צריכים למצוא את הנגזרת פונקציות שגיאה לוגיסטית ולאחר מכן, באמצעות שיטות אופטימיזציה מספרית, כגון ירידה בשיפוע או ירידה בשיפוע סטוכסטי, בחר את המקדמים האופטימליים ביותר . אבל, בהתחשב בנפח הניכר של המאמר, מוצע לבצע את הבידול בעצמך, או אולי זה יהיה נושא למאמר הבא עם הרבה חשבון בלי דוגמאות כל כך מפורטות.

מקרה 2. סיווג חפצים לתוך и

הגישה כאן תהיה זהה לשיעורים и , אלא הנתיב עצמו לפלט של פונקציית ההפסד הפסד לוגיסטי, יהיה מקושט יותר. בואו נתחיל. עבור פונקציית הסבירות נשתמש באופרטור "אם... אז..."... כלומר, אם האובייקט ה-th שייך למחלקה , ואז כדי לחשב את הסבירות של המדגם אנו משתמשים בהסתברות , אם האובייקט שייך למחלקה , אז אנחנו מחליפים לתוך הסבירות . כך נראית פונקציית הסבירות:

הבה נתאר על האצבעות שלנו איך זה עובד. בואו נבחן 4 מקרים:

1. אם и , אז סבירות הדגימה "תלך"

2. אם и , אז סבירות הדגימה "תלך"

3. אם и , אז סבירות הדגימה "תלך"

4. אם и , אז סבירות הדגימה "תלך"

ברור שבמקרים 1 ו-3, כאשר ההסתברויות נקבעו בצורה נכונה על ידי האלגוריתם, פונקציית סבירות יהיה מקסימום, כלומר, זה בדיוק מה שרצינו לקבל. עם זאת, גישה זו די מסורבלת ובהמשך נשקול סימון קומפקטי יותר. אבל תחילה, בואו נבצע לוגריתם של פונקציית הסבירות עם שינוי סימן, שכן כעת נמזער אותה.

בוא נחליף במקום ביטוי :

בואו נפשט את המונח הנכון תחת הלוגריתם באמצעות טכניקות אריתמטיות פשוטות ונקבל:

עכשיו הגיע הזמן להיפטר מהמפעיל "אם... אז...". שימו לב שכאשר חפץ שייך לכיתה , ואז בביטוי מתחת ללוגריתם, במכנה, מורם לשלטון , אם האובייקט שייך למחלקה , ואז $e$ מועלה לעוצמה . לכן, ניתן לפשט את הסימון לתואר על ידי שילוב שני המקרים לאחד: . אז פונקציית שגיאה לוגיסטית יקבל את הטופס:

בהתאם לכללי הלוגריתם, אנו הופכים את השבר ומוציאים את הסימן ""(מינוס) עבור הלוגריתם, נקבל:

הנה פונקציית ההפסד אובדן לוגיסטי, המשמש בערכת ההדרכה עם אובייקטים שהוקצו לשיעורים: и .

ובכן, בשלב זה אני יוצא לחופשה ואנחנו מסיימים את המאמר.

עבודתו הקודמת של המחבר היא "הבאת משוואת הרגרסיה הליניארית לצורת מטריצה"