🥇 लॉजिस्टिक रीग्रेशन चावणे

या लेखात, आम्ही परिवर्तनाच्या सैद्धांतिक गणनांचे विश्लेषण करू रेखीय प्रतिगमन कार्ये в इनव्हर्स लॉगिट ट्रान्सफॉर्मेशन फंक्शन (अन्यथा लॉजिस्टिक रिस्पॉन्स फंक्शन म्हणतात). मग, शस्त्रागार वापरून जास्तीत जास्त शक्यता पद्धत, लॉजिस्टिक रीग्रेशन मॉडेलच्या अनुषंगाने, आम्ही नुकसान कार्य प्राप्त करतो लॉजिस्टिक नुकसान, किंवा दुसऱ्या शब्दांत, आम्ही एक फंक्शन परिभाषित करू ज्यासह लॉजिस्टिक रीग्रेशन मॉडेलमध्ये वजन वेक्टरचे पॅरामीटर्स निवडले जातात. .

लेखाची रूपरेषा:

दोन व्हेरिएबल्समधील रेषीय संबंधांची पुनरावृत्ती करूया
परिवर्तनाची गरज ओळखू या रेखीय प्रतिगमन कार्ये в लॉजिस्टिक प्रतिसाद कार्य
चला परिवर्तने आणि आउटपुट पार पाडू लॉजिस्टिक प्रतिसाद कार्य
पॅरामीटर्स निवडताना किमान स्क्वेअर पद्धत का खराब आहे हे समजून घेण्याचा प्रयत्न करूया कार्ये लॉजिस्टिक नुकसान
आम्ही वापरतो जास्तीत जास्त शक्यता पद्धत निश्चित करणे पॅरामीटर निवड कार्ये :
५.१. केस 5.1: कार्य लॉजिस्टिक नुकसान वर्ग पदनामांसह वस्तूंसाठी 0 и 1:

५.१. केस 5.2: कार्य लॉजिस्टिक नुकसान वर्ग पदनामांसह वस्तूंसाठी -1 и +1:

लेख सोप्या उदाहरणांनी परिपूर्ण आहे ज्यामध्ये सर्व गणना तोंडी किंवा कागदावर करणे सोपे आहे; काही प्रकरणांमध्ये, कॅल्क्युलेटरची आवश्यकता असू शकते. तर तयार व्हा :)

हा लेख प्रामुख्याने मशिन लर्निंगच्या मूलभूत गोष्टींमधील प्रारंभिक स्तरावरील ज्ञान असलेल्या डेटा वैज्ञानिकांसाठी आहे.

लेख रेखाचित्र आणि गणनेसाठी कोड देखील प्रदान करेल. सर्व कोड भाषेत लिहिलेले आहे अजगर 2.7. वापरलेल्या आवृत्तीच्या "नॉव्हेल्टी" बद्दल मला आगाऊ समजावून सांगा - हे सुप्रसिद्ध कोर्स घेण्याच्या अटींपैकी एक आहे यांडेक्स तितक्याच प्रसिद्ध ऑनलाइन शिक्षण प्लॅटफॉर्मवर Coursera, आणि, एखाद्याने गृहीत धरल्याप्रमाणे, सामग्री या अभ्यासक्रमावर आधारित तयार केली गेली होती.

01. सरळ रेषेचे अवलंबन

प्रश्न विचारणे अगदी वाजवी आहे - रेखीय अवलंबन आणि लॉजिस्टिक प्रतिगमन यांचा त्याच्याशी काय संबंध आहे?

हे सोपं आहे! लॉजिस्टिक रीग्रेशन हे रेखीय वर्गीकरणाशी संबंधित मॉडेलपैकी एक आहे. सोप्या शब्दात, रेखीय वर्गीकरणाचे कार्य लक्ष्य मूल्यांचा अंदाज लावणे आहे व्हेरिएबल्समधून (रिग्रेसर्स) . असे मानले जाते की वैशिष्ट्यांमधील अवलंबित्व आणि लक्ष्य मूल्ये रेखीय म्हणून क्लासिफायरचे नाव - रेखीय. अगदी ढोबळपणे सांगायचे तर, लॉजिस्टिक रीग्रेशन मॉडेल वैशिष्ट्यांमध्ये एक रेषीय संबंध आहे या गृहितकावर आधारित आहे. आणि लक्ष्य मूल्ये . हे कनेक्शन आहे.

स्टुडिओमध्‍ये पहिले उदाहरण आहे, आणि ते बरोबर आहे, अभ्यास करण्‍याच्‍या परिमाणांच्‍या रेक्टलाइनियर अवलंबनाबद्दल. लेख तयार करण्याच्या प्रक्रियेत, मला एक उदाहरण समोर आले ज्याने आधीच बर्याच लोकांना काठावर ठेवले आहे - व्होल्टेजवर करंटचे अवलंबन ("अप्लाईड रीग्रेशन अॅनालिसिस", एन. ड्रेपर, जी. स्मिथ). आपण ते इथेही बघू.

च्या अनुषंगाने ओमचा नियम:

कुठे - वर्तमान शक्ती, - विद्युतदाब, - प्रतिकार.

जर आम्हाला माहित नव्हते ओमचा कायदा, नंतर आम्ही बदल करून अवलंबित्व शोधू शकतो आणि मोजमाप समर्थन करताना निश्चित मग आपण तो अवलंबित्व आलेख पाहू पासून उत्पत्तीद्वारे अधिक किंवा कमी सरळ रेषा देते. आम्ही "अधिक किंवा कमी" म्हणतो कारण, जरी संबंध प्रत्यक्षात अचूक असला तरी, आमच्या मोजमापांमध्ये लहान त्रुटी असू शकतात आणि म्हणूनच आलेखावरील बिंदू रेषेवर अचूकपणे येत नाहीत, परंतु यादृच्छिकपणे त्याच्याभोवती विखुरले जातील.

आलेख 1 "अवलंबन" पासून »

चार्ट ड्रॉइंग कोड

import matplotlib.pyplot as plt
%matplotlib inline

import numpy as np

import random

R = 13.75

x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
    y_line.append(i/R)
    
y_dot = []
for i in y_line:
    y_dot.append(i+random.uniform(-0.9,0.9))


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Actual results')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

02. रेखीय प्रतिगमन समीकरण बदलण्याची गरज

आणखी एक उदाहरण पाहू. चला कल्पना करूया की आम्ही बँकेत काम करतो आणि आमचे कार्य काही घटकांवर अवलंबून कर्जदाराने कर्जाची परतफेड करण्याची शक्यता निश्चित करणे आहे. कार्य सुलभ करण्यासाठी, आम्ही फक्त दोन घटकांचा विचार करू: कर्जदाराचा मासिक पगार आणि मासिक कर्ज परतफेडीची रक्कम.

कार्य अतिशय सशर्त आहे, परंतु या उदाहरणासह आपण ते वापरण्यासाठी पुरेसे का नाही हे समजू शकतो रेखीय प्रतिगमन कार्ये, आणि फंक्शनसह कोणते परिवर्तन करणे आवश्यक आहे ते देखील शोधा.

चला उदाहरणाकडे परत जाऊया. हे समजले जाते की पगार जितका जास्त असेल तितका कर्जदार कर्जाची परतफेड करण्यासाठी मासिक वाटप करण्यास सक्षम असेल. त्याच वेळी, एका विशिष्ट पगाराच्या श्रेणीसाठी हे नाते अगदी रेखीय असेल. उदाहरणार्थ, 60.000 RUR ते 200.000 RUR पर्यंतची पगार श्रेणी घेऊ आणि असे गृहीत धरू की निर्दिष्ट वेतन श्रेणीमध्ये, पगाराच्या आकारावर मासिक पेमेंटच्या आकाराचे अवलंबन रेषीय आहे. मानूया की वेतनाच्या निर्दिष्ट श्रेणीसाठी हे उघड झाले आहे की पगार-ते-देय गुणोत्तर 3 च्या खाली येऊ शकत नाही आणि कर्जदाराकडे अद्याप 5.000 RUR राखीव असणे आवश्यक आहे. आणि केवळ या प्रकरणात, आम्ही असे गृहीत धरू की कर्जदार बँकेला कर्जाची परतफेड करेल. नंतर, रेखीय प्रतिगमन समीकरण फॉर्म घेईल:

जेथे , , , - पगार -वा कर्जदार, - कर्ज भरणे -वा कर्जदार.

समीकरणामध्ये निश्चित पॅरामीटर्ससह पगार आणि कर्ज भरणे बदलणे कर्ज जारी करायचे की नाकारायचे हे तुम्ही ठरवू शकता.

पुढे पाहताना, आम्ही लक्षात घेतो की, दिलेल्या पॅरामीटर्ससह रेखीय प्रतिगमन कार्य, मध्ये वापरले लॉजिस्टिक प्रतिसाद कार्ये मोठ्या मूल्यांची निर्मिती करेल ज्यामुळे कर्ज परतफेडीची संभाव्यता निश्चित करण्यासाठी गणना गुंतागुंतीची होईल. म्हणून, आमचे गुणांक 25.000 पट कमी करण्याचा प्रस्ताव आहे. गुणांकातील हे परिवर्तन कर्ज जारी करण्याच्या निर्णयात बदल करणार नाही. भविष्यासाठी हा मुद्दा लक्षात ठेवूया, परंतु आता, आपण कशाबद्दल बोलत आहोत हे आणखी स्पष्ट करण्यासाठी, तीन संभाव्य कर्जदारांच्या परिस्थितीचा विचार करूया.

तक्ता 1 "संभाव्य कर्जदार"

टेबल तयार करण्यासाठी कोड

import pandas as pd

r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r

data = {'The borrower':np.array(['Vasya', 'Fedya', 'Lesha']), 
        'Salary':np.array([120000,180000,210000]),
       'Payment':np.array([3000,50000,70000])}

df = pd.DataFrame(data)

df['f(w,x)'] = w_0 + df['Salary']*w_1 + df['Payment']*w_2

decision = []
for i in df['f(w,x)']:
    if i > 0:
        dec = 'Approved'
        decision.append(dec)
    else:
        dec = 'Refusal'
        decision.append(dec)
        
df['Decision'] = decision

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision']]

टेबलमधील डेटानुसार, वास्या, 120.000 RUR पगारासह, कर्ज मिळवू इच्छित आहे जेणेकरून तो मासिक 3.000 RUR वर परतफेड करू शकेल. आम्ही ठरवले की कर्ज मंजूर करण्यासाठी, वास्याचा पगार देय रकमेच्या तिप्पट असणे आवश्यक आहे आणि तरीही 5.000 RUR शिल्लक असणे आवश्यक आहे. वास्या ही आवश्यकता पूर्ण करतात: . अगदी 106.000 RUR शिल्लक आहे. तथ्य असूनही गणना करताना आम्ही शक्यता कमी केली आहे 25.000 वेळा, परिणाम समान होता - कर्ज मंजूर केले जाऊ शकते. फेडियाला देखील कर्ज मिळेल, परंतु लेशाला, त्याला सर्वात जास्त मिळत असूनही, त्याची भूक कमी करावी लागेल.

या केससाठी आलेख काढू.

चार्ट 2 "कर्जदारांचे वर्गीकरण"

आलेख काढण्यासाठी कोड

salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'], 
         'o', color ='green', markersize = 12, label = 'Decision - Loan approved')
plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'], 
         's', color = 'red', markersize = 12, label = 'Decision - Loan refusal')
plt.xlabel('Salary', size = 16)
plt.ylabel('Payment', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

तर, आमची सरळ रेषा, फंक्शननुसार तयार केली आहे , "वाईट" कर्जदारांना "चांगल्या" पासून वेगळे करते. ज्या कर्जदारांच्या इच्छा त्यांच्या क्षमतांशी जुळत नाहीत ते रेषेच्या वर आहेत (लेशा), तर जे आमच्या मॉडेलच्या पॅरामीटर्सनुसार कर्जाची परतफेड करण्यास सक्षम आहेत ते ओळीच्या खाली आहेत (वास्या आणि फेड्या). दुसऱ्या शब्दांत, आपण असे म्हणू शकतो: आमची थेट रेषा कर्जदारांना दोन वर्गांमध्ये विभाजित करते. आपण त्यांना खालीलप्रमाणे दर्शवू: वर्गात आम्ही अशा कर्जदारांचे वर्गीकरण करू जे कर्जाची परतफेड करण्याची शक्यता आहे किंवा आम्ही अशा कर्जदारांचा समावेश करू जे बहुधा कर्जाची परतफेड करू शकणार नाहीत.

या साध्या उदाहरणावरून निष्कर्ष काढूया. चला एक मुद्दा घेऊ आणि, बिंदूचे निर्देशांक रेषेच्या संबंधित समीकरणात बदलणे , तीन पर्यायांचा विचार करा:

जर बिंदू रेषेखाली असेल आणि आम्ही तो वर्गाला नियुक्त करतो , नंतर फंक्शनचे मूल्य पासून सकारात्मक असेल ते . याचा अर्थ आपण असे गृहीत धरू शकतो की कर्जाची परतफेड करण्याची संभाव्यता आत आहे . फंक्शनचे मूल्य जितके मोठे असेल तितकी संभाव्यता जास्त.
जर एखादा बिंदू एका रेषेच्या वर असेल आणि आम्ही तो वर्गाला नियुक्त करतो किंवा , नंतर फंक्शनचे मूल्य वरून ऋण असेल ते . मग आपण असे गृहीत धरू की कर्ज परतफेडीची संभाव्यता आत आहे आणि, फंक्शनचे निरपेक्ष मूल्य जितके जास्त असेल तितका आपला आत्मविश्वास जास्त असेल.
बिंदू सरळ रेषेवर आहे, दोन वर्गांमधील सीमेवर आहे. या प्रकरणात, फंक्शनचे मूल्य समान असेल आणि कर्जाची परतफेड करण्याची संभाव्यता समान आहे .

आता कल्पना करूया की आपल्याकडे दोन नाही तर डझनभर, आणि तीन नाही तर हजारो कर्जदार आहेत. मग सरळ रेषेऐवजी आपल्याकडे असेल m-मितीय विमान आणि गुणांक आम्हाला पातळ हवेतून बाहेर काढले जाणार नाही, परंतु सर्व नियमांनुसार आणि ज्या कर्जदारांनी कर्जाची परतफेड केली आहे किंवा न केलेली आहे त्यांच्या संचित डेटाच्या आधारे व्युत्पन्न केले जाईल. आणि खरंच, लक्षात घ्या की आम्ही आता आधीच ज्ञात गुणांक वापरून कर्जदार निवडत आहोत . खरं तर, लॉजिस्टिक रीग्रेशन मॉडेलचे कार्य अचूकपणे पॅरामीटर्स निश्चित करणे आहे , ज्यावर नुकसान कार्याचे मूल्य लॉजिस्टिक नुकसान किमान कल असेल. परंतु वेक्टरची गणना कशी केली जाते याबद्दल , आम्ही लेखाच्या 5 व्या विभागात अधिक शोधू. यादरम्यान, आम्ही वचन दिलेल्या जमिनीकडे परत आलो - आमच्या बँकर आणि त्याच्या तीन ग्राहकांना.

कार्याबद्दल धन्यवाद आम्हाला माहित आहे की कोणाला कर्ज दिले जाऊ शकते आणि कोणाला नकार देणे आवश्यक आहे. परंतु आपण अशा माहितीसह दिग्दर्शकाकडे जाऊ शकत नाही, कारण त्यांना प्रत्येक कर्जदाराद्वारे कर्जाची परतफेड करण्याची संभाव्यता आमच्याकडून मिळवायची होती. काय करायचं? उत्तर सोपे आहे - आम्हाला कसे तरी फंक्शन बदलणे आवश्यक आहे , ज्याची मूल्ये श्रेणीमध्ये आहेत फंक्शनला ज्याची मूल्ये श्रेणीमध्ये असतील . आणि असे कार्य अस्तित्वात आहे, त्याला म्हणतात लॉजिस्टिक रिस्पॉन्स फंक्शन किंवा इनव्हर्स-लॉगिट ट्रान्सफॉर्मेशन. भेटा:

ते कसे कार्य करते ते चरण-दर-चरण पाहू लॉजिस्टिक प्रतिसाद कार्य. लक्षात घ्या की आम्ही उलट दिशेने चालत जाऊ, म्हणजे. आम्ही असे गृहीत धरू की आम्हाला संभाव्यता मूल्य माहित आहे, जे पासून श्रेणीमध्ये आहे ते आणि मग आपण या मूल्यापासून संख्यांच्या संपूर्ण श्रेणीत "अनवाइंड" करू ते .

03. आम्ही लॉजिस्टिक रिस्पॉन्स फंक्शन मिळवतो

पायरी 1. संभाव्यता मूल्यांना श्रेणीमध्ये रूपांतरित करा

फंक्शनच्या परिवर्तनादरम्यान в लॉजिस्टिक प्रतिसाद कार्य आम्ही आमच्या क्रेडिट विश्लेषकाला एकटे सोडू आणि त्याऐवजी सट्टेबाजांना भेट देऊ. नाही, नक्कीच, आम्ही बेट लावणार नाही, आम्हाला स्वारस्य असलेले सर्व अभिव्यक्तीचा अर्थ आहे, उदाहरणार्थ, संधी 4 ते 1 आहे. शक्यता, सर्व सट्टेबाजांना परिचित, "यश" आणि "यश" चे गुणोत्तर आहे. अपयश" संभाव्यतेच्या दृष्टीने, शक्यता म्हणजे घटना घडण्याची संभाव्यता भागून घटना न घडण्याच्या संभाव्यतेने. घटना घडण्याच्या संधीचे सूत्र लिहू :

कुठे - घटना घडण्याची शक्यता, - घटना न घडण्याची शक्यता

उदाहरणार्थ, “व्हेटेरोक” टोपणनाव असलेला तरुण, बलवान आणि खेळकर घोडा शर्यतीत “माटिल्डा” नावाच्या म्हाताऱ्या आणि चपळ वृद्ध महिलेला पराभूत करेल अशी शक्यता असेल तर , नंतर “Veterok” च्या यशाची शक्यता असेल к आणि त्याउलट, शक्यता जाणून घेतल्यास, संभाव्यतेची गणना करणे आपल्यासाठी कठीण होणार नाही :

अशाप्रकारे, आम्ही संभाव्यतेचे शक्यतांमध्ये "अनुवाद" करायला शिकलो, ज्यातून मूल्ये घेतली जातात ते . चला आणखी एक पाऊल टाकू आणि संभाव्यतेचे संपूर्ण संख्यारेषेचे "अनुवाद" करायला शिकू ते .

पायरी 2. संभाव्यता मूल्यांना श्रेणीमध्ये रूपांतरित करा

ही पायरी अगदी सोपी आहे - युलरच्या संख्येच्या बेसवर विषमतेचा लॉगरिदम घेऊ. आणि आम्हाला मिळते:

आता आम्हाला माहित आहे की जर , नंतर मूल्य मोजा खूप सोपे असेल आणि, शिवाय, ते सकारात्मक असावे: . हे खरं आहे.

उत्सुकतेपोटी, चला तर तपासूया , नंतर आम्ही नकारात्मक मूल्य पाहण्याची अपेक्षा करतो . आम्ही तपासतो: . ते बरोबर आहे.

आता आपल्याला माहित आहे की संभाव्यता मूल्य मधून कसे रूपांतरित करायचे ते पासून संपूर्ण संख्या रेषेसह ते . पुढील चरणात आम्ही उलट करू.

आत्तासाठी, आम्ही लक्षात घेतो की लॉगरिदमच्या नियमांनुसार, फंक्शनचे मूल्य जाणून , तुम्ही शक्यतांची गणना करू शकता:

विषमता ठरवण्याची ही पद्धत आम्हाला पुढील चरणात उपयुक्त ठरेल.

पायरी 3. निर्धारित करण्यासाठी एक सूत्र काढू

म्हणून आम्ही शिकलो, जाणून घेतले , फंक्शन व्हॅल्यूज शोधा . तथापि, खरं तर, आपल्याला अगदी उलट गरज आहे - मूल्य जाणून घेणे शोधणे . हे करण्यासाठी, इनव्हर्स ऑड्स फंक्शन सारख्या संकल्पनेकडे वळू या, त्यानुसार:

लेखात आपण वरील सूत्र काढणार नाही, परंतु वरील उदाहरणातील संख्या वापरून तपासू. आम्हाला माहित आहे की 4 ते 1 च्या विषमतेसह (), घटना घडण्याची संभाव्यता 0.8 आहे (). चला एक प्रतिस्थापन करूया: . हे आधी केलेल्या आमच्या गणनेशी एकरूप आहे. चला पुढे जाऊया.

शेवटच्या टप्प्यात आम्ही ते काढले , याचा अर्थ तुम्ही व्यस्त विषमता फंक्शनमध्ये बदलू शकता. आम्हाला मिळते:

अंश आणि भाजक या दोघांना भागाकार करा , नंतर:

फक्त बाबतीत, आम्ही कुठेही चूक केली नाही याची खात्री करण्यासाठी, आम्ही आणखी एक लहान तपासणी करू. चरण 2 मध्ये, आम्ही साठी असे ठरवले . नंतर, मूल्य बदलणे लॉजिस्टिक रिस्पॉन्स फंक्शनमध्ये, आम्हाला मिळण्याची अपेक्षा आहे . आम्ही बदलतो आणि मिळवतो:

अभिनंदन, प्रिय वाचक, आम्ही नुकतेच लॉजिस्टिक रिस्पॉन्स फंक्शन मिळवले आणि तपासले. फंक्शनचा आलेख पाहू.

आलेख 3 "लॉजिस्टिक प्रतिसाद कार्य"

आलेख काढण्यासाठी कोड

import math

def logit (f):
    return 1/(1+math.exp(-f))

f = np.arange(-7,7,0.05)
p = []

for i in f:
    p.append(logit(i))

fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

साहित्यात आपण या कार्याचे नाव देखील शोधू शकता सिग्मॉइड फंक्शन. आलेख स्पष्टपणे दर्शवितो की वर्गाशी संबंधित ऑब्जेक्टच्या संभाव्यतेतील मुख्य बदल तुलनेने लहान मर्यादेत होतो , कुठूनतरी ते .

मी आमच्या क्रेडिट विश्लेषकाकडे परत जाण्याचा आणि कर्ज परतफेडीच्या संभाव्यतेची गणना करण्यात मदत करण्याचा सल्ला देतो, अन्यथा तो बोनसशिवाय राहण्याचा धोका असतो :)

तक्ता 2 "संभाव्य कर्जदार"

टेबल तयार करण्यासाठी कोड

proba = []
for i in df['f(w,x)']:
    proba.append(round(logit(i),2))
    
df['Probability'] = proba

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision', 'Probability']]

म्हणून, आम्ही कर्ज परतफेडीची संभाव्यता निश्चित केली आहे. सर्वसाधारणपणे, हे खरे असल्याचे दिसते.

खरंच, वास्या, 120.000 RUR पगारासह, दरमहा बँकेला 3.000 RUR देण्यास सक्षम असण्याची शक्यता 100% च्या जवळपास आहे. तसे, आम्हाला हे समजले पाहिजे की जर बँकेचे धोरण प्रदान करते, उदाहरणार्थ, 0.3 पेक्षा जास्त कर्ज परतफेड होण्याची शक्यता असलेल्या ग्राहकांना कर्ज देण्यासाठी बँक लेशाला कर्ज देऊ शकते. हे इतकेच आहे की या प्रकरणात बँक संभाव्य तोट्यासाठी एक मोठा राखीव तयार करेल.

हे देखील लक्षात घेतले पाहिजे की पगार-ते-देय गुणोत्तर किमान 3 आणि 5.000 RUR च्या फरकाने कमाल मर्यादेपासून घेतले गेले. म्हणून, आम्ही वजनाचा सदिश त्याच्या मूळ स्वरूपात वापरू शकत नाही . आम्हाला गुणांक मोठ्या प्रमाणात कमी करणे आवश्यक होते आणि या प्रकरणात आम्ही प्रत्येक गुणांक 25.000 ने विभाजित केला, म्हणजेच, आम्ही निकाल समायोजित केला. परंतु हे विशेषतः प्रारंभिक टप्प्यावर सामग्रीचे आकलन सुलभ करण्यासाठी केले गेले. जीवनात, आम्हाला गुणांक शोधण्याची आणि समायोजित करण्याची आवश्यकता नाही, परंतु ते शोधा. लेखाच्या पुढील भागांमध्ये आपण पॅरामीटर्स निवडलेली समीकरणे मिळवू .

04. वजनाचा सदिश ठरवण्यासाठी किमान चौरस पद्धत लॉजिस्टिक प्रतिसाद कार्यामध्ये

वजनाचा वेक्टर निवडण्याची ही पद्धत आपल्याला आधीच माहित आहे , म्हणून किमान चौरस पद्धत (LSM) आणि खरं तर, बायनरी वर्गीकरण समस्यांमध्ये आपण ते का वापरत नाही? खरंच, काहीही तुम्हाला वापरण्यापासून प्रतिबंधित करत नाही MNC, वर्गीकरण समस्यांमध्ये फक्त ही पद्धत परिणाम देते जे पेक्षा कमी अचूक आहेत लॉजिस्टिक नुकसान. यासाठी एक सैद्धांतिक आधार आहे. प्रथम एक साधे उदाहरण पाहू.

चला असे गृहीत धरू की आमचे मॉडेल (वापरून एमएसई и लॉजिस्टिक नुकसान) आधीच वजनाचा वेक्टर निवडणे सुरू केले आहे आणि आम्ही काही टप्प्यावर गणना थांबवली. मध्यभागी, शेवटी किंवा सुरुवातीला काही फरक पडत नाही, मुख्य गोष्ट अशी आहे की आपल्याकडे वजनाच्या सदिशाची काही मूल्ये आधीच आहेत आणि या टप्प्यावर, वजनाचा सदिश असे गृहीत धरू. दोन्ही मॉडेल्ससाठी कोणतेही फरक नाहीत. नंतर परिणामी वजन घ्या आणि त्यांना बदला लॉजिस्टिक प्रतिसाद कार्य () वर्गाशी संबंधित असलेल्या काही ऑब्जेक्टसाठी . आम्ही दोन प्रकरणे तपासतो जेव्हा, निवडलेल्या वजनाच्या वेक्टरनुसार, आमचे मॉडेल खूप चुकीचे असते आणि त्याउलट - मॉडेलला खात्री असते की ऑब्जेक्ट वर्गाशी संबंधित आहे. . वापरताना काय दंड आकारला जाईल ते पाहूया MNC и लॉजिस्टिक नुकसान.

वापरलेल्या नुकसान कार्यावर अवलंबून दंड मोजण्यासाठी कोड

# класс объекта
y = 1
# вероятность отнесения объекта к классу в соответствии с параметрами w
proba_1 = 0.01

MSE_1 = (y - proba_1)**2
print 'Штраф MSE при грубой ошибке =', MSE_1

# напишем функцию для вычисления f(w,x) при известной вероятности отнесения объекта к классу +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
    return math.log(proba/(1-proba)) 

LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'Штраф Log Loss при грубой ошибке =', LogLoss_1

proba_2 = 0.99

MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))

print '**************************************************************'
print 'Штраф MSE при сильной уверенности =', MSE_2
print 'Штраф Log Loss при сильной уверенности =', LogLoss_2

एक घोडचूक प्रकरण - मॉडेल क्लासला ऑब्जेक्ट नियुक्त करते 0,01 च्या संभाव्यतेसह

वापरावर दंड MNC असेल:

वापरावर दंड लॉजिस्टिक नुकसान असेल:

मजबूत आत्मविश्वासाची केस - मॉडेल क्लासला ऑब्जेक्ट नियुक्त करते 0,99 च्या संभाव्यतेसह

वापरावर दंड MNC असेल:

वापरावर दंड लॉजिस्टिक नुकसान असेल:

हे उदाहरण चांगले स्पष्ट करते की स्थूल त्रुटीच्या बाबतीत नुकसान कार्य लॉग लॉस पेक्षा लक्षणीय मॉडेलला दंड करते एमएसई. लॉस फंक्शन वापरण्याची सैद्धांतिक पार्श्वभूमी काय आहे ते आता समजून घेऊ लॉग लॉस वर्गीकरण समस्या मध्ये.

05. कमाल शक्यता पद्धत आणि लॉजिस्टिक रिग्रेशन

सुरुवातीला वचन दिल्याप्रमाणे, लेख साध्या उदाहरणांनी परिपूर्ण आहे. स्टुडिओमध्ये आणखी एक उदाहरण आणि जुने पाहुणे आहेत - बँक कर्जदार: वास्या, फेड्या आणि लेशा.

फक्त जर, उदाहरण विकसित करण्यापूर्वी, मी तुम्हाला आठवण करून देतो की जीवनात आम्ही दहा किंवा शेकडो वैशिष्ट्यांसह हजारो किंवा लाखो वस्तूंच्या प्रशिक्षण नमुन्याशी व्यवहार करतो. तथापि, येथे क्रमांक घेतले आहेत जेणेकरून ते नवशिक्या डेटा शास्त्रज्ञाच्या डोक्यात सहज बसतील.

चला उदाहरणाकडे परत जाऊया. कल्पना करूया की अल्गोरिदमने लेशाला कर्ज देऊ नये असे सांगितले असूनही बँकेच्या संचालकाने गरजू प्रत्येकाला कर्ज देण्याचा निर्णय घेतला. आणि आता पुरेसा वेळ निघून गेला आहे आणि आम्हाला माहित आहे की तीन नायकांपैकी कोणते कर्ज फेडले आणि कोणते नाही. काय अपेक्षित होते: वास्या आणि फेड्याने कर्जाची परतफेड केली, परंतु लेशाने केले नाही. आता कल्पना करूया की हा परिणाम आपल्यासाठी एक नवीन प्रशिक्षण नमुना असेल आणि त्याच वेळी, कर्जाची परतफेड करण्याच्या संभाव्यतेवर परिणाम करणाऱ्या घटकांवरील सर्व डेटा (कर्जदाराचा पगार, मासिक पेमेंटचा आकार) गायब झाला आहे. मग, अंतर्ज्ञानाने, आपण असे गृहीत धरू शकतो की प्रत्येक तिसरा कर्जदार बँकेला कर्जाची परतफेड करत नाही किंवा दुसऱ्या शब्दांत, पुढील कर्जदाराने कर्जाची परतफेड करण्याची संभाव्यता. . या अंतर्ज्ञानी गृहीतकाला सैद्धांतिक पुष्टी आहे आणि त्यावर आधारित आहे जास्तीत जास्त शक्यता पद्धत, अनेकदा साहित्यात असे म्हटले जाते जास्तीत जास्त संभाव्यतेचे तत्व.

प्रथम, संकल्पनात्मक उपकरणाशी परिचित होऊ या.

नमुना घेण्याची शक्यता नेमका असा नमुना मिळवण्याची संभाव्यता, नेमकी अशी निरीक्षणे/परिणाम मिळवणे, म्हणजे. प्रत्येक नमुना निकाल मिळविण्याच्या संभाव्यतेचे उत्पादन (उदाहरणार्थ, वस्या, फेड्या आणि लेशाचे कर्ज एकाच वेळी फेडले गेले की नाही).

संभाव्य कार्य वितरण पॅरामीटर्सच्या मूल्यांशी नमुन्याच्या संभाव्यतेशी संबंधित आहे.

आमच्या बाबतीत, प्रशिक्षण नमुना एक सामान्यीकृत बर्नौली योजना आहे, ज्यामध्ये यादृच्छिक चल फक्त दोन मूल्ये घेते: किंवा . म्हणून, नमुना संभाव्यता पॅरामीटरचे संभाव्य कार्य म्हणून लिहिली जाऊ शकते खालीलप्रमाणे:

वरील नोंदीचा पुढीलप्रमाणे अर्थ लावता येईल. Vasya आणि Fedya कर्जाची परतफेड करतील अशी संयुक्त संभाव्यता समान आहे , लेशा कर्जाची परतफेड करणार नाही याची संभाव्यता समान आहे (कारण ती कर्जाची परतफेड झाली नव्हती), म्हणून तिन्ही घटनांची संयुक्त संभाव्यता समान आहे .

जास्तीत जास्त शक्यता पद्धत कमाल करून अज्ञात पॅरामीटरचा अंदाज लावण्याची पद्धत आहे संभाव्य कार्ये. आमच्या बाबतीत, आम्हाला असे मूल्य शोधण्याची आवश्यकता आहे , ज्यावर कमाल पोहोचते.

वास्तविक कल्पना कोठून येते - अज्ञात पॅरामीटरचे मूल्य शोधण्यासाठी ज्यावर संभाव्य कार्य कमाल पोहोचते? कल्पनेची उत्पत्ती या कल्पनेतून झाली आहे की लोकसंख्येबद्दल आम्हाला उपलब्ध ज्ञानाचा एकमेव स्त्रोत नमुना आहे. आम्हाला लोकसंख्येबद्दल माहित असलेली प्रत्येक गोष्ट नमुन्यात दर्शविली आहे. म्हणून, आम्ही एवढेच म्हणू शकतो की नमुना हा आमच्यासाठी उपलब्ध असलेल्या लोकसंख्येचे सर्वात अचूक प्रतिबिंब आहे. म्हणून, आम्हाला एक पॅरामीटर शोधण्याची आवश्यकता आहे ज्यावर उपलब्ध नमुना सर्वात संभाव्य होईल.

अर्थात, आम्ही ऑप्टिमायझेशन समस्येचा सामना करत आहोत ज्यामध्ये आम्हाला फंक्शनचा टोकाचा बिंदू शोधणे आवश्यक आहे. एक्स्ट्रीमम पॉइंट शोधण्यासाठी, प्रथम-क्रम स्थितीचा विचार करणे आवश्यक आहे, म्हणजे, फंक्शनचे व्युत्पन्न शून्यावर करा आणि इच्छित पॅरामीटरच्या संदर्भात समीकरण सोडवा. तथापि, मोठ्या संख्येने घटकांच्या उत्पादनाचे व्युत्पन्न शोधणे हे एक लांब काम असू शकते; हे टाळण्यासाठी, एक विशेष तंत्र आहे - लॉगरिथमवर स्विच करणे संभाव्य कार्ये. असे संक्रमण का शक्य आहे? आपण फंक्शनचाच टोक शोधत नाही आहोत याकडे लक्ष देऊया, आणि टोकाचा बिंदू, म्हणजे, अज्ञात पॅरामीटरचे मूल्य , ज्यावर कमाल पोहोचते. लॉगरिदमकडे जाताना, एक्सट्रीमम पॉइंट बदलत नाही (जरी एक्स्ट्रीमम स्वतःच भिन्न असेल), कारण लॉगरिदम एक मोनोटोनिक फंक्शन आहे.

चला, वरील अनुषंगाने, वास्या, फेड्या आणि लेशा यांच्या कर्जासह आमचे उदाहरण विकसित करणे सुरू ठेवूया. प्रथम आपण पुढे जाऊया संभाव्य कार्याचे लॉगरिदम:

आता आपण सहजपणे अभिव्यक्ती वेगळे करू शकतो :

आणि शेवटी, फर्स्ट-ऑर्डरची स्थिती विचारात घ्या - आम्ही फंक्शनचे व्युत्पन्न शून्याशी समतुल्य करतो:

अशा प्रकारे, कर्जाच्या परतफेडीच्या संभाव्यतेचा आमचा अंतर्ज्ञानी अंदाज सैद्धांतिकदृष्ट्या न्याय्य होते.

छान, पण आता या माहितीचे काय करायचे? जर आपण असे गृहीत धरले की प्रत्येक तिसरा कर्जदार बँकेत पैसे परत करत नाही, तर नंतरचे अपरिहार्यपणे दिवाळखोर होईल. ते बरोबर आहे, परंतु कर्जाच्या परतफेडीच्या समानतेच्या संभाव्यतेचे मूल्यांकन करतानाच आम्ही कर्जाच्या परतफेडीवर परिणाम करणारे घटक विचारात घेतले नाहीत: कर्जदाराचा पगार आणि मासिक पेमेंटचा आकार. आपण हे लक्षात ठेवूया की आम्ही प्रत्येक क्लायंटद्वारे कर्जाची परतफेड करण्याच्या संभाव्यतेची गणना केली आहे, हे समान घटक लक्षात घेऊन. हे तार्किक आहे की आम्हाला स्थिर समानतेपेक्षा भिन्न संभाव्यता प्राप्त झाली आहे .

चला नमुन्यांची शक्यता परिभाषित करूया:

नमुना संभाव्यतेची गणना करण्यासाठी कोड

from functools import reduce

def likelihood(y,p):
    line_true_proba = []
    for i in range(len(y)):
        ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
        line_true_proba.append(ltp_i)
    likelihood = []
    return reduce(lambda a, b: a*b, line_true_proba)
        
    
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]


print 'Правдоподобие выборки при константном значении p=2/3:', round(likelihood(y,p_const),3)

print '****************************************************************************************************'

print 'Правдоподобие выборки при расчетном значении p:', round(likelihood(y,p_log_response),3)

स्थिर मूल्यावर नमुना संभाव्यता :

कर्जाच्या परतफेडीच्या संभाव्यतेची गणना करताना घटकांचा विचार करून संभाव्यतेचा नमुना :

घटकांच्या आधारावर गणना केलेल्या संभाव्यतेसह नमुन्याची शक्यता स्थिर संभाव्यता मूल्यासह संभाव्यतेपेक्षा जास्त असल्याचे दिसून आले. याचा अर्थ काय? हे सूचित करते की घटकांबद्दलच्या ज्ञानामुळे प्रत्येक क्लायंटसाठी कर्ज परतफेडीची संभाव्यता अधिक अचूकपणे निवडणे शक्य झाले. म्हणून, पुढील कर्ज देताना, कर्ज परतफेडीच्या संभाव्यतेचे मूल्यांकन करण्यासाठी लेखाच्या कलम 3 च्या शेवटी प्रस्तावित मॉडेल वापरणे अधिक योग्य असेल.

पण नंतर, जर आपल्याला जास्तीत जास्त वाढवायचे असेल तर नमुना संभाव्य कार्य, मग काही अल्गोरिदम का वापरू नये जे वस्या, फेड्या आणि लेशा साठी संभाव्यता निर्माण करेल, उदाहरणार्थ, अनुक्रमे ०.९९, ०.९९ आणि ०.०१. कदाचित असे अल्गोरिदम प्रशिक्षण नमुन्यावर चांगले कार्य करेल, कारण ते नमुना संभाव्य मूल्याच्या जवळ आणेल , परंतु, प्रथम, अशा अल्गोरिदममध्ये बहुधा सामान्यीकरण क्षमतेसह अडचणी असतील आणि दुसरे म्हणजे, हे अल्गोरिदम निश्चितपणे रेखीय नसेल. आणि जर ओव्हरट्रेनिंगचा सामना करण्याच्या पद्धती (समान कमकुवत सामान्यीकरण क्षमता) या लेखाच्या योजनेत स्पष्टपणे समाविष्ट केल्या नाहीत, तर आपण दुसऱ्या मुद्द्याकडे अधिक तपशीलवार जाऊ या. हे करण्यासाठी, फक्त एका साध्या प्रश्नाचे उत्तर द्या. आम्हाला ज्ञात असलेले घटक विचारात घेऊन वास्या आणि फेड्याची कर्जाची परतफेड करण्याची संभाव्यता समान असू शकते का? ध्वनी तर्कशास्त्राच्या दृष्टिकोनातून, अर्थातच नाही, ते करू शकत नाही. म्हणून वास्या कर्जाची परतफेड करण्यासाठी दरमहा त्याच्या पगाराच्या 2.5% आणि फेड्या - जवळजवळ 27,8% देईल. तसेच आलेख 2 “क्लायंट वर्गीकरण” मध्ये आपण पाहतो की वास्य हे फेड्यापेक्षा वर्ग वेगळे करणाऱ्या ओळीपासून खूप पुढे आहे. आणि शेवटी, आम्हाला माहित आहे की फंक्शन Vasya आणि Fedya साठी भिन्न मूल्ये घेतात: Vasya साठी 4.24 आणि Fedya साठी 1.0. आता, उदाहरणार्थ, फेड्याने, जर जास्त प्रमाणात ऑर्डर मिळवली किंवा लहान कर्ज मागितले, तर वास्या आणि फेड्यासाठी कर्जाची परतफेड करण्याची संभाव्यता समान असेल. दुसऱ्या शब्दांत, रेखीय अवलंबन फसवू शकत नाही. आणि जर आम्ही प्रत्यक्षात शक्यतांची गणना केली , आणि त्यांना पातळ हवेतून बाहेर काढले नाही, आम्ही सुरक्षितपणे म्हणू शकतो की आमची मूल्ये आम्हाला प्रत्येक कर्जदाराद्वारे कर्जाच्या परतफेडीच्या संभाव्यतेचा अंदाज लावण्याची परवानगी देतो, परंतु आम्ही असे गृहीत धरण्यास सहमत झालो की गुणांकांचे निर्धारण सर्व नियमांनुसार केले गेले होते, मग आम्ही असे गृहीत धरू - आमचे गुणांक आम्हाला संभाव्यतेचा एक चांगला अंदाज देण्यास परवानगी देतात :)

तथापि, आपण विषयांतर करतो. या विभागात वजनाचा सदिश कसा ठरवला जातो हे समजून घेणे आवश्यक आहे , जे प्रत्येक कर्जदाराद्वारे कर्जाची परतफेड करण्याच्या संभाव्यतेचे मूल्यांकन करण्यासाठी आवश्यक आहे.

आपण शक्यता शोधत असलेल्या शस्त्रागाराचा थोडक्यात सारांश घेऊ या :

1. आम्ही असे गृहीत धरतो की लक्ष्य व्हेरिएबल (अंदाज मूल्य) आणि परिणामावर परिणाम करणारे घटक यांच्यातील संबंध रेखीय आहे. या कारणासाठी ते वापरले जाते रेखीय प्रतिगमन कार्य प्रजाती , ज्याची ओळ ऑब्जेक्ट्स (क्लायंट) वर्गांमध्ये विभाजित करते и किंवा (जे ग्राहक कर्जाची परतफेड करण्यास सक्षम आहेत आणि जे नाहीत). आमच्या बाबतीत, समीकरणाचे स्वरूप आहे .

2. आम्ही वापरतो व्यस्त लॉगिट कार्य प्रजाती वर्गाशी संबंधित ऑब्जेक्टची संभाव्यता निश्चित करण्यासाठी .

3. आम्ही आमच्या प्रशिक्षण सेटला सामान्यीकृत अंमलबजावणी म्हणून मानतो बर्नौली योजना, म्हणजे, प्रत्येक ऑब्जेक्टसाठी एक रँडम व्हेरिएबल व्युत्पन्न केले जाते, जे संभाव्यतेसह (प्रत्येक ऑब्जेक्टसाठी स्वतःचे) मूल्य 1 आणि संभाव्यतेसह घेते - 0.

4. आम्हाला माहित आहे की आम्हाला काय वाढवायचे आहे नमुना संभाव्य कार्य स्वीकारलेले घटक विचारात घेणे जेणेकरुन उपलब्ध नमुना सर्वात प्रशंसनीय होईल. दुसऱ्या शब्दांत, आम्हाला पॅरामीटर्स निवडण्याची आवश्यकता आहे ज्यावर नमुना सर्वात प्रशंसनीय असेल. आमच्या बाबतीत, निवडलेला पॅरामीटर म्हणजे कर्जाच्या परतफेडीची संभाव्यता , जे यामधून अज्ञात गुणांकांवर अवलंबून असते . म्हणून आपल्याला वजनाचा असा सदिश शोधणे आवश्यक आहे , ज्यावर नमुन्याची शक्यता जास्तीत जास्त असेल.

5. काय वाढवायचे हे आम्हाला माहित आहे नमुना संभाव्य कार्ये वापरू शकता जास्तीत जास्त शक्यता पद्धत. आणि या पद्धतीसह कार्य करण्यासाठी आम्हाला सर्व अवघड युक्त्या माहित आहेत.

अशाप्रकारे ही एक बहु-चरण चाल असल्याचे दिसून येते :)

आता लक्षात ठेवा की लेखाच्या अगदी सुरुवातीला आम्हाला दोन प्रकारचे नुकसान कार्ये मिळवायची होती लॉजिस्टिक नुकसान ऑब्जेक्ट वर्ग कसे नियुक्त केले जातात यावर अवलंबून. असे घडले की दोन वर्गांसह वर्गीकरण समस्यांमध्ये, वर्ग असे दर्शविले जातात и किंवा . नोटेशनवर अवलंबून, आउटपुटमध्ये संबंधित नुकसान कार्य असेल.

प्रकरण 1. मध्ये वस्तूंचे वर्गीकरण и

तत्पूर्वी, एखाद्या नमुन्याची शक्यता ठरवताना, ज्यामध्ये कर्जदाराद्वारे कर्ज परतफेडीची संभाव्यता घटकांच्या आधारे मोजली गेली आणि गुणांक दिले गेले. , आम्ही सूत्र लागू केले:

प्रत्यक्षात अर्थ आहे लॉजिस्टिक प्रतिसाद कार्ये दिलेल्या वजनाच्या वेक्टरसाठी

मग खालीलप्रमाणे नमुना संभाव्यता कार्य लिहिण्यापासून काहीही प्रतिबंधित करत नाही:

असे घडते की कधीकधी काही नवशिक्या विश्लेषकांना हे कार्य कसे कार्य करते हे त्वरित समजणे कठीण असते. चला 4 लहान उदाहरणे पाहू या ज्यामुळे सर्वकाही स्पष्ट होईल:

1. तर (म्हणजे, प्रशिक्षण नमुन्यानुसार, ऑब्जेक्ट +1 वर्गाचा आहे), आणि आमचे अल्गोरिदम ऑब्जेक्टचे वर्गीकरण करण्याची संभाव्यता निश्चित करते 0.9 च्या बरोबरीने, नंतर नमुना संभाव्यतेचा हा भाग खालीलप्रमाणे मोजला जाईल:

2. तर आणि , नंतर गणना अशी असेल:

3. तर आणि , नंतर गणना अशी असेल:

4. तर आणि , नंतर गणना अशी असेल:

हे स्पष्ट आहे की संभाव्यता फंक्शन 1 आणि 3 प्रकरणांमध्ये किंवा सामान्य प्रकरणात - एखाद्या वर्गाला ऑब्जेक्ट नियुक्त करण्याच्या संभाव्यतेच्या योग्य अंदाजित मूल्यांसह जास्तीत जास्त केले जाईल. .

वस्तुस्थितीमुळे एखाद्या वर्गास ऑब्जेक्ट नियुक्त करण्याची संभाव्यता निर्धारित करताना आम्हाला फक्त गुणांक माहित नाहीत , मग आम्ही त्यांना शोधू. वर नमूद केल्याप्रमाणे, ही एक ऑप्टिमायझेशन समस्या आहे ज्यामध्ये प्रथम आपल्याला वजनाच्या वेक्टरच्या संदर्भात संभाव्य कार्याचे व्युत्पन्न शोधणे आवश्यक आहे. . तथापि, प्रथम स्वतःसाठी कार्य सोपे करणे अर्थपूर्ण आहे: आम्ही लॉगरिथमचे व्युत्पन्न शोधू. संभाव्य कार्ये.

लॉगरिदम नंतर का, मध्ये लॉजिस्टिक त्रुटी कार्ये, आम्ही पासून चिन्ह बदलले वर . सर्व काही सोपे आहे, कारण मॉडेलच्या गुणवत्तेचे मूल्यांकन करण्याच्या समस्यांमध्ये फंक्शनचे मूल्य कमी करण्याची प्रथा आहे, आम्ही अभिव्यक्तीच्या उजव्या बाजूने गुणाकार केला आणि त्यानुसार, कमाल करण्याऐवजी, आता आपण फंक्शन कमी करू.

वास्तविक, आत्ता, तुमच्या डोळ्यांसमोर, नुकसान कार्य वेदनादायकपणे प्राप्त झाले आहे - लॉजिस्टिक नुकसान दोन वर्गांसह प्रशिक्षण सेटसाठी: и .

आता, गुणांक शोधण्यासाठी, आपल्याला फक्त व्युत्पन्न शोधण्याची आवश्यकता आहे लॉजिस्टिक त्रुटी कार्ये आणि नंतर, ग्रेडियंट डिसेंट किंवा स्टोकास्टिक ग्रेडियंट डिसेंट सारख्या संख्यात्मक ऑप्टिमायझेशन पद्धती वापरून, सर्वात इष्टतम गुणांक निवडा . परंतु, लेखाचे महत्त्वपूर्ण खंड लक्षात घेता, स्वतःहून भिन्नता पार पाडण्याचा प्रस्ताव आहे किंवा कदाचित पुढील लेखासाठी अशा तपशीलवार उदाहरणांशिवाय बरेच अंकगणित असलेला हा विषय असेल.

प्रकरण 2. मध्ये वस्तूंचे वर्गीकरण и

येथे दृष्टिकोन वर्गांप्रमाणेच असेल и , परंतु हानी फंक्शनच्या आउटपुटचा मार्ग स्वतःच लॉजिस्टिक नुकसान, अधिक सुशोभित होईल. चला सुरू करुया. संभाव्य कार्यासाठी आम्ही ऑपरेटर वापरू "जर तर...". म्हणजे, जर था ऑब्जेक्ट वर्गाचा आहे , नंतर नमुन्याच्या संभाव्यतेची गणना करण्यासाठी आम्ही संभाव्यता वापरतो , जर ऑब्जेक्ट वर्गाचा असेल , नंतर आम्ही संभाव्यतेमध्ये बदलतो . संभाव्यता कार्य असे दिसते:

ते कसे कार्य करते ते आमच्या बोटांवर वर्णन करूया. चला 4 प्रकरणांचा विचार करूया:

1. तर и , नंतर सॅम्पलिंगची शक्यता "जाईल"

2. तर и , नंतर सॅम्पलिंगची शक्यता "जाईल"

3. तर и , नंतर सॅम्पलिंगची शक्यता "जाईल"

4. तर и , नंतर सॅम्पलिंगची शक्यता "जाईल"

हे स्पष्ट आहे की 1 आणि 3 प्रकरणांमध्ये, जेव्हा अल्गोरिदमद्वारे संभाव्यता योग्यरित्या निर्धारित केली गेली होती, संभाव्य कार्य जास्तीत जास्त केले जाईल, म्हणजे, आम्हाला हेच मिळवायचे होते. तथापि, हा दृष्टीकोन खूपच त्रासदायक आहे आणि पुढे आपण अधिक संक्षिप्त नोटेशनचा विचार करू. पण प्रथम, चिन्हाच्या बदलासह संभाव्यता फंक्शन लॉगरिदम करू, कारण आता आपण ते कमी करू.

त्याऐवजी बदलू अभिव्यक्ती :

सोप्या अंकगणित तंत्रांचा वापर करून लॉगरिदम अंतर्गत योग्य संज्ञा सुलभ करूया आणि मिळवा:

आता ऑपरेटरपासून मुक्त होण्याची वेळ आली आहे "जर तर...". लक्षात घ्या की जेव्हा एखादी वस्तू वर्गाशी संबंधित आहे , नंतर लॉगरिदम अंतर्गत अभिव्यक्तीमध्ये, भाजकामध्ये, सत्तेवर आणले , जर ऑब्जेक्ट वर्गाचा असेल , नंतर $e$ पॉवर वर वाढवले जाते . म्हणून, पदवीचे संकेतन दोन्ही प्रकरणे एकामध्ये एकत्र करून सरलीकृत केले जाऊ शकते: . मग लॉजिस्टिक त्रुटी कार्य फॉर्म घेईल:

लॉगरिदमच्या नियमांनुसार, आम्ही अपूर्णांक उलटतो आणि चिन्ह ठेवतो "लॉगरिदमसाठी (वजा) आम्हाला मिळते:

येथे नुकसान कार्य आहे लॉजिस्टिक नुकसान, जे वर्गांना नियुक्त केलेल्या वस्तूंसह प्रशिक्षण सेटमध्ये वापरले जाते: и .

बरं, या टप्प्यावर मी माझी रजा घेतो आणि आम्ही लेख संपवतो.

लेखकाचे पूर्वीचे काम "रेषीय प्रतिगमन समीकरण मॅट्रिक्स फॉर्ममध्ये आणणे" आहे.