लजिस्टिक रिग्रेसन च्युइंग

यस लेखमा, हामी रूपान्तरणको सैद्धान्तिक गणनाहरू विश्लेषण गर्नेछौं रैखिक प्रतिगमन कार्यहरू в इन्वर्स लगिट रूपान्तरण प्रकार्य (अन्यथा लजिस्टिक प्रतिक्रिया प्रकार्य भनिन्छ)। त्यसपछि, शस्त्रागार प्रयोग अधिकतम सम्भावना विधि, लजिस्टिक रिग्रेसन मोडेल अनुसार, हामी हानि प्रकार्य प्राप्त गर्छौं लजिस्टिक हानि, वा अन्य शब्दहरूमा, हामी एक प्रकार्य परिभाषित गर्नेछौं जसको साथ वजन भेक्टरको प्यारामिटरहरू लजिस्टिक रिग्रेसन मोडेलमा चयन गरिन्छ। .

लेख रूपरेखा:

1. दुई चरहरू बीचको रैखिक सम्बन्ध दोहोर्याउनुहोस्
2. रुपान्तरणको आवश्यकता पहिचान गरौं रैखिक प्रतिगमन कार्यहरू в लजिस्टिक प्रतिक्रिया प्रकार्य
3. परिवर्तन र आउटपुट पूरा गरौं लजिस्टिक प्रतिक्रिया प्रकार्य
4. प्यारामिटरहरू चयन गर्दा किन न्यूनतम वर्ग विधि खराब छ भनेर बुझ्न प्रयास गरौं कार्य लजिस्टिक हानि
5. हामी प्रयोग गर्छौ अधिकतम सम्भावना विधि निर्धारण को लागी प्यारामिटर चयन कार्यहरू :

   ५.१। केस १: प्रकार्य लजिस्टिक हानि वर्ग पदनाम संग वस्तुहरु को लागी 0 и 1:

   

   ५.१। केस १: प्रकार्य लजिस्टिक हानि वर्ग पदनाम संग वस्तुहरु को लागी -1 и +1:

   

लेख सरल उदाहरणहरूले भरिएको छ जसमा सबै गणनाहरू मौखिक रूपमा वा कागजमा गर्न सजिलो छ; केहि अवस्थामा, एक क्याल्कुलेटर आवश्यक हुन सक्छ। त्यसैले तयार हुनुहोस् :)

यो लेख मुख्यतया मेसिन लर्निङको आधारभूत ज्ञानको प्रारम्भिक स्तरको साथ डाटा वैज्ञानिकहरूका लागि हो।

लेखले रेखाचित्र र गणनाको लागि कोड पनि प्रदान गर्नेछ। सबै कोड भाषामा लेखिएको छ अजगर २। मलाई प्रयोग गरिएको संस्करणको "नवीनता" बारे पहिले नै व्याख्या गरौं - यो प्रख्यात पाठ्यक्रम लिने सर्तहरू मध्ये एक हो। Yandex समान रूपमा परिचित अनलाइन शिक्षा प्लेटफर्ममा Coursera, र, जसरी कसैले मान्न सक्छ, सामग्री यस पाठ्यक्रमको आधारमा तयार गरिएको थियो।

01. सीधा-रेखा निर्भरता

यो प्रश्न सोध्नु एकदम उचित छ - रैखिक निर्भरता र लजिस्टिक प्रतिगमनले यसको साथ के गर्छ?

यो सरल छ! लजिस्टिक रिग्रेसन एक मोडेल हो जुन रैखिक वर्गीकरणसँग सम्बन्धित छ। सरल शब्दहरूमा, रैखिक वर्गीकरणकर्ताको कार्य लक्ष्य मानहरू भविष्यवाणी गर्नु हो चरबाट (रिग्रेसरहरू) । यो विशेषताहरु बीच निर्भरता मानिन्छ र लक्ष्य मानहरू रेखीय। यसैले वर्गीकरणकर्ताको नाम - रेखीय। यसलाई धेरै मोटे रूपमा राख्नको लागि, लजिस्टिक रिग्रेसन मोडेल विशेषताहरू बीच एक रैखिक सम्बन्ध छ भन्ने धारणामा आधारित छ। र लक्ष्य मानहरू । यो जडान हो।

त्यहाँ स्टुडियोमा पहिलो उदाहरण छ, र यो, सही रूपमा, अध्ययन भइरहेको मात्रा को rectilinear निर्भरता को बारे मा छ। लेख तयार गर्ने प्रक्रियामा, मैले एउटा उदाहरण भेट्टाएँ जसले पहिले नै धेरै मानिसहरूलाई किनारमा राखेको छ - भोल्टेजमा वर्तमानको निर्भरता। ("एप्लाइड रिग्रेसन विश्लेषण", एन. ड्रेपर, जी. स्मिथ)। हामी यसलाई यहाँ पनि हेर्नेछौं।

यस अनुसार ओमको नियम:

कहाँ - वर्तमान शक्ति, - भोल्टेज, - प्रतिरोध।

यदि हामीलाई थाहा थिएन ओमको नियम, तब हामीले परिवर्तन गरेर अनुभवात्मक रूपमा निर्भरता फेला पार्न सक्छौं र मापन , समर्थन गर्दा निश्चित। त्यसपछि हामी निर्भरता ग्राफ देख्नेछौं देखि उत्पत्ति मार्फत कम वा कम सीधा रेखा दिन्छ। हामी "अधिक वा कम" भन्दछौं किनभने, यद्यपि सम्बन्ध वास्तवमा सही छ, हाम्रो मापनमा साना त्रुटिहरू हुन सक्छन्, र त्यसैले ग्राफमा बिन्दुहरू रेखामा ठ्याक्कै नआउन सक्छन्, तर अनियमित रूपमा यसको वरिपरि छरिएका हुनेछन्।

ग्राफ १ "निर्भरता" देखि »

चार्ट रेखाचित्र कोड

import matplotlib.pyplot as plt
%matplotlib inline

import numpy as np

import random

R = 13.75

x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
    y_line.append(i/R)
    
y_dot = []
for i in y_line:
    y_dot.append(i+random.uniform(-0.9,0.9))


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Actual results')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

02. रैखिक प्रतिगमन समीकरण रूपान्तरण गर्न आवश्यकता

अर्को उदाहरण हेरौं। कल्पना गरौं कि हामी बैंकमा काम गर्छौं र हाम्रो कार्य निश्चित कारकहरूको आधारमा उधारकर्ताले ऋण चुक्ता गर्ने सम्भावना निर्धारण गर्नु हो। कार्यलाई सरल बनाउन, हामी केवल दुई कारकहरू विचार गर्नेछौं: उधारकर्ताको मासिक तलब र मासिक ऋण चुक्ता रकम।

कार्य धेरै सशर्त छ, तर यो उदाहरण संग हामी बुझ्न सक्छौं किन यो प्रयोग गर्न पर्याप्त छैन रैखिक प्रतिगमन कार्यहरू, र यो पनि पत्ता लगाउनुहोस् कि प्रकार्य संग के रूपान्तरण गर्न आवश्यक छ।

उदाहरणमा फर्कौं। तलब जति बढी हुन्छ, ऋणीले ऋण तिर्नका लागि मासिक रूपमा विनियोजन गर्न सक्नेछन् भन्ने बुझिन्छ । एकै समयमा, एक निश्चित वेतन दायराको लागि यो सम्बन्ध एकदम रैखिक हुनेछ। उदाहरण को लागी, 60.000 RUR देखि 200.000 RUR सम्मको तलब दायरा लिनुहोस् र मानौं कि निर्दिष्ट तलब दायरामा, तलबको आकारमा मासिक भुक्तानीको आकारको निर्भरता रैखिक छ। मानौं कि तलबको तोकिएको दायराको लागि तलब-भुक्तानी अनुपात 3 भन्दा कम हुन सक्दैन र ऋणीसँग अझै पनि 5.000 RUR रिजर्भ हुनुपर्दछ भन्ने खुलासा भएको थियो। र केवल यस अवस्थामा, हामी मान्नेछौं कि उधारकर्ताले बैंकलाई ऋण फिर्ता गर्नेछ। त्यसपछि, रैखिक प्रतिगमन समीकरणले फारम लिनेछ:

जहाँ , , , - तलब - ऋणी, - ऋण भुक्तानी - उधारकर्ता।

तलब र ऋण भुक्तानीलाई समीकरणमा निश्चित प्यारामिटरहरू प्रतिस्थापन गर्दै तपाईं ऋण जारी गर्ने वा अस्वीकार गर्ने निर्णय गर्न सक्नुहुन्छ।

अगाडि हेर्दै, हामी नोट गर्छौं, दिइएको प्यारामिटरहरूसँग रैखिक प्रतिगमन प्रकार्य, मा प्रयोग गरिन्छ लजिस्टिक प्रतिक्रिया कार्यहरू ठूला मानहरू उत्पादन गर्नेछ जसले ऋण चुक्ता गर्ने सम्भावनाहरू निर्धारण गर्न गणनालाई जटिल बनाउनेछ। त्यसकारण, यो हाम्रो गुणांकलाई 25.000 गुणाले घटाउने प्रस्ताव गरिएको छ। गुणांकमा यो परिवर्तनले ऋण जारी गर्ने निर्णयलाई परिवर्तन गर्दैन। भविष्यको लागि यो बिन्दु सम्झौं, तर अब, हामी के कुरा गर्दैछौं यसलाई अझ स्पष्ट बनाउन, तीन सम्भावित उधारकर्ताहरूको अवस्थालाई विचार गरौं।

तालिका १ "सम्भावित उधारकर्ताहरू"

तालिका उत्पन्न गर्नको लागि कोड

import pandas as pd

r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r

data = {'The borrower':np.array(['Vasya', 'Fedya', 'Lesha']), 
        'Salary':np.array([120000,180000,210000]),
       'Payment':np.array([3000,50000,70000])}

df = pd.DataFrame(data)

df['f(w,x)'] = w_0 + df['Salary']*w_1 + df['Payment']*w_2

decision = []
for i in df['f(w,x)']:
    if i > 0:
        dec = 'Approved'
        decision.append(dec)
    else:
        dec = 'Refusal'
        decision.append(dec)
        
df['Decision'] = decision

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision']]

तालिकामा रहेको डाटा अनुसार, वास्या, 120.000 RUR को तलब सहित, ऋण प्राप्त गर्न चाहन्छ ताकि उसले मासिक 3.000 RUR मा तिर्न सक्छ। हामीले निर्धारण गर्यौं कि ऋण स्वीकृत गर्न, Vasya को तलब भुक्तानीको तीन गुणा भन्दा बढी हुनुपर्छ, र त्यहाँ अझै 5.000 RUR बाँकी हुनुपर्दछ। Vasya यो आवश्यकता पूरा गर्दछ: । 106.000 RUR पनि बाँकी छ। तथ्याङ्क हुँदाहुँदै पनि हामीले सम्भावनाहरू कम गरेका छौं 25.000 पटक, नतिजा एउटै थियो - ऋण स्वीकृत गर्न सकिन्छ। फेडियाले पनि ऋण प्राप्त गर्नेछ, तर लेशा, उसले सबैभन्दा धेरै प्राप्त गरेको तथ्यको बावजुद, उसको भोकलाई रोक्नु पर्छ।

यस मामलाको लागि ग्राफ कोरौं।

चार्ट 2 "उधारकर्ताहरूको वर्गीकरण"

ग्राफ कोर्न को लागी कोड

salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'], 
         'o', color ='green', markersize = 12, label = 'Decision - Loan approved')
plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'], 
         's', color = 'red', markersize = 12, label = 'Decision - Loan refusal')
plt.xlabel('Salary', size = 16)
plt.ylabel('Payment', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

त्यसैले, हाम्रो सीधा रेखा, प्रकार्य अनुसार निर्माण , "खराब" उधारकर्ताहरूलाई "राम्रो" बाट अलग गर्दछ। ती उधारकर्ताहरू जसको इच्छाहरू तिनीहरूको क्षमताहरूसँग मेल खाँदैनन् रेखा (लेशा) भन्दा माथि छन्, जबकि हाम्रो मोडेलको मापदण्डहरू अनुसार, ऋण तिर्न सक्षम भएकाहरू रेखा (वास्या र फेदया) तल छन्। अर्को शब्दमा, हामी यो भन्न सक्छौं: हाम्रो प्रत्यक्ष रेखाले ऋण लिनेहरूलाई दुई वर्गमा विभाजन गर्छ। हामी तिनीहरूलाई निम्न रूपमा बुझौं: वर्गमा हामी ती उधारकर्ताहरूलाई वर्गीकरण गर्नेछौं जसले ऋण तिर्न सक्ने सम्भावना छ वा हामी ती उधारकर्ताहरूलाई समावेश गर्नेछौं जसले सम्भवतः ऋण तिर्न सक्षम हुनेछैनन्।

यस सरल उदाहरणबाट निष्कर्षहरू संक्षेप गरौं। एउटा बिन्दु लिऔं र, बिन्दुको निर्देशांकहरूलाई रेखाको अनुरूप समीकरणमा प्रतिस्थापन गर्दै , तीन विकल्पहरू विचार गर्नुहोस्:

1. यदि बिन्दु रेखा मुनि छ र हामी यसलाई कक्षामा असाइन गर्छौं , त्यसपछि प्रकार्यको मान देखि सकारात्मक हुनेछ गर्न । यसको मतलब हामी ऋण तिर्न सक्ने सम्भावना भित्र छ भनेर मान्न सक्छौं । फंक्शन मान जति ठूलो हुन्छ, उच्च सम्भावना हुन्छ।
2. यदि एक बिन्दु रेखा भन्दा माथि छ र हामी यसलाई कक्षामा असाइन गर्छौं वा , त्यसपछि प्रकार्यको मान ऋणात्मक हुनेछ गर्न । त्यसपछि हामी मान्नेछौं कि ऋण चुक्ताको सम्भावना भित्र छ र, प्रकार्यको निरपेक्ष मूल्य जति ठूलो हुन्छ, हाम्रो आत्मविश्वास पनि उच्च हुन्छ।
3. बिन्दु सीधा रेखामा छ, दुई वर्गहरू बीचको सीमामा। यस अवस्थामा, प्रकार्यको मान बराबर हुनेछ र ऋण चुक्ता गर्ने सम्भावना बराबर छ .

अब, कल्पना गरौं कि हामीसँग दुई कारकहरू छैनन्, तर दर्जनौं, र तीन होइन, तर हजारौं उधारकर्ताहरू छन्। त्यसपछि सीधा रेखाको सट्टा हामीसँग हुनेछ m-आयामी विमान र गुणांक हामीलाई पातलो हावाबाट बाहिर निकालिने छैन, तर सबै नियमहरू अनुसार, र ऋण तिर्न वा नतिरेका उधारकर्ताहरूको संचित डाटाको आधारमा लिइनेछ। र वास्तवमा, ध्यान दिनुहोस् कि हामी अब पहिले नै ज्ञात गुणांक प्रयोग गरेर उधारकर्ताहरू चयन गर्दैछौं । वास्तवमा, लजिस्टिक रिग्रेसन मोडेलको कार्य सटीक रूपमा प्यारामिटरहरू निर्धारण गर्न हो , जसमा हानि प्रकार्यको मान लजिस्टिक हानि न्यूनतम झुकाव हुनेछ। तर भेक्टर कसरी गणना गरिन्छ भन्ने बारे , हामी लेखको 5 औं खण्डमा थप फेला पार्नेछौं। यस बीचमा, हामी प्रतिज्ञा गरिएको भूमिमा फर्कन्छौं - हाम्रो बैंकर र तिनका तीन ग्राहकहरूलाई।

समारोह को लागी धन्यवाद हामीलाई थाहा छ कसलाई ऋण दिन सकिन्छ र कसलाई अस्वीकार गर्न आवश्यक छ। तर तपाई यस्तो जानकारी लिएर निर्देशककहाँ जान सक्नुहुन्न, किनकि उनीहरूले हामीबाट प्रत्येक उधारकर्ताले ऋण चुक्ता गर्ने सम्भावना प्राप्त गर्न चाहन्थे। के गर्ने? जवाफ सरल छ - हामीले कुनै न कुनै रूपमा प्रकार्य परिवर्तन गर्न आवश्यक छ , जसका मानहरू दायरामा छन् एउटा प्रकार्यमा जसको मान दायरामा रहनेछ । र यस्तो प्रकार्य अवस्थित छ, यसलाई भनिन्छ लजिस्टिक प्रतिक्रिया प्रकार्य वा उल्टो-लगिट रूपान्तरण। भेट्नुहोस्:

यो कसरी काम गर्दछ चरण द्वारा चरण हेरौं लजिस्टिक प्रतिक्रिया प्रकार्य। ध्यान दिनुहोस् कि हामी विपरित दिशामा हिड्नेछौं, अर्थात्। हामी मान्नेछौं कि हामीलाई सम्भाव्यता मान थाहा छ, जुन बाट दायरामा छ गर्न र त्यसपछि हामी यस मानलाई संख्याको सम्पूर्ण दायराबाट "अनवाइन्ड" गर्नेछौं गर्न .

03. हामी लजिस्टिक प्रतिक्रिया प्रकार्य प्राप्त गर्छौं

चरण 1. सम्भाव्यता मानहरूलाई दायरामा रूपान्तरण गर्नुहोस्

समारोह को रूपान्तरण को समयमा в लजिस्टिक प्रतिक्रिया प्रकार्य हामी हाम्रो क्रेडिट विश्लेषकलाई एक्लै छोड्नेछौं र यसको सट्टा बुकमेकरहरूको भ्रमण गर्नेछौं। होइन, अवश्य पनि, हामी बाजी लगाउने छैनौं, हामीलाई रुचि राख्ने सबै अभिव्यक्तिको अर्थ हो, उदाहरणका लागि, मौका 4 देखि 1 हो। बाधाहरू, सबै बाजी लगाउनेहरूलाई परिचित, "सफलताहरू" र "सफलताहरू" को अनुपात हो। असफलताहरू "। सम्भाव्यताका सर्तहरूमा, बाधाहरू घटनाको सम्भाव्यतालाई घटना नघट्ने सम्भावनाले भाग गर्ने हो। घटना हुने मौकाको लागि सूत्र लेखौं :

कहाँ - घटना हुने सम्भावना, - घटना नहुने सम्भावना

उदाहरणका लागि, यदि "Veterok" उपनाम दिइएको जवान, बलियो र चंचल घोडाले दौडमा "माटिल्डा" नामक एक बूढो र लचिलो वृद्ध महिलालाई हराउने सम्भावना बराबर छ। , त्यसपछि "Veterok" को लागि सफलता को संभावना हुनेछ к र यसको विपरित, बाधाहरू थाहा पाएर, हामीलाई सम्भाव्यता गणना गर्न गाह्रो हुनेछैन। :

यसरी, हामीले सम्भावनालाई "अनुवाद" गर्न सिकेका छौं, जसले मानहरू लिन्छ गर्न । एउटा थप कदम चाल्नुहोस् र सम्भाव्यतालाई सम्पूर्ण संख्या रेखामा "अनुवाद" गर्न सिक्नुहोस् गर्न .

चरण 2. सम्भाव्यता मानहरूलाई दायरामा रूपान्तरण गर्नुहोस्

यो चरण धेरै सरल छ - यूलरको संख्याको आधारमा बाधाहरूको लगरिथम लिऔं। र हामी पाउँछौं:

अब हामीलाई थाहा छ कि यदि , त्यसपछि मान गणना गर्नुहोस् धेरै सरल हुनेछ र, यसबाहेक, यो सकारात्मक हुनुपर्छ: । यो सत्य हो।

जिज्ञासाबाट, के हो भने जाँच गरौं , त्यसपछि हामी नकारात्मक मान हेर्न आशा गर्छौं । हामी जाँच गर्छौं: । त्यो सहि हो।

अब हामी जान्दछौं कि कसरी सम्भाव्यता मान रूपान्तरण गर्ने गर्न बाट सम्पूर्ण संख्या रेखा संग गर्न । अर्को चरणमा हामी उल्टो गर्नेछौं।

अहिलेको लागि, हामी नोट गर्छौं कि लोगारिदमका नियमहरू अनुसार, प्रकार्यको मूल्य थाहा पाएर , तपाईं बाधाहरू गणना गर्न सक्नुहुन्छ:

बाधाहरू निर्धारण गर्ने यो विधि अर्को चरणमा हाम्रो लागि उपयोगी हुनेछ।

चरण 3. निर्धारण गर्न सूत्र निकालौं

त्यसैले हामीले सिक्यौं, थाहा पाएका छौं , प्रकार्य मानहरू फेला पार्नुहोस् । यद्यपि, वास्तवमा, हामीलाई ठ्याक्कै विपरीत चाहिन्छ - मूल्य जान्न खोज्नुहोस् । यो गर्नको लागि, हामी उल्टो बाधा प्रकार्यको रूपमा यस्तो अवधारणामा फर्कौं, जसको अनुसार:

लेखमा हामी माथिको सूत्र निकाल्ने छैनौं, तर हामी माथिको उदाहरणबाट संख्याहरू प्रयोग गरेर जाँच गर्नेछौं। हामीलाई थाहा छ कि 4 देखि 1 (घटना हुने सम्भावना ०.८ ()। प्रतिस्थापन गरौं: । यो हाम्रो पहिले गरिएको गणना संग मेल खान्छ। अगाडि बढौं।

अन्तिम चरणमा हामीले त्यो अनुमान गर्यौं , जसको मतलब तपाईले inverse odds प्रकार्यमा प्रतिस्थापन गर्न सक्नुहुन्छ। हामीले पायौ:

अंक र भाजक दुवैलाई द्वारा विभाजन गर्नुहोस् , त्यसपछि:

हामीले कतै पनि गल्ती गरेको छैन भनी सुनिश्चित गर्नको लागि, हामी थप एउटा सानो जाँच गर्नेछौं। चरण 2 मा, हामी को लागी भनेर निर्धारण गरे । त्यसपछि, मूल्य प्रतिस्थापन लजिस्टिक प्रतिक्रिया प्रकार्य मा, हामी प्राप्त गर्न अपेक्षा गर्छौं । हामी प्रतिस्थापन र प्राप्त गर्छौं:

बधाई छ, प्रिय पाठक, हामीले भर्खरै लजिस्टिक प्रतिक्रिया प्रकार्यलाई व्युत्पन्न र परीक्षण गरेका छौं। प्रकार्यको ग्राफ हेरौं।

ग्राफ 3 "लजिस्टिक प्रतिक्रिया प्रकार्य"

ग्राफ कोर्न को लागी कोड

import math

def logit (f):
    return 1/(1+math.exp(-f))

f = np.arange(-7,7,0.05)
p = []

for i in f:
    p.append(logit(i))

fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

साहित्यमा तपाईले यस प्रकार्यको नाम पनि फेला पार्न सक्नुहुन्छ सिग्मोइड प्रकार्य। ग्राफले स्पष्ट रूपमा देखाउँछ कि वर्गसँग सम्बन्धित वस्तुको सम्भावनामा मुख्य परिवर्तन अपेक्षाकृत सानो दायरा भित्र हुन्छ। , कतैबाट गर्न .

म हाम्रो क्रेडिट विश्लेषकलाई फिर्ता गर्न र उसलाई ऋण चुक्ताको सम्भावना गणना गर्न मद्दत गर्न सुझाव दिन्छु, अन्यथा उसले बोनस बिना छोडिने जोखिम हुन्छ :)

तालिका १ "सम्भावित उधारकर्ताहरू"

तालिका उत्पन्न गर्नको लागि कोड

proba = []
for i in df['f(w,x)']:
    proba.append(round(logit(i),2))
    
df['Probability'] = proba

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision', 'Probability']]

त्यसैले, हामीले ऋण तिर्ने सम्भावना निर्धारण गरेका छौं। सामान्यतया, यो सत्य हो जस्तो देखिन्छ।

वास्तवमा, 120.000 RUR को तलब भएको वास्याले बैंकलाई हरेक महिना 3.000 RUR दिन सक्ने सम्भावना लगभग 100% छ। वैसे, हामीले बुझ्नुपर्छ कि बैंकले लेशालाई ऋण जारी गर्न सक्छ यदि बैंकको नीतिले प्रदान गर्दछ, उदाहरणका लागि, ०.३ भन्दा बढीको ऋण चुक्ता हुने सम्भावना भएका ग्राहकहरूलाई ऋण दिनको लागि। यो मात्र हो कि यस अवस्थामा बैंकले सम्भावित घाटाको लागि ठूलो रिजर्भ सिर्जना गर्नेछ।

यो पनि ध्यान दिनुपर्छ कि तलब-भुक्तानी अनुपात कम्तिमा 3 र मार्जिन 5.000 RUR छतबाट लिइएको थियो। त्यसकारण, हामीले तौलको भेक्टरलाई यसको मूल रूपमा प्रयोग गर्न सकेनौं । हामीले धेरै गुणांकहरू घटाउन आवश्यक छ, र यस अवस्थामा हामीले प्रत्येक गुणांकलाई 25.000 ले विभाजित गर्यौं, त्यो हो, सारमा, हामीले परिणाम समायोजन गर्यौं। तर यो विशेष गरी प्रारम्भिक चरणमा सामग्री को समझ को सरल बनाउन को लागी गरिएको थियो। जीवनमा, हामीले गुणांकहरू आविष्कार र समायोजन गर्न आवश्यक पर्दैन, तर तिनीहरूलाई फेला पार्नुहोस्। लेखको अर्को खण्डमा हामी समीकरणहरू प्राप्त गर्नेछौं जससँग प्यारामिटरहरू चयन गरिएका छन् .

04. वजन को भेक्टर निर्धारण गर्न को लागी न्यूनतम वर्ग विधि लजिस्टिक प्रतिक्रिया प्रकार्य मा

हामीले तौलको भेक्टर चयन गर्नको लागि यो विधि पहिले नै थाहा पाएका छौं , जस्तै न्यूनतम वर्ग विधि (LSM) र वास्तवमा, किन हामी यसलाई बाइनरी वर्गीकरण समस्याहरूमा प्रयोग गर्दैनौं? वास्तवमा, केहि पनि तपाईंलाई प्रयोग गर्नबाट रोक्दैन MNC, वर्गीकरण समस्याहरूमा मात्र यो विधिले कम सटीक परिणाम दिन्छ लजिस्टिक हानि। यसको सैद्धान्तिक आधार छ। पहिले एउटा साधारण उदाहरण हेरौं।

मानौं कि हाम्रा मोडेलहरू (प्रयोग गरेर एमएसई и लजिस्टिक हानि) पहिले नै तौल को भेक्टर चयन गर्न थालेको छ र हामीले केहि चरणमा गणना रोक्यौं। यो बीचमा, अन्त्यमा वा सुरुमा केही फरक पर्दैन, मुख्य कुरा यो हो कि हामीसँग पहिले नै तौलको भेक्टरको केही मानहरू छन् र मानौं कि यो चरणमा, वजनको भेक्टर दुबै मोडेलहरूको लागि कुनै भिन्नताहरू छैनन्। त्यसपछि परिणामस्वरूप वजन लिनुहोस् र तिनीहरूलाई प्रतिस्थापन गर्नुहोस् लजिस्टिक प्रतिक्रिया प्रकार्य () वर्गसँग सम्बन्धित केही वस्तुको लागि । हामीले दुईवटा केसहरू जाँच गर्छौं जब, वजनको चयन गरिएको भेक्टरको अनुसार, हाम्रो मोडेल धेरै गलत छ र यसको विपरीत - मोडेल धेरै विश्वस्त छ कि वस्तु वर्गको हो। । हेरौं प्रयोग गर्दा के कस्ता जरिवाना लाग्ने हो MNC и लजिस्टिक हानि.

प्रयोग गरिएको हानि प्रकार्यको आधारमा दण्ड गणना गर्न कोड

# класс объекта
y = 1
# вероятность отнесения объекта к классу в соответствии с параметрами w
proba_1 = 0.01

MSE_1 = (y - proba_1)**2
print 'Штраф MSE при грубой ошибке =', MSE_1

# напишем функцию для вычисления f(w,x) при известной вероятности отнесения объекта к классу +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
    return math.log(proba/(1-proba)) 

LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'Штраф Log Loss при грубой ошибке =', LogLoss_1

proba_2 = 0.99

MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))

print '**************************************************************'
print 'Штраф MSE при сильной уверенности =', MSE_2
print 'Штраф Log Loss при сильной уверенности =', LogLoss_2

गल्ती को मामला - मोडेलले वर्गमा वस्तु तोकेको छ 0,01 को सम्भावना संग

प्रयोगमा जरिवाना MNC हुनेछ:

प्रयोगमा जरिवाना लजिस्टिक हानि हुनेछ:

बलियो आत्मविश्वास को मामला - मोडेलले वर्गमा वस्तु तोकेको छ 0,99 को सम्भावना संग

प्रयोगमा जरिवाना MNC हुनेछ:

प्रयोगमा जरिवाना लजिस्टिक हानि हुनेछ:

यो उदाहरणले राम्रोसँग चित्रण गर्दछ कि सकल त्रुटिको अवस्थामा घाटा कार्य लग हानि भन्दा उल्लेखनीय रूपमा मोडेललाई दण्डित गर्दछ एमएसई। अब हानि प्रकार्य प्रयोग गर्न सैद्धान्तिक पृष्ठभूमि के हो बुझौं लग हानि वर्गीकरण समस्याहरूमा।

05. अधिकतम सम्भावना विधि र लजिस्टिक प्रतिगमन

सुरुमा प्रतिज्ञा गरे अनुसार, लेख सरल उदाहरणहरूले भरिएको छ। स्टुडियोमा अर्को उदाहरण र पुराना अतिथिहरू छन् - बैंक उधारकर्ताहरू: Vasya, Fedya र Lesha।

उदाहरणको विकास गर्नु अघि, म तपाईंलाई सम्झाउन चाहन्छु कि जीवनमा हामी दशौं वा सयौं सुविधाहरूको साथ हजारौं वा लाखौं वस्तुहरूको प्रशिक्षण नमूनासँग काम गरिरहेका छौं। यद्यपि, यहाँ संख्याहरू लिइएका छन् ताकि तिनीहरू सजिलै एक नौसिखिया डाटा वैज्ञानिकको टाउकोमा फिट हुन सक्छन्।

उदाहरणमा फर्कौं। कल्पना गरौं कि एल्गोरिथ्मले लेशालाई जारी नगर्न भन्यो भन्ने तथ्यको बावजुद बैंकका निर्देशकले आवश्यक पर्ने सबैलाई ऋण जारी गर्ने निर्णय गरे। र अब पर्याप्त समय बितिसकेको छ र हामीलाई थाहा छ कि तीन नायक मध्ये कसले ऋण तिर्यो र कसले गरेन। के आशा गरिएको थियो: Vasya र Fedya ऋण तिर्न, तर Lesha गरेनन्। अब कल्पना गरौं कि यो नतिजा हाम्रो लागि नयाँ प्रशिक्षण नमूना हुनेछ र, एकै समयमा, यो ऋण तिर्नको सम्भावनालाई असर गर्ने कारकहरूमा सबै डेटा (उधारकर्ताको तलब, मासिक भुक्तानीको आकार) हराएको जस्तो छ। त्यसपछि, सहज रूपमा, हामी मान्न सक्छौं कि प्रत्येक तेस्रो उधारकर्ताले बैंकलाई ऋण फिर्ता गर्दैन, वा अर्को शब्दमा, अर्को उधारकर्ताले ऋण तिर्ने सम्भावना। । यो सहज धारणा सैद्धान्तिक पुष्टि छ र आधारित छ अधिकतम सम्भावना विधि, अक्सर साहित्य मा यो भनिन्छ अधिकतम सम्भावना सिद्धान्त.

पहिले, अवधारणात्मक उपकरण संग परिचित गरौं।

नमूना सम्भावना ठ्याक्कै त्यस्तो नमूना प्राप्त गर्ने सम्भावना, ठ्याक्कै त्यस्ता अवलोकनहरू/नतिजाहरू प्राप्त गर्ने, अर्थात्। प्रत्येक नमूना नतिजाहरू प्राप्त गर्ने सम्भाव्यताहरूको उत्पादन (उदाहरणका लागि, वास्या, फेदया र लेशाको ऋण एकै समयमा तिरेको वा नतिरेको)।

सम्भावना प्रकार्य वितरण प्यारामिटरहरूको मानहरूसँग नमूनाको सम्भावनासँग सम्बन्धित छ।

हाम्रो अवस्थामा, प्रशिक्षण नमूना एक सामान्यीकृत Bernoulli योजना हो, जसमा अनियमित चरले केवल दुई मानहरू लिन्छ: वा । तसर्थ, नमूना सम्भावना प्यारामिटरको सम्भावना प्रकार्यको रूपमा लेख्न सकिन्छ निम्न अनुसार:

माथिको प्रविष्टिलाई निम्नानुसार व्याख्या गर्न सकिन्छ। Vasya र Fedya ऋण तिर्न संयुक्त संभावना बराबर छ , लेशाले ऋण तिर्न नसक्ने सम्भावना बराबर छ (यो ऋण चुक्ता भएको थिएन) त्यसैले तीनवटै घटनाहरूको संयुक्त सम्भावना बराबर छ। .

अधिकतम सम्भावना विधि अधिकतम गरेर अज्ञात प्यारामिटर अनुमान गर्ने विधि हो सम्भावना कार्यहरू। हाम्रो अवस्थामा, हामीले यस्तो मूल्य खोज्न आवश्यक छ जसमा अधिकतम पुग्छ।

वास्तविक विचार कहाँबाट आउँछ - अज्ञात प्यारामिटरको मान खोज्न जसमा सम्भावना प्रकार्य अधिकतम पुग्छ? जनसङ्ख्याको बारेमा हामीलाई उपलब्ध ज्ञानको एक मात्र स्रोत नमूना हो भन्ने विचारबाट विचारको उत्पत्ति भएको हो। हामीले जनसंख्याको बारेमा थाहा पाएका सबै कुरा नमूनामा प्रतिनिधित्व गरिन्छ। त्यसकारण, हामीले भन्न सक्छौं कि नमूना भनेको हामीलाई उपलब्ध जनसंख्याको सबैभन्दा सही प्रतिबिम्ब हो। त्यसकारण, हामीले एउटा प्यारामिटर फेला पार्न आवश्यक छ जसमा उपलब्ध नमूना सबैभन्दा सम्भावित हुन्छ।

जाहिर छ, हामी एक अप्टिमाइजेसन समस्या संग काम गर्दैछौं जसमा हामीले एक प्रकार्यको चरम बिन्दु फेला पार्न आवश्यक छ। चरम बिन्दु पत्ता लगाउन, पहिलो-अर्डर अवस्थालाई विचार गर्न आवश्यक छ, त्यो हो, प्रकार्यको व्युत्पन्नलाई शून्यमा बराबर गर्नुहोस् र इच्छित प्यारामिटरको सन्दर्भमा समीकरण समाधान गर्नुहोस्। जे होस्, ठूलो संख्यामा कारकहरूको उत्पादनको व्युत्पन्न खोजी गर्न लामो कार्य हुन सक्छ; यसबाट बच्नको लागि, त्यहाँ एक विशेष प्रविधि छ - लोगारिदममा स्विच गर्दै। सम्भावना कार्यहरू। यस्तो संक्रमण किन सम्भव छ? हामी यस तथ्यमा ध्यान दिऔं कि हामी प्रकार्यको चरम सीमा खोजिरहेका छैनौं, र चरम बिन्दु, त्यो हो, अज्ञात प्यारामिटर को मान जसमा अधिकतम पुग्छ। लोगारिदममा सर्दा, चरम बिन्दु परिवर्तन हुँदैन (यद्यपि एक्स्ट्रिमम आफैमा फरक हुनेछ), किनभने लोगारिदम एक मोनोटोनिक प्रकार्य हो।

आउनुहोस्, माथिको अनुसार, Vasya, Fedya र Lesha बाट ऋण संग हाम्रो उदाहरण विकास गर्न जारी। पहिले तिर लागौं सम्भावना प्रकार्यको लोगारिदम:

अब हामी सजिलै द्वारा अभिव्यक्ति फरक गर्न सक्छौं :

र अन्तमा, पहिलो-अर्डर अवस्थालाई विचार गर्नुहोस् - हामी प्रकार्यको व्युत्पन्नलाई शून्यमा बराबर गर्छौं:

यसरी, ऋण चुक्ता को संभावना को हाम्रो सहज अनुमान सैद्धान्तिक रूपमा जायज थियो।

राम्रो, तर हामीले यो जानकारीलाई अब के गर्नुपर्छ? यदि हामी मानौं कि प्रत्येक तेस्रो ऋणीले बैंकमा पैसा फिर्ता गर्दैन भने, पछिल्ला अनिवार्य रूपमा दिवालिया हुनेछ। त्यो सहि हो, तर ऋण चुक्ता गर्ने सम्भाव्यताको मूल्याङ्कन गर्दा मात्र हामीले ऋणको भुक्तानीलाई प्रभाव पार्ने कारकहरूलाई ध्यानमा राखेका छैनौं: उधारकर्ताको तलब र मासिक भुक्तानीको आकार। हामीलाई याद गरौं कि हामीले पहिले यी समान कारकहरूलाई ध्यानमा राख्दै, प्रत्येक ग्राहकद्वारा ऋणको भुक्तानीको सम्भावना गणना गर्यौं। यो तार्किक छ कि हामीले स्थिर बराबरबाट भिन्न सम्भावनाहरू प्राप्त गर्यौं .

नमूनाहरूको सम्भावना परिभाषित गरौं:

नमूना सम्भावनाहरू गणना गर्नको लागि कोड

from functools import reduce

def likelihood(y,p):
    line_true_proba = []
    for i in range(len(y)):
        ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
        line_true_proba.append(ltp_i)
    likelihood = []
    return reduce(lambda a, b: a*b, line_true_proba)
        
    
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]


print 'Правдоподобие выборки при константном значении p=2/3:', round(likelihood(y,p_const),3)

print '****************************************************************************************************'

print 'Правдоподобие выборки при расчетном значении p:', round(likelihood(y,p_log_response),3)

स्थिर मूल्यमा नमूना सम्भावना :

खाता कारकहरू लिएर ऋण चुक्ताको सम्भावना गणना गर्दा नमूना सम्भावना :

कारकहरूको आधारमा गणना गरिएको सम्भाव्यताको साथ नमूनाको सम्भावना स्थिर सम्भाव्यता मानको साथ सम्भावना भन्दा बढी भयो। यसको मतलब के हो? यसले सुझाव दिन्छ कि कारकहरूको बारेमा ज्ञानले प्रत्येक ग्राहकको लागि ऋण भुक्तानीको सम्भावनालाई अझ सही रूपमा चयन गर्न सम्भव बनायो। तसर्थ, अर्को ऋण जारी गर्दा, ऋण चुक्ताको सम्भावना मूल्याङ्कन गर्न लेखको खण्ड 3 को अन्त्यमा प्रस्तावित मोडेल प्रयोग गर्नु बढी सही हुनेछ।

तर त्यसो भए, यदि हामी अधिकतम गर्न चाहन्छौं नमूना सम्भावना प्रकार्य, त्यसोभए किन केहि एल्गोरिदम प्रयोग नगर्ने जसले Vasya, Fedya र Lesha को लागि सम्भावनाहरू उत्पादन गर्नेछ, उदाहरणका लागि, क्रमशः 0.99, 0.99 र 0.01 बराबर। हुनसक्छ यस्तो एल्गोरिथ्मले प्रशिक्षण नमूनामा राम्रो प्रदर्शन गर्नेछ, किनकि यसले नमूना सम्भावना मूल्यको नजिक ल्याउनेछ। , तर, पहिलो, यस्तो एल्गोरिथ्मलाई सामान्यीकरण क्षमताको साथ प्रायः कठिनाइ हुनेछ, र दोस्रो, यो एल्गोरिथ्म निश्चित रूपमा रैखिक हुनेछैन। र यदि ओभरट्रेनिङ (समान कमजोर सामान्यीकरण क्षमता) विरुद्ध लड्ने तरिकाहरू स्पष्ट रूपमा यस लेखको योजनामा ​​समावेश गरिएको छैन भने, त्यसपछि थप विवरणमा दोस्रो बिन्दुमा जाऔं। यो गर्न, बस एक साधारण प्रश्न जवाफ। के हामीलाई थाहा भएका कारकहरूलाई ध्यानमा राख्दै, वास्या र फेडियाको ऋण तिर्नको सम्भावना समान हुन सक्छ? ध्वनि तर्कको दृष्टिकोणबाट, पक्कै पनि होइन, यो हुन सक्दैन। त्यसैले Vasya ऋण तिर्न प्रति महिना आफ्नो तलब को 2.5% तिर्नेछ, र Fedya - लगभग 27,8%। साथै ग्राफ 2 "ग्राहक वर्गीकरण" मा हामी देख्छौं कि वास्या Fedya भन्दा कक्षाहरू अलग गर्ने रेखाबाट धेरै टाढा छ। र अन्तमा, हामीलाई थाहा छ कि प्रकार्य Vasya र Fedya को लागी फरक मान लिन्छ: 4.24 Vasya को लागी र 1.0 Fedya को लागी। अब, यदि Fedya, उदाहरणका लागि, अधिक परिमाणको अर्डर कमाए वा सानो ऋणको लागि सोधे, तब Vasya र Fedya को लागी ऋण तिर्न को संभावना समान हुनेछ। अर्को शब्दमा, रैखिक निर्भरतालाई मूर्ख बनाउन सकिँदैन। र यदि हामीले वास्तवमा बाधाहरू गणना गर्यौं , र तिनीहरूलाई पातलो हावाबाट बाहिर लगेन, हामी सुरक्षित रूपमा भन्न सक्छौं कि हाम्रो मानहरू सबै भन्दा राम्रो हामीलाई प्रत्येक उधारकर्ता द्वारा ऋण को चुकौती को सम्भाव्यता अनुमान गर्न अनुमति दिन्छ, तर हामी मान्न सहमत भएका कारण गुणांक को निर्धारण सबै नियमहरू अनुसार गरिएको थियो, त्यसपछि हामी मान्नेछौं - हाम्रो गुणांकहरूले हामीलाई सम्भावनाको राम्रो अनुमान दिन अनुमति दिन्छ :)

तर, हामी बिर्सन्छौँ । यस खण्डमा हामीले वजनको भेक्टर कसरी निर्धारण गरिन्छ भनेर बुझ्न आवश्यक छ , जुन प्रत्येक उधारकर्ताले ऋणको चुक्ता गर्ने सम्भावनाको मूल्याङ्कन गर्न आवश्यक छ।

हामी बाधाहरू खोज्न जाँदा कुन शस्त्रागारको साथ संक्षिप्त रूपमा संक्षेप गरौं :

1. हामीले लक्ष्य चर (पूर्वानुमान मान) र परिणामलाई प्रभाव पार्ने कारक बीचको सम्बन्ध रैखिक छ भनी अनुमान गर्छौं। यस कारणले यो प्रयोग गरिन्छ रैखिक प्रतिगमन प्रकार्य प्रजाति , जसको रेखाले वस्तुहरू (क्लाइन्टहरू) वर्गहरूमा विभाजन गर्दछ и वा (ऋण तिर्न सक्ने ग्राहकहरु र जो छैन)। हाम्रो मामला मा, समीकरण फारम छ .

2. हामी प्रयोग inverse logit प्रकार्य प्रजाति वर्गसँग सम्बन्धित वस्तुको सम्भावना निर्धारण गर्न .

3. हामी हाम्रो प्रशिक्षण सेटलाई सामान्यीकरणको कार्यान्वयनको रूपमा लिन्छौं बर्नौली योजनाहरू, त्यो हो, प्रत्येक वस्तुको लागि एक अनियमित चर उत्पन्न हुन्छ, जुन सम्भावनाको साथ (प्रत्येक वस्तुको लागि यसको आफ्नै) मान 1 र सम्भाव्यतासँग लिन्छ - 0।

4. हामीलाई थाहा छ हामीले अधिकतम गर्न के चाहिन्छ नमूना सम्भावना प्रकार्य स्वीकृत कारकहरूलाई ध्यानमा राख्दै ताकि उपलब्ध नमूना सबैभन्दा प्रशंसनीय हुन्छ। अर्को शब्दहरूमा, हामीले प्यारामिटरहरू चयन गर्न आवश्यक छ जसमा नमूना सबैभन्दा प्रशंसनीय हुनेछ। हाम्रो अवस्थामा, चयन गरिएको प्यारामिटर ऋण चुक्ताको सम्भावना हो , जुन बदलीमा अज्ञात गुणांकहरूमा निर्भर गर्दछ । त्यसैले हामीले यस्तो तौल भेक्टर खोज्न आवश्यक छ , जसमा नमूनाको सम्भावना अधिकतम हुनेछ।

5. हामीलाई के अधिकतम गर्ने थाहा छ नमूना सम्भावना कार्यहरू प्रयोग गर्न सक्दछ अधिकतम सम्भावना विधि। र हामी यो विधि संग काम गर्न सबै मुश्किल चालहरू थाहा छ।

यो कसरी बहु-चरण चाल हुन जान्छ :)

अब याद गर्नुहोस् कि लेखको सुरुमा हामी दुई प्रकारका हानि प्रकार्यहरू प्राप्त गर्न चाहन्थ्यौं लजिस्टिक हानि वस्तु वर्गहरू कसरी नामित गरिन्छ भन्ने आधारमा। यो यस्तो भयो कि दुई वर्ग संग वर्गीकरण समस्या मा, वर्ग को रूप मा चिह्नित गरिन्छ и वा । नोटेशनमा निर्भर गर्दै, आउटपुटसँग सम्बन्धित हानि प्रकार्य हुनेछ।

केस 1. वस्तुहरूको वर्गीकरण मा и

पहिले, नमूनाको सम्भावना निर्धारण गर्दा, जसमा उधारकर्ताले ऋण चुक्ता गर्ने सम्भावना कारक र दिइएको गुणांकको आधारमा गणना गरिएको थियो। , हामीले सूत्र लागू गर्यौं:

वास्तवमा अर्थ छ लजिस्टिक प्रतिक्रिया कार्यहरू दिइएको तौल वेक्टरको लागि

त्यसपछि हामीलाई नमूना सम्भावना प्रकार्य निम्न रूपमा लेख्नबाट केही पनि रोक्दैन:

यस्तो हुन्छ कि कहिलेकाहीँ केहि नौसिखिया विश्लेषकहरूको लागि यो कार्य कसरी काम गर्दछ तुरुन्तै बुझ्न गाह्रो हुन्छ। 4 छोटो उदाहरणहरू हेरौं जसले सबै कुरा स्पष्ट पार्नेछ:

1. यदि (अर्थात, प्रशिक्षण नमूना अनुसार, वस्तु वर्ग +1 को हो), र हाम्रो एल्गोरिदम वर्गमा वस्तु वर्गीकरण गर्ने सम्भाव्यता निर्धारण गर्दछ ०.९ को बराबर, त्यसपछि नमूना सम्भावनाको यो टुक्रा निम्नानुसार गणना गरिनेछ:

2. यदि र , त्यसपछि गणना यस्तो हुनेछ:

3. यदि र , त्यसपछि गणना यस्तो हुनेछ:

4. यदि र , त्यसपछि गणना यस्तो हुनेछ:

यो स्पष्ट छ कि सम्भाव्यता प्रकार्य केस 1 र 3 मा वा सामान्य अवस्थामा - वर्गमा वस्तु तोक्ने सम्भाव्यताहरूको सही अनुमानित मानहरूको साथमा अधिकतम हुनेछ। .

यस तथ्यको कारणले गर्दा वर्गमा वस्तु तोक्ने सम्भाव्यता निर्धारण गर्दा हामीलाई गुणांक मात्र थाहा छैन , त्यसपछि हामी तिनीहरूलाई खोज्नेछौं। माथि उल्लेख गरिए अनुसार, यो एक अप्टिमाइजेसन समस्या हो जसमा पहिले हामीले तौलको भेक्टरको सम्बन्धमा सम्भाव्यता प्रकार्यको व्युत्पन्न खोज्न आवश्यक छ। । यद्यपि, पहिले यो आफैंको लागि कार्यलाई सरल बनाउनको लागि अर्थ बनाउँछ: हामी लोगारिदमको व्युत्पन्न खोज्नेछौं। सम्भावना कार्यहरू.

किन लोगारिदम पछि, in लजिस्टिक त्रुटि कार्यहरू, हामीले चिन्ह परिवर्तन गर्यौं मा । सबै कुरा सरल छ, किनकि मोडेलको गुणस्तरको मूल्याङ्कन गर्ने समस्याहरूमा फंक्शनको मान कम गर्ने प्रचलन छ, हामीले अभिव्यक्तिको दायाँ तर्फ गुणा गर्छौं। र तदनुसार, अधिकतम गर्नुको सट्टा, अब हामी कार्यलाई न्यूनतम गर्छौं।

वास्तवमा, अहिले, तपाईंको आँखा अगाडि, हानि प्रकार्य मेहनतपूर्वक व्युत्पन्न गरिएको थियो - लजिस्टिक हानि दुई कक्षाहरु संग एक प्रशिक्षण सेट को लागी: и .

अब, गुणांक पत्ता लगाउन, हामीले केवल व्युत्पन्न खोज्नु पर्छ लजिस्टिक त्रुटि कार्यहरू र त्यसपछि, ग्रेडियन्ट डिसेन्ट वा स्टोकास्टिक ग्रेडियन्ट डिसेन्ट जस्ता संख्यात्मक अप्टिमाइजेसन विधिहरू प्रयोग गरेर, सबैभन्दा इष्टतम गुणांकहरू चयन गर्नुहोस्। । तर, लेखको पर्याप्त मात्रालाई ध्यानमा राख्दै, यो आफैंमा भिन्नताहरू पूरा गर्न प्रस्ताव गरिएको छ, वा सायद यो अर्को लेखको लागि धेरै अंकगणितको साथ यस्तो विस्तृत उदाहरणहरू बिना विषय हुनेछ।

केस 2. वस्तुहरूको वर्गीकरण मा и

यहाँको दृष्टिकोण कक्षाहरूमा जस्तै हुनेछ и , तर घाटा प्रकार्यको आउटपुटको लागि मार्ग लजिस्टिक हानि, अधिक अलंकृत हुनेछ। सुरु गरौं। सम्भाव्यता प्रकार्यको लागि हामी अपरेटर प्रयोग गर्नेछौं "यदि... तब..."। अर्थात्, यदि औं वस्तु वर्गसँग सम्बन्धित छ , त्यसपछि नमूनाको सम्भावना गणना गर्न हामी सम्भाव्यता प्रयोग गर्छौं , यदि वस्तु वर्गसँग सम्बन्धित छ , त्यसपछि हामी सम्भावना मा प्रतिस्थापन । यो के सम्भावना प्रकार्य जस्तो देखिन्छ:

हामीलाई हाम्रो औंलाहरूमा वर्णन गरौं कि यसले कसरी काम गर्दछ। 4 केसहरू विचार गरौं:

1. यदि и , त्यसपछि नमूना सम्भावना "जान्छ"

2. यदि и , त्यसपछि नमूना सम्भावना "जान्छ"

3. यदि и , त्यसपछि नमूना सम्भावना "जान्छ"

4. यदि и , त्यसपछि नमूना सम्भावना "जान्छ"

यो स्पष्ट छ कि केस 1 र 3 मा, जब सम्भाव्यताहरू एल्गोरिथ्म द्वारा सही रूपमा निर्धारण गरिएको थियो, सम्भावना कार्य अधिकतम बनाइनेछ, त्यो हो, यो हामीले प्राप्त गर्न चाहेको कुरा हो। यद्यपि, यो दृष्टिकोण एकदम बोझिलो छ र अर्को हामी थप कम्प्याक्ट नोटेशनलाई विचार गर्नेछौं। तर पहिले, चिन्ह परिवर्तनको साथ सम्भावना प्रकार्यलाई लगरिथम गरौं, किनकि अब हामी यसलाई न्यूनतम गर्नेछौं।

बरु प्रतिस्थापन गरौं अभिव्यक्ति :

सरल अंकगणितीय प्रविधिहरू प्रयोग गरेर लोगारिदम अन्तर्गत सही शब्दलाई सरल बनाउनुहोस् र प्राप्त गर्नुहोस्:

अब यो अपरेटरबाट छुटकारा पाउन समय हो "यदि... तब..."। नोट गर्नुहोस् कि जब कुनै वस्तु वर्गसँग सम्बन्धित छ , त्यसपछि लोगारिदम अन्तर्गत अभिव्यक्तिमा, भाजकमा, शक्तिमा उठाइयो , यदि वस्तु वर्गसँग सम्बन्धित छ , त्यसपछि $e$ पावरमा उठाइएको छ । तसर्थ, डिग्रीको लागि नोटेशन दुवै केसहरूलाई एकमा जोडेर सरलीकृत गर्न सकिन्छ: ... त्यसो भए लजिस्टिक त्रुटि प्रकार्य फारम लिनेछ:

लोगारिदमका नियमहरू अनुसार, हामी अंशलाई घुमाउँछौं र चिन्ह बाहिर राख्छौं "" (माइनस) लोगारिदमको लागि, हामी पाउँछौं:

यहाँ हानि प्रकार्य छ रसद घाटा, जुन कक्षाहरूमा तोकिएको वस्तुहरूसँग प्रशिक्षण सेटमा प्रयोग गरिन्छ: и .

ठीक छ, यस बिन्दुमा म मेरो बिदा लिन्छु र हामी लेख समाप्त गर्छौं।

लेखकको अघिल्लो काम "मैट्रिक्स फारममा रैखिक प्रतिगमन समीकरण ल्याउँदै" हो।

सहायक सामग्री

1। साहित्य

1) लागू प्रतिगमन विश्लेषण / N. Draper, G. Smith - 2nd Ed. - एम.: वित्त र तथ्याङ्क, 1986 (अंग्रेजीबाट अनुवाद)

2) सम्भाव्यता सिद्धान्त र गणितीय तथ्याङ्क / V.E। Gmurman - 9 औं संस्करण। - M.: उच्च विद्यालय, 2003

3) सम्भाव्यता सिद्धान्त / N.I चेर्नोवा - नोवोसिबिर्स्क: नोवोसिबिर्स्क स्टेट युनिभर्सिटी, २००७

4) व्यापार विश्लेषण: डाटा देखि ज्ञान / Paklin N. B., ओरेशकोभ V. I. - 2nd संस्करण। — सेन्ट पीटर्सबर्ग: पिटर, २०१३

5) डाटा विज्ञान स्क्र्याचबाट डाटा विज्ञान / जोएल ग्रास - सेन्ट पीटर्सबर्ग: BHV Petersburg, 2017

6) डेटा विज्ञान विशेषज्ञहरूका लागि व्यावहारिक तथ्याङ्कहरू / P. Bruce, E. Bruce - St. Petersburg: BHV Petersburg, 2018

२. व्याख्यान, पाठ्यक्रम (भिडियो)

1) अधिकतम संभावना विधि को सार, बोरिस Demeshev

2) लगातार मामला मा अधिकतम संभावना विधि, बोरिस Demeshev

3) लजिस्टिक प्रतिगमन। ओडीएस कोर्स खोल्नुहोस्, युरी काश्नित्स्की

4) व्याख्यान 4, Evgeny Sokolov (भिडियो को 47 मिनेट बाट)

5) लजिस्टिक रिग्रेशन, व्याचेस्लाव वोरन्ट्सोव

3. इन्टरनेट स्रोतहरू

1) रैखिक वर्गीकरण र प्रतिगमन मोडेलहरू

2) लजिस्टिक रिग्रेसन कसरी सजिलै बुझ्ने

3) लजिस्टिक त्रुटि प्रकार्य

4) स्वतन्त्र परीक्षण र Bernoulli सूत्र

5) MMP को गीत

6) अधिकतम सम्भावना विधि

7) लोगारिदमका सूत्र र गुणहरू

8) किन नम्बर ?

9) रैखिक वर्गीकरणकर्ता

स्रोत: www.habr.com