લોજિસ્ટિક રીગ્રેસન પર ચ્યુઇંગ

આ લેખમાં, અમે પરિવર્તનની સૈદ્ધાંતિક ગણતરીઓનું વિશ્લેષણ કરીશું રેખીય રીગ્રેસન કાર્યો в વ્યસ્ત લોગિટ ટ્રાન્સફોર્મેશન ફંક્શન (અન્યથા લોજિસ્ટિક રિસ્પોન્સ ફંક્શન કહેવાય છે). પછી, શસ્ત્રાગારનો ઉપયોગ કરીને મહત્તમ સંભાવના પદ્ધતિ, લોજિસ્ટિક રીગ્રેશન મોડલ અનુસાર, અમે નુકશાન કાર્ય મેળવીએ છીએ લોજિસ્ટિક નુકશાન, અથવા બીજા શબ્દોમાં કહીએ તો, અમે એક કાર્ય વ્યાખ્યાયિત કરીશું જેની સાથે લોજિસ્ટિક રીગ્રેશન મોડેલમાં વજન વેક્ટરના પરિમાણો પસંદ કરવામાં આવ્યા છે. .

લેખની રૂપરેખા:

1. ચાલો બે ચલો વચ્ચેના રેખીય સંબંધનું પુનરાવર્તન કરીએ
2. ચાલો પરિવર્તનની જરૂરિયાતને ઓળખીએ રેખીય રીગ્રેસન કાર્યો в લોજિસ્ટિક પ્રતિભાવ કાર્ય
3. ચાલો પરિવર્તન અને આઉટપુટ હાથ ધરીએ લોજિસ્ટિક પ્રતિભાવ કાર્ય
4. ચાલો સમજવાનો પ્રયત્ન કરીએ કે પરિમાણો પસંદ કરતી વખતે શા માટે ઓછામાં ઓછી ચોરસ પદ્ધતિ ખરાબ છે કાર્યો લોજિસ્ટિક નુકશાન
5. અમે ઉપયોગ કરીએ છીએ મહત્તમ સંભાવના પદ્ધતિ નક્કી કરવા માટે પરિમાણ પસંદગી કાર્યો :

   5.1. કેસ 1: કાર્ય લોજિસ્ટિક નુકશાન વર્ગ હોદ્દો સાથે વસ્તુઓ માટે 0 и 1:

   

   5.2. કેસ 2: કાર્ય લોજિસ્ટિક નુકશાન વર્ગ હોદ્દો સાથે વસ્તુઓ માટે -1 и +1:

   

લેખ સરળ ઉદાહરણોથી ભરપૂર છે જેમાં બધી ગણતરીઓ મૌખિક રીતે અથવા કાગળ પર કરવી સરળ છે; કેટલાક કિસ્સાઓમાં, કેલ્ક્યુલેટરની જરૂર પડી શકે છે. તો તૈયાર થઈ જાઓ :)

આ લેખ મુખ્યત્વે મશીન લર્નિંગની મૂળભૂત બાબતોમાં પ્રારંભિક સ્તરનું જ્ઞાન ધરાવતા ડેટા વૈજ્ઞાનિકો માટે બનાવાયેલ છે.

લેખ આલેખ અને ગણતરીઓ દોરવા માટે કોડ પણ પ્રદાન કરશે. બધા કોડ ભાષામાં લખેલા છે અજગર 2.7. મને વપરાયેલ સંસ્કરણની "નવીનતા" વિશે અગાઉથી સમજાવવા દો - આમાંથી જાણીતા અભ્યાસક્રમ લેવા માટેની આ એક શરતો છે. યાન્ડેક્ષ સમાન રીતે જાણીતા ઑનલાઇન શિક્ષણ પ્લેટફોર્મ પર Coursera, અને, જેમ કે કોઈ ધારે છે, સામગ્રી આ અભ્યાસક્રમના આધારે તૈયાર કરવામાં આવી હતી.

01. સીધી રેખા અવલંબન

પ્રશ્ન પૂછવો એકદમ વાજબી છે - રેખીય અવલંબન અને લોજિસ્ટિક રીગ્રેશનને તેની સાથે શું લેવાદેવા છે?

તે સરળ છે! લોજિસ્ટિક રીગ્રેશન એ એક મોડેલ છે જે રેખીય વર્ગીકૃત સાથે સંબંધિત છે. સરળ શબ્દોમાં, રેખીય વર્ગીકૃતનું કાર્ય લક્ષ્ય મૂલ્યોની આગાહી કરવાનું છે ચલોમાંથી (રીગ્રેસર) . એવું માનવામાં આવે છે કે લાક્ષણિકતાઓ વચ્ચે અવલંબન અને લક્ષ્ય મૂલ્યો રેખીય તેથી વર્ગીકૃતનું નામ - રેખીય. તેને એકદમ સામાન્ય રીતે કહીએ તો, લોજિસ્ટિક રીગ્રેશન મોડલ એ ધારણા પર આધારિત છે કે લાક્ષણિકતાઓ વચ્ચે રેખીય સંબંધ છે. અને લક્ષ્ય મૂલ્યો . આ જોડાણ છે.

સ્ટુડિયોમાં પ્રથમ ઉદાહરણ છે, અને તે, યોગ્ય રીતે, અભ્યાસ કરવામાં આવી રહેલા જથ્થાના સંતુલિત નિર્ભરતા વિશે છે. લેખ તૈયાર કરવાની પ્રક્રિયામાં, મને એક ઉદાહરણ મળ્યું જેણે ઘણા લોકોને પહેલેથી જ ધાર પર સેટ કર્યા છે - વોલ્ટેજ પર વર્તમાનની અવલંબન ("એપ્લાઇડ રીગ્રેશન એનાલિસિસ", એન. ડ્રેપર, જી. સ્મિથ). અમે તેને અહીં પણ જોઈશું.

અનુસાર ઓહ્મનો કાયદો:

જ્યાં - વર્તમાન તાકાત, - વિદ્યુત્સ્થીતિમાન, - પ્રતિકાર.

જો અમને ખબર ન હતી ઓહ્મનો કાયદો, તો પછી આપણે બદલીને અનુભવપૂર્વક અવલંબન શોધી શકીએ છીએ અને માપન , સમર્થન કરતી વખતે નિશ્ચિત પછી આપણે જોઈશું કે અવલંબન ગ્રાફ થી મૂળ દ્વારા વધુ કે ઓછી સીધી રેખા આપે છે. અમે "વધુ કે ઓછું" કહીએ છીએ કારણ કે, સંબંધ વાસ્તવમાં સચોટ હોવા છતાં, અમારા માપમાં નાની ભૂલો હોઈ શકે છે, અને તેથી ગ્રાફ પરના બિંદુઓ બરાબર રેખા પર ન આવી શકે, પરંતુ તેની આસપાસ અવ્યવસ્થિત રીતે વિખેરાઈ જશે.

ગ્રાફ 1 "નિર્ભરતા" થી »

ચાર્ટ ડ્રોઇંગ કોડ

import matplotlib.pyplot as plt
%matplotlib inline

import numpy as np

import random

R = 13.75

x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
    y_line.append(i/R)
    
y_dot = []
for i in y_line:
    y_dot.append(i+random.uniform(-0.9,0.9))


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Actual results')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

02. રેખીય રીગ્રેસન સમીકરણને બદલવાની જરૂરિયાત

ચાલો બીજું ઉદાહરણ જોઈએ. ચાલો કલ્પના કરીએ કે અમે બેંકમાં કામ કરીએ છીએ અને અમારું કાર્ય ચોક્કસ પરિબળોના આધારે લોન લેનાર દ્વારા ચૂકવણી કરવાની સંભાવના નક્કી કરવાનું છે. કાર્યને સરળ બનાવવા માટે, અમે ફક્ત બે પરિબળોને ધ્યાનમાં લઈશું: લેનારાનો માસિક પગાર અને માસિક લોનની ચુકવણીની રકમ.

કાર્ય ખૂબ જ શરતી છે, પરંતુ આ ઉદાહરણથી આપણે સમજી શકીએ છીએ કે તેનો ઉપયોગ કરવા માટે શા માટે પૂરતું નથી રેખીય રીગ્રેસન કાર્યો, અને એ પણ શોધો કે ફંક્શન સાથે કયા રૂપાંતરણો કરવાની જરૂર છે.

ચાલો ઉદાહરણ પર પાછા ફરીએ. તે સમજી શકાય છે કે પગાર જેટલો ઊંચો હશે, તેટલો વધુ લેનારા લોનની ચુકવણી માટે માસિક ફાળવી શકશે. તે જ સમયે, ચોક્કસ પગાર શ્રેણી માટે આ સંબંધ એકદમ રેખીય હશે. ઉદાહરણ તરીકે, ચાલો 60.000 RUR થી 200.000 RUR સુધીની પગાર શ્રેણી લઈએ અને ધારીએ કે ઉલ્લેખિત પગાર શ્રેણીમાં, પગારના કદ પર માસિક ચુકવણીના કદની અવલંબન રેખીય છે. ચાલો કહીએ કે વેતનની નિર્દિષ્ટ શ્રેણી માટે તે બહાર આવ્યું છે કે પગાર-થી-ચુકવણી ગુણોત્તર 3 થી નીચે ન આવી શકે અને લેનારા પાસે હજુ પણ 5.000 RUR અનામત હોવું આવશ્યક છે. અને માત્ર આ કિસ્સામાં, અમે ધારીશું કે લેનારા બેંકને લોન ચૂકવશે. પછી, રેખીય રીગ્રેસન સમીકરણ ફોર્મ લેશે:

જ્યાં , , , - પગાર -મો ઉધાર લેનાર, - લોન ચુકવણી -મો ઉધાર લેનાર.

સમીકરણમાં નિશ્ચિત પરિમાણો સાથે પગાર અને લોનની ચુકવણીની અવેજીમાં તમે નક્કી કરી શકો છો કે લોન જારી કરવી કે નકારવી.

આગળ જોતાં, અમે નોંધ કરીએ છીએ કે, આપેલ પરિમાણો સાથે રેખીય રીગ્રેસન કાર્યમાં વપરાય છે લોજિસ્ટિક પ્રતિભાવ કાર્યો મોટા મૂલ્યો ઉત્પન્ન કરશે જે લોનની ચુકવણીની સંભાવનાઓ નક્કી કરવા માટે ગણતરીઓને જટિલ બનાવશે. તેથી, અમારા ગુણાંકને 25.000 ગણો ઘટાડવાનો પ્રસ્તાવ છે. ગુણાંકમાં આ પરિવર્તન લોન આપવાના નિર્ણયને બદલશે નહીં. ચાલો ભવિષ્ય માટે આ મુદ્દાને યાદ રાખીએ, પરંતુ હવે, આપણે જેની વાત કરી રહ્યા છીએ તે વધુ સ્પષ્ટ કરવા માટે, ચાલો ત્રણ સંભવિત ઉધાર લેનારાઓની પરિસ્થિતિને ધ્યાનમાં લઈએ.

કોષ્ટક 1 "સંભવિત ઉધાર લેનારાઓ"

ટેબલ જનરેટ કરવા માટેનો કોડ

import pandas as pd

r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r

data = {'The borrower':np.array(['Vasya', 'Fedya', 'Lesha']), 
        'Salary':np.array([120000,180000,210000]),
       'Payment':np.array([3000,50000,70000])}

df = pd.DataFrame(data)

df['f(w,x)'] = w_0 + df['Salary']*w_1 + df['Payment']*w_2

decision = []
for i in df['f(w,x)']:
    if i > 0:
        dec = 'Approved'
        decision.append(dec)
    else:
        dec = 'Refusal'
        decision.append(dec)
        
df['Decision'] = decision

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision']]

કોષ્ટકમાંના ડેટા અનુસાર, વાસ્યા, 120.000 RUR ના પગાર સાથે, લોન મેળવવા માંગે છે જેથી તે તેને માસિક 3.000 RUR પર ચૂકવી શકે. અમે નક્કી કર્યું છે કે લોન મંજૂર કરવા માટે, વાસ્યાનો પગાર ચૂકવણીની રકમ કરતાં ત્રણ ગણો વધુ હોવો જોઈએ અને હજુ પણ 5.000 RUR બાકી હોવા જોઈએ. વાસ્યા આ જરૂરિયાતને સંતોષે છે: . 106.000 RUR પણ બાકી છે. હકીકત એ છે કે જ્યારે ગણતરી અમે મતભેદો ઘટાડી દીધા છે 25.000 વખત, પરિણામ સમાન હતું - લોન મંજૂર કરી શકાય છે. ફેડ્યાને પણ લોન મળશે, પરંતુ લેશા, તે સૌથી વધુ મેળવે છે તે હકીકત હોવા છતાં, તેની ભૂખને કાબૂમાં રાખવી પડશે.

ચાલો આ કેસ માટે ગ્રાફ દોરીએ.

ચાર્ટ 2 "ઉધાર લેનારાઓનું વર્ગીકરણ"

ગ્રાફ દોરવા માટેનો કોડ

salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'], 
         'o', color ='green', markersize = 12, label = 'Decision - Loan approved')
plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'], 
         's', color = 'red', markersize = 12, label = 'Decision - Loan refusal')
plt.xlabel('Salary', size = 16)
plt.ylabel('Payment', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

તેથી, આપણી સીધી રેખા, ફંક્શન અનુસાર બનાવવામાં આવી છે , "ખરાબ" ઉધાર લેનારાઓને "સારા" થી અલગ કરે છે. તે ઉધાર લેનારાઓ કે જેમની ઇચ્છાઓ તેમની ક્ષમતાઓ સાથે સુસંગત નથી તેઓ લાઇન (લેશા) થી ઉપર છે, જ્યારે જેઓ, અમારા મોડેલના પરિમાણો અનુસાર, લોન ચૂકવવામાં સક્ષમ છે તેઓ લાઇનની નીચે છે (વાસ્યા અને ફેડ્યા). બીજા શબ્દોમાં કહીએ તો, આપણે આ કહી શકીએ: અમારી સીધી રેખા ઋણ લેનારાઓને બે વર્ગોમાં વિભાજિત કરે છે. ચાલો તેમને નીચે પ્રમાણે સૂચિત કરીએ: વર્ગ માટે અમે તે ઉધાર લેનારાઓને વર્ગીકૃત કરીશું કે જેઓ લોનની ચુકવણી કરે તેવી શક્યતા છે અથવા અમે તે ઉધાર લેનારાઓનો સમાવેશ કરીશું જેઓ મોટાભાગે લોનની ચૂકવણી કરી શકશે નહીં.

ચાલો આ સરળ ઉદાહરણમાંથી નિષ્કર્ષનો સારાંશ આપીએ. ચાલો એક મુદ્દો લઈએ અને, બિંદુના કોઓર્ડિનેટ્સને રેખાના અનુરૂપ સમીકરણમાં બદલીને , ત્રણ વિકલ્પો ધ્યાનમાં લો:

1. જો બિંદુ રેખા હેઠળ છે અને અમે તેને વર્ગને સોંપીએ છીએ , પછી ફંક્શનની કિંમત થી હકારાત્મક રહેશે માટે . આનો અર્થ એ છે કે આપણે ધારી શકીએ છીએ કે લોન ચૂકવવાની સંભાવના અંદર છે . કાર્ય મૂલ્ય જેટલું મોટું છે, સંભાવના વધારે છે.
2. જો કોઈ બિંદુ રેખાની ઉપર હોય અને અમે તેને વર્ગને સોંપીએ છીએ અથવા , તો ફંક્શનની કિંમત માંથી નકારાત્મક હશે માટે . પછી આપણે ધારીશું કે દેવાની ચુકવણીની સંભાવના અંદર છે અને, કાર્યનું સંપૂર્ણ મૂલ્ય જેટલું વધારે છે, તેટલો આપણો આત્મવિશ્વાસ વધારે છે.
3. બિંદુ સીધી રેખા પર છે, બે વર્ગો વચ્ચેની સીમા પર છે. આ કિસ્સામાં, કાર્યનું મૂલ્ય સમાન હશે અને લોન ચૂકવવાની સંભાવના સમાન છે .

હવે, ચાલો કલ્પના કરીએ કે આપણી પાસે બે પરિબળો નથી, પરંતુ ડઝનેક, અને ત્રણ નહીં, પરંતુ હજારો ઉધાર લેનારાઓ છે. પછી સીધી રેખાને બદલે આપણી પાસે હશે m-પરિમાણીય પ્લેન અને ગુણાંક અમને પાતળી હવામાંથી બહાર કાઢવામાં આવશે નહીં, પરંતુ તમામ નિયમો અનુસાર, અને લોન લેનારાઓ પરના સંચિત ડેટાના આધારે કે જેમણે લોન ચૂકવી છે અથવા ચૂકવી નથી. અને ખરેખર, નોંધ લો કે અમે હવે પહેલાથી જાણીતા ગુણાંકનો ઉપયોગ કરીને ઉધાર લેનારાઓને પસંદ કરી રહ્યા છીએ . હકીકતમાં, લોજિસ્ટિક રીગ્રેશન મોડલનું કાર્ય ચોક્કસ રીતે પરિમાણો નક્કી કરવાનું છે , જેના પર નુકશાન કાર્યનું મૂલ્ય લોજિસ્ટિક નુકશાન લઘુત્તમ માટે વલણ કરશે. પરંતુ વેક્ટરની ગણતરી કેવી રીતે કરવામાં આવે છે તે વિશે , અમે લેખના 5મા વિભાગમાં વધુ શોધીશું. આ દરમિયાન, અમે વચન આપેલી જમીન પર પાછા આવીએ છીએ - અમારા બેંકર અને તેના ત્રણ ગ્રાહકોને.

કાર્ય માટે આભાર અમે જાણીએ છીએ કે કોને લોન આપી શકાય અને કોને ના પાડવાની જરૂર છે. પરંતુ તમે આવી માહિતી સાથે ડિરેક્ટર પાસે જઈ શકતા નથી, કારણ કે તેઓ અમારી પાસેથી દરેક લેનારા દ્વારા લોનની ચુકવણીની સંભાવના મેળવવા માંગતા હતા. શુ કરવુ? જવાબ સરળ છે - આપણે ફંક્શનને કોઈક રીતે રૂપાંતરિત કરવાની જરૂર છે , જેના મૂલ્યો શ્રેણીમાં આવેલા છે ફંક્શન માટે કે જેના મૂલ્યો શ્રેણીમાં હશે . અને આવા કાર્ય અસ્તિત્વમાં છે, તેને કહેવામાં આવે છે લોજિસ્ટિક રિસ્પોન્સ ફંક્શન અથવા ઇન્વર્સ-લોગિટ ટ્રાન્સફોર્મેશન. મળો:

ચાલો જોઈએ કે તે કેવી રીતે કાર્ય કરે છે લોજિસ્ટિક પ્રતિભાવ કાર્ય. નોંધ કરો કે આપણે વિરુદ્ધ દિશામાં ચાલીશું, એટલે કે. અમે ધારીશું કે અમે સંભાવના મૂલ્ય જાણીએ છીએ, જે થી શ્રેણીમાં આવેલું છે માટે અને પછી આપણે આ મૂલ્યને થી નંબરોની સમગ્ર શ્રેણીમાં "અનવાઇન્ડ" કરીશું માટે .

03. અમે લોજિસ્ટિક રિસ્પોન્સ ફંક્શન મેળવીએ છીએ

પગલું 1. સંભાવના મૂલ્યોને શ્રેણીમાં રૂપાંતરિત કરો

કાર્યના પરિવર્તન દરમિયાન в લોજિસ્ટિક પ્રતિભાવ કાર્ય અમે અમારા ક્રેડિટ વિશ્લેષકને એકલા છોડીશું અને તેના બદલે બુકીઓની મુલાકાત લઈશું. ના, અલબત્ત, અમે બેટ્સ લગાવીશું નહીં, અમને જે રુચિ છે તે અભિવ્યક્તિનો અર્થ છે, ઉદાહરણ તરીકે, તક 4 થી 1 છે. મતભેદ, બધા દાવ લગાવનારાઓને પરિચિત છે, તે "સફળતા" અને "સફળતાઓ" નો ગુણોત્તર છે. નિષ્ફળતાઓ" સંભાવનાની શરતોમાં, મતભેદ એ ઘટનાની સંભાવના છે જે ઘટના ન બનવાની સંભાવના દ્વારા ભાગવામાં આવે છે. ચાલો ઘટના બનવાની તક માટે સૂત્ર લખીએ :

જ્યાં - ઘટના બનવાની સંભાવના, - ઘટના ન બનવાની સંભાવના

ઉદાહરણ તરીકે, જો "વેટેરોક" હુલામણું નામનો યુવાન, મજબૂત અને રમતિયાળ ઘોડો રેસમાં "માટિલ્ડા" નામની વૃદ્ધ અને ચપળ વૃદ્ધ મહિલાને હરાવવાની સંભાવના બરાબર છે , તો પછી “Veterok” માટે સફળતાની શક્યતાઓ હશે к અને તેનાથી વિપરિત, મતભેદોને જાણીને, અમારા માટે સંભાવનાની ગણતરી કરવી મુશ્કેલ રહેશે નહીં :

આમ, અમે સંભાવનાને તકોમાં "અનુવાદ" કરવાનું શીખ્યા છે, જેમાંથી મૂલ્યો લેવામાં આવે છે માટે . ચાલો એક વધુ પગલું લઈએ અને આખી સંખ્યા રેખામાં સંભાવનાને "અનુવાદ" કરતા શીખીએ માટે .

પગલું 2. સંભાવના મૂલ્યોને શ્રેણીમાં રૂપાંતરિત કરો

આ પગલું ખૂબ જ સરળ છે - ચાલો ઓડ્સના લઘુગણકને યુલરની સંખ્યાના આધાર પર લઈએ અને અમને મળે છે:

હવે આપણે જાણીએ છીએ કે જો , પછી મૂલ્યની ગણતરી કરો ખૂબ જ સરળ હશે અને વધુમાં, તે હકારાત્મક હોવું જોઈએ: . આ સાચું છે.

જિજ્ઞાસા બહાર, ચાલો તપાસીએ કે શું છે , પછી આપણે નકારાત્મક મૂલ્ય જોવાની અપેક્ષા રાખીએ છીએ . અમે તપાસીએ છીએ: . તે સાચું છે.

હવે આપણે જાણીએ છીએ કે સંભવિતતા મૂલ્યને કેવી રીતે કન્વર્ટ કરવું માટે થી સમગ્ર સંખ્યા રેખા સાથે માટે . આગલા પગલામાં આપણે તેનાથી વિપરીત કરીશું.

હમણાં માટે, અમે નોંધીએ છીએ કે લૉગરિધમના નિયમો અનુસાર, ફંક્શનની કિંમત જાણીને , તમે મતભેદની ગણતરી કરી શકો છો:

મતભેદ નક્કી કરવાની આ પદ્ધતિ આગળના પગલામાં અમને ઉપયોગી થશે.

પગલું 3. ચાલો નક્કી કરવા માટે એક સૂત્ર મેળવીએ

તેથી અમે શીખ્યા, જાણીને , કાર્ય મૂલ્યો શોધો . જો કે, હકીકતમાં, આપણને બરાબર વિરુદ્ધની જરૂર છે - મૂલ્ય જાણવું શોધવા માટે . આ કરવા માટે, ચાલો આપણે ઇન્વર્સ ઓડ્સ ફંક્શન જેવા ખ્યાલ તરફ વળીએ, જે મુજબ:

લેખમાં આપણે ઉપરોક્ત સૂત્ર મેળવીશું નહીં, પરંતુ અમે ઉપરના ઉદાહરણમાંથી સંખ્યાઓનો ઉપયોગ કરીને તેને તપાસીશું. આપણે જાણીએ છીએ કે 4 થી 1 (), ઘટના બનવાની સંભાવના 0.8 છે (). ચાલો એક અવેજી બનાવીએ: . આ અમારી અગાઉ કરવામાં આવેલી ગણતરીઓ સાથે એકરુપ છે. ચલો આગળ વધીએ.

છેલ્લા પગલામાં અમે તે અનુમાન કર્યું , જેનો અર્થ છે કે તમે વ્યસ્ત મતભેદ કાર્યમાં અવેજી કરી શકો છો. અમને મળે છે:

અંશ અને છેદ બંનેને વડે વિભાજિત કરો , પછી:

માત્ર કિસ્સામાં, અમે ક્યાંય ભૂલ કરી નથી તેની ખાતરી કરવા માટે, અમે વધુ એક નાની તપાસ કરીશું. પગલું 2 માં, અમે માટે તે નક્કી કર્યું . પછી, મૂલ્યને બદલીને લોજિસ્ટિક રિસ્પોન્સ ફંક્શનમાં, અમે મેળવવાની અપેક્ષા રાખીએ છીએ . અમે અવેજી અને મેળવીએ છીએ:

અભિનંદન, પ્રિય વાચક, અમે હમણાં જ લોજિસ્ટિક રિસ્પોન્સ ફંક્શન મેળવ્યું છે અને તેનું પરીક્ષણ કર્યું છે. ચાલો ફંક્શનનો ગ્રાફ જોઈએ.

ગ્રાફ 3 "લોજિસ્ટિક રિસ્પોન્સ ફંક્શન"

ગ્રાફ દોરવા માટેનો કોડ

import math

def logit (f):
    return 1/(1+math.exp(-f))

f = np.arange(-7,7,0.05)
p = []

for i in f:
    p.append(logit(i))

fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

સાહિત્યમાં તમે આ કાર્યનું નામ પણ શોધી શકો છો સિગ્મોઇડ કાર્ય. આલેખ સ્પષ્ટપણે દર્શાવે છે કે વર્ગ સાથે જોડાયેલા પદાર્થની સંભાવનામાં મુખ્ય ફેરફાર પ્રમાણમાં નાની શ્રેણીમાં થાય છે. , ક્યાંક થી માટે .

હું અમારા ક્રેડિટ વિશ્લેષક પાસે પાછા ફરવાનું સૂચન કરું છું અને તેને લોનની ચુકવણીની સંભાવનાની ગણતરી કરવામાં મદદ કરું છું, અન્યથા તેને બોનસ વિના છોડી દેવાનું જોખમ છે :)

કોષ્ટક 2 "સંભવિત ઉધાર લેનારાઓ"

ટેબલ જનરેટ કરવા માટેનો કોડ

proba = []
for i in df['f(w,x)']:
    proba.append(round(logit(i),2))
    
df['Probability'] = proba

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision', 'Probability']]

તેથી, અમે લોનની ચુકવણીની સંભાવના નક્કી કરી છે. સામાન્ય રીતે, આ સાચું લાગે છે.

ખરેખર, 120.000 RUR ના પગાર સાથે વાસ્યા દર મહિને બેંકને 3.000 RUR આપી શકશે તેવી સંભાવના 100% ની નજીક છે. માર્ગ દ્વારા, આપણે સમજવું જોઈએ કે બેંક લેશાને લોન આપી શકે છે જો બેંકની નીતિ પ્રદાન કરે છે, ઉદાહરણ તરીકે, 0.3 કરતાં વધુની લોનની ચુકવણીની સંભાવના ધરાવતા ગ્રાહકોને ધિરાણ આપવા માટે. તે માત્ર એટલું જ છે કે આ કિસ્સામાં બેંક સંભવિત નુકસાન માટે મોટી અનામત બનાવશે.

એ પણ નોંધવું જોઈએ કે ઓછામાં ઓછા 3 નો પગાર-થી-ચુકવણી ગુણોત્તર અને 5.000 RUR ના માર્જિન સાથે ટોચમર્યાદામાંથી લેવામાં આવ્યો હતો. તેથી, અમે વજનના વેક્ટરનો તેના મૂળ સ્વરૂપમાં ઉપયોગ કરી શક્યા નથી . અમારે ગુણાંકને મોટા પ્રમાણમાં ઘટાડવાની જરૂર હતી, અને આ કિસ્સામાં અમે દરેક ગુણાંકને 25.000 વડે વિભાજિત કર્યા, એટલે કે, સારમાં, અમે પરિણામને સમાયોજિત કર્યું. પરંતુ આ ખાસ કરીને પ્રારંભિક તબક્કે સામગ્રીની સમજને સરળ બનાવવા માટે કરવામાં આવ્યું હતું. જીવનમાં, આપણે ગુણાંકની શોધ અને સમાયોજિત કરવાની જરૂર નથી, પરંતુ તેમને શોધવાની જરૂર પડશે. લેખના આગળના વિભાગોમાં આપણે સમીકરણો મેળવીશું જેની સાથે પરિમાણો પસંદ કરવામાં આવ્યા છે .

04. વજનના વેક્ટરને નક્કી કરવા માટે લઘુત્તમ ચોરસ પદ્ધતિ લોજિસ્ટિક રિસ્પોન્સ ફંક્શનમાં

વજનના વેક્ટરને પસંદ કરવા માટેની આ પદ્ધતિ આપણે પહેલાથી જ જાણીએ છીએ , તરીકે ન્યૂનતમ ચોરસ પદ્ધતિ (LSM) અને વાસ્તવમાં, શા માટે આપણે દ્વિસંગી વર્ગીકરણ સમસ્યાઓમાં તેનો ઉપયોગ કરતા નથી? ખરેખર, કંઈપણ તમને ઉપયોગ કરવાથી અટકાવતું નથી MNC, વર્ગીકરણ સમસ્યાઓમાં માત્ર આ પદ્ધતિ પરિણામ આપે છે જે કરતાં ઓછા સચોટ છે લોજિસ્ટિક નુકશાન. આ માટે એક સૈદ્ધાંતિક આધાર છે. ચાલો પહેલા એક સરળ ઉદાહરણ જોઈએ.

ચાલો ધારીએ કે અમારા મોડેલો (ઉપયોગ કરીને એમએસઈ и લોજિસ્ટિક નુકશાન) પહેલેથી જ વજનના વેક્ટરને પસંદ કરવાનું શરૂ કરી દીધું છે અને અમે અમુક તબક્કે ગણતરી બંધ કરી દીધી. મધ્યમાં, અંતમાં અથવા શરૂઆતમાં તે કોઈ વાંધો નથી, મુખ્ય વસ્તુ એ છે કે આપણી પાસે પહેલેથી જ વજનના વેક્ટરના કેટલાક મૂલ્યો છે અને ચાલો ધારીએ કે આ પગલા પર, વજનનો વેક્ટર બંને મોડેલો માટે કોઈ તફાવત નથી. પછી પરિણામી વજન લો અને તેને બદલો લોજિસ્ટિક પ્રતિભાવ કાર્ય () અમુક ઑબ્જેક્ટ માટે કે જે વર્ગની છે . અમે બે કિસ્સાઓ તપાસીએ છીએ જ્યારે, વજનના પસંદ કરેલા વેક્ટર અનુસાર, અમારું મોડેલ ખૂબ જ ભૂલભરેલું છે અને તેનાથી ઊલટું - મોડેલને ખૂબ વિશ્વાસ છે કે ઑબ્જેક્ટ વર્ગની છે. . ચાલો જોઈએ કે ઉપયોગ કરતી વખતે શું દંડ ફટકારવામાં આવશે MNC и લોજિસ્ટિક નુકશાન.

વપરાયેલ નુકશાન કાર્યના આધારે દંડની ગણતરી કરવા માટેનો કોડ

# класс объекта
y = 1
# вероятность отнесения объекта к классу в соответствии с параметрами w
proba_1 = 0.01

MSE_1 = (y - proba_1)**2
print 'Штраф MSE при грубой ошибке =', MSE_1

# напишем функцию для вычисления f(w,x) при известной вероятности отнесения объекта к классу +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
    return math.log(proba/(1-proba)) 

LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'Штраф Log Loss при грубой ошибке =', LogLoss_1

proba_2 = 0.99

MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))

print '**************************************************************'
print 'Штраф MSE при сильной уверенности =', MSE_2
print 'Штраф Log Loss при сильной уверенности =', LogLoss_2

એક ભૂલનો કિસ્સો - મોડેલ વર્ગને ઑબ્જેક્ટ સોંપે છે 0,01 ની સંભાવના સાથે

ઉપયોગ પર દંડ MNC હશે:

ઉપયોગ પર દંડ લોજિસ્ટિક નુકશાન હશે:

મજબૂત આત્મવિશ્વાસનો કેસ - મોડેલ વર્ગને ઑબ્જેક્ટ સોંપે છે 0,99 ની સંભાવના સાથે

ઉપયોગ પર દંડ MNC હશે:

ઉપયોગ પર દંડ લોજિસ્ટિક નુકશાન હશે:

આ ઉદાહરણ સારી રીતે સમજાવે છે કે એકંદર ભૂલના કિસ્સામાં નુકશાન કાર્ય લોગ નુકશાન કરતાં નોંધપાત્ર રીતે વધુ મોડેલને દંડ કરે છે એમએસઈ. ચાલો હવે સમજીએ કે નુકશાન કાર્યનો ઉપયોગ કરવાની સૈદ્ધાંતિક પૃષ્ઠભૂમિ શું છે લોગ નુકશાન વર્ગીકરણ સમસ્યાઓમાં.

05. મહત્તમ સંભાવના પદ્ધતિ અને લોજિસ્ટિક રીગ્રેશન

શરૂઆતમાં વચન આપ્યા મુજબ, લેખ સરળ ઉદાહરણોથી ભરપૂર છે. સ્ટુડિયોમાં બીજું ઉદાહરણ છે અને જૂના મહેમાનો - બેંક લેનારાઓ: વાસ્યા, ફેડ્યા અને લેશા.

માત્ર કિસ્સામાં, ઉદાહરણ વિકસાવતા પહેલા, હું તમને યાદ અપાવી દઉં કે જીવનમાં આપણે દસ અથવા સેંકડો સુવિધાઓ સાથે હજારો અથવા લાખો ઑબ્જેક્ટના તાલીમ નમૂના સાથે વ્યવહાર કરીએ છીએ. જો કે, અહીં નંબરો એટલા માટે લેવામાં આવ્યા છે કે તેઓ સરળતાથી શિખાઉ ડેટા સાયન્ટિસ્ટના માથામાં ફિટ થઈ શકે.

ચાલો ઉદાહરણ પર પાછા ફરીએ. ચાલો કલ્પના કરીએ કે એલ્ગોરિધમે તેને લેશાને ન આપવાનું કહ્યું હોવા છતાં, બેંકના ડિરેક્ટરે જરૂરિયાતમંદ દરેકને લોન આપવાનું નક્કી કર્યું. અને હવે પૂરતો સમય પસાર થઈ ગયો છે અને આપણે જાણીએ છીએ કે ત્રણમાંથી કયા હીરોએ લોન ચૂકવી અને કોણે નહીં. શું અપેક્ષિત હતું: વાસ્યા અને ફેડ્યાએ લોન ચૂકવી દીધી, પરંતુ લેશાએ કર્યું નહીં. હવે ચાલો કલ્પના કરીએ કે આ પરિણામ આપણા માટે એક નવો તાલીમનો નમૂનો હશે અને તે જ સમયે, એવું લાગે છે કે લોનની ચુકવણીની સંભાવનાને અસર કરતા પરિબળો પરનો તમામ ડેટા (ઉધાર લેનારનો પગાર, માસિક ચુકવણીનું કદ) અદૃશ્ય થઈ ગયો છે. પછી, સાહજિક રીતે, આપણે ધારી શકીએ કે દરેક ત્રીજો લેનાર બેંકને લોન ચૂકવતો નથી, અથવા બીજા શબ્દોમાં કહીએ તો, આગામી લેનારા લોનની ચુકવણી કરે તેવી સંભાવના. . આ સાહજિક ધારણા સૈદ્ધાંતિક પુષ્ટિ ધરાવે છે અને તેના પર આધારિત છે મહત્તમ સંભાવના પદ્ધતિ, ઘણીવાર સાહિત્યમાં તેને કહેવામાં આવે છે મહત્તમ સંભાવના સિદ્ધાંત.

પ્રથમ, ચાલો કલ્પનાત્મક ઉપકરણથી પરિચિત થઈએ.

નમૂના લેવાની સંભાવના બરાબર આવા નમૂના મેળવવાની સંભાવના છે, બરાબર આવા અવલોકનો/પરિણામો મેળવવાની, એટલે કે. દરેક નમૂનાના પરિણામો મેળવવાની સંભાવનાઓનું ઉત્પાદન (ઉદાહરણ તરીકે, વાસ્યા, ફેડ્યા અને લેશાની લોન એક જ સમયે ચૂકવવામાં આવી હતી કે નહીં).

સંભાવના કાર્ય વિતરણ પરિમાણોના મૂલ્યો સાથે નમૂનાની સંભાવનાને સંબંધિત કરે છે.

અમારા કિસ્સામાં, તાલીમ નમૂના એ સામાન્યકૃત બર્નૌલી યોજના છે, જેમાં રેન્ડમ ચલ માત્ર બે મૂલ્યો લે છે: અથવા . તેથી, નમૂનાની સંભાવના પરિમાણના સંભવિત કાર્ય તરીકે લખી શકાય છે નીચે પ્રમાણે છે:

ઉપરોક્ત પ્રવેશ નીચે પ્રમાણે અર્થઘટન કરી શકાય છે. વાસ્યા અને ફેડ્યા લોન ચૂકવશે તેવી સંયુક્ત સંભાવના સમાન છે , લેશા લોન ચૂકવશે નહીં તેવી સંભાવના સમાન છે (કારણ કે તે લોનની ચુકવણી ન હતી), તેથી ત્રણેય ઘટનાઓની સંયુક્ત સંભાવના સમાન છે .

મહત્તમ સંભાવના પદ્ધતિ મહત્તમ કરીને અજાણ્યા પરિમાણનો અંદાજ કાઢવા માટેની પદ્ધતિ છે સંભાવના કાર્યો. અમારા કિસ્સામાં, આપણે આવા મૂલ્ય શોધવાની જરૂર છે જેના પર તેની મહત્તમ પહોંચે છે.

વાસ્તવિક વિચાર ક્યાંથી આવે છે - અજાણ્યા પરિમાણના મૂલ્યને જોવા માટે કે જેના પર સંભાવના કાર્ય મહત્તમ સુધી પહોંચે છે? આ વિચારની ઉત્પત્તિ એ વિચારમાંથી ઉદ્ભવી છે કે વસ્તી વિશે અમને ઉપલબ્ધ જ્ઞાનનો એકમાત્ર સ્રોત નમૂના જ છે. વસ્તી વિશે આપણે જે જાણીએ છીએ તે બધું નમૂનામાં રજૂ થાય છે. તેથી, આપણે એટલું જ કહી શકીએ કે નમૂના એ આપણા માટે ઉપલબ્ધ વસ્તીનું સૌથી સચોટ પ્રતિબિંબ છે. તેથી, આપણે એક પરિમાણ શોધવાની જરૂર છે કે જેના પર ઉપલબ્ધ નમૂના સૌથી વધુ સંભવિત બને.

દેખીતી રીતે, અમે ઑપ્ટિમાઇઝેશન સમસ્યા સાથે કામ કરી રહ્યા છીએ જેમાં અમારે ફંક્શનના અંતિમ બિંદુ શોધવાની જરૂર છે. એક્સ્ટ્રીમમ પોઈન્ટ શોધવા માટે, પ્રથમ-ક્રમની સ્થિતિને ધ્યાનમાં લેવી જરૂરી છે, એટલે કે, કાર્યના વ્યુત્પન્નને શૂન્ય સાથે સમાન કરો અને ઇચ્છિત પરિમાણના સંદર્ભમાં સમીકરણને હલ કરો. જો કે, મોટી સંખ્યામાં પરિબળોના ઉત્પાદનના વ્યુત્પન્નની શોધ કરવી એ એક લાંબુ કાર્ય હોઈ શકે છે; આને અવગણવા માટે, એક ખાસ તકનીક છે - લોગરીધમ પર સ્વિચ કરવું સંભાવના કાર્યો. આવા સંક્રમણ શા માટે શક્ય છે? ચાલો એ હકીકત પર ધ્યાન આપીએ કે આપણે ફંક્શનની સીમાને શોધી રહ્યા નથી, અને આત્યંતિક બિંદુ, એટલે કે, અજાણ્યા પરિમાણનું મૂલ્ય જેના પર તેની મહત્તમ પહોંચે છે. લોગરીધમ તરફ જતી વખતે, એક્સ્ટ્રીમમ પોઈન્ટ બદલાતો નથી (જોકે એક્સ્ટ્રીમમ પોતે જ અલગ હશે), કારણ કે લોગરીધમ એક મોનોટોનિક ફંક્શન છે.

ચાલો, ઉપરોક્ત અનુસાર, વાસ્યા, ફેડ્યા અને લેશાની લોન સાથે અમારું ઉદાહરણ વિકસાવવાનું ચાલુ રાખીએ. પ્રથમ ચાલો આગળ વધીએ સંભાવના કાર્યનું લઘુગણક:

હવે આપણે અભિવ્યક્તિને સરળતાથી અલગ કરી શકીએ છીએ :

અને અંતે, પ્રથમ-ક્રમની સ્થિતિને ધ્યાનમાં લો - અમે કાર્યના વ્યુત્પન્નને શૂન્ય સાથે સરખાવીએ છીએ:

આમ, લોનની ચુકવણીની સંભાવનાનો અમારો સાહજિક અંદાજ સૈદ્ધાંતિક રીતે વાજબી હતી.

સરસ, પરંતુ હવે આપણે આ માહિતીનું શું કરવું જોઈએ? જો આપણે ધારીએ કે દરેક ત્રીજો ઉધાર લેનાર બેંકને પૈસા પરત કરતો નથી, તો બાદમાં અનિવાર્યપણે નાદાર થઈ જશે. તે સાચું છે, પરંતુ જ્યારે લોનની ચુકવણીની સમાન સંભાવનાનું મૂલ્યાંકન કરવામાં આવે ત્યારે જ અમે લોનની ચુકવણીને પ્રભાવિત કરતા પરિબળોને ધ્યાનમાં લીધા નથી: લેનારાનો પગાર અને માસિક ચુકવણીનું કદ. ચાલો યાદ રાખીએ કે અમે અગાઉ આ જ પરિબળોને ધ્યાનમાં રાખીને દરેક ક્લાયન્ટ દ્વારા લોનની ચુકવણીની સંભાવનાની ગણતરી કરી હતી. તે તાર્કિક છે કે આપણે સતત સમાન કરતાં અલગ સંભાવનાઓ મેળવી છે .

ચાલો નમૂનાઓની સંભાવનાને વ્યાખ્યાયિત કરીએ:

નમૂનાની સંભાવનાઓની ગણતરી માટેનો કોડ

from functools import reduce

def likelihood(y,p):
    line_true_proba = []
    for i in range(len(y)):
        ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
        line_true_proba.append(ltp_i)
    likelihood = []
    return reduce(lambda a, b: a*b, line_true_proba)
        
    
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]


print 'Правдоподобие выборки при константном значении p=2/3:', round(likelihood(y,p_const),3)

print '****************************************************************************************************'

print 'Правдоподобие выборки при расчетном значении p:', round(likelihood(y,p_log_response),3)

સ્થિર મૂલ્ય પર નમૂનાની સંભાવના :

પરિબળોને ધ્યાનમાં લઈને લોનની ચુકવણીની સંભાવનાની ગણતરી કરતી વખતે સંભાવનાના નમૂના :

પરિબળોના આધારે ગણતરી કરેલ સંભાવના સાથેના નમૂનાની સંભાવના સતત સંભાવના મૂલ્ય સાથેની સંભાવના કરતાં વધુ હોવાનું બહાર આવ્યું છે. આનો મતલબ શું થયો? આ સૂચવે છે કે પરિબળો વિશેના જ્ઞાનને લીધે દરેક ક્લાયન્ટ માટે લોનની ચુકવણીની સંભાવનાને વધુ ચોક્કસ રીતે પસંદ કરવાનું શક્ય બન્યું છે. તેથી, આગામી લોન જારી કરતી વખતે, દેવાની ચુકવણીની સંભાવનાનું મૂલ્યાંકન કરવા લેખના વિભાગ 3 ના અંતે પ્રસ્તાવિત મોડેલનો ઉપયોગ કરવો વધુ યોગ્ય રહેશે.

પરંતુ પછી, જો આપણે મહત્તમ કરવા માંગીએ છીએ નમૂનાની સંભાવના કાર્ય, તો પછી શા માટે કેટલાક અલ્ગોરિધમનો ઉપયોગ ન કરો જે વાસ્ય, ફેડ્યા અને લેશા માટે સંભાવનાઓ ઉત્પન્ન કરશે, ઉદાહરણ તરીકે, અનુક્રમે 0.99, 0.99 અને 0.01 ની બરાબર. કદાચ આવા અલ્ગોરિધમ તાલીમ નમૂના પર સારું પ્રદર્શન કરશે, કારણ કે તે નમૂનાની સંભાવના મૂલ્યની નજીક લાવશે. , પરંતુ, પ્રથમ, આવા અલ્ગોરિધમને સામાન્યીકરણની ક્ષમતામાં મોટાભાગે મુશ્કેલીઓ હશે, અને બીજું, આ અલ્ગોરિધમ ચોક્કસપણે રેખીય નહીં હોય. અને જો ઓવરટ્રેનિંગનો સામનો કરવાની પદ્ધતિઓ (સમાન રીતે નબળી સામાન્યીકરણ ક્ષમતા) આ લેખની યોજનામાં સ્પષ્ટપણે શામેલ નથી, તો ચાલો બીજા મુદ્દા પર વધુ વિગતવાર જઈએ. આ કરવા માટે, ફક્ત એક સરળ પ્રશ્નનો જવાબ આપો. શું વાસ્યા અને ફેડ્યાની લોનની ચુકવણીની સંભાવના સમાન હોઈ શકે છે, જે અમને જાણીતા પરિબળોને ધ્યાનમાં લે છે? ધ્વનિ તર્કના દૃષ્ટિકોણથી, અલબત્ત નહીં, તે કરી શકતું નથી. તેથી વાસ્યા લોન ચૂકવવા માટે દર મહિને તેના પગારના 2.5% ચૂકવશે, અને ફેડ્યા - લગભગ 27,8%. આલેખ 2 "ક્લાયન્ટ વર્ગીકરણ" માં પણ આપણે જોઈએ છીએ કે વાસ્ય ફેડ્યા કરતાં વર્ગોને અલગ કરતી રેખાથી ઘણું આગળ છે. અને છેલ્લે, આપણે જાણીએ છીએ કે કાર્ય Vasya અને Fedya માટે અલગ અલગ મૂલ્યો લે છે: Vasya માટે 4.24 અને Fedya માટે 1.0. હવે, જો ફેડ્યાએ, ઉદાહરણ તરીકે, વધુ તીવ્રતાનો ઓર્ડર મેળવ્યો અથવા નાની લોન માટે પૂછ્યું, તો વાસ્યા અને ફેડ્યા માટે લોન ચૂકવવાની સંભાવનાઓ સમાન હશે. બીજા શબ્દોમાં કહીએ તો, રેખીય અવલંબનને મૂર્ખ બનાવી શકાય નહીં. અને જો આપણે ખરેખર મતભેદની ગણતરી કરીએ , અને તેમને પાતળી હવામાંથી બહાર કાઢ્યા નથી, અમે સુરક્ષિત રીતે કહી શકીએ કે અમારા મૂલ્યો અમને દરેક ઉધાર લેનાર દ્વારા લોનની પુન:ચુકવણીની સંભાવનાનો અંદાજ કાઢવાની શ્રેષ્ઠ પરવાનગી આપે છે, પરંતુ અમે એમ માનવા સંમત થયા છીએ કે ગુણાંકનું નિર્ધારણ બધા નિયમો અનુસાર હાથ ધરવામાં આવ્યું હતું, પછી અમે ધારીશું - અમારા ગુણાંક અમને સંભાવનાનો વધુ સારો અંદાજ આપવા દે છે :)

જો કે, આપણે વિષયાંતર કરીએ છીએ. આ વિભાગમાં આપણે સમજવાની જરૂર છે કે વજનનું વેક્ટર કેવી રીતે નક્કી થાય છે , જે દરેક લેનારા દ્વારા લોનની ચુકવણીની સંભાવનાનું મૂલ્યાંકન કરવા માટે જરૂરી છે.

ચાલો આપણે કયા શસ્ત્રાગાર સાથે સંક્ષિપ્તમાં સારાંશ આપીએ આપણે મતભેદો શોધીએ છીએ :

1. અમે ધારીએ છીએ કે લક્ષ્ય ચલ (અનુમાન મૂલ્ય) અને પરિણામને અસર કરતા પરિબળ વચ્ચેનો સંબંધ રેખીય છે. આ કારણોસર તેનો ઉપયોગ થાય છે રેખીય રીગ્રેસન કાર્ય પ્રજાતિઓ , જેની રેખા વસ્તુઓ (ક્લાયન્ટ) ને વર્ગોમાં વિભાજિત કરે છે и અથવા (ગ્રાહકો કે જેઓ લોન ચૂકવવામાં સક્ષમ છે અને જેઓ નથી). અમારા કિસ્સામાં, સમીકરણનું સ્વરૂપ છે .

2. અમે ઉપયોગ કરીએ છીએ વ્યસ્ત લોગિટ કાર્ય પ્રજાતિઓ વર્ગ સાથે જોડાયેલા ઑબ્જેક્ટની સંભાવના નક્કી કરવા .

3. અમે અમારા તાલીમ સમૂહને સામાન્યીકરણના અમલીકરણ તરીકે ગણીએ છીએ બર્નૌલી યોજનાઓ, એટલે કે, દરેક ઑબ્જેક્ટ માટે રેન્ડમ ચલ જનરેટ થાય છે, જે સંભાવના સાથે (દરેક ઑબ્જેક્ટ માટે તેનું પોતાનું) મૂલ્ય 1 લે છે અને સંભાવના સાથે - 0.

4. આપણે જાણીએ છીએ કે અમારે વધુમાં વધુ શું કરવાની જરૂર છે નમૂનાની સંભાવના કાર્ય સ્વીકૃત પરિબળોને ધ્યાનમાં લેવું જેથી ઉપલબ્ધ નમૂના સૌથી વધુ બુદ્ધિગમ્ય બને. બીજા શબ્દોમાં કહીએ તો, આપણે એવા પરિમાણો પસંદ કરવાની જરૂર છે કે જેના પર નમૂના સૌથી વધુ બુદ્ધિગમ્ય હશે. અમારા કિસ્સામાં, પસંદ કરેલ પરિમાણ એ લોનની ચુકવણીની સંભાવના છે , જે બદલામાં અજ્ઞાત ગુણાંક પર આધાર રાખે છે . તેથી આપણે આવા વજનનો વેક્ટર શોધવાની જરૂર છે , જેના પર નમૂનાની સંભાવના મહત્તમ હશે.

5. આપણે જાણીએ છીએ કે શું મહત્તમ કરવું નમૂનાની સંભાવના કાર્યો ઉપયોગ કરી શકો છો મહત્તમ સંભાવના પદ્ધતિ. અને અમે આ પદ્ધતિ સાથે કામ કરવા માટેની બધી મુશ્કેલ યુક્તિઓ જાણીએ છીએ.

આ રીતે તે મલ્ટી-સ્ટેપ ચાલ તરીકે બહાર આવે છે :)

હવે યાદ રાખો કે લેખની શરૂઆતમાં અમે બે પ્રકારના નુકશાન કાર્યો મેળવવા માંગતા હતા લોજિસ્ટિક નુકશાન ઑબ્જેક્ટ વર્ગો કેવી રીતે નિયુક્ત કરવામાં આવે છે તેના આધારે. એવું બન્યું કે બે વર્ગો સાથે વર્ગીકરણની સમસ્યાઓમાં, વર્ગો તરીકે સૂચિત કરવામાં આવે છે и અથવા . નોટેશન પર આધાર રાખીને, આઉટપુટમાં અનુરૂપ નુકશાન કાર્ય હશે.

કેસ 1. માં વસ્તુઓનું વર્ગીકરણ и

અગાઉ, નમૂનાની સંભાવના નક્કી કરતી વખતે, જેમાં ઉધાર લેનાર દ્વારા દેવાની ચુકવણીની સંભાવનાની ગણતરી પરિબળો અને આપેલ ગુણાંકના આધારે કરવામાં આવી હતી. , અમે સૂત્ર લાગુ કર્યું:

હકીકતમાં અર્થ છે લોજિસ્ટિક પ્રતિભાવ કાર્યો આપેલ વજનના વેક્ટર માટે

પછી કંઈપણ અમને નમૂનાની સંભાવના કાર્યને નીચે પ્રમાણે લખતા અટકાવતું નથી:

એવું બને છે કે કેટલીકવાર કેટલાક શિખાઉ વિશ્લેષકો માટે આ કાર્ય કેવી રીતે કાર્ય કરે છે તે તરત જ સમજવું મુશ્કેલ છે. ચાલો 4 ટૂંકા ઉદાહરણો જોઈએ જે વસ્તુઓને સ્પષ્ટ કરશે:

1. જો (એટલે ​​​​કે, તાલીમના નમૂના અનુસાર, ઑબ્જેક્ટ વર્ગ +1 સાથે સંબંધિત છે), અને અમારું અલ્ગોરિધમ ઑબ્જેક્ટને વર્ગમાં વર્ગીકૃત કરવાની સંભાવના નક્કી કરે છે 0.9 ની બરાબર છે, તો પછી આ નમૂનાની સંભાવનાની ગણતરી નીચે પ્રમાણે કરવામાં આવશે:

2. જો અને , પછી ગણતરી આના જેવી હશે:

3. જો અને , પછી ગણતરી આના જેવી હશે:

4. જો અને , પછી ગણતરી આના જેવી હશે:

તે સ્પષ્ટ છે કે 1 અને 3 કેસમાં અથવા સામાન્ય કિસ્સામાં - વર્ગને ઑબ્જેક્ટ સોંપવાની સંભાવનાઓના યોગ્ય રીતે અનુમાનિત મૂલ્યો સાથે સંભાવના કાર્ય મહત્તમ કરવામાં આવશે. .

એ હકીકતને કારણે કે જ્યારે વર્ગને ઑબ્જેક્ટ સોંપવાની સંભાવના નક્કી કરવામાં આવે છે આપણે માત્ર ગુણાંક જાણતા નથી , પછી અમે તેમને શોધીશું. ઉપર સૂચવ્યા મુજબ, આ એક ઓપ્ટિમાઇઝેશન સમસ્યા છે જેમાં પહેલા આપણે વજનના વેક્ટરના સંદર્ભમાં સંભાવના કાર્યનું વ્યુત્પન્ન શોધવાની જરૂર છે. . જો કે, પ્રથમ તે આપણા માટે કાર્યને સરળ બનાવવાનો અર્થપૂર્ણ છે: અમે લઘુગણકનું વ્યુત્પન્ન શોધીશું. સંભાવના કાર્યો.

શા માટે લોગરીધમ પછી, માં લોજિસ્ટિક ભૂલ કાર્યો, અમે થી સાઇન બદલ્યો છે પર . બધું સરળ છે, કારણ કે મોડેલની ગુણવત્તાનું મૂલ્યાંકન કરવાની સમસ્યાઓમાં ફંક્શનના મૂલ્યને ઘટાડવાનો રિવાજ છે, અમે અભિવ્યક્તિની જમણી બાજુનો ગુણાકાર કર્યો અને તે મુજબ, મહત્તમ કરવાને બદલે, હવે આપણે કાર્યને નાનું કરીએ છીએ.

વાસ્તવમાં, અત્યારે, તમારી નજર સમક્ષ, નુકશાન કાર્ય ખૂબ જ મહેનતથી પ્રાપ્ત થયું હતું - લોજિસ્ટિક નુકશાન બે વર્ગો સાથે તાલીમ સેટ માટે: и .

હવે, ગુણાંક શોધવા માટે, આપણે ફક્ત વ્યુત્પન્ન શોધવાની જરૂર છે લોજિસ્ટિક ભૂલ કાર્યો અને પછી, સંખ્યાત્મક ઑપ્ટિમાઇઝેશન પદ્ધતિઓનો ઉપયોગ કરીને, જેમ કે ગ્રેડિયન્ટ ડિસેન્ટ અથવા સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડિસેન્ટ, સૌથી શ્રેષ્ઠ ગુણાંક પસંદ કરો . પરંતુ, લેખના નોંધપાત્ર વોલ્યુમને જોતાં, તમારા પોતાના પર ભિન્નતા હાથ ધરવાની દરખાસ્ત કરવામાં આવી છે, અથવા કદાચ આવા વિગતવાર ઉદાહરણો વિના ઘણા અંકગણિત સાથેના આગામી લેખ માટે આ વિષય હશે.

કેસ 2. માં વસ્તુઓનું વર્ગીકરણ и

અહીંનો અભિગમ વર્ગો જેવો જ હશે и , પરંતુ નુકશાન કાર્યના આઉટપુટનો પાથ પોતે લોજિસ્ટિક નુકશાન, વધુ સુશોભિત હશે. ચાલો, શરુ કરીએ. સંભાવના કાર્ય માટે અમે ઓપરેટરનો ઉપયોગ કરીશું "તો પછી..."... એટલે કે, જો મી ઑબ્જેક્ટ વર્ગનો છે , પછી નમૂનાની સંભાવનાની ગણતરી કરવા માટે અમે સંભાવનાનો ઉપયોગ કરીએ છીએ , જો ઑબ્જેક્ટ વર્ગની છે , પછી અમે સંભાવનામાં બદલીએ છીએ . આ સંભવિત કાર્ય આના જેવું દેખાય છે:

ચાલો આપણે આપણી આંગળીઓ પર વર્ણવીએ કે તે કેવી રીતે કાર્ય કરે છે. ચાલો 4 કેસોને ધ્યાનમાં લઈએ:

1. જો и , પછી સેમ્પલિંગની સંભાવના "જશે"

2. જો и , પછી સેમ્પલિંગની સંભાવના "જશે"

3. જો и , પછી સેમ્પલિંગની સંભાવના "જશે"

4. જો и , પછી સેમ્પલિંગની સંભાવના "જશે"

તે સ્પષ્ટ છે કે કેસ 1 અને 3 માં, જ્યારે સંભાવનાઓ અલ્ગોરિધમ દ્વારા યોગ્ય રીતે નક્કી કરવામાં આવી હતી, સંભાવના કાર્ય મહત્તમ કરવામાં આવશે, એટલે કે, આ તે જ છે જે આપણે મેળવવા માંગતા હતા. જો કે, આ અભિગમ તદ્દન બોજારૂપ છે અને આગળ આપણે વધુ કોમ્પેક્ટ નોટેશન પર વિચાર કરીશું. પરંતુ પ્રથમ, ચાલો ચિહ્નના ફેરફાર સાથે સંભાવના કાર્યને લઘુગણક કરીએ, કારણ કે હવે આપણે તેને ઘટાડીશું.

ચાલો તેના બદલે અવેજી કરીએ અભિવ્યક્તિ :

ચાલો સરળ અંકગણિત તકનીકોનો ઉપયોગ કરીને લઘુગણક હેઠળ યોગ્ય શબ્દને સરળ બનાવીએ અને મેળવો:

હવે ઓપરેટરથી છૂટકારો મેળવવાનો સમય છે "તો પછી...". નોંધ કરો કે જ્યારે પદાર્થ વર્ગનો છે , પછી લઘુગણક હેઠળની અભિવ્યક્તિમાં, છેદમાં, સત્તા પર ઉભા થયા , જો ઑબ્જેક્ટ વર્ગની છે , પછી $e$ ને પાવરમાં વધારવામાં આવે છે . તેથી, બંને કેસોને એકમાં જોડીને ડિગ્રી માટેના સંકેતને સરળ બનાવી શકાય છે: . પછી લોજિસ્ટિક ભૂલ કાર્ય ફોર્મ લેશે:

લઘુગણકના નિયમો અનુસાર, અમે અપૂર્ણાંકને ફેરવીએ છીએ અને ચિહ્ન મૂકીએ છીએ "" (માઈનસ) લોગરીધમ માટે, આપણને મળે છે:

અહીં નુકશાન કાર્ય છે લોજિસ્ટિક નુકશાન, જેનો ઉપયોગ વર્ગોને સોંપેલ વસ્તુઓ સાથે તાલીમ સેટમાં થાય છે: и .

ઠીક છે, આ સમયે હું મારી રજા લઉં છું અને અમે લેખ સમાપ્ત કરીએ છીએ.

લેખકનું અગાઉનું કાર્ય છે "મેટ્રિક્સ સ્વરૂપમાં રેખીય રીગ્રેસન સમીકરણ લાવવું"

સહાયક સામગ્રી

1. સાહિત્ય

1) એપ્લાઇડ રીગ્રેશન એનાલિસિસ / N. Draper, G. Smith - 2nd ed. – એમ.: ફાઇનાન્સ એન્ડ સ્ટેટિસ્ટિક્સ, 1986 (અંગ્રેજીમાંથી અનુવાદ)

2) સંભાવના સિદ્ધાંત અને ગાણિતિક આંકડા / V.E. Gmurman - 9 મી આવૃત્તિ. - એમ.: હાયર સ્કૂલ, 2003

3) સંભાવના સિદ્ધાંત / N.I. ચેર્નોવા - નોવોસિબિર્સ્ક: નોવોસિબિર્સ્ક સ્ટેટ યુનિવર્સિટી, 2007

4) વ્યાપાર વિશ્લેષણ: ડેટાથી જ્ઞાન સુધી / Paklin N. B., Oreshkov V. I. - 2nd ed. — સેન્ટ પીટર્સબર્ગ: પીટર, 2013

5) ડેટા સાયન્સ શરૂઆતથી ડેટા વિજ્ઞાન / જોએલ ગ્રાસ - સેન્ટ પીટર્સબર્ગ: BHV પીટર્સબર્ગ, 2017

6) ડેટા સાયન્સ નિષ્ણાતો / P. Bruce, E. Bruce - St. Petersburg: BHV પીટર્સબર્ગ, 2018 માટે વ્યવહારુ આંકડા

2. પ્રવચનો, અભ્યાસક્રમો (વિડિયો)

1) મહત્તમ સંભાવના પદ્ધતિનો સાર, બોરિસ ડેમેશેવ

2) સતત કેસમાં મહત્તમ સંભાવના પદ્ધતિ, બોરિસ ડેમેશેવ

3) લોજિસ્ટિક રીગ્રેસન. ઓડીએસ કોર્સ ખોલો, યુરી કાશ્નિત્સ્કી

4) વ્યાખ્યાન 4, એવજેની સોકોલોવ (47 મિનિટની વિડિઓમાંથી)

5) લોજિસ્ટિક રીગ્રેશન, વ્યાચેસ્લાવ વોરોન્ટસોવ

3. ઈન્ટરનેટ સ્ત્રોતો

1) રેખીય વર્ગીકરણ અને રીગ્રેશન મોડલ્સ

2) લોજિસ્ટિક રીગ્રેશનને સરળતાથી કેવી રીતે સમજવું

3) લોજિસ્ટિક ભૂલ કાર્ય

4) સ્વતંત્ર પરીક્ષણો અને બર્નૌલી સૂત્ર

5) એમએમપીનું લોકગીત

6) મહત્તમ સંભાવના પદ્ધતિ

7) લઘુગણકના સૂત્રો અને ગુણધર્મો

8) શા માટે નંબર ?

9) રેખીય વર્ગીકૃત

સોર્સ: www.habr.com