ലോജിസ്റ്റിക് റിഗ്രഷൻ ചവയ്ക്കുന്നു

ഈ ലേഖനത്തിൽ, പരിവർത്തനത്തിന്റെ സൈദ്ധാന്തിക കണക്കുകൂട്ടലുകൾ ഞങ്ങൾ വിശകലനം ചെയ്യും ലീനിയർ റിഗ്രഷൻ പ്രവർത്തനങ്ങൾ в വിപരീത ലോജിറ്റ് ട്രാൻസ്ഫോർമേഷൻ ഫംഗ്‌ഷൻ (അല്ലെങ്കിൽ ലോജിസ്റ്റിക് പ്രതികരണ പ്രവർത്തനം എന്ന് വിളിക്കുന്നു). പിന്നെ, ആയുധപ്പുര ഉപയോഗിച്ച് പരമാവധി സാധ്യത രീതി, ലോജിസ്റ്റിക് റിഗ്രഷൻ മോഡലിന് അനുസൃതമായി, ഞങ്ങൾ ലോസ് ഫംഗ്ഷൻ നേടുന്നു ലോജിസ്റ്റിക് നഷ്ടം, അല്ലെങ്കിൽ മറ്റൊരു രീതിയിൽ പറഞ്ഞാൽ, ലോജിസ്റ്റിക് റിഗ്രഷൻ മോഡലിൽ വെയ്റ്റ് വെക്റ്ററിന്റെ പാരാമീറ്ററുകൾ തിരഞ്ഞെടുക്കുന്ന ഒരു ഫംഗ്ഷൻ ഞങ്ങൾ നിർവ്വചിക്കും. .

ലേഖനത്തിന്റെ രൂപരേഖ:

1. രണ്ട് വേരിയബിളുകൾ തമ്മിലുള്ള രേഖീയ ബന്ധം നമുക്ക് ആവർത്തിക്കാം
2. പരിവർത്തനത്തിന്റെ ആവശ്യകത നമുക്ക് തിരിച്ചറിയാം ലീനിയർ റിഗ്രഷൻ പ്രവർത്തനങ്ങൾ в ലോജിസ്റ്റിക് പ്രതികരണ പ്രവർത്തനം
3. നമുക്ക് പരിവർത്തനങ്ങളും ഔട്ട്പുട്ടും നടപ്പിലാക്കാം ലോജിസ്റ്റിക് പ്രതികരണ പ്രവർത്തനം
4. പാരാമീറ്ററുകൾ തിരഞ്ഞെടുക്കുമ്പോൾ ഏറ്റവും കുറഞ്ഞ സ്ക്വയർ രീതി മോശമായിരിക്കുന്നത് എന്തുകൊണ്ടാണെന്ന് മനസിലാക്കാൻ ശ്രമിക്കാം പ്രവർത്തനങ്ങൾ ലോജിസ്റ്റിക് നഷ്ടം
5. ഞങ്ങൾ ഉപയോഗിക്കുന്നു പരമാവധി സാധ്യത രീതി നിർണ്ണയിക്കുന്നതിന് പാരാമീറ്റർ തിരഞ്ഞെടുക്കൽ പ്രവർത്തനങ്ങൾ :

   5.1 കേസ് 1: പ്രവർത്തനം ലോജിസ്റ്റിക് നഷ്ടം ക്ലാസ് പദവികളുള്ള വസ്തുക്കൾക്ക് 0 и 1:

   

   5.2 കേസ് 2: പ്രവർത്തനം ലോജിസ്റ്റിക് നഷ്ടം ക്ലാസ് പദവികളുള്ള വസ്തുക്കൾക്ക് -1 и +1:

   

എല്ലാ കണക്കുകൂട്ടലുകളും വാമൊഴിയായോ കടലാസിലോ ഉണ്ടാക്കാൻ എളുപ്പമുള്ള ലളിതമായ ഉദാഹരണങ്ങളാൽ ലേഖനം നിറഞ്ഞിരിക്കുന്നു; ചില സന്ദർഭങ്ങളിൽ, ഒരു കാൽക്കുലേറ്റർ ആവശ്യമായി വന്നേക്കാം. അതുകൊണ്ട് തയ്യാറാകൂ :)

ഈ ലേഖനം പ്രധാനമായും ലക്ഷ്യമിടുന്നത് മെഷീൻ ലേണിംഗിന്റെ അടിസ്ഥാന കാര്യങ്ങളിൽ പ്രാഥമിക തലത്തിലുള്ള അറിവുള്ള ഡാറ്റ ശാസ്ത്രജ്ഞരെയാണ്.

ഗ്രാഫുകളും കണക്കുകൂട്ടലുകളും വരയ്ക്കുന്നതിനുള്ള കോഡും ലേഖനം നൽകും. എല്ലാ കോഡുകളും ഭാഷയിലാണ് എഴുതിയിരിക്കുന്നത് പൈത്തൺ 2.7. ഉപയോഗിച്ച പതിപ്പിന്റെ “പുതുമ”യെക്കുറിച്ച് ഞാൻ മുൻകൂട്ടി വിശദീകരിക്കാം - ഇത് അറിയപ്പെടുന്ന കോഴ്‌സ് എടുക്കുന്നതിനുള്ള വ്യവസ്ഥകളിൽ ഒന്നാണ് Yandex ഒരുപോലെ അറിയപ്പെടുന്ന ഓൺലൈൻ വിദ്യാഭ്യാസ പ്ലാറ്റ്‌ഫോമിൽ Coursera, കൂടാതെ, ഒരാൾ ഊഹിക്കുന്നതുപോലെ, ഈ കോഴ്സിനെ അടിസ്ഥാനമാക്കിയാണ് മെറ്റീരിയൽ തയ്യാറാക്കിയത്.

01. നേരായ ആശ്രിതത്വം

ചോദ്യം ചോദിക്കുന്നത് തികച്ചും ന്യായമാണ് - രേഖീയ ആശ്രിതത്വവും ലോജിസ്റ്റിക് റിഗ്രഷനും ഇതുമായി എന്ത് ബന്ധമുണ്ട്?

ഇത് ലളിതമാണ്! ലീനിയർ ക്ലാസിഫയറിൽ പെടുന്ന മോഡലുകളിലൊന്നാണ് ലോജിസ്റ്റിക് റിഗ്രഷൻ. ലളിതമായി പറഞ്ഞാൽ, ലക്ഷ്യ മൂല്യങ്ങൾ പ്രവചിക്കുക എന്നതാണ് ഒരു ലീനിയർ ക്ലാസിഫയറിന്റെ ചുമതല വേരിയബിളുകളിൽ നിന്ന് (റിഗ്രസറുകൾ) . സ്വഭാവസവിശേഷതകൾ തമ്മിലുള്ള ആശ്രിതത്വം വിശ്വസിക്കപ്പെടുന്നു ലക്ഷ്യ മൂല്യങ്ങളും രേഖീയമായ. അതിനാൽ ക്ലാസിഫയറിന്റെ പേര് - ലീനിയർ. വളരെ ഏകദേശം പറഞ്ഞാൽ, ലോജിസ്റ്റിക് റിഗ്രഷൻ മോഡൽ സ്വഭാവസവിശേഷതകൾ തമ്മിൽ ഒരു രേഖീയ ബന്ധമുണ്ടെന്ന അനുമാനത്തെ അടിസ്ഥാനമാക്കിയുള്ളതാണ്. ലക്ഷ്യ മൂല്യങ്ങളും . ഇതാണ് ബന്ധം.

സ്റ്റുഡിയോയിൽ ആദ്യ ഉദാഹരണം ഉണ്ട്, അത് ശരിയായി, പഠിക്കുന്ന അളവുകളുടെ റക്റ്റിലീനിയർ ആശ്രിതത്വത്തെക്കുറിച്ചാണ്. ലേഖനം തയ്യാറാക്കുന്ന പ്രക്രിയയിൽ, ഇതിനകം തന്നെ നിരവധി ആളുകളെ അരികിൽ നിർത്തിയ ഒരു ഉദാഹരണം ഞാൻ കണ്ടു - വോൾട്ടേജിലെ കറന്റ് ആശ്രിതത്വം (“അപ്ലൈഡ് റിഗ്രഷൻ വിശകലനം”, എൻ. ഡ്രേപ്പർ, ജി. സ്മിത്ത്). ഞങ്ങൾ അത് ഇവിടെയും നോക്കാം.

അനുസരിച്ച് ഓമിന്റെ നിയമം:

എവിടെ - നിലവിലെ ശക്തി, - വോൾട്ടേജ്, - പ്രതിരോധം.

നമ്മൾ അറിഞ്ഞിരുന്നില്ലെങ്കിൽ ഓമിന്റെ നിയമം, പിന്നീട് മാറ്റുന്നതിലൂടെ നമുക്ക് ആശ്രിതത്വം അനുഭവപരമായി കണ്ടെത്താനാകും ഒപ്പം അളക്കലും , പിന്തുണയ്ക്കുമ്പോൾ നിശ്ചിത. അപ്പോൾ നമ്മൾ ആശ്രിത ഗ്രാഫ് കാണും от ഉത്ഭവത്തിലൂടെ കൂടുതലോ കുറവോ നേർരേഖ നൽകുന്നു. ഞങ്ങൾ "കൂടുതലോ കുറവോ" എന്ന് പറയുന്നു, കാരണം, ബന്ധം യഥാർത്ഥത്തിൽ കൃത്യമാണെങ്കിലും, ഞങ്ങളുടെ അളവുകളിൽ ചെറിയ പിശകുകൾ അടങ്ങിയിരിക്കാം, അതിനാൽ ഗ്രാഫിലെ പോയിന്റുകൾ കൃത്യമായി വരിയിൽ വീഴില്ല, പക്ഷേ ക്രമരഹിതമായി അതിന് ചുറ്റും ചിതറിക്കിടക്കും.

ഗ്രാഫ് 1 "ആശ്രിതത്വം" от »

ചാർട്ട് ഡ്രോയിംഗ് കോഡ്

import matplotlib.pyplot as plt
%matplotlib inline

import numpy as np

import random

R = 13.75

x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
    y_line.append(i/R)
    
y_dot = []
for i in y_line:
    y_dot.append(i+random.uniform(-0.9,0.9))


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Actual results')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

02. ലീനിയർ റിഗ്രഷൻ സമവാക്യം രൂപാന്തരപ്പെടുത്തേണ്ടതിന്റെ ആവശ്യകത

മറ്റൊരു ഉദാഹരണം നോക്കാം. ഞങ്ങൾ ഒരു ബാങ്കിലാണ് ജോലി ചെയ്യുന്നതെന്നും ചില ഘടകങ്ങളെ ആശ്രയിച്ച് കടം വാങ്ങുന്നയാൾ വായ്പ തിരിച്ചടയ്ക്കാനുള്ള സാധ്യത നിർണ്ണയിക്കുകയാണ് ഞങ്ങളുടെ ചുമതലയെന്നും സങ്കൽപ്പിക്കുക. ചുമതല ലളിതമാക്കുന്നതിന്, ഞങ്ങൾ രണ്ട് ഘടകങ്ങൾ മാത്രമേ പരിഗണിക്കൂ: കടം വാങ്ങുന്നയാളുടെ പ്രതിമാസ ശമ്പളവും പ്രതിമാസ വായ്പ തിരിച്ചടവ് തുകയും.

ചുമതല വളരെ സോപാധികമാണ്, എന്നാൽ ഈ ഉദാഹരണം ഉപയോഗിച്ച് നമുക്ക് അത് ഉപയോഗിക്കാൻ മതിയാകാത്തത് എന്തുകൊണ്ടാണെന്ന് മനസ്സിലാക്കാം ലീനിയർ റിഗ്രഷൻ പ്രവർത്തനങ്ങൾ, കൂടാതെ ഫംഗ്ഷനുമായി എന്ത് പരിവർത്തനങ്ങൾ നടത്തണമെന്ന് കണ്ടെത്തുക.

നമുക്ക് ഉദാഹരണത്തിലേക്ക് മടങ്ങാം. ശമ്പളം കൂടുന്തോറും കടം വാങ്ങുന്നയാൾക്ക് വായ്പ തിരിച്ചടയ്ക്കാൻ പ്രതിമാസം അനുവദിക്കാൻ കഴിയുമെന്നാണ് മനസ്സിലാക്കുന്നത്. അതേ സമയം, ഒരു നിശ്ചിത ശമ്പള പരിധിക്ക് ഈ ബന്ധം തികച്ചും രേഖീയമായിരിക്കും. ഉദാഹരണത്തിന്, നമുക്ക് 60.000 RUR മുതൽ 200.000 RUR വരെയുള്ള ശമ്പള ശ്രേണി എടുക്കാം, കൂടാതെ നിർദ്ദിഷ്ട ശമ്പള ശ്രേണിയിൽ, ശമ്പളത്തിന്റെ വലുപ്പത്തിലുള്ള പ്രതിമാസ പേയ്‌മെന്റിന്റെ വലുപ്പത്തിന്റെ ആശ്രിതത്വം രേഖീയമാണെന്ന് കരുതുക. നിർദിഷ്ട വേതന ശ്രേണിക്ക് ശമ്പള-പേയ്‌മെന്റ് അനുപാതം 3-ൽ താഴെയാകാൻ കഴിയില്ലെന്നും കടം വാങ്ങുന്നയാൾക്ക് ഇപ്പോഴും 5.000 RUR കരുതൽ ശേഖരം ഉണ്ടായിരിക്കണമെന്നും വെളിപ്പെടുത്തി. ഈ സാഹചര്യത്തിൽ മാത്രം, കടം വാങ്ങുന്നയാൾ ബാങ്കിന് വായ്പ തിരിച്ചടയ്ക്കുമെന്ന് ഞങ്ങൾ അനുമാനിക്കും. അപ്പോൾ, ലീനിയർ റിഗ്രഷൻ സമവാക്യം ഫോം എടുക്കും:

എവിടെ , , , - ശമ്പളം - കടം വാങ്ങുന്നയാൾ, - വായ്പ അടയ്ക്കൽ -ആം കടം വാങ്ങുന്നയാൾ.

ശമ്പളവും ലോൺ പേയ്‌മെന്റും നിശ്ചിത പാരാമീറ്ററുകൾ ഉപയോഗിച്ച് സമവാക്യത്തിലേക്ക് മാറ്റിസ്ഥാപിക്കുന്നു ലോൺ ഇഷ്യൂ ചെയ്യണോ വേണ്ടയോ എന്ന് നിങ്ങൾക്ക് തീരുമാനിക്കാം.

മുന്നോട്ട് നോക്കുമ്പോൾ, നൽകിയിരിക്കുന്ന പാരാമീറ്ററുകൾക്കൊപ്പം ഞങ്ങൾ അത് ശ്രദ്ധിക്കുന്നു ലീനിയർ റിഗ്രഷൻ ഫംഗ്ഷൻ, ഉപയോഗിച്ചു ലോജിസ്റ്റിക് പ്രതികരണ പ്രവർത്തനങ്ങൾ വായ്പ തിരിച്ചടവിന്റെ സാധ്യതകൾ നിർണ്ണയിക്കുന്നതിനുള്ള കണക്കുകൂട്ടലുകൾ സങ്കീർണ്ണമാക്കുന്ന വലിയ മൂല്യങ്ങൾ സൃഷ്ടിക്കും. അതിനാൽ, ഞങ്ങളുടെ ഗുണകങ്ങൾ 25.000 മടങ്ങ് കുറയ്ക്കാൻ നിർദ്ദേശിക്കുന്നു. ഗുണകങ്ങളിലെ ഈ പരിവർത്തനം വായ്പ നൽകാനുള്ള തീരുമാനത്തെ മാറ്റില്ല. ഭാവിയിൽ ഈ പോയിന്റ് ഓർക്കാം, എന്നാൽ ഇപ്പോൾ, നമ്മൾ എന്താണ് സംസാരിക്കുന്നതെന്ന് കൂടുതൽ വ്യക്തമാക്കുന്നതിന്, മൂന്ന് സാധ്യതയുള്ള കടം വാങ്ങുന്നവരുമായുള്ള സാഹചര്യം നമുക്ക് പരിഗണിക്കാം.

പട്ടിക 1 "സാധ്യതയുള്ള കടം വാങ്ങുന്നവർ"

പട്ടിക സൃഷ്ടിക്കുന്നതിനുള്ള കോഡ്

import pandas as pd

r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r

data = {'The borrower':np.array(['Vasya', 'Fedya', 'Lesha']), 
        'Salary':np.array([120000,180000,210000]),
       'Payment':np.array([3000,50000,70000])}

df = pd.DataFrame(data)

df['f(w,x)'] = w_0 + df['Salary']*w_1 + df['Payment']*w_2

decision = []
for i in df['f(w,x)']:
    if i > 0:
        dec = 'Approved'
        decision.append(dec)
    else:
        dec = 'Refusal'
        decision.append(dec)
        
df['Decision'] = decision

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision']]

പട്ടികയിലെ ഡാറ്റയ്ക്ക് അനുസൃതമായി, 120.000 RUR ശമ്പളമുള്ള വാസ്യ ഒരു ലോൺ സ്വീകരിക്കാൻ ആഗ്രഹിക്കുന്നു, അതുവഴി അയാൾക്ക് അത് പ്രതിമാസം 3.000 RUR തിരിച്ചടക്കാൻ കഴിയും. വായ്പ അംഗീകരിക്കുന്നതിന്, വാസ്യയുടെ ശമ്പളം പേയ്‌മെന്റിന്റെ മൂന്നിരട്ടി കവിയണമെന്നും ഇനിയും 5.000 RUR ശേഷിക്കണമെന്നും ഞങ്ങൾ നിർണ്ണയിച്ചു. വാസ്യ ഈ ആവശ്യകത നിറവേറ്റുന്നു: . 106.000 RUR പോലും അവശേഷിക്കുന്നു. കണക്കാക്കുമ്പോൾ വസ്തുത ഉണ്ടായിരുന്നിട്ടും ഞങ്ങൾ സാധ്യതകൾ കുറച്ചു 25.000 തവണ, ഫലം ഒന്നുതന്നെയായിരുന്നു - വായ്പ അംഗീകരിക്കാം. ഫെഡ്യയ്ക്കും വായ്പ ലഭിക്കും, എന്നാൽ ലെഷയ്ക്ക് ഏറ്റവും കൂടുതൽ ലഭിക്കുന്നുണ്ടെങ്കിലും, അവന്റെ വിശപ്പ് നിയന്ത്രിക്കേണ്ടിവരും.

ഈ കേസിനായി നമുക്ക് ഒരു ഗ്രാഫ് വരയ്ക്കാം.

ചാർട്ട് 2 "കടം വാങ്ങുന്നവരുടെ വർഗ്ഗീകരണം"

ഗ്രാഫ് വരയ്ക്കുന്നതിനുള്ള കോഡ്

salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'], 
         'o', color ='green', markersize = 12, label = 'Decision - Loan approved')
plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'], 
         's', color = 'red', markersize = 12, label = 'Decision - Loan refusal')
plt.xlabel('Salary', size = 16)
plt.ylabel('Payment', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

അതിനാൽ, ഞങ്ങളുടെ നേർരേഖ, പ്രവർത്തനത്തിന് അനുസൃതമായി നിർമ്മിച്ചിരിക്കുന്നു , "മോശം" കടം വാങ്ങുന്നവരെ "നല്ലവരിൽ നിന്ന്" വേർതിരിക്കുന്നു. ആഗ്രഹങ്ങൾ അവരുടെ കഴിവുകളുമായി പൊരുത്തപ്പെടാത്ത കടം വാങ്ങുന്നവർ ലൈനിന് മുകളിലാണ് (ലെഷ), അതേസമയം ഞങ്ങളുടെ മോഡലിന്റെ പാരാമീറ്ററുകൾ അനുസരിച്ച് വായ്പ തിരിച്ചടയ്ക്കാൻ കഴിയുന്നവർ ലൈനിന് താഴെയാണ് (വാസ്യയും ഫെഡ്യയും). മറ്റൊരു വിധത്തിൽ പറഞ്ഞാൽ, നമുക്ക് ഇത് പറയാം: ഞങ്ങളുടെ നേരിട്ടുള്ള ലൈൻ കടം വാങ്ങുന്നവരെ രണ്ട് വിഭാഗങ്ങളായി വിഭജിക്കുന്നു. നമുക്ക് അവയെ ഇനിപ്പറയുന്ന രീതിയിൽ സൂചിപ്പിക്കാം: ക്ലാസിലേക്ക് വായ്പ തിരിച്ചടയ്ക്കാൻ ഏറ്റവും സാധ്യതയുള്ള കടം വാങ്ങുന്നവരെ ഞങ്ങൾ തരം തിരിക്കും അഥവാ വായ്പ തിരിച്ചടയ്ക്കാൻ കഴിയാത്ത കടം വാങ്ങുന്നവരെ ഞങ്ങൾ ഉൾപ്പെടുത്തും.

ഈ ലളിതമായ ഉദാഹരണത്തിൽ നിന്നുള്ള നിഗമനങ്ങൾ നമുക്ക് സംഗ്രഹിക്കാം. നമുക്ക് ഒരു പോയിന്റ് എടുക്കാം കൂടാതെ, പോയിന്റിന്റെ കോർഡിനേറ്റുകളെ വരിയുടെ അനുബന്ധ സമവാക്യത്തിലേക്ക് മാറ്റിസ്ഥാപിക്കുന്നു , മൂന്ന് ഓപ്ഷനുകൾ പരിഗണിക്കുക:

1. പോയിന്റ് ലൈനിന് കീഴിലാണെങ്കിൽ ഞങ്ങൾ അത് ക്ലാസിലേക്ക് നിയോഗിക്കുന്നു , തുടർന്ന് ഫംഗ്ഷന്റെ മൂല്യം മുതൽ പോസിറ്റീവ് ആയിരിക്കും ഇതിനായി . ഇതിനർത്ഥം വായ്പ തിരിച്ചടയ്ക്കാനുള്ള സാധ്യത അതിനുള്ളിലാണെന്ന് നമുക്ക് അനുമാനിക്കാം . ഫംഗ്‌ഷൻ മൂല്യം കൂടുന്തോറും പ്രോബബിലിറ്റി കൂടും.
2. ഒരു പോയിന്റ് ഒരു വരിക്ക് മുകളിലാണെങ്കിൽ ഞങ്ങൾ അത് ക്ലാസിലേക്ക് നിയോഗിക്കുന്നു അഥവാ , അപ്പോൾ ഫംഗ്‌ഷന്റെ മൂല്യം നെഗറ്റീവ് ആയിരിക്കും ഇതിനായി . അപ്പോൾ കടം തിരിച്ചടക്കാനുള്ള സാധ്യത അതിനുള്ളിലാണെന്ന് ഞങ്ങൾ അനുമാനിക്കും കൂടാതെ, ഫംഗ്‌ഷന്റെ കേവല മൂല്യം കൂടുന്തോറും നമ്മുടെ ആത്മവിശ്വാസം വർദ്ധിക്കും.
3. പോയിന്റ് ഒരു നേർരേഖയിലാണ്, രണ്ട് ക്ലാസുകൾ തമ്മിലുള്ള അതിർത്തിയിലാണ്. ഈ സാഹചര്യത്തിൽ, പ്രവർത്തനത്തിന്റെ മൂല്യം തുല്യമായിരിക്കും വായ്പ തിരിച്ചടയ്ക്കാനുള്ള സാധ്യതയും തുല്യമാണ് .

ഇപ്പോൾ, നമുക്ക് രണ്ട് ഘടകങ്ങളല്ല, ഡസൻ കണക്കിന്, മൂന്നല്ല, ആയിരക്കണക്കിന് കടം വാങ്ങുന്നവരുണ്ടെന്ന് സങ്കൽപ്പിക്കുക. അപ്പോൾ നമുക്ക് ഒരു നേർരേഖയ്ക്ക് പകരം ഉണ്ടാകും m-ഡയമൻഷണൽ വിമാനവും ഗുണകങ്ങളും ഞങ്ങൾ വായുവിൽ നിന്ന് പുറത്തെടുക്കില്ല, മറിച്ച് എല്ലാ നിയമങ്ങൾക്കും അനുസൃതമായി ഉരുത്തിരിഞ്ഞതാണ്, കൂടാതെ വായ്പയെടുക്കുകയോ തിരിച്ചടയ്ക്കുകയോ ചെയ്തിട്ടില്ലാത്ത വായ്പക്കാരെക്കുറിച്ചുള്ള ശേഖരിച്ച ഡാറ്റയുടെ അടിസ്ഥാനത്തിൽ. തീർച്ചയായും, ഇതിനകം അറിയപ്പെടുന്ന ഗുണകങ്ങൾ ഉപയോഗിച്ചാണ് ഞങ്ങൾ ഇപ്പോൾ കടം വാങ്ങുന്നവരെ തിരഞ്ഞെടുക്കുന്നത് . വാസ്തവത്തിൽ, ലോജിസ്റ്റിക് റിഗ്രഷൻ മോഡലിന്റെ ചുമതല കൃത്യമായി പാരാമീറ്ററുകൾ നിർണ്ണയിക്കുക എന്നതാണ് , ഇതിൽ ലോസ് ഫംഗ്‌ഷന്റെ മൂല്യം ലോജിസ്റ്റിക് നഷ്ടം ഏറ്റവും കുറഞ്ഞത് പ്രവണത കാണിക്കും. എന്നാൽ വെക്റ്റർ എങ്ങനെ കണക്കാക്കുന്നു എന്നതിനെക്കുറിച്ച് , ലേഖനത്തിന്റെ അഞ്ചാം വിഭാഗത്തിൽ നമ്മൾ കൂടുതൽ കണ്ടെത്തും. അതിനിടയിൽ, ഞങ്ങൾ വാഗ്ദാനം ചെയ്ത ഭൂമിയിലേക്ക് മടങ്ങുന്നു - ഞങ്ങളുടെ ബാങ്കറിലേക്കും അവന്റെ മൂന്ന് ക്ലയന്റുകളിലേക്കും.

ചടങ്ങിന് നന്ദി ആർക്കൊക്കെ വായ്പ നൽകാമെന്നും ആരെയാണ് നിഷേധിക്കേണ്ടതെന്നും ഞങ്ങൾക്കറിയാം. എന്നാൽ അത്തരം വിവരങ്ങളുമായി നിങ്ങൾക്ക് ഡയറക്ടറുടെ അടുത്തേക്ക് പോകാൻ കഴിയില്ല, കാരണം ഓരോ വായ്പക്കാരനും വായ്പ തിരിച്ചടയ്ക്കാനുള്ള സാധ്യത ഞങ്ങളിൽ നിന്ന് ലഭിക്കാൻ അവർ ആഗ്രഹിച്ചു. എന്തുചെയ്യും? ഉത്തരം ലളിതമാണ് - ഞങ്ങൾ എങ്ങനെയെങ്കിലും പ്രവർത്തനത്തെ പരിവർത്തനം ചെയ്യേണ്ടതുണ്ട് , ആരുടെ മൂല്യങ്ങൾ പരിധിയിലാണ് മൂല്യങ്ങൾ ശ്രേണിയിൽ കിടക്കുന്ന ഒരു ഫംഗ്‌ഷനിലേക്ക് . അത്തരമൊരു പ്രവർത്തനം നിലവിലുണ്ട്, അതിനെ വിളിക്കുന്നു ലോജിസ്റ്റിക് പ്രതികരണ പ്രവർത്തനം അല്ലെങ്കിൽ വിപരീത ലോജിറ്റ് പരിവർത്തനം. കണ്ടുമുട്ടുക:

ഇത് എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് ഘട്ടം ഘട്ടമായി നോക്കാം ലോജിസ്റ്റിക് പ്രതികരണ പ്രവർത്തനം. നമ്മൾ എതിർദിശയിൽ നടക്കുമെന്ന് ശ്രദ്ധിക്കുക, അതായത്. എന്നതിന്റെ പരിധിയിലുള്ള പ്രോബബിലിറ്റി മൂല്യം ഞങ്ങൾക്ക് അറിയാമെന്ന് ഞങ്ങൾ അനുമാനിക്കും ഇതിനായി തുടർന്ന് ഞങ്ങൾ ഈ മൂല്യം സംഖ്യകളുടെ മുഴുവൻ ശ്രേണിയിലേക്കും "അഴിച്ചുവിടും" ഇതിനായി .

03. ഞങ്ങൾ ലോജിസ്റ്റിക് റെസ്‌പോൺസ് ഫംഗ്‌ഷൻ എടുക്കുന്നു

ഘട്ടം 1. പ്രോബബിലിറ്റി മൂല്യങ്ങൾ ഒരു ശ്രേണിയിലേക്ക് പരിവർത്തനം ചെയ്യുക

പ്രവർത്തനത്തിന്റെ പരിവർത്തന സമയത്ത് в ലോജിസ്റ്റിക് പ്രതികരണ പ്രവർത്തനം ഞങ്ങൾ ഞങ്ങളുടെ ക്രെഡിറ്റ് അനലിസ്റ്റിനെ വെറുതെ വിടുകയും പകരം വാതുവെപ്പുകാരുമായി ഒരു ടൂർ നടത്തുകയും ചെയ്യും. ഇല്ല, തീർച്ചയായും, ഞങ്ങൾ പന്തയങ്ങൾ സ്ഥാപിക്കില്ല, ഞങ്ങൾക്ക് താൽപ്പര്യമുള്ളത് പദപ്രയോഗത്തിന്റെ അർത്ഥമാണ്, ഉദാഹരണത്തിന്, അവസരം 4 മുതൽ 1 വരെയാണ്. എല്ലാ വാതുവെപ്പുകാരും പരിചിതമായ സാധ്യതകൾ, "വിജയങ്ങൾ" എന്ന അനുപാതമാണ് " പരാജയങ്ങൾ". പ്രോബബിലിറ്റി പദങ്ങളിൽ, ഒരു ഇവന്റ് സംഭവിക്കാത്തതിന്റെ സംഭാവ്യത കൊണ്ട് ഹരിച്ചുള്ള സംഭവത്തിന്റെ സംഭാവ്യതയാണ് ഓഡ്സ്. ഒരു ഇവന്റ് സംഭവിക്കാനുള്ള സാധ്യതയുടെ ഫോർമുല എഴുതാം :

എവിടെ - ഒരു സംഭവത്തിന്റെ സംഭാവ്യത, - സംഭവിക്കാത്ത ഒരു സംഭവത്തിന്റെ സംഭാവ്യത

ഉദാഹരണത്തിന്, "വെറ്ററോക്ക്" എന്ന് വിളിപ്പേരുള്ള ചെറുപ്പവും ശക്തനും കളിയുമായ കുതിര ഒരു ഓട്ടമത്സരത്തിൽ "മട്ടിൽഡ" എന്ന വൃദ്ധയും തളർച്ചയുമുള്ള വൃദ്ധയെ തോൽപ്പിക്കാനുള്ള സാധ്യത തുല്യമാണെങ്കിൽ , അപ്പോൾ "Veterok" ന്റെ വിജയസാധ്യതകൾ ആയിരിക്കും к തിരിച്ചും, അസന്തുലിതാവസ്ഥ അറിയുമ്പോൾ, സംഭാവ്യത കണക്കാക്കുന്നത് ഞങ്ങൾക്ക് ബുദ്ധിമുട്ടുള്ള കാര്യമല്ല :

അതിനാൽ, മൂല്യങ്ങൾ എടുക്കുന്ന അവസരങ്ങളിലേക്ക് പ്രോബബിലിറ്റിയെ "വിവർത്തനം" ചെയ്യാൻ ഞങ്ങൾ പഠിച്ചു ഇതിനായി . നമുക്ക് ഒരു ചുവട് കൂടി എടുത്ത്, മുഴുവൻ സംഖ്യാ രേഖയിലേക്കും സാധ്യത "വിവർത്തനം" ചെയ്യാൻ പഠിക്കാം ഇതിനായി .

ഘട്ടം 2. പ്രോബബിലിറ്റി മൂല്യങ്ങൾ ഒരു ശ്രേണിയിലേക്ക് പരിവർത്തനം ചെയ്യുക

ഈ ഘട്ടം വളരെ ലളിതമാണ് - ഒൗളറുടെ സംഖ്യയുടെ അടിസ്ഥാനത്തിലേക്കുള്ള അസമത്വങ്ങളുടെ ലോഗരിതം എടുക്കാം. നമുക്ക് ലഭിക്കുന്നു:

എങ്കിൽ ഇപ്പോൾ നമുക്കറിയാം , തുടർന്ന് മൂല്യം കണക്കാക്കുക വളരെ ലളിതവും കൂടാതെ, ഇത് പോസിറ്റീവ് ആയിരിക്കണം: . ഇത് സത്യമാണ്.

ജിജ്ഞാസ കാരണം, എന്താണെന്ന് പരിശോധിക്കാം , അപ്പോൾ ഞങ്ങൾ ഒരു നെഗറ്റീവ് മൂല്യം കാണുമെന്ന് പ്രതീക്ഷിക്കുന്നു . ഞങ്ങൾ പരിശോധിക്കുന്നു: . അത് ശരിയാണ്.

പ്രോബബിലിറ്റി മൂല്യം എങ്ങനെ പരിവർത്തനം ചെയ്യാമെന്ന് ഇപ്പോൾ നമുക്കറിയാം ഇതിനായി മുതൽ മുഴുവൻ നമ്പർ ലൈനിലും ഇതിനായി . അടുത്ത ഘട്ടത്തിൽ ഞങ്ങൾ വിപരീതമായി ചെയ്യും.

ഇപ്പോൾ, ലോഗരിതം നിയമങ്ങൾക്കനുസൃതമായി, പ്രവർത്തനത്തിന്റെ മൂല്യം അറിയുന്നത് ഞങ്ങൾ ശ്രദ്ധിക്കുന്നു , നിങ്ങൾക്ക് സാധ്യതകൾ കണക്കാക്കാം:

സാധ്യതകൾ നിർണ്ണയിക്കുന്നതിനുള്ള ഈ രീതി അടുത്ത ഘട്ടത്തിൽ ഞങ്ങൾക്ക് ഉപയോഗപ്രദമാകും.

ഘട്ടം 3. നിർണ്ണയിക്കാൻ നമുക്ക് ഒരു ഫോർമുല കണ്ടെത്താം

അങ്ങനെ ഞങ്ങൾ പഠിച്ചു, അറിഞ്ഞു , ഫംഗ്ഷൻ മൂല്യങ്ങൾ കണ്ടെത്തുക . എന്നിരുന്നാലും, വാസ്തവത്തിൽ, നമുക്ക് കൃത്യമായി വിപരീതമാണ് വേണ്ടത് - മൂല്യം അറിയുക കണ്ടെത്താൻ . ഇത് ചെയ്യുന്നതിന്, വിപരീത ഓഡ്സ് ഫംഗ്ഷൻ പോലുള്ള ഒരു ആശയത്തിലേക്ക് നമുക്ക് തിരിയാം, അതനുസരിച്ച്:

ലേഖനത്തിൽ ഞങ്ങൾ മുകളിലുള്ള സൂത്രവാക്യം ഉരുവിടുകയില്ല, എന്നാൽ മുകളിലുള്ള ഉദാഹരണത്തിൽ നിന്നുള്ള അക്കങ്ങൾ ഉപയോഗിച്ച് ഞങ്ങൾ അത് പരിശോധിക്കും. 4 മുതൽ 1 വരെയുള്ള സാദ്ധ്യതകളോടെ അത് നമുക്കറിയാം (), ഇവന്റ് സംഭവിക്കാനുള്ള സാധ്യത 0.8 ആണ് (). നമുക്ക് ഒരു പകരം വയ്ക്കാം: . ഇത് മുമ്പ് നടത്തിയ ഞങ്ങളുടെ കണക്കുകൂട്ടലുകളുമായി പൊരുത്തപ്പെടുന്നു. നമുക്ക് നീങ്ങാം.

അവസാന ഘട്ടത്തിൽ ഞങ്ങൾ അത് ഊഹിച്ചു , അതായത് വിപരീത ഓഡ്‌സ് ഫംഗ്‌ഷനിൽ നിങ്ങൾക്ക് ഒരു പകരം വയ്ക്കാൻ കഴിയും. നമുക്ക് ലഭിക്കുന്നത്:

ന്യൂമറേറ്ററും ഡിനോമിനേറ്ററും രണ്ടായി ഹരിക്കുക , പിന്നെ:

ഒരു സാഹചര്യത്തിലും, ഞങ്ങൾ എവിടെയും ഒരു തെറ്റ് ചെയ്തിട്ടില്ലെന്ന് ഉറപ്പാക്കാൻ, ഞങ്ങൾ ഒരു ചെറിയ പരിശോധന കൂടി നടത്തും. ഘട്ടം 2 ൽ, ഞങ്ങൾ എന്ന് നിശ്ചയിച്ചു . തുടർന്ന്, മൂല്യം മാറ്റിസ്ഥാപിക്കുന്നു ലോജിസ്റ്റിക് പ്രതികരണ പ്രവർത്തനത്തിലേക്ക്, ഞങ്ങൾ ലഭിക്കുമെന്ന് പ്രതീക്ഷിക്കുന്നു . ഞങ്ങൾ മാറ്റിസ്ഥാപിക്കുകയും നേടുകയും ചെയ്യുന്നു:

അഭിനന്ദനങ്ങൾ, പ്രിയ വായനക്കാരേ, ഞങ്ങൾ ലോജിസ്റ്റിക് പ്രതികരണ പ്രവർത്തനം കണ്ടെത്തി പരീക്ഷിച്ചു. ഫംഗ്ഷന്റെ ഗ്രാഫ് നോക്കാം.

ഗ്രാഫ് 3 "ലോജിസ്റ്റിക് പ്രതികരണ പ്രവർത്തനം"

ഗ്രാഫ് വരയ്ക്കുന്നതിനുള്ള കോഡ്

import math

def logit (f):
    return 1/(1+math.exp(-f))

f = np.arange(-7,7,0.05)
p = []

for i in f:
    p.append(logit(i))

fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

സാഹിത്യത്തിൽ നിങ്ങൾക്ക് ഈ ഫംഗ്ഷന്റെ പേരും ഇങ്ങനെ കണ്ടെത്താം സിഗ്മോയിഡ് ഫംഗ്ഷൻ. ഒരു ക്ലാസിൽ പെടുന്ന ഒരു വസ്തുവിന്റെ പ്രോബബിലിറ്റിയിലെ പ്രധാന മാറ്റം താരതമ്യേന ചെറിയ പരിധിക്കുള്ളിൽ സംഭവിക്കുന്നുവെന്ന് ഗ്രാഫ് വ്യക്തമായി കാണിക്കുന്നു. , എവിടെയോ നിന്ന് ഇതിനായി .

ഞങ്ങളുടെ ക്രെഡിറ്റ് അനലിസ്റ്റിലേക്ക് മടങ്ങാനും ലോൺ തിരിച്ചടവിന്റെ സാധ്യത കണക്കാക്കാൻ അവനെ സഹായിക്കാനും ഞാൻ നിർദ്ദേശിക്കുന്നു, അല്ലാത്തപക്ഷം അയാൾക്ക് ബോണസ് ലഭിക്കാതെ പോകും :)

പട്ടിക 2 "സാധ്യതയുള്ള കടം വാങ്ങുന്നവർ"

പട്ടിക സൃഷ്ടിക്കുന്നതിനുള്ള കോഡ്

proba = []
for i in df['f(w,x)']:
    proba.append(round(logit(i),2))
    
df['Probability'] = proba

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision', 'Probability']]

അതിനാൽ, വായ്പ തിരിച്ചടവിന്റെ സാധ്യത ഞങ്ങൾ നിർണ്ണയിച്ചു. പൊതുവേ, ഇത് ശരിയാണെന്ന് തോന്നുന്നു.

തീർച്ചയായും, 120.000 RUR ശമ്പളമുള്ള വാസ്യയ്ക്ക് എല്ലാ മാസവും 3.000 RUR ബാങ്കിന് നൽകാനുള്ള സാധ്യത 100% ന് അടുത്താണ്. വഴിയിൽ, ബാങ്കിന്റെ നയം നൽകുകയാണെങ്കിൽ ഒരു ബാങ്കിന് ലെഷയ്ക്ക് വായ്പ നൽകാൻ കഴിയുമെന്ന് ഞങ്ങൾ മനസ്സിലാക്കണം, ഉദാഹരണത്തിന്, 0.3-ൽ കൂടുതൽ വായ്പ തിരിച്ചടയ്ക്കാനുള്ള സാധ്യതയുള്ള ക്ലയന്റുകൾക്ക് വായ്പ നൽകുന്നതിന്. ഈ സാഹചര്യത്തിൽ സാധ്യമായ നഷ്ടങ്ങൾക്കായി ബാങ്ക് ഒരു വലിയ കരുതൽ സൃഷ്ടിക്കും എന്ന് മാത്രം.

ശമ്പള-പേയ്‌മെന്റ് അനുപാതം കുറഞ്ഞത് 3 എന്നതും 5.000 RUR മാർജിൻ ഉള്ളതും പരിധിയിൽ നിന്ന് എടുത്തതാണ് എന്നതും ശ്രദ്ധിക്കേണ്ടതാണ്. അതിനാൽ, ഭാരം വെക്റ്റർ അതിന്റെ യഥാർത്ഥ രൂപത്തിൽ ഉപയോഗിക്കാൻ ഞങ്ങൾക്ക് കഴിഞ്ഞില്ല . ഞങ്ങൾക്ക് ഗുണകങ്ങൾ വളരെയധികം കുറയ്ക്കേണ്ടതുണ്ട്, ഈ സാഹചര്യത്തിൽ ഞങ്ങൾ ഓരോ ഗുണകവും 25.000 കൊണ്ട് വിഭജിച്ചു, അതായത്, സാരാംശത്തിൽ, ഞങ്ങൾ ഫലം ക്രമീകരിച്ചു. എന്നാൽ പ്രാരംഭ ഘട്ടത്തിൽ മെറ്റീരിയലിനെക്കുറിച്ചുള്ള ധാരണ ലളിതമാക്കാൻ ഇത് പ്രത്യേകമായി ചെയ്തു. ജീവിതത്തിൽ, നമുക്ക് ഗുണകങ്ങൾ കണ്ടുപിടിക്കുകയും ക്രമീകരിക്കുകയും ചെയ്യേണ്ടതില്ല, പക്ഷേ അവ കണ്ടെത്തുക. ലേഖനത്തിന്റെ അടുത്ത വിഭാഗങ്ങളിൽ, പാരാമീറ്ററുകൾ തിരഞ്ഞെടുത്ത സമവാക്യങ്ങൾ ഞങ്ങൾ കണ്ടെത്തും .

04. ഭാരത്തിന്റെ വെക്റ്റർ നിർണ്ണയിക്കുന്നതിനുള്ള ഏറ്റവും കുറഞ്ഞ സമചതുര രീതി ലോജിസ്റ്റിക് പ്രതികരണ പ്രവർത്തനത്തിൽ

വെക്റ്റർ വെക്റ്റർ തിരഞ്ഞെടുക്കുന്നതിനുള്ള ഈ രീതി നമുക്ക് ഇതിനകം അറിയാം , as ഏറ്റവും കുറഞ്ഞ ചതുര രീതി (LSM) സത്യത്തിൽ, എന്തുകൊണ്ട് ബൈനറി ക്ലാസിഫിക്കേഷൻ പ്രശ്‌നങ്ങളിൽ നമ്മൾ അത് ഉപയോഗിക്കാറില്ല? തീർച്ചയായും, ഒന്നും ഉപയോഗിക്കുന്നതിൽ നിന്ന് നിങ്ങളെ തടയുന്നില്ല എം.എൻ.സി, വർഗ്ഗീകരണ പ്രശ്നങ്ങളിൽ ഈ രീതി മാത്രമേ കൃത്യമല്ലാത്ത ഫലങ്ങൾ നൽകുന്നുള്ളൂ ലോജിസ്റ്റിക് നഷ്ടം. ഇതിന് ഒരു സൈദ്ധാന്തിക അടിത്തറയുണ്ട്. ആദ്യം നമുക്ക് ഒരു ലളിതമായ ഉദാഹരണം നോക്കാം.

നമ്മുടെ മോഡലുകൾ (ഉപയോഗിക്കുന്നത് MSE и ലോജിസ്റ്റിക് നഷ്ടം) ഭാരത്തിന്റെ വെക്റ്റർ തിരഞ്ഞെടുക്കാൻ തുടങ്ങി ചില ഘട്ടങ്ങളിൽ ഞങ്ങൾ കണക്കുകൂട്ടൽ നിർത്തി. മധ്യത്തിലോ അവസാനത്തിലോ തുടക്കത്തിലോ എന്നത് പ്രശ്നമല്ല, പ്രധാന കാര്യം, നമുക്ക് ഇതിനകം ഭാരത്തിന്റെ വെക്റ്ററിന്റെ ചില മൂല്യങ്ങൾ ഉണ്ട് എന്നതാണ്, ഈ ഘട്ടത്തിൽ, ഭാരത്തിന്റെ വെക്റ്റർ എന്ന് നമുക്ക് അനുമാനിക്കാം. രണ്ട് മോഡലുകൾക്കും വ്യത്യാസങ്ങളില്ല. അതിനുശേഷം തത്ഫലമായുണ്ടാകുന്ന തൂക്കങ്ങൾ എടുത്ത് അവയെ പകരം വയ്ക്കുക ലോജിസ്റ്റിക് പ്രതികരണ പ്രവർത്തനം () ക്ലാസിൽ പെടുന്ന ചില ഒബ്ജക്റ്റുകൾക്ക് . തിരഞ്ഞെടുത്ത വെക്റ്റർ ഭാരത്തിന് അനുസൃതമായി, ഞങ്ങളുടെ മോഡൽ വളരെ തെറ്റിദ്ധരിക്കുമ്പോൾ ഞങ്ങൾ രണ്ട് കേസുകൾ പരിശോധിക്കുന്നു, തിരിച്ചും - ഒബ്ജക്റ്റ് ക്ലാസിൽ പെട്ടതാണെന്ന് മോഡലിന് വളരെ ആത്മവിശ്വാസമുണ്ട്. . ഉപയോഗിക്കുമ്പോൾ എന്തൊക്കെ പിഴകൾ നൽകുമെന്ന് നോക്കാം എം.എൻ.സി и ലോജിസ്റ്റിക് നഷ്ടം.

ഉപയോഗിച്ച നഷ്ട പ്രവർത്തനത്തെ ആശ്രയിച്ച് പിഴകൾ കണക്കാക്കുന്നതിനുള്ള കോഡ്

# класс объекта
y = 1
# вероятность отнесения объекта к классу в соответствии с параметрами w
proba_1 = 0.01

MSE_1 = (y - proba_1)**2
print 'Штраф MSE при грубой ошибке =', MSE_1

# напишем функцию для вычисления f(w,x) при известной вероятности отнесения объекта к классу +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
    return math.log(proba/(1-proba)) 

LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'Штраф Log Loss при грубой ошибке =', LogLoss_1

proba_2 = 0.99

MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))

print '**************************************************************'
print 'Штраф MSE при сильной уверенности =', MSE_2
print 'Штраф Log Loss при сильной уверенности =', LogLoss_2

ഒരു തെറ്റിന്റെ കേസ് — മോഡൽ ഒരു ക്ലാസിലേക്ക് ഒരു ഒബ്ജക്റ്റ് നൽകുന്നു 0,01 പ്രോബബിലിറ്റിയോടെ

ഉപയോഗിച്ചാൽ പിഴ എം.എൻ.സി ആയിരിക്കും:

ഉപയോഗിച്ചാൽ പിഴ ലോജിസ്റ്റിക് നഷ്ടം ആയിരിക്കും:

ശക്തമായ ആത്മവിശ്വാസത്തിന്റെ ഒരു കേസ് — മോഡൽ ഒരു ക്ലാസിലേക്ക് ഒരു ഒബ്ജക്റ്റ് നൽകുന്നു 0,99 പ്രോബബിലിറ്റിയോടെ

ഉപയോഗിച്ചാൽ പിഴ എം.എൻ.സി ആയിരിക്കും:

ഉപയോഗിച്ചാൽ പിഴ ലോജിസ്റ്റിക് നഷ്ടം ആയിരിക്കും:

മൊത്തത്തിലുള്ള പിശക് സംഭവിച്ചാൽ, പ്രവർത്തന നഷ്ടം സംഭവിക്കുമെന്ന് ഈ ഉദാഹരണം നന്നായി വ്യക്തമാക്കുന്നു ലോഗ് ലോസ് മോഡലിനെക്കാൾ ഗണ്യമായി പിഴ ചുമത്തുന്നു MSE. ലോസ് ഫംഗ്‌ഷൻ ഉപയോഗിക്കുന്നതിനുള്ള സൈദ്ധാന്തിക പശ്ചാത്തലം എന്താണെന്ന് ഇപ്പോൾ മനസ്സിലാക്കാം ലോഗ് ലോസ് വർഗ്ഗീകരണ പ്രശ്നങ്ങളിൽ.

05. പരമാവധി സാധ്യതയുള്ള രീതിയും ലോജിസ്റ്റിക് റിഗ്രഷനും

തുടക്കത്തിൽ വാഗ്ദാനം ചെയ്തതുപോലെ, ലളിതമായ ഉദാഹരണങ്ങളാൽ ലേഖനം നിറഞ്ഞിരിക്കുന്നു. സ്റ്റുഡിയോയിൽ മറ്റൊരു ഉദാഹരണവും പഴയ അതിഥികളും ഉണ്ട് - ബാങ്ക് കടം വാങ്ങുന്നവർ: വാസ്യ, ഫെദ്യ, ലെഷ.

ഉദാഹരണം വികസിപ്പിക്കുന്നതിന് മുമ്പ്, ജീവിതത്തിൽ ഞങ്ങൾ പതിനായിരക്കണക്കിന് അല്ലെങ്കിൽ നൂറുകണക്കിന് സവിശേഷതകളുള്ള ആയിരക്കണക്കിന് അല്ലെങ്കിൽ ദശലക്ഷക്കണക്കിന് വസ്തുക്കളുടെ പരിശീലന സാമ്പിളാണ് കൈകാര്യം ചെയ്യുന്നതെന്ന് ഞാൻ നിങ്ങളെ ഓർമ്മിപ്പിക്കട്ടെ. എന്നിരുന്നാലും, ഇവിടെ അക്കങ്ങൾ എടുക്കുന്നതിനാൽ അവ ഒരു പുതിയ ഡാറ്റാ സയന്റിസ്റ്റിന്റെ തലയിൽ എളുപ്പത്തിൽ ഉൾക്കൊള്ളാൻ കഴിയും.

നമുക്ക് ഉദാഹരണത്തിലേക്ക് മടങ്ങാം. ലെഷയ്ക്ക് നൽകരുതെന്ന് അൽഗോരിതം പറഞ്ഞിട്ടും, ആവശ്യമുള്ള എല്ലാവർക്കും വായ്പ നൽകാൻ ബാങ്ക് ഡയറക്ടർ തീരുമാനിച്ചുവെന്ന് നമുക്ക് സങ്കൽപ്പിക്കുക. ഇപ്പോൾ മതിയായ സമയം കടന്നുപോയി, മൂന്ന് നായകന്മാരിൽ ആരാണ് വായ്പ തിരിച്ചടച്ചതെന്നും ആരാണ് തിരിച്ചടച്ചതെന്നും നമുക്കറിയാം. എന്താണ് പ്രതീക്ഷിക്കേണ്ടത്: വാസ്യയും ഫെദ്യയും വായ്പ തിരിച്ചടച്ചു, പക്ഷേ ലെഷ ചെയ്തില്ല. ഈ ഫലം ഞങ്ങൾക്ക് ഒരു പുതിയ പരിശീലന സാമ്പിളായിരിക്കുമെന്ന് നമുക്ക് സങ്കൽപ്പിക്കാം, അതേ സമയം, വായ്പ തിരിച്ചടയ്ക്കാനുള്ള സാധ്യതയെ (കടം വാങ്ങുന്നയാളുടെ ശമ്പളം, പ്രതിമാസ പേയ്‌മെന്റിന്റെ വലുപ്പം) സ്വാധീനിക്കുന്ന ഘടകങ്ങളെക്കുറിച്ചുള്ള എല്ലാ ഡാറ്റയും അപ്രത്യക്ഷമായതുപോലെയാണ്. അപ്പോൾ, അവബോധപൂർവ്വം, ഓരോ മൂന്നാമത്തെ വായ്പക്കാരനും ബാങ്കിന് വായ്പ തിരിച്ചടയ്ക്കുന്നില്ലെന്ന് നമുക്ക് അനുമാനിക്കാം, അല്ലെങ്കിൽ മറ്റൊരു രീതിയിൽ പറഞ്ഞാൽ, അടുത്ത കടം വാങ്ങുന്നയാൾ വായ്പ തിരിച്ചടയ്ക്കാനുള്ള സാധ്യത . ഈ അവബോധജന്യമായ അനുമാനത്തിന് സൈദ്ധാന്തിക സ്ഥിരീകരണമുണ്ട്, അത് അടിസ്ഥാനമാക്കിയുള്ളതാണ് പരമാവധി സാധ്യത രീതി, പലപ്പോഴും സാഹിത്യത്തിൽ അത് വിളിക്കപ്പെടുന്നു പരമാവധി സാധ്യത തത്വം.

ആദ്യം, നമുക്ക് ആശയപരമായ ഉപകരണവുമായി പരിചയപ്പെടാം.

സാമ്പിൾ സാധ്യത അത്തരമൊരു സാമ്പിൾ കൃത്യമായി ലഭിക്കാനുള്ള സാധ്യതയാണ്, അത്തരം നിരീക്ഷണങ്ങൾ/ഫലങ്ങൾ കൃത്യമായി നേടുക, അതായത്. ഓരോ സാമ്പിൾ ഫലങ്ങളും നേടുന്നതിനുള്ള സാധ്യതകളുടെ ഉൽപ്പന്നം (ഉദാഹരണത്തിന്, വാസ്യ, ഫെദ്യ, ലെഷ എന്നിവരുടെ വായ്പ തിരിച്ചടച്ചതാണോ അല്ലെങ്കിൽ അതേ സമയം തിരിച്ചടച്ചില്ലെങ്കിലും).

സാധ്യതാ പ്രവർത്തനം ഒരു സാമ്പിളിന്റെ സാധ്യതയെ വിതരണ പാരാമീറ്ററുകളുടെ മൂല്യങ്ങളുമായി ബന്ധപ്പെടുത്തുന്നു.

ഞങ്ങളുടെ കാര്യത്തിൽ, പരിശീലന സാമ്പിൾ ഒരു സാമാന്യവൽക്കരിച്ച ബെർണൂലി സ്കീമാണ്, അതിൽ റാൻഡം വേരിയബിൾ രണ്ട് മൂല്യങ്ങൾ മാത്രമേ എടുക്കൂ: അഥവാ . അതിനാൽ, സാമ്പിൾ സാധ്യത എന്നത് പരാമീറ്ററിന്റെ ഒരു സാധ്യതാ ഫംഗ്‌ഷനായി എഴുതാം ഇനിപ്പറയുന്ന പ്രകാരം:

മുകളിലുള്ള എൻട്രി ഇനിപ്പറയുന്ന രീതിയിൽ വ്യാഖ്യാനിക്കാം. വാസ്യയും ഫെദ്യയും വായ്പ തിരിച്ചടയ്ക്കാനുള്ള സംയുക്ത സംഭാവ്യത തുല്യമാണ് , ലെഷ വായ്പ തിരിച്ചടയ്ക്കില്ല എന്നതിന്റെ സാധ്യത തുല്യമാണ് (ഇത് നടന്നത് വായ്പ തിരിച്ചടവ് അല്ലാത്തതിനാൽ), അതിനാൽ മൂന്ന് സംഭവങ്ങളുടെയും സംയുക്ത സംഭാവ്യത തുല്യമാണ് .

പരമാവധി സാധ്യതയുള്ള രീതി ഒരു അജ്ഞാത പാരാമീറ്റർ പരമാവധിയാക്കി കണക്കാക്കുന്നതിനുള്ള ഒരു രീതിയാണ് സാധ്യതാ പ്രവർത്തനങ്ങൾ. ഞങ്ങളുടെ കാര്യത്തിൽ, അത്തരമൊരു മൂല്യം കണ്ടെത്തേണ്ടതുണ്ട് അതിൽ അതിന്റെ പരമാവധി എത്തുന്നു.

യഥാർത്ഥ ആശയം എവിടെ നിന്നാണ് വരുന്നത് - ഒരു അജ്ഞാത പാരാമീറ്ററിന്റെ മൂല്യം നോക്കാൻ, അതിൽ സാധ്യതയുള്ള പ്രവർത്തനം പരമാവധി എത്തുന്നു? ജനസംഖ്യയെക്കുറിച്ച് നമുക്ക് ലഭ്യമായ അറിവിന്റെ ഏക ഉറവിടം ഒരു സാമ്പിൾ ആണെന്ന ആശയത്തിൽ നിന്നാണ് ആശയത്തിന്റെ ഉത്ഭവം. ജനസംഖ്യയെക്കുറിച്ച് നമുക്കറിയാവുന്നതെല്ലാം സാമ്പിളിൽ പ്രതിനിധീകരിക്കുന്നു. അതിനാൽ, ഞങ്ങൾക്ക് ലഭ്യമായ ജനസംഖ്യയുടെ ഏറ്റവും കൃത്യമായ പ്രതിഫലനമാണ് ഒരു സാമ്പിൾ എന്ന് മാത്രമേ നമുക്ക് പറയാൻ കഴിയൂ. അതിനാൽ, ലഭ്യമായ സാമ്പിൾ ഏറ്റവും സാധ്യതയുള്ള ഒരു പരാമീറ്റർ കണ്ടെത്തേണ്ടതുണ്ട്.

വ്യക്തമായും, ഞങ്ങൾ ഒരു ഒപ്റ്റിമൈസേഷൻ പ്രശ്നമാണ് കൈകാര്യം ചെയ്യുന്നത്, അതിൽ ഒരു ഫംഗ്ഷന്റെ എക്സ്ട്രീം പോയിന്റ് കണ്ടെത്തേണ്ടതുണ്ട്. എക്‌സ്‌ട്രീം പോയിന്റ് കണ്ടെത്തുന്നതിന്, ഫംഗ്‌ഷന്റെ ഡെറിവേറ്റീവിനെ പൂജ്യത്തിന് തുല്യമാക്കുകയും ആവശ്യമുള്ള പാരാമീറ്ററുമായി ബന്ധപ്പെട്ട് സമവാക്യം പരിഹരിക്കുകയും ചെയ്യേണ്ടത്, ഫസ്റ്റ്-ഓർഡർ അവസ്ഥ പരിഗണിക്കേണ്ടതുണ്ട്. എന്നിരുന്നാലും, ധാരാളം ഘടകങ്ങളുടെ ഉൽപ്പന്നത്തിന്റെ ഡെറിവേറ്റീവിനായി തിരയുന്നത് ഒരു നീണ്ട ജോലിയാണ്; ഇത് ഒഴിവാക്കാൻ, ഒരു പ്രത്യേക സാങ്കേതികതയുണ്ട് - ലോഗരിതത്തിലേക്ക് മാറുന്നത് സാധ്യതാ പ്രവർത്തനങ്ങൾ. എന്തുകൊണ്ടാണ് അത്തരമൊരു പരിവർത്തനം സാധ്യമാകുന്നത്? നാം ഫംഗ്ഷന്റെ അതിരുകടന്നതിലേക്ക് നോക്കുന്നില്ല എന്ന വസ്തുതയിലേക്ക് നമുക്ക് ശ്രദ്ധിക്കാം, കൂടാതെ എക്സ്ട്രീം പോയിന്റ്, അതായത്, അജ്ഞാത പാരാമീറ്ററിന്റെ മൂല്യം അതിൽ അതിന്റെ പരമാവധി എത്തുന്നു. ഒരു ലോഗരിതത്തിലേക്ക് നീങ്ങുമ്പോൾ, എക്സ്ട്രീം പോയിന്റ് മാറില്ല (എക്‌സ്‌ട്രീം തന്നെ വ്യത്യാസപ്പെട്ടിരിക്കുമെങ്കിലും), ലോഗരിതം ഒരു ഏകതാനമായ പ്രവർത്തനമാണ്.

മേൽപ്പറഞ്ഞവയ്ക്ക് അനുസൃതമായി, വാസ്യ, ഫെദ്യ, ലെഷ എന്നിവരിൽ നിന്നുള്ള വായ്പകൾ ഉപയോഗിച്ച് നമ്മുടെ മാതൃക വികസിപ്പിക്കുന്നത് തുടരാം. ആദ്യം നമുക്ക് മുന്നോട്ട് പോകാം സാധ്യതാ പ്രവർത്തനത്തിന്റെ ലോഗരിതം:

ഇപ്പോൾ നമുക്ക് പദപ്രയോഗത്തെ എളുപ്പത്തിൽ വേർതിരിച്ചറിയാൻ കഴിയും :

അവസാനമായി, ഫസ്റ്റ്-ഓർഡർ വ്യവസ്ഥ പരിഗണിക്കുക - ഞങ്ങൾ ഫംഗ്‌ഷന്റെ ഡെറിവേറ്റീവിനെ പൂജ്യത്തിന് തുല്യമാക്കുന്നു:

അതിനാൽ, വായ്പ തിരിച്ചടവിന്റെ സാധ്യതയെക്കുറിച്ചുള്ള ഞങ്ങളുടെ അവബോധജന്യമായ എസ്റ്റിമേറ്റ് സൈദ്ധാന്തികമായി ന്യായീകരിക്കപ്പെട്ടു.

കൊള്ളാം, എന്നാൽ ഈ വിവരങ്ങളുമായി ഞങ്ങൾ ഇപ്പോൾ എന്തുചെയ്യണം? ഓരോ മൂന്നാമത്തെ വായ്പക്കാരനും ബാങ്കിലേക്ക് പണം തിരികെ നൽകുന്നില്ലെന്ന് ഞങ്ങൾ അനുമാനിക്കുകയാണെങ്കിൽ, രണ്ടാമത്തേത് അനിവാര്യമായും പാപ്പരാകും. അത് ശരിയാണ്, എന്നാൽ വായ്പ തിരിച്ചടവിന്റെ സാധ്യതയെ തുല്യമായി വിലയിരുത്തുമ്പോൾ മാത്രം വായ്പ തിരിച്ചടവിനെ സ്വാധീനിക്കുന്ന ഘടകങ്ങൾ ഞങ്ങൾ കണക്കിലെടുത്തില്ല: കടം വാങ്ങുന്നയാളുടെ ശമ്പളവും പ്രതിമാസ പണമടയ്ക്കലിന്റെ വലുപ്പവും. ഇതേ ഘടകങ്ങൾ കണക്കിലെടുത്ത് ഓരോ ക്ലയന്റും വായ്പ തിരിച്ചടയ്ക്കാനുള്ള സാധ്യത ഞങ്ങൾ മുമ്പ് കണക്കാക്കിയിരുന്നതായി നമുക്ക് ഓർക്കാം. സ്ഥിരമായ തുല്യതയിൽ നിന്ന് വ്യത്യസ്തമായ സാധ്യതകൾ നമുക്ക് ലഭിച്ചു എന്നത് യുക്തിസഹമാണ് .

സാമ്പിളുകളുടെ സാധ്യത നിർവചിക്കാം:

സാമ്പിൾ സാധ്യതകൾ കണക്കാക്കുന്നതിനുള്ള കോഡ്

from functools import reduce

def likelihood(y,p):
    line_true_proba = []
    for i in range(len(y)):
        ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
        line_true_proba.append(ltp_i)
    likelihood = []
    return reduce(lambda a, b: a*b, line_true_proba)
        
    
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]


print 'Правдоподобие выборки при константном значении p=2/3:', round(likelihood(y,p_const),3)

print '****************************************************************************************************'

print 'Правдоподобие выборки при расчетном значении p:', round(likelihood(y,p_log_response),3)

സ്ഥിരമായ മൂല്യത്തിൽ സാമ്പിൾ സാധ്യത :

ഘടകങ്ങൾ കണക്കിലെടുത്ത് വായ്പ തിരിച്ചടവിന്റെ സാധ്യത കണക്കാക്കുമ്പോൾ സാമ്പിൾ സാധ്യത :

ഘടകങ്ങളെ ആശ്രയിച്ച് കണക്കാക്കിയ പ്രോബബിലിറ്റി ഉള്ള ഒരു സാമ്പിളിന്റെ സാധ്യത സ്ഥിരമായ പ്രോബബിലിറ്റി മൂല്യമുള്ള സാധ്യതയേക്കാൾ കൂടുതലാണ്. എന്താണിതിനർത്ഥം? ഓരോ ക്ലയന്റിനും വായ്പ തിരിച്ചടയ്ക്കാനുള്ള സാധ്യത കൂടുതൽ കൃത്യമായി തിരഞ്ഞെടുക്കുന്നതിന് ഘടകങ്ങളെക്കുറിച്ചുള്ള അറിവ് സാധ്യമാക്കിയെന്ന് ഇത് സൂചിപ്പിക്കുന്നു. അതിനാൽ, അടുത്ത വായ്പ നൽകുമ്പോൾ, കടം തിരിച്ചടയ്ക്കാനുള്ള സാധ്യത വിലയിരുത്തുന്നതിന് ലേഖനത്തിന്റെ 3-ാം വകുപ്പിന്റെ അവസാനം നിർദ്ദേശിച്ച മാതൃക ഉപയോഗിക്കുന്നത് കൂടുതൽ ശരിയായിരിക്കും.

പക്ഷേ, നമുക്ക് പരമാവധിയാക്കണമെങ്കിൽ സാമ്പിൾ സാധ്യത പ്രവർത്തനം, പിന്നെ എന്തുകൊണ്ട് Vasya, Fedya, Lesha എന്നിവയ്ക്കുള്ള സാധ്യതകൾ സൃഷ്ടിക്കുന്ന ചില അൽഗോരിതം ഉപയോഗിക്കരുത്, ഉദാഹരണത്തിന്, യഥാക്രമം 0.99, 0.99, 0.01 എന്നിവയ്ക്ക് തുല്യമാണ്. ഒരുപക്ഷേ അത്തരമൊരു അൽഗോരിതം പരിശീലന സാമ്പിളിൽ നന്നായി പ്രവർത്തിക്കും, കാരണം ഇത് സാമ്പിൾ സാധ്യത മൂല്യത്തെ കൂടുതൽ അടുപ്പിക്കും. , എന്നാൽ, ഒന്നാമതായി, അത്തരമൊരു അൽഗോരിതം സാമാന്യവൽക്കരണ ശേഷിയിൽ ബുദ്ധിമുട്ടുകൾ ഉണ്ടാകാം, രണ്ടാമതായി, ഈ അൽഗോരിതം തീർച്ചയായും രേഖീയമായിരിക്കില്ല. ഓവർട്രെയിനിംഗിനെ ചെറുക്കുന്നതിനുള്ള രീതികൾ (തുല്യമായി ദുർബലമായ സാമാന്യവൽക്കരണ ശേഷി) ഈ ലേഖനത്തിന്റെ പദ്ധതിയിൽ വ്യക്തമായി ഉൾപ്പെടുത്തിയിട്ടില്ലെങ്കിൽ, നമുക്ക് രണ്ടാമത്തെ പോയിന്റ് കൂടുതൽ വിശദമായി പരിശോധിക്കാം. ഇത് ചെയ്യുന്നതിന്, ഒരു ലളിതമായ ചോദ്യത്തിന് ഉത്തരം നൽകുക. നമുക്ക് അറിയാവുന്ന ഘടകങ്ങൾ കണക്കിലെടുക്കുമ്പോൾ, വാസ്യയുടെയും ഫെദ്യയുടെയും വായ്പ തിരിച്ചടയ്ക്കാനുള്ള സാധ്യത ഒരുപോലെയാകുമോ? ശബ്‌ദ യുക്തിയുടെ വീക്ഷണകോണിൽ നിന്ന്, തീർച്ചയായും അല്ല, അതിന് കഴിയില്ല. അതിനാൽ വായ്പ തിരിച്ചടയ്ക്കാൻ വാസ്യ തന്റെ ശമ്പളത്തിന്റെ 2.5% പ്രതിമാസം നൽകും, ഫെഡ്യ - ഏകദേശം 27,8%. കൂടാതെ ഗ്രാഫ് 2 “ക്ലയന്റ് വർഗ്ഗീകരണം” ൽ ഫെഡ്യയേക്കാൾ ക്ലാസുകളെ വേർതിരിക്കുന്ന വരിയിൽ നിന്ന് വാസ്യ വളരെ അകലെയാണെന്ന് ഞങ്ങൾ കാണുന്നു. ഒടുവിൽ, ഞങ്ങൾ ഫംഗ്ഷൻ അറിയുന്നു വാസ്യയ്ക്കും ഫെഡ്യയ്ക്കും വ്യത്യസ്ത മൂല്യങ്ങൾ എടുക്കുന്നു: വാസ്യയ്ക്ക് 4.24, ഫെഡ്യയ്ക്ക് 1.0. ഇപ്പോൾ, ഉദാഹരണത്തിന്, ഫെഡ്യ ഒരു ഓർഡർ കൂടുതൽ സമ്പാദിക്കുകയോ അല്ലെങ്കിൽ ഒരു ചെറിയ വായ്പ ആവശ്യപ്പെടുകയോ ചെയ്താൽ, വാസ്യയ്ക്കും ഫെഡ്യയ്ക്കും വായ്പ തിരിച്ചടയ്ക്കാനുള്ള സാധ്യതകൾ സമാനമായിരിക്കും. മറ്റൊരു വിധത്തിൽ പറഞ്ഞാൽ, രേഖീയ ആശ്രിതത്വം കബളിപ്പിക്കാൻ കഴിയില്ല. ഞങ്ങൾ യഥാർത്ഥത്തിൽ സാധ്യതകൾ കണക്കാക്കിയാൽ , അവയെ വായുവിൽ നിന്ന് പുറത്തെടുത്തില്ല, ഞങ്ങളുടെ മൂല്യങ്ങൾ എന്ന് നമുക്ക് സുരക്ഷിതമായി പറയാൻ കഴിയും ഓരോ വായ്പക്കാരനും വായ്പ തിരിച്ചടയ്ക്കാനുള്ള സാധ്യത കണക്കാക്കാൻ ഞങ്ങളെ അനുവദിക്കുന്നതാണ് നല്ലത്, എന്നാൽ ഗുണകങ്ങളുടെ നിർണ്ണയം അനുമാനിക്കാൻ ഞങ്ങൾ സമ്മതിച്ചതിനാൽ എല്ലാ നിയമങ്ങൾക്കും അനുസരിച്ചാണ് നടപ്പിലാക്കിയത്, അപ്പോൾ ഞങ്ങൾ അങ്ങനെ അനുമാനിക്കും - പ്രോബബിലിറ്റിയുടെ മികച്ച വിലയിരുത്തൽ നൽകാൻ ഞങ്ങളുടെ ഗുണകങ്ങൾ ഞങ്ങളെ അനുവദിക്കുന്നു :)

എന്നിരുന്നാലും, ഞങ്ങൾ വ്യതിചലിക്കുന്നു. ഈ വിഭാഗത്തിൽ ഭാരത്തിന്റെ വെക്റ്റർ എങ്ങനെ നിർണ്ണയിക്കപ്പെടുന്നുവെന്ന് നാം മനസ്സിലാക്കേണ്ടതുണ്ട് , ഓരോ കടം വാങ്ങുന്നയാളും വായ്പ തിരിച്ചടയ്ക്കാനുള്ള സാധ്യത വിലയിരുത്തുന്നതിന് അത്യാവശ്യമാണ്.

ഏത് ആയുധപ്പുരയാണ് നമ്മൾ സാധ്യതകൾ തേടുന്നത് എന്ന് നമുക്ക് ചുരുക്കമായി സംഗ്രഹിക്കാം :

1. ടാർഗെറ്റ് വേരിയബിളും (പ്രവചന മൂല്യവും) ഫലത്തെ സ്വാധീനിക്കുന്ന ഘടകവും തമ്മിലുള്ള ബന്ധം രേഖീയമാണെന്ന് ഞങ്ങൾ അനുമാനിക്കുന്നു. ഇക്കാരണത്താൽ ഇത് ഉപയോഗിക്കുന്നു ലീനിയർ റിഗ്രഷൻ ഫംഗ്ഷൻ ഇനം , വസ്തുക്കളെ (ക്ലയന്റുകളെ) ക്ലാസുകളായി വിഭജിക്കുന്ന വരി и അഥവാ (വായ്പ തിരിച്ചടക്കാൻ കഴിവുള്ളവരും അല്ലാത്തവരും). ഞങ്ങളുടെ കാര്യത്തിൽ, സമവാക്യത്തിന് ഒരു രൂപമുണ്ട് .

2. ഞങ്ങൾ ഉപയോഗിക്കുന്നു വിപരീത ലോജിറ്റ് ഫംഗ്‌ഷൻ ഇനം ഒരു ക്ലാസിൽ പെടുന്ന ഒരു വസ്തുവിന്റെ സംഭാവ്യത നിർണ്ണയിക്കാൻ .

3. ഞങ്ങളുടെ പരിശീലന സെറ്റ് ഒരു സാമാന്യവൽക്കരിക്കപ്പെട്ട ഒരു നടപ്പാക്കലായി ഞങ്ങൾ കണക്കാക്കുന്നു ബെർണൂലി സ്കീമുകൾ, അതായത്, ഓരോ ഒബ്ജക്റ്റിനും ഒരു റാൻഡം വേരിയബിൾ സൃഷ്ടിക്കപ്പെടുന്നു, അത് പ്രോബബിലിറ്റിയോടെയാണ് (ഓരോ ഒബ്ജക്റ്റിനും അതിന്റേതായ) മൂല്യം 1 ഉം പ്രോബബിലിറ്റിയും എടുക്കുന്നു - 0.

4. നമ്മൾ പരമാവധിയാക്കേണ്ടത് എന്താണെന്ന് നമുക്കറിയാം സാമ്പിൾ സാധ്യത പ്രവർത്തനം അംഗീകൃത ഘടകങ്ങൾ കണക്കിലെടുക്കുമ്പോൾ ലഭ്യമായ സാമ്പിൾ ഏറ്റവും വിശ്വസനീയമായി മാറുന്നു. മറ്റൊരു വിധത്തിൽ പറഞ്ഞാൽ, സാമ്പിൾ ഏറ്റവും വിശ്വസനീയമായ പാരാമീറ്ററുകൾ ഞങ്ങൾ തിരഞ്ഞെടുക്കേണ്ടതുണ്ട്. ഞങ്ങളുടെ കാര്യത്തിൽ, തിരഞ്ഞെടുത്ത പാരാമീറ്റർ വായ്പ തിരിച്ചടവിന്റെ സാധ്യതയാണ് , ഇത് അജ്ഞാത ഗുണകങ്ങളെ ആശ്രയിച്ചിരിക്കുന്നു . അതിനാൽ ഭാരങ്ങളുടെ അത്തരമൊരു വെക്റ്റർ കണ്ടെത്തേണ്ടതുണ്ട് , സാമ്പിളിന്റെ സാധ്യത പരമാവധി ആയിരിക്കും.

5. എന്താണ് പരമാവധിയാക്കേണ്ടതെന്ന് ഞങ്ങൾക്കറിയാം സാമ്പിൾ സാധ്യതാ പ്രവർത്തനങ്ങൾ ഉപയോഗിക്കാം പരമാവധി സാധ്യത രീതി. ഈ രീതി ഉപയോഗിച്ച് പ്രവർത്തിക്കാനുള്ള എല്ലാ തന്ത്രങ്ങളും ഞങ്ങൾക്കറിയാം.

ഇത് ഒരു മൾട്ടി-സ്റ്റെപ്പ് നീക്കമായി മാറുന്നത് ഇങ്ങനെയാണ് :)

ലേഖനത്തിന്റെ തുടക്കത്തിൽ തന്നെ ഞങ്ങൾ രണ്ട് തരത്തിലുള്ള ലോസ് ഫംഗ്‌ഷനുകൾ നേടണമെന്ന് ഇപ്പോൾ ഓർക്കുക ലോജിസ്റ്റിക് നഷ്ടം ഒബ്ജക്റ്റ് ക്ലാസുകൾ എങ്ങനെ നിയുക്തമാക്കിയിരിക്കുന്നു എന്നതിനെ ആശ്രയിച്ചിരിക്കുന്നു. രണ്ട് ക്ലാസുകളുള്ള വർഗ്ഗീകരണ പ്രശ്നങ്ങളിൽ, ക്ലാസുകൾ ഇതായി സൂചിപ്പിച്ചിരിക്കുന്നു и അഥവാ . നൊട്ടേഷനെ ആശ്രയിച്ച്, ഔട്ട്പുട്ടിന് അനുബന്ധമായ ഒരു ലോസ് ഫംഗ്ഷൻ ഉണ്ടായിരിക്കും.

കേസ് 1. വസ്തുക്കളുടെ വർഗ്ഗീകരണം и

നേരത്തെ, ഒരു സാമ്പിളിന്റെ സാധ്യത നിർണ്ണയിക്കുമ്പോൾ, അതിൽ കടം വാങ്ങുന്നയാൾ കടം തിരിച്ചടയ്ക്കാനുള്ള സാധ്യത ഘടകങ്ങളെയും നൽകിയ ഗുണകങ്ങളെയും അടിസ്ഥാനമാക്കി കണക്കാക്കി. , ഞങ്ങൾ ഫോർമുല പ്രയോഗിച്ചു:

സത്യത്തിൽ എന്നാണ് അർത്ഥം ലോജിസ്റ്റിക് പ്രതികരണ പ്രവർത്തനങ്ങൾ ഒരു നിശ്ചിത വെക്റ്റർ ഭാരത്തിന്

അപ്പോൾ സാമ്പിൾ സാധ്യത ഫംഗ്‌ഷൻ ഇനിപ്പറയുന്ന രീതിയിൽ എഴുതുന്നതിൽ നിന്ന് ഞങ്ങളെ തടയുന്നില്ല:

ഈ പ്രവർത്തനം എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് ചില പുതിയ വിശകലന വിദഗ്ധർക്ക് പെട്ടെന്ന് മനസ്സിലാക്കാൻ ചിലപ്പോൾ ബുദ്ധിമുട്ടാണ്. കാര്യങ്ങൾ വ്യക്തമാക്കുന്ന 4 ചെറിയ ഉദാഹരണങ്ങൾ നോക്കാം:

1. ആണെങ്കിൽ (അതായത്, പരിശീലന സാമ്പിൾ അനുസരിച്ച്, ഒബ്‌ജക്റ്റ് +1 ക്ലാസ്സിൽ പെട്ടതാണ്), ഞങ്ങളുടെ അൽഗോരിതം ഒരു വസ്തുവിനെ ഒരു ക്ലാസിലേക്ക് തരംതിരിക്കാനുള്ള സാധ്യത നിർണ്ണയിക്കുന്നു 0.9 ന് തുല്യമാണ്, അപ്പോൾ സാമ്പിൾ സാധ്യതയുടെ ഈ ഭാഗം ഇനിപ്പറയുന്ന രീതിയിൽ കണക്കാക്കും:

2. ആണെങ്കിൽ ഒപ്പം , അപ്പോൾ കണക്കുകൂട്ടൽ ഇതുപോലെയായിരിക്കും:

3. ആണെങ്കിൽ ഒപ്പം , അപ്പോൾ കണക്കുകൂട്ടൽ ഇതുപോലെയായിരിക്കും:

4. ആണെങ്കിൽ ഒപ്പം , അപ്പോൾ കണക്കുകൂട്ടൽ ഇതുപോലെയായിരിക്കും:

1-ഉം 3-ഉം കേസുകളിൽ അല്ലെങ്കിൽ പൊതുവായ സാഹചര്യത്തിൽ - ഒരു ക്ലാസിലേക്ക് ഒരു ഒബ്‌ജക്റ്റ് അസൈൻ ചെയ്യുന്നതിനുള്ള സാധ്യതകളുടെ ശരിയായി ഊഹിച്ച മൂല്യങ്ങൾ ഉപയോഗിച്ച്, സാധ്യതാ പ്രവർത്തനം പരമാവധിയാക്കുമെന്ന് വ്യക്തമാണ്. .

ഒരു ക്ലാസിലേക്ക് ഒരു ഒബ്ജക്റ്റ് അസൈൻ ചെയ്യാനുള്ള സാധ്യത നിർണ്ണയിക്കുമ്പോൾ വസ്തുത കാരണം നമുക്ക് ഗുണകങ്ങൾ മാത്രം അറിയില്ല , അപ്പോൾ ഞങ്ങൾ അവരെ അന്വേഷിക്കും. മുകളിൽ സൂചിപ്പിച്ചതുപോലെ, ഇത് ഒരു ഒപ്റ്റിമൈസേഷൻ പ്രശ്നമാണ്, അതിൽ ആദ്യം ഭാരത്തിന്റെ വെക്റ്ററുമായി ബന്ധപ്പെട്ട് സാധ്യതാ പ്രവർത്തനത്തിന്റെ ഡെറിവേറ്റീവ് കണ്ടെത്തേണ്ടതുണ്ട്. . എന്നിരുന്നാലും, ആദ്യം നമുക്ക് ചുമതല ലളിതമാക്കുന്നത് അർത്ഥമാക്കുന്നു: ലോഗരിതത്തിന്റെ ഡെറിവേറ്റീവിനായി ഞങ്ങൾ നോക്കും. സാധ്യതാ പ്രവർത്തനങ്ങൾ.

എന്തുകൊണ്ട് ലോഗരിതം കഴിഞ്ഞ്, ഇൻ ലോജിസ്റ്റിക് പിശക് പ്രവർത്തനങ്ങൾ, എന്നതിൽ നിന്ന് ഞങ്ങൾ അടയാളം മാറ്റി ഓൺ . എല്ലാം ലളിതമാണ്, കാരണം ഒരു മോഡലിന്റെ ഗുണനിലവാരം വിലയിരുത്തുന്നതിലെ പ്രശ്നങ്ങളിൽ ഒരു ഫംഗ്ഷന്റെ മൂല്യം കുറയ്ക്കുന്നത് പതിവാണ്, ഞങ്ങൾ പദപ്രയോഗത്തിന്റെ വലതുവശം ഗുണിച്ചു അതനുസരിച്ച്, പരമാവധിയാക്കുന്നതിനുപകരം, ഇപ്പോൾ ഞങ്ങൾ പ്രവർത്തനം കുറയ്ക്കുന്നു.

യഥാർത്ഥത്തിൽ, ഇപ്പോൾ, നിങ്ങളുടെ കണ്ണുകൾക്ക് മുമ്പിൽ, നഷ്ടത്തിന്റെ പ്രവർത്തനം കഠിനമായി ഉരുത്തിരിഞ്ഞതാണ് - ലോജിസ്റ്റിക് നഷ്ടം രണ്ട് ക്ലാസുകളുള്ള ഒരു പരിശീലന സെറ്റിനായി: и .

ഇപ്പോൾ, ഗുണകങ്ങൾ കണ്ടെത്താൻ, നമുക്ക് ഡെറിവേറ്റീവ് കണ്ടെത്തേണ്ടതുണ്ട് ലോജിസ്റ്റിക് പിശക് പ്രവർത്തനങ്ങൾ തുടർന്ന്, ഗ്രേഡിയന്റ് ഡിസെന്റ് അല്ലെങ്കിൽ സ്റ്റോക്കാസ്റ്റിക് ഗ്രേഡിയന്റ് ഡിസെന്റ് പോലെയുള്ള സംഖ്യാ ഒപ്റ്റിമൈസേഷൻ രീതികൾ ഉപയോഗിച്ച്, ഏറ്റവും ഒപ്റ്റിമൽ കോഫിഫിഷ്യന്റുകൾ തിരഞ്ഞെടുക്കുക . പക്ഷേ, ലേഖനത്തിന്റെ ഗണ്യമായ വോളിയം കണക്കിലെടുക്കുമ്പോൾ, നിങ്ങളുടെ സ്വന്തം നിലയിൽ വ്യത്യാസം നടപ്പിലാക്കാൻ നിർദ്ദേശിക്കപ്പെട്ടിരിക്കുന്നു, അല്ലെങ്കിൽ അത്തരം വിശദമായ ഉദാഹരണങ്ങളില്ലാതെ ധാരാളം ഗണിതങ്ങളുള്ള അടുത്ത ലേഖനത്തിന് ഇത് ഒരു വിഷയമായിരിക്കും.

കേസ് 2. വസ്തുക്കളുടെ വർഗ്ഗീകരണം и

ഇവിടെയുള്ള സമീപനം ക്ലാസുകളുടേതിന് സമാനമായിരിക്കും и , എന്നാൽ നഷ്ടം ഫംഗ്ഷൻ ഔട്ട്പുട്ട് വഴി തന്നെ ലോജിസ്റ്റിക് നഷ്ടം, കൂടുതൽ അലങ്കാരമായിരിക്കും. നമുക്ക് തുടങ്ങാം. സാധ്യതയുള്ള പ്രവർത്തനത്തിനായി ഞങ്ങൾ ഓപ്പറേറ്ററെ ഉപയോഗിക്കും "എങ്കിൽ... പിന്നെ..."... അതായത്, എങ്കിൽ ആ വസ്തു വർഗ്ഗത്തിൽ പെട്ടതാണ് , തുടർന്ന് സാമ്പിളിന്റെ സാധ്യത കണക്കാക്കാൻ ഞങ്ങൾ പ്രോബബിലിറ്റി ഉപയോഗിക്കുന്നു , വസ്തു ക്ലാസിൽ പെട്ടതാണെങ്കിൽ , അപ്പോൾ ഞങ്ങൾ സാധ്യതയിലേക്ക് മാറ്റിസ്ഥാപിക്കുന്നു . സാധ്യതാ പ്രവർത്തനം ഇതുപോലെ കാണപ്പെടുന്നു:

ഇത് എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് നമുക്ക് വിരലുകളിൽ വിവരിക്കാം. നമുക്ക് 4 കേസുകൾ പരിഗണിക്കാം:

1. ആണെങ്കിൽ и , അപ്പോൾ സാമ്പിൾ സാധ്യത "പോകും"

2. ആണെങ്കിൽ и , അപ്പോൾ സാമ്പിൾ സാധ്യത "പോകും"

3. ആണെങ്കിൽ и , അപ്പോൾ സാമ്പിൾ സാധ്യത "പോകും"

4. ആണെങ്കിൽ и , അപ്പോൾ സാമ്പിൾ സാധ്യത "പോകും"

1-ഉം 3-ഉം കേസുകളിൽ, അൽഗോരിതം ഉപയോഗിച്ച് സാധ്യതകൾ ശരിയായി നിർണ്ണയിച്ചപ്പോൾ, അത് വ്യക്തമാണ്. സാധ്യത പ്രവർത്തനം പരമാവധിയാക്കും, അതായത്, ഞങ്ങൾ നേടാൻ ആഗ്രഹിച്ചത് ഇതാണ്. എന്നിരുന്നാലും, ഈ സമീപനം വളരെ ബുദ്ധിമുട്ടുള്ളതാണ്, അടുത്തതായി ഞങ്ങൾ കൂടുതൽ കോംപാക്റ്റ് നൊട്ടേഷൻ പരിഗണിക്കും. എന്നാൽ ആദ്യം, ചിഹ്നത്തിന്റെ മാറ്റത്തിനൊപ്പം സാധ്യതാ പ്രവർത്തനത്തെ ലോഗരിതം ചെയ്യാം, കാരണം ഇപ്പോൾ ഞങ്ങൾ അത് കുറയ്ക്കും.

പകരം നമുക്ക് പകരം വയ്ക്കാം പദപ്രയോഗം :

ലളിതമായ ഗണിത സാങ്കേതിക വിദ്യകൾ ഉപയോഗിച്ച് ലോഗരിതത്തിന് കീഴിലുള്ള ശരിയായ പദം ലളിതമാക്കാം:

ഇപ്പോൾ ഓപ്പറേറ്ററെ ഒഴിവാക്കാനുള്ള സമയമാണ് "എങ്കിൽ... പിന്നെ...". ഒരു വസ്തു എപ്പോൾ എന്നത് ശ്രദ്ധിക്കുക വിഭാഗത്തിൽ പെട്ടതാണ് , തുടർന്ന് ലോഗരിതത്തിന് കീഴിലുള്ള എക്സ്പ്രഷനിൽ, ഡിനോമിനേറ്ററിൽ, അധികാരത്തിലേക്ക് ഉയർത്തി , വസ്തു ക്ലാസിൽ പെട്ടതാണെങ്കിൽ , തുടർന്ന് $e$ ശക്തിയിലേക്ക് ഉയർത്തുന്നു . അതിനാൽ, രണ്ട് കേസുകളും ഒന്നായി സംയോജിപ്പിച്ച് ബിരുദത്തിനുള്ള നൊട്ടേഷൻ ലളിതമാക്കാം: . പിന്നെ ലോജിസ്റ്റിക് പിശക് പ്രവർത്തനം ഫോം എടുക്കും:

ലോഗരിതം നിയമങ്ങൾക്കനുസൃതമായി, ഞങ്ങൾ ഭിന്നസംഖ്യ തിരിച്ച് അടയാളം ഇടുന്നു ""(മൈനസ്) ലോഗരിതത്തിന്, നമുക്ക് ലഭിക്കുന്നത്:

നഷ്ടത്തിന്റെ പ്രവർത്തനം ഇതാ ലോജിസ്റ്റിക് നഷ്ടം, ക്ലാസുകളിലേക്ക് നിയോഗിക്കപ്പെട്ട വസ്തുക്കളുള്ള പരിശീലന സെറ്റിൽ ഇത് ഉപയോഗിക്കുന്നു: и .

ശരി, ഈ സമയത്ത് ഞാൻ എന്റെ അവധി എടുക്കുന്നു, ഞങ്ങൾ ലേഖനം അവസാനിപ്പിക്കുന്നു.

രചയിതാവിന്റെ മുൻ കൃതി "ലീനിയർ റിഗ്രഷൻ സമവാക്യം മാട്രിക്സ് രൂപത്തിലേക്ക് കൊണ്ടുവരിക" എന്നതാണ്.

സഹായ വസ്തുക്കൾ

1. സാഹിത്യം

1) അപ്ലൈഡ് റിഗ്രഷൻ വിശകലനം / എൻ. ഡ്രേപ്പർ, ജി. സ്മിത്ത് - 2nd ed. – എം.: ഫിനാൻസ് ആൻഡ് സ്റ്റാറ്റിസ്റ്റിക്സ്, 1986 (ഇംഗ്ലീഷിൽ നിന്നുള്ള വിവർത്തനം)

2) പ്രോബബിലിറ്റി സിദ്ധാന്തവും ഗണിതശാസ്ത്ര സ്ഥിതിവിവരക്കണക്കുകളും / വി.ഇ. ഗ്മർമാൻ - 9-ആം പതിപ്പ്. - എം.: ഹയർ സ്കൂൾ, 2003

3) പ്രോബബിലിറ്റി തിയറി / എൻ.ഐ. ചെർനോവ - നോവോസിബിർസ്ക്: നോവോസിബിർസ്ക് സ്റ്റേറ്റ് യൂണിവേഴ്സിറ്റി, 2007

4) ബിസിനസ് അനലിറ്റിക്സ്: ഡാറ്റയിൽ നിന്ന് അറിവിലേക്ക് / പക്ലിൻ എൻ. ബി., ഒറെഷ്കോവ് വി. ഐ. - 2nd എഡി. - സെന്റ് പീറ്റേഴ്സ്ബർഗ്: പീറ്റർ, 2013

5) ഡാറ്റ സയൻസ് ആദ്യം മുതൽ ഡാറ്റ സയൻസ് / ജോയൽ ഗ്രാസ് - സെന്റ് പീറ്റേഴ്‌സ്ബർഗ്: BHV പീറ്റേഴ്‌സ്ബർഗ്, 2017

6) ഡാറ്റാ സയൻസ് സ്പെഷ്യലിസ്റ്റുകൾക്കായുള്ള പ്രായോഗിക സ്ഥിതിവിവരക്കണക്കുകൾ / പി. ബ്രൂസ്, ഇ. ബ്രൂസ് - സെന്റ് പീറ്റേഴ്സ്ബർഗ്: BHV പീറ്റേഴ്സ്ബർഗ്, 2018

2. പ്രഭാഷണങ്ങൾ, കോഴ്സുകൾ (വീഡിയോ)

1) പരമാവധി സാധ്യതയുള്ള രീതിയുടെ സാരാംശം, ബോറിസ് ഡെമെഷേവ്

2) തുടർച്ചയായ കേസിൽ പരമാവധി സാധ്യത രീതി, ബോറിസ് ദെമെഷെവ്

3) ലോജിസ്റ്റിക് റിഗ്രഷൻ. ODS കോഴ്സ് തുറക്കുക, യൂറി കാഷ്നിറ്റ്സ്കി

4) പ്രഭാഷണം 4, Evgeny Sokolov (47 മിനിറ്റ് വീഡിയോയിൽ നിന്ന്)

5) ലോജിസ്റ്റിക് റിഗ്രഷൻ, വ്യാസെസ്ലാവ് വോറോണ്ട്സോവ്

3. ഇന്റർനെറ്റ് ഉറവിടങ്ങൾ

1) ലീനിയർ വർഗ്ഗീകരണവും റിഗ്രഷൻ മോഡലുകളും

2) ലോജിസ്റ്റിക് റിഗ്രഷൻ എങ്ങനെ എളുപ്പത്തിൽ മനസ്സിലാക്കാം

3) ലോജിസ്റ്റിക് പിശക് പ്രവർത്തനം

4) സ്വതന്ത്ര പരിശോധനകളും ബെർണൂലി ഫോർമുലയും

5) എംഎംപിയുടെ ബാലഡ്

6) പരമാവധി സാധ്യതയുള്ള രീതി

7) ലോഗരിതങ്ങളുടെ സൂത്രവാക്യങ്ങളും ഗുണങ്ങളും

8) എന്തുകൊണ്ട് നമ്പർ ?

9) ലീനിയർ ക്ലാസിഫയർ

അവലംബം: www.habr.com