Chewing ສຸດ logistic regression

ໃນບົດຄວາມນີ້, ພວກເຮົາຈະວິເຄາະການຄິດໄລ່ທາງທິດສະດີຂອງການຫັນເປັນ ໜ້າທີ່ການຖົດຖອຍແບບເສັ້ນ в ຟັງຊັນການຫັນປ່ຽນ logit inverse (ຖ້າບໍ່ດັ່ງນັ້ນເອີ້ນວ່າຟັງຊັນການຕອບໂຕ້ logistic). ຫຼັງຈາກນັ້ນ, ການນໍາໃຊ້ສານຫນູ ວິທີຄວາມເປັນໄປໄດ້ສູງສຸດ, ອີງຕາມຮູບແບບ logistic regression, ພວກເຮົາມາຈາກຫນ້າທີ່ສູນເສຍ ການສູນເສຍການຂົນສົ່ງ, ຫຼືເວົ້າອີກຢ່າງ ໜຶ່ງ, ພວກເຮົາຈະ ກຳ ນົດຟັງຊັນທີ່ພາລາມິເຕີຂອງ vector ນ້ ຳ ໜັກ ຖືກເລືອກໃນຮູບແບບ logistic regression. .

ໂຄງຮ່າງບົດຄວາມ:

1. ໃຫ້ພວກເຮົາເຮັດເລື້ມຄືນຄວາມສໍາພັນເສັ້ນຊື່ລະຫວ່າງສອງຕົວແປ
2. ໃຫ້ກໍານົດຄວາມຕ້ອງການສໍາລັບການຫັນປ່ຽນ ໜ້າທີ່ການຖົດຖອຍແບບເສັ້ນ в ຟັງຊັນການຕອບໂຕ້ logistic
3. ຂໍໃຫ້ປະຕິບັດການຫັນປ່ຽນແລະຜົນຜະລິດ ຟັງຊັນການຕອບໂຕ້ logistic
4. ໃຫ້ພະຍາຍາມເຂົ້າໃຈວ່າເປັນຫຍັງວິທີການສີ່ຫລ່ຽມນ້ອຍທີ່ສຸດແມ່ນບໍ່ດີໃນເວລາທີ່ເລືອກພາລາມິເຕີ ປະຕິບັດຫນ້າ ການສູນເສຍການຂົນສົ່ງ
5. ພວກເຮົາໃຊ້ ວິທີການຄວາມເປັນໄປໄດ້ສູງສຸດ ສໍາລັບການກໍານົດ ຫນ້າທີ່ເລືອກພາລາມິເຕີ :

   5.1. ກໍລະນີ 1: ຫນ້າທີ່ ການສູນເສຍການຂົນສົ່ງ ສໍາລັບວັດຖຸທີ່ມີການຈັດປະເພດ 0 и 1:

   

   5.2. ກໍລະນີ 2: ຫນ້າທີ່ ການສູນເສຍການຂົນສົ່ງ ສໍາລັບວັດຖຸທີ່ມີການຈັດປະເພດ -1 и +1:

   

ບົດຄວາມແມ່ນເຕັມໄປດ້ວຍຕົວຢ່າງທີ່ງ່າຍດາຍທີ່ການຄິດໄລ່ທັງຫມົດແມ່ນງ່າຍທີ່ຈະເຮັດທາງປາກຫຼືໃນເຈ້ຍ; ໃນບາງກໍລະນີ, ອາດຈະຕ້ອງການເຄື່ອງຄິດເລກ. ສະນັ້ນກຽມພ້ອມ :)

ບົດຄວາມນີ້ມີຈຸດປະສົງຕົ້ນຕໍສໍາລັບນັກວິທະຍາສາດຂໍ້ມູນທີ່ມີລະດັບຄວາມຮູ້ເບື້ອງຕົ້ນໃນພື້ນຖານຂອງການຮຽນຮູ້ເຄື່ອງຈັກ.

ບົດຄວາມຍັງຈະໃຫ້ລະຫັດສໍາລັບການແຕ້ມຮູບກຣາຟແລະການຄິດໄລ່. ລະຫັດທັງຫມົດແມ່ນຂຽນເປັນພາສາ python 2.7. ໃຫ້ຂ້ອຍອະທິບາຍລ່ວງຫນ້າກ່ຽວກັບ "ຄວາມໃຫມ່" ຂອງຮຸ່ນທີ່ໃຊ້ - ນີ້ແມ່ນເງື່ອນໄຂຫນຶ່ງສໍາລັບການຮຽນຫຼັກສູດທີ່ມີຊື່ສຽງຈາກ. Yandex ໃນເວທີການສຶກສາອອນໄລນ໌ທີ່ມີຊື່ສຽງເທົ່າທຽມກັນ Coursera, ແລະ, ເປັນຫນຶ່ງອາດຈະສົມມຸດ, ອຸປະກອນການໄດ້ຖືກກະກຽມໂດຍອີງໃສ່ຫຼັກສູດນີ້.

01. ການເອື່ອຍອີງເສັ້ນຊື່

ມັນຂ້ອນຂ້າງສົມເຫດສົມຜົນທີ່ຈະຖາມຄໍາຖາມ - ການເອື່ອຍອີງທາງເສັ້ນແລະການຖົດຖອຍຂອງ logistic ກ່ຽວຂ້ອງກັບມັນແນວໃດ?

ມັນງ່າຍດາຍ! Logistic regression ແມ່ນໜຶ່ງໃນຕົວແບບທີ່ຂຶ້ນກັບຕົວຈັດປະເພດເສັ້ນຊື່. ໃນຄໍາສັບຕ່າງໆງ່າຍດາຍ, ວຽກງານຂອງການຈັດປະເພດເສັ້ນແມ່ນການຄາດຄະເນມູນຄ່າເປົ້າຫມາຍ ຈາກຕົວແປ (regressors) . ມັນໄດ້ຖືກເຊື່ອວ່າການເອື່ອຍອີງລະຫວ່າງລັກສະນະ ແລະຄ່າເປົ້າຫມາຍ ເສັ້ນ. ເພາະສະນັ້ນຊື່ຂອງການຈັດປະເພດ - linear. ເວົ້າໄດ້ປະມານ, ຮູບແບບການຖົດຖອຍຂອງ logistic ແມ່ນອີງໃສ່ການສົມມຸດຕິຖານວ່າມີຄວາມສໍາພັນທາງເສັ້ນລະຫວ່າງລັກສະນະ. ແລະຄ່າເປົ້າຫມາຍ . ນີ້ແມ່ນການເຊື່ອມຕໍ່.

ມີຕົວຢ່າງທໍາອິດໃນສະຕູດິໂອ, ແລະມັນແມ່ນ, ຖືກຕ້ອງ, ກ່ຽວກັບການເອື່ອຍອີງ rectilinear ຂອງປະລິມານທີ່ກໍາລັງສຶກສາ. ໃນຂະບວນການກະກຽມບົດຄວາມ, ຂ້າພະເຈົ້າໄດ້ເຫັນຕົວຢ່າງທີ່ໄດ້ກໍານົດໄວ້ແລ້ວປະຊາຊົນຈໍານວນຫຼາຍກ່ຽວກັບຂອບ - ການເພິ່ງພາອາໄສຂອງປະຈຸບັນກ່ຽວກັບແຮງດັນ. (“ການວິເຄາະການຖົດຖອຍແບບນຳໃຊ້”, N. Draper, G. Smith). ພວກເຮົາຈະເບິ່ງມັນຢູ່ທີ່ນີ້ຄືກັນ.

ອີງຕາມການ ກົດ​ຫມາຍ​ຂອງ Ohm​:

ບ່ອນທີ່ - ຄວາມ​ເຂັ້ມ​ແຂງ​ໃນ​ປະ​ຈຸ​ບັນ​, - ແຮງ​ດັນ​, - ການຕໍ່ຕ້ານ.

ຖ້າພວກເຮົາບໍ່ຮູ້ ກົດ​ຫມາຍ​ຂອງ Ohm​, ຫຼັງຈາກນັ້ນພວກເຮົາສາມາດຊອກຫາການເພິ່ງພາອາໄສ empirically ໂດຍການປ່ຽນແປງ ແລະການວັດແທກ , ໃນຂະນະທີ່ສະຫນັບສະຫນູນ ຄົງທີ່. ຫຼັງຈາກນັ້ນ, ພວກເຮົາຈະເຫັນວ່າເສັ້ນສະແດງການເພິ່ງພາອາໄສ ຈາກ ເຮັດໃຫ້ເສັ້ນຊື່ຫຼາຍຫຼືຫນ້ອຍໂດຍຜ່ານຕົ້ນກໍາເນີດ. ພວກເຮົາເວົ້າວ່າ "ຫຼາຍຫຼືຫນ້ອຍ" ເພາະວ່າ, ເຖິງແມ່ນວ່າການພົວພັນແມ່ນຖືກຕ້ອງ, ການວັດແທກຂອງພວກເຮົາອາດມີຂໍ້ຜິດພາດເລັກນ້ອຍ, ແລະດັ່ງນັ້ນ, ຈຸດໃນກາຟອາດຈະບໍ່ຕົກຢູ່ໃນເສັ້ນ, ແຕ່ຈະຖືກກະແຈກກະຈາຍຢູ່ທົ່ວມັນແບບສຸ່ມ.

ກຣາຟ 1 “ການເພິ່ງພາອາໄສ” ຈາກ »

ລະຫັດແຕ້ມແຜນຜັງ

import matplotlib.pyplot as plt
%matplotlib inline

import numpy as np

import random

R = 13.75

x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
    y_line.append(i/R)
    
y_dot = []
for i in y_line:
    y_dot.append(i+random.uniform(-0.9,0.9))


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Actual results')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

02. ຄວາມຕ້ອງການທີ່ຈະຫັນປ່ຽນສົມຜົນ regression ເສັ້ນ

ໃຫ້ເບິ່ງຕົວຢ່າງອື່ນ. ໃຫ້ຈິນຕະນາການວ່າພວກເຮົາເຮັດວຽກຢູ່ໃນທະນາຄານແລະວຽກງານຂອງພວກເຮົາແມ່ນເພື່ອກໍານົດຄວາມເປັນໄປໄດ້ຂອງຜູ້ກູ້ຢືມທີ່ຈະຈ່າຍຄືນເງິນກູ້ຢືມໂດຍອີງຕາມປັດໃຈບາງຢ່າງ. ເພື່ອເຮັດໃຫ້ວຽກງານງ່າຍດາຍ, ພວກເຮົາຈະພິຈາລະນາພຽງແຕ່ສອງປັດໃຈ: ເງິນເດືອນຂອງຜູ້ກູ້ຢືມແລະຈໍານວນການຊໍາລະຄືນເງິນກູ້ປະຈໍາເດືອນ.

ວຽກງານແມ່ນມີເງື່ອນໄຂຫຼາຍ, ແຕ່ຕົວຢ່າງນີ້ພວກເຮົາສາມາດເຂົ້າໃຈວ່າເປັນຫຍັງມັນບໍ່ພຽງພໍທີ່ຈະໃຊ້ ໜ້າທີ່ການຖົດຖອຍແບບເສັ້ນ, ແລະຍັງຊອກຫາສິ່ງທີ່ການຫັນເປັນຕ້ອງໄດ້ຮັບການປະຕິບັດກັບຫນ້າທີ່.

ໃຫ້ກັບຄືນໄປຫາຕົວຢ່າງ. ມັນເຂົ້າໃຈວ່າເງິນເດືອນສູງ, ຜູ້ກູ້ຢືມຈະສາມາດຈັດສັນປະຈໍາເດືອນເພື່ອຊໍາລະຄືນເງິນກູ້. ໃນຂະນະດຽວກັນ, ສໍາລັບລະດັບເງິນເດືອນທີ່ແນ່ນອນ, ຄວາມສໍາພັນນີ້ຈະຂ້ອນຂ້າງຂື້ນ. ຕົວຢ່າງ, ໃຫ້ເອົາລະດັບເງິນເດືອນຈາກ 60.000 RUR ຫາ 200.000 RUR ແລະສົມມຸດວ່າໃນຂອບເຂດເງິນເດືອນທີ່ກໍານົດ, ການຂຶ້ນກັບຂະຫນາດຂອງເງິນເດືອນຕໍ່ຂະຫນາດຂອງເງິນເດືອນແມ່ນເສັ້ນ. ໃຫ້ເວົ້າວ່າສໍາລັບຊ່ວງຄ່າຈ້າງທີ່ຖືກກໍານົດ, ມັນໄດ້ຖືກເປີດເຜີຍວ່າອັດຕາສ່ວນເງິນເດືອນຕໍ່ການຈ່າຍເງິນບໍ່ສາມາດຫຼຸດລົງຕໍ່າກວ່າ 3 ແລະຜູ້ກູ້ຢືມຕ້ອງມີເງິນສະຫງວນ 5.000 RUR. ແລະພຽງແຕ່ໃນກໍລະນີນີ້, ພວກເຮົາຈະສົມມຸດວ່າຜູ້ກູ້ຢືມຈະຈ່າຍຄືນເງິນກູ້ໃຫ້ກັບທະນາຄານ. ຈາກນັ້ນ, ສົມຜົນການຖົດຖອຍເສັ້ນຊື່ຈະເປັນຮູບແບບ:

ບ່ອນທີ່ , , , - ເງິນເດືອນ - ຜູ້​ກູ້​ຢືມ​ເງິນ​, - ການ​ຊໍາ​ລະ​ເງິນ​ກູ້​ຢືມ​ - ຜູ້​ກູ້​ຢືມ​ເງິນ​.

ການທົດແທນເງິນເດືອນແລະເງິນກູ້ທີ່ມີຕົວກໍານົດການຄົງທີ່ເຂົ້າໄປໃນສົມຜົນ ທ່ານສາມາດຕັດສິນໃຈວ່າຈະອອກ ຫຼືປະຕິເສດການກູ້ຢືມ.

ຊອກຫາລ່ວງຫນ້າ, ພວກເຮົາສັງເກດວ່າ, ດ້ວຍຕົວກໍານົດການທີ່ໃຫ້ ຟັງຊັນການຖົດຖອຍແບບເສັ້ນ, ໃຊ້ໃນ ຫນ້າທີ່ຕອບສະຫນອງ logistic ຈະຜະລິດມູນຄ່າຂະຫນາດໃຫຍ່ທີ່ຈະເຮັດໃຫ້ການຄິດໄລ່ສັບສົນເພື່ອກໍານົດຄວາມເປັນໄປໄດ້ຂອງການຊໍາລະຄືນເງິນກູ້. ດັ່ງນັ້ນ, ມັນໄດ້ຖືກສະເຫນີໃຫ້ຫຼຸດລົງຄ່າສໍາປະສິດຂອງພວກເຮົາ, ໃຫ້ເວົ້າວ່າ, ໂດຍ 25.000 ເທື່ອ. ການຫັນປ່ຽນໃນຄ່າສໍາປະສິດນີ້ຈະບໍ່ປ່ຽນແປງການຕັດສິນໃຈອອກເງິນກູ້. ຂໍໃຫ້ຈື່ຈຸດນີ້ສໍາລັບອະນາຄົດ, ແຕ່ໃນປັດຈຸບັນ, ເພື່ອເຮັດໃຫ້ມັນຊັດເຈນກວ່າສິ່ງທີ່ພວກເຮົາເວົ້າກ່ຽວກັບ, ໃຫ້ພວກເຮົາພິຈາລະນາສະຖານະການທີ່ມີສາມຜູ້ກູ້ຢືມທີ່ມີທ່າແຮງ.

ຕາຕະລາງ 1 "ຜູ້ກູ້ຢືມທີ່ມີທ່າແຮງ"

ລະຫັດສໍາລັບການສ້າງຕາຕະລາງ

import pandas as pd

r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r

data = {'The borrower':np.array(['Vasya', 'Fedya', 'Lesha']), 
        'Salary':np.array([120000,180000,210000]),
       'Payment':np.array([3000,50000,70000])}

df = pd.DataFrame(data)

df['f(w,x)'] = w_0 + df['Salary']*w_1 + df['Payment']*w_2

decision = []
for i in df['f(w,x)']:
    if i > 0:
        dec = 'Approved'
        decision.append(dec)
    else:
        dec = 'Refusal'
        decision.append(dec)
        
df['Decision'] = decision

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision']]

ອີງຕາມຂໍ້ມູນໃນຕາຕະລາງ, Vasya, ທີ່ມີເງິນເດືອນ 120.000 RUR, ຕ້ອງການທີ່ຈະໄດ້ຮັບເງິນກູ້ຢືມເພື່ອໃຫ້ລາວສາມາດຈ່າຍຄືນໄດ້ທຸກເດືອນຢູ່ທີ່ 3.000 RUR. ພວກເຮົາໄດ້ກໍານົດວ່າເພື່ອອະນຸມັດເງິນກູ້, ເງິນເດືອນຂອງ Vasya ຕ້ອງເກີນສາມເທົ່າຂອງຈໍານວນການຈ່າຍເງິນ, ແລະຍັງຈະຕ້ອງມີ 5.000 RUR ທີ່ຍັງເຫຼືອ. Vasya ຕອບສະຫນອງຄວາມຕ້ອງການນີ້: . ເຖິງແມ່ນວ່າ 106.000 RUR ຍັງເຫຼືອ. ເຖິງວ່າຈະມີຄວາມຈິງທີ່ວ່າໃນເວລາທີ່ການຄິດໄລ່ ພວກເຮົາໄດ້ຫຼຸດລົງບໍ່ລົງຮອຍກັນ 25.000 ເທື່ອ, ຜົນໄດ້ຮັບແມ່ນຄືກັນ - ເງິນກູ້ສາມາດອະນຸມັດໄດ້. Fedya ຍັງຈະໄດ້ຮັບເງິນກູ້ຢືມ, ແຕ່ Lesha, ເຖິງວ່າຈະມີຄວາມຈິງທີ່ວ່າລາວໄດ້ຮັບຫຼາຍທີ່ສຸດ, ຈະຕ້ອງຂັດຂວາງຄວາມຢາກອາຫານຂອງລາວ.

ໃຫ້ແຕ້ມເສັ້ນສະແດງສໍາລັບກໍລະນີນີ້.

ຕາຕະລາງ 2 "ການຈັດປະເພດຜູ້ກູ້ຢືມ"

ລະຫັດສໍາລັບການແຕ້ມເສັ້ນສະແດງ

salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'], 
         'o', color ='green', markersize = 12, label = 'Decision - Loan approved')
plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'], 
         's', color = 'red', markersize = 12, label = 'Decision - Loan refusal')
plt.xlabel('Salary', size = 16)
plt.ylabel('Payment', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

ດັ່ງນັ້ນ, ເສັ້ນກົງຂອງພວກເຮົາ, ກໍ່ສ້າງໃຫ້ສອດຄ່ອງກັບຫນ້າທີ່ , ແຍກຜູ້ກູ້ຢືມ "ບໍ່ດີ" ຈາກ "ດີ". ຜູ້ກູ້ຢືມທີ່ມີຄວາມປາດຖະຫນາບໍ່ກົງກັນກັບຄວາມສາມາດຂອງພວກເຂົາແມ່ນຢູ່ເຫນືອເສັ້ນ (Lesha), ໃນຂະນະທີ່ຜູ້ທີ່, ອີງຕາມຕົວກໍານົດການຂອງຕົວແບບຂອງພວກເຮົາ, ສາມາດຊໍາລະຄືນເງິນກູ້ຢືມແມ່ນຢູ່ຂ້າງລຸ່ມ (Vasya ແລະ Fedya). ໃນຄໍາສັບຕ່າງໆອື່ນໆ, ພວກເຮົາສາມາດເວົ້ານີ້: ເສັ້ນໂດຍກົງຂອງພວກເຮົາແບ່ງຜູ້ກູ້ຢືມເປັນສອງຊັ້ນ. ຂໍ​ໃຫ້​ພວກ​ເຮົາ​ຫມາຍ​ເຖິງ​ພວກ​ເຂົາ​ດັ່ງ​ຕໍ່​ໄປ​ນີ້​: ກັບ​ຫ້ອງ​ຮຽນ​ ພວກ​ເຮົາ​ຈະ​ຈັດ​ປະ​ເພດ​ຜູ້​ກູ້​ຢືມ​ທີ່​ມີ​ແນວ​ໂນ້ມ​ທີ່​ສຸດ​ທີ່​ຈະ​ຈ່າຍ​ຄືນ​ການ​ກູ້​ຢືມ​ເງິນ​ເປັນ ຫຼື ພວກ​ເຮົາ​ຈະ​ລວມ​ເອົາ​ຜູ້​ກູ້​ຢືມ​ທີ່​ຫຼາຍ​ທີ່​ສຸດ​ຈະ​ບໍ່​ສາ​ມາດ​ຈ່າຍ​ຄືນ​ເງິນ​ກູ້.

ໃຫ້ພວກເຮົາສະຫຼຸບບົດສະຫຼຸບຈາກຕົວຢ່າງທີ່ງ່າຍດາຍນີ້. ໃຫ້ໃຊ້ເວລາຈຸດ ແລະ, ການທົດແທນຈຸດປະສານງານຂອງຈຸດເຂົ້າໄປໃນສົມຜົນທີ່ສອດຄ້ອງກັນຂອງເສັ້ນ , ພິຈາລະນາສາມທາງເລືອກ:

1. ຖ້າຈຸດແມ່ນຢູ່ພາຍໃຕ້ເສັ້ນແລະພວກເຮົາມອບຫມາຍໃຫ້ຫ້ອງຮຽນ , ຫຼັງຈາກນັ້ນມູນຄ່າຂອງຫນ້າທີ່ ຈະເປັນບວກຈາກ ການ . ນີ້ຫມາຍຄວາມວ່າພວກເຮົາສາມາດສົມມຸດວ່າຄວາມເປັນໄປໄດ້ຂອງການຈ່າຍຄືນເງິນກູ້ຢືມແມ່ນຢູ່ພາຍໃນ . ຄ່າຟັງຊັນໃຫຍ່ກວ່າ, ຄວາມເປັນໄປໄດ້ສູງຂື້ນ.
2. ຖ້າຈຸດໃດນຶ່ງຢູ່ເໜືອເສັ້ນນຶ່ງ ແລະພວກເຮົາກຳນົດມັນໃຫ້ຫ້ອງຮຽນ ຫຼື , ຫຼັງຈາກນັ້ນມູນຄ່າຂອງຫນ້າທີ່ຈະເປັນລົບຈາກ ການ . ຫຼັງຈາກນັ້ນ, ພວກເຮົາຈະສົມມຸດວ່າຄວາມເປັນໄປໄດ້ຂອງການຊໍາລະຫນີ້ສິນແມ່ນຢູ່ພາຍໃນ ແລະ, ມູນຄ່າຢ່າງແທ້ຈິງຂອງຫນ້າທີ່ສູງຂຶ້ນ, ຄວາມຫມັ້ນໃຈຂອງພວກເຮົາສູງຂຶ້ນ.
3. ຈຸດ​ທີ່​ຢູ່​ໃນ​ເສັ້ນ​ຊື່​, ກ່ຽວ​ກັບ​ເຂດ​ແດນ​ລະ​ຫວ່າງ​ສອງ​ຫ້ອງ​ຮຽນ​. ໃນກໍລະນີນີ້, ມູນຄ່າຂອງຫນ້າທີ່ ຈະເທົ່າທຽມກັນ ແລະຄວາມເປັນໄປໄດ້ຂອງການຈ່າຍຄືນເງິນກູ້ແມ່ນເທົ່າກັບ .

ດຽວນີ້, ໃຫ້ຈິນຕະນາການວ່າພວກເຮົາບໍ່ມີສອງປັດໃຈ, ແຕ່ຫລາຍສິບຄົນ, ແລະບໍ່ແມ່ນສາມ, ແຕ່ຜູ້ກູ້ຢືມຫລາຍພັນຄົນ. ຫຼັງຈາກນັ້ນ, ແທນທີ່ຈະເປັນເສັ້ນຊື່ທີ່ພວກເຮົາຈະມີ m-ມິຕິ ຍົນ ແລະຄ່າສໍາປະສິດ ພວກເຮົາຈະບໍ່ໄດ້ຮັບການເອົາອອກຈາກອາກາດບາງໆ, ແຕ່ໄດ້ມາຈາກກົດລະບຽບທັງຫມົດ, ແລະບົນພື້ນຖານຂອງຂໍ້ມູນທີ່ສະສົມກ່ຽວກັບຜູ້ກູ້ຢືມທີ່ມີຫຼືບໍ່ໄດ້ຊໍາລະຄືນເງິນກູ້. ແລະແທ້ຈິງແລ້ວ, ຈົ່ງສັງເກດວ່າຕອນນີ້ພວກເຮົາເລືອກຜູ້ກູ້ຢືມໂດຍໃຊ້ຄ່າສໍາປະສິດທີ່ຮູ້ຈັກແລ້ວ . ໃນ​ຄວາມ​ເປັນ​ຈິງ, ວຽກງານຂອງຕົວແບບ regression logistic ແມ່ນຊັດເຈນເພື່ອກໍານົດຕົວກໍານົດການ , ທີ່ມູນຄ່າຂອງຫນ້າທີ່ສູນເສຍ ການສູນເສຍການຂົນສົ່ງ ຈະມີທ່າອ່ຽງຕໍ່າສຸດ. ແຕ່ກ່ຽວກັບວິທີການ vector ຖືກຄິດໄລ່ , ພວກເຮົາຈະຊອກຫາຂໍ້ມູນເພີ່ມເຕີມຢູ່ໃນພາກທີ 5 ຂອງບົດຄວາມ. ໃນເວລານີ້, ພວກເຮົາກັບຄືນໄປທີ່ດິນທີ່ສັນຍາໄວ້ - ກັບທະນາຄານຂອງພວກເຮົາແລະລູກຄ້າສາມຄົນຂອງລາວ.

ຂໍຂອບໃຈກັບຫນ້າທີ່ ພວກເຮົາຮູ້ວ່າໃຜສາມາດໄດ້ຮັບເງິນກູ້ຢືມແລະຜູ້ທີ່ຕ້ອງໄດ້ຮັບການປະຕິເສດ. ແຕ່ທ່ານບໍ່ສາມາດໄປຫາຜູ້ອໍານວຍການດ້ວຍຂໍ້ມູນດັ່ງກ່າວ, ເພາະວ່າພວກເຂົາຕ້ອງການທີ່ຈະໄດ້ຮັບຈາກພວກເຮົາຄວາມເປັນໄປໄດ້ຂອງການຊໍາລະຄືນຂອງເງິນກູ້ໂດຍຜູ້ກູ້ຢືມແຕ່ລະຄົນ. ຈະເຮັດແນວໃດ? ຄໍາຕອບແມ່ນງ່າຍດາຍ - ພວກເຮົາຈໍາເປັນຕ້ອງ somehow ຫັນປ່ຽນຫນ້າທີ່ , ມູນຄ່າທີ່ນອນຢູ່ໃນຂອບເຂດ ກັບຟັງຊັນທີ່ຄ່າຈະນອນຢູ່ໃນຂອບເຂດ . ແລະຫນ້າທີ່ດັ່ງກ່າວມີຢູ່, ມັນຖືກເອີ້ນວ່າ ຟັງຊັນການຕອບໂຕ້ logistic ຫຼືການຫັນປ່ຽນ inverse-logit. ພົບກັນ:

ໃຫ້ເບິ່ງຂັ້ນຕອນໂດຍຂັ້ນຕອນວິທີການເຮັດວຽກ ຟັງຊັນການຕອບໂຕ້ logistic. ໃຫ້ສັງເກດວ່າພວກເຮົາຈະຍ່າງໄປໃນທິດທາງກົງກັນຂ້າມ, i.e. ພວກເຮົາຈະສົມມຸດວ່າພວກເຮົາຮູ້ຄ່າຄວາມເປັນໄປໄດ້, ເຊິ່ງຢູ່ໃນຂອບເຂດຈາກ ການ ແລະຫຼັງຈາກນັ້ນພວກເຮົາຈະ "ຍົກເລີກ" ຄ່ານີ້ໄປສູ່ລະດັບທັງຫມົດຂອງຕົວເລກຈາກ ການ .

03. ພວກເຮົາເອົາຫນ້າທີ່ຕອບສະຫນອງ logistic

ຂັ້ນຕອນທີ 1. ແປງຄ່າຄວາມເປັນໄປໄດ້ເປັນໄລຍະ

ໃນລະຫວ່າງການຫັນປ່ຽນຫນ້າທີ່ в ຟັງຊັນການຕອບໂຕ້ logistic ພວກເຮົາຈະປ່ອຍໃຫ້ນັກວິເຄາະສິນເຊື່ອຂອງພວກເຮົາຢູ່ຄົນດຽວ ແລະໄປທ່ຽວຊົມນັກ bookmakers ແທນ. ບໍ່, ແນ່ນອນ, ພວກເຮົາຈະບໍ່ວາງເດີມພັນ, ທັງຫມົດທີ່ສົນໃຈພວກເຮົາມີຄວາມ ໝາຍ ຂອງການສະແດງອອກ, ຕົວຢ່າງ, ໂອກາດແມ່ນ 4 ຫາ 1. ໂອກາດ, ຄຸ້ນເຄີຍກັບນັກພະນັນທຸກຄົນ, ແມ່ນອັດຕາສ່ວນຂອງ "ຄວາມສໍາເລັດ" ກັບ ". ຄວາມລົ້ມເຫລວ." ໃນເງື່ອນໄຂຄວາມເປັນໄປໄດ້, ບໍ່ລົງຮອຍກັນແມ່ນຄວາມເປັນໄປໄດ້ຂອງເຫດການທີ່ເກີດຂື້ນໂດຍແບ່ງອອກໂດຍຄວາມເປັນໄປໄດ້ຂອງເຫດການທີ່ບໍ່ເກີດຂຶ້ນ. ໃຫ້ຂຽນສູດສໍາລັບໂອກາດຂອງເຫດການທີ່ເກີດຂຶ້ນ :

ບ່ອນທີ່ - ຄວາມ​ເປັນ​ໄປ​ໄດ້​ຂອງ​ເຫດ​ການ​ທີ່​ເກີດ​ຂຶ້ນ​, — ຄວາມເປັນໄປໄດ້ຂອງເຫດການທີ່ບໍ່ເກີດຂຶ້ນ

ຕົວຢ່າງ, ຖ້າຄວາມເປັນໄປໄດ້ທີ່ມ້າຫນຸ່ມ, ແຂງແຮງແລະມັກຫຼິ້ນທີ່ມີຊື່ຫຼິ້ນວ່າ "Veterok" ຈະຕີແມ່ຍິງອາຍຸເກົ່າແລະອ່ອນໂຍນທີ່ມີຊື່ວ່າ "Matilda" ໃນການແຂ່ງຂັນແມ່ນເທົ່າກັບ. , ຫຼັງຈາກນັ້ນໂອກາດຂອງຄວາມສໍາເລັດສໍາລັບ "Veterok" ຈະເປັນ к ແລະໃນທາງກັບກັນ, ຮູ້ບໍ່ລົງຮອຍກັນ, ມັນຈະບໍ່ຍາກສໍາລັບພວກເຮົາທີ່ຈະຄິດໄລ່ຄວາມເປັນໄປໄດ້ :

ດັ່ງນັ້ນ, ພວກເຮົາໄດ້ຮຽນຮູ້ທີ່ຈະ "ແປ" ຄວາມເປັນໄປໄດ້ໃນໂອກາດ, ເຊິ່ງເອົາຄ່າຈາກ ການ . ໃຫ້ໃຊ້ເວລາອີກຂັ້ນຕອນຫນຶ່ງແລະຮຽນຮູ້ທີ່ຈະ "ແປ" ຄວາມເປັນໄປໄດ້ຂອງເສັ້ນຕົວເລກທັງຫມົດຈາກ ການ .

ຂັ້ນຕອນທີ 2. ແປງຄ່າຄວາມເປັນໄປໄດ້ເປັນໄລຍະ

ຂັ້ນ​ຕອນ​ນີ້​ແມ່ນ​ງ່າຍ​ດາຍ​ຫຼາຍ - ຂໍ​ໃຫ້​ໃຊ້​ເວ​ລາ logarithm ຂອງ​ບໍ່​ລົງ​ຮອຍ​ກັນ​ກັບ​ຖານ​ຂອງ​ຈໍາ​ນວນ Euler ແລະພວກເຮົາໄດ້ຮັບ:

ໃນປັດຈຸບັນພວກເຮົາຮູ້ວ່າຖ້າຫາກວ່າ , ຫຼັງຈາກນັ້ນຄິດໄລ່ມູນຄ່າ ຈະງ່າຍດາຍຫຼາຍແລະ, ນອກຈາກນັ້ນ, ມັນຄວນຈະເປັນບວກ: . ນີ້​ແມ່ນ​ຄວາມ​ຈິງ.

ອອກຈາກຄວາມຢາກຮູ້ຢາກເຫັນ, ໃຫ້ກວດເບິ່ງວ່າຈະເປັນແນວໃດ , ຫຼັງຈາກນັ້ນພວກເຮົາຄາດວ່າຈະເຫັນມູນຄ່າທາງລົບ . ພວກເຮົາກວດເບິ່ງ: . ຖືກ​ຕ້ອງ.

ໃນປັດຈຸບັນພວກເຮົາຮູ້ວິທີການແປງຄ່າຄວາມເປັນໄປໄດ້ຈາກ ການ ຕາມເສັ້ນຕົວເລກທັງໝົດຈາກ ການ . ໃນຂັ້ນຕອນຕໍ່ໄປພວກເຮົາຈະເຮັດກົງກັນຂ້າມ.

ສໍາລັບໃນປັດຈຸບັນ, ພວກເຮົາສັງເກດວ່າຕາມກົດລະບຽບຂອງ logarithm, ຮູ້ຄຸນຄ່າຂອງຫນ້າທີ່ , ທ່ານ​ສາ​ມາດ​ຄິດ​ໄລ່​ບໍ່​ລົງ​ຮອຍ​ກັນ​:

ວິທີການກໍານົດການບໍ່ລົງຮອຍກັນນີ້ຈະເປັນປະໂຫຍດຕໍ່ພວກເຮົາໃນຂັ້ນຕອນຕໍ່ໄປ.

ຂັ້ນ​ຕອນ​ທີ 3. ໃຫ້​ຂອງ​ສູດ​ເພື່ອ​ກໍາ​ນົດ​

ດັ່ງນັ້ນພວກເຮົາໄດ້ຮຽນຮູ້, ຮູ້ , ຊອກຫາຄ່າຟັງຊັນ . ຢ່າງໃດກໍຕາມ, ໃນຄວາມເປັນຈິງ, ພວກເຮົາຕ້ອງການກົງກັນຂ້າມຢ່າງແທ້ຈິງ - ຮູ້ມູນຄ່າ ຊອກຫາ . ເພື່ອເຮັດສິ່ງນີ້, ໃຫ້ພວກເຮົາຫັນໄປຫາແນວຄວາມຄິດດັ່ງກ່າວເປັນຫນ້າທີ່ບໍ່ລົງຮອຍກັນ inverse, ອີງຕາມການ:

ໃນບົດຄວາມພວກເຮົາຈະບໍ່ໄດ້ມາຈາກສູດຂ້າງເທິງ, ແຕ່ພວກເຮົາຈະກວດເບິ່ງມັນໂດຍໃຊ້ຕົວເລກຈາກຕົວຢ່າງຂ້າງເທິງ. ພວກ​ເຮົາ​ຮູ້​ວ່າ​ມີ​ບໍ່​ລົງ​ຮອຍ​ກັນ​ຂອງ 4 ຕໍ່ 1 (.), ຄວາມເປັນໄປໄດ້ຂອງເຫດການທີ່ເກີດຂຶ້ນແມ່ນ 0.8 (). ມາປ່ຽນແທນ: . ນີ້ກົງກັນກັບການຄິດໄລ່ຂອງພວກເຮົາທີ່ດໍາເນີນກ່ອນຫນ້ານີ້. ໃຫ້ກ້າວຕໍ່ໄປ.

ໃນຂັ້ນຕອນສຸດທ້າຍ, ພວກເຮົາ deduced ວ່າ , ຊຶ່ງຫມາຍຄວາມວ່າທ່ານສາມາດເຮັດການທົດແທນໃນຫນ້າທີ່ບໍ່ລົງຮອຍກັນ inverse ໄດ້. ພວກເຮົາໄດ້ຮັບ:

ແບ່ງທັງຕົວເລກ ແລະຕົວຫານດ້ວຍ , ຫຼັງຈາກນັ້ນ:

ໃນກໍລະນີທີ່, ເພື່ອໃຫ້ແນ່ໃຈວ່າພວກເຮົາບໍ່ໄດ້ເຮັດຜິດພາດຢູ່ບ່ອນໃດກໍ່ຕາມ, ພວກເຮົາຈະເຮັດການກວດສອບຂະຫນາດນ້ອຍຕື່ມອີກ. ໃນຂັ້ນຕອນ 2, ພວກເຮົາສໍາລັບ ກໍານົດວ່າ . ຫຼັງຈາກນັ້ນ, ການທົດແທນມູນຄ່າ ເຂົ້າໄປໃນຫນ້າທີ່ຕອບສະຫນອງ logistic, ພວກເຮົາຄາດວ່າຈະໄດ້ຮັບ . ພວກເຮົາທົດແທນແລະໄດ້ຮັບ:

ຂໍສະແດງຄວາມຍິນດີ, ຜູ້ອ່ານທີ່ຮັກແພງ, ພວກເຮົາຫາກໍ່ມາແລະທົດສອບຫນ້າທີ່ຕອບສະຫນອງທາງດ້ານ logistic. ໃຫ້ເບິ່ງຢູ່ໃນເສັ້ນສະແດງຂອງຫນ້າທີ່.

ກຣາຟ 3 “ຟັງຊັນການຕອບສະໜອງດ້ານການຂົນສົ່ງ”

ລະຫັດສໍາລັບການແຕ້ມເສັ້ນສະແດງ

import math

def logit (f):
    return 1/(1+math.exp(-f))

f = np.arange(-7,7,0.05)
p = []

for i in f:
    p.append(logit(i))

fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

ໃນວັນນະຄະດີທ່ານຍັງສາມາດຊອກຫາຊື່ຂອງຫນ້າທີ່ນີ້ເປັນ ຟັງຊັນ sigmoid. ເສັ້ນສະແດງສະແດງໃຫ້ເຫັນຢ່າງຊັດເຈນວ່າການປ່ຽນແປງຕົ້ນຕໍໃນຄວາມເປັນໄປໄດ້ຂອງວັດຖຸທີ່ເປັນຂອງຊັ້ນຮຽນເກີດຂື້ນພາຍໃນຂອບເຂດທີ່ຂ້ອນຂ້າງນ້ອຍ. , ບາງບ່ອນຈາກ ການ .

ຂ້າພະເຈົ້າແນະນໍາໃຫ້ກັບຄືນໄປຫານັກວິເຄາະສິນເຊື່ອຂອງພວກເຮົາແລະຊ່ວຍລາວຄິດໄລ່ຄວາມເປັນໄປໄດ້ຂອງການຊໍາລະຄືນເງິນກູ້ຢືມ, ຖ້າບໍ່ດັ່ງນັ້ນລາວຈະມີຄວາມສ່ຽງຕໍ່ການຖືກປະໄວ້ໂດຍບໍ່ມີໂບນັດ :)

ຕາຕະລາງ 2 "ຜູ້ກູ້ຢືມທີ່ມີທ່າແຮງ"

ລະຫັດສໍາລັບການສ້າງຕາຕະລາງ

proba = []
for i in df['f(w,x)']:
    proba.append(round(logit(i),2))
    
df['Probability'] = proba

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision', 'Probability']]

ດັ່ງນັ້ນ, ພວກເຮົາໄດ້ກໍານົດຄວາມເປັນໄປໄດ້ຂອງການຊໍາລະເງິນກູ້. ໂດຍທົ່ວໄປ, ນີ້ເບິ່ງຄືວ່າເປັນຄວາມຈິງ.

ແທ້ຈິງແລ້ວ, ຄວາມເປັນໄປໄດ້ທີ່ Vasya, ມີເງິນເດືອນ 120.000 RUR, ຈະສາມາດໃຫ້ທະນາຄານ 3.000 RUR ທຸກໆເດືອນແມ່ນຢູ່ໃກ້ກັບ 100%. ໂດຍວິທີທາງການ, ພວກເຮົາຕ້ອງເຂົ້າໃຈວ່າທະນາຄານສາມາດອອກເງິນກູ້ໃຫ້ Lesha ຖ້ານະໂຍບາຍຂອງທະນາຄານໃຫ້, ສໍາລັບການຍົກຕົວຢ່າງ, ສໍາລັບການໃຫ້ກູ້ຢືມແກ່ລູກຄ້າທີ່ມີຄວາມເປັນໄປໄດ້ຂອງການຊໍາລະຄືນເງິນກູ້ຢືມຫຼາຍກ່ວາ, ເວົ້າວ່າ, 0.3. ມັນເປັນພຽງແຕ່ວ່າໃນກໍລະນີນີ້ທະນາຄານຈະສ້າງສະຫງວນຂະຫນາດໃຫຍ່ສໍາລັບການສູນເສຍທີ່ເປັນໄປໄດ້.

ມັນຄວນຈະໄດ້ຮັບການສັງເກດເຫັນວ່າອັດຕາເງິນເດືອນຕໍ່ການຈ່າຍເງິນຢ່າງຫນ້ອຍ 3 ແລະມີຂອບຂອງ 5.000 RUR ໄດ້ຖືກເອົາມາຈາກເພດານ. ດັ່ງນັ້ນ, ພວກເຮົາບໍ່ສາມາດໃຊ້ vector ຂອງນ້ໍາຫນັກໃນຮູບແບບຕົ້ນສະບັບຂອງມັນ . ພວກເຮົາຈໍາເປັນຕ້ອງໄດ້ຫຼຸດຜ່ອນຄ່າສໍາປະສິດຢ່າງຫຼວງຫຼາຍ, ແລະໃນກໍລະນີນີ້ພວກເຮົາແບ່ງແຕ່ລະຕົວຄູນ 25.000, ນັ້ນແມ່ນ, ໂດຍເນື້ອແທ້ແລ້ວ, ພວກເຮົາປັບຜົນໄດ້ຮັບ. ແຕ່ນີ້ໄດ້ຖືກເຮັດໂດຍສະເພາະເພື່ອເຮັດໃຫ້ຄວາມເຂົ້າໃຈຂອງເອກະສານຢູ່ໃນຂັ້ນຕອນເບື້ອງຕົ້ນງ່າຍດາຍ. ໃນຊີວິດ, ພວກເຮົາຈະບໍ່ຈໍາເປັນຕ້ອງ invent ແລະປັບຄ່າສໍາປະສິດ, ແຕ່ຊອກຫາໃຫ້ເຂົາເຈົ້າ. ໃນພາກຕໍ່ໄປຂອງບົດຄວາມພວກເຮົາຈະເອົາສົມຜົນທີ່ພາລາມິເຕີຖືກເລືອກ .

04. ວິທີການສີ່ຫຼ່ຽມນ້ອຍທີ່ສຸດສໍາລັບການກໍານົດ vector ຂອງນ້ໍາຫນັກ ໃນ​ຫນ້າ​ທີ່​ການ​ຕອບ​ສະ​ຫນອງ logistic​

ພວກເຮົາຮູ້ວິທີການນີ້ແລ້ວສໍາລັບການເລືອກ vector ຂອງນ້ໍາຫນັກ , as ວິທີການສີ່ຫຼ່ຽມນ້ອຍສຸດ (LSM) ແລະໃນຄວາມເປັນຈິງ, ເປັນຫຍັງພວກເຮົາຈຶ່ງບໍ່ໃຊ້ມັນຢູ່ໃນບັນຫາການຈັດປະເພດຄູ່? ແທ້ຈິງແລ້ວ, ບໍ່ມີຫຍັງປ້ອງກັນທ່ານຈາກການນໍາໃຊ້ MNC, ພຽງແຕ່ວິທີການນີ້ໃນບັນຫາການຈັດປະເພດໃຫ້ຜົນໄດ້ຮັບທີ່ຖືກຕ້ອງຫນ້ອຍກ່ວາ ການສູນເສຍການຂົນສົ່ງ. ມີພື້ນຖານທິດສະດີສໍາລັບການນີ້. ທໍາອິດໃຫ້ເບິ່ງຕົວຢ່າງງ່າຍດາຍຫນຶ່ງ.

ໃຫ້ສົມມຸດວ່າຕົວແບບຂອງພວກເຮົາ (ການນໍາໃຊ້ MSE и ການສູນເສຍການຂົນສົ່ງ) ໄດ້ເລີ່ມເລືອກ vector ຂອງນ້ຳໜັກແລ້ວ ແລະພວກເຮົາຢຸດເຊົາການຄິດໄລ່ໃນບາງຂັ້ນຕອນ. ມັນບໍ່ສໍາຄັນບໍ່ວ່າຈະຢູ່ໃນກາງ, ໃນຕອນທ້າຍຫຼືໃນຕອນຕົ້ນ, ສິ່ງທີ່ສໍາຄັນແມ່ນວ່າພວກເຮົາມີຄຸນຄ່າຂອງ vector ຂອງນ້ໍາຫນັກແລ້ວແລະໃຫ້ສົມມຸດວ່າໃນຂັ້ນຕອນນີ້, vector ຂອງນ້ໍາຫນັກ. ສໍາລັບທັງສອງແບບບໍ່ມີຄວາມແຕກຕ່າງ. ຫຼັງ​ຈາກ​ນັ້ນ​, ເອົາ​ນ​້​ໍາ​ຫນັກ​ທີ່​ໄດ້​ຮັບ​ແລະ​ທົດ​ແທນ​ໃຫ້​ເຂົາ​ເຈົ້າ​ເຂົ້າ​ໄປ​ໃນ​ ຟັງຊັນການຕອບໂຕ້ logistic () ສໍາລັບບາງວັດຖຸທີ່ເປັນຂອງຫ້ອງຮຽນ . ພວກເຮົາກວດເບິ່ງສອງກໍລະນີເມື່ອ, ອີງຕາມ vector ຂອງນ້ໍາຫນັກທີ່ເລືອກ, ຮູບແບບຂອງພວກເຮົາແມ່ນຜິດພາດຫຼາຍແລະໃນທາງກັບກັນ - ຮູບແບບມີຄວາມຫມັ້ນໃຈຫຼາຍວ່າວັດຖຸເປັນຂອງຫ້ອງຮຽນ. . ໃຫ້ເຮົາເບິ່ງວ່າຄ່າປັບໃໝໃດຈະຖືກອອກເມື່ອນຳໃຊ້ MNC и ການສູນເສຍການຂົນສົ່ງ.

ລະຫັດເພື່ອຄິດໄລ່ການລົງໂທດຂຶ້ນກັບຟັງຊັນການສູນເສຍທີ່ໃຊ້

# класс объекта
y = 1
# вероятность отнесения объекта к классу в соответствии с параметрами w
proba_1 = 0.01

MSE_1 = (y - proba_1)**2
print 'Штраф MSE при грубой ошибке =', MSE_1

# напишем функцию для вычисления f(w,x) при известной вероятности отнесения объекта к классу +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
    return math.log(proba/(1-proba)) 

LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'Штраф Log Loss при грубой ошибке =', LogLoss_1

proba_2 = 0.99

MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))

print '**************************************************************'
print 'Штраф MSE при сильной уверенности =', MSE_2
print 'Штраф Log Loss при сильной уверенности =', LogLoss_2

ກໍ​ລະ​ນີ​ຂອງ​ຄວາມ​ຜິດ​ພາດ​ໄດ້​ — ຕົວແບບມອບໝາຍວັດຖຸໃຫ້ກັບຫ້ອງຮຽນ ດ້ວຍຄວາມເປັນໄປໄດ້ 0,01

ການລົງໂທດໃນການນໍາໃຊ້ MNC ຈະ​ເປັນ:

ການລົງໂທດໃນການນໍາໃຊ້ ການສູນເສຍການຂົນສົ່ງ ຈະ​ເປັນ:

ກໍລະນີຂອງຄວາມຫມັ້ນໃຈທີ່ເຂັ້ມແຂງ — ຕົວແບບມອບໝາຍວັດຖຸໃຫ້ກັບຫ້ອງຮຽນ ດ້ວຍຄວາມເປັນໄປໄດ້ 0,99

ການລົງໂທດໃນການນໍາໃຊ້ MNC ຈະ​ເປັນ:

ການລົງໂທດໃນການນໍາໃຊ້ ການສູນເສຍການຂົນສົ່ງ ຈະ​ເປັນ:

ຕົວຢ່າງນີ້ສະແດງໃຫ້ເຫັນດີວ່າໃນກໍລະນີຂອງຄວາມຜິດພາດລວມ, ຫນ້າທີ່ສູນເສຍ ການສູນເສຍບັນທຶກ penalizes ຮູບແບບຢ່າງຫຼວງຫຼາຍຫຼາຍກ່ວາ MSE. ຕອນນີ້ໃຫ້ເຂົ້າໃຈວ່າພື້ນຖານທາງທິດສະດີແມ່ນຫຍັງກັບການໃຊ້ຟັງຊັນການສູນເສຍ ການສູນເສຍບັນທຶກ ໃນ​ບັນ​ຫາ​ການ​ຈັດ​ປະ​ເພດ​.

05. ວິທີການຄວາມເປັນໄປໄດ້ສູງສຸດແລະການຖົດຖອຍ logistic

ດັ່ງທີ່ໄດ້ສັນຍາໄວ້ໃນຕອນຕົ້ນ, ບົດຄວາມແມ່ນເຕັມໄປດ້ວຍຕົວຢ່າງທີ່ງ່າຍດາຍ. ໃນສະຕູດິໂອມີຕົວຢ່າງອື່ນແລະແຂກເກົ່າ - ຜູ້ກູ້ຢືມທະນາຄານ: Vasya, Fedya ແລະ Lesha.

ພຽງແຕ່ໃນກໍລະນີ, ກ່ອນທີ່ຈະພັດທະນາຕົວຢ່າງ, ໃຫ້ຂ້າພະເຈົ້າເຕືອນທ່ານວ່າໃນຊີວິດພວກເຮົາກໍາລັງຈັດການກັບຕົວຢ່າງການຝຶກອົບຮົມຂອງພັນຫຼືລ້ານຂອງວັດຖຸທີ່ມີສິບຫຼືຫຼາຍຮ້ອຍລັກສະນະ. ຢ່າງໃດກໍຕາມ, ໃນທີ່ນີ້ຕົວເລກໄດ້ຖືກປະຕິບັດເພື່ອໃຫ້ພວກເຂົາສາມາດເຫມາະກັບຫົວຫນ້ານັກວິທະຍາສາດຂໍ້ມູນຈົວໄດ້ຢ່າງງ່າຍດາຍ.

ໃຫ້ກັບຄືນໄປຫາຕົວຢ່າງ. ຂໍໃຫ້ຈິນຕະນາການວ່າຜູ້ອໍານວຍການທະນາຄານໄດ້ຕັດສິນໃຈອອກເງິນກູ້ໃຫ້ກັບທຸກຄົນທີ່ຕ້ອງການ, ເຖິງວ່າຈະມີຄວາມຈິງທີ່ວ່າ algorithm ບອກລາວບໍ່ໃຫ້ອອກໃຫ້ Lesha. ແລະໃນປັດຈຸບັນເວລາພຽງພໍໄດ້ຜ່ານໄປແລະພວກເຮົາຮູ້ວ່າວິລະຊົນສາມຄົນໃດໄດ້ຈ່າຍຄືນເງິນກູ້ຢືມແລະອັນໃດບໍ່ໄດ້. ສິ່ງທີ່ຄາດຫວັງ: Vasya ແລະ Fedya ໄດ້ຈ່າຍຄືນເງິນກູ້ຢືມ, ແຕ່ Lesha ບໍ່ໄດ້. ຕອນນີ້ໃຫ້ຈິນຕະນາການວ່າຜົນໄດ້ຮັບນີ້ຈະເປັນຕົວຢ່າງການຝຶກອົບຮົມໃຫມ່ສໍາລັບພວກເຮົາແລະ, ໃນເວລາດຽວກັນ, ມັນຄືກັບວ່າຂໍ້ມູນທັງຫມົດກ່ຽວກັບປັດໃຈທີ່ມີອິດທິພົນຕໍ່ຄວາມເປັນໄປໄດ້ຂອງການຊໍາລະຄືນເງິນກູ້ຢືມ (ເງິນເດືອນຂອງຜູ້ກູ້ຢືມ, ຂະຫນາດຂອງການຈ່າຍເງິນປະຈໍາເດືອນ) ໄດ້ຫາຍໄປ. ຫຼັງຈາກນັ້ນ, intuitively, ພວກເຮົາສາມາດສົມມຸດວ່າທຸກໆຜູ້ກູ້ຢືມທີສາມບໍ່ໄດ້ຈ່າຍຄືນເງິນກູ້ໃຫ້ທະນາຄານ, ຫຼືໃນຄໍາສັບຕ່າງໆອື່ນໆ, ຄວາມເປັນໄປໄດ້ຂອງຜູ້ກູ້ຢືມຕໍ່ໄປທີ່ຈະຈ່າຍຄືນເງິນກູ້. . ສົມມຸດຕິຖານ intuitive ນີ້ມີການຢືນຢັນທາງທິດສະດີແລະແມ່ນອີງໃສ່ ວິທີຄວາມເປັນໄປໄດ້ສູງສຸດ, ເລື້ອຍໆໃນວັນນະຄະດີມັນຖືກເອີ້ນວ່າ ຫຼັກການຄວາມເປັນໄປໄດ້ສູງສຸດ.

ທໍາອິດ, ໃຫ້ເຮົາຮູ້ຈັກກັບອຸປະກອນແນວຄວາມຄິດ.

ຄວາມເປັນໄປໄດ້ຂອງຕົວຢ່າງ ແມ່ນຄວາມເປັນໄປໄດ້ຂອງການໄດ້ຮັບຕົວຢ່າງດັ່ງກ່າວຢ່າງແທ້ຈິງ, ໄດ້ຮັບການສັງເກດການ / ຜົນໄດ້ຮັບຢ່າງແທ້ຈິງ, i.e. ຜະລິດຕະພັນຂອງຄວາມເປັນໄປໄດ້ຂອງການໄດ້ຮັບແຕ່ລະຜົນໄດ້ຮັບຕົວຢ່າງ (ຕົວຢ່າງ, ບໍ່ວ່າຈະເປັນການກູ້ຢືມຂອງ Vasya, Fedya ແລະ Lesha ໄດ້ຮັບການຊໍາລະຄືນຫຼືບໍ່ຈ່າຍຄືນໃນເວລາດຽວກັນ).

ຫນ້າທີ່ຄວາມເປັນໄປໄດ້ ກ່ຽວຂ້ອງກັບຄວາມເປັນໄປໄດ້ຂອງຕົວຢ່າງກັບຄ່າຂອງຕົວກໍານົດການແຈກຢາຍ.

ໃນກໍລະນີຂອງພວກເຮົາ, ຕົວຢ່າງການຝຶກອົບຮົມແມ່ນໂຄງການ Bernoulli ທົ່ວໄປ, ເຊິ່ງຕົວແປແບບສຸ່ມໃຊ້ເວລາພຽງແຕ່ສອງຄ່າ: ຫຼື . ດັ່ງນັ້ນ, ຄວາມເປັນໄປໄດ້ຂອງຕົວຢ່າງສາມາດຖືກຂຽນເປັນຫນ້າທີ່ຄວາມເປັນໄປໄດ້ຂອງພາລາມິເຕີ ດັ່ງຕໍ່ໄປນີ້:

ການເຂົ້າຂ້າງເທິງສາມາດຕີຄວາມໄດ້ດັ່ງນີ້. ຄວາມເປັນໄປໄດ້ຮ່ວມກັນທີ່ Vasya ແລະ Fedya ຈະຈ່າຍຄືນເງິນກູ້ຢືມແມ່ນເທົ່າກັບ , ຄວາມເປັນໄປໄດ້ທີ່ Lesha ຈະບໍ່ຈ່າຍຄືນເງິນກູ້ຢືມແມ່ນເທົ່າກັບ (ເນື່ອງ​ຈາກ​ວ່າ​ມັນ​ບໍ່​ແມ່ນ​ການ​ຊໍາ​ລະ​ເງິນ​ກູ້​ທີ່​ເກີດ​ຂຶ້ນ​)​, ດັ່ງ​ນັ້ນ​ຄວາມ​ເປັນ​ໄປ​ໄດ້​ຮ່ວມ​ກັນ​ຂອງ​ທັງ​ສາມ​ເຫດ​ການ​ແມ່ນ​ເທົ່າ​ທຽມ​ກັນ​. .

ວິທີການຄວາມເປັນໄປໄດ້ສູງສຸດ ແມ່ນວິທີການຄາດຄະເນພາລາມິເຕີທີ່ບໍ່ຮູ້ຈັກໂດຍການຂະຫຍາຍສູງສຸດ ຫນ້າທີ່ຄວາມເປັນໄປໄດ້. ໃນກໍລະນີຂອງພວກເຮົາ, ພວກເຮົາຈໍາເປັນຕ້ອງຊອກຫາມູນຄ່າດັ່ງກ່າວ , ທີ່ ຮອດຈຸດສູງສຸດ.

ແນວຄວາມຄິດທີ່ແທ້ຈິງມາຈາກໃສ - ເພື່ອຊອກຫາຄ່າຂອງພາລາມິເຕີທີ່ບໍ່ຮູ້ຈັກທີ່ຫນ້າທີ່ຄວາມເປັນໄປໄດ້ບັນລຸສູງສຸດ? ຕົ້ນກໍາເນີດຂອງແນວຄວາມຄິດແມ່ນມາຈາກແນວຄວາມຄິດທີ່ວ່າຕົວຢ່າງແມ່ນແຫຼ່ງຄວາມຮູ້ດຽວທີ່ມີໃຫ້ພວກເຮົາກ່ຽວກັບປະຊາກອນ. ທຸກສິ່ງທຸກຢ່າງທີ່ພວກເຮົາຮູ້ກ່ຽວກັບປະຊາກອນແມ່ນເປັນຕົວແທນຢູ່ໃນຕົວຢ່າງ. ດັ່ງນັ້ນ, ທັງຫມົດທີ່ພວກເຮົາສາມາດເວົ້າໄດ້ແມ່ນວ່າຕົວຢ່າງແມ່ນການສະທ້ອນທີ່ຖືກຕ້ອງທີ່ສຸດຂອງປະຊາກອນທີ່ມີຢູ່ໃນພວກເຮົາ. ດັ່ງນັ້ນ, ພວກເຮົາຈໍາເປັນຕ້ອງຊອກຫາພາລາມິເຕີທີ່ຕົວຢ່າງທີ່ມີຢູ່ຈະກາຍເປັນຄວາມເປັນໄປໄດ້ທີ່ສຸດ.

ແນ່ນອນ, ພວກເຮົາກໍາລັງແກ້ໄຂບັນຫາການເພີ່ມປະສິດທິພາບທີ່ພວກເຮົາຕ້ອງການຊອກຫາຈຸດສູງສຸດຂອງຫນ້າທີ່. ເພື່ອຊອກຫາຈຸດສູງສຸດ, ມັນຈໍາເປັນຕ້ອງພິຈາລະນາເງື່ອນໄຂຄໍາສັ່ງທໍາອິດ, ນັ້ນແມ່ນ, ສົມຜົນຂອງຫນ້າທີ່ເປັນສູນແລະແກ້ໄຂສົມຜົນກ່ຽວກັບພາລາມິເຕີທີ່ຕ້ອງການ. ຢ່າງໃດກໍຕາມ, ການຊອກຫາຕົວພັນຂອງຜະລິດຕະພັນຂອງປັດໃຈຈໍານວນຫລາຍສາມາດເປັນວຽກທີ່ຍາວນານ; ເພື່ອຫຼີກເວັ້ນການນີ້, ມີເຕັກນິກພິເສດ - ການປ່ຽນໄປສູ່ logarithm. ຫນ້າທີ່ຄວາມເປັນໄປໄດ້. ເປັນຫຍັງການຫັນປ່ຽນດັ່ງກ່າວຈຶ່ງເປັນໄປໄດ້? ໃຫ້ພວກເຮົາເອົາໃຈໃສ່ກັບຄວາມຈິງທີ່ວ່າພວກເຮົາບໍ່ໄດ້ຊອກຫາຈຸດສູງສຸດຂອງຫນ້າທີ່ຂອງມັນເອງ, ແລະຈຸດທີ່ສຸດ, ນັ້ນແມ່ນ, ມູນຄ່າຂອງພາລາມິເຕີທີ່ບໍ່ຮູ້ຈັກ , ທີ່ ຮອດຈຸດສູງສຸດ. ເມື່ອຍ້າຍໄປເປັນ logarithm, ຈຸດ extremum ບໍ່ປ່ຽນແປງ (ເຖິງແມ່ນວ່າ extremum ຕົວຂອງມັນເອງຈະແຕກຕ່າງກັນ), ເນື່ອງຈາກວ່າ logarithm ເປັນຫນ້າທີ່ monotonic.

ໃຫ້, ອີງຕາມການຂ້າງເທິງນີ້, ສືບຕໍ່ພັດທະນາຕົວຢ່າງຂອງພວກເຮົາກັບເງິນກູ້ຢືມຈາກ Vasya, Fedya ແລະ Lesha. ທໍາອິດໃຫ້ຍ້າຍໄປຫາ logarithm ຂອງຫນ້າທີ່ຄວາມເປັນໄປໄດ້:

ໃນປັດຈຸບັນພວກເຮົາສາມາດແຍກແຍະການສະແດງອອກໄດ້ຢ່າງງ່າຍດາຍໂດຍ :

ແລະສຸດທ້າຍ, ພິຈາລະນາເງື່ອນໄຂຂອງຄໍາສັ່ງທໍາອິດ - ພວກເຮົາສົມຜົນຂອງອະນຸພັນຂອງຫນ້າທີ່ເປັນສູນ:

ດັ່ງນັ້ນ, ການຄາດຄະເນ intuitive ຂອງພວກເຮົາກ່ຽວກັບຄວາມເປັນໄປໄດ້ຂອງການຊໍາລະຄືນເງິນກູ້ຢືມ ຖືກຕ້ອງຕາມທິດສະດີ.

ດີຫຼາຍ, ແຕ່ພວກເຮົາຄວນເຮັດແນວໃດກັບຂໍ້ມູນນີ້ໃນປັດຈຸບັນ? ຖ້າ​ຫາກ​ວ່າ​ພວກ​ເຮົາ​ສົມ​ມຸດ​ວ່າ​ຜູ້​ກູ້​ຢືມ​ຜູ້​ທີ​ສາມ​ບໍ່​ໄດ້​ຄືນ​ເງິນ​ກັບ​ທະ​ນາ​ຄານ​, ຫຼັງ​ຈາກ​ນັ້ນ​ຈະ​ລົ້ມ​ລະ​ລາຍ​ຢ່າງ​ຫຼີກ​ເວັ້ນ​ການ​. ນັ້ນແມ່ນ, ແຕ່ວ່າພຽງແຕ່ໃນເວລາທີ່ປະເມີນຄວາມເປັນໄປໄດ້ຂອງການຊໍາລະຄືນເງິນກູ້ຢືມເທົ່າກັບ ພວກເຮົາບໍ່ໄດ້ຄໍານຶງເຖິງປັດໃຈທີ່ມີອິດທິພົນຕໍ່ການຊໍາລະຄືນເງິນກູ້ຢືມ: ເງິນເດືອນຂອງຜູ້ກູ້ຢືມແລະຂະຫນາດຂອງການຈ່າຍເງິນປະຈໍາເດືອນ. ໃຫ້ພວກເຮົາຈື່ໄວ້ວ່າກ່ອນຫນ້ານີ້ພວກເຮົາໄດ້ຄິດໄລ່ຄວາມເປັນໄປໄດ້ຂອງການຊໍາລະຄືນຂອງເງິນກູ້ໂດຍລູກຄ້າແຕ່ລະຄົນ, ໂດຍຄໍານຶງເຖິງປັດໃຈດຽວກັນເຫຼົ່ານີ້. ມັນເປັນເຫດຜົນທີ່ພວກເຮົາໄດ້ຮັບຄວາມເປັນໄປໄດ້ທີ່ແຕກຕ່າງຈາກຄົງທີ່ເທົ່າທຽມກັນ .

ໃຫ້ກໍານົດຄວາມເປັນໄປໄດ້ຂອງຕົວຢ່າງ:

ລະຫັດສໍາລັບການຄິດໄລ່ຕົວຢ່າງຄວາມເປັນໄປໄດ້

from functools import reduce

def likelihood(y,p):
    line_true_proba = []
    for i in range(len(y)):
        ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
        line_true_proba.append(ltp_i)
    likelihood = []
    return reduce(lambda a, b: a*b, line_true_proba)
        
    
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]


print 'Правдоподобие выборки при константном значении p=2/3:', round(likelihood(y,p_const),3)

print '****************************************************************************************************'

print 'Правдоподобие выборки при расчетном значении p:', round(likelihood(y,p_log_response),3)

ຄວາມເປັນໄປໄດ້ຂອງຕົວຢ່າງໃນມູນຄ່າຄົງທີ່ :

ຕົວຢ່າງຄວາມເປັນໄປໄດ້ໃນເວລາທີ່ຄິດໄລ່ຄວາມເປັນໄປໄດ້ຂອງການຊໍາລະຄືນເງິນກູ້ຢືມໂດຍຄໍານຶງເຖິງປັດໃຈຕ່າງໆ :

ຄວາມເປັນໄປໄດ້ຂອງຕົວຢ່າງທີ່ມີຄວາມເປັນໄປໄດ້ທີ່ຄິດໄລ່ໂດຍອີງຕາມປັດໃຈໄດ້ຫັນອອກມາສູງກວ່າຄວາມເປັນໄປໄດ້ທີ່ມີມູນຄ່າຄົງທີ່. ນີ້ຫມາຍຄວາມວ່າແນວໃດ? ນີ້ຊີ້ໃຫ້ເຫັນວ່າຄວາມຮູ້ກ່ຽວກັບປັດໃຈເຮັດໃຫ້ມັນເປັນໄປໄດ້ທີ່ຈະເລືອກເອົາຄວາມເປັນໄປໄດ້ຂອງການຊໍາລະຄືນເງິນກູ້ສໍາລັບລູກຄ້າແຕ່ລະຄົນຢ່າງຖືກຕ້ອງ. ດັ່ງນັ້ນ, ເມື່ອອອກເງິນກູ້ຄັ້ງຕໍ່ໄປ, ມັນຈະຖືກຕ້ອງກວ່າທີ່ຈະໃຊ້ຕົວແບບທີ່ສະເຫນີໃນຕອນທ້າຍຂອງພາກທີ 3 ຂອງບົດຄວາມສໍາລັບການປະເມີນຄວາມເປັນໄປໄດ້ຂອງການຊໍາລະຫນີ້ສິນ.

ແຕ່ຫຼັງຈາກນັ້ນ, ຖ້າພວກເຮົາຕ້ອງການສູງສຸດ ຫນ້າທີ່ຄວາມເປັນໄປໄດ້ຕົວຢ່າງ, ຫຼັງຈາກນັ້ນ, ເປັນຫຍັງຈຶ່ງບໍ່ໃຊ້ບາງ algorithm ທີ່ຈະຜະລິດຄວາມເປັນໄປໄດ້ສໍາລັບ Vasya, Fedya ແລະ Lesha, ສໍາລັບການຍົກຕົວຢ່າງ, ເທົ່າກັບ 0.99, 0.99 ແລະ 0.01, ຕາມລໍາດັບ. ບາງທີ algorithm ດັ່ງກ່າວຈະປະຕິບັດໄດ້ດີໃນຕົວຢ່າງການຝຶກອົບຮົມ, ເພາະວ່າມັນຈະນໍາເອົາມູນຄ່າຕົວຢ່າງທີ່ໃກ້ຄຽງກັບ. , ແຕ່, ກ່ອນອື່ນ ໝົດ, ສູດການຄິດໄລ່ດັ່ງກ່າວສ່ວນຫຼາຍອາດຈະມີຄວາມຫຍຸ້ງຍາກກັບຄວາມສາມາດທົ່ວໄປ, ແລະອັນທີສອງ, ສູດການຄິດໄລ່ນີ້ແນ່ນອນຈະບໍ່ເປັນເສັ້ນ. ແລະຖ້າວິທີການຕໍ່ສູ້ກັບ overtraining (ຄວາມສາມາດທົ່ວໄປທີ່ອ່ອນແອເທົ່າທຽມກັນ) ບໍ່ໄດ້ລວມຢູ່ໃນແຜນການຂອງບົດຄວາມນີ້, ໃຫ້ຜ່ານຈຸດທີສອງໃນລາຍລະອຽດເພີ່ມເຕີມ. ເພື່ອເຮັດສິ່ງນີ້, ພຽງແຕ່ຕອບຄໍາຖາມທີ່ງ່າຍດາຍ. ຄວາມເປັນໄປໄດ້ຂອງການຈ່າຍຄືນ Vasya ແລະ Fedya ອາດຈະຄືກັນ, ໂດຍຄໍານຶງເຖິງປັດໃຈທີ່ພວກເຮົາຮູ້ຈັກ? ຈາກທັດສະນະຂອງເຫດຜົນສຽງ, ແນ່ນອນ, ບໍ່ແມ່ນ, ມັນເຮັດບໍ່ໄດ້. ດັ່ງນັ້ນ Vasya ຈະຈ່າຍ 2.5% ຂອງເງິນເດືອນຂອງລາວຕໍ່ເດືອນເພື່ອຈ່າຍຄືນເງິນກູ້, ແລະ Fedya - ເກືອບ 27,8%. ນອກຈາກນີ້ໃນເສັ້ນສະແດງທີ 2 "ການຈັດປະເພດລູກຄ້າ" ພວກເຮົາເຫັນວ່າ Vasya ແມ່ນຢູ່ໄກຈາກເສັ້ນແບ່ງຊັ້ນຫຼາຍກ່ວາ Fedya. ແລະສຸດທ້າຍ, ພວກເຮົາຮູ້ວ່າຫນ້າທີ່ ສໍາລັບ Vasya ແລະ Fedya ໃຊ້ເວລາຄ່າທີ່ແຕກຕ່າງກັນ: 4.24 ສໍາລັບ Vasya ແລະ 1.0 ສໍາລັບ Fedya. ຕອນນີ້, ສໍາລັບຕົວຢ່າງ, ຖ້າ Fedya ໄດ້ຮັບຄໍາສັ່ງຂອງຂະຫນາດຫຼາຍຫຼືຮ້ອງຂໍໃຫ້ມີເງິນກູ້ຢືມຂະຫນາດນ້ອຍກວ່າ, ຄວາມເປັນໄປໄດ້ຂອງການຈ່າຍຄືນເງິນກູ້ຢືມສໍາລັບ Vasya ແລະ Fedya ຈະຄ້າຍຄືກັນ. ໃນຄໍາສັບຕ່າງໆອື່ນໆ, ການເພິ່ງພາອາໄສເສັ້ນບໍ່ສາມາດຖືກຫຼອກລວງ. ແລະຖ້າພວກເຮົາຄິດໄລ່ຕົວຈິງແລ້ວບໍ່ລົງຮອຍກັນ , ແລະບໍ່ໄດ້ເອົາພວກມັນອອກຈາກອາກາດບາງໆ, ພວກເຮົາສາມາດເວົ້າໄດ້ຢ່າງປອດໄພວ່າຄຸນຄ່າຂອງພວກເຮົາ ທີ່ດີທີ່ສຸດອະນຸຍາດໃຫ້ພວກເຮົາປະເມີນຄວາມເປັນໄປໄດ້ຂອງການຊໍາລະຄືນຂອງເງິນກູ້ໂດຍຜູ້ກູ້ຢືມແຕ່ລະຄົນ, ແຕ່ເນື່ອງຈາກພວກເຮົາຕົກລົງທີ່ຈະສົມມຸດວ່າການກໍານົດຄ່າສໍາປະສິດ. ໄດ້ຖືກປະຕິບັດຕາມກົດລະບຽບທັງຫມົດ, ຫຼັງຈາກນັ້ນພວກເຮົາຈະສົມມຸດວ່າ - ຄ່າສໍາປະສິດຂອງພວກເຮົາອະນຸຍາດໃຫ້ພວກເຮົາໃຫ້ການຄາດຄະເນທີ່ດີກວ່າຂອງຄວາມເປັນໄປໄດ້ :)

ຢ່າງໃດກໍຕາມ, ພວກເຮົາບໍ່ພໍໃຈ. ໃນພາກນີ້ພວກເຮົາຈໍາເປັນຕ້ອງເຂົ້າໃຈວ່າ vector ຂອງນ້ໍາຫນັກຖືກກໍານົດແນວໃດ , ເຊິ່ງເປັນສິ່ງຈໍາເປັນເພື່ອປະເມີນຄວາມເປັນໄປໄດ້ຂອງການຊໍາລະຄືນຂອງເງິນກູ້ໂດຍຜູ້ກູ້ຢືມແຕ່ລະຄົນ.

ໃຫ້ພວກເຮົາສະຫຼຸບໂດຍຫຍໍ້ກ່ຽວກັບສິ່ງທີ່ສານຫນູທີ່ພວກເຮົາໄປຊອກຫາບໍ່ລົງຮອຍກັນ :

1. ພວກເຮົາສົມມຸດວ່າການພົວພັນລະຫວ່າງຕົວແປເປົ້າຫມາຍ (ມູນຄ່າການຄາດຄະເນ) ແລະປັດໃຈທີ່ມີອິດທິພົນຕໍ່ຜົນໄດ້ຮັບແມ່ນເສັ້ນຊື່. ສໍາລັບເຫດຜົນນີ້, ມັນຖືກນໍາໃຊ້ ຟັງຊັນການຖົດຖອຍແບບເສັ້ນ ຊະນິດ , ເສັ້ນທີ່ແບ່ງວັດຖຸ (ລູກຄ້າ) ເຂົ້າໄປໃນຊັ້ນຮຽນ и ຫຼື (ລູກຄ້າຜູ້ທີ່ສາມາດຊໍາລະຄືນເງິນກູ້ແລະຜູ້ທີ່ບໍ່ໄດ້). ໃນກໍລະນີຂອງພວກເຮົາ, ສົມຜົນມີຮູບແບບ .

2. ພວກເຮົາໃຊ້ ຟັງຊັນ logit ປີ້ນກັນ ຊະນິດ ເພື່ອກໍານົດຄວາມເປັນໄປໄດ້ຂອງວັດຖຸທີ່ເປັນຂອງຫ້ອງຮຽນ .

3. ພວກເຮົາພິຈາລະນາຊຸດການຝຶກອົບຮົມຂອງພວກເຮົາເປັນການຈັດຕັ້ງປະຕິບັດແບບທົ່ວໄປ ໂຄງການ Bernoulli, ນັ້ນແມ່ນ, ສໍາລັບແຕ່ລະວັດຖຸຕົວແປແບບສຸ່ມແມ່ນຖືກສ້າງຂຶ້ນ, ເຊິ່ງມີຄວາມເປັນໄປໄດ້ (ຂອງມັນເອງສຳລັບແຕ່ລະວັດຖຸ) ເອົາຄ່າ 1 ແລະມີຄວາມເປັນໄປໄດ້ -0

4. ພວກເຮົາຮູ້ວ່າສິ່ງທີ່ພວກເຮົາຕ້ອງການເພື່ອເພີ່ມປະສິດທິພາບສູງສຸດ ຫນ້າທີ່ຄວາມເປັນໄປໄດ້ຕົວຢ່າງ ໂດຍຄໍານຶງເຖິງປັດໃຈທີ່ຍອມຮັບເພື່ອໃຫ້ຕົວຢ່າງທີ່ມີຢູ່ກາຍເປັນຄວາມເຊື່ອຖືທີ່ສຸດ. ໃນຄໍາສັບຕ່າງໆອື່ນໆ, ພວກເຮົາຈໍາເປັນຕ້ອງເລືອກພາລາມິເຕີທີ່ຕົວຢ່າງຈະເປັນໄປໄດ້ຫຼາຍທີ່ສຸດ. ໃນກໍລະນີຂອງພວກເຮົາ, ພາລາມິເຕີທີ່ເລືອກແມ່ນຄວາມເປັນໄປໄດ້ຂອງການຊໍາລະຄືນເງິນກູ້ , ເຊິ່ງແມ່ນຂຶ້ນກັບຄ່າສໍາປະສິດທີ່ບໍ່ຮູ້ຈັກ . ດັ່ງນັ້ນພວກເຮົາຈໍາເປັນຕ້ອງຊອກຫາ vector ຂອງນ້ໍາຫນັກດັ່ງກ່າວ , ທີ່ຄວາມເປັນໄປໄດ້ຂອງຕົວຢ່າງຈະສູງສຸດ.

5. ພວກເຮົາຮູ້ວ່າສິ່ງທີ່ຈະເພີ່ມປະສິດທິພາບສູງສຸດ ຫນ້າທີ່ຄວາມເປັນໄປໄດ້ຕົວຢ່າງ ສາມາດໃຊ້ໄດ້ ວິທີການຄວາມເປັນໄປໄດ້ສູງສຸດ. ແລະພວກເຮົາຮູ້ທັງຫມົດ tricks tricks ເຮັດວຽກກັບວິທີການນີ້.

ນີ້ແມ່ນວິທີທີ່ມັນກາຍເປັນການເຄື່ອນໄຫວຫຼາຍຂັ້ນຕອນ :)

ຕອນນີ້ຈື່ໄວ້ວ່າໃນຕອນຕົ້ນຂອງບົດຄວາມພວກເຮົາຕ້ອງການເອົາຫນ້າທີ່ສູນເສຍສອງປະເພດ ການສູນເສຍການຂົນສົ່ງ ຂຶ້ນກັບວິທີການຈັດປະເພດວັດຖຸ. ມັນເກີດຂຶ້ນດັ່ງນັ້ນໃນບັນຫາການຈັດປະເພດທີ່ມີສອງຊັ້ນ, ຫ້ອງຮຽນແມ່ນຫມາຍເຖິງ и ຫຼື . ອີງຕາມ notation, ຜົນຜະລິດຈະມີຫນ້າທີ່ສູນເສຍທີ່ສອດຄ້ອງກັນ.

ກໍ​ລະ​ນີ 1. ການ​ຈັດ​ປະ​ເພດ​ຂອງ​ວັດ​ຖຸ​ເຂົ້າ​ໄປ​ໃນ​ и

ກ່ອນຫນ້ານີ້, ເມື່ອກໍານົດຄວາມເປັນໄປໄດ້ຂອງຕົວຢ່າງ, ເຊິ່ງຄວາມເປັນໄປໄດ້ຂອງການຊໍາລະຫນີ້ສິນໂດຍຜູ້ກູ້ຢືມໄດ້ຖືກຄິດໄລ່ໂດຍອີງໃສ່ປັດໃຈແລະຄ່າສໍາປະສິດ. , ພວກເຮົາໄດ້ນໍາໃຊ້ສູດ:

ໃນຄວາມເປັນຈິງ ແມ່ນ​ຄວາມ​ຫມາຍ ຫນ້າທີ່ຕອບສະຫນອງ logistic ສໍາລັບ vector ຂອງນ້ໍາຫນັກ

ຫຼັງຈາກນັ້ນ, ບໍ່ມີຫຍັງຂັດຂວາງພວກເຮົາຈາກການຂຽນຫນ້າທີ່ຄວາມເປັນໄປໄດ້ຂອງຕົວຢ່າງດັ່ງຕໍ່ໄປນີ້:

ມັນເກີດຂື້ນວ່າບາງຄັ້ງມັນເປັນການຍາກສໍາລັບນັກວິເຄາະຈົວບາງຄົນທີ່ຈະເຂົ້າໃຈທັນທີວ່າຫນ້າທີ່ນີ້ເຮັດວຽກແນວໃດ. ຂໍ​ໃຫ້​ເບິ່ງ 4 ຕົວ​ຢ່າງ​ສັ້ນ​ທີ່​ຈະ​ເຮັດ​ໃຫ້​ທຸກ​ສິ່ງ​ທຸກ​ຢ່າງ​ຈະ​ແຈ້ງ​:

1. ຖ້າຫາກວ່າ (i.e., ອີງຕາມຕົວຢ່າງການຝຶກອົບຮົມ, ວັດຖຸເປັນຂອງຫ້ອງຮຽນ +1), ແລະສູດການຄິດໄລ່ຂອງພວກເຮົາ. ກໍານົດຄວາມເປັນໄປໄດ້ຂອງການຈັດປະເພດວັດຖຸເປັນຫ້ອງຮຽນ ເທົ່າກັບ 0.9, ຈາກນັ້ນ ຄວາມເປັນໄປໄດ້ຂອງຕົວຢ່າງນີ້ຈະຖືກຄຳນວນດັ່ງນີ້:

2. ຖ້າຫາກວ່າ ແລະ ຫຼັງ​ຈາກ​ນັ້ນ​, ການ​ຄິດ​ໄລ່​ຈະ​ເປັນ​ດັ່ງ​ນີ້​:

3. ຖ້າຫາກວ່າ ແລະ ຫຼັງ​ຈາກ​ນັ້ນ​, ການ​ຄິດ​ໄລ່​ຈະ​ເປັນ​ດັ່ງ​ນີ້​:

4. ຖ້າຫາກວ່າ ແລະ ຫຼັງ​ຈາກ​ນັ້ນ​, ການ​ຄິດ​ໄລ່​ຈະ​ເປັນ​ດັ່ງ​ນີ້​:

ມັນເປັນທີ່ຊັດເຈນວ່າຫນ້າທີ່ຄວາມເປັນໄປໄດ້ຈະຖືກຂະຫຍາຍສູງສຸດໃນກໍລະນີ 1 ແລະ 3 ຫຼືໃນກໍລະນີທົ່ວໄປ - ດ້ວຍຄ່າທີ່ຄາດເດົາຢ່າງຖືກຕ້ອງຂອງຄວາມເປັນໄປໄດ້ຂອງການມອບຫມາຍວັດຖຸໃຫ້ກັບຫ້ອງຮຽນ. .

ເນື່ອງຈາກຄວາມຈິງທີ່ວ່າໃນເວລາທີ່ກໍານົດຄວາມເປັນໄປໄດ້ຂອງການມອບຫມາຍວັດຖຸກັບຫ້ອງຮຽນ ພວກເຮົາພຽງແຕ່ບໍ່ຮູ້ຄ່າສໍາປະສິດ , ຫຼັງຈາກນັ້ນພວກເຮົາຈະຊອກຫາໃຫ້ເຂົາເຈົ້າ. ດັ່ງທີ່ໄດ້ກ່າວມາຂ້າງເທິງ, ນີ້ແມ່ນບັນຫາການເພີ່ມປະສິດທິພາບທີ່ທໍາອິດພວກເຮົາຈໍາເປັນຕ້ອງຊອກຫາຕົວພັນຂອງຫນ້າທີ່ຄວາມເປັນໄປໄດ້ທີ່ກ່ຽວຂ້ອງກັບ vector ຂອງນ້ໍາຫນັກ. . ຢ່າງໃດກໍ່ຕາມ, ທໍາອິດມັນເຮັດໃຫ້ຄວາມຮູ້ສຶກງ່າຍໃນວຽກງານສໍາລັບຕົວເຮົາເອງ: ພວກເຮົາຈະຊອກຫາຕົວກໍາເນີດຂອງ logarithm. ຫນ້າທີ່ຄວາມເປັນໄປໄດ້.

ເປັນຫຍັງຫຼັງຈາກ logarithm, in ຫນ້າທີ່ຜິດພາດ logistic, ພວກເຮົາໄດ້ປ່ຽນປ້າຍຈາກ ສຸດ . ທຸກສິ່ງທຸກຢ່າງແມ່ນງ່າຍດາຍ, ເພາະວ່າໃນບັນຫາຂອງການປະເມີນຄຸນນະພາບຂອງຕົວແບບມັນເປັນປະເພນີທີ່ຈະຫຼຸດຜ່ອນມູນຄ່າຂອງຫນ້າທີ່, ພວກເຮົາຄູນດ້ານຂວາຂອງການສະແດງຜົນໂດຍ. ແລະຕາມຄວາມເຫມາະສົມ, ແທນທີ່ຈະ maximize, ໃນປັດຈຸບັນພວກເຮົາຫຼຸດຜ່ອນການທໍາງານ.

ແທ້ຈິງແລ້ວ, ໃນປັດຈຸບັນ, ກ່ອນທີ່ຈະຕາຂອງເຈົ້າ, ຫນ້າທີ່ສູນເສຍແມ່ນມາຈາກຄວາມອົດທົນ - ການສູນເສຍການຂົນສົ່ງ ສໍາລັບຊຸດຝຶກອົບຮົມທີ່ມີສອງຫ້ອງຮຽນ: и .

ໃນປັດຈຸບັນ, ເພື່ອຊອກຫາຄ່າສໍາປະສິດ, ພວກເຮົາພຽງແຕ່ຕ້ອງການຊອກຫາອະນຸພັນ ຫນ້າທີ່ຜິດພາດ logistic ແລະຫຼັງຈາກນັ້ນ, ການນໍາໃຊ້ວິທີການເພີ່ມປະສິດທິພາບຕົວເລກ, ເຊັ່ນ: ການສືບເຊື້ອສາຍ gradient ຫຼື stochastic descent gradient, ເລືອກຄ່າສໍາປະສິດທີ່ດີທີ່ສຸດ. . ແຕ່, ເນື່ອງຈາກປະລິມານຫຼາຍຂອງບົດຄວາມ, ມັນໄດ້ຖືກສະເຫນີໃຫ້ດໍາເນີນການຄວາມແຕກຕ່າງດ້ວຍຕົວຂອງທ່ານເອງ, ຫຼືບາງທີນີ້ອາດຈະເປັນຫົວຂໍ້ສໍາລັບບົດຄວາມຕໍ່ໄປທີ່ມີເລກເລກຫຼາຍໂດຍບໍ່ມີຕົວຢ່າງລາຍລະອຽດດັ່ງກ່າວ.

ກໍ​ລະ​ນີ 2. ການ​ຈັດ​ປະ​ເພດ​ຂອງ​ວັດ​ຖຸ​ເຂົ້າ​ໄປ​ໃນ​ и

ວິທີການຢູ່ທີ່ນີ້ຈະຄືກັນກັບຫ້ອງຮຽນ и , ແຕ່ເສັ້ນທາງຕົວຂອງມັນເອງໄປສູ່ຜົນຜະລິດຂອງຫນ້າທີ່ສູນເສຍ ການສູນເສຍການຂົນສົ່ງ, ຈະ ornate ຫຼາຍ. ໃຫ້ເລີ່ມຕົ້ນ. ສໍາລັບຫນ້າທີ່ຄວາມເປັນໄປໄດ້ພວກເຮົາຈະໃຊ້ຕົວປະຕິບັດການ "ຖ້າ ... ແລ້ວ ... ". ນັ້ນແມ່ນ, ຖ້າ ວັດຖຸທີເປັນຂອງຫ້ອງຮຽນ , ຫຼັງຈາກນັ້ນເພື່ອຄິດໄລ່ຄວາມເປັນໄປໄດ້ຂອງຕົວຢ່າງທີ່ພວກເຮົາໃຊ້ຄວາມເປັນໄປໄດ້ , ຖ້າວັດຖຸເປັນຂອງຫ້ອງຮຽນ , ຫຼັງຈາກນັ້ນພວກເຮົາທົດແທນເຂົ້າໄປໃນຄວາມເປັນໄປໄດ້ . ນີ້ແມ່ນສິ່ງທີ່ ໜ້າ ທີ່ຄວາມເປັນໄປໄດ້ເບິ່ງຄືວ່າ:

ໃຫ້ພວກເຮົາອະທິບາຍກ່ຽວກັບນິ້ວມືຂອງພວກເຮົາວ່າມັນເຮັດວຽກແນວໃດ. ຂໍ​ໃຫ້​ພິຈາລະນາ 4 ກໍລະນີ:

1. ຖ້າຫາກວ່າ и ຫຼັງຈາກນັ້ນ, ຄວາມເປັນໄປໄດ້ຂອງຕົວຢ່າງຈະ "ໄປ"

2. ຖ້າຫາກວ່າ и ຫຼັງຈາກນັ້ນ, ຄວາມເປັນໄປໄດ້ຂອງຕົວຢ່າງຈະ "ໄປ"

3. ຖ້າຫາກວ່າ и ຫຼັງຈາກນັ້ນ, ຄວາມເປັນໄປໄດ້ຂອງຕົວຢ່າງຈະ "ໄປ"

4. ຖ້າຫາກວ່າ и ຫຼັງຈາກນັ້ນ, ຄວາມເປັນໄປໄດ້ຂອງຕົວຢ່າງຈະ "ໄປ"

ມັນເປັນທີ່ຊັດເຈນວ່າໃນກໍລະນີ 1 ແລະ 3, ເມື່ອຄວາມເປັນໄປໄດ້ຖືກກໍານົດຢ່າງຖືກຕ້ອງໂດຍສູດການຄິດໄລ່, ຫນ້າທີ່ຄວາມເປັນໄປໄດ້ ຈະຖືກຂະຫຍາຍສູງສຸດ, ນັ້ນແມ່ນ, ນີ້ແມ່ນສິ່ງທີ່ພວກເຮົາຕ້ອງການຢາກໄດ້. ຢ່າງໃດກໍຕາມ, ວິທີການນີ້ແມ່ນຂ້ອນຂ້າງຫຍຸ້ງຍາກແລະຕໍ່ໄປພວກເຮົາຈະພິຈາລະນາຫມາຍເຫດທີ່ຫນາແຫນ້ນກວ່າ. ແຕ່ກ່ອນອື່ນ ໆ, ໃຫ້ເຮົາຄິດໄລ່ການທໍາງານຂອງຄວາມເປັນໄປໄດ້ດ້ວຍການປ່ຽນແປງຂອງເຄື່ອງຫມາຍ, ນັບຕັ້ງແຕ່ນີ້ພວກເຮົາຈະຫຼຸດຜ່ອນມັນ.

ໃຫ້ປ່ຽນແທນ ການສະແດງອອກ :

ຂໍຄວາມງ່າຍຂອງຄໍາທີ່ຖືກຕ້ອງພາຍໃຕ້ logarithm ໂດຍໃຊ້ເຕັກນິກເລກຄະນິດສາດແບບງ່າຍດາຍແລະໄດ້ຮັບ:

ໃນປັດຈຸບັນມັນເປັນເວລາທີ່ຈະກໍາຈັດຜູ້ປະຕິບັດງານ "ຖ້າ ... ແລ້ວ ... ". ໃຫ້ສັງເກດວ່າໃນເວລາທີ່ວັດຖຸ ເປັນຂອງຫ້ອງຮຽນ , ຫຼັງຈາກນັ້ນໃນການສະແດງອອກພາຍໃຕ້ logarithm, ໃນຕົວຫານ, ຍົກ​ຂຶ້ນ​ມາ​ເປັນ​ພະ​ລັງ​ງານ​ , ຖ້າວັດຖຸເປັນຂອງຫ້ອງຮຽນ , ຫຼັງຈາກນັ້ນ $e$ ຖືກຍົກຂຶ້ນມາເປັນອໍານາດ . ດັ່ງນັ້ນ, notation ສໍາລັບລະດັບສາມາດງ່າຍດາຍໂດຍການລວມທັງສອງກໍລະນີເຂົ້າໄປໃນຫນຶ່ງ: . ຈາກນັ້ນ ການທໍາງານຄວາມຜິດພາດ logistic ຈະ​ໃຊ້​ຮູບ​ແບບ​:

ອີງ​ຕາມ​ກົດ​ລະ​ບຽບ​ຂອງ logarithm​, ພວກ​ເຮົາ​ໄດ້​ຫັນ​ສ່ວນ​ຫນຶ່ງ​ແລະ​ການ​ອອກ​ເຄື່ອງ​ຫມາຍ "." (ລົບ) ສໍາລັບ logarithm, ພວກເຮົາໄດ້ຮັບ:

ນີ້ແມ່ນຫນ້າທີ່ສູນເສຍ ການສູນເສຍ logistic, ເຊິ່ງຖືກນໍາໃຊ້ໃນຊຸດການຝຶກອົບຮົມກັບວັດຖຸທີ່ຖືກມອບຫມາຍໃຫ້ຫ້ອງຮຽນ: и .

ດີ, ໃນຈຸດນີ້, ຂ້ອຍໄດ້ອອກເດີນທາງແລະພວກເຮົາສະຫຼຸບບົດຄວາມ.

ວຽກງານທີ່ຜ່ານມາຂອງຜູ້ຂຽນແມ່ນ "ການນໍາເອົາສົມຜົນ regression ເສັ້ນເຂົ້າໄປໃນຮູບແບບ matrix"

ອຸປະກອນເສີມ

1. ວັນນະຄະດີ

1) Applied regression analysis / N. Draper, G. Smith - 2nd ed. – M.: ການເງິນ ແລະສະຖິຕິ, 1986 (ແປຈາກພາສາອັງກິດ)

2) ທິດສະດີຄວາມເປັນໄປໄດ້ ແລະສະຖິຕິຄະນິດສາດ / V.E. Gmurman - ສະບັບທີ 9. - ມ.: ໂຮງຮຽນມັດທະຍົມສຶກສາ, 2003

3) ທິດສະດີຄວາມເປັນໄປໄດ້ / N.I. Chernova - Novosibirsk: Novosibirsk State University, 2007

4) ການວິເຄາະທາງທຸລະກິດ: ຈາກຂໍ້ມູນໄປຫາຄວາມຮູ້ / Paklin N. B., Oreshkov V. I. - 2nd ed. — ທີ່ St. Petersburg: Peter, 2013

5) Data Science ວິທະຍາສາດຂໍ້ມູນຈາກ scratch / Joel Gras - St. Petersburg: BHV Petersburg, 2017

6) ສະຖິຕິພາກປະຕິບັດສໍາລັບຜູ້ຊ່ຽວຊານດ້ານວິທະຍາສາດຂໍ້ມູນ / P. Bruce, E. Bruce - St. Petersburg: BHV Petersburg, 2018

2. ການບັນຍາຍ, ຫຼັກສູດ (ວິດີໂອ)

1) ໂດຍເນື້ອແທ້ແລ້ວຂອງວິທີການຄວາມເປັນໄປໄດ້ສູງສຸດ, Boris Demeshev

2) ວິທີການຄວາມເປັນໄປໄດ້ສູງສຸດໃນກໍລະນີຢ່າງຕໍ່ເນື່ອງ, Boris Demeshev

3) ການຖົດຖອຍ logistic. ເປີດຫຼັກສູດ ODS, Yury Kashnitsky

4) Lecture 4, Evgeny Sokolov (ຈາກ 47 ນາທີຂອງວິດີໂອ)

5) ການຖົດຖອຍ logistic, Vyacheslav Vorontsov

3. ແຫຼ່ງອິນເຕີເນັດ

1) ແບບຈໍາລອງການຈັດປະເພດເສັ້ນຊື່ ແລະ ການຖົດຖອຍ

2) ວິທີການເຂົ້າໃຈ Logistic Regression ໄດ້ຢ່າງງ່າຍດາຍ

3) ຟັງຊັນຄວາມຜິດພາດດ້ານການຂົນສົ່ງ

4) ການທົດສອບເອກະລາດແລະສູດ Bernoulli

5) Ballad ຂອງ MMP

6) ວິທີການຄວາມເປັນໄປໄດ້ສູງສຸດ

7) ສູດແລະຄຸນສົມບັດຂອງ logarithms

8) ເປັນຫຍັງເລກ ?

9) ການຈັດປະເພດ Linear

ແຫຼ່ງຂໍ້ມູນ: www.habr.com