ლოგისტიკური რეგრესიის ღეჭვა

ამ სტატიაში ჩვენ გავაანალიზებთ ტრანსფორმაციის თეორიულ გამოთვლებს ხაზოვანი რეგრესიის ფუნქციები в ინვერსიული ლოჯიტის ტრანსფორმაციის ფუნქცია (სხვაგვარად ლოგისტიკური პასუხის ფუნქციას უწოდებენ). შემდეგ, არსენალის გამოყენებით მაქსიმალური ალბათობის მეთოდილოგისტიკური რეგრესიის მოდელის შესაბამისად გამოვიყვანთ დანაკარგის ფუნქციას ლოგისტიკური ზარალიან სხვა სიტყვებით რომ ვთქვათ, ჩვენ განვსაზღვრავთ ფუნქციას, რომლითაც წონის ვექტორის პარამეტრები შეირჩევა ლოგისტიკური რეგრესიის მოდელში. .

სტატიის მონახაზი:

1. გავიმეოროთ ხაზოვანი ურთიერთობა ორ ცვლადს შორის
2. მოდით განვსაზღვროთ ტრანსფორმაციის საჭიროება ხაზოვანი რეგრესიის ფუნქციები в ლოგისტიკური რეაგირების ფუნქცია
3. მოდით განვახორციელოთ ტრანსფორმაციები და გამომავალი ლოგისტიკური რეაგირების ფუნქცია
4. შევეცადოთ გავიგოთ, რატომ არის უმცირესი კვადრატების მეთოდი ცუდი პარამეტრების შერჩევისას ფუნქციები ლოგისტიკური ზარალი
5. Ჩვენ ვიყენებთ მაქსიმალური ალბათობის მეთოდი დადგენისთვის პარამეტრების შერჩევის ფუნქციები :

   5.1. შემთხვევა 1: ფუნქცია ლოგისტიკური ზარალი კლასის აღნიშვნების მქონე ობიექტებისთვის 0 и 1:

   

   5.2. შემთხვევა 2: ფუნქცია ლოგისტიკური ზარალი კლასის აღნიშვნების მქონე ობიექტებისთვის -1 и +1:

   

სტატია სავსეა მარტივი მაგალითებით, რომლებშიც ყველა გამოთვლა ადვილია ზეპირად ან ქაღალდზე; ზოგიერთ შემთხვევაში შეიძლება საჭირო გახდეს კალკულატორი. ასე რომ მოემზადე :)

ეს სტატია, უპირველეს ყოვლისა, განკუთვნილია მონაცემთა მეცნიერებისთვის, რომლებსაც აქვთ საწყისი დონის ცოდნა მანქანური სწავლის საფუძვლებში.

სტატიაში ასევე მოცემულია გრაფიკების და გამოთვლების დახატვის კოდი. ყველა კოდი იწერება ენაზე პითონი 2.7. ნება მომეცით წინასწარ აგიხსნათ გამოყენებული ვერსიის "სიახლის" შესახებ - ეს არის ცნობილი კურსის გავლის ერთ-ერთი პირობა. Yandex თანაბრად ცნობილ ონლაინ განათლების პლატფორმაზე Courseraდა, როგორც შეიძლება ვივარაუდოთ, მასალა მომზადდა ამ კურსის საფუძველზე.

01. სწორი ხაზის დამოკიდებულება

საკმაოდ გონივრულია დავსვათ კითხვა - რა შუაშია წრფივი დამოკიდებულება და ლოგისტიკური რეგრესია?

Ეს მარტივია! ლოგისტიკური რეგრესია არის ერთ-ერთი მოდელი, რომელიც მიეკუთვნება ხაზოვან კლასიფიკატორს. მარტივი სიტყვებით, წრფივი კლასიფიკატორის ამოცანაა სამიზნე მნიშვნელობების პროგნოზირება ცვლადებიდან (რეგრესორებიდან) . ითვლება, რომ მახასიათებლებს შორის დამოკიდებულებაა და სამიზნე მნიშვნელობები ხაზოვანი. აქედან მოდის კლასიფიკატორის სახელწოდება - წრფივი. ძალიან უხეშად რომ ვთქვათ, ლოგისტიკური რეგრესიის მოდელი ემყარება დაშვებას, რომ არსებობს ხაზოვანი კავშირი მახასიათებლებს შორის. და სამიზნე მნიშვნელობები . ეს არის კავშირი.

სტუდიაში არის პირველი მაგალითი და ეს არის, სწორად, შესწავლილი რაოდენობების სწორხაზოვან დამოკიდებულებაზე. სტატიის მომზადების პროცესში მე წავაწყდი მაგალითს, რომელმაც უკვე ბევრი ადამიანი დააყენა ზღვარზე - დენის დამოკიდებულება ძაბვაზე („გამოყენებითი რეგრესიული ანალიზი“, ნ. დრეიპერი, გ. სმიტი). აქაც შევხედავთ.

შესაბამისად ოჰმის კანონი:

სად - მიმდინარე ძალა, - ვოლტაჟი, - წინააღმდეგობა.

თუ არ ვიცოდით ომის კანონი, მაშინ ჩვენ შეგვიძლია ვიპოვოთ დამოკიდებულება ემპირიულად შეცვლით და გაზომვა მხარდაჭერისას დაფიქსირდა. შემდეგ ჩვენ დავინახავთ, რომ დამოკიდებულების გრაფიკი საწყისი იძლევა მეტ-ნაკლებად სწორ ხაზს საწყისის გავლით. ჩვენ ვამბობთ "მეტ-ნაკლებად", რადგან, თუმცა ურთიერთობა რეალურად ზუსტია, ჩვენი გაზომვები შეიძლება შეიცავდეს მცირე შეცდომებს და, შესაბამისად, გრაფიკის წერტილები შეიძლება ზუსტად არ მოხვდეს ხაზზე, მაგრამ მიმოფანტული იყოს მის გარშემო შემთხვევით.

გრაფიკი 1 "დამოკიდებულება" საწყისი »

დიაგრამის ნახაზის კოდი

import matplotlib.pyplot as plt
%matplotlib inline

import numpy as np

import random

R = 13.75

x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
    y_line.append(i/R)
    
y_dot = []
for i in y_line:
    y_dot.append(i+random.uniform(-0.9,0.9))


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Actual results')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

02. წრფივი რეგრესიის განტოლების გარდაქმნის საჭიროება

მოდით შევხედოთ სხვა მაგალითს. წარმოვიდგინოთ, რომ ჩვენ ვმუშაობთ ბანკში და ჩვენი ამოცანაა გარკვეული ფაქტორებიდან გამომდინარე დავადგინოთ მსესხებლის მიერ სესხის დაფარვის ალბათობა. ამოცანის გასამარტივებლად განვიხილავთ მხოლოდ ორ ფაქტორს: მსესხებლის ყოველთვიური ხელფასი და ყოველთვიური სესხის დაფარვის თანხა.

ამოცანა ძალიან პირობითია, მაგრამ ამ მაგალითით შეგვიძლია გავიგოთ, რატომ არ არის საკმარისი მისი გამოყენება ხაზოვანი რეგრესიის ფუნქციებიდა ასევე გაარკვიეთ რა გარდაქმნებია საჭირო ფუნქციით.

დავუბრუნდეთ მაგალითს. გასაგებია, რომ რაც უფრო მაღალია ხელფასი, მით უფრო მეტი მსესხებელი შეძლებს ყოველთვიურად გამოყოს სესხის დასაფარად. ამავდროულად, გარკვეული ხელფასის დიაპაზონისთვის ეს ურთიერთობა საკმაოდ წრფივი იქნება. მაგალითად, ავიღოთ ხელფასის დიაპაზონი 60.000 რუბლიდან 200.000 რუბლამდე და დავუშვათ, რომ მითითებულ სახელფასო დიაპაზონში, ყოველთვიური გადასახადის ზომის დამოკიდებულება ხელფასის ზომაზე წრფივია. ვთქვათ, ხელფასების განსაზღვრულ დიაპაზონში გაირკვა, რომ ხელფასი-გადახდების კოეფიციენტი არ შეიძლება ჩამოვარდეს 3-ზე დაბლა და მსესხებელს მაინც უნდა ჰქონდეს რეზერვში 5.000 რუბლი. და მხოლოდ ამ შემთხვევაში ვივარაუდებთ, რომ მსესხებელი დაფარავს ბანკს სესხს. შემდეგ, ხაზოვანი რეგრესიის განტოლება მიიღებს ფორმას:

სადაც , , , - ხელფასი - მსესხებელი, - სესხის გადახდა -მე მსესხებელი.

ხელფასისა და სესხის გადახდა ფიქსირებული პარამეტრებით განტოლებაში ჩანაცვლება თქვენ შეგიძლიათ გადაწყვიტოთ სესხის გაცემა ან უარის თქმა.

წინ რომ ვუყურებთ, აღვნიშნავთ, რომ მოცემული პარამეტრებით ხაზოვანი რეგრესიის ფუნქცია, გამოიყენება ლოგისტიკური რეაგირების ფუნქციები გამოიმუშავებს დიდ ღირებულებებს, რაც გაართულებს გამოთვლებს სესხის დაფარვის ალბათობის დასადგენად. ამიტომ, შემოთავაზებულია ჩვენი კოეფიციენტების, ვთქვათ, 25.000-ჯერ შემცირება. კოეფიციენტების ეს ტრანსფორმაცია არ შეცვლის გადაწყვეტილებას სესხის გაცემის შესახებ. გავიხსენოთ ეს მომენტი სამომავლოდ, მაგრამ ახლა, რომ კიდევ უფრო ნათელი გახდეს რაზე ვსაუბრობთ, განვიხილოთ სიტუაცია სამ პოტენციურ მსესხებელთან.

ცხრილი 1 „პოტენციური მსესხებლები“

კოდი ცხრილის გენერირებისთვის

import pandas as pd

r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r

data = {'The borrower':np.array(['Vasya', 'Fedya', 'Lesha']), 
        'Salary':np.array([120000,180000,210000]),
       'Payment':np.array([3000,50000,70000])}

df = pd.DataFrame(data)

df['f(w,x)'] = w_0 + df['Salary']*w_1 + df['Payment']*w_2

decision = []
for i in df['f(w,x)']:
    if i > 0:
        dec = 'Approved'
        decision.append(dec)
    else:
        dec = 'Refusal'
        decision.append(dec)
        
df['Decision'] = decision

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision']]

ცხრილის მონაცემების მიხედვით, ვასიას, რომელსაც ხელფასი აქვს 120.000 რუბლს, სურს მიიღოს სესხი, რათა დაფაროს იგი ყოველთვიურად 3.000 რუბლით. ჩვენ დავადგინეთ, რომ სესხის დასამტკიცებლად, ვასიას ხელფასი სამჯერ უნდა აღემატებოდეს გადახდის ოდენობას, ხოლო დარჩენილი უნდა იყოს 5.000 რუბლი. ვასია აკმაყოფილებს ამ მოთხოვნას: . 106.000 რუბლიც კი რჩება. მიუხედავად იმისა, რომ გაანგარიშებისას ჩვენ შევამცირეთ შანსები 25.000-ჯერ შედეგი იგივე იყო - სესხის დამტკიცება შეიძლება. ფედიაც მიიღებს სესხს, მაგრამ ლეშა, მიუხედავად იმისა, რომ ყველაზე მეტს იღებს, მადის შეკავება მოუწევს.

დავხატოთ გრაფიკი ამ შემთხვევისთვის.

დიაგრამა 2 „მსესხებელთა კლასიფიკაცია“

გრაფიკის დახატვის კოდი

salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'], 
         'o', color ='green', markersize = 12, label = 'Decision - Loan approved')
plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'], 
         's', color = 'red', markersize = 12, label = 'Decision - Loan refusal')
plt.xlabel('Salary', size = 16)
plt.ylabel('Payment', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

ასე რომ, ჩვენი სწორი ხაზი, აგებულია ფუნქციის შესაბამისად , განასხვავებს „ცუდ“ მსესხებლებს „კარგი“ მსესხებლებისგან. ხაზის ზემოთ არიან ის მსესხებლები, რომელთა სურვილები არ ემთხვევა მათ შესაძლებლობებს (ლეშა), ხოლო ისინი, ვინც ჩვენი მოდელის პარამეტრების მიხედვით, შეუძლიათ სესხის დაფარვა, ხაზის ქვემოთ არიან (ვასია და ფედია). სხვა სიტყვებით რომ ვთქვათ, შეგვიძლია ვთქვათ: ჩვენი პირდაპირი ხაზი მსესხებლებს ორ კლასად ყოფს. აღვნიშნოთ ისინი შემდეგნაირად: კლასამდე ჩვენ მოვახდენთ იმ მსესხებლების კლასიფიკაციას, რომელთაც დიდი ალბათობით აქვთ სესხის დაფარვა ან ჩვენ ჩავრთავთ იმ მსესხებლებს, რომლებიც დიდი ალბათობით ვერ შეძლებენ სესხის დაფარვას.

მოდით შევაჯამოთ დასკვნები ამ მარტივი მაგალითიდან. ავიღოთ წერტილი და წერტილის კოორდინატების ჩანაცვლება წრფის შესაბამის განტოლებაში განიხილეთ სამი ვარიანტი:

1. თუ წერტილი არის წრფის ქვეშ და მას მივაკუთვნებთ კლასს , შემდეგ ფუნქციის მნიშვნელობა დადებითი იქნება დან . ეს ნიშნავს, რომ შეგვიძლია ვივარაუდოთ, რომ სესხის დაფარვის ალბათობა ფარგლებშია . რაც უფრო დიდია ფუნქციის მნიშვნელობა, მით მეტია ალბათობა.
2. თუ წერტილი არის ხაზის ზემოთ და მას მივანიჭებთ კლასს ან , მაშინ ფუნქციის მნიშვნელობა იქნება უარყოფითი დან . მაშინ ვივარაუდებთ, რომ ვალის დაფარვის ალბათობა ფარგლებშია და რაც უფრო დიდია ფუნქციის აბსოლუტური მნიშვნელობა, მით უფრო მაღალია ჩვენი ნდობა.
3. წერტილი არის სწორ ხაზზე, ორ კლასს შორის საზღვარზე. ამ შემთხვევაში, ფუნქციის მნიშვნელობა თანაბარი იქნება ხოლო სესხის დაფარვის ალბათობა უდრის .

ახლა წარმოვიდგინოთ, რომ ჩვენ გვყავს არა ორი ფაქტორი, არამედ ათობით და არა სამი, არამედ ათასობით მსესხებელი. მაშინ სწორი ხაზის ნაცვლად გვექნება მ-განზომილებიანი სიბრტყე და კოეფიციენტები ჩვენ არ გაგვატანენ, არამედ ყველა წესის მიხედვით და დაგროვილი მონაცემების საფუძველზე, მსესხებლების შესახებ, რომლებსაც აქვთ ან არ აქვთ დაფარული სესხი. და მართლაც, გაითვალისწინეთ, რომ ჩვენ ახლა ვირჩევთ მსესხებლებს უკვე ცნობილი კოეფიციენტების გამოყენებით . სინამდვილეში, ლოგისტიკური რეგრესიის მოდელის ამოცანაა ზუსტად განსაზღვროს პარამეტრები , რომელზეც ზარალის ფუნქციის მნიშვნელობა ლოგისტიკური ზარალი მინიმუმამდე მიისწრაფვის. მაგრამ იმის შესახებ, თუ როგორ გამოითვლება ვექტორი , დაწვრილებით სტატიის მე-5 განყოფილებაში გავიგებთ. ამასობაში ჩვენ ვუბრუნდებით აღთქმულ მიწას - ჩვენს ბანკირს და მის სამ კლიენტს.

ფუნქციის წყალობით ჩვენ ვიცით, ვის შეიძლება მიეცეს სესხი და ვის სჭირდება უარი. მაგრამ დირექტორთან ასეთი ინფორმაციით ვერ წახვალ, რადგან უნდოდათ ჩვენგან მიეღოთ თითოეული მსესხებლის მიერ სესხის დაფარვის ალბათობა. Რა უნდა ვქნა? პასუხი მარტივია - ჩვენ გვჭირდება როგორმე გარდაქმნას ფუნქცია , რომლის მნიშვნელობები დევს დიაპაზონში ფუნქციას, რომლის მნიშვნელობები იქნება დიაპაზონში . და ასეთი ფუნქცია არსებობს, მას ე.წ ლოგისტიკური პასუხის ფუნქცია ან ინვერსიული ლოგიტის ტრანსფორმაცია. Შეხვედრა:

ვნახოთ ეტაპობრივად როგორ მუშაობს ლოგისტიკური რეაგირების ფუნქცია. გაითვალისწინეთ, რომ საპირისპირო მიმართულებით ვივლით, ე.ი. ჩვენ ვივარაუდებთ, რომ ვიცით ალბათობის მნიშვნელობა, რომელიც მდგომარეობს დიაპაზონში დან და შემდეგ ჩვენ ამ მნიშვნელობას "განვხსნით" რიცხვების მთელ დიაპაზონში დან .

03. ვიღებთ ლოგისტიკური პასუხის ფუნქციას

ნაბიჯი 1. გადაიყვანეთ ალბათობის მნიშვნელობები დიაპაზონში

ფუნქციის ტრანსფორმაციის დროს в ლოგისტიკური რეაგირების ფუნქცია ჩვენ მარტო დავტოვებთ ჩვენს საკრედიტო ანალიტიკოსს და სანაცვლოდ ტოტალიზატორის ტურს გავატარებთ. არა, რა თქმა უნდა, ჩვენ არ დავდებთ ფსონებს, ყველაფერი რაც გვაინტერესებს არის გამოთქმის მნიშვნელობა, მაგალითად, შანსი არის 4-დან 1-ის მიმართ. წარუმატებლობა“. ალბათობის თვალსაზრისით, შანსები არის მოვლენის დადგომის ალბათობა გაყოფილი მოვლენის არ მომხდარის ალბათობაზე. მოდით ჩამოვწეროთ მოვლენის მოხდენის შანსის ფორმულა :

სად - მოვლენის დადგომის ალბათობა, - მოვლენის არ მომხდარის ალბათობა

მაგალითად, თუ ალბათობა იმისა, რომ ახალგაზრდა, ძლიერი და მხიარული ცხენი მეტსახელად "ვეტეროკი" რბოლაზე სცემეს მოხუცი და ფაფუკი მოხუცი ქალის სახელად "მატილდას" ტოლია. , მაშინ "ვეტეროკის" წარმატების შანსები იქნება к და პირიქით, შანსების ცოდნით, ალბათობის გამოთვლა არ გაგვიჭირდება :

ამრიგად, ჩვენ ვისწავლეთ ალბათობის "გადათარგმნა" შანსებად, საიდანაც ვიღებთ მნიშვნელობებს დან . მოდით გადავდგათ კიდევ ერთი ნაბიჯი და ვისწავლოთ ალბათობის „თარგმნა“ მთელ რიცხვით წრფეზე დან .

ნაბიჯი 2. გადაიყვანეთ ალბათობის მნიშვნელობები დიაპაზონში

ეს ნაბიჯი ძალიან მარტივია - ავიღოთ შანსების ლოგარითმი ეილერის რიცხვის ფუძემდე და მივიღებთ:

ახლა ჩვენ ვიცით, რომ თუ , შემდეგ გამოთვალეთ მნიშვნელობა ეს იქნება ძალიან მარტივი და, უფრო მეტიც, უნდა იყოს დადებითი: . Ეს მართალია.

ცნობისმოყვარეობის გამო, მოდით შევამოწმოთ რა იქნება თუ , მაშინ ჩვენ ველით, რომ დავინახოთ უარყოფითი მნიშვნელობა . ჩვენ ვამოწმებთ: . Სწორია.

ახლა ჩვენ ვიცით, როგორ გადავიტანოთ ალბათობის მნიშვნელობა დან დან მთელი რიცხვითი ხაზის გასწვრივ დან . შემდეგ ეტაპზე ჩვენ პირიქით გავაკეთებთ.

ახლა ჩვენ აღვნიშნავთ, რომ ლოგარითმის წესების შესაბამისად, ფუნქციის მნიშვნელობის ცოდნა , შეგიძლიათ გამოთვალოთ შანსები:

შანსების განსაზღვრის ეს მეთოდი გამოგვადგება შემდეგ ეტაპზე.

ნაბიჯი 3. მოდით გამოვიტანოთ ფორმულა განსაზღვრისთვის

ასე ვისწავლეთ, ვიცოდით იპოვეთ ფუნქციის მნიშვნელობები . თუმცა, ფაქტობრივად, ზუსტად საპირისპირო გვჭირდება - ღირებულების ცოდნა იპოვონ . ამისათვის მოდით მივმართოთ ისეთ კონცეფციას, როგორიცაა შებრუნებული შანსების ფუნქცია, რომლის მიხედვითაც:

სტატიაში ჩვენ არ გამოვიყვანთ ზემოთ მოცემულ ფორმულას, მაგრამ ჩვენ შევამოწმებთ მას ზემოთ მოცემული მაგალითის რიცხვების გამოყენებით. ჩვენ ვიცით, რომ 4-დან 1-ის შანსებით (), მოვლენის დადგომის ალბათობაა 0.8 (). მოდით გავაკეთოთ ჩანაცვლება: . ეს ემთხვევა ჩვენს ადრე ჩატარებულ გამოთვლებს. მოდით გადავიდეთ.

ბოლო ეტაპზე ჩვენ დავასკვნათ, რომ , რაც ნიშნავს, რომ შეგიძლიათ შეცვალოთ შებრუნებული შანსების ფუნქცია. ჩვენ ვიღებთ:

გაყავით მრიცხველიც და მნიშვნელიც , შემდეგ:

ყოველ შემთხვევაში, იმისთვის, რომ დავრწმუნდეთ, რომ არსად შეცდომა არ დაგვიშვია, კიდევ ერთ მცირე შემოწმებას გავაკეთებთ. ნაბიჯი 2, ჩვენ ამისთვის დაადგინა რომ . შემდეგ, შეცვალეთ მნიშვნელობა ლოგისტიკური რეაგირების ფუნქციაში, ჩვენ მოველით, რომ მივიღებთ . ჩვენ ვცვლით და ვიღებთ:

გილოცავთ, ძვირფასო მკითხველო, ჩვენ ახლახან მივიღეთ და გამოვცადეთ ლოგისტიკური რეაგირების ფუნქცია. მოდით შევხედოთ ფუნქციის გრაფიკს.

გრაფიკი 3 „ლოგისტიკური რეაგირების ფუნქცია“

გრაფიკის დახატვის კოდი

import math

def logit (f):
    return 1/(1+math.exp(-f))

f = np.arange(-7,7,0.05)
p = []

for i in f:
    p.append(logit(i))

fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

ლიტერატურაში ასევე შეგიძლიათ იპოვოთ ამ ფუნქციის სახელი როგორც სიგმოიდური ფუნქცია. გრაფიკი ნათლად აჩვენებს, რომ კლასს მიკუთვნებული ობიექტის ალბათობის ძირითადი ცვლილება ხდება შედარებით მცირე დიაპაზონში. , სადღაც დან .

მე ვთავაზობ ჩვენს საკრედიტო ანალიტიკოსს დაუბრუნდეთ და დავეხმაროთ მას სესხის დაფარვის ალბათობის გამოთვლაში, წინააღმდეგ შემთხვევაში ის რისკავს ბონუსის გარეშე დარჩენას :)

ცხრილი 2 „პოტენციური მსესხებლები“

კოდი ცხრილის გენერირებისთვის

proba = []
for i in df['f(w,x)']:
    proba.append(round(logit(i),2))
    
df['Probability'] = proba

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision', 'Probability']]

ასე რომ, ჩვენ განვსაზღვრეთ სესხის დაფარვის ალბათობა. ზოგადად, როგორც ჩანს, ეს მართალია.

მართლაც, ალბათობა იმისა, რომ ვასია, 120.000 რუბლის ხელფასით, შეძლებს ბანკს ყოველთვიურად 3.000 რუბლის მიცემას, 100%-ს უახლოვდება. სხვათა შორის, უნდა გვესმოდეს, რომ ბანკს შეუძლია სესხი გასცეს ლეშას, თუ ბანკის პოლიტიკა ითვალისწინებს, მაგალითად, კლიენტებისთვის სესხის გაცემას, ვთქვათ, 0.3-ზე მეტი სესხის დაფარვის ალბათობით. უბრალოდ, ამ შემთხვევაში ბანკი შექმნის უფრო დიდ რეზერვს შესაძლო დანაკარგებისთვის.

აქვე უნდა აღინიშნოს, რომ ხელფასის თანაფარდობა მინიმუმ 3 და 5.000 რუბლის ზღვარით აიღეს ჭერიდან. მაშასადამე, წონათა ვექტორს თავდაპირველი სახით ვერ გამოვიყენებდით . დაგვჭირდა კოეფიციენტების ძლიერ შემცირება და ამ შემთხვევაში თითოეული კოეფიციენტი გავყავით 25.000-ზე, ანუ არსებითად მოვახერხეთ შედეგი. მაგრამ ეს გაკეთდა სპეციალურად საწყის ეტაპზე მასალის გაგების გასამარტივებლად. ცხოვრებაში არ დაგვჭირდება კოეფიციენტების გამოგონება და კორექტირება, არამედ მათი პოვნა. სტატიის შემდეგ ნაწილებში გამოვიყვანთ განტოლებებს, რომლებითაც შეირჩევა პარამეტრები .

04. უმცირესი კვადრატების მეთოდი წონათა ვექტორის განსაზღვრისათვის ლოგისტიკური რეაგირების ფუნქციაში

ჩვენ უკვე ვიცით წონების ვექტორის არჩევის ეს მეთოდი როგორც მინიმალური კვადრატების მეთოდი (LSM) და სინამდვილეში, რატომ არ გამოვიყენებთ მას ბინარული კლასიფიკაციის პრობლემებში? მართლაც, არაფერი გიშლით ხელს გამოყენებაში MNC, მხოლოდ ეს მეთოდი კლასიფიკაციის პრობლემებში იძლევა შედეგებს, რომლებიც ნაკლებად ზუსტია ვიდრე ლოგისტიკური ზარალი. ამის თეორიული საფუძველი არსებობს. ჯერ ერთი მარტივი მაგალითი გადავხედოთ.

დავუშვათ, რომ ჩვენი მოდელები (გამოყენებით MSE и ლოგისტიკური ზარალი) უკვე დაიწყეს წონების ვექტორის შერჩევა და ჩვენ შევაჩერეთ გაანგარიშება რაღაც ეტაპზე. არ აქვს მნიშვნელობა შუაში, ბოლოს თუ დასაწყისში, მთავარია უკვე გვაქვს წონების ვექტორის გარკვეული მნიშვნელობები და დავუშვათ, რომ ამ საფეხურზე წონების ვექტორი ორივე მოდელისთვის განსხვავება არ არის. შემდეგ აიღეთ მიღებული წონა და შეცვალეთ ისინი ლოგისტიკური რეაგირების ფუნქცია () ზოგიერთი ობიექტისთვის, რომელიც ეკუთვნის კლასს . ჩვენ განვიხილავთ ორ შემთხვევას, როდესაც წონების შერჩეული ვექტორის შესაბამისად, ჩვენი მოდელი ძალიან ცდება და პირიქით - მოდელი ძალიან დარწმუნებულია, რომ ობიექტი ეკუთვნის კლასს. . ვნახოთ რა ჯარიმები დაწესდება გამოყენებისას MNC и ლოგისტიკური ზარალი.

კოდი ჯარიმების გამოსათვლელად გამოყენებული დანაკარგის ფუნქციის მიხედვით

# класс объекта
y = 1
# вероятность отнесения объекта к классу в соответствии с параметрами w
proba_1 = 0.01

MSE_1 = (y - proba_1)**2
print 'Штраф MSE при грубой ошибке =', MSE_1

# напишем функцию для вычисления f(w,x) при известной вероятности отнесения объекта к классу +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
    return math.log(proba/(1-proba)) 

LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'Штраф Log Loss при грубой ошибке =', LogLoss_1

proba_2 = 0.99

MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))

print '**************************************************************'
print 'Штраф MSE при сильной уверенности =', MSE_2
print 'Штраф Log Loss при сильной уверенности =', LogLoss_2

შეცდომის შემთხვევა — მოდელი ანიჭებს ობიექტს კლასს 0,01 ალბათობით

ჯარიმა გამოყენებაზე MNC იქნება:

ჯარიმა გამოყენებაზე ლოგისტიკური ზარალი იქნება:

ძლიერი ნდობის შემთხვევა — მოდელი ანიჭებს ობიექტს კლასს 0,99 ალბათობით

ჯარიმა გამოყენებაზე MNC იქნება:

ჯარიმა გამოყენებაზე ლოგისტიკური ზარალი იქნება:

ეს მაგალითი კარგად ასახავს, ​​რომ უხეში შეცდომის შემთხვევაში ზარალის ფუნქცია ჟურნალის დაკარგვა აჯარიმებს მოდელს მნიშვნელოვნად მეტი MSE. მოდით ახლა გავიგოთ, რა თეორიული საფუძველია დანაკარგის ფუნქციის გამოყენება ჟურნალის დაკარგვა კლასიფიკაციის პრობლემებში.

05. მაქსიმალური ალბათობის მეთოდი და ლოგისტიკური რეგრესია

როგორც დასაწყისში დაგპირდით, სტატია სავსეა მარტივი მაგალითებით. სტუდიაში არის კიდევ ერთი მაგალითი და ძველი სტუმრები - ბანკის მსესხებლები: ვასია, ფედია და ლეშა.

ყოველი შემთხვევისთვის, მაგალითის შემუშავებამდე, შეგახსენებთ, რომ ცხოვრებაში საქმე გვაქვს ათასობით ან მილიონობით ობიექტის სასწავლო ნიმუშთან ათობით ან ასობით მახასიათებლით. თუმცა, აქ ნომრები ისეა აღებული, რომ ადვილად მოერგოს დამწყები მონაცემთა მეცნიერის თავში.

დავუბრუნდეთ მაგალითს. წარმოვიდგინოთ, რომ ბანკის დირექტორმა გადაწყვიტა სესხის გაცემა ყველა გაჭირვებულზე, მიუხედავად იმისა, რომ ალგორითმმა უთხრა, არ გასცემდა ლეშას. ახლა კი საკმაო დრო გავიდა და ვიცით, სამი გმირიდან რომელმა დაფარა სესხი და რომელმა არა. რა იყო მოსალოდნელი: ვასიამ და ფედიამ სესხი დაფარეს, მაგრამ ლეშამ არა. ახლა წარმოვიდგინოთ, რომ ეს შედეგი ჩვენთვის ტრენინგის ახალი ნიმუში იქნება და, ამავდროულად, თითქოს გაქრა ყველა მონაცემი სესხის დაფარვის ალბათობაზე მოქმედ ფაქტორებზე (მსესხებლის ხელფასი, ყოველთვიური გადასახადის ზომა). მაშინ, ინტუიციურად შეგვიძლია ვივარაუდოთ, რომ ყოველი მესამე მსესხებელი არ უხდის ბანკს სესხს, ან სხვა სიტყვებით რომ ვთქვათ, მომდევნო მსესხებლის მიერ სესხის დაფარვის ალბათობა. . ამ ინტუიციურ ვარაუდს აქვს თეორიული დადასტურება და ეფუძნება მაქსიმალური ალბათობის მეთოდი, ხშირად ლიტერატურაში ე.წ მაქსიმალური ალბათობის პრინციპი.

ჯერ კონცეპტუალურ აპარატს გავეცნოთ.

შერჩევის ალბათობა არის ზუსტად ასეთი ნიმუშის მოპოვების, ზუსტად ასეთი დაკვირვებების/შედეგების მიღების ალბათობა, ე.ი. თითოეული ნიმუშის შედეგის მიღების ალბათობის პროდუქტი (მაგალითად, ვასიას, ფედიას და ლეშას სესხი დაფარეს თუ არა ერთდროულად).

ალბათობის ფუნქცია აკავშირებს ნიმუშის ალბათობას განაწილების პარამეტრების მნიშვნელობებთან.

ჩვენს შემთხვევაში, სასწავლო ნიმუში არის განზოგადებული ბერნულის სქემა, რომელშიც შემთხვევითი ცვლადი იღებს მხოლოდ ორ მნიშვნელობას: ან . მაშასადამე, ნიმუშის ალბათობა შეიძლება ჩაიწეროს პარამეტრის ალბათობის ფუნქციად შემდეგნაირად:

ზემოაღნიშნული ჩანაწერი შეიძლება განიმარტოს შემდეგნაირად. ერთობლივი ალბათობა იმისა, რომ ვასია და ფედია დაფარონ სესხი უდრის , ალბათობა იმისა, რომ ლეშა არ დაფარავს სესხს უდრის (რადგან ეს არ იყო სესხის დაფარვა), ამიტომ სამივე მოვლენის ერთობლივი ალბათობა ტოლია .

მაქსიმალური ალბათობის მეთოდი არის უცნობი პარამეტრის მაქსიმიზაციის მეთოდის შეფასების მეთოდი ალბათობის ფუნქციები. ჩვენს შემთხვევაში, ჩვენ უნდა ვიპოვოთ ასეთი მნიშვნელობა რომელზეც აღწევს მაქსიმუმს.

საიდან მოდის რეალური იდეა - მოძებნოთ უცნობი პარამეტრის მნიშვნელობა, რომლის დროსაც ალბათობის ფუნქცია მაქსიმუმს აღწევს? იდეის წარმოშობა მომდინარეობს იმ იდეიდან, რომ ნიმუში არის ჩვენთვის ხელმისაწვდომი ცოდნის ერთადერთი წყარო მოსახლეობის შესახებ. ყველაფერი რაც ვიცით პოპულაციის შესახებ წარმოდგენილია ნიმუშში. აქედან გამომდინარე, მხოლოდ ის შეგვიძლია ვთქვათ, რომ ნიმუში ჩვენთვის ხელმისაწვდომი პოპულაციის ყველაზე ზუსტი ასახვაა. ამიტომ, ჩვენ უნდა ვიპოვოთ პარამეტრი, რომლის დროსაც ხელმისაწვდომი ნიმუში გახდება ყველაზე სავარაუდო.

ცხადია, საქმე გვაქვს ოპტიმიზაციის პრობლემასთან, რომელშიც უნდა ვიპოვოთ ფუნქციის უკიდურესი წერტილი. ექსტრემალური წერტილის საპოვნელად აუცილებელია პირველი რიგის პირობის გათვალისწინება, ანუ ფუნქციის წარმოებული გავაიგივოთ ნულამდე და ამოხსნათ განტოლება სასურველ პარამეტრთან მიმართებაში. თუმცა, დიდი რაოდენობით ფაქტორების პროდუქტის წარმოებულის ძიება შეიძლება იყოს ხანგრძლივი ამოცანა; ამის თავიდან ასაცილებლად, არსებობს სპეციალური ტექნიკა - გადართვა ლოგარითმზე. ალბათობის ფუნქციები. რატომ არის შესაძლებელი ასეთი გადასვლა? მოდით ყურადღება მივაქციოთ იმ ფაქტს, რომ ჩვენ არ ვეძებთ თავად ფუნქციის ექსტრემამსდა უკიდურესი წერტილი, ანუ უცნობი პარამეტრის მნიშვნელობა რომელზეც აღწევს მაქსიმუმს. ლოგარითმზე გადასვლისას, ექსტრემალური წერტილი არ იცვლება (თუმცა თავად ექსტრემი განსხვავდება), რადგან ლოგარითმი მონოტონური ფუნქციაა.

მოდით, ზემოაღნიშნულის შესაბამისად, გავაგრძელოთ ჩვენი მაგალითის განვითარება ვასიას, ფედიას და ლეშას სესხებით. ჯერ გადავიდეთ ალბათობის ფუნქციის ლოგარითმი:

ახლა ჩვენ შეგვიძლია მარტივად განვასხვავოთ გამონათქვამი :

და ბოლოს, განვიხილოთ პირველი რიგის პირობა - ჩვენ ვატოლებთ ფუნქციის წარმოებულს ნულთან:

ამრიგად, სესხის დაფარვის ალბათობის ჩვენი ინტუიციური შეფასება თეორიულად გამართლებული იყო.

კარგია, მაგრამ რა უნდა გავაკეთოთ ახლა ამ ინფორმაციასთან? თუ დავუშვებთ, რომ ყოველი მესამე მსესხებელი არ დააბრუნებს ფულს ბანკში, მაშინ ეს უკანასკნელი აუცილებლად გაკოტრდება. ეს ასეა, მაგრამ მხოლოდ მაშინ, როდესაც აფასებთ სესხის დაფარვის ალბათობას ჩვენ არ გავითვალისწინეთ სესხის დაფარვაზე მოქმედი ფაქტორები: მსესხებლის ხელფასი და ყოველთვიური გადასახადის ზომა. შეგახსენებთ, რომ ჩვენ ადრე გამოვთვალეთ თითოეული კლიენტის მიერ სესხის დაფარვის ალბათობა იმავე ფაქტორების გათვალისწინებით. ლოგიკურია, რომ ჩვენ მივიღეთ მუდმივი ტოლისგან განსხვავებული ალბათობები .

მოდით განვსაზღვროთ ნიმუშების ალბათობა:

ნიმუშის ალბათობის გამოსათვლელი კოდი

from functools import reduce

def likelihood(y,p):
    line_true_proba = []
    for i in range(len(y)):
        ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
        line_true_proba.append(ltp_i)
    likelihood = []
    return reduce(lambda a, b: a*b, line_true_proba)
        
    
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]


print 'Правдоподобие выборки при константном значении p=2/3:', round(likelihood(y,p_const),3)

print '****************************************************************************************************'

print 'Правдоподобие выборки при расчетном значении p:', round(likelihood(y,p_log_response),3)

ნიმუშის ალბათობა მუდმივ მნიშვნელობაზე :

შერჩევის ალბათობა სესხის დაფარვის ალბათობის გაანგარიშებისას ფაქტორების გათვალისწინებით :

ფაქტორების მიხედვით გამოთვლილი ალბათობით ნიმუშის ალბათობა უფრო მაღალი აღმოჩნდა, ვიდრე მუდმივი ალბათობის მნიშვნელობის ალბათობა. Რას ნიშნავს ეს? ეს იმაზე მეტყველებს, რომ ფაქტორების შესახებ ცოდნამ შესაძლებელი გახადა თითოეული კლიენტისთვის სესხის დაფარვის ალბათობის უფრო ზუსტად შერჩევა. ამიტომ, შემდეგი სესხის გაცემისას უფრო სწორი იქნება ვალის დაფარვის ალბათობის შესაფასებლად სტატიის მე-3 ნაწილის ბოლოს შემოთავაზებული მოდელის გამოყენება.

მაგრამ მაშინ, თუ ჩვენ გვინდა მაქსიმუმი ნიმუში ალბათობის ფუნქცია, მაშინ რატომ არ გამოვიყენოთ რაიმე ალგორითმი, რომელიც გამოიმუშავებს ალბათობას ვასიასთვის, ფედიას და ლეშასთვის, მაგალითად, ტოლი 0.99, 0.99 და 0.01 შესაბამისად. შესაძლოა, ასეთი ალგორითმი კარგად იმოქმედებს სავარჯიშო ნიმუშზე, რადგან ის დააახლოებს ნიმუშის ალბათობის მნიშვნელობას , მაგრამ, ჯერ ერთი, ასეთ ალგორითმს დიდი ალბათობით ექნება სირთულეები განზოგადების უნართან და მეორეც, ეს ალგორითმი ნამდვილად არ იქნება წრფივი. და თუ ზედმეტ ვარჯიშთან ბრძოლის მეთოდები (ასევე სუსტი განზოგადების უნარი) აშკარად არ არის შეტანილი ამ სტატიის გეგმაში, მაშინ მოდით უფრო დეტალურად განვიხილოთ მეორე პუნქტი. ამისათვის უბრალოდ უპასუხეთ მარტივ კითხვას. შეიძლება თუ არა ვასიასა და ფედიას სესხის დაფარვის ალბათობა ერთნაირი იყოს ჩვენთვის ცნობილი ფაქტორების გათვალისწინებით? ჯანსაღი ლოგიკის თვალსაზრისით, რა თქმა უნდა არა, არ შეიძლება. ასე რომ, ვასია სესხის დასაფარად თვეში გადაიხდის ხელფასის 2.5%-ს, ხოლო ფედია - თითქმის 27,8%. ასევე მე-2 გრაფიკში „კლიენტის კლასიფიკაცია“ ჩვენ ვხედავთ, რომ ვასია გაცილებით შორს არის კლასების გამიჯნული ხაზისგან, ვიდრე Fedya. და ბოლოს, ჩვენ ვიცით, რომ ფუნქცია ვასიასთვის და ფედიისთვის სხვადასხვა მნიშვნელობებს იღებს: 4.24 ვასიასთვის და 1.0 ფედიისთვის. ახლა, თუ ფედიამ, მაგალითად, მოიპოვა უფრო დიდი ბრძანება ან მოითხოვა უფრო მცირე სესხი, მაშინ ვასიასა და ფედიას სესხის დაფარვის ალბათობა მსგავსი იქნება. სხვა სიტყვებით რომ ვთქვათ, ხაზოვანი დამოკიდებულების მოტყუება შეუძლებელია. და თუ ჩვენ რეალურად გამოვთვალეთ შანსები , და არ ამოვიყვანეთ ისინი ჰაერიდან, შეგვიძლია თამამად ვთქვათ, რომ ჩვენი ღირებულებებია საუკეთესოდ გვაძლევს საშუალებას გამოვთვალოთ თითოეული მსესხებლის მიერ სესხის დაფარვის ალბათობა, მაგრამ რადგან შევთანხმდით ვივარაუდოთ, რომ კოეფიციენტების განსაზღვრა ჩატარდა ყველა წესის მიხედვით, მაშინ ჩვენ ასე ვივარაუდებთ - ჩვენი კოეფიციენტები საშუალებას გვაძლევს, რომ უკეთესი შეფასება მივცეთ ალბათობას :)

თუმცა, ჩვენ განვიცდით. ამ განყოფილებაში უნდა გავიგოთ, როგორ განისაზღვრება წონების ვექტორი , რაც აუცილებელია თითოეული მსესხებლის მიერ სესხის დაფარვის ალბათობის შესაფასებლად.

მოდით მოკლედ შევაჯამოთ რა არსენალით ვეძებთ შანსებს :

1. ჩვენ ვვარაუდობთ, რომ კავშირი სამიზნე ცვლადს (პროგნოზირების მნიშვნელობა) და შედეგზე მოქმედ ფაქტორს შორის არის წრფივი. ამ მიზეზით იგი გამოიყენება ხაზოვანი რეგრესიის ფუნქცია სახეობების , რომლის ხაზი ყოფს ობიექტებს (კლიენტებს) კლასებად и ან (კლიენტები, რომლებსაც შეუძლიათ სესხის დაფარვა და ვისაც არ შეუძლიათ). ჩვენს შემთხვევაში, განტოლებას აქვს ფორმა .

2. ჩვენ ვიყენებთ ინვერსიული ლოჯიტის ფუნქცია სახეობების კლასს მიეკუთვნება ობიექტის ალბათობის დასადგენად .

3. ჩვენ განვიხილავთ ჩვენს ტრენინგ კომპლექტს განზოგადებულის განხორციელებად ბერნულის სქემები, ანუ თითოეული ობიექტისთვის წარმოიქმნება შემთხვევითი ცვლადი, რომელიც ალბათობით (თავისი თითოეული ობიექტისთვის) იღებს მნიშვნელობას 1 და ალბათობით - 0.

4. ჩვენ ვიცით, რისი მიღწევა გვჭირდება ნიმუში ალბათობის ფუნქცია მიღებული ფაქტორების გათვალისწინებით, რათა ხელმისაწვდომი ნიმუში გახდეს ყველაზე დამაჯერებელი. სხვა სიტყვებით რომ ვთქვათ, ჩვენ უნდა ავირჩიოთ პარამეტრები, რომლებზეც ნიმუში იქნება ყველაზე დამაჯერებელი. ჩვენს შემთხვევაში არჩეული პარამეტრია სესხის დაფარვის ალბათობა , რაც თავის მხრივ დამოკიდებულია უცნობ კოეფიციენტებზე . ამიტომ ჩვენ უნდა ვიპოვოთ წონების ასეთი ვექტორი , რომლის დროსაც ნიმუშის ალბათობა მაქსიმალური იქნება.

5. ჩვენ ვიცით, რა უნდა გამოვიყენოთ მაქსიმალურად ალბათობის ფუნქციების ნიმუში შეგიძლიათ გამოიყენოთ მაქსიმალური ალბათობის მეთოდი. ჩვენ ვიცით ყველა სახიფათო ხრიკი ამ მეთოდით მუშაობისთვის.

აი ასე გამოდის მრავალსაფეხურიანი ნაბიჯი :)

ახლა დაიმახსოვრეთ, რომ სტატიის დასაწყისშივე გვინდოდა გამოგვეყვანა ზარალის ფუნქციის ორი ტიპი ლოგისტიკური ზარალი იმისდა მიხედვით, თუ როგორ არის მითითებული ობიექტების კლასები. მოხდა ისე, რომ კლასიფიკაციის პრობლემებში ორ კლასში, კლასები აღინიშნება როგორც и ან . ნოტაციიდან გამომდინარე, გამომავალს ექნება შესაბამისი დაკარგვის ფუნქცია.

შემთხვევა 1. ობიექტების კლასიფიკაცია и

ადრე, ნიმუშის ალბათობის დადგენისას, რომელშიც მსესხებლის მიერ ვალის დაფარვის ალბათობა გამოითვლებოდა ფაქტორებისა და მოცემული კოეფიციენტების საფუძველზე. ჩვენ გამოვიყენეთ ფორმულა:

სინამდვილეში არის მნიშვნელობა ლოგისტიკური რეაგირების ფუნქციები წონების მოცემული ვექტორისთვის

მაშინ არაფერი გვიშლის ხელს, დავწეროთ ნიმუში ალბათობის ფუნქცია შემდეგნაირად:

ეს ხდება, რომ ზოგჯერ ზოგიერთ ახალბედა ანალიტიკოსს უჭირს დაუყოვნებლივ გაიგოს, თუ როგორ მუშაობს ეს ფუნქცია. მოდით შევხედოთ 4 მოკლე მაგალითს, რომლებიც გარკვევას გამოიწვევს:

1. თუ (ანუ სასწავლო ნიმუშის მიხედვით ობიექტი მიეკუთვნება +1 კლასს) და ჩვენი ალგორითმი განსაზღვრავს ობიექტის კლასიფიკაციის ალბათობას უდრის 0.9-ს, მაშინ ნიმუშის ალბათობის ეს ნაწილი გამოითვლება შემდეგნაირად:

2. თუ ხოლო , მაშინ გაანგარიშება იქნება ასეთი:

3. თუ ხოლო , მაშინ გაანგარიშება იქნება ასეთი:

4. თუ ხოლო , მაშინ გაანგარიშება იქნება ასეთი:

აშკარაა, რომ ალბათობის ფუნქცია მაქსიმუმირებული იქნება 1 და 3 შემთხვევებში ან ზოგად შემთხვევაში - კლასში ობიექტის მინიჭების ალბათობის სწორად გამოცნობილი მნიშვნელობებით. .

იმის გამო, რომ ობიექტის კლასზე მინიჭების ალბათობის დადგენისას ჩვენ მხოლოდ კოეფიციენტები არ ვიცით , შემდეგ ჩვენ ვეძებთ მათ. როგორც ზემოთ აღინიშნა, ეს არის ოპტიმიზაციის პრობლემა, რომელშიც ჯერ უნდა ვიპოვოთ ალბათობის ფუნქციის წარმოებული წონების ვექტორთან მიმართებაში. . თუმცა, პირველ რიგში, აზრი აქვს საკუთარი თავისთვის დავალების გამარტივებას: ჩვენ ვეძებთ ლოგარითმის წარმოებულს ალბათობის ფუნქციები.

რატომ ლოგარითმის შემდეგ, in ლოგისტიკური შეცდომის ფუნქციები, ჩვენ შევცვალეთ ნიშანი on . ყველაფერი მარტივია, რადგან მოდელის ხარისხის შეფასების პრობლემებში, ჩვეულებრივ, ფუნქციის მნიშვნელობის მინიმუმამდე შემცირება, ჩვენ გავამრავლეთ გამოხატვის მარჯვენა მხარე. და შესაბამისად, მაქსიმიზაციის ნაცვლად, ახლა ვამცირებთ ფუნქციას.

სინამდვილეში, ახლა, თქვენს თვალწინ, დაკარგვის ფუნქცია მტკივნეულად იქნა მიღებული - ლოგისტიკური ზარალი სავარჯიშო კომპლექტისთვის ორი კლასით: и .

ახლა, კოეფიციენტების საპოვნელად, უბრალოდ უნდა ვიპოვოთ წარმოებული ლოგისტიკური შეცდომის ფუნქციები და შემდეგ, რიცხვითი ოპტიმიზაციის მეთოდების გამოყენებით, როგორიცაა გრადიენტური დაღმართი ან სტოქასტური გრადიენტული დაღმართი, შეარჩიეთ ყველაზე ოპტიმალური კოეფიციენტები . მაგრამ, სტატიის მნიშვნელოვანი მოცულობის გათვალისწინებით, შემოთავაზებულია დიფერენცირება დამოუკიდებლად განახორციელოთ, ან შესაძლოა ეს იქნება შემდეგი სტატიის თემა ბევრი არითმეტიკით ასეთი დეტალური მაგალითების გარეშე.

შემთხვევა 2. ობიექტების კლასიფიკაცია и

აქ მიდგომა იგივე იქნება, რაც კლასებში и , მაგრამ თავად გზა დაკარგვის ფუნქციის გამოსავალამდე ლოგისტიკური ზარალი, უფრო მორთული იქნება. Დავიწყოთ. ალბათობის ფუნქციისთვის ჩვენ გამოვიყენებთ ოპერატორს "თუ... მაშინ..."... ანუ თუ th ობიექტი ეკუთვნის კლასს , შემდეგ ნიმუშის ალბათობის გამოსათვლელად ვიყენებთ ალბათობას , თუ ობიექტი ეკუთვნის კლასს , შემდეგ ჩვენ ვცვლით ალბათობას . ასე გამოიყურება ალბათობის ფუნქცია:

მოდით აღვწეროთ ჩვენს თითებზე როგორ მუშაობს. განვიხილოთ 4 შემთხვევა:

1. თუ и , მაშინ შერჩევის ალბათობა "წავა"

2. თუ и , მაშინ შერჩევის ალბათობა "წავა"

3. თუ и , მაშინ შერჩევის ალბათობა "წავა"

4. თუ и , მაშინ შერჩევის ალბათობა "წავა"

აშკარაა, რომ 1 და 3 შემთხვევებში, როდესაც ალგორითმი სწორად იყო განსაზღვრული, ალბათობის ფუნქცია იქნება მაქსიმალური, ანუ ეს არის ზუსტად ის, რისი მიღებაც გვინდოდა. თუმცა, ეს მიდგომა საკმაოდ რთულია და შემდეგ განვიხილავთ უფრო კომპაქტურ აღნიშვნას. ოღონდ ჯერ მოდით, ლოგარითმით შევაფასოთ ალბათობის ფუნქცია ნიშნის ცვლილებით, რადგან ახლა ჩვენ მას მინიმუმამდე დავაყენებთ.

მოდი ჩავანაცვლოთ გამოხატვა :

მოდით გავამარტივოთ სწორი ტერმინი ლოგარითმის ქვეშ მარტივი არითმეტიკული ტექნიკის გამოყენებით და მივიღოთ:

ახლა დროა თავი დავაღწიოთ ოპერატორს "თუ... მაშინ...". გაითვალისწინეთ, რომ როდესაც ობიექტი ეკუთვნის კლასს , შემდეგ გამოხატვაში ლოგარითმის ქვეშ, მნიშვნელში, ძალაუფლებაზე აყვანილი , თუ ობიექტი ეკუთვნის კლასს , მაშინ $e$ გაიზრდება ძალაზე . ამრიგად, ხარისხის აღნიშვნა შეიძლება გამარტივდეს ორივე შემთხვევის ერთში გაერთიანებით: . შემდეგ ლოგისტიკური შეცდომის ფუნქცია მიიღებს ფორმას:

ლოგარითმის წესების შესაბამისად, წილადს ვაბრუნებთ და ვსვამთ ნიშანს." (მინუს) ლოგარითმისთვის, ვიღებთ:

აქ არის დაკარგვის ფუნქცია ლოგისტიკური დანაკარგი, რომელიც გამოიყენება სასწავლო კომპლექტში კლასებისთვის მინიჭებული ობიექტებით: и .

კარგი, ამ ეტაპზე მე ვიღებ შვებულებას და ვასრულებთ სტატიას.

ავტორის წინა ნამუშევარია "წრფივი რეგრესიის განტოლების მატრიცულ ფორმაში მოყვანა"

დამხმარე მასალები

1. ლიტერატურა

1) გამოყენებითი რეგრესიული ანალიზი / N. Draper, G. Smith - 2nd ed. – M.: ფინანსები და სტატისტიკა, 1986 (თარგმანი ინგლისურიდან)

2) ალბათობის თეორია და მათემატიკური სტატისტიკა / ვ.ე. გმურმანი - მე-9 გამოცემა. - მ.: უმაღლესი სკოლა, 2003 წ

3) ალბათობის თეორია / ნ.ი. ჩერნოვა - ნოვოსიბირსკი: ნოვოსიბირსკის სახელმწიფო უნივერსიტეტი, 2007 წ

4) ბიზნეს ანალიტიკა: მონაცემებიდან ცოდნამდე / Paklin N. B., Oreshkov V. I. - 2nd ed. - სანკტ-პეტერბურგი: პეტრე, 2013 წ

5) მონაცემთა მეცნიერება მონაცემთა მეცნიერება ნულიდან / ჯოელ გრასი - სანკტ-პეტერბურგი: BHV Petersburg, 2017 წ.

6) პრაქტიკული სტატისტიკა მონაცემთა მეცნიერების სპეციალისტებისთვის / P. Bruce, E. Bruce - სანკტ-პეტერბურგი: BHV Petersburg, 2018 წ.

2. ლექციები, კურსები (ვიდეო)

1) მაქსიმალური ალბათობის მეთოდის არსი, ბორის დემეშევი

2) მაქსიმალური ალბათობის მეთოდი უწყვეტ შემთხვევაში, ბორის დემეშევი

3) ლოგისტიკური რეგრესია. ღია ODS კურსი, იური კაშნიცკი

4) ლექცია 4, ევგენი სოკოლოვი (ვიდეოს 47 წუთიდან)

5) ლოგისტიკური რეგრესია, ვიაჩესლავ ვორონცოვი

3. ინტერნეტ წყაროები

1) ხაზოვანი კლასიფიკაცია და რეგრესიის მოდელები

2) როგორ ადვილად გავიგოთ ლოგისტიკური რეგრესია

3) ლოგისტიკური შეცდომის ფუნქცია

4) დამოუკიდებელი ტესტები და ბერნულის ფორმულა

5) MMP-ის ბალადა

6) მაქსიმალური ალბათობის მეთოდი

7) ლოგარითმების ფორმულები და თვისებები

8) რატომ ნომერი ?

9) ხაზოვანი კლასიფიკატორი

წყარო: www.habr.com