লজিস্টিক রিগ্রেশন চিবানো

এই নিবন্ধে, আমরা রূপান্তরের তাত্ত্বিক গণনা বিশ্লেষণ করব লিনিয়ার রিগ্রেশন ফাংশন в ইনভার্স লজিট ট্রান্সফরমেশন ফাংশন (অন্যথায় লজিস্টিক রেসপন্স ফাংশন বলা হয়). তারপর, অস্ত্রাগার ব্যবহার করে সর্বাধিক সম্ভাবনা পদ্ধতি, লজিস্টিক রিগ্রেশন মডেল অনুসারে, আমরা লস ফাংশনটি বের করি লজিস্টিক লস, বা অন্য কথায়, আমরা একটি ফাংশন সংজ্ঞায়িত করব যার সাথে লজিস্টিক রিগ্রেশন মডেলে ওজন ভেক্টরের পরামিতিগুলি নির্বাচন করা হয় .

নিবন্ধের রূপরেখা:

1. আসুন দুটি ভেরিয়েবলের মধ্যে রৈখিক সম্পর্কের পুনরাবৃত্তি করি
2. আসুন রূপান্তরের প্রয়োজনীয়তা চিহ্নিত করি লিনিয়ার রিগ্রেশন ফাংশন в লজিস্টিক প্রতিক্রিয়া ফাংশন
3. এর রূপান্তর এবং আউটপুট বহন করা যাক লজিস্টিক প্রতিক্রিয়া ফাংশন
4. প্যারামিটার নির্বাচন করার সময় কেন সর্বনিম্ন বর্গ পদ্ধতি খারাপ তা বোঝার চেষ্টা করা যাক ক্রিয়াকলাপ লজিস্টিক লস
5. ব্যবহার সর্বাধিক সম্ভাবনা পদ্ধতি নির্ধারণ করা পরামিতি নির্বাচন ফাংশন :

   5.1। কেস 1: ফাংশন লজিস্টিক লস শ্রেণী উপাধি সহ বস্তুর জন্য 0 и 1:

   

   5.2। কেস 2: ফাংশন লজিস্টিক লস শ্রেণী উপাধি সহ বস্তুর জন্য -1 и +1:

   

নিবন্ধটি সাধারণ উদাহরণ দিয়ে পরিপূর্ণ যেখানে সমস্ত গণনা মৌখিকভাবে বা কাগজে করা সহজ; কিছু ক্ষেত্রে, একটি ক্যালকুলেটর প্রয়োজন হতে পারে। তাই প্রস্তুত হন :)

এই নিবন্ধটি প্রাথমিকভাবে মেশিন লার্নিংয়ের প্রাথমিক স্তরের জ্ঞানের সাথে ডেটা বিজ্ঞানীদের উদ্দেশ্যে।

নিবন্ধটি গ্রাফ অঙ্কন এবং গণনার জন্য কোড প্রদান করবে। সমস্ত কোড ভাষায় লেখা হয় পাইথন এক্সএনইউএমএক্স. আমাকে ব্যবহৃত সংস্করণের "নভেনটি" সম্পর্কে আগেই ব্যাখ্যা করতে দিন - এটি সুপরিচিত কোর্সটি নেওয়ার শর্তগুলির মধ্যে একটি। ইয়ানডেক্স একটি সমানভাবে পরিচিত অনলাইন শিক্ষা প্ল্যাটফর্মে Coursera, এবং, যেমন কেউ ধরে নিতে পারে, এই কোর্সের উপর ভিত্তি করে উপাদান প্রস্তুত করা হয়েছিল।

01. সরল-রেখা নির্ভরতা

প্রশ্ন জিজ্ঞাসা করা বেশ যুক্তিসঙ্গত - রৈখিক নির্ভরতা এবং লজিস্টিক রিগ্রেশন এর সাথে কী সম্পর্ক আছে?

ইহা সহজ! লজিস্টিক রিগ্রেশন হল লিনিয়ার ক্লাসিফায়ারের অন্তর্গত মডেলগুলির মধ্যে একটি। সহজ কথায়, একটি রৈখিক শ্রেণিবিন্যাসকারীর কাজ হল লক্ষ্য মানগুলির পূর্বাভাস দেওয়া ভেরিয়েবল থেকে (রিগ্রেসার) . এটা বিশ্বাস করা হয় যে বৈশিষ্ট্যের মধ্যে নির্ভরশীলতা এবং লক্ষ্য মান রৈখিক তাই শ্রেণিবিন্যাসকারীর নাম - রৈখিক। এটিকে মোটামুটিভাবে বলতে গেলে, লজিস্টিক রিগ্রেশন মডেলটি এই ধারণার উপর ভিত্তি করে যে বৈশিষ্ট্যগুলির মধ্যে একটি রৈখিক সম্পর্ক রয়েছে এবং লক্ষ্য মান . এই সংযোগ.

স্টুডিওতে প্রথম উদাহরণ রয়েছে, এবং এটি সঠিকভাবে, অধ্যয়ন করা পরিমাণের রেকটিলিয়ার নির্ভরতা সম্পর্কে। নিবন্ধটি প্রস্তুত করার প্রক্রিয়াতে, আমি এমন একটি উদাহরণ পেয়েছি যা ইতিমধ্যে অনেক লোককে প্রান্তে রেখেছে - ভোল্টেজের উপর বর্তমানের নির্ভরতা ("অ্যাপ্লাইড রিগ্রেশন অ্যানালাইসিস", এন. ড্রেপার, জি. স্মিথ). আমরা এখানে তাকান হবে.

অনুসারে ওম এর আইন:

যেখানে - বর্তমান শক্তি, - ভোল্টেজ, বৈদ্যুতিক একক বিশেষ, - প্রতিরোধ।

যদি আমরা জানতাম না ওম এর আইন, তারপর আমরা পরিবর্তিত হয়ে নির্ভরতা খুঁজে পেতে পারি এবং পরিমাপ সমর্থন করার সময় স্থির তারপর আমরা যে নির্ভরতা গ্রাফ দেখতে হবে থেকে উত্স মাধ্যমে একটি কম বা কম সরল রেখা দেয়. আমরা বলি "অধিক বা কম" কারণ, যদিও সম্পর্কটি প্রকৃতপক্ষে সঠিক, আমাদের পরিমাপে ছোটখাটো ত্রুটি থাকতে পারে, এবং সেইজন্য গ্রাফের বিন্দুগুলি ঠিক লাইনে নাও পড়তে পারে, তবে এলোমেলোভাবে চারপাশে ছড়িয়ে পড়বে।

গ্রাফ 1 "নির্ভরতা" থেকে »

চার্ট অঙ্কন কোড

import matplotlib.pyplot as plt
%matplotlib inline

import numpy as np

import random

R = 13.75

x_line = np.arange(0,220,1)
y_line = []
for i in x_line:
    y_line.append(i/R)
    
y_dot = []
for i in y_line:
    y_dot.append(i+random.uniform(-0.9,0.9))


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U/R')
plt.scatter(x_line,y_dot,color = 'red', label = 'Actual results')
plt.xlabel('I', size = 16)
plt.ylabel('U', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

02. রৈখিক রিগ্রেশন সমীকরণ রূপান্তর করার প্রয়োজন

আরেকটি উদাহরণ দেখা যাক। আসুন কল্পনা করি যে আমরা একটি ব্যাঙ্কে কাজ করি এবং আমাদের কাজ হল নির্দিষ্ট কিছু কারণের উপর নির্ভর করে ঋণগ্রহীতার ঋণ পরিশোধের সম্ভাবনা নির্ধারণ করা। কাজটি সহজ করার জন্য, আমরা শুধুমাত্র দুটি বিষয় বিবেচনা করব: ঋণগ্রহীতার মাসিক বেতন এবং মাসিক ঋণ পরিশোধের পরিমাণ।

কাজটি খুবই শর্তসাপেক্ষ, কিন্তু এই উদাহরণ দিয়ে আমরা বুঝতে পারি কেন এটি ব্যবহার করা যথেষ্ট নয় লিনিয়ার রিগ্রেশন ফাংশন, এবং ফাংশনের সাথে কী রূপান্তর করা দরকার তাও খুঁজে বের করুন।

উদাহরণে ফিরে আসা যাক। এটা বোঝা যায় যে বেতন যত বেশি হবে, ঋণগ্রহীতা ঋণ পরিশোধের জন্য মাসিক বরাদ্দ করতে পারবে। একই সময়ে, একটি নির্দিষ্ট বেতন সীমার জন্য এই সম্পর্কটি বেশ রৈখিক হবে। উদাহরণস্বরূপ, আসুন 60.000 RUR থেকে 200.000 RUR পর্যন্ত বেতনের পরিসর ধরা যাক এবং ধরে নিই যে নির্দিষ্ট বেতনের পরিসরে, বেতনের আকারের উপর মাসিক অর্থপ্রদানের আকারের নির্ভরতা রৈখিক। ধরা যাক যে মজুরির নির্দিষ্ট পরিসরের জন্য এটি প্রকাশিত হয়েছিল যে বেতন-থেকে-প্রদানের অনুপাত 3-এর নিচে না পড়তে পারে এবং ঋণগ্রহীতার এখনও 5.000 RUR রিজার্ভ থাকতে হবে। এবং শুধুমাত্র এই ক্ষেত্রে, আমরা ধরে নেব যে ঋণগ্রহীতা ব্যাংকে ঋণ পরিশোধ করবে। তারপর, রৈখিক রিগ্রেশন সমীকরণ ফর্মটি গ্রহণ করবে:

যেখানে , , , - বেতন -ম ঋণগ্রহীতা, - ঋণ পরিশোধ -ম ঋণগ্রহীতা।

সমীকরণে নির্দিষ্ট পরামিতি সহ বেতন এবং ঋণ প্রদানের প্রতিস্থাপন আপনি একটি ঋণ ইস্যু বা প্রত্যাখ্যান কিনা সিদ্ধান্ত নিতে পারেন.

সামনের দিকে তাকিয়ে, আমরা প্রদত্ত পরামিতিগুলির সাথে নোট করি লিনিয়ার রিগ্রেশন ফাংশন, ব্যবহৃত লজিস্টিক প্রতিক্রিয়া ফাংশন বড় মান তৈরি করবে যা ঋণ পরিশোধের সম্ভাব্যতা নির্ধারণ করতে গণনাকে জটিল করে তুলবে। অতএব, আমাদের সহগ কমানোর প্রস্তাব করা হয়েছে, ধরা যাক, 25.000 বার। সহগগুলির এই রূপান্তর ঋণ জারি করার সিদ্ধান্ত পরিবর্তন করবে না। আসুন ভবিষ্যতের জন্য এই বিন্দুটি মনে রাখি, কিন্তু এখন, আমরা কী বিষয়ে কথা বলছি তা আরও পরিষ্কার করতে, তিনজন সম্ভাব্য ঋণগ্রহীতার পরিস্থিতি বিবেচনা করা যাক।

সারণী 1 "সম্ভাব্য ঋণগ্রহীতা"

টেবিল তৈরি করার জন্য কোড

import pandas as pd

r = 25000.0
w_0 = -5000.0/r
w_1 = 1.0/r
w_2 = -3.0/r

data = {'The borrower':np.array(['Vasya', 'Fedya', 'Lesha']), 
        'Salary':np.array([120000,180000,210000]),
       'Payment':np.array([3000,50000,70000])}

df = pd.DataFrame(data)

df['f(w,x)'] = w_0 + df['Salary']*w_1 + df['Payment']*w_2

decision = []
for i in df['f(w,x)']:
    if i > 0:
        dec = 'Approved'
        decision.append(dec)
    else:
        dec = 'Refusal'
        decision.append(dec)
        
df['Decision'] = decision

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision']]

টেবিলের তথ্য অনুসারে, ভাস্য, 120.000 RUR এর বেতন সহ, একটি ঋণ পেতে চায় যাতে তিনি এটি মাসিক 3.000 RUR এ পরিশোধ করতে পারেন। আমরা স্থির করেছি যে ঋণ অনুমোদন করার জন্য, ভাস্যের বেতন অবশ্যই অর্থপ্রদানের পরিমাণের তিনগুণ অতিক্রম করতে হবে এবং এখনও 5.000 RUR অবশিষ্ট থাকতে হবে। ভাস্য এই প্রয়োজনীয়তা পূরণ করে: . এমনকি 106.000 RUR অবশিষ্ট আছে। এতদসত্ত্বেও যখন হিসেব আমরা প্রতিকূলতা কমিয়েছি 25.000 বার, ফলাফল একই ছিল - ঋণ অনুমোদন করা যেতে পারে. ফেডিয়াও একটি ঋণ পাবে, তবে লেশা, সে সর্বাধিক প্রাপ্ত হওয়া সত্ত্বেও, তার ক্ষুধা নিবারণ করতে হবে।

এই ক্ষেত্রে একটি গ্রাফ আঁকা যাক.

চার্ট 2 "ঋণগ্রহীতাদের শ্রেণীবিভাগ"

গ্রাফ আঁকার জন্য কোড

salary = np.arange(60000,240000,20000)
payment = (-w_0-w_1*salary)/w_2


fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$')
plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'], 
         'o', color ='green', markersize = 12, label = 'Decision - Loan approved')
plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'], 
         's', color = 'red', markersize = 12, label = 'Decision - Loan refusal')
plt.xlabel('Salary', size = 16)
plt.ylabel('Payment', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

সুতরাং, আমাদের সরল রেখা, ফাংশন অনুযায়ী নির্মিত , "ভালো" থেকে "খারাপ" ঋণগ্রহীতাদের আলাদা করে। যে ঋণগ্রহীতাদের ইচ্ছা তাদের সামর্থ্যের সাথে মেলে না তারা লাইনের উপরে (লেশা), যখন যারা আমাদের মডেলের পরামিতি অনুসারে ঋণ পরিশোধ করতে সক্ষম তারা লাইনের নিচে (ভাস্যা এবং ফেদ্যা)। অন্য কথায়, আমরা এটি বলতে পারি: আমাদের সরাসরি লাইন ঋণগ্রহীতাদের দুটি শ্রেণীতে বিভক্ত করে। আসুন আমরা সেগুলিকে নিম্নরূপ বোঝাই: ক্লাসে আমরা সেইসব ঋণগ্রহীতাদের শ্রেণীবদ্ধ করব যারা ঋণ পরিশোধ করার সম্ভাবনা সবচেয়ে বেশি বা আমরা সেইসব ঋণগ্রহীতাদের অন্তর্ভুক্ত করব যারা সম্ভবত ঋণ পরিশোধ করতে পারবে না।

এই সহজ উদাহরণ থেকে উপসংহার সংক্ষিপ্ত করা যাক. একটা পয়েন্ট নেওয়া যাক এবং, বিন্দুর স্থানাঙ্কগুলিকে লাইনের সংশ্লিষ্ট সমীকরণে প্রতিস্থাপন করা , তিনটি বিকল্প বিবেচনা করুন:

1. যদি পয়েন্টটি লাইনের নীচে থাকে এবং আমরা এটি ক্লাসে বরাদ্দ করি , তারপর ফাংশনের মান থেকে ইতিবাচক হবে থেকে . এর মানে আমরা ধরে নিতে পারি যে ঋণ পরিশোধের সম্ভাবনা রয়েছে . ফাংশনের মান যত বড়, সম্ভাবনা তত বেশি।
2. যদি একটি বিন্দু একটি লাইনের উপরে থাকে এবং আমরা এটিকে ক্লাসে বরাদ্দ করি বা , তাহলে ফাংশনের মান থেকে ঋণাত্মক হবে থেকে . তাহলে আমরা ধরে নেব যে ঋণ পরিশোধের সম্ভাবনা রয়েছে এবং, ফাংশনের পরম মান যত বেশি হবে, আমাদের আত্মবিশ্বাস তত বেশি।
3. বিন্দুটি একটি সরল রেখায়, দুটি শ্রেণীর মধ্যবর্তী সীমানায়। এই ক্ষেত্রে, ফাংশনের মান সমান হবে এবং ঋণ পরিশোধের সম্ভাবনা সমান .

এখন, কল্পনা করা যাক যে আমাদের কাছে দুটি ফ্যাক্টর নেই, কয়েক ডজন, এবং তিনটি নয়, হাজার হাজার ঋণগ্রহীতা রয়েছে। তারপর একটি সরল রেখার পরিবর্তে আমাদের থাকবে m-মাত্রিক সমতল এবং সহগ আমরা পাতলা বাতাস থেকে বের করা হবে না, কিন্তু সমস্ত নিয়ম অনুযায়ী প্রাপ্ত করা হবে, এবং ঋণ গ্রহীতাদের উপর জমা করা তথ্যের ভিত্তিতে যারা ঋণ পরিশোধ করেছেন বা করেননি। এবং প্রকৃতপক্ষে, নোট করুন যে আমরা এখন ইতিমধ্যে পরিচিত সহগ ব্যবহার করে ঋণগ্রহীতা নির্বাচন করছি . আসলে, লজিস্টিক রিগ্রেশন মডেলের কাজটি সঠিকভাবে পরামিতি নির্ধারণ করা , এতে ক্ষতি ফাংশনের মান লজিস্টিক লস সর্বনিম্ন ঝোঁক হবে. কিন্তু কিভাবে ভেক্টর গণনা করা হয় সম্পর্কে , আমরা নিবন্ধের 5 ম বিভাগে আরও খুঁজে পাব। ইতিমধ্যে, আমরা প্রতিশ্রুত জমিতে ফিরে আসি - আমাদের ব্যাংকার এবং তার তিনজন ক্লায়েন্টের কাছে।

ফাংশন ধন্যবাদ আমরা জানি কাকে ঋণ দেওয়া যেতে পারে এবং কাকে অস্বীকার করা দরকার। কিন্তু আপনি এই ধরনের তথ্য নিয়ে পরিচালকের কাছে যেতে পারবেন না, কারণ তারা আমাদের কাছ থেকে প্রতিটি ঋণগ্রহীতার ঋণ পরিশোধের সম্ভাবনা জানতে চেয়েছিলেন। কি করো? উত্তরটি সহজ - আমাদের কোনভাবে ফাংশনটি রূপান্তর করতে হবে , যার মান পরিসরে রয়েছে একটি ফাংশনে যার মান রেঞ্জের মধ্যে থাকবে . এবং যেমন একটি ফাংশন বিদ্যমান, এটা বলা হয় লজিস্টিক প্রতিক্রিয়া ফাংশন বা বিপরীত-লগিট রূপান্তর. সম্মেলন:

আসুন ধাপে ধাপে দেখি কিভাবে এটি কাজ করে লজিস্টিক প্রতিক্রিয়া ফাংশন. মনে রাখবেন যে আমরা বিপরীত দিকে হাঁটব, অর্থাৎ আমরা ধরে নেব যে আমরা সম্ভাব্যতার মান জানি, যা থেকে সীমার মধ্যে রয়েছে থেকে এবং তারপর আমরা এই মানটি থেকে সংখ্যার সম্পূর্ণ পরিসরে "আনওয়াইন্ড" করব থেকে .

03. আমরা লজিস্টিক রেসপন্স ফাংশন বের করি

ধাপ 1. সম্ভাব্যতার মানগুলিকে একটি পরিসরে রূপান্তর করুন

ফাংশন রূপান্তর সময় в লজিস্টিক প্রতিক্রিয়া ফাংশন আমরা আমাদের ক্রেডিট বিশ্লেষককে একা ছেড়ে দেব এবং পরিবর্তে বুকমেকারদের একটি সফর করব৷ না, অবশ্যই, আমরা বাজি রাখব না, সেখানে আমাদের আগ্রহের বিষয় হল অভিব্যক্তির অর্থ, উদাহরণ স্বরূপ, সুযোগ হল 4 থেকে 1। সমস্ত বাজির কাছে পরিচিত মতভেদ হল "সাফল্য" থেকে ""র অনুপাত ব্যর্থতা"। সম্ভাব্যতার পরিভাষায়, প্রতিকূলতা হল ঘটনা ঘটার সম্ভাবনাকে ঘটনা না ঘটার সম্ভাবনা দিয়ে ভাগ করা। ঘটনা ঘটার সম্ভাবনার সূত্রটি লিখি :

যেখানে - একটি ঘটনা ঘটার সম্ভাবনা, - একটি ঘটনা ঘটছে না হওয়ার সম্ভাবনা

উদাহরণস্বরূপ, যদি "ভেটেরোক" ডাকনাম একটি অল্প বয়স্ক, শক্তিশালী এবং কৌতুকপূর্ণ ঘোড়া একটি দৌড়ে "মাটিল্ডা" নামক একজন বৃদ্ধ এবং চঞ্চল বৃদ্ধ মহিলাকে পরাজিত করার সম্ভাবনা সমান হয় , তাহলে "Veterok" এর সাফল্যের সম্ভাবনা থাকবে к এবং তদ্বিপরীত, প্রতিকূলতা জেনে, আমাদের পক্ষে সম্ভাব্যতা গণনা করা কঠিন হবে না :

এইভাবে, আমরা সম্ভাবনাকে "অনুবাদ" করতে শিখেছি, যা থেকে মান নেওয়া হয় থেকে . আসুন আরও একটি পদক্ষেপ নেওয়া যাক এবং থেকে সম্পূর্ণ সংখ্যা লাইনে সম্ভাব্যতা "অনুবাদ" করতে শিখি থেকে .

ধাপ 2. সম্ভাব্যতার মানগুলিকে একটি পরিসরে রূপান্তর করুন

এই ধাপটি খুবই সহজ - চলুন অয়লার সংখ্যার বেসে বিজোড়ের লগারিদম নিয়ে যাই এবং আমরা পাই:

এখন আমরা জানি যে যদি , তারপর মান গণনা করুন খুব সহজ হবে এবং তদ্ব্যতীত, এটি ইতিবাচক হওয়া উচিত: . এটা সত্য.

কৌতূহল আউট, আসুন পরীক্ষা করা যাক কি যদি , তারপর আমরা একটি নেতিবাচক মান দেখতে আশা করি . আমরা পরীক্ষা করি: . সেটা ঠিক.

এখন আমরা জানি কিভাবে সম্ভাব্যতা মান থেকে রূপান্তর করতে হয় থেকে থেকে সমগ্র সংখ্যা লাইন বরাবর থেকে . পরবর্তী ধাপে আমরা বিপরীত কাজ করব।

আপাতত, আমরা লক্ষ করি যে লগারিদমের নিয়ম অনুসারে, ফাংশনের মান জেনে , আপনি মতভেদ গণনা করতে পারেন:

প্রতিকূলতা নির্ধারণের এই পদ্ধতিটি পরবর্তী ধাপে আমাদের কাজে লাগবে।

ধাপ 3. আসুন নির্ধারণ করার জন্য একটি সূত্র বের করি

তাই আমরা জেনেছি, জেনেছি , ফাংশন মান খুঁজুন . যাইহোক, আসলে, আমাদের ঠিক বিপরীত প্রয়োজন - মূল্য জানা খুঁজে . এটি করার জন্য, আসুন আমরা ইনভার্স অডস ফাংশনের মতো একটি ধারণার দিকে ফিরে যাই, যা অনুসারে:

নিবন্ধে আমরা উপরের সূত্রটি বের করব না, তবে আমরা উপরের উদাহরণ থেকে সংখ্যাগুলি ব্যবহার করে এটি পরীক্ষা করব। আমরা জানি যে 4 থেকে 1 (), ঘটনা ঘটার সম্ভাবনা 0.8 () আসুন একটি প্রতিস্থাপন করা যাক: . এটি আমাদের পূর্বে করা গণনার সাথে মিলে যায়। চল এগোই.

শেষ ধাপে আমরা তা অনুমান করেছি , যার মানে আপনি ইনভার্স অডস ফাংশনে একটি প্রতিস্থাপন করতে পারেন। আমরা পেতে:

লব এবং হর উভয়কে দ্বারা ভাগ করুন , তারপর:

ঠিক সেই ক্ষেত্রে, আমরা কোথাও ভুল করিনি তা নিশ্চিত করতে, আমরা আরও একটি ছোট পরীক্ষা করব। ধাপ 2, আমরা জন্য নির্ধারণ করেছেন যে . তারপর, মান প্রতিস্থাপন লজিস্টিক প্রতিক্রিয়া ফাংশন মধ্যে, আমরা পেতে আশা . আমরা প্রতিস্থাপন এবং পাই:

অভিনন্দন, প্রিয় পাঠক, আমরা এইমাত্র লজিস্টিক প্রতিক্রিয়া ফাংশনটি নিয়েছি এবং পরীক্ষা করেছি। চলুন ফাংশনের গ্রাফটি দেখি।

গ্রাফ 3 "লজিস্টিক প্রতিক্রিয়া ফাংশন"

গ্রাফ আঁকার জন্য কোড

import math

def logit (f):
    return 1/(1+math.exp(-f))

f = np.arange(-7,7,0.05)
p = []

for i in f:
    p.append(logit(i))

fig, axes = plt.subplots(figsize = (14,6), dpi = 80)
plt.plot(f, p, color = 'grey', label = '$ 1 / (1+e^{-w^Tx_i})$')
plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16)
plt.ylabel('$p_{i+}$', size = 16)
plt.legend(prop = {'size': 14})
plt.show()

সাহিত্যে আপনি এই ফাংশনের নামটিও খুঁজে পেতে পারেন সিগমায়েড ফাংশন. গ্রাফটি স্পষ্টভাবে দেখায় যে একটি শ্রেণীর অন্তর্গত একটি বস্তুর সম্ভাব্যতার প্রধান পরিবর্তন একটি অপেক্ষাকৃত ছোট পরিসরের মধ্যে ঘটে , কোথাও থেকে থেকে .

আমি আমাদের ক্রেডিট বিশ্লেষকের কাছে ফিরে যাওয়ার পরামর্শ দিচ্ছি এবং তাকে ঋণ পরিশোধের সম্ভাব্যতা গণনা করতে সাহায্য করুন, অন্যথায় তিনি বোনাস ছাড়াই রয়ে যাওয়ার ঝুঁকি নিতে পারেন :)

সারণী 2 "সম্ভাব্য ঋণগ্রহীতা"

টেবিল তৈরি করার জন্য কোড

proba = []
for i in df['f(w,x)']:
    proba.append(round(logit(i),2))
    
df['Probability'] = proba

df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision', 'Probability']]

সুতরাং, আমরা ঋণ পরিশোধের সম্ভাবনা নির্ধারণ করেছি। সাধারণভাবে, এটি সত্য বলে মনে হচ্ছে।

প্রকৃতপক্ষে, ভাস্য, 120.000 RUR বেতন সহ, প্রতি মাসে ব্যাঙ্কে 3.000 RUR দিতে সক্ষম হওয়ার সম্ভাবনা 100% এর কাছাকাছি। যাইহোক, আমাদের অবশ্যই বুঝতে হবে যে যদি ব্যাঙ্কের নীতি প্রদান করে, উদাহরণস্বরূপ, 0.3-এর বেশি ঋণ পরিশোধের সম্ভাবনা সহ ক্লায়েন্টদের ঋণ দেওয়ার জন্য যদি কোনও ব্যাঙ্ক লেশাকে ঋণ দিতে পারে। এটা ঠিক যে এই ক্ষেত্রে ব্যাংক সম্ভাব্য লোকসানের জন্য একটি বড় রিজার্ভ তৈরি করবে।

এটাও উল্লেখ করা উচিত যে বেতন-থেকে-পেমেন্ট অনুপাত কমপক্ষে 3 এবং মার্জিন সহ 5.000 RUR সিলিং থেকে নেওয়া হয়েছিল। অতএব, আমরা ওজনের ভেক্টরটিকে তার আসল আকারে ব্যবহার করতে পারিনি . আমাদের সহগগুলিকে ব্যাপকভাবে কমাতে হবে, এবং এই ক্ষেত্রে আমরা প্রতিটি সহগকে 25.000 দ্বারা ভাগ করেছি, অর্থাৎ, সারমর্মে, আমরা ফলাফলটি সামঞ্জস্য করেছি। তবে এটি প্রাথমিক পর্যায়ে উপাদান বোঝার সহজতর করার জন্য বিশেষভাবে করা হয়েছিল। জীবনে, আমাদের সহগ উদ্ভাবন এবং সামঞ্জস্য করতে হবে না, তবে সেগুলি সন্ধান করতে হবে। নিবন্ধের পরবর্তী বিভাগগুলিতে আমরা সেই সমীকরণগুলি বের করব যার সাহায্যে প্যারামিটারগুলি নির্বাচন করা হয়েছে .

04. ওজনের ভেক্টর নির্ধারণের জন্য সর্বনিম্ন বর্গক্ষেত্র পদ্ধতি লজিস্টিক প্রতিক্রিয়া ফাংশনে

ওজনের ভেক্টর নির্বাচন করার জন্য আমরা ইতিমধ্যে এই পদ্ধতিটি জানি , হিসাবে হিসাবে সর্বনিম্ন বর্গ পদ্ধতি (LSM) এবং প্রকৃতপক্ষে, কেন আমরা বাইনারি শ্রেণীবিভাগ সমস্যায় এটি ব্যবহার করি না? প্রকৃতপক্ষে, কিছুই আপনাকে ব্যবহার করতে বাধা দেয় না MNC, শুধুমাত্র শ্রেণীবিভাগ সমস্যায় এই পদ্ধতিটি এমন ফলাফল দেয় যা এর চেয়ে কম সঠিক লজিস্টিক লস. এর একটি তাত্ত্বিক ভিত্তি রয়েছে। আসুন প্রথমে একটি সাধারণ উদাহরণ দেখি।

আসুন ধরে নিই যে আমাদের মডেলগুলি (ব্যবহার করে MSE и লজিস্টিক লস) ইতিমধ্যে ওজনের ভেক্টর নির্বাচন করা শুরু করেছে এবং আমরা কিছু ধাপে গণনা বন্ধ করে দিয়েছি। মাঝখানে, শেষে বা শুরুতে তা বিবেচ্য নয়, মূল বিষয় হল আমাদের ইতিমধ্যেই ওজন ভেক্টরের কিছু মান আছে এবং ধরা যাক এই ধাপে, ওজনের ভেক্টর উভয় মডেলের জন্য কোন পার্থক্য নেই। তারপর ফলস্বরূপ ওজন নিন এবং তাদের প্রতিস্থাপন করুন লজিস্টিক প্রতিক্রিয়া ফাংশন () ক্লাসের অন্তর্গত কিছু বস্তুর জন্য . আমরা দুটি ক্ষেত্রে পরীক্ষা করি যখন, ওজনের নির্বাচিত ভেক্টর অনুসারে, আমাদের মডেলটি খুব ভুল এবং এর বিপরীতে - মডেলটি খুব আত্মবিশ্বাসী যে বস্তুটি ক্লাসের অন্তর্গত . দেখে নেওয়া যাক কী কী জরিমানা করা হবে ব্যবহার করার সময় MNC и লজিস্টিক লস.

ব্যবহৃত ক্ষতি ফাংশনের উপর নির্ভর করে জরিমানা গণনা করার কোড

# класс объекта
y = 1
# вероятность отнесения объекта к классу в соответствии с параметрами w
proba_1 = 0.01

MSE_1 = (y - proba_1)**2
print 'Штраф MSE при грубой ошибке =', MSE_1

# напишем функцию для вычисления f(w,x) при известной вероятности отнесения объекта к классу +1 (f(w,x)=ln(odds+))
def f_w_x(proba):
    return math.log(proba/(1-proba)) 

LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1)))
print 'Штраф Log Loss при грубой ошибке =', LogLoss_1

proba_2 = 0.99

MSE_2 = (y - proba_2)**2
LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))

print '**************************************************************'
print 'Штраф MSE при сильной уверенности =', MSE_2
print 'Штраф Log Loss при сильной уверенности =', LogLoss_2

একটি ভুল একটি মামলা - মডেলটি একটি ক্লাসে একটি বস্তু বরাদ্দ করে 0,01 এর সম্ভাবনা সহ

ব্যবহারে জরিমানা MNC হবে:

ব্যবহারে জরিমানা লজিস্টিক লস হবে:

দৃঢ় আত্মবিশ্বাসের একটি কেস - মডেলটি একটি ক্লাসে একটি বস্তু বরাদ্দ করে 0,99 এর সম্ভাবনা সহ

ব্যবহারে জরিমানা MNC হবে:

ব্যবহারে জরিমানা লজিস্টিক লস হবে:

এই উদাহরণটি ভালভাবে ব্যাখ্যা করে যে একটি স্থূল ত্রুটির ক্ষেত্রে ক্ষতি ফাংশন লগ ক্ষতি এর থেকে উল্লেখযোগ্যভাবে মডেলটিকে শাস্তি দেয় MSE. আসুন এখন বুঝতে পারি লস ফাংশন ব্যবহার করার তাত্ত্বিক পটভূমি কী লগ ক্ষতি শ্রেণিবিন্যাসের সমস্যায়।

05. সর্বাধিক সম্ভাবনা পদ্ধতি এবং লজিস্টিক রিগ্রেশন

শুরুতে প্রতিশ্রুতি অনুযায়ী, নিবন্ধটি সহজ উদাহরণ দিয়ে পরিপূর্ণ। স্টুডিওতে আরও একটি উদাহরণ রয়েছে এবং পুরানো অতিথিরা - ব্যাংক ঋণগ্রহীতা: ভাস্য, ফেদ্যা এবং লেশা।

ঠিক সেই ক্ষেত্রে, উদাহরণটি বিকাশ করার আগে, আমি আপনাকে মনে করিয়ে দিই যে জীবনে আমরা দশ বা শত শত বৈশিষ্ট্য সহ হাজার হাজার বা লক্ষ লক্ষ বস্তুর প্রশিক্ষণের নমুনা নিয়ে কাজ করছি। যাইহোক, এখানে সংখ্যাগুলি নেওয়া হয়েছে যাতে তারা সহজেই একজন নবীন ডেটা সায়েন্টিস্টের মাথায় ফিট করতে পারে।

উদাহরণে ফিরে আসা যাক। আসুন কল্পনা করুন যে অ্যালগরিদম তাকে লেশাকে ইস্যু না করতে বলেছিল তা সত্ত্বেও ব্যাংকের পরিচালক প্রয়োজনে প্রত্যেককে ঋণ দেওয়ার সিদ্ধান্ত নিয়েছেন। এবং এখন যথেষ্ট সময় অতিবাহিত হয়েছে এবং আমরা জানি যে তিন নায়কের মধ্যে কোনটি ঋণ পরিশোধ করেছে এবং কোনটি করেনি। কী প্রত্যাশিত ছিল: ভাস্য এবং ফেদ্যা ঋণ পরিশোধ করেছিলেন, কিন্তু লেশা করেননি। এখন কল্পনা করা যাক যে এই ফলাফলটি আমাদের জন্য একটি নতুন প্রশিক্ষণের নমুনা হবে এবং একই সময়ে, এটি যেন ঋণ পরিশোধের সম্ভাবনাকে প্রভাবিত করে এমন কারণগুলির সমস্ত ডেটা (ঋণগ্রহীতার বেতন, মাসিক অর্থপ্রদানের আকার) অদৃশ্য হয়ে গেছে। তারপর, স্বজ্ঞাতভাবে, আমরা ধরে নিতে পারি যে প্রতি তৃতীয় ঋণগ্রহীতা ব্যাংকে ঋণ পরিশোধ করে না, বা অন্য কথায়, পরবর্তী ঋণগ্রহীতার ঋণ পরিশোধের সম্ভাবনা। . এই স্বজ্ঞাত অনুমান তাত্ত্বিক নিশ্চিতকরণ আছে এবং এর উপর ভিত্তি করে সর্বাধিক সম্ভাবনা পদ্ধতি, প্রায়ই সাহিত্যে এটি বলা হয় সর্বাধিক সম্ভাবনা নীতি.

প্রথমত, আসুন ধারণাগত যন্ত্রপাতির সাথে পরিচিত হই।

নমুনা সম্ভাবনা ঠিক এই জাতীয় নমুনা পাওয়ার সম্ভাবনা, ঠিক এই জাতীয় পর্যবেক্ষণ/ফলাফল প্রাপ্ত করা, যেমন প্রতিটি নমুনা ফলাফল পাওয়ার সম্ভাবনার পণ্য (উদাহরণস্বরূপ, ভাস্য, ফেদ্যা এবং লেশার ঋণ একই সময়ে পরিশোধ করা হয়েছিল বা পরিশোধ করা হয়নি)।

সম্ভাবনা ফাংশন বিতরণ পরামিতিগুলির মানগুলির সাথে একটি নমুনার সম্ভাবনা সম্পর্কিত।

আমাদের ক্ষেত্রে, প্রশিক্ষণের নমুনা হল একটি সাধারণীকৃত বার্নোলি স্কিম, যেখানে র্যান্ডম ভেরিয়েবল মাত্র দুটি মান নেয়: বা . অতএব, নমুনা সম্ভাবনা প্যারামিটারের একটি সম্ভাবনা ফাংশন হিসাবে লেখা যেতে পারে নিম্নরূপ:

উপরের এন্ট্রিটি নিম্নরূপ ব্যাখ্যা করা যেতে পারে। ভাস্য এবং ফেদিয়া ঋণ পরিশোধ করবে এমন যৌথ সম্ভাবনা সমান , সম্ভাবনা যে Lesha ঋণ পরিশোধ করবে না সমান (যেহেতু এটি ঋণ পরিশোধের ঘটনা ছিল না), তাই তিনটি ঘটনার যৌথ সম্ভাবনা সমান .

সর্বাধিক সম্ভাবনা পদ্ধতি সর্বাধিক করে একটি অজানা পরামিতি অনুমান করার একটি পদ্ধতি সম্ভাবনা ফাংশন. আমাদের ক্ষেত্রে, আমরা যেমন একটি মান খুঁজে বের করতে হবে কোনটিতে তার সর্বোচ্চ পৌঁছায়।

আসল ধারণাটি কোথা থেকে আসে - একটি অজানা প্যারামিটারের মান খোঁজার জন্য যেখানে সম্ভাবনা ফাংশন সর্বাধিক পৌঁছায়? ধারণাটির উৎপত্তি এই ধারণা থেকে যে একটি নমুনাই জনসংখ্যা সম্পর্কে আমাদের কাছে উপলব্ধ জ্ঞানের একমাত্র উৎস। জনসংখ্যা সম্পর্কে আমরা যা জানি তা নমুনায় উপস্থাপন করা হয়। অতএব, আমরা শুধু বলতে পারি যে একটি নমুনা আমাদের কাছে উপলব্ধ জনসংখ্যার সবচেয়ে সঠিক প্রতিফলন। অতএব, আমাদের এমন একটি প্যারামিটার খুঁজে বের করতে হবে যেখানে উপলব্ধ নমুনাটি সবচেয়ে সম্ভাব্য হয়ে ওঠে।

স্পষ্টতই, আমরা একটি অপ্টিমাইজেশন সমস্যা নিয়ে কাজ করছি যেখানে আমাদের একটি ফাংশনের চরম বিন্দু খুঁজে বের করতে হবে। চরম বিন্দু খুঁজে বের করার জন্য, প্রথম-ক্রমের শর্তটি বিবেচনা করা প্রয়োজন, অর্থাৎ, ফাংশনের ডেরিভেটিভকে শূন্যে সমান করুন এবং পছন্দসই প্যারামিটারের সাথে সমীকরণটি সমাধান করুন। যাইহোক, বিপুল সংখ্যক কারণের একটি পণ্যের ডেরিভেটিভ অনুসন্ধান করা একটি দীর্ঘ কাজ হতে পারে; এটি এড়াতে, একটি বিশেষ কৌশল রয়েছে - লগারিদমে স্যুইচ করা সম্ভাবনা ফাংশন. কেন এই ধরনের একটি উত্তরণ সম্ভব? আসুন আমরা এই বিষয়টিতে মনোযোগ দিই যে আমরা ফাংশনের চরম অংশটি খুঁজছি না, এবং চরম বিন্দু, অর্থাৎ, অজানা প্যারামিটারের মান কোনটিতে তার সর্বোচ্চ পৌঁছায়। লগারিদমে যাওয়ার সময়, এক্সট্রিম পয়েন্ট পরিবর্তন হয় না (যদিও এক্সট্রিমটি নিজেই আলাদা হবে), যেহেতু লগারিদম একটি একঘেয়ে ফাংশন।

আসুন, উপরের অনুসারে, ভাস্য, ফেদিয়া এবং লেশা থেকে ঋণ নিয়ে আমাদের উদাহরণটি বিকাশ করা চালিয়ে যাই। প্রথমে এর দিকে যাওয়া যাক সম্ভাবনা ফাংশনের লগারিদম:

এখন আমরা সহজেই অভিব্যক্তিটিকে এর দ্বারা আলাদা করতে পারি :

এবং পরিশেষে, প্রথম-ক্রমের শর্তটি বিবেচনা করুন - আমরা ফাংশনের ডেরিভেটিভকে শূন্যের সাথে সমান করি:

এইভাবে, ঋণ পরিশোধের সম্ভাবনা আমাদের স্বজ্ঞাত অনুমান তাত্ত্বিকভাবে ন্যায়সঙ্গত ছিল।

দুর্দান্ত, কিন্তু এখন এই তথ্য দিয়ে আমাদের কী করা উচিত? যদি আমরা ধরে নিই যে প্রতি তৃতীয় ঋণগ্রহীতা ব্যাঙ্কে টাকা ফেরত না দেয়, তাহলে পরবর্তীটা অবশ্যম্ভাবীভাবে দেউলিয়া হয়ে যাবে। এটা ঠিক, কিন্তু শুধুমাত্র যখন সমান ঋণ পরিশোধের সম্ভাবনা মূল্যায়ন আমরা ঋণ পরিশোধকে প্রভাবিত করার কারণগুলি বিবেচনা করিনি: ঋণগ্রহীতার বেতন এবং মাসিক অর্থপ্রদানের আকার। আসুন আমরা মনে রাখি যে আমরা পূর্বে প্রতিটি ক্লায়েন্টের দ্বারা ঋণ পরিশোধের সম্ভাব্যতা গণনা করেছি, এই একই কারণগুলিকে বিবেচনা করে। এটা যৌক্তিক যে আমরা ধ্রুবক সমান থেকে ভিন্ন সম্ভাব্যতা পেয়েছি .

আসুন নমুনার সম্ভাবনা সংজ্ঞায়িত করা যাক:

নমুনা সম্ভাবনা গণনা করার জন্য কোড

from functools import reduce

def likelihood(y,p):
    line_true_proba = []
    for i in range(len(y)):
        ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])
        line_true_proba.append(ltp_i)
    likelihood = []
    return reduce(lambda a, b: a*b, line_true_proba)
        
    
y = [1.0,1.0,0.0]
p_log_response = df['Probability']
const = 2.0/3.0
p_const = [const, const, const]


print 'Правдоподобие выборки при константном значении p=2/3:', round(likelihood(y,p_const),3)

print '****************************************************************************************************'

print 'Правдоподобие выборки при расчетном значении p:', round(likelihood(y,p_log_response),3)

একটি ধ্রুবক মান নমুনা সম্ভাবনা :

নমুনা সম্ভাবনা যখন অ্যাকাউন্ট ফ্যাক্টর গ্রহণ ঋণ পরিশোধের সম্ভাবনা গণনা :

কারণগুলির উপর নির্ভর করে গণনা করা সম্ভাব্যতা সহ একটি নমুনার সম্ভাবনা একটি ধ্রুবক সম্ভাব্যতার মান সহ সম্ভাবনার চেয়ে বেশি। এটার মানে কি? এটি পরামর্শ দেয় যে কারণগুলি সম্পর্কে জ্ঞান প্রতিটি ক্লায়েন্টের জন্য ঋণ পরিশোধের সম্ভাবনা আরও সঠিকভাবে নির্বাচন করা সম্ভব করেছে। অতএব, পরবর্তী ঋণ ইস্যু করার সময়, ঋণ পরিশোধের সম্ভাব্যতা মূল্যায়নের জন্য নিবন্ধের 3 ধারার শেষে প্রস্তাবিত মডেলটি ব্যবহার করা আরও সঠিক হবে।

কিন্তু তারপর, আমরা সর্বোচ্চ করতে চান নমুনা সম্ভাবনা ফাংশন, তাহলে কেন এমন কিছু অ্যালগরিদম ব্যবহার করবেন না যা Vasya, Fedya এবং Lesha-এর জন্য সম্ভাব্যতা তৈরি করবে, উদাহরণস্বরূপ, যথাক্রমে 0.99, 0.99 এবং 0.01 এর সমান। সম্ভবত এই ধরনের একটি অ্যালগরিদম প্রশিক্ষণের নমুনায় ভাল পারফর্ম করবে, কারণ এটি নমুনার সম্ভাবনার মানকে কাছাকাছি নিয়ে আসবে , কিন্তু, প্রথমত, এই ধরনের একটি অ্যালগরিদম সম্ভবত সাধারণীকরণের ক্ষমতা নিয়ে সমস্যায় পড়বে, এবং দ্বিতীয়ত, এই অ্যালগরিদমটি অবশ্যই রৈখিক হবে না। এবং যদি ওভারট্রেনিংয়ের বিরুদ্ধে লড়াইয়ের পদ্ধতিগুলি (সমান দুর্বল সাধারণীকরণ ক্ষমতা) এই নিবন্ধের পরিকল্পনায় স্পষ্টভাবে অন্তর্ভুক্ত না হয়, তবে আসুন আরও বিশদে দ্বিতীয় বিন্দুতে যাওয়া যাক। এটি করার জন্য, একটি সহজ প্রশ্নের উত্তর দিন। আমাদের পরিচিত বিষয়গুলিকে বিবেচনায় নিয়ে ভাস্য এবং ফেডিয়ার ঋণ পরিশোধের সম্ভাবনা কি একই হতে পারে? শব্দ যুক্তির দৃষ্টিকোণ থেকে, অবশ্যই না, তা হতে পারে না। তাই ভাস্যা ঋণ পরিশোধের জন্য প্রতি মাসে তার বেতনের 2.5% প্রদান করবে, এবং ফেডিয়া - প্রায় 27,8%। এছাড়াও গ্রাফ 2 "ক্লায়েন্ট শ্রেণীবিভাগ"-এ আমরা দেখতে পাই যে ভাস্য Fedya থেকে ক্লাসগুলিকে আলাদা করার লাইন থেকে অনেক দূরে। এবং পরিশেষে, আমরা জানি যে ফাংশন Vasya এবং Fedya এর জন্য আলাদা মান লাগে: Vasya এর জন্য 4.24 এবং Fedya এর জন্য 1.0। এখন, উদাহরণস্বরূপ, যদি ফেড্যা বেশি পরিমাণে একটি আদেশ অর্জন করে বা একটি ছোট ঋণের জন্য বলে, তাহলে ভাস্য এবং ফেডিয়ার জন্য ঋণ পরিশোধের সম্ভাবনা একই রকম হবে। অন্য কথায়, রৈখিক নির্ভরতাকে বোকা বানানো যাবে না। এবং যদি আমরা আসলে মতভেদ গণনা , এবং তাদের পাতলা বাতাস থেকে বের করে দেয়নি, আমরা নিরাপদে বলতে পারি যে আমাদের মান সর্বোত্তমভাবে আমাদের প্রতিটি ঋণগ্রহীতার দ্বারা ঋণ পরিশোধের সম্ভাব্যতা অনুমান করার অনুমতি দেয়, কিন্তু যেহেতু আমরা অনুমান করতে সম্মত হয়েছি যে সহগ নির্ধারণ সমস্ত নিয়ম অনুসারে সম্পন্ন করা হয়েছিল, তারপরে আমরা তাই ধরে নেব - আমাদের সহগগুলি আমাদের সম্ভাব্যতার আরও ভাল অনুমান দিতে দেয় :)

যাইহোক, আমরা বিমুখ। এই বিভাগে আমাদের বুঝতে হবে কিভাবে ওজনের ভেক্টর নির্ধারণ করা হয় , যা প্রতিটি ঋণগ্রহীতার দ্বারা ঋণ পরিশোধের সম্ভাব্যতা মূল্যায়ন করার জন্য প্রয়োজনীয়।

আসুন আমরা সংক্ষিপ্তভাবে কি অস্ত্রাগারের সাথে সারসংক্ষেপ করি যা আমরা প্রতিকূলতার সন্ধান করি :

1. আমরা ধরে নিই যে লক্ষ্য পরিবর্তনশীল (পূর্বাভাস মান) এবং ফলাফলকে প্রভাবিতকারী ফ্যাক্টরের মধ্যে সম্পর্ক রৈখিক। এই কারণে এটি ব্যবহার করা হয় লিনিয়ার রিগ্রেশন ফাংশন প্রজাতি , যার লাইন অবজেক্ট (ক্লায়েন্টদের) ক্লাসে বিভক্ত করে и বা (ক্লায়েন্ট যারা ঋণ পরিশোধ করতে সক্ষম এবং যারা নয়)। আমাদের ক্ষেত্রে, সমীকরণের ফর্ম আছে .

2. আমরা ব্যবহার করি বিপরীত লগিট ফাংশন প্রজাতি একটি শ্রেণীর অন্তর্গত একটি বস্তুর সম্ভাব্যতা নির্ধারণ করতে .

3. আমরা আমাদের প্রশিক্ষণ সেটকে একটি সাধারণীকরণের বাস্তবায়ন হিসাবে বিবেচনা করি বার্নোলি স্কিম, অর্থাৎ, প্রতিটি বস্তুর জন্য একটি র্যান্ডম ভেরিয়েবল তৈরি হয়, যা সম্ভাব্যতা সহ (প্রতিটি বস্তুর জন্য নিজস্ব) মান 1 নেয় এবং সম্ভাব্যতা সহ - 0

4. আমরা জানি যে আমাদের কী বাড়াতে হবে নমুনা সম্ভাবনা ফাংশন গৃহীত কারণগুলি বিবেচনায় নেওয়া যাতে উপলব্ধ নমুনাটি সবচেয়ে যুক্তিযুক্ত হয়। অন্য কথায়, আমাদের এমন প্যারামিটারগুলি নির্বাচন করতে হবে যেখানে নমুনাটি সবচেয়ে যুক্তিযুক্ত হবে। আমাদের ক্ষেত্রে, নির্বাচিত প্যারামিটার হল ঋণ পরিশোধের সম্ভাবনা , যা ঘুরে অজানা সহগ উপর নির্ভর করে . তাই আমাদের ওজনের এমন একটি ভেক্টর খুঁজে বের করতে হবে , যেখানে নমুনার সম্ভাবনা সর্বাধিক হবে।

5. আমরা জানি কি সর্বোচ্চ করতে হবে নমুনা সম্ভাবনা ফাংশন আপনি ব্যবহার করতে পারেন সর্বাধিক সম্ভাবনা পদ্ধতি. এবং আমরা এই পদ্ধতির সাথে কাজ করার সমস্ত চতুর কৌশল জানি।

এইভাবে এটি একটি বহু-পদক্ষেপের পদক্ষেপে পরিণত হয় :)

এখন মনে রাখবেন যে নিবন্ধের একেবারে শুরুতে আমরা দুটি ধরণের ক্ষতি ফাংশন পেতে চেয়েছিলাম লজিস্টিক লস অবজেক্ট ক্লাস কিভাবে মনোনীত করা হয় তার উপর নির্ভর করে। এটি তাই ঘটেছে যে দুটি শ্রেণীর সাথে শ্রেণীবিভাগের সমস্যায়, শ্রেণীগুলিকে হিসাবে চিহ্নিত করা হয় и বা . স্বরলিপির উপর নির্ভর করে, আউটপুটে একটি সংশ্লিষ্ট ক্ষতি ফাংশন থাকবে।

কেস 1. বস্তুর শ্রেণীবিভাগ и

আগে, একটি নমুনার সম্ভাবনা নির্ণয় করার সময়, যেখানে ঋণগ্রহীতার ঋণ পরিশোধের সম্ভাবনা ফ্যাক্টর এবং প্রদত্ত সহগগুলির উপর ভিত্তি করে গণনা করা হয়েছিল। , আমরা সূত্র প্রয়োগ করেছি:

প্রকৃতপক্ষে অর্থ হল লজিস্টিক প্রতিক্রিয়া ফাংশন ওজনের একটি প্রদত্ত ভেক্টরের জন্য

তারপরে নিম্নলিখিত হিসাবে নমুনা সম্ভাবনা ফাংশন লেখা থেকে কিছুই আমাদের বাধা দেয় না:

এটি ঘটে যে কখনও কখনও কিছু নবীন বিশ্লেষকদের পক্ষে এই ফাংশনটি কীভাবে কাজ করে তা অবিলম্বে বুঝতে অসুবিধা হয়। আসুন 4টি সংক্ষিপ্ত উদাহরণ দেখি যা সবকিছু পরিষ্কার করবে:

1. যদি (অর্থাৎ, প্রশিক্ষণের নমুনা অনুসারে, বস্তুটি ক্লাস +1 এর অন্তর্গত), এবং আমাদের অ্যালগরিদম একটি শ্রেণীতে একটি বস্তুকে শ্রেণীবদ্ধ করার সম্ভাবনা নির্ধারণ করে 0.9 এর সমান, তাহলে নমুনার সম্ভাবনার এই অংশটি নিম্নরূপ গণনা করা হবে:

2. যদি এবং , তাহলে গণনাটি এরকম হবে:

3. যদি এবং , তাহলে গণনাটি এরকম হবে:

4. যদি এবং , তাহলে গণনাটি এরকম হবে:

এটা সুস্পষ্ট যে সম্ভাব্য ফাংশনটি 1 এবং 3 ক্ষেত্রে বা সাধারণ ক্ষেত্রে সর্বাধিক করা হবে - একটি ক্লাসে একটি বস্তু বরাদ্দ করার সম্ভাব্যতার সঠিকভাবে অনুমান করা মান সহ .

এই কারণে যে একটি ক্লাসে একটি বস্তু বরাদ্দ করার সম্ভাবনা নির্ধারণ করার সময় আমরা শুধুমাত্র সহগ জানি না , তারপর আমরা তাদের সন্ধান করব। উপরে উল্লিখিত হিসাবে, এটি একটি অপ্টিমাইজেশন সমস্যা যেখানে প্রথমে আমাদের ওজনের ভেক্টরের ক্ষেত্রে সম্ভাবনা ফাংশনের ডেরিভেটিভ খুঁজে বের করতে হবে . যাইহোক, প্রথমে নিজেদের জন্য কাজটি সরলীকরণ করা বোধগম্য হয়: আমরা লগারিদমের ডেরিভেটিভ খুঁজব সম্ভাবনা ফাংশন.

লগারিদমের পরে কেন, ইন লজিস্টিক ত্রুটি ফাংশন, আমরা থেকে চিহ্ন পরিবর্তন উপর . সবকিছুই সহজ, যেহেতু একটি মডেলের গুণমান মূল্যায়নের সমস্যায় এটি একটি ফাংশনের মান ছোট করার প্রথাগত, তাই আমরা অভিব্যক্তির ডান দিকটি দ্বারা গুণ করেছি এবং সেই অনুযায়ী, সর্বাধিক করার পরিবর্তে, এখন আমরা ফাংশনটি ছোট করি।

আসলে, এই মুহুর্তে, আপনার চোখের সামনে, ক্ষতির ফাংশনটি কঠোরভাবে উদ্ভূত হয়েছিল - লজিস্টিক লস দুটি ক্লাস সহ একটি প্রশিক্ষণ সেটের জন্য: и .

এখন, সহগ খুঁজে বের করতে, আমাদের শুধু ডেরিভেটিভ খুঁজে বের করতে হবে লজিস্টিক ত্রুটি ফাংশন এবং তারপর, সংখ্যাসূচক অপ্টিমাইজেশন পদ্ধতি ব্যবহার করে, যেমন গ্রেডিয়েন্ট ডিসেন্ট বা স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট, সবচেয়ে অনুকূল সহগ নির্বাচন করুন . কিন্তু, নিবন্ধের যথেষ্ট পরিমাণের কারণে, আপনার নিজের থেকে পার্থক্যটি চালানোর প্রস্তাব করা হয়েছে, অথবা সম্ভবত এই ধরনের বিস্তারিত উদাহরণ ছাড়াই অনেক পাটিগণিত সহ পরবর্তী নিবন্ধের জন্য এটি একটি বিষয় হবে।

কেস 2. বস্তুর শ্রেণীবিভাগ и

এখানে পদ্ধতি ক্লাসের মতই হবে и , কিন্তু পাথ নিজেই ক্ষতি ফাংশন আউটপুট লজিস্টিক লস, আরো অলঙ্কৃত হবে. চল শুরু করি. সম্ভাবনা ফাংশনের জন্য আমরা অপারেটর ব্যবহার করব "যদি... তাহলে..."... অর্থাৎ, যদি ম বস্তুটি ক্লাসের অন্তর্গত , তারপর নমুনার সম্ভাবনা গণনা করতে আমরা সম্ভাব্যতা ব্যবহার করি , যদি বস্তুটি ক্লাসের অন্তর্গত হয় , তারপর আমরা সম্ভাবনা মধ্যে প্রতিস্থাপন . এই সম্ভাবনা ফাংশন মত দেখায় কি:

এটা কিভাবে কাজ করে আমাদের আঙ্গুলের উপর বর্ণনা করা যাক। আসুন 4টি ক্ষেত্রে বিবেচনা করি:

1. যদি и , তাহলে নমুনা নেওয়ার সম্ভাবনা "যাবে"

2. যদি и , তাহলে নমুনা নেওয়ার সম্ভাবনা "যাবে"

3. যদি и , তাহলে নমুনা নেওয়ার সম্ভাবনা "যাবে"

4. যদি и , তাহলে নমুনা নেওয়ার সম্ভাবনা "যাবে"

এটা স্পষ্ট যে 1 এবং 3 ক্ষেত্রে, যখন অ্যালগরিদম দ্বারা সম্ভাব্যতা সঠিকভাবে নির্ধারণ করা হয়েছিল, সম্ভাবনা ফাংশন সর্বাধিক করা হবে, অর্থাৎ, আমরা যা পেতে চেয়েছিলাম ঠিক তাই। যাইহোক, এই পদ্ধতিটি বেশ কষ্টকর এবং পরবর্তীতে আমরা আরও কমপ্যাক্ট স্বরলিপি বিবেচনা করব। তবে প্রথমে, চিহ্নের পরিবর্তনের সাথে সম্ভাবনা ফাংশন লগারিদম করা যাক, যেহেতু এখন আমরা এটিকে মিনিমাইজ করব।

এর পরিবর্তে বিকল্প করা যাক অভিব্যক্তি :

আসুন সহজ গাণিতিক কৌশল ব্যবহার করে লগারিদমের অধীনে সঠিক শব্দটিকে সরল করা যাক এবং পান:

এখন সময় এসেছে অপারেটর থেকে পরিত্রাণের "যদি... তাহলে...". উল্লেখ্য যে যখন একটি বস্তু শ্রেণীর অন্তর্গত , তারপর লগারিদমের অধীনে অভিব্যক্তিতে, হর-এ, ক্ষমতায় উত্থাপিত , যদি বস্তুটি ক্লাসের অন্তর্গত হয় , তারপর $e$ পাওয়ারে উত্থাপিত হয় . অতএব, উভয় ক্ষেত্রে একত্রিত করে ডিগ্রির জন্য স্বরলিপি সরল করা যেতে পারে: । তারপর লজিস্টিক ত্রুটি ফাংশন ফর্ম নেবে:

লগারিদমের নিয়ম অনুসারে, আমরা ভগ্নাংশটিকে ঘুরিয়ে দিই এবং চিহ্নটি রাখি "লগারিদমের জন্য " (মাইনাস), আমরা পাই:

এখানে ক্ষতি ফাংশন লজিস্টিক ক্ষতি, যা ক্লাসে বরাদ্দ করা বস্তুর সাথে প্রশিক্ষণ সেটে ব্যবহৃত হয়: и .

ঠিক আছে, এই মুহুর্তে আমি আমার ছুটি নিয়েছি এবং আমরা নিবন্ধটি শেষ করছি।

লেখকের আগের কাজটি হল "ম্যাট্রিক্স ফর্মে লিনিয়ার রিগ্রেশন সমীকরণ নিয়ে আসা"

সহায়ক উপকরণ

1। সাহিত্য

1) ফলিত রিগ্রেশন বিশ্লেষণ / N. Draper, G. Smith - 2nd ed. – M.: Finance and Statistics, 1986 (ইংরেজি থেকে অনুবাদ)

2) সম্ভাব্যতা তত্ত্ব এবং গাণিতিক পরিসংখ্যান / V.E. Gmurman - 9ম সংস্করণ। - এম.: উচ্চ বিদ্যালয়, 2003

3) সম্ভাব্যতা তত্ত্ব / N.I. চেরনোভা - নভোসিবিরস্ক: নভোসিবিরস্ক স্টেট ইউনিভার্সিটি, 2007

4) ব্যবসায়িক বিশ্লেষণ: ডেটা থেকে জ্ঞান পর্যন্ত / Paklin N. B., Oreshkov V. I. - 2nd Ed. — সেন্ট পিটার্সবার্গ: পিটার, ২০১৩

5) ডেটা বিজ্ঞান স্ক্র্যাচ থেকে ডেটা বিজ্ঞান / জোয়েল গ্রাস - সেন্ট পিটার্সবার্গ: BHV Petersburg, 2017

6) ডেটা সায়েন্স বিশেষজ্ঞদের জন্য ব্যবহারিক পরিসংখ্যান / পি. ব্রুস, ই. ব্রুস - সেন্ট পিটার্সবার্গ: BHV Petersburg, 2018

2. লেকচার, কোর্স (ভিডিও)

1) সর্বাধিক সম্ভাবনা পদ্ধতির সারাংশ, বরিস ডেমেশেভ

2) ক্রমাগত ক্ষেত্রে সর্বাধিক সম্ভাবনা পদ্ধতি, বরিস Demeshev

3) পণ্য সরবরাহ সংশ্লেষণ. ওডিএস কোর্স খুলুন, ইউরি কাশনিটস্কি

4) লেকচার 4, ইভজেনি সোকোলভ (47 মিনিটের ভিডিও থেকে)

5) লজিস্টিক রিগ্রেশন, Vyacheslav Vorontsov

3. ইন্টারনেট উত্স

1) রৈখিক শ্রেণীবিভাগ এবং রিগ্রেশন মডেল

2) লজিস্টিক রিগ্রেশন কিভাবে সহজে বুঝবেন

3) লজিস্টিক ত্রুটি ফাংশন

4) স্বাধীন পরীক্ষা এবং বার্নোলি সূত্র

5) MMP এর ব্যালাড

6) সর্বাধিক সম্ভাবনা পদ্ধতি

7) লগারিদমের সূত্র এবং বৈশিষ্ট্য

8) কেন সংখ্যা ?

9) লিনিয়ার ক্লাসিফায়ার

উত্স: www.habr.com