পাইথন, অ্যানাকোন্ডা এবং অন্যান্য ক্রিপ ছাড়া মেশিন লার্নিং

না, ঠিক আছে, অবশ্যই আমি সিরিয়াস নই। বিষয়টিকে কতটুকু সরলীকরণ করা সম্ভব তার একটা সীমা থাকতে হবে। তবে প্রথম পর্যায়ে, প্রাথমিক ধারণাগুলি বোঝা এবং দ্রুত বিষয় "প্রবেশ" করা, এটি গ্রহণযোগ্য হতে পারে। এবং কীভাবে এই উপাদানটির সঠিক নামকরণ করা যায় (বিকল্পগুলি: "ডামিগুলির জন্য মেশিন লার্নিং", "ডায়পার থেকে ডেটা বিশ্লেষণ", "ছোটতমগুলির জন্য অ্যালগরিদম"), আমরা শেষে আলোচনা করব।

ব্যবসা করতে. ডেটা বিশ্লেষণ করার সময় বিভিন্ন মেশিন লার্নিং পদ্ধতিতে ঘটে যাওয়া প্রক্রিয়াগুলি কল্পনা এবং কল্পনা করার জন্য এমএস এক্সেলে বেশ কয়েকটি অ্যাপ্লিকেশন প্রোগ্রাম লিখেছেন। দেখে শেষ পর্যন্ত বিশ্বাস করা হচ্ছে, যে সংস্কৃতির ধারক-বাহক এই পদ্ধতিগুলির অধিকাংশই বিকশিত করেছে (যাই হোক, সবগুলো নয়। সবচেয়ে শক্তিশালী "সাপোর্ট ভেক্টর মেশিন" বা এসভিএম, সাপোর্ট ভেক্টর মেশিনের উদ্ভাবন আমাদের স্বদেশী ভ্লাদিমির ভ্যাপনিক, মস্কো ইনস্টিটিউট অফ ম্যানেজমেন্ট। 1963, যাইহোক! এখন, তবে, তিনি মার্কিন যুক্তরাষ্ট্রে পড়ান এবং কাজ করেন)।

পর্যালোচনার জন্য তিনটি ফাইল

1. k-এর মাধ্যমে ক্লাস্টারিং

এই ধরণের সমস্যাগুলি "অনিয়ন্ত্রিত শিক্ষা" বোঝায়, যখন আমাদের উত্স ডেটাগুলিকে কিছু পূর্ব-পরিচিত সংখ্যক বিভাগে ভাঙ্গতে হয়, কিন্তু একই সময়ে আমাদের কাছে "সঠিক উত্তরগুলির" সংখ্যা নেই, আমাদের অবশ্যই সেগুলি থেকে বের করতে হবে ডেটা নিজেই। আইরিস ফুলের উপ-প্রজাতি (Ronald Fisher, 1936!), যা এই জ্ঞানের ক্ষেত্রের প্রথম চিহ্ন হিসাবে বিবেচিত হয়, তা এই ধরনের প্রকৃতির।

পদ্ধতিটি বেশ সহজ। আমাদের কাছে ভেক্টর (N সংখ্যার সেট) হিসাবে উপস্থাপিত বস্তুর একটি সেট রয়েছে। আইরিসে, এগুলি 4টি সংখ্যার সেট যা ফুলের বৈশিষ্ট্য: বাইরের এবং ভিতরের পেরিয়ান্থ অংশগুলির দৈর্ঘ্য এবং প্রস্থ, যথাক্রমে (ফিশার'স আইরিস - উইকিপিডিয়া।) দূরত্ব বা বস্তুর মধ্যে নৈকট্যের পরিমাপ হিসাবে, স্বাভাবিক কার্টেসিয়ান মেট্রিকটি বেছে নেওয়া হয়।

আরও, নির্বিচারে (বা নির্বিচারে নয়, নীচে দেখুন) ক্লাস্টারগুলির কেন্দ্রগুলি নির্বাচন করা হয় এবং প্রতিটি বস্তু থেকে ক্লাস্টারগুলির কেন্দ্রগুলির দূরত্ব গণনা করা হয়। একটি প্রদত্ত পুনরাবৃত্তি ধাপে প্রতিটি বস্তু নিকটতম কেন্দ্রের অন্তর্গত হিসাবে চিহ্নিত করা হয়। তারপরে প্রতিটি ক্লাস্টারের কেন্দ্রটি তার সদস্যদের স্থানাঙ্কগুলির গাণিতিক গড়ে স্থানান্তরিত হয় (পদার্থবিজ্ঞানের সাথে সাদৃশ্য অনুসারে, এটিকে "ভরের কেন্দ্র"ও বলা হয়), এবং পদ্ধতিটি পুনরাবৃত্তি করা হয়।

প্রক্রিয়াটি মোটামুটি দ্রুত রূপান্তরিত হয়। দুটি মাত্রার ছবিগুলিতে এটি এইরকম দেখায়:

1. সমতলে পয়েন্টের প্রাথমিক এলোমেলো বিতরণ এবং ক্লাস্টারের সংখ্যা

2. ক্লাস্টারগুলির কেন্দ্র নির্ধারণ করা এবং তাদের ক্লাস্টারগুলিতে পয়েন্ট নির্ধারণ করা

3. ক্লাস্টার কেন্দ্রগুলির স্থানাঙ্ক স্থানান্তর করা, কেন্দ্রগুলি স্থিতিশীল না হওয়া পর্যন্ত পয়েন্টগুলির অন্তর্গত পুনর্গণনা করা। চূড়ান্ত অবস্থানে ক্লাস্টার কেন্দ্রের আন্দোলনের গতিপথ দৃশ্যমান।

যে কোনো সময়, আপনি নতুন ক্লাস্টার কেন্দ্র সেট করতে পারেন (নতুন বিন্দুর বন্টন না করে!) এবং দেখুন যে পার্টিশন প্রক্রিয়া সবসময় দ্ব্যর্থহীন নয়। গাণিতিকভাবে, এর অর্থ হল অপ্টিমাইজ করা ফাংশন (বিন্দু থেকে তাদের ক্লাস্টারের কেন্দ্রগুলিতে বর্গ দূরত্বের যোগফল) আমরা একটি বিশ্বব্যাপী নয়, তবে একটি স্থানীয় সর্বনিম্ন খুঁজে পাই। এই সমস্যাটি হয় ক্লাস্টারগুলির প্রাথমিক কেন্দ্রগুলির একটি অ-এলোমেলো পছন্দ দ্বারা বা সম্ভাব্য কেন্দ্রগুলির গণনার দ্বারা কাটিয়ে উঠতে পারে (কখনও কখনও এটি একটি বিন্দুতে সঠিকভাবে স্থাপন করা সুবিধাজনক, তারপরে অন্তত একটি গ্যারান্টি রয়েছে যে আমরা তা করব না। খালি ক্লাস্টার পান)। যাই হোক না কেন, একটি সীমিত সেটের সর্বদা একটি ইনফিমাম থাকে।

আপনি এই লিঙ্কে এই ফাইলের সাথে খেলতে পারেন (ম্যাক্রো সমর্থন সক্ষম করতে ভুলবেন না। ফাইলগুলি ভাইরাসের জন্য পরীক্ষা করা হয়েছে)

উইকিপিডিয়া-তে পদ্ধতির বর্ণনা k- মানে পদ্ধতি

2. বহুপদ দ্বারা আনুমানিক এবং ডেটা ভাঙ্গন। পুনঃপ্রশিক্ষণ

একজন অসাধারণ বিজ্ঞানী এবং ডেটা সায়েন্সের জনপ্রিয়তাকারী কে.ভি. Vorontsov সংক্ষেপে মেশিন লার্নিং পদ্ধতি সম্পর্কে "বিন্দুর মাধ্যমে বক্ররেখা আঁকার বিজ্ঞান" হিসাবে কথা বলে। এই উদাহরণে, আমরা সর্বনিম্ন বর্গ পদ্ধতি ব্যবহার করে ডেটাতে একটি প্যাটার্ন খুঁজে পাব।

প্রাথমিক ডেটাকে "প্রশিক্ষণ" এবং "নিয়ন্ত্রণ" এ বিভক্ত করার কৌশল, সেইসাথে অতিরিক্ত ফিটিং বা ডেটাতে "পুনরায় সামঞ্জস্য" এর মতো একটি ঘটনা দেখানো হয়েছে। সঠিক আনুমানিকতার সাথে, আমাদের প্রশিক্ষণ ডেটাতে কিছু ত্রুটি এবং নিয়ন্ত্রণ ডেটাতে সামান্য বড় ত্রুটি থাকবে। যদি ভুল হয়, প্রশিক্ষণের ডেটাতে সূক্ষ্ম সমন্বয় এবং নিয়ন্ত্রণের ক্ষেত্রে একটি বিশাল ত্রুটি।

(এটি একটি সুপরিচিত সত্য যে N পয়েন্টগুলির মাধ্যমে N-1th ডিগ্রির একটি একক বক্ররেখা আঁকা সম্ভব, এবং এই পদ্ধতিটি সাধারণত পছন্দসই ফলাফল দেয় না। উইকিপিডিয়ায় ল্যাগ্রেঞ্জ ইন্টারপোলেশন বহুপদী)

1. প্রাথমিক বিতরণ সেট করুন

2. আমরা পয়েন্টগুলিকে 70 থেকে 30 অনুপাতে "প্রশিক্ষণ" এবং "নিয়ন্ত্রণ" এ বিভক্ত করি।

3. আমরা প্রশিক্ষণ পয়েন্ট বরাবর একটি আনুমানিক বক্ররেখা আঁকি, আমরা এটি নিয়ন্ত্রণ ডেটাতে যে ত্রুটিটি দেয় তা দেখতে পাই

4. আমরা প্রশিক্ষণের পয়েন্টগুলির মাধ্যমে একটি সঠিক বক্ররেখা আঁকি, এবং আমরা নিয়ন্ত্রণ ডেটাতে একটি ভয়ঙ্কর ত্রুটি দেখতে পাই (এবং প্রশিক্ষণের ক্ষেত্রে শূন্য, কিন্তু বিন্দু কী?)।

অবশ্যই, সহজতম সংস্করণটি "প্রশিক্ষণ" এবং "নিয়ন্ত্রণ" উপসেটে একটি একক পার্টিশনের সাথে দেখানো হয়েছে; সাধারণ ক্ষেত্রে, সহগগুলির সর্বোত্তম সমন্বয়ের জন্য এটি বারবার করা হয়।

ফাইল এখানে উপলব্ধ, অ্যান্টিভাইরাস দ্বারা চেক. সঠিকভাবে কাজ করতে ম্যাক্রো সক্ষম করুন

3. গ্রেডিয়েন্ট ডিসেন্ট এবং এরর ডাইনামিকস

এখানে একটি 4-মাত্রিক কেস এবং লিনিয়ার রিগ্রেশন থাকবে। লিনিয়ার রিগ্রেশন সহগ ধাপে ধাপে গ্রেডিয়েন্ট ডিসেন্ট পদ্ধতি ব্যবহার করে নির্ধারণ করা হবে, প্রাথমিকভাবে সমস্ত সহগ শূন্য। একটি পৃথক গ্রাফ ত্রুটির গতিশীলতা দেখায় কারণ সহগগুলি আরও বেশি করে সূক্ষ্ম-সুরক্ষিত হয়৷ চারটি 2D প্রজেকশন দেখা সম্ভব।

যদি আমরা গ্রেডিয়েন্ট ডিসেন্ট স্টেপটি খুব বড় সেট করি, তাহলে এটা পরিষ্কার যে প্রতিবার আমরা ন্যূনতম এড়িয়ে যাব এবং আরও ধাপে ফলাফলে পৌঁছাব, যদিও শেষ পর্যন্ত, আমরা এখনও আসব (যদি না আমরা ডিসেন্ট স্টেপটি খুব বেশি দেরি করি - তারপর অ্যালগরিদম "বিশৃঙ্খলায়" যাবে)। এবং পুনরাবৃত্তি ধাপে ত্রুটির নির্ভরতার গ্রাফটি মসৃণ হবে না, তবে "টুইচি" হবে।

1. ডেটা জেনারেট করুন, গ্রেডিয়েন্ট ডিসেন্ট স্টেপ সেট করুন

2. গ্রেডিয়েন্ট ডিসেন্ট ধাপের সঠিক নির্বাচনের সাথে, আমরা মসৃণভাবে এবং দ্রুত যথেষ্ট পরিমাণে ন্যূনতম

3. যদি গ্রেডিয়েন্ট ডিসেন্ট ধাপটি ভুলভাবে বেছে নেওয়া হয়, তাহলে আমরা সর্বোচ্চটি এড়িয়ে যাই, ত্রুটির গ্রাফটি "টুইচি" হয়, কনভারজেন্স অনেক বেশি সংখ্যক পদক্ষেপ নেয়

и

4. গ্রেডিয়েন্ট ডিসেন্ট ধাপের সম্পূর্ণ ভুল নির্বাচনের সাথে, আমরা ন্যূনতম থেকে দূরে সরে যাই

(ছবিগুলিতে দেখানো গ্রেডিয়েন্ট ডিসেন্ট ধাপের মানগুলিতে প্রক্রিয়াটি পুনরুত্পাদন করতে, "রেফারেন্স ডেটা" বাক্সে টিক দিন)।

ফাইল - এই লিঙ্কটি অনুসরণ করুন, আপনাকে ম্যাক্রো সক্ষম করতে হবে, কোনও ভাইরাস নেই।

সম্মানিত সম্প্রদায়ের মতে, উপাদান উপস্থাপনের এমন সরলীকরণ ও পদ্ধতি কি গ্রহণযোগ্য? নিবন্ধটি ইংরেজিতে অনুবাদ করা উচিত?

উত্স: www.habr.com