पायथन, अॅनाकोंडा आणि इतर सरपटणाऱ्या प्राण्यांशिवाय मशीन लर्निंग

नाही, नक्कीच, मी गंभीर नाही. एखादा विषय किती प्रमाणात सोपा करता येईल याची मर्यादा असली पाहिजे. परंतु पहिल्या टप्प्यासाठी, मूलभूत संकल्पना समजून घेणे आणि विषय पटकन "प्रवेश करणे" हे स्वीकार्य असू शकते. आम्ही शेवटी या सामग्रीला योग्य नाव कसे द्यावे याबद्दल चर्चा करू (पर्याय: "डमीसाठी मशीन लर्निंग", "डायपरमधून डेटा विश्लेषण", "लहान मुलांसाठी अल्गोरिदम").

मुद्द्याला धरून. डेटाचे विश्लेषण करताना वेगवेगळ्या मशीन लर्निंग पद्धतींमध्ये होणाऱ्या प्रक्रियांचे व्हिज्युअलायझेशन आणि व्हिज्युअल प्रतिनिधित्व करण्यासाठी एमएस एक्सेलमध्ये अनेक ऍप्लिकेशन प्रोग्राम्स लिहिले. पाहणे म्हणजे विश्वास ठेवणे होय, जसे की संस्कृतीचे धारक म्हणतात, ज्याने यापैकी बहुतेक पद्धती विकसित केल्या आहेत (तसे, त्या सर्व नाही. सर्वात शक्तिशाली "सपोर्ट वेक्टर मशीन", किंवा एसव्हीएम, सपोर्ट वेक्टर मशीनचा शोध आहे. आमचे देशबांधव व्लादिमीर वापनिक, मॉस्को इन्स्टिट्यूट ऑफ मॅनेजमेंट. 1963, तसे! आता मात्र, तो यूएसएमध्ये शिकवतो आणि काम करतो).

पुनरावलोकनासाठी तीन फायली

1. K- म्हणजे क्लस्टरिंग

या प्रकारच्या समस्या "अनियंत्रित शिक्षण" चा संदर्भ घेतात, जेव्हा आम्हाला प्रारंभिक डेटा आगाऊ ज्ञात असलेल्या विशिष्ट श्रेणींमध्ये विभागणे आवश्यक असते, परंतु आमच्याकडे "योग्य उत्तरे" ची संख्या नसते; आम्ही ती डेटामधूनच काढली पाहिजेत . बुबुळाच्या फुलांच्या उपप्रजाती शोधण्याची मूलभूत शास्त्रीय समस्या (रोनाल्ड फिशर, 1936!), जी या ज्ञानाच्या क्षेत्राची पहिली चिन्हे मानली जाते, ती केवळ याच स्वरूपाची आहे.

पद्धत अगदी सोपी आहे. आपल्याकडे वेक्टर (N संख्यांचा संच) म्हणून दर्शविलेल्या वस्तूंचा संच आहे. इरिसेसमध्ये, हे 4 संख्यांचे संच आहेत जे फुलांचे वैशिष्ट्य दर्शवतात: अनुक्रमे पेरिअनथच्या बाह्य आणि आतील लोबची लांबी आणि रुंदी (फिशर च्या irises - विकिपीडिया). नेहमीच्या कार्टेशियन मेट्रिकला वस्तूंमधील अंतर किंवा समीपतेचे माप म्हणून निवडले जाते.

पुढे, क्लस्टर केंद्रे यादृच्छिकपणे निवडली जातात (किंवा यादृच्छिकपणे नाही, खाली पहा), आणि प्रत्येक ऑब्जेक्टपासून क्लस्टर केंद्रापर्यंतचे अंतर मोजले जाते. दिलेल्या पुनरावृत्ती चरणावरील प्रत्येक ऑब्जेक्ट जवळच्या केंद्राशी संबंधित म्हणून चिन्हांकित केले जाते. मग प्रत्येक क्लस्टरचे केंद्र त्याच्या सदस्यांच्या निर्देशांकांच्या अंकगणितीय सरासरीमध्ये हस्तांतरित केले जाते (भौतिकशास्त्राच्या सादृश्यतेनुसार, त्याला "वस्तुमानाचे केंद्र" देखील म्हटले जाते), आणि प्रक्रिया पुन्हा केली जाते.

प्रक्रिया जोरदार त्वरीत एकत्रित होते. दोन आयामांमधील चित्रांमध्ये ते असे दिसते:

1. विमानावरील बिंदूंचे प्रारंभिक यादृच्छिक वितरण आणि क्लस्टर्सची संख्या

2. क्लस्टर केंद्रे निर्दिष्ट करणे आणि त्यांच्या क्लस्टर्सना बिंदू नियुक्त करणे

3. क्लस्टर केंद्रांचे निर्देशांक हस्तांतरित करणे, केंद्रे स्थिर होईपर्यंत बिंदूंच्या संलग्नतेची पुनर्गणना करणे. क्लस्टर सेंटरचा मार्ग त्याच्या अंतिम स्थितीकडे सरकताना दिसत आहे.

कोणत्याही वेळी, तुम्ही नवीन क्लस्टर केंद्रे सेट करू शकता (बिंदूंचे नवीन वितरण न करता!) आणि पहा की विभाजन प्रक्रिया नेहमीच अस्पष्ट नसते. गणितीयदृष्ट्या, याचा अर्थ असा आहे की फंक्शन ऑप्टिमाइझ करण्यासाठी (बिंदूपासून त्यांच्या क्लस्टर्सच्या केंद्रापर्यंतच्या वर्ग अंतरांची बेरीज), आम्हाला जागतिक नाही, परंतु स्थानिक किमान आढळते. या समस्येवर एकतर सुरुवातीच्या क्लस्टर केंद्रांच्या गैर-यादृच्छिक निवडीद्वारे किंवा संभाव्य केंद्रांची गणना करून मात केली जाऊ शकते (कधीकधी त्यांना एका बिंदूवर ठेवणे फायद्याचे असते, तर किमान अशी हमी असते की आम्ही रिक्त होणार नाही. क्लस्टर्स). कोणत्याही परिस्थितीत, मर्यादित सेटमध्ये नेहमीच इन्फिमम असतो.

तुम्ही या दुव्यावर या फाईलसह खेळू शकता (मॅक्रो समर्थन सक्षम करण्यास विसरू नका. फायली व्हायरससाठी स्कॅन केल्या गेल्या आहेत)

विकिपीडियावरील पद्धतीचे वर्णन - k- म्हणजे पद्धत

2. बहुपदी आणि डेटा ब्रेकडाउन द्वारे अंदाजे. पुन्हा प्रशिक्षण

उल्लेखनीय शास्त्रज्ञ आणि डेटा विज्ञान लोकप्रिय करणारे के.व्ही. व्होरोंत्सोव्ह मशीन लर्निंग पद्धतींचे "बिंदूंद्वारे वक्र रेखाटण्याचे विज्ञान" असे थोडक्यात वर्णन करतात. या उदाहरणात, आपण किमान वर्ग पद्धती वापरून डेटामध्ये एक नमुना शोधू.

स्त्रोत डेटाला "प्रशिक्षण" आणि "नियंत्रण" मध्ये विभाजित करण्याचे तंत्र तसेच डेटामध्ये पुन्हा प्रशिक्षण देणे किंवा "पुन्हा समायोजित करणे" यासारखी घटना दर्शविली आहे. योग्य अंदाजानुसार, आम्हाला प्रशिक्षण डेटावर एक विशिष्ट त्रुटी आणि नियंत्रण डेटावर थोडी मोठी त्रुटी असेल. चुकीचे असल्यास, याचा परिणाम प्रशिक्षण डेटामध्ये अचूक समायोजन आणि चाचणी डेटामध्ये एक मोठी त्रुटी आहे.

(हे सुप्रसिद्ध सत्य आहे की N बिंदूंद्वारे आपण N-1 व्या अंशाचा एकच वक्र काढू शकतो आणि सर्वसाधारण बाबतीत ही पद्धत इच्छित परिणाम देत नाही. विकिपीडियावर लॅग्रेंज इंटरपोलेशन बहुपद)

1. प्रारंभिक वितरण सेट करा

2. आम्ही 70 ते 30 च्या गुणोत्तरामध्ये "प्रशिक्षण" आणि "नियंत्रण" मध्ये गुणांची विभागणी करतो.

3. आम्ही प्रशिक्षण बिंदूंच्या बाजूने अंदाजे वक्र काढतो, आम्ही नियंत्रण डेटावर दिलेली त्रुटी पाहतो

4. आम्ही प्रशिक्षण बिंदूंद्वारे अचूक वक्र काढतो आणि आम्हाला नियंत्रण डेटावर एक भयानक त्रुटी दिसते (आणि प्रशिक्षण डेटावर शून्य, परंतु मुद्दा काय आहे?).

अर्थातच, "प्रशिक्षण" आणि "नियंत्रण" उपसमूहांमध्ये एकाच विभाजनासह सर्वात सोपा पर्याय दर्शविला आहे; सर्वसाधारण बाबतीत, गुणांकांच्या सर्वोत्तम समायोजनासाठी हे अनेक वेळा केले जाते.

अँटीव्हायरसने स्कॅन केलेली फाइल येथे उपलब्ध आहे. योग्य ऑपरेशनसाठी मॅक्रो सक्षम करा

3. ग्रेडियंट डिसेंट आणि त्रुटी बदलाची गतिशीलता

एक 4-मितीय केस आणि रेखीय प्रतिगमन असेल. ग्रेडियंट डिसेंट पद्धतीचा वापर करून रेखीय प्रतिगमन गुणांक टप्प्याटप्प्याने निर्धारित केले जातील, सुरुवातीला सर्व गुणांक शून्य असतात. एक वेगळा आलेख त्रुटी कमी करण्याची गतिशीलता दर्शवितो कारण गुणांक अधिकाधिक अचूकपणे समायोजित केले जातात. सर्व चार द्विमितीय अंदाज पाहणे शक्य आहे.

जर तुम्ही ग्रेडियंट डिसेंट पायरी खूप मोठी सेट केली असेल, तर तुम्ही हे पाहू शकता की प्रत्येक वेळी आम्ही किमान वगळू आणि मोठ्या संख्येने पायऱ्यांसह निकालावर पोहोचू, जरी शेवटी आम्ही पोहोचू (जोपर्यंत आम्ही उतरत्या पायरीला उशीर करत नाही. बरेच - नंतर अल्गोरिदम "कुदळात" जाईल). आणि पुनरावृत्ती चरणावर अवलंबून त्रुटीचा आलेख गुळगुळीत होणार नाही, परंतु "झटकेदार" असेल.

1. डेटा व्युत्पन्न करा, ग्रेडियंट डिसेंट पायरी सेट करा

2. ग्रेडियंट डिसेंट पायरीच्या योग्य निवडीसह, आम्ही सहजतेने आणि त्वरीत किमान गाठू

3. जर ग्रेडियंट डिसेंट पायरी चुकीची निवडली असेल, तर आम्ही कमाल ओव्हरशूट करतो, एरर आलेख "झटकेदार" आहे, अभिसरण मोठ्या संख्येने पावले उचलते

и

4. जर आपण ग्रेडियंट डिसेंट पायरी पूर्णपणे चुकीची निवडली, तर आपण किमान पासून दूर जाऊ

(चित्रांमध्ये दर्शविलेल्या ग्रेडियंट डिसेंट स्टेप व्हॅल्यूचा वापर करून प्रक्रिया पुनरुत्पादित करण्यासाठी, "संदर्भ डेटा" बॉक्स तपासा).

फाइल या दुव्यावर आहे, तुम्हाला मॅक्रो सक्षम करणे आवश्यक आहे, कोणतेही व्हायरस नाहीत.

आदरणीय समाजाच्या मते, साहित्य सादर करण्याची अशी सरलीकरण आणि पद्धत मान्य आहे का? लेखाचे इंग्रजीत भाषांतर करणे योग्य आहे का?

स्त्रोत: www.habr.com