पायथन, एनाकोंडा और अन्य सरीसृपों के बिना मशीन लर्निंग

नहीं, बिल्कुल, मैं गंभीर नहीं हूँ। किसी विषय को किस हद तक सरल बनाना संभव है इसकी एक सीमा होनी चाहिए। लेकिन पहले चरण के लिए, बुनियादी अवधारणाओं को समझना और विषय में तुरंत "प्रवेश" करना, यह स्वीकार्य हो सकता है। हम अंत में चर्चा करेंगे कि इस सामग्री का सही नाम कैसे रखा जाए (विकल्प: "डम्मीज़ के लिए मशीन लर्निंग", "डायपर से डेटा विश्लेषण", "छोटों के लिए एल्गोरिदम")।

मुद्दे पर। डेटा का विश्लेषण करते समय विभिन्न मशीन लर्निंग विधियों में होने वाली प्रक्रियाओं के विज़ुअलाइज़ेशन और दृश्य प्रतिनिधित्व के लिए एमएस एक्सेल में कई एप्लिकेशन प्रोग्राम लिखे। देखना, आखिरकार, विश्वास करना है, जैसा कि संस्कृति के वाहक कहते हैं, जिसने इनमें से अधिकांश तरीकों को विकसित किया (वैसे, सभी को नहीं। सबसे शक्तिशाली "सपोर्ट वेक्टर मशीन", या एसवीएम, सपोर्ट वेक्टर मशीन का आविष्कार है हमारे हमवतन व्लादिमीर वापनिक, मॉस्को इंस्टीट्यूट ऑफ मैनेजमेंट। 1963, वैसे! अब, हालांकि, वह यूएसए में पढ़ाते हैं और काम करते हैं)।

समीक्षा हेतु तीन फ़ाइलें

1. K- का अर्थ है क्लस्टरिंग

इस प्रकार की समस्याएं "अपर्यवेक्षित शिक्षण" को संदर्भित करती हैं, जब हमें प्रारंभिक डेटा को पहले से ज्ञात श्रेणियों की एक निश्चित संख्या में विभाजित करने की आवश्यकता होती है, लेकिन हमारे पास "सही उत्तर" की कोई संख्या नहीं होती है; हमें उन्हें डेटा से ही निकालना होगा . आईरिस फूलों की उप-प्रजातियाँ खोजने की मौलिक शास्त्रीय समस्या (रोनाल्ड फिशर, 1936!), जिसे ज्ञान के इस क्षेत्र का पहला संकेत माना जाता है, बस इसी प्रकृति की है।

विधि काफी सरल है. हमारे पास वेक्टर (एन संख्याओं के सेट) के रूप में दर्शाई गई वस्तुओं का एक सेट है। आईरिस में, ये 4 संख्याओं के सेट हैं जो फूल की विशेषता बताते हैं: पेरिंथ के बाहरी और आंतरिक लोब की लंबाई और चौड़ाई, क्रमशः (फिशर की जलन - विकिपीडिया). सामान्य कार्टेशियन मीट्रिक को वस्तुओं के बीच की दूरी या निकटता के माप के रूप में चुना जाता है।

इसके बाद, क्लस्टर केंद्रों को यादृच्छिक रूप से चुना जाता है (या यादृच्छिक रूप से नहीं, नीचे देखें), और प्रत्येक ऑब्जेक्ट से क्लस्टर केंद्रों की दूरी की गणना की जाती है। किसी दिए गए पुनरावृत्ति चरण में प्रत्येक वस्तु को निकटतम केंद्र से संबंधित के रूप में चिह्नित किया जाता है। फिर प्रत्येक क्लस्टर के केंद्र को उसके सदस्यों के निर्देशांक के अंकगणितीय माध्य में स्थानांतरित कर दिया जाता है (भौतिकी के अनुरूप, इसे "द्रव्यमान का केंद्र" भी कहा जाता है), और प्रक्रिया दोहराई जाती है।

यह प्रक्रिया काफी तेजी से परिवर्तित होती है। तस्वीरों में दो आयामों में यह इस तरह दिखता है:

1. समतल पर बिंदुओं का प्रारंभिक यादृच्छिक वितरण और समूहों की संख्या

2. क्लस्टर केंद्रों को निर्दिष्ट करना और उनके क्लस्टरों को अंक निर्दिष्ट करना

3. क्लस्टर केंद्रों के निर्देशांक को स्थानांतरित करना, केंद्रों के स्थिर होने तक बिंदुओं की संबद्धता की पुनर्गणना करना। क्लस्टर केंद्र का अपनी अंतिम स्थिति की ओर बढ़ने का प्रक्षेप पथ दिखाई देता है।

किसी भी समय, आप नए क्लस्टर केंद्र सेट कर सकते हैं (अंकों का नया वितरण उत्पन्न किए बिना!) और देखें कि विभाजन प्रक्रिया हमेशा स्पष्ट नहीं होती है। गणितीय रूप से, इसका मतलब यह है कि फ़ंक्शन को अनुकूलित करने के लिए (बिंदुओं से उनके समूहों के केंद्रों तक वर्ग दूरी का योग), हम एक वैश्विक नहीं, बल्कि एक स्थानीय न्यूनतम पाते हैं। इस समस्या को या तो प्रारंभिक क्लस्टर केंद्रों की गैर-यादृच्छिक पसंद से, या संभावित केंद्रों की गणना करके दूर किया जा सकता है (कभी-कभी उन्हें बिल्कुल किसी एक बिंदु पर रखना फायदेमंद होता है, तो कम से कम एक गारंटी है कि हम खाली नहीं होंगे क्लस्टर)। किसी भी स्थिति में, एक परिमित समुच्चय में हमेशा एक अनंत होता है।

आप इस लिंक पर इस फ़ाइल के साथ खेल सकते हैं (मैक्रो समर्थन सक्षम करना न भूलें। फ़ाइलें वायरस के लिए स्कैन की गई हैं)

विकिपीडिया पर विधि का विवरण - k-साधन विधि

2. बहुपदों द्वारा सन्निकटन और डेटा विश्लेषण। पुनर्प्रशिक्षण

उल्लेखनीय वैज्ञानिक और डेटा विज्ञान को लोकप्रिय बनाने वाले के.वी. वोरोत्सोव ने संक्षेप में मशीन सीखने के तरीकों का वर्णन "बिंदुओं के माध्यम से वक्र बनाने का विज्ञान" के रूप में किया है। इस उदाहरण में, हम न्यूनतम वर्ग विधि का उपयोग करके डेटा में एक पैटर्न पाएंगे।

स्रोत डेटा को "प्रशिक्षण" और "नियंत्रण" में विभाजित करने की तकनीक को दिखाया गया है, साथ ही डेटा को पुनः प्रशिक्षित करने, या "पुनः समायोजित करने" जैसी घटना भी दिखाई गई है। सही अनुमान के साथ, हमें प्रशिक्षण डेटा पर एक निश्चित त्रुटि और नियंत्रण डेटा पर थोड़ी बड़ी त्रुटि होगी। यदि गलत है, तो इसके परिणामस्वरूप प्रशिक्षण डेटा में सटीक समायोजन होता है और परीक्षण डेटा में भारी त्रुटि होती है।

(यह एक सर्वविदित तथ्य है कि एन बिंदुओं के माध्यम से कोई एन-1 डिग्री का एकल वक्र खींच सकता है, और सामान्य स्थिति में यह विधि वांछित परिणाम नहीं देती है। विकिपीडिया पर लैग्रेंज इंटरपोलेशन बहुपद)

1. प्रारंभिक वितरण सेट करें

2. हम अंकों को 70 से 30 के अनुपात में "प्रशिक्षण" और "नियंत्रण" में विभाजित करते हैं।

3. हम प्रशिक्षण बिंदुओं के साथ अनुमानित वक्र बनाते हैं, हम नियंत्रण डेटा पर यह त्रुटि देखते हैं

4. हम प्रशिक्षण बिंदुओं के माध्यम से एक सटीक वक्र बनाते हैं, और हमें नियंत्रण डेटा पर एक भयानक त्रुटि दिखाई देती है (और प्रशिक्षण डेटा पर शून्य, लेकिन बात क्या है?)।

बेशक, "प्रशिक्षण" और "नियंत्रण" उपसमुच्चय में एकल विभाजन के साथ सबसे सरल विकल्प दिखाया गया है; सामान्य स्थिति में, गुणांक के सर्वोत्तम समायोजन के लिए यह कई बार किया जाता है।

फ़ाइल यहां उपलब्ध है, एंटीवायरस द्वारा स्कैन की गई है। सही संचालन के लिए मैक्रोज़ सक्षम करें

3. क्रमिक अवतरण और त्रुटि परिवर्तन की गतिशीलता

एक 4-आयामी मामला और रैखिक प्रतिगमन होगा। रैखिक प्रतिगमन गुणांक को ग्रेडिएंट डिसेंट विधि का उपयोग करके चरण दर चरण निर्धारित किया जाएगा, प्रारंभ में सभी गुणांक शून्य हैं। एक अलग ग्राफ़ त्रुटि में कमी की गतिशीलता को दर्शाता है क्योंकि गुणांक अधिक से अधिक सटीक रूप से समायोजित किए जाते हैं। सभी चार 2-आयामी प्रक्षेपण देखना संभव है।

यदि आप ग्रेडिएंट डिसेंट चरण को बहुत बड़ा सेट करते हैं, तो आप देख सकते हैं कि हर बार हम न्यूनतम को छोड़ देंगे और बड़ी संख्या में चरणों में परिणाम पर पहुंचेंगे, हालांकि अंत में हम अभी भी पहुंचेंगे (जब तक कि हम डिसेंट चरण में भी देरी नहीं करते) बहुत - तो एल्गोरिथ्म "हुकुम में") जाएगा। और पुनरावृत्ति चरण के आधार पर त्रुटि का ग्राफ़ सुचारू नहीं होगा, बल्कि "झटकेदार" होगा।

1. डेटा जेनरेट करें, ग्रेडिएंट डिसेंट चरण सेट करें

2. ग्रेडिएंट डिसेंट चरण के सही चयन के साथ, हम आसानी से और जल्दी से न्यूनतम तक पहुंच जाते हैं

3. यदि ग्रेडिएंट डिसेंट चरण गलत तरीके से चुना गया है, तो हम अधिकतम से आगे निकल जाते हैं, त्रुटि ग्राफ़ "झटकेदार" होता है, अभिसरण बड़ी संख्या में कदम उठाता है

и

4. यदि हम ग्रेडिएंट डिसेंट स्टेप को पूरी तरह से गलत तरीके से चुनते हैं, तो हम न्यूनतम से दूर चले जाते हैं

(चित्रों में दिखाए गए ग्रेडिएंट डिसेंट चरण मानों का उपयोग करके प्रक्रिया को पुन: पेश करने के लिए, "संदर्भ डेटा" बॉक्स को चेक करें)।

फ़ाइल इस लिंक पर है, आपको मैक्रोज़ को सक्षम करने की आवश्यकता है, कोई वायरस नहीं हैं।

सम्मानित समुदाय के अनुसार क्या सामग्री को प्रस्तुत करने का ऐसा सरलीकरण एवं तरीका स्वीकार्य है? क्या लेख का अंग्रेजी में अनुवाद करना उचित है?

स्रोत: www.habr.com