उपायांचे मूल्यांकन करण्यासाठी आणि बग शोधण्यासाठी आम्ही मार्कोव्ह चेन कसे वापरतो. पायथन स्क्रिप्टसह

प्रशिक्षणादरम्यान आमच्या विद्यार्थ्यांचे काय होते आणि या घटनांचा परिणाम कसा होतो हे समजून घेणे आमच्यासाठी महत्त्वाचे आहे, म्हणून आम्ही ग्राहक प्रवास नकाशा तयार करतो - ग्राहक अनुभवाचा नकाशा. शेवटी, शिकण्याची प्रक्रिया ही काही निरंतर आणि अविभाज्य गोष्ट नाही, ती विद्यार्थ्याच्या परस्परसंबंधित घटना आणि क्रियांची साखळी आहे आणि या क्रिया वेगवेगळ्या विद्यार्थ्यांमध्ये मोठ्या प्रमाणात बदलू शकतात. आता त्याने आपला धडा पूर्ण केला आहे: तो पुढे काय करेल? ते गृहपाठात जाईल का? ते मोबाईल ऍप्लिकेशन लॉन्च करेल का? तो अभ्यासक्रम बदलेल, शिक्षक बदलण्यास सांगेल? तुम्ही थेट पुढच्या धड्यात जाल का? की तो निराश होऊनच निघून जाईल? या नकाशाचे विश्लेषण करून, अभ्यासक्रम यशस्वीरीत्या पूर्ण करण्यासाठी किंवा त्याउलट, विद्यार्थ्याच्या "ड्रॉपआउट"कडे नेणारे नमुने ओळखणे शक्य आहे का?

सामान्यतः, CJM तयार करण्यासाठी विशेष, अतिशय महागडे बंद-स्रोत साधने वापरली जातात. परंतु आम्हाला काहीतरी सोपे करायचे आहे, ज्यासाठी किमान प्रयत्न आवश्यक आहेत आणि शक्य असल्यास, मुक्त स्रोत. त्यामुळे मार्कोव्ह चेन वापरण्याची कल्पना सुचली - आणि आम्ही यशस्वी झालो. आम्ही नकाशा तयार केला, विद्यार्थ्यांच्या वर्तनावर आलेखाच्या रूपात डेटाचा अर्थ लावला, जागतिक व्यावसायिक समस्यांसाठी पूर्णपणे गैर-स्पष्ट उत्तरे पाहिली आणि अगदी खोलवर लपलेले बग देखील सापडले. आम्ही हे सर्व ओपन सोर्स पायथन स्क्रिप्ट सोल्यूशन्स वापरून केले. या लेखात मी त्या अत्यंत गैर-स्पष्ट परिणामांसह दोन प्रकरणांबद्दल बोलेन आणि प्रत्येकासह स्क्रिप्ट सामायिक करेन.

तर, मार्कोव्ह चेन घटनांमधील संक्रमणाची संभाव्यता दर्शवतात. येथे विकिपीडियाचे एक आदिम उदाहरण आहे:

येथे "E" आणि "A" इव्हेंट आहेत, बाण त्यांच्या दरम्यान संक्रमण आहेत (इव्हेंटमधून समान संक्रमणासह), आणि बाणांचे वजन संक्रमणाची संभाव्यता आहे ("वेटेड निर्देशित आलेख").

आपण काय वापरले?

सर्किटला मानक पायथन कार्यक्षमतेसह प्रशिक्षित केले गेले होते, जे विद्यार्थी क्रियाकलाप लॉगसह दिले गेले होते. परिणामी मॅट्रिक्सवरील आलेख नेटवर्कएक्स लायब्ररीने तयार केला आहे.

लॉग असे दिसते:

ही एक csv फाईल आहे ज्यामध्ये तीन स्तंभांची सारणी आहे: विद्यार्थी आयडी, कार्यक्रमाचे नाव, ती जेव्हा घडली तेव्हाची वेळ. क्लायंटच्या हालचाली शोधण्यासाठी, नकाशा तयार करण्यासाठी आणि शेवटी मार्कोव्ह साखळी मिळविण्यासाठी ही तीन फील्ड पुरेसे आहेत.

लायब्ररी तयार केलेले आलेख .dot किंवा .gexf फॉरमॅटमध्ये परत करते. आधीचे व्हिज्युअलायझेशन करण्यासाठी, तुम्ही मोफत Graphviz पॅकेज (gvedit टूल) वापरू शकता, आम्ही .gexf आणि Gephi सोबत काम केले आहे, ते देखील विनामूल्य.

पुढे मी मार्कोव्ह साखळी वापरण्याची दोन उदाहरणे देऊ इच्छितो, ज्यामुळे आम्हाला आमची उद्दिष्टे, शैक्षणिक प्रक्रिया आणि स्कायंग इकोसिस्टमवर नवीन नजर टाकता आली. बरं, बग दुरुस्त करा.

प्रथम प्रकरण: मोबाइल अनुप्रयोग

सुरुवातीला, आम्ही आमच्या सर्वात लोकप्रिय उत्पादनाद्वारे-सामान्य अभ्यासक्रमाद्वारे विद्यार्थ्यांच्या प्रवासाचा शोध घेतला. त्या क्षणी, मी Skyeng च्या मुलांच्या विभागात काम करत होतो आणि आम्हाला पाहायचे होते की मोबाईल ऍप्लिकेशन आमच्या मुलांच्या प्रेक्षकांसह किती प्रभावीपणे कार्य करते.

नोंदी घेऊन आणि त्यांना स्क्रिप्टद्वारे चालवताना, मला असे काहीतरी मिळाले:

सुरुवातीचा नोड स्टार्ट जनरल आहे आणि तळाशी तीन आउटपुट नोड आहेत: विद्यार्थी "झोपला", अभ्यासक्रम बदलला आणि अभ्यासक्रम पूर्ण केला.

• झोपी गेली, "झोप लागली" - याचा अर्थ तो यापुढे वर्ग घेत नाही, बहुधा तो पडला. आम्ही आशावादीपणे या अवस्थेला "झोपलेले" म्हणतो, कारण... सिद्धांततः, त्याला अजूनही त्याचा अभ्यास सुरू ठेवण्याची संधी आहे. आमच्यासाठी सर्वात वाईट परिणाम.
• जनरल सोडला, अभ्यासक्रम बदलला - जनरल वरून काहीतरी वेगळे केले आणि आमच्या मार्कोव्ह साखळीसाठी हरवले.
• अभ्यासक्रम पूर्ण, अभ्यासक्रम पूर्ण केला - आदर्श स्थिती, व्यक्तीने 80% धडे पूर्ण केले आहेत (सर्व धडे आवश्यक नाहीत).

यशस्वी वर्ग नोडमध्ये प्रवेश करणे म्हणजे शिक्षकांसह आमच्या प्लॅटफॉर्मवरील धडा यशस्वीपणे पूर्ण करणे. हे अभ्यासक्रमातील प्रगती नोंदवते आणि इच्छित निकालाकडे जाण्याचा दृष्टिकोन - "कोर्स पूर्ण केला." विद्यार्थ्यांनी जास्तीत जास्त उपस्थित राहणे आमच्यासाठी महत्त्वाचे आहे.

मोबाईल ऍप्लिकेशन (अ‍ॅप सेशन नोड) साठी अधिक अचूक परिमाणवाचक निष्कर्ष मिळविण्यासाठी, आम्ही प्रत्येक अंतिम नोड्ससाठी स्वतंत्र साखळी तयार केली आणि नंतर काठाच्या वजनाची जोडीने तुलना केली:

• अॅप सत्रापासून ते परत;
• अॅप सत्रापासून यशस्वी वर्गापर्यंत;
• यशस्वी वर्गापासून ते अॅप सत्रापर्यंत.

डावीकडे अभ्यासक्रम पूर्ण केलेले विद्यार्थी आहेत, उजवीकडे "झोपलेले" आहेत

या तीन कडा विद्यार्थ्याचे यश आणि मोबाईल अॅपचा वापर यांच्यातील संबंध दर्शवतात. ज्या विद्यार्थ्यांनी अभ्यासक्रम पूर्ण केला आहे त्यांचा अनुप्रयोगाशी निद्राधीन झालेल्या विद्यार्थ्यांपेक्षा अधिक मजबूत संबंध असेल हे आम्हाला अपेक्षित आहे. तथापि, प्रत्यक्षात आम्हाला अगदी उलट परिणाम मिळाले:

• आम्ही हे सुनिश्चित केले की वापरकर्त्यांचे वेगवेगळे गट मोबाईल ऍप्लिकेशनशी वेगळ्या पद्धतीने संवाद साधतात;
• यशस्वी विद्यार्थी मोबाईल ऍप्लिकेशन कमी प्रमाणात वापरतात;
• जे विद्यार्थी झोपी जातात ते मोबाईल ऍप्लिकेशन अधिक सक्रियपणे वापरतात.

याचा अर्थ असा की जे विद्यार्थी झोपी जातात ते मोबाईल ऍप्लिकेशनमध्ये अधिकाधिक वेळ घालवू लागतात आणि शेवटी, कायमस्वरूपी त्यातच राहतात.

सुरुवातीला आम्हाला आश्‍चर्य वाटले, पण विचार केल्यावर लक्षात आले की हा पूर्णपणे नैसर्गिक परिणाम आहे. एकेकाळी, मी दोन साधनांचा वापर करून स्वतः फ्रेंच भाषेचा अभ्यास केला: एक मोबाइल अनुप्रयोग आणि YouTube वर व्याकरण व्याख्याने. सुरुवातीला, मी 50 ते 50 च्या प्रमाणात त्यांच्यामध्ये वेळ विभागला. परंतु अनुप्रयोग अधिक मजेदार आहे, गेमिफिकेशन आहे, सर्व काही सोपे, जलद आणि स्पष्ट आहे, परंतु व्याख्यानात तुम्हाला त्याचा शोध घ्यावा लागेल, काहीतरी लिहा. , नोटबुकमध्ये सराव करा. हळूहळू, मी माझ्या स्मार्टफोनवर अधिक वेळ घालवू लागलो, जोपर्यंत त्याचा हिस्सा 100% पर्यंत वाढला नाही: जर तुम्ही त्यावर तीन तास घालवले तर तुम्ही पूर्ण झालेल्या कामाची खोटी भावना निर्माण कराल, ज्यामुळे तुम्हाला काहीही ऐकण्याची इच्छा नाही. .

पण हे कसे असू शकते? शेवटी, आम्ही खास एक मोबाइल अनुप्रयोग तयार केला आहे, त्यात एबिंगहॉस वक्र तयार केले, ते गेमिफाइड केले, ते आकर्षक केले जेणेकरून लोक त्यात वेळ घालवतील, परंतु असे दिसून आले की ते केवळ त्यांचे लक्ष विचलित करते? खरं तर, कारण असे आहे की मोबाईल ऍप्लिकेशन टीमने त्याच्या कार्यांचा खूप चांगला सामना केला, परिणामी ते एक मस्त, स्वयंपूर्ण उत्पादन बनले आणि आमच्या इकोसिस्टममधून बाहेर पडू लागले.

संशोधनाचा परिणाम म्हणून, हे स्पष्ट झाले की मोबाइल ऍप्लिकेशन कसेतरी बदलणे आवश्यक आहे जेणेकरून ते अभ्यासाच्या मुख्य कोर्सपासून कमी विचलित होईल. आणि मुले आणि प्रौढ दोघेही. हे काम सध्या सुरू आहे.

दुसरी केस: ऑनबोर्डिंग बग

नवीन विद्यार्थ्याची नोंदणी करताना ऑनबोर्डिंग ही एक पर्यायी अतिरिक्त प्रक्रिया आहे, ज्यामुळे भविष्यात संभाव्य तांत्रिक समस्या दूर होतात. मूलभूत परिस्थिती असे गृहीत धरते की एखाद्या व्यक्तीने लँडिंग पृष्ठावर नोंदणी केली आहे, त्याच्या वैयक्तिक खात्यात प्रवेश मिळवला आहे, त्याच्याशी संपर्क साधला जातो आणि त्याला परिचयात्मक धडा दिला जातो. त्याच वेळी, आम्ही प्रास्ताविक धड्यादरम्यान तांत्रिक अडचणींची मोठी टक्केवारी लक्षात घेतो: ब्राउझरची चुकीची आवृत्ती, मायक्रोफोन किंवा ध्वनी कार्य करत नाही, शिक्षक ताबडतोब उपाय सुचवू शकत नाहीत आणि हे सर्व विशेषतः कठीण असते जेव्हा ते येते. मुलांना. म्हणून, आम्ही तुमच्या वैयक्तिक खात्यामध्ये एक अतिरिक्त अनुप्रयोग विकसित केला आहे, जिथे तुम्ही चार सोप्या चरण पूर्ण करू शकता: तुमचा ब्राउझर, कॅमेरा, मायक्रोफोन तपासा आणि प्रास्ताविक धड्यादरम्यान पालक जवळपास असतील याची पुष्टी करा (अखेर, तेच पैसे देतात. त्यांच्या मुलांचे शिक्षण).

या काही ऑनबोर्डिंग पृष्ठांनी असे फनेल दाखवले:

1: तीन थोड्या वेगळ्या (क्लायंटवर अवलंबून) लॉगिन आणि पासवर्ड एंट्री फॉर्मसह प्रारंभ ब्लॉक.
2: अतिरिक्त ऑनबोर्डिंग प्रक्रियेस सहमती देणारा चेकबॉक्स.
2.1-2.3: पालक उपस्थिती, Chrome आवृत्ती आणि आवाज तपासा.
3: अंतिम ब्लॉक.

हे अगदी नैसर्गिक दिसते: पहिल्या दोन चरणांमध्ये, बहुतेक अभ्यागत निघून जातात, हे लक्षात घेऊन की तेथे भरण्यासाठी, तपासण्यासाठी काहीतरी आहे, परंतु वेळ नाही. जर क्लायंटने तिसरी पायरी गाठली असेल तर तो जवळजवळ निश्चितपणे अंतिम फेरीत पोहोचेल. फनेलवर काहीही संशय घेण्याचे एक कारण नाही.

तरीही, आम्ही आमच्या ऑनबोर्डिंगचे विश्लेषण क्लासिक वन-डायमेंशनल फनेलवर न करता मार्कोव्ह साखळी वापरून करण्याचा निर्णय घेतला. आम्ही थोडे अधिक कार्यक्रम चालू केले, स्क्रिप्ट चालवली आणि हे मिळाले:

या गोंधळात, फक्त एक गोष्ट स्पष्टपणे समजू शकते: काहीतरी चूक झाली. ऑनबोर्डिंग प्रक्रिया रेखीय आहे, हे डिझाइनमध्ये अंतर्भूत आहे, त्यात कनेक्शनचे कोणतेही जाळे नसावे. आणि येथे हे ताबडतोब स्पष्ट आहे की वापरकर्त्याला चरणांमध्ये फेकले जाते, ज्या दरम्यान कोणतेही संक्रमण नसावे.

या विचित्र चित्राची दोन कारणे असू शकतात:

• shoals लॉग डेटाबेस मध्ये crept;
• उत्पादनातच चुका आहेत - ऑनबोर्डिंग.

पहिले कारण बहुधा खरे आहे, परंतु त्याची चाचणी करणे खूप श्रम-केंद्रित आहे, आणि लॉग दुरुस्त केल्याने UX सुधारण्यास मदत होणार नाही. परंतु दुसऱ्यासह, ते अस्तित्वात असल्यास, काहीतरी तातडीने केले पाहिजे. म्हणून, आम्ही नोड्स पाहण्यासाठी, अस्तित्वात नसलेल्या कडा ओळखण्यासाठी आणि त्यांच्या घटनेची कारणे शोधण्यासाठी गेलो. आम्ही पाहिले की काही वापरकर्ते अडकले आणि वर्तुळात फिरले, इतर मध्यभागी सुरुवातीपासून बाहेर पडले आणि इतर, तत्त्वतः, पहिल्या दोन चरणांमधून बाहेर पडू शकले नाहीत. आम्ही डेटा QA मध्ये हस्तांतरित केला - आणि होय, असे दिसून आले की ऑनबोर्डिंगमध्ये पुरेसे बग होते: हे असे एक उप-उत्पादन आहे, थोडेसे क्रॅच आहे, त्याची पुरेशी तपासणी केली गेली नाही, कारण... आम्हाला कोणत्याही समस्यांची अपेक्षा नव्हती. आता संपूर्ण रेकॉर्डिंग प्रक्रिया बदलली आहे.

या कथेने आम्हाला QA च्या क्षेत्रात मार्कोव्ह चेनचा अनपेक्षित वापर दर्शविला.

स्वत: करून पहा!

मी माझे पोस्ट केले मार्कोव्ह चेनला प्रशिक्षण देण्यासाठी पायथन स्क्रिप्ट सार्वजनिक डोमेनमध्ये - ते तुमच्या आरोग्यासाठी वापरा. GitHub वर दस्तऐवजीकरण, येथे प्रश्न विचारले जाऊ शकतात, मी प्रत्येक गोष्टीची उत्तरे देण्याचा प्रयत्न करेन.

बरं, उपयुक्त दुवे: नेटवर्कएक्स लायब्ररी, ग्राफविझ व्हिज्युअलायझर. आणि इथे Habré वर एक लेख आहे मार्कोव्ह चेन बद्दल. लेखातील आलेख वापरून तयार केले आहेत गेफी.

स्त्रोत: www.habr.com