Како ги користиме Марковите синџири во оценувањето на решенијата и наоѓањето грешки. Со Python скрипта

За нас е важно да разбереме што се случува со нашите студенти за време на обуката и како овие настани влијаат на резултатот, па затоа градиме Карта за патување на клиентите - мапа на искуството на клиентите. На крајот на краиштата, процесот на учење не е нешто континуирано и интегрално, тој е синџир на меѓусебно поврзани настани и дејства на ученикот и овие дејства можат многу да варираат кај различни ученици. Сега ја заврши лекцијата: што ќе прави следно? Дали ќе оди на домашна задача? Дали ќе лансира мобилна апликација? Дали ќе го смени курсот, ќе бара да ги смени наставниците? Дали ќе одите директно на следната лекција? Или само ќе си замине разочаран? Дали е можно, со анализа на оваа карта, да се идентификуваат шеми кои водат до успешно завршување на курсот или, обратно, до „напуштање“ на студентот?

Вообичаено, специјализирани, многу скапи алатки со затворен извор се користат за изградба на CJM. Но, сакавме да дојдеме до нешто едноставно, кое бара минимален напор и, ако е можно, отворен код. Така дојде идејата да се користат синџири Марков - и успеавме. Изградивме карта, ги толкувавме податоците за однесувањето на учениците во форма на графикон, видовме целосно неочигледни одговори на глобалните деловни прашања, па дури и најдовме длабоко скриени грешки. Сето ова го направивме користејќи решенија за скрипти за Python со отворен код. Во оваа статија ќе зборувам за два случаи со тие многу неочигледни резултати и ќе го споделам сценариото со сите.

Значи, Маркововите синџири ја покажуваат веројатноста за транзиции помеѓу настаните. Еве еден примитивен пример од Википедија:

Овде „Е“ и „А“ се настани, стрелките се транзиции меѓу нив (вклучувајќи го и преминот од настан на истиот), а тежините на стрелките се веројатноста за транзиција („пондериран насочен граф“).

Што користевте?

Колото беше обучено со стандардна функционалност на Python, која се хранеше со дневници за активности на учениците. Графикот на добиената матрица беше конструиран од библиотеката NetworkX.

Дневникот изгледа вака:

Ова е CSV-датотека која содржи табела од три колони: студентски ID, име на настанот, време кога се случил. Овие три полиња се доволни за да се следат движењата на клиентот, да се изгради мапа и на крајот да се добие Марков синџир.

Библиотеката ги враќа конструираните графикони во формат .dot или .gexf. За да го визуелизирате првото, можете да го користите бесплатниот пакет Graphviz (алатка gvedit), работевме со .gexf и Gephi, исто така бесплатно.

Следно, би сакал да дадам два примери за користење на Марков синџири, што ни овозможи да фрлиме нов поглед на нашите цели, образовни процеси и самиот екосистем Скајенг. Па, поправете ги грешките.

Прв случај: мобилна апликација

За почеток, го истражувавме студентското патување низ нашиот најпопуларен производ - курсот Општо. Во тој момент работев во детскиот оддел на Skyeng и сакавме да видиме колку ефикасно функционира мобилната апликација со нашата детска публика.

Земајќи ги логовите и ги пуштам низ сценариото, добив нешто вакво:

Почетниот јазол е Start General, а на дното има три излезни јазли: студентот „заспал“, го сменил курсот и го завршил курсот.

• Заспа, „Заспа“ - тоа значи дека тој повеќе не посетува часови, најверојатно паднал. Оваа состојба оптимистички ја нарекуваме „заспана“, бидејќи ... теоретски се уште има можност да ги продолжи студиите. Најлош резултат за нас.
• Падна генерал, Променет курс - се префрли од Генерал на нешто друго и се изгуби за нашиот Марков синџир.
• Завршен курс, Завршен курс - идеална состојба, лицето има завршено 80% од часовите (не се потребни сите лекции).

Влегувањето во јазолот за успешни часови значи успешно завршување на лекцијата на нашата платформа заедно со наставникот. Го бележи напредокот на курсот и пристапот до посакуваниот резултат - „Заврши курсот“. За нас е важно студентите да присуствуваат што е можно повеќе.

За да добиеме попрецизни квантитативни заклучоци за мобилната апликација (јазол за сесија на апликации), изградивме посебни синџири за секој од последните јазли, а потоа ги споредивме тежините на рабовите во пар:

• од сесијата на апликацијата назад кон неа;
• од сесија на апликација до успешен час;
• од успешен час до сесија на апликација.

Лево се студентите кои го завршиле курсот, десно се оние кои „заспале“

Овие три рабови ја покажуваат врската помеѓу успехот на ученикот и неговата употреба на мобилната апликација. Очекувавме да видиме дека студентите кои го завршиле курсот ќе имаат посилна врска со апликацијата од студентите кои заспале. Меѓутоа, во реалноста ги добивме токму спротивните резултати:

• се погриживме различни групи корисници да комуницираат поинаку со мобилната апликација;
• успешните студенти помалку интензивно ја користат мобилната апликација;
• учениците кои заспиваат поактивно ја користат мобилната апликација.

Тоа значи дека учениците кои заспиваат почнуваат да поминуваат се повеќе време во мобилната апликација и на крајот остануваат во неа засекогаш.

Отпрвин бевме изненадени, но откако размисливме, сфативме дека ова е сосема природен ефект. Едно време, сам учев француски користејќи две алатки: мобилна апликација и граматички предавања на YouTube. Отпрвин го поделив времето меѓу нив во сооднос 50 спрема 50. Но, апликацијата е позабавна, има гејмификација, се е едноставно, брзо и јасно, но на предавањето треба да навлезете во тоа, да напишете нешто , вежбајте во тетратка. Постепено, почнав да трошам повеќе време на мојот паметен телефон, додека неговиот удел не порасна на 100%: ако потрошите три часа на него, создавате лажно чувство на завршена работа, поради што немате желба да одите и да слушате ништо. .

Но, како може да биде ова? На крајот на краиштата, ние специјално создадовме мобилна апликација, вградена во неа кривата Ебинхаус, го гамифицираше, го направи привлечен за луѓето да поминуваат време во него, но излегува дека тоа само им го одвлекува вниманието? Всушност, причината е што тимот на мобилни апликации премногу добро се справи со своите задачи, како резултат на што стана кул, самодоволен производ и почна да испаѓа од нашиот екосистем.

Како резултат на истражувањето, стана јасно дека мобилната апликација треба некако да се смени за помалку да го одвлекува вниманието од главниот курс на учење. И децата и возрасните. Оваа работа во моментов е во тек.

Втор случај: грешки при вградување

Влезот е дополнителна дополнителна процедура при регистрација на нов студент, елиминирајќи ги потенцијалните технички проблеми во иднина. Основното сценарио претпоставува дека едно лице се регистрирало на целната страница, добило пристап до неговата лична сметка, контактирано е и му се дава воведна лекција. Во исто време, забележуваме голем процент на технички тешкотии за време на воведната лекција: погрешната верзија на прелистувачот, микрофонот или звукот не работи, наставникот не може веднаш да предложи решение, а сето тоа е особено тешко кога станува збор на децата. Затоа, развивме дополнителна апликација во вашата лична сметка, каде што можете да завршите четири едноставни чекори: проверете го вашиот прелистувач, камерата, микрофонот и потврдете дека родителите ќе бидат во близина за време на воведната лекција (на крајот на краиштата, тие се оние кои плаќаат за образованието на нивните деца).

Овие неколку страници за влез покажаа ваква инка:

1: почетен блок со три малку различни (во зависност од клиентот) формулари за најава и внесување лозинка.
2: поле за избор согласно со дополнителната процедура за влегување.
2.1-2.3: Проверете дали има присуство на родители, верзија на Chrome и звук.
3: последен блок.

Изгледа многу природно: во првите два чекори, повеќето посетители заминуваат, сфаќајќи дека има што да пополнат, проверат, но нема време. Ако клиентот стигнал до третиот чекор, тогаш речиси сигурно ќе стигне до финалето. Нема ниту една причина да се сомневате во нешто на инката.

Сепак, решивме да го анализираме нашето вклучување не на класична еднодимензионална инка, туку со помош на Марков синџир. Вклучивме уште малку настани, го извршивме сценариото и го добивме ова:

Во овој хаос, само едно може јасно да се разбере: нешто тргна наопаку. Процесот на вградување е линеарен, ова е вродено во дизајнот, не треба да има таква мрежа на врски во неа. И тука веднаш е јасно дека корисникот е фрлен помеѓу чекори, меѓу кои воопшто не треба да има транзиции.

Можеби има две причини за оваа чудна слика:

• гребени се вовлекоа во базата на податоци за дневници;
• Има грешки во самиот производ - вградување.

Првата причина е најверојатно вистинита, но нејзиното тестирање е доста трудоинтензивно, а коригирањето на дневниците нема да помогне да се подобри UX. Но, со второто, ако постои, морало итно да се направи нешто. Затоа, отидовме да ги разгледаме јазлите, да ги идентификуваме рабовите што не треба да постојат и да ги бараме причините за нивното појавување. Видовме дека некои корисници се заглавија и одеа во круг, други испаднаа од средината до почеток, а други, во принцип, не можеа да излезат од првите два чекори. Ги префрливме податоците на QA - и да, се покажа дека има доволно грешки во вградувањето: ова е таков нуспроизвод, малку патерица, не беше доволно длабоко тестиран, бидејќи ... Не очекувавме никакви проблеми. Сега целиот процес на снимање е променет.

Оваа приказна ни покажа неочекувана примена на синџирите Марков во областа на QA.

Пробајте сами!

Јас го објавив мојот Пајтонска скрипта за обука на Марков синџири во јавниот домен - користете го за вашето здравје. Документација на GitHub, прашања може да се постават овде, ќе се обидам да одговорам на сè.

Па, корисни врски: NetworkX библиотека, Визуелизатор Graphviz. И тука има статија за Хабре за Маркови синџири. Графиконите во статијата се направени со користење Гефи.

Извор: www.habr.com