Проникновение в метриката: как осъзнах какво представляват метриките и в какво е основната им привлекателност

Метриките са глупост, ще кажете вие, и ще сте прави. В нещо.

Наистина, когато става въпрос за метрики, най-работната метрика, която идва на ум, е посещаемостта.

Много хора обичат да медитират часове, гледайки графика на посещаемостта на сайта си.

Колко е страхотно да наблюдаваш как линията скача - напред-назад, напред-назад… А още по-добре е, когато посещаемостта на сайта расте непрекъснато.

Тогава блаженото топло се разлива по цялото тяло и умът се издига към небесата в очакване на небесната манна.

Ах, каква радост, какво блаженство!

И дори когато картината е тъжна…

От графика все пак не можеш да откъснеш поглед, толкова е завладяващ.

Изглежда, че в графика се крие тайно значение. Още малко и картината ще разкрие своите тайни и ще разкаже невероятно прост и ефективен начин за привличане на огромно количество клиенти. И тогава парите със сигурност ще потекат реката.

Но всъщност, посещаемостта е типична "слаща (суетна) метрика", която не носи полезен смисъл.

И повечето метрики са такива. По принцип, всички метрики, които ще видите, са слащави. И именно затова метриките имат лоша слава като безсмислена загуба на време и усилия.

Но всъщност, това не е така. Правилните метрики предоставят изключително важна, а понякога и безценна информация за бизнеса и проекта.

Основният бонус и назначение на метриките е, че те дават възможност да управлявате вашия бизнес или проект.

Как да определим, че метриката е лоша?

Нека разгледаме много прост пример - скоростта на автомобила.

Кажете, моля, какво означава скоростта…

100 км/ч?

Хм...

Хм...

Какво означава това?

Мисля, че вероятно сами се досещате, че… всъщност нищо не означава!

Окей. Сега втори въпрос:

100 км/ч е добре или зле?

Хм...

Нито едно, нито друго?

Точно така!

Скоростта е напълно безполезна и безсмислена метрика. Ако, разбира се, я използвате сама по себе си. В комбинация с други метрики тя може да каже нещо, но сама по себе си - определено не.

Посещаемостта на сайта е точно същата скорост.

Точно затова да зяпате графика на посещаемостта на сайта е напълно безсмислено. Той няма да ви разкрие тайната на живота. Разбирате ли сега?

А какви метрики тогава са добри?

Например, Churn rate. Тази метрика показва колко клиенти са напуснали компанията/сайта завинаги с течение на времето.

Churn rate = 1% означава, че загубваме само 1% от клиентите. Т.е. почти никого не губим.

Ако Churn rate = 90%, то това означава, че губим почти всички свои клиенти. Това е ужасно!

Виждате ли разликата между тази метрика и скоростта?

Churn rate е смислена метрика, която отговаря на въпроса, добро или лошо е. И не трябва да се чудите какво означава.

Това е метрика, която говори сама за себе си!

И сега сме готови да предприемем спешни действия, за да намалим отлива на клиенти.

Точно затова такива метрики наричат действени. Защото подбуждат към действие.

Критерий за "сладост" на метриките

Има много прост начин да определим, че метриката е "сладка/суетна" (на англ. vanity).

Повечето абсолютни метрики, такива като посещаемост, брой изтегляния, брой ретвита, брой имейли/абонати, брой лайкове и т.н. са сладки.

Относителните, претеглени метрики често са действени. Но не всички!

Що се отнася до качествените метрики, тук няма ясни отговори, тъй като качествената оценка сама по себе си не може да бъде точна и ясна.

Но от друга страна, оценката на удобството на програмата може и трябва да бъде направена именно въз основа на възприятията на крайните потребители и никак иначе.

Как да подхождате към метриките като цяло?

На първо място, трябва да обърнете мозъка си.

Без шега.

Всеки(!) който се сблъсква с метрики, на първо място търси в тях причина за съществуването. Но те, за съжаление, няма да я покажат.

Метриките са просто като обикновен калкулатор, с който измерваме всичко, което искаме.

Не търсите ли причина за съществуването в обикновен дървен калкулатор, нали?

Търсенето на смисъл в живота в калкулатор е това, което наричаме "подход отдолу нагоре".

За правилната работа с метриките е необходимо да смените парадигмата и да започнете да работите по обратен начин, отгоре надолу.

Т.е. най-напред да извършите някакво действие, а после да измервате получилия се ефект с помощта на метриките.

Трябва да използвате метриките просто като обект за измерване и нищо повече.

Замислете се за тези думи.

Измервайте с помощта на метриките ефекта от вашите действия, а не измисляйте действия на основание показанията на дърваната линейка.

Този подход също се нарича „Хипотеза->Измерване“.

Добре, това е ясно.

Въпрос № 2: „Какво точно да измерваме? Как да намерим правилните метрики?“

Как да съставим своя набор от метрики?

Ако разгледате интернет, вероятно ще намерите десетки, а дори и стотици различни метрики по една и съща тема.

Например, можете да намерите около сто метрики за качество на софтуера. Това са стандарти от ГОСТ Р-ИСО, метрики, изчислявани в SonarQube, и някои самописи, както и „качествени“ метрики, основани на отзиви от потребители.

Кои от тях да използваме и кои не?

Най-добрият подход е да се ръководим от „основната стойност“.

OMTM (One Metric That Matters)

Нека разгледаме пример.

Ясно е, че ако искате да подобрите качеството на вашия софтуер, можете да измерите това качество по различни начини.

Качеството не е само брой на грешки. Ако погледнем качеството в неговата цялост, то включва:

броя на инциденти в производството,
удобството за ползване и простотата на възприемането,
бързината на работа,
пълнотата и навременността на реализирането на планираната функционалност,
сигурността.

Критериите са много и не е възможно да се работи с всички. Просто избирате един, най-важният по настоящем критерий, и работите само с него.

Този подход се нарича OMTM (One Metric That Matters) — Една (Единствена) Важна Метрика.

За ОМТМ в качеството на софтуера логично да изберете броя на сериозните (важни и критични) инциденти в производствена среда.

За интернет-магазини не е нужно да се мисли много за OMTM — това е обемът на продажбите или печалбата (в зависимост от вашето решение).

Тази Една Важна Метрика ще бъде основната стойност за вашия набор от метрики. И именно от нея ще зависи техният окончателен набор.

Стойността Inside

Съставянето на набор от метрики често започва „в аванс“, като се рови в интернет и се избират най-добрите варианти на принципа: „О! Това ни подхожда!“

Както разбирате, това не е най-добрият начин, нали?

Но как да решим коя метрика да вземем, а коя не?

Например, често се измерват различни видове конверсии на потребители.

Но защо измерваме именно потребителите, а не нещо друго? Не сте се замисляли над този въпрос?

Естествено, има отговор.

Нека разгледаме интернет-магазин като най-простия за разбиране пример.

Да предположим, че искате да увеличите обема на продажбите. Какви метрики ще ви трябват за това? Как да подходите към него?

Има един прост, логичен и работещ начин. Всичко става на място, когато отговорите на въпроса:

КТО ПРОИЗВОДИТ ЦЕННОСТЬ?

Работим върху увеличаването на обема на продажбите, нали? Искаме да го увеличим, нали?

На кого и как трябва да повлияем, за да увеличим обема на продажбите?

Разбира се,

трябва да повлияем на причината —
на този, който "производи" стойността.

Кой произвежда пари в интернет магазина? Откъде идват парите?

Много просто: от клиентите.

Къде точно в интернет магазина можем да повлияем на клиентите?

На всяко място!
Вярно. На всяка стъпка от жизнения цикъл на клиента.

За представянето на жизнения цикъл е удобно да се построи така наречената "фуния" на движението на клиента през процеса.

Пример на фуния за интернет магазин:

Защо точно така? Защото клиентите се губят именно при преходите от една стъпка на фунията на друга.

Увеличавайки броя на клиентите на определено ниво на фунията, автоматично увеличаваме резултантния обем на продажбите.

Прост пример.

Метриката "Процент на оставени кошници" по същество показва конверсията при преминаване от количката към оформен поръчка.

Да предположим, че при първото измерване сте установили, че се губят 90% от кошниците, т.е. от 10 кошници само 1 поръчка.

С кошницата определено не е всичко наред, нали?

За простота да приемем, че сумата на една поръчка е 100 лв. Следователно крайният обем на продажбите ще състави само 100 лв.

В резултат на подобряването на кошницата, процентът на оставени кошници е намалял с 10% до 80%. Как изглежда това в цифри?

От 10 кошници започнахме да оформяме 2 поръчки. 100 лв * 2 = 200 лв.

Но това е увеличение на обема на продажбите с 100%! Ура!

Увеличавайки конверсията на стъпката само с 10%, вие увеличихте обема на продажбите с 100%.

Фантастично!

Но точно така работи.

Разбирате ли сега каква е красотата на правилно построените метрики?

С тях можете да постигнете фантастично влияние върху вашите процеси.

С интернет магазина всичко е доста просто, а как да пренесем това например на качеството на софтуерния продукт? По същия начин:

1. Избираме основната стойност, върху която работим. Например, намаляване на броя на инцидентите в прома.
2. Разбираме кой и какво произвежда тази стойност. Например, изходният код.
3. Създаваме жизнен цикъл на оригиналния код и определяме метрики на всяка стъпка от цикъла.

Ето, например, какви метрики за качество биха могли да получат (на бързо)…

Показател за стойност:

• плътност на дефекти на 1000 реда код

Метрики на базата на жизнения цикъл на оригиналния код:

• дял на неуспешни компилации,
• обхват на автоматизирани тестове,
• дял на неуспешни автоматизирани тестове,
• дял на неуспешни разгръщания.

Метрики на базата на жизнения цикъл на дефектите:

• динамика на откритие на дефекти,
• динамика на корекции,
• динамика на повторни открития,
• динамика на отклонения на дефекти,
• средно време за изчакване на корекция,
• средно време за корекция.

Итог

Както виждате, темата за метриките е наистина много важна, нужна и интересна.

Как да подберем правилно метрики:

Изберете OMTM, обмислете основната й стойност и измервайте производителите на тази стойност.

Изграждайте метрики на базата на жизнения цикъл на производителя.

Опитайте се да не използвате абсолютни метрики.

Какво още да прочетете по темата

Темата за метриките стана популярна на вълната на движението Lean Startup, така че най-добре е да започнете четенето с първоизточниците — книги „Lean Startup” и „Lean Analytics”.

Някои информации могат да се намерят в интернет дори на български, но за съжаление досега не е намерен всеобхватен учебник дори в западния сегмент.

Между другото, сега се появяват дори отделни специалисти „продуктолози”, чиято задача е изграждането на правилна система от метрики за техния продукт и предлагане на пътища за подобряване.

На това е всичко.

Ако статията ви е помогнала да разберете по-добре същността на въпроса, авторът ще бъде благодарен за “лайк” и препубликуване.

Източник: habr.com