🥇Просветление по метриките: как разбрах какво са метриките и в какво е тяхната главна привлекателност

Метриките са глупост, ще кажете Вие, и ще бъдете прави. В нещо.

Наистина, когато стане дума за метрики, най-първата метрика, която идва на ум, е посещаемостта.

Много хора обичат да медитират часове наред, гледайки графика на посещаемостта на своя сайт.

Как е прекрасно да наблюдаваш как линията скача - насам-натам, насам-натам... А дори и по-прекрасно е, когато посещаемостта на сайта нараства непрекъснато.

Тогава блаженото топло се разлива в цялото тяло, а разумът въздухоплави към небесата в очакване на небесната храна.

Ах, каква радост, какво блаженство!

И дори ако картината е тъжна...

От графика все пак не можеш да откъснеш поглед, толкова е завладяваща.

Изглежда, че в графика се крие тайния смисъл. Още малко и картината ще разкрие своите тайни, ще разкаже невероятно прост и ефективен начин за привличане на огромно количество клиенти. И тогава парите със сигурност ще потекат като река.

Но всъщност, посещаемостта е типична "слегка (славна) метрика", която не носи полезен смисъл.

И повечето метрики са такива. В основата си всички метрики, които ще видите, са легкави. Именно затова метриките имат лоша слава за безсмислена загуба на време и усилия.

Но всъщност съвсем не е така. Правилните метрики дават изключително важна, а понякога и безценна информация за бизнеса и проекта.

Основният бонус и цел на метриките е, че те дават възможност да управлявате Вашия бизнес или проект.

Как да определим, че метриката е лоша?

Нека да разгледаме много прост пример - скоростта на автомобила.

Кажете, моля, какво означава скоростта...

100 км/ч?

Хм...

Какво означава тя?

Мисля, че вече сами се досещате, че... нищо не означава!

Добре. Сега втори въпрос:

100 км/ч това добре ли е или лошо?

Хм...

Нито едно от двете?

Вярно!

Скоростта е напълно безполезна и безсмислена метрика. Ако, разбира се, я използвате сама по себе си. В комбинация с други метрики тя, разбира се, може да каже нещо, но сама по себе си - определено не.

Посещаемостта на сайта е точно същата скорост.

Затова няма никакъв смисъл да се зяпа в графика на посещаемостта на сайта. Той няма да разкрие тайната на живота. Сега разбирате ли?

А какви метрики тогава са добри?

Например, Churn rate. Тази метрика показва колко клиенти са напуснали компанията/уебсайта завинаги с течение на времето.

Churn rate = 1% казва, че губим само 1% от клиентите. Т.е. почти никого не губим.

Ако Churn rate = 90%, това означава, че губим почти всичките си клиенти. Това е ужасно!

Виждате ли разликата между тази метрика и скоростта?

Churn rate — метрика с дълбок смисъл, която отговаря на въпроса дали е добре или зле. И не ви е нужно да гадаете какво означава.

Това е метрика, която сама говори за себе си!

И сега сме готови да предприемем спешни действия, за да намалим отлива на клиенти.

Затова такива метрики се наричат действени. Защото те предизвикват действие.

Критерий за “еротичност” на метриките

Има много прост начин да се определи, че метриката е “еротична / тщеславна” (англ. vanity).

Повечето абсолютни метрики, като например посещаемост, брой изтегляния, брой ретуити, брой email-и/абонати, брой лайкове и т.н. са еротични..

Относителните, взетите впредвид метрики често са действени. Но не всички!

Що се отнася до качествените метрики, тук няма еднозначност, тъй като качествената оценка сама по себе си не може да бъде точна и ясен.

Но от друга страна, оценката на удобството на програмата може и трябва да се прави именно по нивото на възприемане от крайните потребители и никога иначе.

Как да подходим към метриките като цяло?

Първо трябва да преобърнете мозъка си.

Без шеги.

Всеки(!), който се сблъсква с метрики, първо започва да търси причината за съществуването им. Но те няма да я покажат, за съжаление.

Метриките — просто като обикновена линийка, с помощта на която измерваме всичко, което искаме.

Вие не търсите причина за съществуването в обикновена дървена линийка, нали?

Търсенето на смисъл в линийка — това е подход, наречен “отдолу нагоре”.

За да работите правилно с метриките, трябва да промените парадигмата и да започнете да работите обратно, отгоре надолу.

Т.е. първо да предприемете действие, а след това с помощта на метрики да измерите получения ефект.

Трябва да използвате метриките като обикновени предмети за измервания и не повече.

Помислете за тези думи.

Измервайте ефекта от вашите действия с помощта на метрики, а не измисляйте действия на база показанията на дървената линийка.

Този подход се нарича „Хипотеза->Измерване“.

Ок, това е ясно.

Въпрос № 2: „Какво точно да измерваме? Как да намерим правилните метрики?“

Как да съставим набора си от метрики?

Обикаляйки интернет, вероятно ще откриете десетки, дори стотици различни метрики по една и съща тема.

Например, около сто метрики за качество на софтуера могат да бъдат намерени. Това са и стандартите ГОСТР-ИСО, и метриките, изчислявани в SonarQube, и някакви саморъчни варианти, и дори „качествени“ метрики, основани на отзиви от потребители.

Кои от тях обаче да използвате и кои не?

Най-добрият подход е да се ръководите от „основната стойност“.

OMTM (Една метрика, която има значение)

Нека разгледаме един пример.

Разбира се, ако искате да подобрите качеството на софтуерния продукт, можете да измерите това качество по различни начини.

Качеството не е само количество на грешки. Ако разгледате качеството в цялостност, то включва:

броя на инцидентите в производството,
удобството за ползване и леснотата на възприемане,
бързодействието,
пълнотата и своевременността на реализиране на планираната функционалност,
безопасността.

Критерии много, и да се работи едновременно с всички е невъзможно. Постъпват много просто: избират един, най-важен в момента критерий и работят само с него.

Този подход се нарича OMTM (Една метрика, която има значение) — Едната важна метрика.

ОМТМ за качеството на софтуер логично да се избере броят на сериозни (важни и критични) инциденти в производствена среда.

За интернет-магазини дори не е нужно да мислите за OMTM — това е обем на продажбите или печалба (в зависимост от Вашето решение).

Тази една важна метрика ще бъде основната стойност за Вашия набор от метрики. И именно от нея ще зависи техния окончателен набор.

Стойността вътре

Съставянето на набор от метрики често започва „от балда“, ровейки в интернет и избирайки от намереното най-добрите варианти по принципа: „О! Това ще ни свърши работа!“

Както разбирате, това не е най-добрата стратегия, нали?

Но как да решим коя метрика да вземем, а коя не?

Например, често измерват различни видове конверсии на потребители.

Но защо измерват точно потребителите, а не нещо друго? Не сте ли се замисляли над този въпрос?

Нормално е, че отговорът съществува.

Нека разгледаме интернет-магазин като най-прост пример за разбиране.

Да предположим, че искате да увеличите обема на продажбите. Какви метрики ще ви трябват за това? Как да подходите към него?

Има един прост, логичен и работещ подход. Всичко ще се нареди, когато отговорите на въпроса:

КТО ПРОИЗВОДИТ ЦЕННОСТЬ?

Работим с обема на продажбите, нали? Искаме да го увеличим, вярно?

На кого и как трябва да влияете, за да увеличите обема на продажбите?

Разбира се,

трябва да повлияете на причината —
на този, който "производи" ценността.

Кой произвежда пари в интернет-магазина? Откъде идват парите?

Много просто: от клиентите.

Къде точно в интернет-магазина може да се повлияе на клиентите?

Ами навсякъде!
Верно. На всеки етап от жизнения цикъл на клиента.

За представяне на жизнения цикъл удобно е да се изгради т.н. "фуния" на движението на клиента в процеса.

Пример за фуния на интернет-магазина:

Защо точно така? Защото клиентите се губят именно при преходите от една стъпка на фунията към друга.

Увеличавайки броя на клиентите на някакво ниво на фунията, автоматично увеличаваме резултата в обема на продажбите.

Прост пример.

Метриката "Процент на изоставени кошници" по същество показва конверсията при преминаването от кошницата с продукти към завършена поръчка.

Да предположим, при първото измерване открихте, че 90% от кошниците се губят, т.е. от 10 кошници се прави само 1 поръчка.

С кошницата явно нещо не е наред, нали?

За простота ще приемем, че сумата на една поръчка е 100 руб. Така че крайният обем на продажбите ще бъде само 100 руб.

В резултат на доработката на кошницата процентът на изоставените кошници намаля с 10% до 80%. Как изглежда това в цифри?

От 10 кошници започнаха да се оформят 2 поръчки. 100 руб * 2 = 200 руб.

Но това е увеличение на обема на продажбите с 100%! Бинго!

Увеличавайки конверсията на стъпката само с 10%, увеличавате обема на продажбите с 100%.

Фантастика!

Но точно така работи.

Разбирате ли сега каква е привлекательността на правилно построените метрики?

С тяхна помощ можете да постигнете фантастично влияние върху вашите процеси.

С интернет-магазина всичко е доста просто, но как да приложим това на качеството на софтуерния продукт? По абсолютно същия начин:

Избираем основната ценност, върху която работим. Например, намаляваме броя на инцидентите в програма.
Разбираме кой и какво произвежда тази ценност. Например, изходен код.
Строим воронка на жизнения цикъл на изходния код и поставяме метрики на всяка стъпка от воронката. Всичко.

Ето, например, какви метрики за качество биха могли да се получат (на бързо)…

Показател за стойността:

плътност на дефектите на 1000 реда код

Метрики според жизнения цикъл на изходния код:

дял на неуспешните компилации,
покритие от автоматизирани тестове,
дял на неуспешните автоматизирани тестове,
дял на неуспешните разгръщания.

Метрики според жизнения цикъл на дефектите:

динамика на откритие на дефекти,
динамика на поправките,
динамика на повторното откритие,
динамика на отклоненията на дефектите,
средно време на изчакване за поправка,
средно време за поправка.

Резюме

Както виждате, темата за метриките е наистина много важна, необходима и интересна.

Как правилно да подберете метрики:

Избирайте OMTM, замислете основната ѝ стойност и измервайте производителите на тази стойност.

Изграждайте метрики на базата на воронката на жизнения цикъл на производителя.

Опитайте се да не използвате абсолютни метрики.

Какво още да прочетете по тази тема

Темата за метриките стана популярна на вълната на движението Lean Startup, затова е най-добре да започнете да четете от първоизточниците — книгите “Lean Startup” (превод на български — “Бизнес от нулата. Метод Lean Startup” на Ozon) и “Lean Analytics” (няма превод, но книгата на английски се продава на Ozon).

Някаква информация може да се намери в интернет дори на български, но всеобхватен учебник, за съжаление, все още не е намерен дори в западния сегмент.

Между другото, сега се появиха дори отделни специалисти “продуктолози”, чиято задача е изграждането на правилна система от метрики за своя продукт и предлагането на пътища за тяхното подобрение.

Това е всичко.

Ако статията Ви е помогнала да разберете по-добре същността на въпроса, авторът ще бъде благодарен за “лайк” и споделяне.

Източник: habr.com