Метрыкі - гэта фуфло, скажыце Вы, і маеце рацыю. У нечым.
Сапраўды, калі гаворка заходзіць аб метрыках, то самая першая першая метрыка, якая прыходзіць на розум - наведвальнасць.
Многія любяць медытаваць гадзінамі гледзячы на графік наведвальнасці свайго сайта.
Як жа гэта крута, назіраць як скача лінія - туды-сюды, туды-сюды… А яшчэ страмчэй, калі наведвальнасць сайта расце бесперапынна.
Тады шчаслівае цяпло разліваецца па ўсім целе і розум узнімаецца да нябёсаў у чаканні манны нябеснай.
Ах, якая радасць, якое шчасце!
І нават калі карціна сумная…
Ад графіка ўсё роўна не адарваць вачэй, дык ён зацягвае.
Здаецца, што ў графіцы скрыты таемны сэнс. Яшчэ трохі, і карцінка раскрые свае сакрэты і раскажа неверагодна просты і эфектыўны спосаб прыцягнення велізарнай колькасці кліентаў. І тады грошы сапраўды пацякуць ракой.
Але насамрэч, наведвальнасць - тыповая "салошчавая (ганарыстая) метрыка", якая не нясе ў сабе карыснага сэнсу.
І такіх метрык большасць. У асноўным усе метрыкі, якія Вы ўбачыце - саладжавыя. І менавіта таму за метрыкамі склалася благая слава бессэнсоўнай траты часу і сіл.
Але насамрэч гэта зусім не так. Правільныя метрыкі даюць вельмі важную, а часам неацэнную інфармацыю для бізнесу і праекта.
Галоўны бонус і прызначэнне метрык - гэта тое, што яны даюць магчымасць кіраваць Вашым бізнесам або праектам.
Як вызначыць, што метрыка дрэнная?
Давайце разгледзім вельмі просты прыклад хуткасць аўтамабіля.
Скажыце, калі ласка, што абазначае хуткасць…
100 км/г?
Хм…
Хм…
Дык што ж яна абазначае?
Думаю, Вы, мусіць, і самі здагадаліся, што… нічога не абазначае!
Ок. Цяпер другое пытанне:
100 км/г гэта добра ці дрэнна?
Хм…
Ні тое ні іншае?
Правільна!
Хуткасць - зусім бескарысная і бязглуздая метрыка. Калі, вядома, яе выкарыстоўваць саму па сабе. У купэ з іншымі метрыкамі яна, вядома, можа нешта сказаць, але сама па сабе сапраўды няма.
Наведвальнасць сайта - роўна тая ж самая хуткасць.
Менавіта таму завісаць перад графікам наведвальнасць сайта няма зусім ніякага сэнсу. Ён не раскрые Вам таямніцу жыцця. Разумееце зараз?
А якія метрыкі тады добрыя?
Напрыклад, Churn rate. Гэтая метрыка кажа колькі кліентаў сышло з кампаніі/сайта назаўжды з цягам часу.
Churn rate = 1% кажа, што мы губляем за ўсё 1% кліентаў. Г.зн. амаль нікога не губляем.
Калі ж Churn rate = 90%, тое гэта азначае, што мы губляем амаль усіх сваіх кліентаў. Гэта жудасна!
Бачыце адрозненне гэтай метрыкі ад скорасці?
Churn rate - напоўненая сэнсам метрыка, якая адказвае на пытанне, добра гэта ці дрэнна. І Вам не трэба варажыць, што яна абазначае.
Гэта метрыка, якая гаворыць сама за сябе!
І зараз мы гатовы распачаць тэрміновыя дзеянні, каб паменшыць адток кліентаў.
Менавіта таму такія метрыкі называюць дзейснымі. Бо яны падахвочваюць да дзеяння.
Крытэрый "салоджвання" метрык
Ёсць вельмі просты спосаб вызначыць, што метрыка "салодкая / пыхлівая" (англ. vanity).
Большасць абсалютных метрык, такіх, напрыклад, як наведвальнасць, колькасць запамповак, колькасць рэтвітаў, колькасць email-ов/падпісчыкаў, колькасць лайкаў і г.д. з'яўляюцца саладжавымі.
Адносныя, узважаныя, метрыкі часта бываюць дзейснымі. Але не ўсё!
Што да якасных метрык, то тут адназначнасці няма, т.к. якасная ацэнка сама па сабе не можа быць дакладнай і адназначнай.
Але з іншага боку, ацэньваць выгоду праграмы можна і трэба менавіта па ўзроўні ўспрымання канчатковых карыстачоў і ніяк інакш.
Як падступіцца да метрыкаў у цэлым?
Перш за ўсё трэба перавярнуць мозг.
Без жартаў.
Кожны (!) хто сутыкаецца з метрыкамі, перш за ўсё пачынае шукаць у іх прычыну быцця. Але яны яе не пакажуць, нажаль.
Метрыкі - гэта проста як звычайная лінейка з дапамогай якой мы вымяраем усё, што хочам.
Вы ж не шукаеце прычыну быцця ў звычайнай драўлянай лінейцы, праўда?
Пошук сэнсу жыцця ў лінейцы - гэта тое, што называецца "падыход знізу-уверх".
Для правільнай працы з метрыкамі трэба змяніць парадыгму і пачаць працаваць наадварот, зверху-ўніз.
Г.зн. спачатку рабіць нейкае дзеянне, а потым ужо з дапамогай метрык вымяраць атрыманы ад яго эфект.
Варта выкарыстоўваць метрыкі як звычайны прадмет для вымярэнняў і не больш за.
Удумайцеся ў гэтыя словы.
Вымярайце з дапамогай метрык эфект ад Вашых дзеянняў, а не прыдумляйце дзеянні на падставе паказанняў драўлянай лінейкі.
Такі падыход яшчэ называюць "Гіпотэза-> Вымярэнне".
Ок, з гэтым зразумела.
Пытанне №2: “А што менавіта вымяраць? Як знайсці правільныя метрыкі?”
Як скласці свой набор метрык?
Палазіўшы па Інтэрнеце Вы напэўна знойдзеце дзясяткі, а то і сотні розных метрык на адну і тую ж тэму.
Напрыклад, метрык якасці ПЗ можна знайсці каля сотні. Гэта і стандарты ГОСТР-ІСО, і метрыкі, якія разлічваюцца ў SonarQube, і нейкія самапісныя варыянты, і нават "якасныя" метрыкі, заснаваныя на водгуках карыстачоў.
Дык якія ж варта выкарыстоўваць, а якія не?
Самы лепшы падыход - кіравацца "асноўнай каштоўнасцю".
OMTM (One Metric That Matters)
Давайце разгледзім прыклад.
Зразумела, што калі Вы жадаеце палепшыць якасць Вашага праграмнага прадукта, тое вымераць гэтую якасць можна рознымі шляхамі.
Якасць - гэта не толькі колькасць памылак. Калі глядзець на якасць у цэлым, то гэта:
колькасць інцыдэнтаў у проме,
зручнасць выкарыстання і прастата ўспрымання,
шпаркасць працы,
паўната і своечасовасць рэалізацыі запланаванага функцыяналу,
бяспеку.
Крытэрыяў шмат і працаваць адразу з усімі немагчыма. Паступаюць вельмі проста: выбіраюць адзін, самы важны ў дадзены момант крытэр, і працуюць толькі з ім.
Такі падыход называецца OMTM (One Metric That Matters) - Адна (Адзіная) Важная Метрыка.
ОМТМ якасці ПЗ лагічна абраць колькасць сур'ёзных (важных і крытычных) інцыдэнтаў у прамысловым асяроддзі.
Для інтэрнэт-крам над OMTM наогул думаць не трэба - гэта аб'ём продажаў або прыбытак (у залежнасці ад Вашага рашэння).
Гэтая Адна Важная Метрыка і будзе асноўнай каштоўнасцю для Вашага набору метрык. І менавіта ад яе будзе залежаць іхні фінальны набор.
Каштоўнасць Inside
Складаць набор метрык часта пачынаюць “ад балды”, парыўшыся ў Інтэрнеце і выбраўшы са знойдзенага лепшыя варыянты па прынцыпе: “О! Гэта нам падыдзе!”
Як Вы разумееце, гэта не лепшы спосаб, праўда?
Але як вырашыць, якую метрыку браць, а якую не?
Напрыклад, часта вымяраюць рознага роду канверсіі карыстальнікаў.
Але чаму вымяраюць менавіта карыстальнікаў, а не што-небудзь яшчэ? Вы не задумваліся над гэтым пытаннем?
Натуральна, адказ ёсць.
Давайце разгледзім інтэрнэт-краму як самы просты для разумення прыклад.
Дапусцім, Вы хочаце павялічыць аб'ём продажаў. Якія метрыкі Вам для гэтага спатрэбяцца? Як да гэтага падысці?
Ёсць адзін просты, лагічны і які працуе спосаб. Усё ўстае на свае месцы, калі Вы адказваеце на пытанне:
Хто вырабляе каштоўнасць?
Мы ж працуем трэба аб'ёмам продажаў, так? Жадаем яго павялічыць, праўда?
На каго і на што трэба паўплываць, каб павялічыць аб'ём продажу?
Вядома,
трэба ўплываць на прычыну
на таго, хто "вырабляе" каштоўнасць.
Хто вырабляе грошы ў інтэрнэт-краме? Адкуль з'яўляюцца грошы?
Вельмі проста: ад кліентаў.
Дзе менавіта ў інтэрнэт-краме можна паўплываць на кліентаў?
Ды дзе заўгодна!
Правільна. На кожным этапе жыццёвага цыкла кліента.
Для прадстаўлення жыццёвага цыкла зручна будаваць т.зв. "варанку" руху кліента па працэсе.
Прыклад варонкі інтэрнэт-крамы:
Чаму менавіта так? Таму што кліенты губляюцца менавіта пры пераходах з аднаго кроку варонкі на іншы.
Павялічваючы колькасць кліентаў на якім-небудзь узроўні варонкі, мы аўтаматычна павялічваем выніковы аб'ём продажаў.
Просты прыклад.
Метрыка "Працэнт кінутых кошыкаў" па сутнасці паказвае канверсію пры пераходзе ад таварнага кошыка да аформленай замовы.
Дапушчальны, пры першым замеры Вы выявілі, што губляецца 90% кошыкаў, г.зн. з 10 кошыкаў робіцца толькі 1 заказ.
З таварным кошыкам відавочна нешта не так, праўда?
Для прастаты будзем лічыць, што сума адной замовы - 100 руб. В.а. выніковы аб'ём продажаў складзе ўсяго 100 руб.
У выніку дапрацоўкі кошыка, працэнт кінутых кошыкаў паменшыўся на 10%, да 80%. Як гэта выглядае ў лічбах?
З 10 кошыкаў сталі афармляць 2 замовы. 100 руб * 2 = 200 руб.
Але ж гэта павелічэнне аб'ёму продажаў на 100%! Бінга!
Павялічыўшы канверсію кроку за ўсё на 10% Вы павялічылі аб'ём продажаў на 100%.
Фантастыка!
Але менавіта так гэта і працуе.
Разумееце зараз у чым хараство правільна пабудаваных метрык?
З іх дапамогай можна дабіцца фантастычнага ўплыву на Вашы працэсы.
З інтэрнэт-крамай усё даволі проста, а вось як гэта ўсё перакласці, напрыклад, на якасць праграмнага прадукта? Ды сапраўды таксама:
- Выбіраемы асноўную каштоўнасць над якой працуем. Напрыклад, скарачаем колькасць інцыдэнтаў у проме.
- Разумеем, хто і што робіць гэтую каштоўнасць. Напрыклад, зыходны код.
- Які будуецца варонку жыццёвага цыклу зыходнага кода і расстаўляем метрыкі на кожным кроку варонкі. Усё.
Вось, напрыклад, якія метрыкі якасці маглі б атрымацца (на ўскідку)…
Паказчык каштоўнасці:
- шчыльнасць дэфектаў прома на 1000 радкоў кода
Метрыкі зыходзячы з жыццёвага цыкла зыходнага кода:
- доля няўдалых кампіляцый,
- ахоп аўтатэстамі,
- доля няўдалых аўтатэстаў,
- доля няўдалых разгортванняў.
Метрыкі зыходзячы з жыццёвага цыкла дэфектаў:
- дынаміка выяўлення дэфектаў,
- дынаміка выпраўлення,
- дынаміка пераадкрыццяў,
- дынаміка адхіленняў дэфектаў,
- сярэдні час чакання выпраўлення,
- сярэдні час выпраўлення.
Вынікі
Як бачыце, тэма метрык рэальна вельмі важная, патрэбная і цікавая.
Як правільна падабраць метрыкі:
Выбірайце OMTM, прадумвайце яе асноўную каштоўнасць і вымярайце вытворцаў гэтай каштоўнасці.
Метрыкі будуйце на падставе варонкі жыццёвага цыклу вытворцы.
Старайцеся не выкарыстоўваць абсалютныя метрыкі.
Што яшчэ пачытаць на гэтую тэму
Тэма метрык стала папулярнай на хвалі руху Lean Startup, таму лепш за ўсё пачаць чытанне з першакрыніц - кніг "Lean Startup" (пераклад на рускую мову - "Бізнес з нуля. Метад Lean Startup" на Ozon) і "Lean Analytics" (перакладу няма, але кніга на англійскай прадаецца на Ozon).
Такую-сякую інфармацыю можна знайсці ў Інтэрнэце нават на рускай мове, але ўсёабдымнага падручніка, на жаль, пакуль знайсці не ўдалося нават у заходнім сегменце.
Дарэчы, зараз з'явіліся нават асобныя спецыялісты "прадуктолагі", задачай якіх з'яўляецца пабудова правільнай сістэмы метрык для свайго прадукта і прапанова шляхоў па іх паляпшэнню.
На гэтым усё.
Калі артыкул дапамог Вам лепш зразумець сутнасць пытання, аўтар будзе ўдзячны за "лайк" і перапост.
Крыніца: habr.com