Метрики — это фуфло, скажите Вы, и будете правы. В чём-то.
Действительно, если речь заходит о метриках, то самая первая первая метрика, которая приходит на ум — посещаемость.
Многие любят медитировать часами глядя на график посещаемости своего сайта.
Как же это круто, наблюдать как скачет линия — туда-сюда, туда-сюда… А еще круче, когда посещаемость сайта растет непрерывно.
Тогда блаженное тепло разливается по всему телу и разум воспаряет к небесам в ожидании манны небесной.
Ах, какая радость, какое блаженство!
И даже если картина печальная…
От графика все равно не оторвать глаз, так он затягивает.
Кажется, что в графике скрыт тайный смысл. Еще немного, и картинка раскроет свои секреты и расскажет невероятно простой и эффективный способ привлечения огромного количества клиентов. И тогда-то деньги точно потекут рекой.
Но на самом деле, посещаемость — типичная “слащавая (тщеславная) метрика”, не несущая в себе полезного смысла.
И таких метрик большинство. В основном все метрики, которые Вы увидите — слащавые. И именно поэтому за метриками сложилась дурная слава бессмысленной траты времени и сил.
Но на самом деле это совсем не так. Правильные метрики дают крайне важную, а порой бесценную информацию для бизнеса и проекта.
Главный бонус и назначение метрик — это то, что они дают возможность управлять Вашим бизнесом или проектом.
Как определить, что метрика плохая?
Давайте рассмотрим очень простой пример — скорость автомобиля.
Скажите, пожалуйста, что обозначает скорость…
100 км/ч ?
Хм…
Хм…
Так что же она обозначает?
Думаю, Вы, наверное, и сами догадались, что… ничего не обозначает!
Ок. Теперь второй вопрос:
100 км/ч это хорошо или плохо?
Хм…
Ни то ни другое?
Верно!
Скорость — совершенно бесполезная и бестолковая метрика. Если, конечно, её использовать саму по себе. В купе с другими метриками она, конечно, может что-то сказать, но сама по себе — точно нет.
Посещаемость сайта — ровно та же самая скорость.
Именно поэтому зависать перед графиком посещаемость сайта нет совершенно никакого смысла. Он не раскроет Вам тайну жизни. Понимаете теперь?
А какие метрики тогда хорошие?
Например, Churn rate. Эта метрика говорит сколько клиентов ушло из компании/сайта навсегда с течением времени.
Churn rate = 1% говорит, что мы теряем всего 1% клиентов. Т.е. почти никого не теряем.
Если же Churn rate = 90%, то это означает, что мы теряем почти всех своих клиентов. Это ужасно!
Видите отличие этой метрики от скорости?
Churn rate — наполненная смыслом метрика, которая отвечает на вопрос, хорошо это или плохо. И Вам не нужно гадать, что она обозначает.
Это метрика, говорящая сама за себя!
И теперь мы готовы предпринять срочные действия, чтобы уменьшить отток клиентов.
Именно поэтому такие метрики называют действенными. Потому что они побуждают к действию.
Критерий “слащавости” метрик
Есть очень простой способ определить, что метрика “слащавая / тщеславная” (англ. vanity).
Большинство абсолютных метрик, таких, например, как посещаемость, количество скачиваний, количество ретвитов, количество email-ов/подписчиков, количество лайков и т.д. являются слащавыми.
Относительные, взвешенные, метрики часто бывают действенными. Но не все!
Что касается качественных метрик, то тут однозначности нет, т.к. качественная оценка сама по себе не может быть точной и однозначной.
Но с другой стороны, оценивать удобство программы можно и нужно именно по уровню восприятия конечных пользователей и никак иначе.
Как подступиться к метрикам в целом?
Первым делом нужно перевернуть мозг.
Без шуток.
Каждый(!) кто сталкивается с метриками, первым делом начинает искать в них причину бытия. Но они ее не покажут, к сожалению.
Метрики — это просто как обычная линейка с помощью которой мы измеряем все, что хотим.
Вы же не ищете причину бытия в обычной деревянной линейке, верно?
Поиск смысла жизни в линейке — это то, что называется “подход снизу-вверх”.
Для правильной работы с метриками нужно сменить парадигму и начать работать наоборот, сверху-вниз.
Т.е. сначала делать какое-то действие, а потом уже с помощью метрик измерять получившийся от него эффект.
Следует использовать метрики как обычный предмет для измерений и не более.
Вдумайтесь в эти слова.
Измеряйте с помощью метрик эффект от Ваших действий, а не придумывайте действия на основании показаний деревянной линейки.
Такой подход ещё называют “Гипотеза->Измерение”.
Ок, с этим понятно.
Pyetja № 2: “Çfarë saktësisht të matim? Si të gjejmë metrikat e duhura?”
Si të krijoni setin tuaj të metrikeve?
Duke kërkuar në internet, me siguri do të gjeni dhjetëra, madje qindra metrikash për të njëjtën çështje.
Për shembull, për metrikat e cilësisë së softuerit, mund të gjeni rreth njëqind. Këtu përfshihen standardet GOST R-ISO, metrikat e llogaritura në SonarQube, disa variante të krijuara vetë dhe madje metrika "kualitative" të bazuara në komente të përdoruesve.
Pra, cilat duhet të përdorim dhe cilat jo?
Qasja më e mirë është të drejtohemi nga “vlera kryesore”.
OMTM (Një Metër që Ka rëndësi)
Le të shqyrtojmë një shembull.
Sigurisht, nëse dëshironi të përmirësoni cilësinë e produktit tuaj softuerik, mund ta matni këtë cilësi në mënyra të ndryshme.
Cilësia nuk është vetëm numri i gabimeve. Kur shikoni cilësinë në tërësi, ajo është:
numri i incidenteve në prodhim,
lehtësia e përdorimit dhe qartësia e perceptimit,
shpejtësia e funksionimit,
plotësia dhe kohëzgjatja e realizimit të funksionaliteteve të planifikuara,
siguria.
Ka shumë kritere dhe është e pamundur të punoni me të gjitha menjëherë. Qasja është shumë e thjeshtë: zgjidhni një kriter, atë më të rëndësishëm në momentin aktual, dhe punoni vetëm me të.
Kjo qasje quhet OMTM (Një Metër që Ka Rëndësi) — Një (E Vetme) Metrikë e Rëndësishme.
OMTM për cilësinë e softuerit logjikisht do të ishte numri i incidenteve të rënda (të rëndësishme dhe kritike) në mjedisin e prodhimit.
Për dyqanet online, nuk ka nevojë të mendoni për OMTM-në — kjo është vëllimi i shitjeve ose fitimi (në varësi të vendimit tuaj).
Kjo Një Metrikë e Rëndësishme do të jetë vlera kryesore për setin tuaj të metrikeve. Dhe pikërisht nga ajo do të varet seti i fundit.
Vlera e Brendshme
Në shumicën e rasteve, seti i metrikeve fillon të krijohet “pa mendim të thellë”, duke kërkuar në internet dhe duke zgjedhur opsionet më të mira të gjetura me parimin: “Oh! Ky na përshtatet!”
Siç e kuptoni, kjo nuk është mënyra më e mirë, apo jo?
Por si ta vendosim se cila metrikë të marrim dhe cilën jo?
Për shembull, shpesh maten lloje të ndryshme të konvertimeve të përdoruesve.
Por pse maten pikërisht përdoruesit dhe jo diçka tjetër? A keni menduar ndonjëherë për këtë pyetje?
Natyrisht, ka një përgjigje.
Le të shqyrtojmë një dyqan online si një shembull më të thjeshtë për t'u kuptuar.
Supozoni se dëshironi të rrisni vëllimin e shitjeve. Cilat metrikë do t'ju nevojiten për këtë? Si t'i qaseni kësaj?
Ka një mënyrë të thjeshtë, logjike dhe efektive. Gjitha vendoset në vend kur përgjigjeni në pyetjen:
KUSH PRODHON VLERËN?
Ne po punojmë me vëllimin e shitjeve, apo jo? Dëshirojmë ta rrisim, apo jo?
Kë duhet të ndikojmë për të rritur vëllimin e shitjeve?
Sigurisht,
duhet të ndikojmë në shkakun —
tek ai që “prodhon” vlerë.
Kush prodhon para në dyqanin online? Nga ku vijnë paratë?
Çdoherë është e thjeshtë: nga klientët.
Ku mund të ndikojmë konkretisht në dyqanin online për klientët?
Kudo!
Saktë. Në çdo hap të ciklit të jetës së klientit.
Për të përfaqësuar ciklin e jetës së klientit, është e lehtë të ndërtoni një të ashtuquajtur “vrimë” të lëvizjes së klientit në proces.
Shembulli i vrimës së dyqanit online:
Pse pikërisht kështu? Sepse klientët humbasin pikërisht gjatë kalimeve nga një hap në tjetrin në vrimin.
Duke rritur numrin e klientëve në një nivel të caktuar të vrimës, ne automatikisht rrisim vëllimin e shitjeve.
Një shembull i thjeshtë.
Metoda "Përqindja e shportave të braktisura" në thelb tregon konvertimin gjatë kalimit nga shporta e produktit në porosinë e finalizuar.
Supozoni se gjatë matjes së parë zbuloni se humbin 90% e shportave, dmth nga 10 shporta bëhen vetëm 1 porosi.
Dikush ka një çështje me shportën, apo jo?
Për thjeshtësinë le të supozojmë se shuma e një porosie është 100 lekë. Kështu, vëllimi përfundimtar i shitjeve do të jetë vetëm 100 lekë.
Pas përmirësimit të shportës, përqindja e shportave të braktisura u ul me 10%, në 80%. Si duket kjo në numra?
Nga 10 shporta u bëjnë 2 porosi. 100 lekë * 2 = 200 lekë.
Por kjo është një rritje e vëllimit të shitjeve për 100%! Bingo!
Duke rritur konvertimin e hapit vetëm me 10% ju keni rritur vëllimin e shitjeve për 100%.
Fantastike!
Por kjo është ajo si funksionon.
E kuptoni tani magjinë e metrikeve të ndërtuara në mënyrë të duhur?
Me ndihmën e tyre mund të arrini një ndikim të jashtëzakonshëm në proceset tuaja.
Me dyqanin online është gjithçka mjaft e thjeshtë, por si ta transferoni të gjithë këtë, për shembull, te cilësia e produktit software? Pikerisht kështu:
- Zgjidhni vlerën kryesore mbi të cilën punoni. Për shembull, ulni numrin e incidenteve në prodhim.
- Kuptoni kush dhe çfarë prodhon këtë vlerë. Për shembull, kodi burimor.
- Ndërtoni vrimën e ciklit të jetës së kodit burimor dhe vendosni metrike në çdo hap të vrimës. Kaq.
Ja, si për shembull, këto janë disa metrika cilësore që mund të rezultojnë (me sa duket)…
Indeksi i vlefshmërisë:
- densiteti i defekteve në 1000 rreshta të kodit
Metrika në bazë të ciklit të jetës së kodit burim:
- pjesa e kompilimeve që dështojnë,
- mbulimi i testeve automatike,
- pjesa e testeve automatike që dështojnë,
- pjesa e desplejimeve që dështojnë.
Metrika në bazë të ciklit të jetës së defekteve:
- dinamika e zbulimit të defekteve,
- dinamika e rregullimeve,
- dinamika e ri-ndryshimeve,
- dinamika e devijimeve të defekteve,
- koha mesatare e pritjes për rregullim,
- koha mesatare për rregullim.
Përfundimet
Siç e shihni, tema e metrikeve është vërtet shumë e rëndësishme, e nevojshme dhe interesante.
Si të zgjidhni metrikat në mënyrë të duhur:
Zgjidhni OMTM, mendoni për vlerën e saj kryesore dhe matni prodhuesit e kësaj vlere.
Ndërtoni metrikat në bazë të gypit të ciklit të jetës së prodhuesit.
Përpiquni të mos përdorni metrika absolute.
Çfarë tjetër të lexoni mbi këtë temë
Tema e metrikeve u bë popullore në valën e lëvizjes Lean Startup, kështu që më mirë është të filloni leximin nga burimet e para — librat 'Lean Startup' (përkthimi në rusisht — 'Biznes nga zero. Metoda Lean Startup' në Ozon) dhe 'Lean Analytics' (nuk ka përkthim, por libri në anglisht është në shitje në Ozon).
Disa informacion mund të gjendet në Internet edhe në gjuhën ruse, por për fat të keq, nuk është gjetur ende asnjë manual gjithëpërfshirës madje as në segmentin perëndimor.
Përveç kësaj, tani kanë dalë specialistë të veçantë 'produktologë', e cila detyrë është ndërtimi i sistemit të duhur të metrikeve për produktin e tyre dhe propozimi i mënyrave për përmirësimin e tij.
Kaq ishte gjithçka.
Nëse artikulli ju ndihmoi të kuptoni më mirë thelbin e çështjes, autori do të ishte mirënjohës për një 'like' dhe shpërndarje.
Burimi: habr.com
