A metrikák feleslegesek, mondhatnád, és igazad lenne. Valahol.
Valóban, ha a metrikákról van szó, az első metrika, ami eszedbe jut, az a látogatottság.
Sokan szeretnek órákig meditálni, miközben a weboldaluk látogatottságát figyelik.
Mennyire csodálatos látni, ahogy a vonal ugrál – ide-oda, ide-oda… És még csodálatosabb, amikor a weboldal látogatottsága folyamatosan növekszik.
Akkor a boldog melegség árad el az egész testben, és az elme a mennybe száll a mennyei manna várásában.
Ó, milyen öröm, milyen boldogság!
És még ha a kép szomorú is…
A grafikonról mégis nehéz levenni a szemet, annyira magával ragadó.
Úgy tűnik, hogy a grafikonban titkos jelentés rejlik. Még egy kicsit, és a kép felfedi titkait, és elmondja a hihetetlenül egyszerű és hatékony módját a rengeteg ügyfél vonzásának. És ekkor a pénz biztosan áradni fog.
De valójában a látogatottság tipikus ‘cukros (hiú) metrika’, amely nem hordoz hasznos jelentést.
És az ilyen metrikák a többség. A legtöbb metrika, amit látsz, édes. Éppen ezért a metrikák hírneve a felesleges idő- és energiafogyasztásról alakult ki.
De valójában ez nem teljesen igaz. A helyes metrikák rendkívül fontos, sőt, olykor felbecsülhetetlen információt nyújtanak az üzletnek és a projekteknek.
A metrikák fő bónusza és célja az, hogy lehetővé tegyék az üzleted vagy projekted irányítását.
Hogyan határozhatod meg, hogy egy metrika rossz?
Nézzük meg egy nagyon egyszerű példát – egy autó sebességét.
Kérlek, mondd meg, mit jelent a sebesség…
100 km/h?
Hmm...
Hmm...
Mit is jelent ez valójában?
Azt hiszem, te is rájöhettél, hogy… semmit nem jelent!
Rendben. Most jöjjön a második kérdés:
100 km/h jól van, vagy rossz?
Hmm...
Sem jól, sem rosszul?
Helyes!
A sebesség teljesen haszontalan és értelmetlen metrika. Ha persze magában használod. Más metrikákkal együtt akkor nyújthat valami információt, de önmagában – nem.
A weboldal látogatottsága pontosan ugyanaz a sebesség.
Éppen ezért nincs értelme a weboldal látogatottságának grafikonja előtt remekül elidőzni. Ez nem fogja felfedni számodra az élet titkát. Értesz már?
Milyen metrikák akkor a jók?
Például, a churn rate. Ez a mutató azt jelzi, hogy hány ügyfél távozott a cégtől/webhelyről véglegesen az idő múlásával.
A churn rate = 1% azt jelenti, hogy mindössze 1% ügyfelet veszítünk. Vagyis szinte senkit sem veszítünk el.
Ha pedig a churn rate = 90%, akkor ez azt jelenti, hogy szinte minden ügyfelünket elveszítjük. Ez borzasztó!
Látja a különbséget a mutató és a sebesség között?
A churn rate — egyértelmű értelmet nyerő mutató, amely választ ad arra a kérdésre, hogy ez jó vagy rossz. És Önnek nem kell találgatnia, mit jelent.
Ez egy olyan mutató, amely önmagáért beszél!
Most készen állunk arra, hogy sürgős intézkedéseket tegyünk az ügyfelek elhagyásának csökkentése érdekében.
Ezért hívják ezeket a mutatókat cselekvésre ösztönzőnek. Mert cselekvésre késztetnek.
A mutatók „édes” kritériuma
Nagyon egyszerű módja van annak meghatározására, hogy egy mutató "édes / önelégült" (angolul vanity).
A legtöbb abszolút mutató, mint például a látogatószám, letöltések száma, retweetek száma, e-mailek/előfizetők száma, lájkok száma stb. édesek.
A relatív, súlyozott mutatók gyakran cselekvésre ösztönzőek. De nem mind!
A kvalitatív mutatók esetében nincs egyértelműség, mivel a minőségi értékelés önmagában nem lehet pontos és egyértelmű.
De másrészt a szoftver használhatóságát pontosan a végfelhasználók percepciója alapján kell értékelni, és semmilyen más módon.
Hogyan közelítsünk a mutatókhoz összességében?
Először is, meg kell fordítani az agyunkat.
Komolyan.
Mindazok, akik találkoznak a mutatókkal, elsőként a létezésük okát kezdik keresni bennük. De sajnos ezt nem mutatják meg.
A mutatók egyszerűek, mint egy hagyományos vonalzó, amellyel mindent mérünk, amit akarunk.
Nem keresni az élet értelmét egy hagyományos fa vonalzón, igaz?
Az élet értelmének keresése egy vonalzóban az úgynevezett "alulról felfelé" megközelítést jelenti.
A mutatók helyes használatához meg kell változtatni a paradigmát, és felülről lefelé kell kezdeni dolgozni.
Vagyis először valamilyen cselekvést kell végezni, majd a mutatók segítségével mérni az elért hatást.
A mutatókat mint egy közönséges mérőeszközt kell használni, és nem többet.
Gondolkodjon el ezeken a szavakon.
Mérje a mutatók segítségével a cselekedetei hatását, és ne találja ki a cselekvéseket a fa vonalzó mérései alapján.
Ezt a megközelítést „Hipotézis->Mérés”-nek is nevezik.
Rendben, ez világos.
2. kérdés: „Mit is mérjünk? Hogyan találjuk meg a megfelelő metrikákat?”
Hogyan állítsuk össze a saját metrikakészletünket?
Az interneten böngészve biztosan talál tucatnyi, sőt, akár száz különféle metrikát ugyanarra a témára.
Például a szoftverminőség metrikáiból körülbelül százat találhatunk. Ezek között vannak a GOSTR-ISO szabványok, a SonarQube-ban kiszámított metrikák, egyedi megoldások és még a felhasználói visszajelzéseken alapuló „minőségi” metrikák is.
Melyeket érdemes használni, és melyeket nem?
A legjobb megközelítés, ha a „fő érték” alapján döntünk.
OMTM (Egy Metika, Ami Számít)
Nézzünk egy példát.
Nyilvánvaló, hogy ha javítani szeretné a szoftvertermékének minőségét, akkor ezt különböző módokon lehet mérni.
A minőség nem csupán a hibák száma. Ha az egész minőségére tekintünk, akkor az:
a termelési incidensek száma,
a használhatóság és az észlelhetőség,
a sebesség,
a tervezett funkciók megvalósításának teljesítési aránya és időben való befejezése,
a biztonság.
Sok kritérium létezik, és egyszerre mindegyikkel dolgozni lehetetlen. Az a legegyszerűbb megoldás, ha kiválasztunk egyet, a jelen helyzet legfontosabb kritériumát, és csak azzal foglalkozunk.
Ezt a megközelítést OMTM-nek (Egy Metika, Ami Számít) hívják.
A szoftverminőség OMTM-jét logikus választani a súlyos (fontos és kritikus) incidensek számaként a termelési környezetben.
Az internetes boltok számára nem is érdemes másban gondolkodni — ez az eladások volumene vagy a profit (attól függően, hogy mit választ).
Ez az Egy Fontos Metika lesz a metrikakészletünk fő értéke. És pontosan ez határozza meg a végeredményét.
Inside Érték
A metrikakészlet összeállítását gyakran „benyomásra” kezdik, kotorászva az interneten, és kiválasztva a legjobb opciókat az „Ó! Ez nekünk megfelelő!” elve alapján.
Ahogy érti, ez nem a legjobb módszer, ugye?
De hogyan döntsük el, hogy melyik metrikát vegyük, és melyiket ne?
Például gyakran mérnek különféle felhasználói konverziókat.
De miért éppen a felhasználókat mérik, és nem valami mást? Ezen elgondolkodott már?
Természetesen van válasz.
Nézzük meg az internetes boltot, mint a legegyszerűbb érthető példát.
Tegyük fel, hogy növelni szeretné a forgalmat. Milyen mutatókra van szüksége ehhez? Hogyan közelítse meg ezt?
Van egy egyszerű, logikus és működő módszer. Minden a helyére kerül, amikor megválaszolja a kérdést:
KI TERMEL ÉRTÉKET?
Hiszen a forgalmon dolgozunk, igaz? Növelni akarjuk, nemde?
Kire és mire kell hatni, hogy növeljük a forgalmat?
Természetesen,
hatnunk kell az okra —
arra, aki „termeli” az értéket.
Ki termeli a pénzt az online boltban? Honnan jön a pénz?
Nagyon egyszerű: az ügyfelektől.
Hol pontosan lehet hatni az ügyfelekre az online boltban?
Ahol csak akarja!
Igaz. Az ügyfél életciklusának minden szakaszában.
Az ügyfél életciklusának bemutatására kényelmes építeni egy úgynevezett „ tölcsért” az ügyfél folyamatán.
Egy online bolt tölcsérének példája:
Miért éppen így? Mert az ügyfelek éppen a tölcsér lépései közötti váltásoknál vesznek el.
Ha növeljük az ügyfelek számát a tölcsér bármely szintjén, automatikusan növeljük a kimenő forgalmat.
Egyszerű példa.
A „Hagyott kosarak aránya” mutató lényegében a konverziót mutatja a termékkosárról a megrendelés leadásra.
Tegyük fel, hogy az első mérésnél észreveszi, hogy a kosarak 90%-a elvész, azaz 10 kosárból csupán 1 rendelés megy végbe.
Valami egyértelműen nem stimmel a termékkosárral, igaz?
Egyszerűség kedvéért tegyük fel, hogy egy rendelés összege 100 rubel. Így a végső forgalom csupán 100 rubel.
A kosár finomítása után a hagyott kosarak aránya 10%-kal csökkent, 80%-ra. Hogyan néz ki ez számokban?
A 10 kosárból 2 rendelés készült. 100 rubel * 2 = 200 rubel.
De ez már 100%-os forgalomnövekedés! Bumm!
Ha csak 10%-kal növeli a lépés konverzióját, 100%-kal növelheti a forgalmat.
Fantasztikus!
De pontosan így működik.
Most már értik, miért csodálatosak a jól megépített mutatók?
Ezek segítségével fantasztikus hatást lehet elérni a folyamataira.
Az online bolttal minden elég egyszerű, de hogyan lehet ugyanezt a szoftvertermék minőségére is alkalmazni? Ugyanúgy:
- Kiválasztjuk az alapvető értéket, amin dolgozunk. Például csökkentjük az incidensek számát a termelésben.
- Megértjük, ki és mi termeli ezt az értéket. Például a forráskód.
- Felkészítjük a forráskód életciklusának tölcsérét, és minden lépéshez állítunk be metrikákat. Minden.
Például itt van néhány olyan minőségi metrika, ami létrejöhetne (hirtelen)...
Értékmutató:
- hiba sűrűség 1000 kódsorban
Metrikák a forráskód életciklusa alapján:
- a sikertelen fordítások aránya,
- automatikus tesztekkel való lefedettség,
- a sikertelen automatikus tesztek aránya,
- a sikertelen telepítések aránya.
Metrikák a hibák életciklusa szerint:
- hibák felfedezési dinamikája,
- javítási dinamika,
- újra megnyitások dinamikája,
- hibák eltérésének dinamikája,
- átlagos várakozási idő a javításra,
- átlagos javítási idő.
Összegzés
Ahogy látjátok, a metrikák témája valóban nagyon fontos, szükséges és érdekes.
Hogyan válasszuk ki a megfelelő metrikákat:
Válassz OMTM-t, gondold át a fő értékét, és mérd a termelőit.
A metrikákat a termelő életciklusának tölcsére alapján építsd fel.
Igyekezz ne használni abszolút metrikákat.
Mit érdemes még olvasni erről a témáról
A metrikák témája a Lean Startup mozgalom hullámán vált népszerűvé, ezért a legjobb, ha az első forrásokkal kezded az olvasást — a “Lean Startup” című könyvvel (oroszul: “Bíznisz nulláról. Lean Startup módszer” Ozonon) és a “Lean Analytics”-szel (nincs fordítása, de az angol nyelvű könyv kapható Ozonon).
Néhány információt még orosz nyelven is találhatsz az interneten, de sajnos átfogó tankönyvet egyelőre még a nyugati szegmensben sem találtunk.
Egyébként már különböző “termék szakértők” is megjelentek, akiknek az a feladatuk, hogy helyes metrikarendszert építsenek a termékükhöz és javasolják a javítási lehetőségeket.
Ennyit erről.
Ha a cikk segített jobban megérteni a kérdés lényegét, a szerző hálás lenne egy “like”-ért és megosztásért.
Forrás: habr.com
