Metrikker er noget skrammel, vil du sige, og du ville have ret. På en måde.
Når det kommer til metrikker, er den første, der kommer til at tænke på, besøgsstatistik.
Mange elsker at meditere i timevis på diagrammet for deres websteds besøg.
Hvor fantastisk det er at se, hvordan linjen hopper – frem og tilbage, frem og tilbage… Og det er endnu bedre, når webstedets besøgstal stiger kontinuerligt.
Så breder en velsignende varme sig i hele kroppen, og sindet svæver til himmels i forventning om den himmelske manna.
Åh, hvilken glæde, hvilken velsignelse!
Og selv hvis billedet er trist…
Man kan ikke tage øjnene væk fra diagrammet, så dragende er det.
Det virker som om, der er en hemmelig mening gemt i diagrammet. Lidt mere, og billedet vil afsløre sine hemmeligheder og vise en utrolig enkel og effektiv måde at tiltrække et stort antal kunder på. Og så vil pengene helt sikkert strømme ind.
Men i virkeligheden er besøgsstatistik en typisk "sødladen (prippede) metrik", som ikke bærer nogen nyttig betydning.
Og sådan er det med de fleste metrikker. De fleste metrikker, du ser – er sødladen. Og derfor har metrikker fået et dårligt ry som meningsløs spild af tid og kræfter.
Men i virkeligheden er det slet ikke sådan. De rigtige metrikker giver ekstremt vigtig, og nogle gange uvurderlig information til virksomheden og projektet.
Den største bonus og funktion for metrikker er, at de giver mulighed for at styre din virksomhed eller dit projekt.
Hvordan kan man afgøre, at en metrik er dårlig?
Lad os tage et meget simpelt eksempel – bilens hastighed.
Sig mig, hvad betyder hastigheden…
100 km/t?
Hmm…
Hmm…
Hvad betyder det så?
Jeg tror, du nok allerede har gættet, at… det ikke betyder noget!
Okay. Så det andet spørgsmål:
Er 100 km/t godt eller dårligt?
Hmm…
Hverken eller?
Korrekt!
Hastighed er en helt ubrugelig og meningsløs metrik. Hvis man selvfølgelig kun bruger den for sig selv. I kombination med andre metrikker kan den selvfølgelig sige noget, men alene — bestemt ikke.
Webstedets besøgsstatistik er præcis den samme hastighed.
Derfor giver det ikke mening at hænge over diagrammet for webstedets besøg. Det vil ikke afsløre livets hemmelighed. Forstår du nu?
Men hvilke metrikker er så gode?
For example, Churn rate. This metric indicates how many customers have permanently left the company/website over time.
A churn rate of 1% means that we are losing only 1% of customers. That is, we are hardly losing anyone.
If the churn rate is 90%, it means we are losing nearly all of our customers. That's terrible!
Do you see the difference between this metric and speed?
Churn rate is a meaningful metric that answers the question of whether this is good or bad. And you don't need to guess what it means.
This is a metric that speaks for itself!
And now we are ready to take urgent action to reduce customer churn.
That’s why such metrics are called actionable. Because they prompt action.
The criterion of 'vanity' metrics
There is a very simple way to determine if a metric is 'vanity' (eng. vanity).
Most absolute metrics, such as traffic, number of downloads, retweets, email subscribers, likes, etc. are often vanity metrics..
Relative, weighted metrics can often be actionable. But not all of them!
As for qualitative metrics, there is no unambiguity here, as qualitative assessment cannot be exact and unambiguous.
On the other hand, user-friendliness can and should be assessed based on the perceptions of end users and nothing else.
How to approach metrics as a whole?
First of all, you need to change your mindset.
No kidding.
Anyone who encounters metrics first seeks the reason for their existence in them. Unfortunately, they won't show it.
Metrics are simply like a standard ruler that we use to measure anything we want.
You don't look for the reason for existence in a normal wooden ruler, right?
Searching for the meaning of life in a ruler is what is called a 'bottom-up approach.'
To work correctly with metrics, you need to shift the paradigm and start working the other way around, top-down.
That is, first, take some action, and then measure the resulting effect with metrics.
You should use metrics just like a regular measuring tool and nothing more.
Think about these words.
Measure the effect of your actions with metrics, rather than invent actions based on the readings of a wooden ruler.
Denne tilgang kaldes også "Hypotese->Måling".
Okay, det giver mening.
Spørgsmål nr. 2: "Hvad skal man måle? Hvordan finder man de rigtige metrikker?"
Hvordan sammensætter man sit eget sæt af metrikker?
Når du søger på internettet, vil du helt sikkert finde dusinvis eller endda hundreder af forskellige metrikker om det samme emne.
For eksempel kan man finde omkring hundrede metrikker for softwarekvalitet. Det er både GOSTR-ISO standarder, metrikker beregnet i SonarQube, nogle skræddersyede versioner, og endda "kvalitative" metrikker baseret på brugeranmeldelser.
Så hvilke skal man bruge, og hvilke skal man ikke?
Den bedste tilgang er at styre efter den "grundlæggende værdi".
OMTM (One Metric That Matters)
Lad os tage et eksempel.
Det er klart, at hvis du ønsker at forbedre kvaliteten af dit softwareprodukt, kan denne kvalitet måles på forskellige måder.
Kvalitet er ikke kun antallet af fejl. Når man ser på kvaliteten som helhed, er det:
antallet af hændelser i produktion,
brugervenlighed og forståelighed,
hurtighed,
kompletheden og rettidigheden af planlagt funktionalitet,
sikkerhed.
Der er mange kriterier, og man kan ikke arbejde med dem alle samtidig. Det gøres meget simpelt: man vælger et, det vigtigste kriterium i øjeblikket, og arbejder kun med det.
Denne tilgang kaldes OMTM (One Metric That Matters) — Én (Vigtig) Metrik.
OMTM for softwarekvalitet kan logisk vælges som antallet af alvorlige (vigtige og kritiske) hændelser i produktionsmiljø.
For onlinebutikker er der slet ikke behov for at tænke på OMTM — det er salgsvolumen eller profit (afhængig af dit valg).
Denne Éne Vigtige Metrik vil være den grundlæggende værdi for dit metricsæt. Og det er netop fra den, at deres endelige sammensætning vil afhænge.
Værdi Inside
Oftest starter man med at sammensætte et metricsæt "fra hoften", ved at søge på internettet og vælge de bedste muligheder ud fra princippet: "Åh! Det vil passe til os!"
Som du forstår, er dette ikke den bedste metode, vel?
Men hvordan skal man beslutte, hvilken metrik man skal tage, og hvilken man ikke skal?
For eksempel måler man ofte forskellige former for bruger-konversioner.
Men hvorfor måler man netop brugerne og ikke noget andet? Har du nogensinde tænkt over det spørgsmål?
Naturligvis er der et svar.
Lad os tage en onlinebutik som et meget enkelt eksempel til forståelse.
Lad os antage, at du ønsker at øge salget. Hvilke målinger har du brug for til det? Hvordan griber man det an?
Der er én enkel, logisk og funktionel metode. Alt falder på plads, når du svarer på spørgsmålet:
HVEM SKABER VÆRDIEN?
Vi arbejder jo på at øge salget, ikke? Vi ønsker at øge det, ikke sandt?
Hvem skal påvirkes, og hvad skal der gøres for at øge salget?
Selvfølgelig,
skal du påvirke årsagen —
den, der "skaber" værdien.
Hvem producerer pengene i en webshop? Hvor kommer pengene fra?
Meget enkelt: fra kunderne.
Hvor præcist i webbutikken kan man påvirke kunderne?
Ja, hvor som helst!
Rettigt. På hvert trin i kundens livscyklus.
For at repræsentere livscyklussen er det praktisk at konstruere en såkaldt "tragt" for kundeprocessen.
Eksempel på en webshop-tragt:
Hvorfor netop sådan? Fordi kunderne går tabt især ved overgange fra ét skridt i tragten til et andet.
Ved at øge antallet af kunder på et hvilket som helst niveau i tragten, øger vi automatisk det samlede salg.
Et enkelt eksempel.
Målingen "Procentdel af forladte kurve" viser i bund og grund konverteringen fra varekurven til en fuldført ordre.
Lad os sige, at du ved den første måling opdager, at 90% af kurvene går tabt, dvs. fra 10 kurve bliver der kun lavet 1 ordre.
Der er tydeligvis noget galt med kurven, ikke?
For enkelhedens skyld, lad os antage, at beløbet for én ordre er 100 kr. Således vil det samlede salg kun være 100 kr.
Som følge af forbedringerne af kurven faldt procentdelen af forladte kurve med 10% til 80%. Hvordan ser det ud i tal?
Fra 10 kurve blev der lavet 2 ordrer. 100 kr * 2 = 200 kr.
Men det er da en stigning i salget på 100%! Jackpot!
Ved at øge konverteringen af skridtet med blot 10% har du øget salget med 100%.
Fantastisk!
Men sådan fungerer det.
Forstår du nu, hvad der er skønheden ved korrekt konstruerede målinger?
Ved hjælp af dem kan du opnå fantastisk indflydelse på dine processer.
Med webbutikken er alt ret enkelt, men hvordan overfører vi det til kvaliteten af softwareprodukter? På præcis samme måde:
- Vi vælger den primære værdi, som vi arbejder med. For eksempel, reducerer vi antallet af hændelser i produktionen.
- Vi forstår, hvem og hvad der producerer denne værdi. For eksempel, kildekoden.
- Vi bygger en livscyklus-tragt for kildekoden og sætter målinger på hvert trin i tragten. Alt.
Her er for eksempel, hvilke kvalitetsmålinger der kunne komme frem (uden at tænke for meget over det)…
Værdiindikator:
- defektlængde på 1000 kodelinjer
Målinger baseret på livscyklussen for kildekoden:
- andel af fejlede compilationer,
- dækning af automatiserede tests,
- andel af fejlede automatiserede tests,
- andel af fejlede implementeringer.
Målinger baseret på livscyklussen for fejl:
- dynamik i fejlidentifikation,
- dynamik i reparation,
- dynamik i genåbninger,
- dynamik i afvigelser i fejl,
- gennemsnitlig vente tid for reparation,
- gennemsnitlig reparationstid.
Resumé
Som du kan se, er temaet om målinger virkelig meget vigtigt, nødvendigt og interessant.
Hvordan man korrekt vælger målinger:
Vælg OMTM, overvej dens hovedværdi og mål producenterne af denne værdi.
Byg målinger baseret på livscyklussen for producentens tragte.
Prøv at undgå absolutte målinger.
Hvad andet skal man læse om dette emne
Temaet målinger blev populært med bevægelsen Lean Startup, så det bedste sted at starte læsningen er med de primære kilder - bøgerne “Lean Startup” (oversættelse til russisk - “Business fra grunden. Lean Startup-metoden” på Ozon) og “Lean Analytics” (ingen oversættelse, men bogen på engelsk sælges på Ozon).
Nogle oplysninger kan findes på internettet, selv på russisk, men desværre har man ikke kunnet finde en omfattende lærebog, selv ikke i det vestlige segment.
For resten, er der nu endda specialister kaldet “produktologer”, hvis opgave er at bygge det rigtige målesystem for deres produkt og foreslå måder til forbedring.
Det var alt.
Hvis artiklen har hjulpet dig med at forstå emnet bedre, vil forfatteren sætte pris på en “like” og deling.
Kilde: habr.com
