Metriken sind nicht viel wert, werden Sie sagen, und damit haben Sie recht. In gewisser Hinsicht.
Wenn es um Metriken geht, ist die erste Metrik, die in den Sinn kommt, die Besucherzahl.
Viele lieben es, stundenlang auf das Besucherdiagramm ihrer Website zu starren.
Es ist großartig zu sehen, wie die Linie hin und her springt… Noch besser ist es, wenn die Besucherzahlen kontinuierlich steigen.
Dann durchströmt ein seliges Gefühl den ganzen Körper, und der Geist schwebt in den Himmel in Erwartung himmlischer Gaben.
Oh, welche Freude, welch Seligkeit!
Und selbst wenn das Bild traurig ist…
Von dem Diagramm kann man dennoch nicht die Augen abwenden, so fesselnd ist es.
Es scheint, als ob sich in dem Diagramm ein geheimer Sinn verbirgt. Nur noch ein wenig, und das Bild wird seine Geheimnisse lüften und einen unglaublich einfachen und effektiven Weg offenbaren, um eine riesige Anzahl von Kunden zu gewinnen. Und dann wird das Geld sicher in Strömen fließen.
In Wirklichkeit ist die Besucherzahl jedoch eine typische "süße (eitle) Metrik", die keinen nützlichen Sinn in sich trägt.
Und die meisten dieser Kennzahlen sind ähnlich. Im Allgemeinen sind alle Kennzahlen, die Sie sehen werden – eher schmeichelhaft. Und genau deshalb hat sich um Kennzahlen der schlechte Ruf eines sinnlosen Zeit- und Kraftaufwands gebildet.
Aber in Wirklichkeit ist das ganz anders. Richtige Kennzahlen liefern extrem wichtige und manchmal sogar wertvolle Informationen für das Geschäft und das Projekt.
Der Hauptvorteil und Zweck von Kennzahlen ist, dass sie Ihnen ermöglichen, Ihr Geschäft oder Projekt zu steuern.
Wie erkennt man, dass eine Kennzahl schlecht ist?
Lassen Sie uns ein sehr einfaches Beispiel betrachten – die Geschwindigkeit eines Autos.
Bitte sagen Sie mir, was die Geschwindigkeit bedeutet…
100 km/h?
Hmm…
Hmm…
Was bedeutet das also?
Ich denke, Sie haben wahrscheinlich selbst erraten, dass… es nichts bedeutet!
Okay. Jetzt die zweite Frage:
Ist 100 km/h gut oder schlecht?
Hmm…
Weder das eine noch das andere?
Richtig!
Die Geschwindigkeit ist eine völlig nutzlose und unbedeutende Kennzahl. Wenn man sie natürlich alleine betrachtet. In Verbindung mit anderen Kennzahlen kann sie natürlich etwas aussagen, aber für sich alleine – ganz bestimmt nicht.
Die Besucherzahl einer Website ist genau dieselbe Geschwindigkeit.
Deshalb macht es keinen Sinn, sich ständig auf die Besucherstatistik zu konzentrieren. Sie wird Ihnen kein Geheimnis enthüllen. Verstehen Sie jetzt?
Welche Kennzahlen sind dann gut?
Zum Beispiel die Churn-Rate. Diese Kennzahl zeigt, wie viele Kunden das Unternehmen oder die Website über die Zeit dauerhaft verlassen haben.
Eine Churn-Rate von 1 % bedeutet, dass wir nur 1 % der Kunden verlieren. Das heißt, fast niemand geht verloren.
Wenn die Churn-Rate jedoch 90 % beträgt, bedeutet das, dass wir fast alle unsere Kunden verlieren. Das ist schrecklich!
Sehen Sie den Unterschied dieser Kennzahl zur Geschwindigkeit?
Die Churn-Rate ist eine aussagekräftige Kennzahl, die beantwortet, ob es gut oder schlecht läuft. Sie müssen nicht raten, was sie bedeutet.
Es handelt sich um eine Kennzahl, die für sich selbst spricht!
Und jetzt sind wir bereit, dringende Maßnahmen zu ergreifen, um die Abwanderung von Kunden zu reduzieren.
Deshalb werden solche Kennzahlen als handlungsorientiert bezeichnet. Denn sie motivieren zum Handeln.
Das Kriterium der „Schmeichelei“ von Kennzahlen
Es gibt einen sehr einfachen Weg, um festzustellen, ob eine Kennzahl „schmeichelhaft / eitel“ (engl. vanity) ist.
Die meisten absoluten Kennzahlen, wie z.B. Besucherzahlen, Downloadzahlen, Anzahl der Retweets, Anzahl der E-Mails/Abonnenten, Anzahl der Likes usw. sind süßlich.
Relative, gewichtete Metriken sind oft effektiv. Aber nicht alle!
Was qualitative Metriken betrifft, gibt es keine Eindeutigkeit, da eine qualitative Bewertung an sich nicht genau und eindeutig sein kann.
Andererseits sollte die Benutzerfreundlichkeit eines Programms genau nach dem Empfinden der Endbenutzer bewertet werden und nicht anders.
Wie sollte man sich den Metriken insgesamt nähern?
Zuerst muss man umdenken.
Kein Scherz.
Jeder(!), der mit Metriken zu tun hat, sucht zunächst nach ihrem Sinn. Aber leider zeigen sie das nicht.
Metriken sind einfach wie ein normales Lineal, mit dem wir alles messen, was wir wollen.
Sie suchen doch nicht den Sinn des Lebens in einem normalen Holzlineal, oder?
Den Sinn des Lebens in einem Lineal zu suchen, ist das, was man als „Bottom-up-Ansatz“ bezeichnet.
Um richtig mit Metriken zu arbeiten, muss man das Paradigma wechseln und umgekehrt von oben nach unten arbeiten.
Das heißt, zuerst eine Handlung durchzuführen und erst dann mit Hilfe von Kennzahlen den daraus resultierenden Effekt zu messen.
Kennzahlen sollten wie gewöhnliche Messinstrumente verwendet werden, nicht mehr.
Denken Sie über diese Worte nach.
Messen Sie den Effekt Ihrer Handlungen mit Kennzahlen, anstatt Maßnahmen basierend auf den Angaben eines Holzlineals zu erfinden.
Dieser Ansatz wird auch als „Hypothese -> Messung“ bezeichnet.
Okay, das ist klar.
Frage Nr. 2: „Was genau soll gemessen werden? Wie finde ich die richtigen Kennzahlen?“
Wie stelle ich mein eigenes Set an Kennzahlen zusammen?
Wenn Sie im Internet suchen, werden Sie sicherlich Dutzende, wenn nicht Hunderte von verschiedenen Kennzahlen zum gleichen Thema finden.
Zum Beispiel gibt es rund hundert Kennzahlen zur Softwarequalität. Dazu gehören Standards wie GOST R ISO, Kennzahlen, die in SonarQube berechnet werden, eigene Varianten und sogar „qualitative“ Kennzahlen, die auf Nutzerbewertungen basieren.
Welche davon sollte man also verwenden und welche nicht?
Der beste Ansatz ist, sich an der „Hauptwert“ zu orientieren.
OMTM (One Metric That Matters)
Schauen wir uns ein Beispiel an.
Es ist klar, dass Sie die Qualität Ihres Softwareprodukts verbessern möchten. Diese Qualität lässt sich auf verschiedene Arten messen.
Qualität ist nicht nur die Anzahl der Fehler. Betrachtet man die Qualität im Allgemeinen, dann umfasst sie:
die Anzahl der Vorfälle in der Produktion,
die Benutzerfreundlichkeit und Verständlichkeit,
die Schnelligkeit der Ausführung,
die Vollständigkeit und Aktualität der Umsetzung geplanter Funktionen,
die Sicherheit.
Es gibt viele Kriterien, und es ist unmöglich, gleichzeitig mit allen zu arbeiten. Der Ansatz ist einfach: Man wählt ein Kriterium aus, das im aktuellen Moment am wichtigsten ist, und fokussiert sich nur darauf.
Dieser Ansatz wird OMTM (One Metric That Matters) – Eine Wichtige Kennzahl genannt.
Für die Qualität von Software bietet es sich an, die Anzahl schwerwiegender (wichtiger und kritischer) Vorfälle in der Produktionsumgebung zu wählen.
Für Online-Shops braucht man über OMTM gar nicht nachzudenken – es ist der Verkaufsvolumen oder der Gewinn (je nach Ihrer Entscheidung).
Diese Eine Wichtige Kennzahl wird der Hauptwert für Ihr Kennzahlenset sein. Und genau davon hängt deren endgültiger Satz ab.
Wert Inside
Es ist üblich, bei der Erstellung eines Kennzahlen-Sets willkürlich zu starten, indem man im Internet nach den besten Optionen sucht und diese nach dem Prinzip auswählt: „Oh! Das könnte passen!“
Wie Sie verstehen, ist das nicht der beste Ansatz, oder?
Aber wie entscheidet man, welche Metrik man wählen sollte und welche nicht?
Beispielsweise werden oft verschiedene Arten von Nutzerkonversionen gemessen.
Aber warum werden gerade die Nutzer gemessen und nicht etwas anderes? Haben Sie sich schon einmal Gedanken darüber gemacht?
Natürlich gibt es eine Antwort.
Betrachten wir einen Online-Shop als einfaches Beispiel.
Nehmen wir an, Sie möchten den Umsatz steigern. Welche Kennzahlen benötigen Sie dafür? Wie gehen Sie das an?
Es gibt einen einfachen, logischen und effektiven Weg. Alles fügt sich zusammen, wenn Sie die Frage beantworten:
WER PRODUZIERT WERT?
Wir arbeiten schließlich am Umsatz, nicht wahr? Wir möchten ihn steigern, richtig?
Auf wen und was müssen wir Einfluss nehmen, um den Umsatz zu erhöhen?
Natürlich
Wir müssen die Ursache beeinflussen —
denjenigen, der den Wert „produziert“.
Wer bringt Geld in den Online-Shop? Woher kommt das Geld?
Ganz einfach: von den Kunden.
Wo genau im Online-Shop können Sie Einfluss auf die Kunden nehmen?
Überall!
Genau. An jedem Punkt des Kundenlebenszyklus.
Um den Lebenszyklus darzustellen, ist es hilfreich, einen sogenannten „Trichter“ des Kundenprozesses zu konstruieren.
Beispiel eines Trichters für einen Online-Shop:
Warum ist das so? Weil Kunden genau beim Wechsel von einem Schritt des Trichters zum nächsten verloren gehen.
Indem wir die Anzahl der Kunden auf einem bestimmten Level des Trichters erhöhen, steigern wir automatisch den Gesamtumsatz.
Ein einfaches Beispiel.
Die Metrik „Quote der abgebrochenen Warenkörbe“ zeigt im Grunde die Konversion vom Warenkorb zur abgeschlossenen Bestellung.
Angenommen, bei der ersten Messung haben Sie festgestellt, dass 90 % der Warenkörbe verloren gehen, d.h. aus 10 Warenkörben wird nur 1 Bestellung.
Mit dem Warenkorb stimmt offensichtlich etwas nicht, oder?
Zur Vereinfachung nehmen wir an, dass der Betrag einer Bestellung 100 Rubel beträgt. So beträgt der gesamte Umsatz nur 100 Rubel.
Nach der Überarbeitung des Warenkorbs sank die Quote der abgebrochenen Warenkörbe um 10 % auf 80 %. Wie sieht das in Zahlen aus?
Aus 10 Warenkörben wurden 2 Bestellungen aufgegeben. 100 Rubel * 2 = 200 Rubel.
Das ist doch eine Umsatzsteigerung von 100%! Bingo!
Eine Steigerung der Conversion-Rate um nur 10 % kann Ihren Umsatz um 100 % steigern.
Fantastisch!
So funktioniert es.
Verstehen Sie jetzt die Vorteile richtig konstruierter Metriken?
Sie können damit einen fantastischen Einfluss auf Ihre Prozesse erzielen.
Bei einem Online-Shop ist es ziemlich einfach, aber wie überträgt man das Ganze zum Beispiel auf die Qualität des Softwareprodukts? Genau so:
- Wir wählen den Hauptwert, an dem wir arbeiten. Zum Beispiel die Verringerung der Vorfälle in der Produktion.
- Wir verstehen, wer und was diesen Wert erzeugt. Zum Beispiel der Quellcode.
- Wir bauen den Lebenszyklus des Quellcodes und setzen Metriken in jedem Schritt des Lebenszyklus an. Das ist alles.
Hier sind einige Beispiele für Qualitätsmetriken, die entstehen könnten (auf die Schnelle)…
Wertindikator:
- Fehlerdichte in der Produktion pro 1000 Zeilen Code
Metriken aus dem Lebenszyklus des Quellcodes:
- Anteil gescheiterter Kompilierungen,
- Abdeckung durch automatisierte Tests,
- Anteil gescheiterter automatisierter Tests,
- Anteil gescheiterter Deployments.
Metriken aus dem Lebenszyklus der Defekte:
- Dynamik der Fehlerentdeckung,
- Dynamik der Behebung,
- Dynamik der Wiedereröffnungen,
- Dynamik der Fehlerabweichungen,
- Durchschnittliche Wartedauer für Korrekturen,
- Durchschnittliche Korrekturzeit.
Ergebnisse
Wie Sie sehen können, ist das Thema Metriken wirklich sehr wichtig, notwendig und interessant.
Wie Sie die richtigen Metriken auswählen:
Wählen Sie OMTM, überlegen Sie sich den zentralen Wert und messen Sie die Schöpfer dieses Wertes.
Bauen Sie Metriken basierend auf der Lebenszyklus-Trichter des Herstellers auf.
Versuchen Sie, keine absoluten Metriken zu verwenden.
Was gibt es sonst noch zu diesem Thema zu lesen
Das Thema Metriken wurde mit der Lean Startup-Bewegung populär, daher ist es am besten, mit den Primärquellen zu beginnen — den Büchern „Lean Startup“ (deutsche Übersetzung: „Business von Grund auf. Die Lean Startup-Methode“ auf Ozon) und „Lean Analytics“ (es gibt keine Übersetzung, aber das Buch ist auf Englisch bei Ozon erhältlich).
Einige Informationen sind sogar auf Russisch im Internet zu finden, aber leider konnte noch kein umfassendes Lehrbuch im westlichen Segment gefunden werden.
Übrigens sind jetzt sogar spezialisierte Produktmanager aufgetaucht, deren Aufgabe es ist, ein passendes Metriksystem für ihr Produkt aufzubauen und Wege zu dessen Verbesserung vorzuschlagen.
Das ist alles.
Wenn Ihnen der Artikel geholfen hat, die Kernfrage besser zu verstehen, würde sich der Autor über ein "Gefällt mir" und eine Weiterverbreitung freuen.
Quelle: habr.com
