Die Datenqualität im Speicher ist eine wichtige Voraussetzung für den Erhalt wertvoller Informationen. Schlechte Qualität führt langfristig zu einer negativen Kettenreaktion.
Zunächst wird das Vertrauen in die bereitgestellten Informationen beeinträchtigt. Menschen beginnen, Business Intelligence-Anwendungen weniger zu nutzen, wodurch das Potenzial dieser Anwendungen ungenutzt bleibt.
Infolgedessen werden zukünftige Investitionen in das Analyseprojekt infrage gestellt.
Verantwortung für die Datenqualität
Der Aspekt der Verbesserung der Datenqualität ist in BI-Projekten von enormer Bedeutung. Er liegt jedoch nicht ausschließlich im Verantwortungsbereich technischer Fachkräfte.
Die Datenqualität wird auch von Aspekten wie
Unternehmenskultur
- Sind die Mitarbeiter selbst an der Schaffung guter Qualität interessiert?
- Wenn nicht, warum? Gibt es möglicherweise Interessenkonflikte?
- Gibt es Unternehmensrichtlinien, die Verantwortliche für die Qualität festlegen?
Prozesse
- Welche Daten entstehen am Ende dieser Ketten?
- Betriebssysteme können so konfiguriert sein, dass es notwendig ist, sich anzupassen, um eine bestimmte Realität widerzuspiegeln.
- Überprüfen und abgleichen Betriebssysteme die Daten selbstständig?
Für die Datenqualität in den Berichtssystemen sind alle in der Organisation verantwortlich.
Definition und Bedeutung
Qualität ist die bestätigte Erfüllung der Kundenerwartungen.
Die Datenqualität enthält jedoch keine Definition. Sie spiegelt immer den Nutzungskontext wider. Ein Data Warehouse und ein BI-System verfolgen andere Ziele als das Betriebssystem, aus dem die Daten stammen.
Zum Beispiel kann das Kundenattribut in einem Betriebssystem ein optionales Feld sein. In einem Data Warehouse kann dieses Attribut als Metrik verwendet werden, und seine Erfassung ist Pflicht. Dies führt wiederum zur Notwendigkeit, Standardwerte zuzufügen.
Die Anforderungen an Data Warehouses ändern sich ständig und sind in der Regel höher als die an Betriebssysteme. Es kann jedoch auch umgekehrt sein, wenn es im Data Warehouse nicht erforderlich ist, detaillierte Informationen aus dem Betriebssystem zu speichern.
Um die Datenqualität messbar zu machen, müssen deren Standards festgelegt werden. Personen, die Informationen und Zahlen in ihrer Arbeit nutzen, sollten in den Beschreibungsprozess einbezogen werden. Das Ergebnis dieser Einbindung kann eine Regel sein, anhand derer man auf einen Blick in eine Tabelle erkennen kann, ob es einen Fehler gibt oder nicht. Diese Regel sollte in Form eines Skripts/Codes für die spätere Überprüfung dokumentiert werden.
Verbesserung der Datenqualität
Es ist unmöglich, alle hypothetischen Fehler im Prozess der Datenübertragung in das Data Warehouse zu bereinigen und zu korrigieren. Eine gute Datenqualität kann nur durch enge Zusammenarbeit aller Beteiligten erreicht werden. Diejenigen, die Daten in die Betriebssysteme eingeben, sollten erfahren, welche Maßnahmen zu Fehlern führen.
Datenqualität ist ein Prozess. Leider fehlt in vielen Organisationen eine Strategie für die kontinuierliche Verbesserung. Viele beschränken sich lediglich auf die Datenaufbewahrung und nutzen nicht das volle Potenzial analytischer Systeme. In der Regel fließen 70-80 % des Budgets bei der Entwicklung von Data Warehouses in die Umsetzung der Datenintegration. Der Prozess der Kontrolle und Verbesserung bleibt unausgereift, wenn er überhaupt existiert.
Werkzeuge
Der Einsatz von Software-Tools kann den Prozess der Automatisierung und Überwachung der Datenqualität unterstützen. Beispielsweise können sie die technische Überprüfung der Speicherstrukturen vollständig automatisieren: das Format der Felder, das Vorhandensein von Standardwerten und die Konformität mit den Anforderungen an die Benennung der Tabellenfelder.
Schwieriger kann die Überprüfung des Inhalts sein. Da sich die Anforderungen an das Speicherformat ändern, kann auch die Interpretation der Daten variieren. Das Tool selbst kann sich in ein riesiges Projekt verwandeln, das Unterstützung benötigt.
Tipp
Relationale Datenbanken, in denen normalerweise Speicher konzipiert werden, bieten die hervorragende Möglichkeit, Sichten (Views) zu erstellen. Diese können zur schnellen Datenüberprüfung verwendet werden, wenn die Besonderheiten des Inhalts bekannt sind. Jeder Fall, in dem ein Fehler oder ein Problem mit den Daten gefunden wird, kann in Form einer Datenbankabfrage festgehalten werden.
So wird eine Wissensbasis über den Inhalt gebildet. Natürlich sollten solche Anfragen schnell sein. Im Allgemeinen benötigt die Verwaltung von Views weniger menschliche Zeit als die in Tabellen organisierten Werkzeuge. Das View ist jederzeit bereit, das Ergebnis der Überprüfung anzuzeigen.
Bei wichtigen Berichten kann die Ansicht eine Spalte mit dem Adressaten enthalten. Es macht Sinn, mit denselben BI-Tools Berichte über den Qualitätszustand der Daten im Speicher zu erstellen.
Beispiel
Die Anfrage ist für eine Oracle-Datenbank geschrieben. In diesem Beispiel geben die Tests einen Zahlenwert zurück, der entsprechend interpretiert werden kann. Mit den Werten T_MIN und T_MAX kann das Alarmniveau gesteuert werden. Das Feld REPORT wurde früher als Nachricht in einem kommerziellen ETL-Produkt verwendet, das nicht in der Lage war, E-Mails ordnungsgemäß zu versenden; daher ist rpad ein "Hack".
Bei einer großen Tabelle kann man beispielsweise AND ROWNUM <= 10 hinzufügen, d.h. wenn 10 Fehler aufgetreten sind, reicht das für eine Alarmierung.
ERSTELLEN ODER ERSETZEN SIE DIEANSICHT V_QC_DIM_PRODUCT_01 WIE FOLGT:
SELECT
FALLS OUTPUT >= T_MIN UND OUTPUT <= T_MAX
DANN 'OK' SONST 'ERROR' ALS ERGEBNIS,
BESCHREIBUNG,
TABELLE_NAME,
OUTPUT,
T_MIN,
T_MAX,
rpad(BESCHREIBUNG, 60, ' ') || rpad(OUTPUT, 8, ' ') || rpad(T_MIN, 8, ' ') || rpad(T_MAX, 8, ' ') ALS BERICHT
FROM (-- Teste die selbst
SELECT
'DIM_PRODUCT' ALS TABELLE_NAME,
'Anzahl der leeren Felder' ALS BESCHREIBUNG,
COUNT(*) ALS OUTPUT,
0 ALS T_MIN,
10 ALS T_MAX
FROM DIM_PRODUCT
WHERE DIM_PRODUCT_ID != -1 -- nicht der Standardwert
UND ATTRIBUT IST NULL ); -- zähle leere Felder
In der Veröffentlichung wurden Materialien aus dem Buch verwendet
Ronald Bachmann, Dr. Guido Kemper
Raus aus der BI-Falle
Wie Business Intelligence zum Erfolg wird
Quelle: habr.com
