Die Datenqualität im Speicher ist eine wichtige Voraussetzung für den Erhalt wertvoller Informationen. Schlechte Qualität führt langfristig zu einer negativen Kettenreaktion.
Zuerst verliert man das Vertrauen in die bereitgestellten Informationen. Die Menschen beginnen, Business-Intelligence-Anwendungen weniger zu nutzen, das Potenzial der Anwendungen bleibt ungenutzt.
Infolgedessen werden zukünftige Investitionen in das Analyseprojekt in Frage gestellt.
Verantwortung für die Datenqualität
Der Aspekt der Verbesserung der Datenqualität ist mega-wichtig in BI-Projekten. Er ist jedoch kein Privileg nur für technische Spezialisten.
Die Datenqualität wird auch von Aspekten wie beeinflusst
Unternehmenskultur
- Sind die Mitarbeiter selbst daran interessiert, gute Qualität zu erzeugen?
- Wenn nicht, warum? Vielleicht gibt es einen Interessenkonflikt.
- Gibt es Unternehmensrichtlinien, die die Verantwortlichen für die Qualität festlegen?
Prozesse
- Welche Daten entstehen am Ende dieser Ketten?
- Vielleicht sind die Betriebssysteme so konfiguriert, dass man "herumwerkeln" muss, um eine bestimmte Situation in der Realität abzubilden.
- Überprüfen die Betriebssysteme selbst die Daten und führen sie Abgleiche durch?
Für die Datenqualität in den Berichtssystemen sind alle in der Organisation verantwortlich.
Definition und Bedeutung
Qualität ist die bestätigte Erfüllung der Erwartungen des Kunden.
Aber die Datenqualität enthält keine Definition. Sie spiegelt immer den Nutzungskontext wider. Das Datenlager und das BI-System verfolgen andere Ziele als das Betriebssystem, aus dem die Daten stammen.
Zum Beispiel kann im Betriebssystem das Attribut des Kunden ein nicht verpflichtendes Feld sein. Im Speicher kann dieses Attribut als Maßnahme verwendet werden und seine Ausfüllung ist zwingend erforderlich. Dies führt wiederum zur Notwendigkeit, Standardwerte einzufügen.
Die Anforderungen an das Datenlager ändern sich ständig und sind in der Regel höher als die an die Betriebssysteme. Es kann jedoch auch umgekehrt sein, wenn im Speicher keine detaillierten Informationen aus dem Betriebssystem gespeichert werden müssen.
Um die Datenqualität messbar zu machen, müssen deren Standards beschrieben werden. Personen, die Informationen und Zahlen für ihre Arbeit nutzen, sollten in den Prozess der Beschreibung einbezogen werden. Das Ergebnis dieser Einbeziehung könnte eine Regel sein, anhand derer man auf einen Blick in die Tabelle erkennen kann, ob ein Fehler vorliegt oder nicht. Diese Regel muss in Form eines Skripts/Codes für die spätere Überprüfung dokumentiert werden.
Verbesserung der Datenqualität
Es ist unmöglich, alle hypothetischen Fehler im Prozess des Ladens von Daten in das Data Warehouse zu bereinigen und zu korrigieren. Hohe Datenqualität kann nur durch enge Zusammenarbeit aller Beteiligten erreicht werden. Personen, die Daten in Betriebssysteme eingeben, müssen lernen, welche Handlungen zu Fehlern führen.
Datenqualität ist ein Prozess. Leider haben viele Organisationen keine Strategie für die kontinuierliche Verbesserung. Viele beschränken sich nur auf die Speicherung von Daten und schöpfen nicht das volle Potenzial analytischer Systeme aus. Bei der Entwicklung von Data Warehouses fließen in der Regel 70-80 % des Budgets in die Umsetzung der Datenintegration. Der Prozess der Kontrolle und Verbesserung bleibt unausgereift, falls er überhaupt vorhanden ist.
Werkzeuge
Der Einsatz von Software-Tools kann im Prozess der Automatisierung der Verbesserung und Überwachung der Datenqualität helfen. Beispielsweise können sie die technische Überprüfung der Strukturen des Data Warehouses vollständig automatisieren: Format der Felder, Vorhandensein von Standardwerten, Einhaltung der Anforderungen an die Bezeichnungen der Tabellenspalten.
Schwieriger kann die Überprüfung des Inhalts sein. Da sich die Anforderungen an das Data Warehouse ändern, kann sich auch die Interpretation der Daten ändern. Das Tool selbst kann sich in ein riesiges Projekt verwandeln, das Unterstützung benötigt.
Tipp
Relationale Datenbanken, in denen normalerweise Data Warehouses entworfen werden, haben die bemerkenswerte Möglichkeit, Sichten (Views) zu erstellen. Diese können zur schnellen Überprüfung von Daten verwendet werden, wenn man die Besonderheiten des Inhalts kennt. Jeder Fall der Entdeckung eines Fehlers oder Problems in den Daten kann in Form einer Abfrage an die Datenbank dokumentiert werden.
So wird eine Wissensbasis über den Inhalt gebildet. Natürlich sollten solche Abfragen schnell sein. In der Regel benötigt die Pflege von Ansichten weniger menschliche Zeit als Werkzeuge, die in Tabellen organisiert sind. Die Ansicht ist immer bereit, das Ergebnis der Überprüfung anzuzeigen.
Bei wichtigen Berichten kann die Ansicht eine Spalte mit dem Adressaten enthalten. Es ist sinnvoll, mit den gleichen BI-Mitteln Berichte über den Zustand der Datenqualität im Warehouse zu erstellen.
Beispiel
Die Abfrage ist für die Oracle-Datenbank geschrieben. In diesem Beispiel gibt die Testabfrage einen numerischen Wert zurück, der entsprechend interpretiert werden kann. Die Werte T_MIN und T_MAX können zur Regulierung des Alarmniveaus verwendet werden. Das Feld REPORT wurde ursprünglich als Nachricht in einem kommerziellen ETL-Produkt verwendet, das keine E-Mails ordnungsgemäß versenden konnte, daher ist rpad ein "Workaround".
Bei einer großen Tabelle kann man beispielsweise AND ROWNUM <= 10 hinzufügen, d.h. wenn 10 Fehler aufgetreten sind, ist das genug für einen Alarm.
CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
CASE WHEN OUTPUT >= T_MIN AND OUTPUT <= T_MAX
THEN 'OK' ELSE 'ERROR' END AS RESULT,
DESCRIPTION,
TABLE_NAME,
OUTPUT,
T_MIN,
T_MAX,
rpad(DESCRIPTION, 60, ' ') || rpad(OUTPUT, 8, ' ') || rpad(T_MIN, 8, ' ') || rpad(T_MAX, 8, ' ') AS REPORT
FROM (-- Test selbst
SELECT
'DIM_PRODUCT' AS TABLE_NAME,
'Anzahl der Leerwerte' AS DESCRIPTION,
COUNT(*) AS OUTPUT,
0 AS T_MIN,
10 AS T_MAX
FROM DIM_PRODUCT
WHERE DIM_PRODUCT_ID != -1 -- nicht der Standardwert
AND ATTRIBUTE IS NULL ); -- zähle Leerwerte
In der Veröffentlichung wurden Materialien aus dem Buch verwendet
Ronald Bachmann, Dr. Guido Kemper
Raus aus der BI-Falle
Wie Business Intelligence zum Erfolg wird
Quelle: habr.com
