Gegevenskwaliteit in de opslag

De kwaliteit van gegevens in een opslag is een belangrijke voorwaarde voor het verkrijgen van waardevolle informatie. Slechte kwaliteit leidt op de lange termijn tot een negatieve kettingreactie.
Eerst verdwijnt het vertrouwen in de geleverde informatie. Mensen beginnen Business Intelligence-applicaties minder te gebruiken, waardoor het potentieel van de applicaties onbenut blijft.
Als gevolg daarvan worden verdere investeringen in het analytische project ter discussie gesteld.

Verantwoordelijkheid voor gegevenskwaliteit

De aspecten die verband houden met het verbeteren van de gegevenskwaliteit zijn superbelangrijk in BI-projecten. Echter, het is geen voorrecht alleen voor technische specialisten.
De kwaliteit van gegevens wordt ook beïnvloed door factoren zoals

Corporatieve cultuur

• Zijn de werknemers zelf geïnteresseerd in het produceren van goede kwaliteit?
• Zo niet, waarom dan? Misschien is er een conflict van belangen.
• Zijn er misschien bedrijfsregels die de verantwoordelijken voor de kwaliteit definiëren?

Processen

• Welke gegevens worden er aan het einde van deze ketens geproduceerd?
• Misschien zijn de operationele systemen zo ingesteld dat het nodig is om te ‘creativiteit’ te tonen om een bepaalde situatie in de werkelijkheid te weerspiegelen.
• Voeren de operationele systemen zelf controles en verificaties van gegevens uit?

Iedereen in de organisatie is verantwoordelijk voor de gegevenskwaliteit in rapportagesystemen.

Definitie en betekenis

Kwaliteit is de bevestigde tevredenheid over de klantverwachtingen.

Maar gegevenskwaliteit bevat geen definitie. Het weerspiegelt altijd de gebruik context. De datawarehouse en het BI-systeem hebben andere doelen dan het operationele systeem waaruit de gegevens zijn verkregen.

Bijvoorbeeld, in het operationele systeem kan het klantattribuut een optioneel veld zijn. In de opslag kan dit attribuut worden gebruikt als een maat, en het invullen ervan is verplicht. Wat op zijn beurt de noodzaak inbrengt om standaardwaarden in te vullen.

De vereisten voor het datawarehouse veranderen constant en zijn doorgaans hoger dan die voor operationele systemen. Maar het kan ook andersom zijn, wanneer in de opslag geen gedetailleerde informatie uit het operationele systeem hoeft te worden bewaard.

Om de kwaliteit van gegevens meetbaar te maken, moeten de standaarden ervan worden omschreven. Mensen die informatie en cijfers voor hun werk gebruiken, moeten betrokken worden bij het beschrijvingsproces. Het resultaat van deze betrokkenheid kan een regel zijn, waardoor je in één oogopslag op een tabel kunt zien of er een fout is of niet. Deze regel moet worden geformaliseerd in de vorm van een script/code voor verdere verificatie.

Verbetering van de gegevenskwaliteit

Het is onmogelijk om alle hypothetische fouten in het gegevensinvoeringsproces te corrigeren en op te schonen. Goede gegevenskwaliteit kan alleen worden bereikt door nauwe samenwerking tussen alle betrokkenen. Mensen die gegevens in operationele systemen invoeren, moeten leren welke acties tot fouten leiden.

Gegevenskwaliteit is een proces. Helaas hebben veel organisaties geen strategie voor voortdurende verbetering. Veel beperken zich tot het opslaan van gegevens en benutten niet het volledige potentieel van analytische systemen. Over het algemeen gaat 70-80% van het budget bij de ontwikkeling van datawarehouses naar de implementatie van gegevensintegratie. Het proces van controle en verbetering blijft onderontwikkeld, als het al bestaat.

Hulpmiddelen

Het gebruik van softwaretools kan helpen bij het automatiseren van de verbetering en monitoring van gegevenskwaliteit. Bijvoorbeeld, ze kunnen de technische controle van de structuren van de opslag volledig automatiseren: het formaat van velden, de aanwezigheid van standaardwaarden, conformiteit met de naamgevingsvereisten van de tabelvelden.

Het kan moeilijker zijn om de inhoud te controleren. Aangezien de vereisten voor de opslag veranderen, kan ook de interpretatie van de gegevens veranderen. Het gereedschap zelf kan een enorm project worden, dat ondersteuning vereist.

Tip

Relationele databases, waarin meestal de opslag wordt ontworpen, hebben de opmerkelijke mogelijkheid om views te creëren. Deze kunnen worden gebruikt voor snelle gegevenscontrole, mits men bekend is met de inhoudelijke bijzonderheden. Elke ontdekking van een fout of probleem in de gegevens kan worden vastgelegd als een databasequery.

Op deze manier ontstaat een kennisbasis over de inhoud. Natuurlijk moeten dergelijke verzoeken snel zijn. Over het algemeen kost het onderhouden van weergaven minder menselijke tijd dan de tools georganiseerd in tabellen. De weergave is altijd klaar om het resultaat van de controle weer te geven.
In het geval van belangrijke rapporten kan de weergave een kolom met de ontvanger bevatten. Het is zinvol om met dezelfde BI-tools rapportages te maken over de kwaliteitstoestand van gegevens in het datalager.

Voorbeeld

De query is geschreven voor de Oracle-database. In dit voorbeeld retourneren de tests een numerieke waarde die op de benodigde manier kan worden geïnterpreteerd. Met de waarden T_MIN en T_MAX kan de mate van alarm worden geregeld. Veld REPORT werd ooit gebruikt als een bericht in een commerciële ETL-product dat niet goed emails kon sturen, daarom is rpad een "workaround".

In het geval van een grote tabel kan bijvoorbeeld AND ROWNUM <= 10 worden toegevoegd, dat wil zeggen, als er 10 fouten zijn geregistreerd, is dat voldoende voor een alarm.

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test zelf
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Aantal lege waarden' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- niet de standaardwaarde
  AND ATTRIBUTE IS NULL ); -- tel lege waarden

In de publicatie zijn materialen uit het boek gebruikt
Ronald Bachmann, Dr. Guido Kemper
Uit de BI-val
Hoe Business Intelligence succesvol wordt

Bron: habr.com