🥇Datakvalitet i lagret

Kvaliteten på data i lagret är en viktig förutsättning för att få värdefull information. Dålig kvalitet leder till en negativ kedjereaktion på lång sikt.
Först förloras förtroendet för den information som tillhandahålls. Människor börjar använda Business Intelligence-applikationer mindre, och applikationernas potential förblir outnyttjad.
Som ett resultat ifrågasätts framtida investeringar i det analytiska projektet.

Ansvar för datakvalitet

Aspekten som rör förbättringen av datakvalitet är megaviktig i BI-projekt. Men det är inte en privilegium enbart för tekniska specialister.
Flera aspekter påverkar datakvaliteten, såsom

Företagskultur

Är de anställda själva intresserade av att producera hög kvalitet?
Om inte, varför? Kanske finns det en intressekonflikt.
Kanske finns det företagsregler som utser ansvariga för kvaliteten?

Processer

Vilka data skapas i slutet av dessa kedjor?
Kanske är operativsystemen inställda så att man måste "krångla" för att återspegla vissa situationer i verkligheten.
Genomför operativsystemen själva kontroller och verifieringar av data?

Alla i organisationen är ansvariga för datakvaliteten i rapporteringssystemen.

Definition och betydelse

Kvalitet är den bekräftade tillfredsställelsen av kundens förväntningar.

Men datakvalitet innehåller inget eget definierat. Det speglar alltid användningskontexten. Datalagret och BI-system syftar till något annat än operativsystemet därifrån data hämtas.

Till exempel kan kundattributet i operativsystemet vara ett valfritt fält. I lagret kan detta attribut användas som en måttstock och dess ifyllande är obligatoriskt. Vilket i sin tur kräver att värden fylls i med standardvärden.

Krav på datalagret förändras ständigt och de är oftast högre än för operativsystem. Men det kan också vara tvärtom, där lagret inte behöver spara detaljerad information från operativsystemet.

För att göra datakvalitet mätbar måste dess standarder beskrivas. Människor som använder information och siffror i sitt arbete bör involveras i beskrivningsprocessen. Resultatet av denna involvering kan vara en regel, som gör att man med en blick på en tabell kan säga om det finns ett fel eller inte. Denna regel behöver formuleras som ett skript/kod för efterföljande verifiering.

Förbättring av datakvalitet

Det är omöjligt att rensa och åtgärda alla hypotetiska fel under inläsning av data i lagret. God datakvalitet kan endast uppnås genom nära samarbete mellan alla berörda parter. Människor som matar in data i operativsystem behöver lära sig vilka åtgärder som leder till fel.

Datakvalitet är en process. Tyvärr har många organisationer ingen strategi för dess ständiga förbättring. Många begränsar sig bara till att bevara data och utnyttjar inte hela potentialen i analysystemen. Vid utveckling av datalager går vanligtvis 70-80% av budgeten till att implementera dataintegration. Kontroll- och förbättringsprocessen förblir ofta underarbetad, om den överhuvudtaget kvarstår.

Verktyg

Användningen av programvaruverktyg kan hjälpa till i processen för att automatisera förbättring och övervakning av datakvaliteten. Till exempel kan de helt automatisera den tekniska kontrollen av lagrets struktur: fältformat, förekomst av standardvärden, överensstämmelse med kraven på tabellernas fältnamn.

Det kan vara mer komplicerat med innehållskontrollen. Eftersom kraven på lagret förändras kan även tolkningen av data förändras. Verktyget kan själv bli ett stort projekt som kräver support.

Tips

Relationsdatabaser, där datalager vanligtvis designas, har den fantastiska möjligheten att skapa vyer. Dessa kan användas för snabb kontroll av data, om man känner till innehålets egenskaper. Varje fall av att hitta ett fel eller problem i data kan dokumenteras i form av en databasanrop.

På så sätt kommer en kunskapsbas om innehållet att bildas. Självklart bör sådana förfrågningar vara snabba. Vanligtvis tar underhållet av visningar mindre tid än verktyg som organiserats i tabeller. En vy är alltid redo att visa resultatet av kontrollerna.
Vid viktiga rapporter kan vyn innehålla en kolumn med mottagaren. Det är meningsfullt att använda samma BI-verktyg för att rapportera om datakvaliteten i lagret.

Exempel

Frågan är skriven för en Oracle-databas. I det här exemplet returnerar testerna ett numeriskt värde som kan tolkas på rätt sätt. Värdena T_MIN och T_MAX kan reglera graden av oro. Fälten REPORT användes en gång som meddelande i en kommersiell ETL-produkt som inte kunde skicka e-post på ett värdigt sätt, därför är rpad en "hack".

I fallet med en stor tabell kan man till exempel lägga till AND ROWNUM <= 10, det vill säga om det har uppstått 10 fel, är det tillräckligt för att utlösa oro.

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Testet självt
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Antal tomma' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- inte standardvärde
  AND ATTRIBUTE IS NULL ); -- räkna tomma

Publiceringen innehåller material från boken
Ronald Bachmann, Dr. Guido Kemper
Ut ur BI-fällan
Hur Business Intelligence blir framgångsrikt

Källa: habr.com