🥇Andmete kvaliteet andmehoidlas

Andmete kvaliteet salves on väärtuslike teadmiste saamise oluline eeldus. Halva kvaliteedi tõttu tekib pikaajaline negatiivne ahelreaktsioon.
Esialgu kaob usaldus pakutava teabe vastu. Inimesed hakkavad vähem kasutama Business Intelligence rakendusi, rakenduste potentsiaal jääb kasutamata.
Tulemusena seatakse kahtluse alla edasised investeeringud analüüsiprojekti.

Andmete kvaliteedi eest vastutamine

Andmete kvaliteedi parandamise aspekt on BI projektides erakordselt oluline. Kuid see pole ainult tehniliste spetsialistide privileeg.
Andmete kvaliteedi kaudu mõjutavad ka sellised aspektid nagu

Ettevõtte kultuur

Kas töötajad on huvitatud kvaliteeti tootmisest?
Kui ei, siis miks? Võibolla on olemas huvide konflikt.
Võibolla on kehtivad ettevõtte reeglid, mis määravad kvaliteedi eest vastutajad?

Protsessid

Milliseid andmeid luuakse nende ahelate lõpus?
Võibolla on operatsioonisüsteemid seadistatud nii, et tuleb 'välja pääseda', et kajastada teatud olukord reaalsuses.
Kas operatsioonisüsteemid teevad andmete kontrollimist ja võrreldes iseseisvalt?

Andmete kvaliteedi eest aruandlussüsteemides vastutavad kõik organisatsioonis.

Määratlus ja tähendus

Kvaliteet on kinnitatud klientide ootuste rahuldamine.

Kuid andmete kvaliteet ei sisalda endas määratlust. See peegeldab alati kasutamise konteksti. Andmehoidla ja BI-süsteem täidavad teistsuguseid eesmärke kui operatsioonisüsteem, kust andmed on saadud.

Näiteks võib operatsioonisüsteemis kliendi atribuut olla valikuline väli. Andmehoidlas võib see atribuut olla mõõdik ja selle täitmine võib olla kohustuslik. See omakorda toob kaasa vajaduse täita vaikeväärtustega.

Andmehoidla nõuded muutuvad pidevalt ning need on tavaliselt kõrgemad kui operatsioonisüsteemide omad. Kuid võib olla ka vastupidi, kui andmehoidlas ei nõuta üksikasjaliku teabe säilitamist operatsioonisüsteemist.

Andmete kvaliteedi mõõtmise tagamiseks peavad olema määratletud standardid. Inimesed, kes kasutavad teavet ja numbreid oma töös, peavad olema kaasatud kirjeldamisprotsessi. Selle kaasatuse tulemusena võib tekkida reegel, mille alusel on ühe pilguga tabelist näha, kas viga on olemas või mitte. Seda reeglit tuleb vormistada skripti / koodi kujul edasise kontrollimise jaoks.

Andmete kvaliteedi parandamine

Andmete salvestamise käigus ei ole võimalik puhastada ja parandada kõiki hüpoteetilisi vigu. Head andmekvaliteeti saab saavutada ainult kõigi osaliste tiheda koostöö kaudu. Inimesed, kes sisestavad andmeid operatsioonisüsteemidesse, peavad õppima, millised tegevused viivad vigadeni.

Andmete kvaliteet on protsess. Kahjuks puudub paljusid organisatsioonides pideva parandamise strateegia. Paljud piiravad ennast vaid andmete säilitamisega ega kasuta analüütiliste süsteemide kogu potentsiaali. Andmehoidlate arendamise käigus läheb tavaliselt 70-80% eelarvest andmete integreerimise rakendamiseks. Kontrolli ja parandamise protsess jääb sageli katki, kui see üldse olemas on.

Tööriistad

Tarkvaratööriistade kasutamine võib aidata andmekvaliteedi täiustamise ja jälgimise automatiseerimise protsessis. Näiteks saab täiesti automatiseerida struktuuri tehnilise kontrollimise: väljade formaate, vaikeväärtuste olemasolu ning tabeli väljade nimede vastavust standarditele.

Sisuga kontrollimine võib olla keerulisem. Kuna andmestiku nõudmised muutuvad, võib ka andmete tõlgendus muutuda. Tööriist ise võib muutuda suureks projektiks, mis nõuab tuge.

Nõuanne

Relatsioonilised andmebaasid, milles tavaliselt projekteeritakse ladustamisi, omavad suurepärast võimalust luua vaateid (views). Neid saab kasutada andmete kiireks kontrollimiseks, kui teada sisu eripära. Iga vea või probleemi tuvastamist andmetes saab fikseerida andmebaasi päringuna.

Seega kujuneb teadmiste baas sisu kohta. Loomulikult peavad sellised päringud olema kiired. Üldiselt võtab vaate hooldus vähem inimtööd kui tööriistade organiseerimine tabelites. Vaade on alati valmis kuvama kontrollimise tulemust.
Oluliste raportite puhul võib vaade sisaldada veergu adressaadiga. On mõistlik kasutada samu BI tööriistu, et luua aruandlust andmete kvaliteedi seisundi kohta andmehällis.

Näide

Päring on kirjutatud Oracle andmebaasi. Antud näites testid tagastavad arvulise väärtuse, mida saab soovitud viisil tõlgendada. Väärtusi T_MIN ja T_MAX saab kasutada häire taseme reguleerimiseks. Väljad REPORT on kunagi kasutatud teates kommertsettevõtte ETL tootes, mis ei osanud korralikult e-kirju saata, nii et rpad on „kõrvallahendus“.

Suurte tabelite puhul võib lisada näiteks AND ROWNUM <= 10, st kui koguneb 10 viga, siis on see piisav häireks.

Loo või asenda vaade V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT >= T_MIN AND OUTPUT <= T_MAX
  THEN 'OK' ELSE 'ERROR' END AS TULEMUS,
  KIRTUS,
  TABELI_NIMI,
  OUTPUT,
  T_MIN,
  T_MAX,
  rpad(KIRTUS,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS ARUANNE
FROM (-- Test ise
  SELECT
    'DIM_PRODUCT' AS TABELI_NIMI,
    'Tühi loendus' AS KIRTUS,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- mitte vaikeväärtus
  AND ATTRIBUTE IS NULL ); -- loenda tühjad

Käesolevas väljaandes on kasutatud materjale raamatust
Ronald Bachmann, Dr. Guido Kemper
Väljuda BI-lõksust
Kuidas äriintelligentsus saavutab edu

Allikas: habr.com

Andmete kvaliteet salvestusruumis