🥇Andmete kvaliteet laos

Andmete kvaliteet ladustamises on väärtuslik teabe saamise oluline eeltingimus. Halva kvaliteediga andmed viivad pikaajaliselt negatiivsesse tagasiside reaktsiooni.
Esiteks kaob usaldus esitatud teabe suhtes. Inimesed hakkavad vähem kasutama Business Intelligence'i rakendusi, rakenduste potentsiaal jääb kasutamata.
Seetõttu pannakse kahtluse alla edasised investeeringud analüütilisse projekti.

Andmekvaliteedi vastutus

Andmekvaliteedi parandamisega seotud aspekt on BI projektides äärmiselt oluline. Kuid see ei ole ainult tehniliste spetsialistide privileeg.
Andmete kvaliteeti mõjutavad ka sellised aspektid nagu

Ettevõtte kultuur

Kas töötajad ise on huvitatud kvaliteetsete andmete tootmisest?
Kui ei, siis miks? Võib-olla on huvide konflikt.
Kas on olemas ettevõtte reeglid, mis määravad kvaliteedi eest vastutajad?

Protsessid

Milliseid andmeid luuakse nende ahelate lõpus?
Võib-olla on operatsioonisüsteemid seadistatud nii, et tuleb „välja mõelda”, kuidas peegeldada mingit olukorda reaalsuses.
Kas operatsioonisüsteemid ise kontrollivad ja valideerivad andmeid?

Andmete kvaliteedi eest aruande süsteemides vastutab organisatsioonis kõik.

Määratlemine ja tähendus

Kvaliteet on kliendi ootuste kinnitatud rahuldamine.

Kuid andmekvaliteet ei sisalda määratlemist. See peegeldab alati kasutuskonteksti. Andmehoidla ja BI süsteem täidavad teistsuguseid eesmärke kui operatsioonisüsteem, kust andmed on saadud.

Näiteks võib operatsioonisüsteemis kliendi atribuut olla mitte kohustuslik väli. Andmehoidlas võib see atribuut olla mõõt ja selle täitmine on kohustuslik. See toob endaga kaasa vajaduse täita vaikimisi väärtustega.

Andmehoidla nõuded muutuvad pidevalt ja need on tavaliselt kõrgemad kui operatsioonisüsteemide nõuded. Kuid võib juhtuda ka vastupidi, et andmehoidlas ei ole vajalik säilitada detailselt teavet operatsioonisüsteemist.

Andmete kvaliteedi mõõtmiseks peavad olema määratletud selle standardid. Inimesed, kes kasutavad oma töös teavet ja numbreid, peavad olema kaasatud määratlemise protsessi. Selle kaasamise tulemusena võib tekkida reegel, mille järgimine võimaldab tabelist ühe pilguga määrata, kas esineb viga või mitte. See reegel tuleb vormistada skriptina/koodina edasiste kontrollide jaoks.

Andmete kvaliteedi parandamine

Andmete laadimise protsessis on võimatu puhastada ja parandada kõiki hüpoteetilisi vigu. Hea andmekvaliteet on saavutatud ainult lähedase koostöö käigus kõigi osaliste vahel. Inimesed, kes sisestavad andmeid operatsioonisüsteemidesse, peavad õppima, millised tegevused viivad vigadeni.

Andmete kvaliteet on protsess. Kahjuks ei ole paljudes organisatsioonides strateegiat selle pidevaks parandamiseks. Paljuski piirdutakse andmete säilitamisega ja ei kasutata analüütiliste süsteemide kogu potentsiaali. Andmete ladustamise arendamisel läheb reeglina 70-80% eelarvest andmete integreerimise elluviimiseks. Kontrollimise ja parandamise protsess jääb sageli pooltühjaks, kui see üldse eksisteerib.

Tööriistad

Tarkvaravahendite kasutamine võib aidata andmete kvaliteedi paranemise ja jälgimise automatiseerimise protsessis. Näiteks saab täielikult automatiseerida ladustamise struktuuride tehnilise kontrollimise: väljade formaadi, vaikeväärtuste olemasolu, vastavuse tabeliväljade nimetuste nõuetele.

Sisu kontrollimine võib olla keerulisem. Kuna ladustamise nõuded muutuvad, võib ka andmete tõlgendamine muutuda. Tööriist võib ise muutuda hiiglaslikuks projektiks, mis vajab tuge.

Soovitus

Relatsioonilised andmebaasid, milles tavaliselt projekteeritakse ladustamisi, omavad suurepärast võimalust luua vaateid. Neid saab kasutada andmete kiireks kontrollimiseks, kui teatakse sisu eripära. Iga vea või probleemiga andmetes toimetuleku juhtumit saab fikseerida andmebaasi päringuna.

Nii moodustub teadmusbaas sisu kohta. Loomulikult peavad sellised päringud olema kiired. Tavaliselt nõuab vaadete haldamine vähem inimtunde kui tabelitele organiseeritud tööriistad. Vaade on alati valmis kuvama kontrolli tulemuse.
Oluliste aruannete korral võib vaade sisaldada veergu adressaatidega. On mõistlik kasutada sama BI vahendeid, et koostada aruandeid andmete kvaliteedi seisundist laos.

Näide

Päring on kirjutatud Oracle andmebaasi jaoks. Antud näites testid tagastavad arvulise väärtuse, mida saab vajaliku viisi järgi tõlgendada. Väärtuste T_MIN ja T_MAX abil saab reguleerida häire taset. FIELD REPORT kasutati kunagi sõnumina kaubanduslikus ETL tootes, mis ei osanud korralikult e-kirju saata, seega on rpad - see "kõrvake".

Suure tabeli korral võib lisada näiteks AND ROWNUM <= 10, st kui on tekkinud 10 viga, siis sellest piisab häireks.

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT >= T_MIN AND OUTPUT <= T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME,
  OUTPUT,
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION, 60, ' ') || rpad(OUTPUT, 8, ' ') || rpad(T_MIN, 8, ' ') || rpad(T_MAX, 8, ' ') AS REPORT
FROM (-- Test ise
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Tühikute arv' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- mittevaikimisi väärtus
  AND ATTRIBUTE IS NULL ); -- loe tühikud

Käesolevas publikatsioonis on kasutatud materjale raamatust
Ronald Bachmann, dr. Guido Kemper
Välja BI-ängistest
Kuidas äriintelligentsus saavutada edu

Allikas: habr.com

Andmete kvaliteet salvestuses