Datu kvalitāte glabātuvē

Datu kvalitāte glabātuvē ir svarīgs nosacījums vērtīgas informācijas iegūšanai. Sliktā kvalitāte rada negatīvu ķēdes reakciju ilgtermiņā.
Vispirms tiek zaudēta uzticība sniegtajai informācijai. Cilvēki sāk mazāk izmantot Business Intelligence lietojumprogrammas, un to potenciāls paliek neizmantots.
Rezultātā tiek apšaubītas turpmākās investīcijas analītikas projektā.

Atbildība par datu kvalitāti

Aspekts, kas saistīts ar datu kvalitātes uzlabošanu, ir ārkārtīgi svarīgs BI projektos. Tomēr tas nav tikai tehnisko speciālistu privilēģija.
Uz datu kvalitāti ietekmi atstāj arī tādi aspekti kā

Uzņēmuma kultūra

• Vai paši darbinieki ir ieinteresēti ražot kvalitatīvus produktus?
• Ja nē, tad kāpēc? Varbūt pastāv interešu konflikts.
• Varbūt ir uzņēmuma noteikumi, kas nosaka atbildīgās personas par kvalitāti?

Procesi

• Kādi dati tiek radīti šo ķēžu beigās?
• Varbūt operētājsistēmas ir konfigurētas tā, ka ir jā„izliekas” par kādu situāciju reālajā dzīvē.
• Vai operētājsistēmas paši veic datu pārbaudi un salīdzināšanu?

Par datu kvalitāti ziņojumu sistēmās ir atbildīgi visi organizācijā.

Definīcija un nozīme

Kvalitāte ir apstiprināta klienta cerību apmierināšana.

Bet datu kvalitāte nesatur sevī noteikumu. Tā vienmēr atspoguļo izmantošanas kontekstu. Datu glabātuve un BI sistēma veic citas funkcijas nekā operētājsistēma, no kuras dati ir ņemti.

Piemēram, operētājsistēmā klienta atribūts var būt neobligāts lauks. Glabātuvē šis atribūts var tikt izmantots kā dimensija, un tā aizpildīšana ir obligāta. Tas, savukārt, rada nepieciešamību aizpildīt ar noklusējuma vērtībām.

Datu glabātuvju prasības pastāvīgi mainās, un parasti tās ir augstākas nekā operētājsistēmām. Bet var būt arī pretēji, kad glabātuvē nav nepieciešams saglabāt detalizētu informāciju no operētājsistēmas.

Lai padarītu datu kvalitāti izmērāmu, ir jānosaka tās standarti. Cilvēki, kas izmanto informāciju un skaitļus savā darbā, jāiesaista apraksta procesā. Šīs iesaistes rezultātā var rasties noteikums, saskaņā ar kuru, vienā skatienā uz tabulu var noteikt, vai ir kļūda vai nav. Šo noteikumu nepieciešams noformēt kā skriptu/kodu turpmākai verifikācijai.

Datu kvalitātes uzlabošana

Nav iespējams notīrīt un labot visas hipotētiskās kļūdas datu ielādēšanas procesā noliktavā. Labas kvalitātes datus var sasniegt tikai ciešā sadarbībā starp visiem iesaistītajiem. Cilvēkiem, kuri ievada datus operētājsistēmās, jāsaprot, kādas darbības noved pie kļūdām.

Datu kvalitāte ir process. Diemžēl daudzās organizācijās nav stratēģijas tās pastāvīgai uzlabošanai. Daudzi ierobežo sevi tikai ar datu saglabāšanu un neizmanto visu analītisko sistēmu potenciālu. Parasti datu noliktavu izstrādes procesā 70-80% budžeta aiziet datu integrācijas īstenošanai. Kontroles un uzlabošanas process paliek nepabeigts, ja vispār paliek.

Rīki

Programmatūras rīku izmantošana var palīdzēt automatizēt datu kvalitātes uzlabošanas un uzraudzības procesu. Piemēram, ar to palīdzību var pilnībā automatizēt tehnisko struktūru pārbaudi noliktavā: lauku formāta, noklusējuma vērtību klātbūtne, atbilstība tabulu lauku nosaukumu prasībām.

Grūtāk var būt ar satura pārbaudi. Ņemot vērā, ka prasības attiecībā uz noliktavu mainās, var mainīties arī datu interpretācija. Rīks pats var kļūt par milzīgu projektu, kas prasa atbalstu.

Padoms

Relāciju datu bāzes, kurās parasti projektē noliktavas, ir ievērojama spēja veidot skatus (views). Tos var izmantot, lai ātri pārbaudītu datus, ja zina, kādas ir satura īpatnības. Katru datu kļūdas vai problēmas gadījumu var fiksēt kā vaicājumu datu bāzei.

Tādējādi tiks izveidota zināšanu bāze par saturu. Protams, šādi pieprasījumi jāizpilda ātri. Parasti skatījumu apkalpošana prasa mazāk cilvēku laika nekā instrumenti, kas organizēti tabulās. Skatījums vienmēr ir gatavs parādīt pārbaudes rezultātu.
Svarīgu ziņojumu gadījumā skatījumam var būt kolonna ar adresātu. Jēdzīgi ir izmantot tos pašus BI līdzekļus, lai izveidotu ziņojumus par datu kvalitātes stāvokli noliktavā.

uzbrukumam

Pieprasījums ir rakstīts Oracle datu bāzei. Šajā piemērā testi atgriež skaitlisku vērtību, ko var atbilstoši interpretēt. Ar T_MIN un T_MAX vērtībām var regulēt satraukuma līmeni. Lauks REPORT kādreiz tika izmantots kā ziņojums komerciālajā ETL produktā, kas neprotot nosūtīt e-pastus adekvāti, tādēļ rpad - tas ir "ķēriens".

Lielas tabulas gadījumā var pievienot, piemēram, AND ROWNUM <= 10, t.i., ja ir izveidojušās 10 kļūdas, tad tā ir pietiekama, lai radītu satraukumu.

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Tests pats
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Neaizpildīto skaits' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- ne noklusējuma vērtība
  AND ATTRIBUTE IS NULL ); -- skaita neaizpildītos

Publicēšanā izmantoti grāmatas materiāli
Ronald Bachmann, Dr. Guido Kemper
Izvērsieties no BI slazda
Kā biznesa inteliģence kļūst par panākumu

Avots: habr.com