Gæði gagna í vöruhúsi eru mikilvæg forsenda þess að afla verðmætra upplýsinga. Léleg gæði leiða til neikvæðrar keðjuverkunar til lengri tíma litið.
Í fyrsta lagi tapast traust á þeim upplýsingum sem veittar eru. Fólk er farið að nota Business Intelligence forrit minna; möguleikar forrita eru enn ósóttir.
Þess vegna er frekari fjárfesting í greiningarverkefninu dregin í efa.
Ábyrgð á gæðum gagna
Sá þáttur sem tengist því að bæta gagnagæði er mjög mikilvægur í BI verkefnum. Hins vegar eru það ekki forréttindi eingöngu tæknisérfræðinga.
Gagnagæði eru einnig undir áhrifum af þáttum eins og
Fyrirtækjamenning
- Eru starfsmenn sjálfir áhugasamir um að framleiða góð gæði?
- Ef ekki, hvers vegna ekki? Það gæti verið hagsmunaárekstrar.
- Kannski eru reglur fyrirtækja sem ákveða hver ber ábyrgð á gæðum?
Ferlarnir
- Hvaða gögn verða til í lok þessara keðja?
- Kannski eru stýrikerfin stillt á þann hátt að þú þarft að "snúa" til að endurspegla þetta eða hitt ástandið í raunveruleikanum.
- Framkvæma stýrikerfi gagnasannprófun og afstemmingu sjálf?
Allir innan stofnunarinnar bera ábyrgð á gæðum gagna í skýrslukerfum.
Skilgreining og merking
Gæði eru sannað fullnæging væntinga viðskiptavina.
En gagnagæði innihalda ekki skilgreiningu. Það endurspeglar alltaf samhengi notkunar. Gagnageymslan og BI-kerfið þjóna öðrum tilgangi en stýrikerfið sem gögnin koma frá.
Til dæmis, í stýrikerfi, getur eigind viðskiptavinarins verið valfrjáls reitur. Í geymslunni er hægt að nota þessa eigind sem vídd og þarf að fylla hana. Sem aftur kynnir þörfina á að fylla inn sjálfgefin gildi.
Kröfur um gagnageymslu eru stöðugt að breytast og þær eru venjulega hærri en fyrir stýrikerfi. En það getur líka verið öfugt, þegar ekki þarf að geyma nákvæmar upplýsingar úr stýrikerfinu í geymslunni.
Til að gera gagnagæði mælanleg þarf að lýsa stöðlum þeirra. Fólk sem notar upplýsingar og tölur við vinnu sína þarf að taka þátt í lýsingarferlinu. Afleiðingin af þessari þátttöku getur verið regla, í kjölfarið má sjá í fljótu bragði á töflunni hvort um villu sé að ræða eða ekki. Þessi regla verður að vera sniðin sem handrit/kóði fyrir síðari sannprófun.
Að bæta gagnagæði
Það er ómögulegt að hreinsa upp og leiðrétta allar ímyndaðar villur meðan á því stendur að hlaða gögnum inn í vöruhúsið. Góð gagnagæði nást aðeins með nánu samstarfi allra þátttakenda. Fólk sem setur gögn inn í stýrikerfi þarf að læra hvaða aðgerðir leiða til villna.
Gagnagæði eru ferli. Því miður hafa margar stofnanir ekki stefnu um stöðugar umbætur. Margir takmarka sig við að geyma aðeins gögn og nýta ekki alla möguleika greiningarkerfa. Venjulega er 70-80% af fjárhagsáætluninni varið í að innleiða gagnasamþættingu þegar verið er að þróa vöruhús. Eftirlits- og umbótaferlið er enn ólokið, ef það er yfirhöfuð.
Verkfæri
Notkun hugbúnaðarverkfæra getur hjálpað til við að gera sjálfvirkan gagnagæðabata og eftirlit. Til dæmis geta þeir fullkomlega sjálfvirkt tæknilega sannprófun geymslumannvirkja: reitsnið, tilvist sjálfgefna gilda, samræmi við töflureitarheiti.
Það getur verið erfiðara að athuga innihaldið. Þar sem geymslukröfur breytast getur túlkun gagnanna einnig breyst. Verkfærið sjálft getur orðið risastórt verkefni sem krefst stuðnings.
Ábending
Venslagagnagrunnar, þar sem verslanir eru venjulega hannaðar, hafa þann ótrúlega hæfileika að búa til skoðanir. Þeir geta verið notaðir til að kanna gögn fljótt ef þú veist sérkenni innihaldsins. Hægt er að skrá hvert tilvik þar sem villu eða vandamál finnast í gögnunum í formi gagnagrunnsfyrirspurnar.
Þannig verður til þekkingargrunnur um innihaldið. Auðvitað verða slíkar beiðnir að vera hraðar. Skoðanir þurfa venjulega minni tíma til að viðhalda en töflutengd verkfæri. Yfirlitið er alltaf tilbúið til að sýna niðurstöður prófsins.
Ef um mikilvægar skýrslur er að ræða getur yfirlitið innihaldið dálk með viðtakandanum. Það er skynsamlegt að nota sömu BI verkfærin til að tilkynna um stöðu gagnagæða í vöruhúsinu.
Dæmi
Fyrirspurnin var skrifuð fyrir Oracle gagnagrunninn. Í þessu dæmi skila prófin tölugildi sem hægt er að túlka að vild. Hægt er að nota T_MIN og T_MAX gildin til að stilla viðvörunarstigið. REPORT reiturinn var einu sinni notaður sem skilaboð í auglýsing ETL vöru sem vissi ekki hvernig á að senda tölvupóst almennilega, svo rpad er „hækja“.
Ef um stóra töflu er að ræða má til dæmis bæta við OG ROWNUM <= 10, þ.e. ef það eru 10 villur, þá er þetta nóg til að valda viðvörun.
CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
THEN 'OK' ELSE 'ERROR' END AS RESULT,
DESCRIPTION,
TABLE_NAME,
OUTPUT,
T_MIN,
T_MAX,
rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
SELECT
'DIM_PRODUCT' AS TABLE_NAME,
'Count of blanks' AS DESCRIPTION,
COUNT(*) AS OUTPUT,
0 AS T_MIN,
10 AS T_MAX
FROM DIM_PRODUCT
WHERE DIM_PRODUCT_ID != -1 -- not default value
AND ATTRIBUTE IS NULL ); -- count blanks
Í útgáfunni er notast við efni úr bókinni
Ronald Bachmann, Dr. Guido Kemper
Raus aus der BI-Falle
Wie Business Intelligence zum Erfolg wird
Heimild: www.habr.com