🥇Ubora wa data kwenye hifadhi

Ubora wa data kwenye ghala ni sharti muhimu la kupata habari muhimu. Ubora duni husababisha mmenyuko mbaya wa mnyororo kwa muda mrefu.
Kwanza, imani katika taarifa iliyotolewa imepotea. Watu wanaanza kutumia programu za Upelelezi wa Biashara kwa chini; uwezo wa programu bado haujadaiwa.
Matokeo yake, uwekezaji zaidi katika mradi wa uchambuzi unatiliwa shaka.

Wajibu wa ubora wa data

Kipengele kinachohusiana na kuboresha ubora wa data ni muhimu sana katika miradi ya BI. Hata hivyo, sio fursa ya wataalam wa kiufundi tu.
Ubora wa data pia huathiriwa na vipengele kama vile

Utamaduni wa ushirika

Je, wafanyakazi wenyewe wana nia ya kuzalisha ubora mzuri?
Ikiwa sivyo, kwa nini? Kunaweza kuwa na mgongano wa kimaslahi.
Labda kuna sheria za ushirika zinazoamua ni nani anayehusika na ubora?

Mchakato

Ni data gani inayoundwa mwishoni mwa minyororo hii?
Labda mifumo ya uendeshaji imeundwa kwa namna ambayo unahitaji "kupotosha" ili kutafakari hii au hali hiyo kwa kweli.
Je, mifumo ya uendeshaji hufanya uthibitishaji wa data na upatanisho yenyewe?

Kila mtu katika shirika anawajibika kwa ubora wa data katika mifumo ya kuripoti.

Ufafanuzi na maana

Ubora ni kuridhika kuthibitishwa kwa matarajio ya mteja.

Lakini ubora wa data hauna ufafanuzi. Daima huonyesha muktadha wa matumizi. Ghala la data na mfumo wa BI hutumikia madhumuni tofauti kuliko mfumo wa uendeshaji ambao data hutoka.

Kwa mfano, kwenye mfumo wa uendeshaji, sifa ya mteja inaweza kuwa uwanja wa hiari. Katika hazina, sifa hii inaweza kutumika kama kipimo na kujaza kwake kunahitajika. Ambayo, kwa upande wake, inaleta hitaji la kujaza maadili chaguo-msingi.

Mahitaji ya kuhifadhi data yanabadilika mara kwa mara na kwa kawaida huwa ya juu kuliko yale ya mifumo ya uendeshaji. Lakini pia inaweza kuwa njia nyingine kote, wakati hakuna haja ya kuhifadhi maelezo ya kina kutoka kwa mfumo wa uendeshaji katika hifadhi.

Ili kufanya ubora wa data kupimika, viwango vyake lazima vielezwe. Watu wanaotumia taarifa na takwimu kwa kazi zao lazima wahusishwe katika mchakato wa maelezo. Matokeo ya ushiriki huu inaweza kuwa sheria, kufuatia ambayo mtu anaweza kusema kwa mtazamo kwenye meza ikiwa kuna kosa au la. Sheria hii lazima iundwe kama hati/msimbo kwa uthibitishaji unaofuata.

Kuboresha ubora wa data

Haiwezekani kusafisha na kurekebisha makosa yote ya dhahania wakati wa mchakato wa kupakia data kwenye ghala. Ubora mzuri wa data unaweza kupatikana tu kwa ushirikiano wa karibu kati ya washiriki wote. Watu wanaoingiza data kwenye mifumo ya uendeshaji wanahitaji kujifunza ni vitendo gani vinavyosababisha makosa.

Ubora wa data ni mchakato. Kwa bahati mbaya, mashirika mengi hayana mkakati wa kuboresha kila wakati. Wengi hujiwekea kikomo kwa kuhifadhi data pekee na hawatumii uwezo kamili wa mifumo ya uchanganuzi. Kwa kawaida, wakati wa kuendeleza maghala ya data, 70-80% ya bajeti hutumiwa kutekeleza ushirikiano wa data. Mchakato wa ufuatiliaji na uboreshaji bado haujakamilika, ikiwa hata hivyo.

Vyombo vya

Matumizi ya zana za programu yanaweza kusaidia katika mchakato wa uboreshaji na ufuatiliaji wa ubora wa data kiotomatiki. Kwa mfano, wanaweza kufanyia otomatiki uthibitishaji wa kiufundi wa miundo ya hifadhi: umbizo la uga, uwepo wa maadili chaguo-msingi, kufuata majina ya sehemu za jedwali.

Inaweza kuwa ngumu zaidi kuangalia yaliyomo. Kadiri mahitaji ya uhifadhi yanavyobadilika, tafsiri ya data inaweza pia kubadilika. Chombo chenyewe kinaweza kuwa mradi mkubwa unaohitaji usaidizi.

Kidokezo

Hifadhidata za uhusiano, ambazo duka hutengenezwa kwa kawaida, zina uwezo wa ajabu wa kuunda maoni. Zinaweza kutumika kuangalia data kwa haraka ikiwa unajua maelezo mahususi ya yaliyomo. Kila kesi ya kupata hitilafu au tatizo katika data inaweza kurekodiwa katika mfumo wa hoja ya hifadhidata.

Kwa njia hii, msingi wa maarifa kuhusu yaliyomo utaundwa. Bila shaka, maombi hayo lazima yawe haraka. Mionekano kwa kawaida huhitaji muda mfupi wa kibinadamu ili kudumisha kuliko zana zinazotegemea jedwali. Mtazamo huwa tayari kuonyesha matokeo ya jaribio.
Katika kesi ya ripoti muhimu, mtazamo unaweza kuwa na safu na mpokeaji. Inaleta maana kutumia zana sawa za BI kuripoti juu ya hali ya ubora wa data kwenye ghala.

Mfano

Hoja iliandikwa kwa hifadhidata ya Oracle. Katika mfano huu, majaribio yanarudisha thamani ya nambari ambayo inaweza kufasiriwa kama inavyotakiwa. Thamani za T_MIN na T_MAX zinaweza kutumika kurekebisha kiwango cha kengele. Sehemu ya RIPOTI wakati fulani ilitumiwa kama ujumbe katika bidhaa ya kibiashara ya ETL ambayo haikujua jinsi ya kutuma barua pepe ipasavyo, kwa hivyo rpad ni "crutch".

Katika kesi ya meza kubwa, unaweza kuongeza, kwa mfano, NA ROWNUM <= 10, i.e. ikiwa kuna makosa 10, basi hii inatosha kusababisha kengele.

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Count of blanks' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- not default value
  AND ATTRIBUTE IS NULL ); -- count blanks

Uchapishaji hutumia nyenzo kutoka kwa kitabu
Ronald Bachmann, Dk. Guido Kemper
Raus aus der BI-Falle
Wie Business Intelligence zum Erfolg wird

Chanzo: mapenzi.com

Ubora wa data kwenye ghala