ProHoster > Blog > Administrasyon an > Kalite done nan depo a

Kalite done nan depo a

Bon jan kalite a nan done yo nan depo a se yon avantou enpòtan pou jwenn enfòmasyon ki gen anpil valè. Move bon jan kalite mennen nan yon reyaksyon chèn negatif nan kouri nan longè.
Premyèman, konfyans nan enfòmasyon yo bay la pèdi. Moun yo kòmanse sèvi ak aplikasyon Business Intelligence mwens; potansyèl aplikasyon yo rete pa reklame.
Kòm yon rezilta, plis envestisman nan pwojè a analyse yo rele an kesyon.

Responsablite pou kalite done yo

Aspè ki gen rapò ak amelyore kalite done yo enpòtan anpil nan pwojè BI. Sepandan, se pa privilèj sèlman espesyalis teknik yo.
Kalite done tou enfliyanse pa aspè sa yo tankou

Kilti antrepriz

  • Èske travayè yo menm enterese nan pwodwi bon jan kalite?
  • Si non, poukisa pa? Ka gen yon konfli enterè.
  • Petèt gen règ antrepriz ki detèmine ki moun ki responsab pou bon jan kalite?

Pwosesis yo

  • Ki done ki kreye nan fen chenn sa yo?
  • Petèt sistèm operasyon yo configuré nan yon fason ke ou bezwen "tòde" pou reflete sitiyasyon sa a oswa sitiyasyon an reyalite.
  • Èske sistèm operasyon yo fè verifikasyon done ak rekonsilyasyon tèt yo?

Tout moun nan òganizasyon an responsab pou kalite done nan sistèm rapò yo.

Definisyon ak siyifikasyon

Kalite se satisfaksyon pwouve atant kliyan yo.

Men, bon jan kalite done pa genyen yon definisyon. Li toujou reflete kontèks itilizasyon an. Depo done a ak sistèm BI sèvi diferan rezon pase sistèm operasyon ki done yo soti.

Pou egzanp, sou yon sistèm opere, atribi kliyan an ka yon jaden si ou vle. Nan depo a, atribi sa a ka itilize kòm yon dimansyon epi ranpli li yo obligatwa. Ki, nan vire, entwodui bezwen an ranpli nan valè default.

Kondisyon depo done yo toujou ap chanje epi yo anjeneral pi wo pase sa yo pou sistèm opere. Men, li kapab tou nan lòt fason alantou, lè pa gen okenn bezwen nan magazen enfòmasyon detaye ki soti nan sistèm nan fonksyone nan depo a.

Pou fè bon jan kalite done mezirab, estanda li yo dwe dekri. Moun ki sèvi ak enfòmasyon ak figi pou travay yo dwe patisipe nan pwosesis deskripsyon an. Rezilta a nan patisipasyon sa a ka yon règ, swiv ki yon moun ka di yon ti koutje sou tab la si gen yon erè oswa ou pa. Règ sa a dwe fòma kòm yon script/kòd pou verifikasyon ki vin apre.

Amelyore kalite done yo

Li enposib netwaye ak korije tout erè ipotetik pandan pwosesis la nan chaje done nan depo a. Bon kalite done kapab fèt sèlman grasa kolaborasyon sere ant tout patisipan yo. Moun ki antre done nan sistèm operasyon yo bezwen aprann ki aksyon mennen nan erè.

Kalite done se yon pwosesis. Malerezman, anpil òganizasyon pa gen yon estrateji pou amelyorasyon kontinyèl. Anpil limite tèt yo a sèlman estoke done epi yo pa sèvi ak tout potansyèl la nan sistèm analyse. Tipikman, lè w ap devlope depo done, 70-80% nan bidjè a depanse pou mete ann aplikasyon entegrasyon done. Pwosesis siveyans ak amelyorasyon rete enkonplè, si wi ou non.

Zouti

Itilizasyon zouti lojisyèl ka ede nan pwosesis pou automatisation amelyorasyon kalite done ak siveyans. Pou egzanp, yo ka konplètman otomatize verifikasyon teknik nan estrikti depo: fòma jaden, prezans nan valè default, konfòmite ak non jaden tab.

Li ka pi difisil pou tcheke kontni an. Kòm kondisyon depo yo chanje, entèpretasyon done yo ka chanje tou. Zouti nan tèt li ka vin yon gwo pwojè ki mande sipò.

Ide

Baz done relasyon, nan ki magazen yo tipikman fèt, gen kapasite nan remakab yo kreye opinyon. Yo ka itilize yo byen vit tcheke done si ou konnen spesifik yo nan kontni an. Chak ka jwenn yon erè oswa pwoblèm nan done yo ka anrejistre nan fòm lan nan yon rechèch baz done.

Nan fason sa a, yo pral fòme yon baz konesans sou kontni an. Natirèlman, demann sa yo dwe rapid. Opinyon anjeneral mande pou mwens tan imen pou kenbe pase zouti ki baze sou tab. View la toujou pare pou montre rezilta tès la.
Nan ka rapò enpòtan, gade nan ka gen yon kolòn ak moun k ap resevwa a. Li fè sans pou sèvi ak menm zouti BI pou rapòte sou eta bon jan kalite done nan depo a.

Egzanp

Yo te ekri rechèch la pou baz done Oracle. Nan egzanp sa a, tès yo retounen yon valè nimerik ki ka entèprete jan yo vle. Valè T_MIN ak T_MAX yo ka itilize pou ajiste nivo alam la. Jaden RAPÒ a te itilize yon fwa kòm yon mesaj nan yon pwodwi komèsyal ETL ki pa t 'konnen ki jan yo byen voye imèl, kidonk rpad se yon "beki".

Nan ka yon tab gwo, ou ka ajoute, pou egzanp, AND ROWNUM <= 10, i.e. si gen 10 erè, Lè sa a, sa a se ase yo lakòz alam.

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Count of blanks' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- not default value
  AND ATTRIBUTE IS NULL ); -- count blanks

Piblikasyon an sèvi ak materyèl nan liv la
Ronald Bachmann, Dr. Guido Kemper
Raus aus der BI-Falle
Wie Business Intelligence zum Erfolg wird

Sous: www.habr.com

Add nouvo kòmantè