ProHoster > blog > Gweinyddiaeth > Ansawdd data yn y warws

Ansawdd data yn y warws

Mae ansawdd y data yn y warws yn rhagofyniad pwysig ar gyfer cael gwybodaeth werthfawr. Mae ansawdd gwael yn arwain at adwaith cadwyn negyddol yn y tymor hir.
Yn gyntaf, collir ymddiriedaeth yn y wybodaeth a ddarperir. Mae pobl yn dechrau defnyddio llai o gymwysiadau Gwybodaeth Busnes; mae potensial cymwysiadau heb ei hawlio o hyd.
O ganlyniad, mae buddsoddiad pellach yn y prosiect dadansoddol yn cael ei gwestiynu.

Cyfrifoldeb am ansawdd data

Mae'r agwedd sy'n ymwneud Γ’ gwella ansawdd data yn hynod bwysig mewn prosiectau BI. Fodd bynnag, nid yw'n fraint arbenigwyr technegol yn unig.
Mae ansawdd data hefyd yn cael ei ddylanwadu gan agweddau fel

Diwylliant corfforaethol

  • A oes gan y gweithwyr eu hunain ddiddordeb mewn cynhyrchu o ansawdd da?
  • Os na, pam lai? Gall fod gwrthdaro buddiannau.
  • Efallai bod yna reolau corfforaethol sy'n pennu pwy sy'n gyfrifol am ansawdd?

Y prosesau

  • Pa ddata sy'n cael ei greu ar ddiwedd y cadwyni hyn?
  • Efallai bod y systemau gweithredu wedi'u ffurfweddu yn y fath fodd fel bod angen i chi β€œtroelli” i adlewyrchu hyn neu'r sefyllfa honno mewn gwirionedd.
  • A yw systemau gweithredu yn cyflawni dilysu a chysoni data eu hunain?

Mae pawb yn y sefydliad yn gyfrifol am ansawdd data mewn systemau adrodd.

Diffiniad ac ystyr

Ansawdd yw boddhad profedig o ddisgwyliadau cwsmeriaid.

Ond nid yw ansawdd data yn cynnwys diffiniad. Mae bob amser yn adlewyrchu'r cyd-destun defnydd. Mae'r warws data a'r system BI yn gwasanaethu gwahanol ddibenion na'r system weithredu y daw'r data ohoni.

Er enghraifft, ar system weithredu, gall y priodoledd cwsmer fod yn faes dewisol. Yn yr ystorfa, gellir defnyddio'r nodwedd hon fel dimensiwn ac mae angen ei llenwi. Sydd, yn ei dro, yn cyflwyno'r angen i lenwi gwerthoedd diofyn.

Mae gofynion storio data yn newid yn gyson ac maent fel arfer yn uwch na'r rhai ar gyfer systemau gweithredu. Ond gall hefyd fod y ffordd arall, pan nad oes angen storio gwybodaeth fanwl o'r system weithredu yn y storfa.

Er mwyn gwneud ansawdd data yn fesuradwy, rhaid disgrifio ei safonau. Rhaid i bobl sy'n defnyddio gwybodaeth a ffigurau ar gyfer eu gwaith fod yn rhan o'r broses ddisgrifio. Gall canlyniad yr ymglymiad hwn fod yn rheol, ac yn dilyn hynny gallwch chi roi cipolwg ar y bwrdd a oes gwall ai peidio. Rhaid i'r rheol hon gael ei fformatio fel sgript/cod ar gyfer dilysu dilynol.

Gwella ansawdd data

Mae'n amhosibl glanhau a chywiro'r holl wallau damcaniaethol yn ystod y broses o lwytho data i'r warws. Dim ond trwy gydweithio agos rhwng yr holl gyfranogwyr y gellir sicrhau ansawdd data da. Mae angen i bobl sy'n mewnbynnu data i systemau gweithredu ddysgu pa gamau sy'n arwain at wallau.

Mae ansawdd data yn broses. Yn anffodus, nid oes gan lawer o sefydliadau strategaeth ar gyfer gwelliant parhaus. Mae llawer yn cyfyngu eu hunain i storio data yn unig ac nid ydynt yn defnyddio potensial llawn systemau dadansoddol. Yn nodweddiadol, wrth ddatblygu warysau data, mae 70-80% o'r gyllideb yn cael ei wario ar weithredu integreiddio data. Mae'r broses monitro a gwella yn parhau i fod yn anghyflawn, os o gwbl.

Offer

Gall defnyddio offer meddalwedd helpu yn y broses o awtomeiddio gwella a monitro ansawdd data. Er enghraifft, gallant awtomeiddio'n llawn y gwiriad technegol o strwythurau storio: fformat maes, presenoldeb gwerthoedd diofyn, cydymffurfio ag enwau meysydd tabl.

Gall fod yn anoddach gwirio'r cynnwys. Wrth i ofynion storio newid, gall dehongliad y data newid hefyd. Gall yr offeryn ei hun ddod yn brosiect enfawr sydd angen cefnogaeth.

Tip

Mae gan gronfeydd data perthynol, lle mae storfeydd wedi'u cynllunio'n nodweddiadol, y gallu rhyfeddol i greu golygfeydd. Gellir eu defnyddio i wirio data yn gyflym os ydych chi'n gwybod manylion y cynnwys. Gellir cofnodi pob achos o ganfod gwall neu broblem yn y data ar ffurf ymholiad cronfa ddata.

Yn y modd hwn, bydd sylfaen wybodaeth am y cynnwys yn cael ei ffurfio. Wrth gwrs, rhaid i geisiadau o'r fath fod yn gyflym. Mae golygfeydd fel arfer yn gofyn am lai o amser dynol i'w cynnal nag offer bwrdd. Mae'r olygfa bob amser yn barod i arddangos canlyniad y prawf.
Yn achos adroddiadau pwysig, gall y golwg gynnwys colofn gyda'r derbynnydd. Mae'n gwneud synnwyr defnyddio'r un offer BI i adrodd ar gyflwr ansawdd data yn y warws.

Enghraifft

Ysgrifennwyd yr ymholiad ar gyfer cronfa ddata Oracle. Yn yr enghraifft hon, mae'r profion yn dychwelyd gwerth rhifol y gellir ei ddehongli fel y dymunir. Gellir defnyddio'r gwerthoedd T_MIN a T_MAX i addasu lefel y larwm. Roedd y maes REPORT yn cael ei ddefnyddio unwaith fel neges mewn cynnyrch masnachol ETL nad oedd yn gwybod sut i anfon e-byst yn iawn, felly mae rpad yn β€œfaglu”.

Yn achos tabl mawr, gallwch ychwanegu, er enghraifft, A ROWNUM <= 10, h.y. os oes 10 gwall, yna mae hyn yn ddigon i achosi braw.

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Count of blanks' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- not default value
  AND ATTRIBUTE IS NULL ); -- count blanks

Mae'r cyhoeddiad yn defnyddio deunyddiau o'r llyfr
Ronald Bachmann, Dr. Guido Kemper
Raus aus der BI-Falle
Cudd-wybodaeth Busnes Wie oherwydd Erfolg wird

Ffynhonnell: hab.com

Ychwanegu sylw