Ang kalidad sa datos sa bodega

Ang kalidad sa datos sa bodega usa ka hinungdanon nga kinahanglanon alang sa pagkuha sa hinungdanon nga kasayuran. Ang dili maayo nga kalidad nagdala sa negatibo nga reaksyon sa kadena sa kadugayan.
Una, ang pagsalig sa impormasyon nga gihatag nawala. Ang mga tawo nagsugod sa paggamit sa mga aplikasyon sa Business Intelligence nga dili kaayo maangkon ang potensyal sa mga aplikasyon.
Ingon usa ka sangputanan, ang dugang nga pagpamuhunan sa analitikal nga proyekto gikuwestiyon.

Responsibilidad sa kalidad sa datos

Ang aspeto nga may kalabutan sa pagpauswag sa kalidad sa datos mao ang mega-importante sa mga proyekto sa BI. Bisan pa, dili kini pribilehiyo sa mga teknikal nga espesyalista lamang.
Ang kalidad sa datos naimpluwensyahan usab sa mga aspeto sama sa

Kultura sa korporasyon

• Interesado ba ang mga mamumuo sa paghimo ug maayong kalidad?
• Kung dili, nganong dili? Mahimong adunay panagbangi sa interes.
• Tingali adunay mga lagda sa korporasyon nga nagtino kung kinsa ang responsable sa kalidad?

Ang mga proseso

• Unsa nga datos ang gihimo sa katapusan niini nga mga kadena?
• Tingali ang mga operating system gi-configure sa paagi nga kinahanglan nimo nga "mag-twist" aron mapakita kini o kana nga kahimtang sa tinuud.
• Naghimo ba ang mga operating system sa pag-verify sa datos ug pagpasig-uli sa ilang kaugalingon?

Ang matag usa sa organisasyon responsable sa kalidad sa datos sa mga sistema sa pagreport.

Kahubitan ug kahulogan

Ang kalidad mao ang napamatud-an nga katagbawan sa gipaabut sa kustomer.

Apan ang kalidad sa datos wala adunay kahulugan. Kanunay kini nga nagpakita sa konteksto sa paggamit. Ang bodega sa datos ug sistema sa BI nagsilbi nga lahi nga katuyoan kaysa sa operating system nga gigikanan sa datos.

Pananglitan, sa usa ka operating system, ang kinaiya sa kustomer mahimong usa ka opsyonal nga uma. Sa repository, kini nga hiyas mahimong gamiton isip usa ka dimensyon ug gikinahanglan ang pagpuno niini. Nga, sa baylo, nagpaila sa panginahanglan sa pagpuno sa mga default nga kantidad.

Ang mga kinahanglanon sa pagtipig sa datos kanunay nga nagbag-o ug kini kasagaran mas taas kaysa sa mga operating system. Apan mahimo usab kini nga sukwahi, kung dili kinahanglan nga tipigan ang detalyado nga kasayuran gikan sa operating system sa pagtipig.

Aron masukod ang kalidad sa datos, ang mga sumbanan niini kinahanglang ihulagway. Ang mga tawo nga naggamit sa kasayuran ug mga numero alang sa ilang trabaho kinahanglan nga maapil sa proseso sa paghulagway. Ang resulta niini nga pag-apil mahimo nga usa ka lagda, nga nagsunod diin ang usa makasulti sa usa ka pagtan-aw sa lamesa kung adunay sayup o wala. Kini nga lagda kinahanglang maporma isip script/code para sa sunod nga pag-verify.

Pagpauswag sa kalidad sa datos

Imposible nga limpyohan ug matul-id ang tanan nga mga sayup nga hypothetical sa panahon sa proseso sa pagkarga sa datos sa bodega. Ang maayong kalidad sa datos makab-ot lamang pinaagi sa suod nga kolaborasyon tali sa tanang partisipante. Ang mga tawo nga nagsulod sa datos sa mga operating system kinahanglan nga makat-on kung unsang mga aksyon ang hinungdan sa mga sayup.

Ang kalidad sa datos usa ka proseso. Ikasubo, daghang mga organisasyon ang wala’y estratehiya alang sa padayon nga pag-uswag. Daghan ang naglimite sa ilang kaugalingon sa pagtipig lamang sa datos ug wala mogamit sa hingpit nga potensyal sa analytical system. Kasagaran, kung nagpalambo sa mga bodega sa datos, 70-80% sa badyet ang gigasto sa pagpatuman sa panagsama sa datos. Ang proseso sa pagmonitor ug pagpaayo nagpabilin nga dili kompleto, kung naa man.

Mga himan

Ang paggamit sa mga himan sa software makatabang sa proseso sa pag-automate sa pag-uswag sa kalidad sa datos ug pagmonitor. Pananglitan, mahimo nilang bug-os nga ma-automate ang teknikal nga pag-verify sa mga istruktura sa pagtipig: format sa uma, presensya sa mga default nga kantidad, pagsunod sa mga ngalan sa field sa lamesa.

Mahimong mas lisud ang pagsusi sa sulod. Samtang nagbag-o ang mga kinahanglanon sa pagtipig, mahimo usab nga mabag-o ang interpretasyon sa datos. Ang himan mismo mahimong usa ka dako nga proyekto nga nanginahanglan suporta.

Tip

Ang mga database sa relasyon, diin ang mga tindahan sagad gidisenyo, adunay talagsaon nga abilidad sa paghimo og mga panan-aw. Mahimo silang magamit aron dali nga masusi ang datos kung nahibal-an nimo ang mga detalye sa sulud. Ang matag kaso sa pagpangita og sayop o problema sa datos mahimong marekord sa porma sa usa ka database query.

Niining paagiha, maporma ang usa ka base sa kahibalo bahin sa sulud. Siyempre, ang ingon nga mga hangyo kinahanglan nga paspas. Ang mga pagtan-aw kasagarang nanginahanglan gamay nga oras sa tawo aron mapadayon kaysa sa mga gamit nga nakabase sa lamesa. Kanunay nga andam ang pagtan-aw aron ipakita ang resulta sa pagsulay.
Sa kaso sa importante nga mga taho, ang panglantaw mahimong adunay usa ka kolum uban sa nakadawat. Makatarunganon nga gamiton ang parehas nga mga himan sa BI aron ireport ang kahimtang sa kalidad sa datos sa bodega.

Pananglitan:

Ang pangutana gisulat para sa Oracle database. Niini nga pananglitan, ang mga pagsulay nagbalik sa usa ka numeric nga kantidad nga mahimong hubaron nga gusto. Ang T_MIN ug T_MAX values ​​​​magamit sa pag-adjust sa lebel sa alarma. Ang natad sa REPORT kaniadto gigamit isip mensahe sa usa ka komersyal nga produkto sa ETL nga wala mahibal-an unsaon sa hustong pagpadala sa mga email, mao nga ang rpad usa ka "krus".

Sa kaso sa usa ka dako nga lamesa, mahimo nimong idugang, pananglitan, UG ROWNUM <= 10, i.e. kung adunay 10 ka mga kasaypanan, nan kini igo nga hinungdan sa alarma.

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Count of blanks' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- not default value
  AND ATTRIBUTE IS NULL ); -- count blanks

Ang publikasyon naggamit sa mga materyales gikan sa libro
Ronald Bachmann, Dr. Guido Kemper
Raus aus der BI-Falle
Wie Business Intelligence gikan sa Erfolg wird

Source: www.habr.com