Càileachd an dàta ann an stòr

Tha càileachd an dàta anns an taigh-bathair na riatanas cudromach airson fiosrachadh luachmhor fhaighinn. Tha droch chàileachd a’ leantainn gu freagairt slabhraidh àicheil san fhad-ùine.
An toiseach, tha earbsa anns an fhiosrachadh a chaidh a thoirt seachad air chall. Tha daoine a’ tòiseachadh a’ cleachdadh nas lugha de thagraidhean Business Intelligence; tha comas thagraidhean fhathast gun thagradh.
Mar thoradh air an sin, thathas a’ ceasnachadh tuilleadh tasgaidh sa phròiseact anailis.

Uallach airson càileachd dàta

Tha an taobh co-cheangailte ri leasachadh càileachd dàta fìor chudromach ann am pròiseactan BI. Ach, chan e sochair a th’ ann ach eòlaichean teignigeach.
Tha buaidh cuideachd air càileachd dàta le taobhan leithid

Cultar corporra

  • A bheil ùidh aig an luchd-obrach fhèin ann a bhith a’ dèanamh deagh chàileachd?
  • Mura h-eil, carson? Is dòcha gu bheil strì eadar com-pàirt ann.
  • Is dòcha gu bheil riaghailtean corporra ann a tha a’ dearbhadh cò a tha an urra ri càileachd?

Na pròiseasan

  • Dè an dàta a thèid a chruthachadh aig deireadh nan slabhraidhean sin?
  • Is dòcha gu bheil na siostaman obrachaidh air an rèiteachadh ann an dòigh a dh’ fheumas tu “tionndadh” gus seo no an suidheachadh sin a nochdadh ann an da-rìribh.
  • Am bi siostaman obrachaidh a’ dèanamh dearbhadh agus rèiteachadh dàta iad fhèin?

Tha uallach air a h-uile duine sa bhuidheann airson càileachd an dàta ann an siostaman aithris.

Mìneachadh agus ciall

Is e càileachd an sàsachadh dearbhte ri dùil luchd-cleachdaidh.

Ach chan eil mìneachadh ann air càileachd dàta. Bidh e an-còmhnaidh a’ nochdadh a’ cho-theacsa cleachdaidh. Bidh an taigh-bathair dàta agus an siostam BI a’ frithealadh diofar adhbharan seach an siostam obrachaidh às a bheil an dàta a’ tighinn.

Mar eisimpleir, air siostam obrachaidh, is dòcha gur e raon roghainneil a th’ ann am feart teachdaiche. Anns an stòr, faodar am feart seo a chleachdadh mar thomhas agus tha feum air a lìonadh. A tha, an uair sin, a’ toirt a-steach an fheum air luachan bunaiteach a lìonadh.

Tha riatanasan stòraidh dàta an-còmhnaidh ag atharrachadh agus mar as trice tha iad nas àirde na an fheadhainn airson siostaman obrachaidh. Ach faodaidh e cuideachd a bhith air an rathad eile, nuair nach eil feum air fiosrachadh mionaideach a stòradh bhon t-siostam obrachaidh anns an stòradh.

Gus càileachd dàta a dhèanamh comasach a thomhas, feumar na h-inbhean aige a mhìneachadh. Feumaidh daoine a chleachdas fiosrachadh agus figearan airson an cuid obrach a bhith an sàs anns a’ phròiseas tuairisgeul. Faodaidh toradh an com-pàirt seo a bhith na riaghailt, às deidh sin faodaidh neach innse gu sgiobalta aig a ’bhòrd a bheil mearachd ann no nach eil. Feumaidh an riaghailt seo a bhith air a chruth mar sgriobt/còd airson dearbhadh às dèidh làimh.

Leasachadh càileachd dàta

Tha e do-dhèanta a h-uile mearachd beachd-bharail a ghlanadh agus a cheartachadh rè pròiseas luchdachadh dàta a-steach don taigh-bathair. Chan urrainnear deagh chàileachd dàta a choileanadh ach tro cho-obrachadh dlùth eadar na com-pàirtichean uile. Feumaidh daoine a chuireas dàta a-steach do shiostaman obrachaidh ionnsachadh dè na gnìomhan a tha ag adhbhrachadh mhearachdan.

Tha càileachd dàta na phròiseas. Gu mì-fhortanach, chan eil ro-innleachd aig mòran bhuidhnean airson leasachadh leantainneach. Bidh mòran gan cuingealachadh fhèin gu bhith a’ stòradh dàta a-mhàin agus chan eil iad a’ cleachdadh làn chomas siostaman anailis. Mar as trice, nuair a thathar a’ leasachadh stòran dàta, thathas a’ cosg 70-80% den bhuidseit air amalachadh dàta a bhuileachadh. Tha am pròiseas sgrùdaidh is leasachaidh fhathast neo-chrìochnach, ma tha idir.

Innealan

Faodaidh cleachdadh innealan bathar-bog cuideachadh ann a bhith ag fèin-ghluasad leasachadh càileachd dàta agus sgrùdadh. Mar eisimpleir, is urrainn dhaibh dearbhadh teignigeach nan structaran stòraidh a dhèanamh fèin-ghluasadach: cruth achaidh, làthaireachd luachan bunaiteach, gèilleadh ri ainmean achaidhean bùird.

Is dòcha gum bi e nas duilghe sgrùdadh a dhèanamh air an t-susbaint. Mar a bhios riatanasan stòraidh ag atharrachadh, faodaidh mìneachadh an dàta atharrachadh cuideachd. Faodaidh an inneal fhèin a bhith na phròiseact mòr a dh’ fheumas taic.

Tip

Tha comas iongantach aig stòran-dàta càirdeach, anns a bheil stòran air an dealbhadh gu h-àbhaisteach, seallaidhean a chruthachadh. Faodar an cleachdadh gus dàta a sgrùdadh gu sgiobalta ma tha thu eòlach air mion-fhiosrachadh an t-susbaint. Faodar gach cùis mu lorg mearachd no duilgheadas san dàta a chlàradh ann an cruth ceist stòr-dàta.

San dòigh seo, thèid bunait eòlais mun t-susbaint a chruthachadh. Gu dearbh, feumaidh iarrtasan mar sin a bhith luath. Mar as trice feumaidh seallaidhean nas lugha de ùine daonna airson an cumail suas na innealan stèidhichte air bùird. Tha an sealladh an-còmhnaidh deiseil airson toradh na deuchainn a thaisbeanadh.
Ann an cùis aithisgean cudromach, faodaidh colbh a bhith anns an t-sealladh leis an neach a gheibh e. Tha e ciallach na h-aon innealan BI a chleachdadh gus cunntas a thoirt air staid càileachd dàta anns an taigh-bathair.

Eisimpleir:

Chaidh a’ cheist a sgrìobhadh airson stòr-dàta Oracle. San eisimpleir seo, bidh na deuchainnean a’ tilleadh luach àireamhach a dh’fhaodar a mhìneachadh mar a thogras tu. Faodar na luachan T_MIN agus T_MAX a chleachdadh gus ìre an rabhaidh atharrachadh. Bha an raon AITHISG air a chleachdadh uaireigin mar theachdaireachd ann an toradh malairteach ETL aig nach robh fios ciamar a chuireadh iad post-d gu ceart, agus mar sin is e “crutch” a th’ ann an rpad.

Ann an cùis clàr mòr, faodaidh tu cur ris, mar eisimpleir, AGUS ROWNUM <= 10, i.e. ma tha 10 mearachdan ann, tha seo gu leòr airson clisgeadh adhbhrachadh.

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Count of blanks' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- not default value
  AND ATTRIBUTE IS NULL ); -- count blanks

Bidh am foillseachadh a’ cleachdadh stuthan bhon leabhar
Ronald Bachmann, Dr. Guido Kemper
Raus aus der BI-Falle
Wie Business Intelligence airson Erfolg wird


Source: www.habr.com

Cuir beachd ann