Ogo data dị n'ụlọ nkwakọba ihe

Ogo nke data dị na ụlọ nkwakọba ihe bụ ihe dị mkpa iji nweta ozi bara uru. Ọdịdị na-adịghị mma na-eduga na mmeghachi omume yinye na-adịghị mma n'ikpeazụ.
Nke mbụ, ntụkwasị obi na ozi e nyere na-efunahụ ya. Ndị mmadụ na-amalite iji ngwa ọgụgụ isi azụmaahịa dị obere; ikike nke ngwa na-anọgide na-anaghị ekwupụta.
N'ihi nke a, a na-ajụ itinyekwu ego na ọrụ nyocha.

Ọrụ maka ogo data

Akụkụ metụtara ịkwalite ogo data bụ mega-mkpa na ọrụ BI. Agbanyeghị, ọ bụghị ihe ùgwù nke naanị ndị ọkachamara teknụzụ.
A na-emetụtakwa ogo data site na akụkụ ndị dị ka

Omenala ụlọọrụ

  • Ndị ọrụ ahụ nwere mmasị n'ịmepụta ezigbo mma?
  • Ọ bụrụ na ọ bụghị, gịnị kpatara na ọ bụghị? Enwere ike inwe esemokwu nke mmasị.
  • Eleghị anya enwere iwu ụlọ ọrụ na-ekpebi onye na-ahụ maka ịdị mma?

Nhazi

  • Kedu data emepụtara na njedebe nke agbụ ndị a?
  • Ma eleghị anya, a na-ahazi sistemụ arụmọrụ n'ụzọ dị mkpa ka ị "gbagọ" iji gosipụta nke a ma ọ bụ ọnọdụ ahụ n'ezie.
  • Sistemu arụ ọrụ na-eme nkwenye data na imekọrịta onwe ha?

Onye ọ bụla nọ na nzukọ ahụ na-ahụ maka ịdịmma data na sistemụ mkpesa.

Nkọwa na ihe ọ pụtara

Ogo bụ afọ ojuju nke atụmanya ndị ahịa.

Mana ogo data enweghị nkọwa. Ọ na-egosipụta mgbe niile ihe gbasara ojiji. Ụlọ nkwakọba ihe data na usoro BI na-arụ ọrụ dị iche iche karịa sistemụ arụmọrụ nke sitere na data ahụ.

Dịka ọmụmaatụ, na sistemụ arụmọrụ, njirimara ndị ahịa nwere ike ịbụ mpaghara nhọrọ. N'ime ebe nchekwa, enwere ike iji àgwà a dị ka akụkụ na njuputa ya chọrọ. Nke, n'aka nke ya, na-ewebata mkpa iji mejupụta ụkpụrụ ndabara.

Ihe nchekwa data chọrọ na-agbanwe mgbe niile na ha na-adịkarị elu karịa nke maka sistemụ arụmọrụ. Ma ọ nwekwara ike ịbụ ụzọ ọzọ, mgbe ọ dịghị mkpa ịchekwa ozi zuru ezu site na sistemụ arụmọrụ na nchekwa.

Iji mee ka ịdị mma data tụọ ya, a ga-akọwarịrị ụkpụrụ ya. Ndị na-eji ozi na ọnụ ọgụgụ maka ọrụ ha ga-etinyerịrị na usoro nkọwa. Nsonaazụ nke itinye aka a nwere ike ịbụ iwu, na-esote nke onye nwere ike ịkọ na nlele na tebụl ma enwere njehie ma ọ bụ na ọ bụghị. Ekwesịrị ịhazi iwu a ka ọ bụrụ script/koodu maka nkwenye na-esote.

Ịkwalite ogo data

Ọ gaghị ekwe omume ikpochapụ na mezie njehie niile nke echiche n'oge usoro ntinye data n'ime ụlọ nkwakọba ihe. Enwere ike nweta ezigbo ogo data naanị site na imekọ ihe ọnụ n'etiti ndị niile sonyere. Ndị na-abanye data n'ime sistemụ arụmọrụ kwesịrị ịmụta ihe omume na-eduga na njehie.

Ogo data bụ usoro. N'ụzọ dị mwute, ọtụtụ òtù enweghị atụmatụ maka nkwalite na-aga n'ihu. Ọtụtụ na-amachibido onwe ha naanị na ịchekwa data ma ghara iji ikike nyocha zuru oke nke sistemụ nyocha. Dịka, mgbe ị na-emepe ụlọ nkwakọba ihe data, 70-80% nke mmefu ego na-eji mejuputa ntinye data. Usoro nleba anya na nkwalite na-anọgide na-ezughị ezu, ma ọ bụrụ na ọ bụla.

Ngwaọrụ

Ojiji ngwa ngwa nwere ike inye aka na usoro nke imeziwanye ogo data na nleba anya. Dị ka ihe atụ, ha nwere ike n'ụzọ zuru ezu akpaghị aka na oru nkwenye nke nchekwa owuwu: ubi format, ọnụnọ nke ndabara ụkpụrụ, nnabata na tebụl ubi aha.

Ọ nwere ike isiri gị ike ịlele ọdịnaya. Ka ihe nchekwa chọrọ na-agbanwe, nkọwa nke data nwekwara ike ịgbanwe. Ngwá ọrụ n'onwe ya nwere ike ịghọ nnukwu ọrụ nke chọrọ nkwado.

Ntughari

Ebe nchekwa data mmekọrịta, nke a na-ahazikarị ụlọ ahịa, nwere ikike dị egwu imepụta echiche. Enwere ike iji ha na-enyocha data ngwa ngwa ma ọ bụrụ na ị maara nkọwa nke ọdịnaya. Enwere ike ịdekọ ikpe ọ bụla nke ịchọta njehie ma ọ bụ nsogbu na data n'ụdị ajụjụ nchekwa data.

N'ụzọ dị otú a, a ga-emepụta ntọala ihe ọmụma banyere ọdịnaya. N'ezie, arịrịọ ndị dị otú ahụ ga-adị ngwa ngwa. Nlele na-achọkarị obere oge mmadụ iji dobe karịa ngwaọrụ ndị dabere na tebụl. Echiche dị njikere mgbe niile iji gosipụta nsonaazụ nke ule ahụ.
N'ihe gbasara akụkọ dị mkpa, nlele ahụ nwere ike ịnwe kọlụm ya na onye nnata. Ọ bụ ihe ezi uche dị na ya iji otu ngwaọrụ BI iji kọọ akụkọ banyere ogo data dị na ụlọ nkwakọba ihe.

Ihe nlele:

Edere ajụjụ a maka nchekwa data Oracle. N'ihe atụ a, ule na-eweghachite uru ọnụọgụgụ enwere ike ịtụgharị dịka achọrọ. Enwere ike iji ụkpụrụ T_MIN na T_MAX dozie ọkwa mkpu. A na-eji ubi REPORT mee ihe n'otu oge dị ka ozi na ngwaahịa ETL azụmahịa nke na-amaghị otú e si ezipụ ozi ịntanetị nke ọma, ya mere rpad bụ "crutch".

N'ihe banyere tebụl buru ibu, ị nwere ike ịgbakwunye, dịka ọmụmaatụ, NA ROWNUM <= 10, i.e. ọ bụrụ na e nwere 10 njehie, mgbe ahụ, nke a zuru ezu ime ka mkpu.

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Count of blanks' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- not default value
  AND ATTRIBUTE IS NULL ); -- count blanks

Akwụkwọ ahụ na-eji ihe ndị sitere na akwụkwọ ahụ
Ronald Bachmann, Dr. Guido Kemper
Raus aus der BI-Falle
Wie Business ọgụgụ isi zum Erfolg wird


isi: www.habr.com

Tinye a comment