Anbardakı məlumatların keyfiyyəti qiymətli məlumatların əldə edilməsi üçün vacib şərtdir. Zəif keyfiyyət uzun müddətdə mənfi zəncirvari reaksiyaya səbəb olur.
Birincisi, verilən məlumata inam itir. İnsanlar Business Intelligence proqramlarından daha az istifadə etməyə başlayırlar; tətbiqlərin potensialı iddiasız olaraq qalır.
Nəticədə analitik layihəyə əlavə investisiya qoyuluşu sual altındadır.
Məlumatın keyfiyyətinə görə məsuliyyət
Məlumatların keyfiyyətinin yaxşılaşdırılması ilə bağlı aspekt BI layihələrində çox vacibdir. Ancaq bu, təkcə texniki mütəxəssislərin imtiyazı deyil.
kimi aspektlər də məlumatların keyfiyyətinə təsir göstərir
Korporativ mədəniyyət
- İşçilər özləri keyfiyyətli məhsul istehsal etməkdə maraqlıdırlarmı?
- Əgər yoxsa, niyə də olmasın? Maraqlar toqquşması ola bilər.
- Bəlkə keyfiyyətə kimin cavabdeh olduğunu müəyyən edən korporativ qaydalar var?
Proseslər
- Bu zəncirlərin sonunda hansı məlumatlar yaradılır?
- Ola bilsin ki, əməliyyat sistemləri elə konfiqurasiya edilib ki, bu və ya digər vəziyyəti reallıqda əks etdirmək üçün “burulmaq” lazımdır.
- Əməliyyat sistemləri məlumatların yoxlanılması və uyğunlaşdırılmasını özləri həyata keçirirmi?
Təşkilatdakı hər kəs hesabat sistemlərində məlumatların keyfiyyətinə cavabdehdir.
Tərif və məna
Keyfiyyət müştəri gözləntilərinin sübut edilmiş məmnuniyyətidir.
Lakin məlumatların keyfiyyətində tərif yoxdur. Həmişə istifadə kontekstini əks etdirir. Məlumat anbarı və BI sistemi məlumatların gəldiyi əməliyyat sistemindən fərqli məqsədlərə xidmət edir.
Məsələn, əməliyyat sistemində müştəri atributu isteğe bağlı sahə ola bilər. Repozitoriyada bu atribut ölçü kimi istifadə edilə bilər və onun doldurulması tələb olunur. Bu, öz növbəsində, standart dəyərləri doldurmaq ehtiyacını təqdim edir.
Məlumatların saxlanması tələbləri daim dəyişir və adətən əməliyyat sistemləri üçün tələblərdən daha yüksəkdir. Ancaq əməliyyat sistemindən ətraflı məlumatı yaddaşda saxlamağa ehtiyac olmadığı zaman, əksinə də ola bilər.
Məlumatın keyfiyyətini ölçülə bilən etmək üçün onun standartları təsvir edilməlidir. Təsvir prosesinə öz işi üçün məlumat və rəqəmlərdən istifadə edən insanlar cəlb edilməlidir. Bu iştirakın nəticəsi bir qayda ola bilər ki, ona görə də masaya bir baxışda səhv olub-olmadığını müəyyən etmək olar. Bu qayda sonrakı yoxlama üçün skript/kod kimi formatlaşdırılmalıdır.
Məlumat keyfiyyətinin yaxşılaşdırılması
Məlumatların anbara yüklənməsi prosesi zamanı bütün hipotetik səhvləri təmizləmək və düzəltmək mümkün deyil. Yaxşı məlumat keyfiyyətinə yalnız bütün iştirakçılar arasında sıx əməkdaşlıq yolu ilə nail olmaq olar. Əməliyyat sistemlərinə məlumat daxil edən insanlar hansı hərəkətlərin səhvlərə səbəb olduğunu öyrənməlidirlər.
Məlumatın keyfiyyəti bir prosesdir. Təəssüf ki, bir çox təşkilatların davamlı təkmilləşdirmə strategiyası yoxdur. Çoxları özlərini yalnız məlumatların saxlanması ilə məhdudlaşdırır və analitik sistemlərin bütün potensialından istifadə etmirlər. Tipik olaraq, məlumat anbarlarını inkişaf etdirərkən, büdcənin 70-80% -i məlumat inteqrasiyasının həyata keçirilməsinə sərf olunur. Monitorinq və təkmilləşdirmə prosesi, əgər heç olmasa, natamam olaraq qalır.
Tools
Proqram vasitələrinin istifadəsi məlumatların keyfiyyətinin yaxşılaşdırılması və monitorinqinin avtomatlaşdırılması prosesində kömək edə bilər. Məsələn, onlar saxlama strukturlarının texniki yoxlanışını tam avtomatlaşdıra bilərlər: sahə formatı, standart dəyərlərin olması, cədvəl sahə adlarına uyğunluq.
Məzmunu yoxlamaq daha çətin ola bilər. Saxlama tələbləri dəyişdikcə məlumatların təfsiri də dəyişə bilər. Alətin özü dəstək tələb edən böyük bir layihəyə çevrilə bilər.
şura
Mağazaların adətən dizayn edildiyi əlaqəli verilənlər bazaları görünüş yaratmaq üçün əla qabiliyyətə malikdir. Məzmunun xüsusiyyətlərini bilirsinizsə, məlumatları tez yoxlamaq üçün istifadə edilə bilər. Məlumatlarda səhv və ya problemin tapılmasının hər bir halı verilənlər bazası sorğusu şəklində qeyd edilə bilər.
Bu yolla məzmun haqqında bilik bazası formalaşacaq. Təbii ki, bu cür müraciətlər sürətli olmalıdır. Baxışların saxlanması üçün adətən cədvəl əsaslı alətlərdən daha az insan vaxtı tələb olunur. Görünüş həmişə testin nəticəsini göstərməyə hazırdır.
Mühüm hesabatlar olduqda, görünüşdə alıcı ilə bir sütun ola bilər. Anbarda məlumatların keyfiyyətinin vəziyyəti haqqında hesabat vermək üçün eyni BI alətlərindən istifadə etmək məntiqlidir.
Misal
Sorğu Oracle verilənlər bazası üçün yazılmışdır. Bu nümunədə, testlər istədiyiniz kimi şərh oluna bilən rəqəmli dəyər qaytarır. T_MIN və T_MAX dəyərləri həyəcan səviyyəsini tənzimləmək üçün istifadə edilə bilər. HESABAT sahəsi bir dəfə e-poçtların necə düzgün göndəriləcəyini bilməyən kommersiya ETL məhsulunda mesaj kimi istifadə edilmişdir, buna görə də rpad “köpək” dir.
Böyük bir cədvəl vəziyyətində, məsələn, AND ROWNUM <= 10 əlavə edə bilərsiniz, yəni. 10 səhv varsa, bu, həyəcan yaratmaq üçün kifayətdir.
CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
THEN 'OK' ELSE 'ERROR' END AS RESULT,
DESCRIPTION,
TABLE_NAME,
OUTPUT,
T_MIN,
T_MAX,
rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
SELECT
'DIM_PRODUCT' AS TABLE_NAME,
'Count of blanks' AS DESCRIPTION,
COUNT(*) AS OUTPUT,
0 AS T_MIN,
10 AS T_MAX
FROM DIM_PRODUCT
WHERE DIM_PRODUCT_ID != -1 -- not default value
AND ATTRIBUTE IS NULL ); -- count blanks
Nəşr kitabdakı materiallardan istifadə edir
Ronald Baxman, Dr. Guido Kemper
Raus aus der BI-Falle
Erfolg üçün Biznes Kəşfiyyatı
Mənbə: www.habr.com