Кампадагы маалыматтардын сапаты баалуу маалыматты алуу үчүн маанилүү шарт болуп саналат. Начар сапат узак мөөнөттүү терс чынжыр реакциясына алып келет.
Биринчиден, берилген маалыматка болгон ишеним жоголот. Адамдар Business Intelligence тиркемелерин азыраак колдоно башташат;
Натыйжада, аналитикалык долбоорго андан аркы инвестициялоо суроо туулат.
Маалыматтын сапаты үчүн жоопкерчилик
Маалыматтын сапатын жакшыртууга байланыштуу аспект BI долбоорлорунда мега-маанилүү. Бирок бул бир гана техникалык адистердин сыймыгы эмес.
Берилиштердин сапатына ошондой эле аспектилер таасир этет
Корпоративдик маданият
- Сапаттуу продукция чыгарууга жумушчулардын озу кызыгабы?
- Эгерде жок болсо, анда эмне үчүн? Кызыкчылыктардын кагылышы болушу мүмкүн.
- Балким, сапат үчүн ким жооп берерин аныктаган корпоративдик эрежелер бардыр?
жараяндар
- Бул чынжырлардын аягында кандай маалыматтар түзүлөт?
- Мүмкүн, операциялык системалар тигил же бул кырдаалды чындыгында чагылдыруу үчүн "бурушуңуз" керек болуп конфигурациялангандыр.
- Операциялык системалар маалыматтарды текшерүүнү жана макулдашууну өздөрү аткарабы?
Уюмдагы ар бир адам отчеттук системалардагы маалыматтардын сапаты үчүн жооптуу.
Аныктама жана мааниси
Сапат - бул кардарлардын күтүүлөрүнүн далилденген канааттануусу.
Бирок маалымат сапаты аныктаманы камтыбайт. Ал ар дайым колдонуу контекстти чагылдырат. Берилиштер кампасы жана BI системасы маалыматтар келген операциялык системага караганда башка максаттарга кызмат кылат.
Мисалы, операциялык системада кардар атрибуту кошумча талаа болушу мүмкүн. Репозиторийде бул атрибут өлчөм катары колдонулушу мүмкүн жана аны толтуруу талап кылынат. Бул, өз кезегинде, демейки маанилерди толтуруу зарылдыгын киргизет.
Маалыматтарды сактоо талаптары дайыма өзгөрүп турат жана алар, адатта, операциялык системаларга караганда жогору. Бирок, операциялык тутумдан толук маалыматты сактоочу жайда сактоонун кереги жок болгондо, тескерисинче болушу мүмкүн.
Маалыматтын сапатын өлчөө үчүн, анын стандарттары сүрөттөлүшү керек. Сүрөттөө процессине өз иши үчүн маалыматты жана цифраларды колдонгон адамдар тартылышы керек. Бул катышуунун натыйжасы эреже болушу мүмкүн, ага ылайык, ката бар же жокпу, үстөлгө бир караганда эле биле алабыз. Бул эреже кийинки текшерүү үчүн скрипт/код катары форматталышы керек.
Берилиштердин сапатын жакшыртуу
Кампага маалыматтарды жүктөө процессинде бардык гипотетикалык каталарды тазалоо жана оңдоо мүмкүн эмес. Жакшы маалымат сапатына бардык катышуучулардын ортосундагы тыгыз кызматташуу аркылуу гана жетишүүгө болот. Операциялык системаларга маалыматтарды киргизген адамдар кандай аракеттер катага алып келерин билиши керек.
Маалыматтын сапаты - бул процесс. Тилекке каршы, көптөгөн уюмдарда үзгүлтүксүз өркүндөтүү стратегиясы жок. Көпчүлүгү маалыматтарды сактоо менен гана чектелип, аналитикалык системалардын толук мүмкүнчүлүктөрүн колдонушпайт. Адатта, маалымат кампаларын иштеп чыгууда бюджеттин 70-80% маалымат интеграциясын ишке ашырууга жумшалат. Мониторинг жана жакшыртуу процесси толук эмес бойдон калууда.
аспаптар
Программалык каражаттарды колдонуу маалыматтардын сапатын жакшыртуу жана мониторингди автоматташтыруу процессинде жардам берет. Мисалы, алар сактоо структураларынын техникалык текшерүүсүн толугу менен автоматташтыра алышат: талаа форматы, демейки маанилердин болушу, таблица талаасынын аталыштарына ылайыктуу.
Мазмунду текшерүү кыйыныраак болушу мүмкүн. Сактоо талаптары өзгөргөн сайын, маалыматтарды чечмелөө да өзгөрүшү мүмкүн. Курал өзү колдоону талап кылган чоң долбоор болуп калышы мүмкүн.
кеңеш
Дүкөндөр адатта иштелип чыккан реляциялык маалымат базалары көрүнүштөрдү жаратуу үчүн укмуштай жөндөмгө ээ. Эгер мазмундун өзгөчөлүктөрүн билсеңиз, алар маалыматтарды тез текшерүү үчүн колдонсо болот. Берилиштердеги катаны же көйгөйдү тапкан ар бир учур маалымат базасына суроо түрүндө жазылышы мүмкүн.
Ошентип, мазмун жөнүндө билим базасы түзүлөт. Албетте, мындай өтүнүчтөр тез болушу керек. Көрүүлөрдү тейлөө үчүн, адатта, столдун негизиндеги куралдарга караганда азыраак убакыт талап кылынат. Көрүнүш ар дайым тесттин жыйынтыгын көрсөтүүгө даяр.
Маанилүү отчеттордун учурда, көрүнүш алуучу менен тилкени камтышы мүмкүн. Кампадагы маалыматтардын сапатынын абалы жөнүндө отчет берүү үчүн ошол эле BI куралдарын колдонуу мааниси бар.
мисал
Сурам Oracle маалымат базасы үчүн жазылган. Бул мисалда, тесттер каалагандай чечмелене турган сандык маанини кайтарат. T_MIN жана T_MAX маанилери ойготкучтун деңгээлин тууралоо үчүн колдонулушу мүмкүн. Report талаасы бир жолу электрондук каттарды кантип туура жөнөтүүнү билбеген коммерциялык ETL продуктусунда билдирүү катары колдонулган, ошондуктан rpad "балдак" болуп саналат.
Чоң таблицада, мисалы, ЖАНА ROWNUM <= 10, б.а. 10 ката бар болсо, анда бул коңгуроо үчүн жетиштүү.
CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
THEN 'OK' ELSE 'ERROR' END AS RESULT,
DESCRIPTION,
TABLE_NAME,
OUTPUT,
T_MIN,
T_MAX,
rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
SELECT
'DIM_PRODUCT' AS TABLE_NAME,
'Count of blanks' AS DESCRIPTION,
COUNT(*) AS OUTPUT,
0 AS T_MIN,
10 AS T_MAX
FROM DIM_PRODUCT
WHERE DIM_PRODUCT_ID != -1 -- not default value
AND ATTRIBUTE IS NULL ); -- count blanks
Басылмада китептин материалдары колдонулат
Рональд Бахман, Dr. Гуидо Кемпер
Raus aus der BI-Falle
Wie Business Intelligence zum Erfolg wird
Source: www.habr.com