Качеството на данните в хранилището е важна предпоставка за получаване на ценна информация. Лошото качество води до негативна верижна реакция в дългосрочен план.
Първо, доверието в предоставената информация се губи. Хората започват да използват по-малко приложения за бизнес интелигентност, потенциалът на приложенията остава неизползван.
В резултат на това се поставя под въпрос бъдещето на инвестициите в аналитичния проект.
Отговорността за качеството на данните
Аспектът на подобряване на качеството на данните е изключително важен в проектите за бизнес интелигентност. Въпреки това, той не е привилегия само на техническите специалисти.
Влияние върху качеството на данните оказват и следните аспекти:
Корпоративната култура
- Интересуват ли се самите служители от производството на добро качество?
- Ако не, защо? Може да има конфликт на интереси.
- Има ли корпоративни правила, които определят отговорните за качеството?
Процеси
- Какви данни се генерират в края на тези вериги?
- Може би оперативните системи са настроени така, че е необходимо да се "извиваш", за да отразиш определена ситуация в реалността.
- Извършват ли оперативните системи сами проверка и сверка на данните?
За качеството на данните в отчетните системи отговарят всички в организацията.
Определение и значение
Качеството е потвърдено удовлетворение на клиентските очаквания.
Но качеството на данните не съдържа в себе си определение. То винаги отразява контекста на използването. Хранилището на данни и системата за бизнес интелигентност изпълняват различни цели в сравнение с оперативната система, от която са взети данните.
Например, в оперативната система атрибутът на клиента може да бъде незадължително поле. В хранилището този атрибут може да се използва като мярка и попълването му е задължително. Това, от своя страна, въвежда необходимостта от попълване със стойности по подразбиране.
Изискванията към хранилището на данни постоянно се променят и обикновено са по-високи, отколкото към оперативните системи. Но може да е и обратното, когато в хранилището не е необходимо да се съхранява подробна информация от оперативната система.
За да се направи качеството на данните измеримо, трябва да бъдат описани стандартите му. Хората, които използват информация и числа за своята работа, трябва да бъдат ангажирани в процеса на описание. Резултатът от това участие може да бъде правило, следвайки което може от един поглед върху таблицата да се каже дали има грешка или не. Това правило трябва да бъде представено под формата на скрипт/код за последваща верификация.
Подобряване на качеството на данните
Невъзможно е да се почистят и коригират всички хипотетични грешки по време на зареждането на данни в хранилището. Добро качество на данните може да се постигне само в процеса на тясно сътрудничество на всички участници. Хората, които въвеждат данни в оперативни системи, трябва да разберат какви действия водят до грешки.
Качеството на данните е процес. За съжаление, в много организации липсва стратегия за неговото постоянно подобряване. Много от тях се ограничават само до съхранение на данните и не използват целия потенциал на аналитичните системи. Като правило, при разработването на хранилища за данни 70-80% от бюджета отива за реализиране на интеграцията на данни. Процесът на контрол и подобряване остава недовършен, ако изобщо остане.
Инструменти
Прилагането на софтуерни инструменти може да помогне в процеса на автоматизация на подобряване и мониторинг на качеството на данните. Например, с тях може напълно автоматично да се извърши техническа проверка на структурите на хранилището: формат на полета, наличие на стойности по подразбиране, съответствие с изискванията за имената на полетата в таблиците.
По-сложно може да бъде с проверката на съдържанието. Тъй като изискванията към хранилището се променят, може да се промени и интерпретацията на данните. Инструментът сам по себе си може да се превърне в огромен проект, изискващ поддръжка.
Съвет
Релационните бази данни, в които обикновено се проектират хранилищата, имат забележителната възможност да създават представления (вюшки). Те могат да се използват за бърза проверка на данните, ако се знаят особеностите на съдържанието. Всеки случай на откритие на грешка или проблем в данните може да бъде фиксиран под формата на запитване към базата данни.
По този начин ще се формира база знания за съдържанието. Разбира се, тези запитвания трябва да са бързи. Обикновено управлението на представленията отнема по-малко човешко време отколкото инструментите, организирани на таблици. Представлението винаги е готово да покаже резултата от проверката.
В случаите с важни отчети, представлението може да съдържа колона с адресат. Има смисъл същите средства на BI да бъдат използвани за отчитане на състоянието на качеството на данните в хранилището.
Пример
Запитването е написано за база Oracle. В този пример тестовете връщат числово значение, което може да бъде интерпретирано по необходимия начин. С помощта на T_MIN и T_MAX може да се регулира степента на тревога. Полето REPORT някога е било използвано като съобщение в търговски ETL продукт, който не е могъл да изпраща имейли адекватно, затова rpad – е «костил».
В случай на голяма таблица можете да добавите, например, AND ROWNUM <= 10, т.е. ако има 10 грешки, това е достатъчно за тревога.
CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
THEN 'OK' ELSE 'ERROR' END AS RESULT,
DESCRIPTION,
TABLE_NAME,
OUTPUT,
T_MIN,
T_MAX,
rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Тест сами
SELECT
'DIM_PRODUCT' AS TABLE_NAME,
'Броя на празните полета' AS DESCRIPTION,
COUNT(*) AS OUTPUT,
0 AS T_MIN,
10 AS T_MAX
FROM DIM_PRODUCT
WHERE DIM_PRODUCT_ID != -1 -- не е стандартна стойност
AND ATTRIBUTE IS NULL ); -- брои празни полета
В публикацията са използвани материали от книгата
Роналд Бахман, д-р Гуидо Кемпер
Излизане от BI капана
Как бизнес интелигентността стане успех
Източник: habr.com
