მონაცემთა ხარისხი საწყობში

საწყობში არსებული მონაცემების ხარისხი მნიშვნელოვანი წინაპირობაა ღირებული ინფორმაციის მისაღებად. ცუდი ხარისხი იწვევს უარყოფით ჯაჭვურ რეაქციას გრძელვადიან პერსპექტივაში.
პირველ რიგში, იკარგება ნდობა მოწოდებული ინფორმაციის მიმართ. ადამიანები იწყებენ Business Intelligence აპლიკაციების ნაკლებად გამოყენებას.
შედეგად, კითხვის ნიშნის ქვეშ დგება შემდგომი ინვესტიციები ანალიტიკურ პროექტში.

პასუხისმგებლობა მონაცემთა ხარისხზე

მონაცემთა ხარისხის გაუმჯობესებასთან დაკავშირებული ასპექტი მეგა-მნიშვნელოვანია BI პროექტებში. თუმცა, ეს არ არის მხოლოდ ტექნიკური სპეციალისტების პრივილეგია.
მონაცემთა ხარისხზე ასევე გავლენას ახდენს ისეთი ასპექტები, როგორიცაა

კორპორატიული კულტურა

• თავად მუშები დაინტერესებულნი არიან კარგი ხარისხის პროდუქციით?
• თუ არა, რატომაც არა? შეიძლება იყოს ინტერესთა კონფლიქტი.
• იქნებ არის კორპორატიული წესები, რომლებიც განსაზღვრავს ვინ არის პასუხისმგებელი ხარისხზე?

Процессы

• რა მონაცემები იქმნება ამ ჯაჭვების ბოლოს?
• შესაძლოა, ოპერაციული სისტემები ისეა კონფიგურირებული, რომ თქვენ უნდა „გადატრიალდეთ“ ამა თუ იმ სიტუაციის რეალობაში ასახვისთვის.
• ოპერაციული სისტემები თავად ახორციელებენ მონაცემთა გადამოწმებას და შეჯერებას?

ორგანიზაციაში ყველა პასუხისმგებელია საანგარიშო სისტემებში მონაცემთა ხარისხზე.

განმარტება და მნიშვნელობა

ხარისხი არის მომხმარებლის მოლოდინების დადასტურებული დაკმაყოფილება.

მაგრამ მონაცემთა ხარისხი არ შეიცავს განმარტებას. ის ყოველთვის ასახავს გამოყენების კონტექსტს. მონაცემთა საწყობი და BI სისტემა ემსახურება განსხვავებულ მიზნებს, ვიდრე ოპერაციული სისტემა, საიდანაც მონაცემები მოდის.

მაგალითად, ოპერაციულ სისტემაზე კლიენტის ატრიბუტი შეიძლება იყოს არასავალდებულო ველი. საცავში ეს ატრიბუტი შეიძლება გამოყენებულ იქნას განზომილებად და მისი შევსებაა საჭირო. რაც, თავის მხრივ, იწვევს ნაგულისხმევი მნიშვნელობების შევსების აუცილებლობას.

მონაცემთა შენახვის მოთხოვნები მუდმივად იცვლება და ისინი ჩვეულებრივ უფრო მაღალია ვიდრე ოპერაციული სისტემებისთვის. მაგრამ ეს შეიძლება იყოს პირიქითაც, როდესაც არ არის საჭირო ოპერაციული სისტემის დეტალური ინფორმაციის შენახვა საცავში.

მონაცემთა ხარისხის გასაზომად, მისი სტანდარტები უნდა იყოს აღწერილი. ადამიანები, რომლებიც იყენებენ ინფორმაციას და ფიგურებს თავიანთი სამუშაოსთვის, უნდა ჩაერთონ აღწერის პროცესში. ამ ჩართულობის შედეგი შეიძლება იყოს წესი, რომლის დაცვით ცხრილის ერთი შეხედვით შეიძლება გაიგოთ, არის თუ არა შეცდომა. ეს წესი უნდა იყოს ფორმატირებული, როგორც სკრიპტი/კოდი შემდგომი გადამოწმებისთვის.

მონაცემთა ხარისხის გაუმჯობესება

შეუძლებელია ყველა ჰიპოთეტური შეცდომის გასუფთავება და გამოსწორება საწყობში მონაცემების ჩატვირთვის პროცესში. მონაცემთა კარგი ხარისხის მიღწევა შესაძლებელია მხოლოდ ყველა მონაწილეს შორის მჭიდრო თანამშრომლობით. ადამიანებმა, რომლებიც შეაქვთ მონაცემები ოპერაციულ სისტემებში, უნდა გაიგონ, თუ რა ქმედებები იწვევს შეცდომებს.

მონაცემთა ხარისხი არის პროცესი. სამწუხაროდ, ბევრ ორგანიზაციას არ აქვს მუდმივი გაუმჯობესების სტრატეგია. ბევრი შემოიფარგლება მხოლოდ მონაცემების შენახვით და არ იყენებს ანალიტიკური სისტემების სრულ პოტენციალს. როგორც წესი, მონაცემთა საწყობების განვითარებისას, ბიუჯეტის 70-80% იხარჯება მონაცემთა ინტეგრაციის განხორციელებაზე. მონიტორინგისა და გაუმჯობესების პროცესი რჩება არასრული, თუ საერთოდ.

ინსტრუმენტები

პროგრამული უზრუნველყოფის ინსტრუმენტების გამოყენებას შეუძლია დაეხმაროს მონაცემთა ხარისხის გაუმჯობესებისა და მონიტორინგის ავტომატიზაციის პროცესში. მაგალითად, მათ შეუძლიათ საცავის სტრუქტურების ტექნიკური გადამოწმების სრული ავტომატიზაცია: ველის ფორმატი, ნაგულისხმევი მნიშვნელობების არსებობა, ცხრილის ველების სახელებთან შესაბამისობა.

შეიძლება უფრო რთული იყოს შინაარსის შემოწმება. როგორც შენახვის მოთხოვნები იცვლება, ასევე შეიძლება შეიცვალოს მონაცემთა ინტერპრეტაცია. თავად ინსტრუმენტი შეიძლება გახდეს უზარმაზარი პროექტი, რომელიც მოითხოვს მხარდაჭერას.

რჩევები

რელატიურ მონაცემთა ბაზებს, რომლებშიც მაღაზიები, როგორც წესი, შექმნილია, აქვთ ხედების შექმნის შესანიშნავი უნარი. მათი გამოყენება შესაძლებელია მონაცემთა სწრაფად შესამოწმებლად, თუ იცით შინაარსის სპეციფიკა. მონაცემებში შეცდომის ან პრობლემის აღმოჩენის თითოეული შემთხვევა შეიძლება ჩაიწეროს მონაცემთა ბაზის მოთხოვნის სახით.

ამ გზით ჩამოყალიბდება ცოდნის ბაზა შინაარსის შესახებ. რა თქმა უნდა, ასეთი მოთხოვნები უნდა იყოს სწრაფი. ხედებს, როგორც წესი, ნაკლები ადამიანის დრო სჭირდება შესანახად, ვიდრე მაგიდაზე დაფუძნებულ ხელსაწყოებს. ხედი ყოველთვის მზად არის ტესტის შედეგის საჩვენებლად.
მნიშვნელოვანი მოხსენებების შემთხვევაში, ხედი შეიძლება შეიცავდეს სვეტს მიმღებთან. აზრი აქვს იგივე BI ინსტრუმენტების გამოყენებას საწყობში მონაცემთა ხარისხის მდგომარეობის შესახებ მოხსენებისთვის.

მაგალითი

მოთხოვნა დაიწერა Oracle-ის მონაცემთა ბაზისთვის. ამ მაგალითში ტესტები აბრუნებენ ციფრულ მნიშვნელობას, რომლის ინტერპრეტაცია შესაძლებელია როგორც სასურველი. T_MIN და T_MAX მნიშვნელობები შეიძლება გამოყენებულ იქნას განგაშის დონის დასარეგულირებლად. REPORT ველი ოდესღაც გამოიყენებოდა როგორც შეტყობინება კომერციულ ETL პროდუქტში, რომელმაც არ იცოდა ელ.ფოსტის სწორად გაგზავნა, ამიტომ rpad არის „ყავარჯენი“.

დიდი ცხრილის შემთხვევაში, შეგიძლიათ დაამატოთ, მაგალითად, AND ROWNUM <= 10, ე.ი. თუ არის 10 შეცდომა, მაშინ ეს საკმარისია განგაშის გამოსაწვევად.

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Count of blanks' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- not default value
  AND ATTRIBUTE IS NULL ); -- count blanks

გამოცემა იყენებს მასალებს წიგნიდან
რონალდ ბახმანი, დოქტორი. გვიდო კემპერი
Raus aus der BI-Falle
Wie Business Intelligence zum Erfolg wird

წყარო: www.habr.com