গুদামে ডেটা গুণমান

গুদামে ডেটার গুণমান মূল্যবান তথ্য পাওয়ার জন্য একটি গুরুত্বপূর্ণ পূর্বশর্ত। দরিদ্র মানের দীর্ঘমেয়াদে একটি নেতিবাচক চেইন প্রতিক্রিয়া বাড়ে।
প্রথমত, প্রদত্ত তথ্যের উপর আস্থা হারিয়ে যায়। লোকেরা বিজনেস ইন্টেলিজেন্স অ্যাপ্লিকেশনগুলি কম ব্যবহার করতে শুরু করেছে; অ্যাপ্লিকেশনগুলির সম্ভাবনা দাবি করা হয়নি।
ফলস্বরূপ, বিশ্লেষণমূলক প্রকল্পে আরও বিনিয়োগকে প্রশ্নবিদ্ধ করা হয়েছে।

ডেটা মানের জন্য দায়িত্ব

BI প্রকল্পগুলিতে ডেটা গুণমান উন্নত করার সাথে সম্পর্কিত দিকটি মেগা-গুরুত্বপূর্ণ। যাইহোক, এটি শুধুমাত্র প্রযুক্তিগত বিশেষজ্ঞদের বিশেষাধিকার নয়।
ডেটা গুণমান যেমন দিক দ্বারা প্রভাবিত হয়

সমিতিবদ্ধ সংস্কৃতি

• শ্রমিকরা কি ভালো মানের উৎপাদনে আগ্রহী?
• তা না হলে কেন নয়? স্বার্থের সংঘাত হতে পারে।
• হয়তো কর্পোরেট নিয়ম আছে যা নির্ধারণ করে যে মানের জন্য দায়ী কে?

প্রসেস

• এই চেইনের শেষে কী ডেটা তৈরি হয়?
• সম্ভবত অপারেটিং সিস্টেমগুলি এমনভাবে কনফিগার করা হয়েছে যে আপনাকে এই বা সেই পরিস্থিতিকে বাস্তবে প্রতিফলিত করতে "টুইস্ট" করতে হবে।
• অপারেটিং সিস্টেমগুলি কি নিজেরাই ডেটা যাচাইকরণ এবং পুনর্মিলন সম্পাদন করে?

সংস্থার প্রত্যেকেই রিপোর্টিং সিস্টেমে ডেটার মানের জন্য দায়ী।

সংজ্ঞা এবং অর্থ

গুণমান হল গ্রাহকের প্রত্যাশার প্রমাণিত সন্তুষ্টি।

কিন্তু ডেটা মানের একটি সংজ্ঞা থাকে না। এটি সর্বদা ব্যবহারের প্রসঙ্গ প্রতিফলিত করে। ডেটা গুদাম এবং BI সিস্টেম যে অপারেটিং সিস্টেম থেকে ডেটা আসে তার চেয়ে ভিন্ন উদ্দেশ্য পরিবেশন করে।

উদাহরণস্বরূপ, একটি অপারেটিং সিস্টেমে, গ্রাহক বৈশিষ্ট্য একটি ঐচ্ছিক ক্ষেত্র হতে পারে। সংগ্রহস্থলে, এই বৈশিষ্ট্যটি একটি মাত্রা হিসাবে ব্যবহার করা যেতে পারে এবং এটি পূরণ করা প্রয়োজন। যা, ঘুরে, ডিফল্ট মান পূরণ করার প্রয়োজনীয়তার পরিচয় দেয়।

ডেটা স্টোরেজ প্রয়োজনীয়তা ক্রমাগত পরিবর্তিত হয় এবং সেগুলি সাধারণত অপারেটিং সিস্টেমের চেয়ে বেশি হয়। কিন্তু এটি অন্যভাবেও হতে পারে, যখন স্টোরেজে অপারেটিং সিস্টেম থেকে বিস্তারিত তথ্য সংরক্ষণ করার প্রয়োজন নেই।

ডেটা গুণমান পরিমাপযোগ্য করতে, এর মানগুলি অবশ্যই বর্ণনা করা উচিত। যারা তাদের কাজের জন্য তথ্য এবং পরিসংখ্যান ব্যবহার করে তাদের অবশ্যই বর্ণনা প্রক্রিয়ার সাথে জড়িত থাকতে হবে। এই সম্পৃক্ততার ফলাফল একটি নিয়ম হতে পারে, যা অনুসরণ করে কেউ টেবিলে এক নজরে বলতে পারে কোন ত্রুটি আছে কিনা। পরবর্তী যাচাইকরণের জন্য এই নিয়মটিকে অবশ্যই একটি স্ক্রিপ্ট/কোড হিসাবে ফর্ম্যাট করতে হবে৷

ডেটা গুণমান উন্নত করা

গুদামে ডেটা লোড করার প্রক্রিয়া চলাকালীন সমস্ত অনুমানগত ত্রুটিগুলি পরিষ্কার করা এবং সংশোধন করা অসম্ভব। ভাল ডেটা গুণমান শুধুমাত্র সমস্ত অংশগ্রহণকারীদের মধ্যে ঘনিষ্ঠ সহযোগিতার মাধ্যমে অর্জন করা যেতে পারে। যারা অপারেটিং সিস্টেমে ডেটা প্রবেশ করে তাদের শিখতে হবে কোন ক্রিয়াগুলি ত্রুটির দিকে নিয়ে যায়।

ডেটা গুণমান একটি প্রক্রিয়া। দুর্ভাগ্যবশত, অনেক প্রতিষ্ঠানের ক্রমাগত উন্নতির জন্য একটি কৌশল নেই। অনেকে নিজেদেরকে শুধুমাত্র তথ্য সংরক্ষণের মধ্যে সীমাবদ্ধ রাখে এবং বিশ্লেষণাত্মক সিস্টেমের সম্পূর্ণ সম্ভাবনা ব্যবহার করে না। সাধারণত, ডেটা গুদাম তৈরি করার সময়, বাজেটের 70-80% ডেটা ইন্টিগ্রেশন বাস্তবায়নে ব্যয় করা হয়। মনিটরিং এবং উন্নতি প্রক্রিয়া অসম্পূর্ণ থেকে যায়, যদি সব.

যন্ত্র

সফ্টওয়্যার সরঞ্জামগুলির ব্যবহার স্বয়ংক্রিয়ভাবে ডেটা মানের উন্নতি এবং পর্যবেক্ষণ প্রক্রিয়ায় সহায়তা করতে পারে। উদাহরণস্বরূপ, তারা স্টোরেজ কাঠামোর প্রযুক্তিগত যাচাইকরণ সম্পূর্ণরূপে স্বয়ংক্রিয় করতে পারে: ক্ষেত্র বিন্যাস, ডিফল্ট মানগুলির উপস্থিতি, টেবিল ক্ষেত্রের নামগুলির সাথে সম্মতি।

বিষয়বস্তু পরীক্ষা করা আরও কঠিন হতে পারে। স্টোরেজ প্রয়োজনীয়তা পরিবর্তিত হওয়ার সাথে সাথে ডেটার ব্যাখ্যাও পরিবর্তিত হতে পারে। টুল নিজেই একটি বিশাল প্রকল্প হয়ে যেতে পারে যার জন্য সমর্থন প্রয়োজন।

কাউন্সিল

রিলেশনাল ডাটাবেস, যেখানে দোকানগুলি সাধারণত ডিজাইন করা হয়, তাদের ভিউ তৈরি করার অসাধারণ ক্ষমতা থাকে। আপনি যদি বিষয়বস্তুর সুনির্দিষ্টতা জানেন তবে তারা দ্রুত ডেটা পরীক্ষা করতে ব্যবহার করা যেতে পারে। ডেটাতে একটি ত্রুটি বা সমস্যা খোঁজার প্রতিটি ক্ষেত্রে একটি ডাটাবেস ক্যোয়ারী আকারে রেকর্ড করা যেতে পারে।

এইভাবে, বিষয়বস্তু সম্পর্কে একটি জ্ঞান ভিত্তি গঠিত হবে। অবশ্যই, এই ধরনের অনুরোধ দ্রুত হতে হবে। সারণি-ভিত্তিক সরঞ্জামগুলির তুলনায় দৃশ্যগুলি রক্ষণাবেক্ষণের জন্য সাধারণত কম মানুষের সময় প্রয়োজন। ভিউ সবসময় পরীক্ষার ফলাফল প্রদর্শন করতে প্রস্তুত.
গুরুত্বপূর্ণ রিপোর্টের ক্ষেত্রে, ভিউতে প্রাপকের সাথে একটি কলাম থাকতে পারে। গুদামে ডেটা মানের অবস্থা সম্পর্কে রিপোর্ট করতে একই BI সরঞ্জামগুলি ব্যবহার করা বোধগম্য।

উদাহরণ

প্রশ্নটি ওরাকল ডাটাবেসের জন্য লেখা হয়েছিল। এই উদাহরণে, পরীক্ষাগুলি একটি সংখ্যাসূচক মান প্রদান করে যা পছন্দসই হিসাবে ব্যাখ্যা করা যেতে পারে। T_MIN এবং T_MAX মানগুলি অ্যালার্ম স্তর সামঞ্জস্য করতে ব্যবহার করা যেতে পারে। রিপোর্ট ক্ষেত্রটি একবার একটি বাণিজ্যিক ETL পণ্যে একটি বার্তা হিসাবে ব্যবহৃত হয়েছিল যা সঠিকভাবে কীভাবে ইমেল পাঠাতে হয় তা জানত না, তাই rpad একটি "ক্র্যাচ"।

একটি বড় টেবিলের ক্ষেত্রে, আপনি যোগ করতে পারেন, উদাহরণস্বরূপ, AND ROWNUM <= 10, i.e. যদি 10 টি ত্রুটি থাকে, তবে এটি বিপদজনক হওয়ার জন্য যথেষ্ট।

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Count of blanks' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- not default value
  AND ATTRIBUTE IS NULL ); -- count blanks

প্রকাশনা বই থেকে উপকরণ ব্যবহার করে
রোনাল্ড বাচম্যান, ড. গুইডো কেম্পার
রাউস আউস ডের বিআই-ফলে
ব্যবসায়িক বুদ্ধিমত্তা zum Erfolg wird

উত্স: www.habr.com