ডেটা ভল্টের বিকাশ এবং বিজনেস ডেটা ভল্টে রূপান্তর

পূর্ববর্তী নিবন্ধে, আমি ডেটা ভল্টের মূল বিষয়গুলি সম্পর্কে কথা বলেছিলাম, ডেটা ভল্টের প্রধান উপাদানগুলি এবং তাদের উদ্দেশ্যগুলি বর্ণনা করেছি৷ এই মুহুর্তে, ডেটা ভল্টের বিষয়টি নিঃশেষিত বলে মনে করা যায় না, ডেটা ভল্টের বিবর্তনের পরবর্তী পদক্ষেপগুলি সম্পর্কে কথা বলা প্রয়োজন।

এবং এই নিবন্ধে, আমি ডেটা ভল্টের বিকাশ এবং বিজনেস ডেটা ভল্ট বা সহজভাবে বিজনেস ভল্টে রূপান্তরের উপর ফোকাস করব।

BUSINESS DATA VAULT এর উত্থানের কারণ

এটি লক্ষ করা উচিত যে ডেটা ভল্টের নির্দিষ্ট শক্তি রয়েছে, এর ত্রুটিগুলি ছাড়া নয়। এই ত্রুটিগুলির মধ্যে একটি হল বিশ্লেষণাত্মক প্রশ্ন লেখার অসুবিধা। ক্যোয়ারীতে উল্লেখযোগ্য সংখ্যক JOIN আছে, কোডটি দীর্ঘ এবং কষ্টকর। এছাড়াও, ডেটা ভল্টে যে ডেটা প্রবেশ করে তা কোনও রূপান্তর সাপেক্ষে নয়, তাই ব্যবসায়িক দৃষ্টিকোণ থেকে, ডেটা ভল্টের বিশুদ্ধ আকারে কোনও শর্তহীন মান নেই।

এই ত্রুটিগুলি দূর করার জন্য ডেটা ভল্ট পদ্ধতিটি এই জাতীয় উপাদানগুলির সাথে প্রসারিত করা হয়েছিল:

• PIT (সময় বিন্দু) টেবিল;
• ব্রিজ টেবিল;
• পূর্বনির্ধারিত ডেরিভেশন।

আসুন এই উপাদানগুলির উদ্দেশ্য ঘনিষ্ঠভাবে দেখুন।

পিআইটি টেবিল

একটি নিয়ম হিসাবে, একটি ব্যবসায়িক অবজেক্টে (হাব) বিভিন্ন আপডেট রেট সহ ডেটা থাকতে পারে, উদাহরণস্বরূপ, যদি আমরা কোনও ব্যক্তির বৈশিষ্ট্যযুক্ত ডেটা সম্পর্কে কথা বলি তবে আমরা বলতে পারি যে একটি ফোন নম্বর, ঠিকানা বা ইমেল সম্পর্কিত তথ্যের আপডেটের হার বেশি। বলুন, পুরো নাম, পাসপোর্টের বিবরণ, বৈবাহিক অবস্থা বা লিঙ্গ।

অতএব, স্যাটেলাইট নির্ধারণ করার সময়, তাদের পুনর্নবীকরণের ফ্রিকোয়েন্সি মাথায় রাখা উচিত। এটা কেন গুরুত্বপূর্ণ?

আপনি যদি একই টেবিলে বিভিন্ন আপডেট রেট সহ অ্যাট্রিবিউটগুলি সঞ্চয় করেন, তাহলে প্রতিবার সর্বাধিক পরিবর্তিত অ্যাট্রিবিউট আপডেট করার সময় আপনাকে টেবিলে একটি সারি যোগ করতে হবে। ফলস্বরূপ, ডিস্কের স্থানের পরিমাণ বৃদ্ধি পায়, অনুরোধগুলির কার্যকর করার সময় বৃদ্ধি পায়।

এখন যেহেতু আমরা স্যাটেলাইটগুলিকে আপডেট রেট দ্বারা আলাদা করেছি, এবং আমরা স্বাধীনভাবে ডেটা লোড করতে পারি, আমাদের নিশ্চিত করতে হবে যে আমরা আপ-টু-ডেট ডেটা পেতে পারি। অপ্রয়োজনীয় JOIN ব্যবহার না করেই ভালো।

আমাকে ব্যাখ্যা করা যাক, উদাহরণস্বরূপ, আপনাকে বিভিন্ন আপডেট রেট সহ স্যাটেলাইট থেকে আপ-টু-ডেট (শেষ আপডেটের তারিখের মধ্যে) তথ্য পেতে হবে। এটি করার জন্য, আপনাকে শুধুমাত্র একটি যোগদান করতে হবে না, তবে সর্বাধিক আপডেট তারিখ MAX (আপডেট তারিখ) বেছে নিয়ে একাধিক নেস্টেড কোয়েরি (তথ্য ধারণকারী প্রতিটি স্যাটেলাইটের জন্য) তৈরি করতে হবে। প্রতিটি নতুন যোগদানের সাথে, এই ধরনের কোড বৃদ্ধি পায় এবং খুব দ্রুত বোঝা কঠিন হয়ে পড়ে।

পিআইটি টেবিলটি এই ধরনের প্রশ্নগুলিকে সহজ করার জন্য ডিজাইন করা হয়েছে, পিআইটি টেবিলগুলি ডেটা ভল্টে নতুন ডেটা লেখার সাথে একযোগে পূর্ণ হয়। পিআইটি টেবিল:

এইভাবে, প্রতিটি সময়ে প্রতিটি উপগ্রহের জন্য ডেটার প্রাসঙ্গিকতা সম্পর্কে আমাদের কাছে তথ্য রয়েছে। PIT টেবিলে JOIN ব্যবহার করে, আমরা অবশ্যই নেস্টেড প্রশ্নগুলি সম্পূর্ণরূপে মুছে ফেলতে পারি, অবশ্যই এই শর্তে যে PIT প্রতিদিন এবং ফাঁক ছাড়াই পূর্ণ হয়। এমনকি যদি পিআইটিতে ফাঁক থাকে, আপনি শুধুমাত্র পিআইটিতে একটি নেস্টেড ক্যোয়ারী ব্যবহার করে আপ-টু-ডেট ডেটা পেতে পারেন। একটি নেস্টেড কোয়েরি প্রতিটি স্যাটেলাইটের জন্য নেস্টেড কোয়েরির চেয়ে দ্রুত কাজ করবে।

ব্রিজ

BRIDGE টেবিলগুলি বিশ্লেষণাত্মক প্রশ্নগুলি সরল করতেও ব্যবহৃত হয়। যাইহোক, পিআইটি থেকে পার্থক্য হল বিভিন্ন হাব, লিঙ্ক এবং তাদের স্যাটেলাইটের মধ্যে অনুরোধগুলিকে সরলীকরণ এবং দ্রুত করার একটি উপায়।

টেবিলে সমস্ত স্যাটেলাইটের জন্য প্রয়োজনীয় সমস্ত কী রয়েছে যা প্রায়শই অনুসন্ধানে ব্যবহৃত হয়। এছাড়াও, যদি প্রয়োজন হয়, হ্যাশ করা ব্যবসায়িক কীগুলিকে পাঠ্য আকারে কীগুলির সাথে সম্পূরক করা যেতে পারে, যদি বিশ্লেষণের জন্য কীগুলির নাম প্রয়োজন হয়।

আসল বিষয়টি হ'ল ব্রিজ ব্যবহার না করেই, বিভিন্ন হাবের অন্তর্গত উপগ্রহগুলিতে অবস্থিত ডেটা প্রাপ্তির প্রক্রিয়ায়, কেবল উপগ্রহগুলিতেই নয়, হাবের সংযোগকারী লিঙ্কগুলিতেও যোগদান করা প্রয়োজন।

BRIDGE এর উপস্থিতি বা অনুপস্থিতি স্টোরেজ কনফিগারেশন দ্বারা নির্ধারিত হয়, ক্যোয়ারী সম্পাদনের গতি অপ্টিমাইজ করার প্রয়োজন। BRIGE এর সর্বজনীন উদাহরণ দিয়ে আসা কঠিন।

পূর্বনির্ধারিত ডেরিভেশন

আর এক ধরনের বস্তু যা আমাদেরকে BUSINESS DATA VAULT-এর কাছাকাছি নিয়ে আসে তা হল প্রাক-গণনা করা সূচক সম্বলিত টেবিল। এই জাতীয় টেবিলগুলি ব্যবসার জন্য সত্যিই গুরুত্বপূর্ণ, এগুলিতে প্রদত্ত নিয়ম অনুসারে একত্রিত তথ্য রয়েছে এবং এটি অ্যাক্সেস করা তুলনামূলকভাবে সহজ করে তোলে।

স্থাপত্যগতভাবে, পূর্বনির্ধারিত ডেরিভেশনগুলি একটি নির্দিষ্ট হাবের অন্য উপগ্রহ ছাড়া আর কিছুই নয়। এটি, একটি নিয়মিত স্যাটেলাইটের মতো, একটি ব্যবসায়িক কী এবং স্যাটেলাইটে রেকর্ড তৈরি হওয়ার তারিখ থাকে। তবে এখানেই মিল শেষ হয়। এই জাতীয় "বিশেষ" স্যাটেলাইটের বৈশিষ্ট্যগুলির আরও রচনাটি সবচেয়ে জনপ্রিয়, প্রাক-গণনা করা সূচকগুলির উপর ভিত্তি করে ব্যবসায়িক ব্যবহারকারীদের দ্বারা নির্ধারিত হয়।

উদাহরণস্বরূপ, একজন কর্মচারী সম্পর্কে তথ্য সম্বলিত একটি হাবের মধ্যে সূচক সহ একটি উপগ্রহ অন্তর্ভুক্ত থাকতে পারে যেমন:

• ন্যূনতম মজুরি;
• সর্বোচ্চ বেতন;
• গড় বেতন;
• ক্রমবর্ধমান মোট মজুরি, ইত্যাদি।

একই হাবের পিট টেবিলে পূর্বনির্ধারিত ডেরিভেশনগুলি অন্তর্ভুক্ত করা যৌক্তিক, তাহলে আপনি সহজেই একটি নির্দিষ্ট তারিখের জন্য কর্মচারী ডেটা স্লাইস পেতে পারেন।

উপসংহার

অনুশীলন দেখায়, ব্যবসায়িক ব্যবহারকারীদের দ্বারা ডেটা ভল্টের ব্যবহার বিভিন্ন কারণে কিছুটা কঠিন:

• ক্যোয়ারী কোড জটিল এবং কষ্টকর;
• যোগদানের প্রাচুর্য ক্যোয়ারী কর্মক্ষমতা প্রভাবিত করে;
• বিশ্লেষণমূলক প্রশ্ন লেখার জন্য গুদাম কাঠামোর একটি অসামান্য জ্ঞান প্রয়োজন।

ডেটা অ্যাক্সেস সহজ করার জন্য, ডেটা ভল্ট অতিরিক্ত বস্তুর সাথে প্রসারিত করা হয়েছে:

• PIT (সময় বিন্দু) টেবিল;
• ব্রিজ টেবিল;
• পূর্বনির্ধারিত ডেরিভেশন।

পরবর্তী প্রবন্ধ আমি বলতে চাই, আমার মতে, যারা BI এর সাথে কাজ করেন তাদের জন্য সবচেয়ে আকর্ষণীয়। আমি ডেটা ভল্টের উপর ভিত্তি করে টেবিল - তথ্য এবং টেবিল - মাত্রা তৈরি করার উপায় উপস্থাপন করব।

নিবন্ধের উপকরণগুলির উপর ভিত্তি করে:

• মধ্যে প্রকাশন কেন্টা গ্রাজিয়ানো, যেখানে একটি বিশদ বিবরণ ছাড়াও মডেল ডায়াগ্রাম রয়েছে;
• বই: "Building a Scalable Data Warehouse with DATA VAULT 2.0";
• প্রবন্ধ ডেটা ভল্ট বেসিক.

উত্স: www.habr.com