ইন-হাউস ডেটা গভর্নেন্স

হে হাবর!

ডেটা একটি কোম্পানির সবচেয়ে মূল্যবান সম্পদ। ডিজিটাল ফোকাস সহ প্রায় প্রতিটি কোম্পানি এটি ঘোষণা করে। এর সাথে তর্ক করা কঠিন: ডেটা পরিচালনা, সংরক্ষণ এবং প্রক্রিয়াকরণের পদ্ধতি নিয়ে আলোচনা না করে একটি বড় আইটি সম্মেলন অনুষ্ঠিত হয় না।

ডেটা আমাদের কাছে বাইরে থেকে আসে, এটি কোম্পানির মধ্যেও তৈরি হয় এবং যদি আমরা একটি টেলিকম সংস্থার ডেটা সম্পর্কে কথা বলি, তবে অভ্যন্তরীণ কর্মীদের জন্য এটি ক্লায়েন্ট, তার আগ্রহ, অভ্যাস এবং অবস্থান সম্পর্কে তথ্যের একটি ভাণ্ডার। সঠিক প্রোফাইলিং এবং বিভাজন সহ, বিজ্ঞাপনের অফারগুলি সবচেয়ে কার্যকর। যাইহোক, অনুশীলনে, সবকিছু এত গোলাপী হয় না। কোম্পানিগুলি যে ডেটা সঞ্চয় করে তা আশাতীতভাবে পুরানো, অপ্রয়োজনীয়, পুনরাবৃত্তিমূলক হতে পারে বা এর অস্তিত্ব ব্যবহারকারীদের একটি সংকীর্ণ বৃত্ত ছাড়া অন্য কারো কাছে অজানা। ¯_(ツ)_/¯

এক কথায়, ডেটা অবশ্যই কার্যকরভাবে পরিচালনা করতে হবে - তবেই এটি এমন একটি সম্পদে পরিণত হবে যা ব্যবসায় প্রকৃত সুবিধা এবং লাভ নিয়ে আসে। দুর্ভাগ্যবশত, ডেটা ম্যানেজমেন্ট সমস্যা সমাধানের জন্য অনেক জটিলতা কাটিয়ে উঠতে হবে। এগুলি প্রধানত সিস্টেমগুলির "চিড়িয়াখানা" আকারে ঐতিহাসিক উত্তরাধিকার এবং তাদের পরিচালনার জন্য একীভূত প্রক্রিয়া এবং পদ্ধতির অভাব উভয়ের কারণে। কিন্তু "ডেটা চালিত" হওয়ার মানে কি?

আমরা কাটার নীচে ঠিক এই বিষয়ে কথা বলব, সেইসাথে কীভাবে ওপেনসোর্স স্ট্যাক আমাদের সাহায্য করেছে।

কৌশলগত ডেটা ম্যানেজমেন্ট ডেটা গভর্নেন্স (ডিজি) ধারণাটি ইতিমধ্যে রাশিয়ান বাজারে বেশ পরিচিত, এবং এর বাস্তবায়নের ফলে ব্যবসার দ্বারা অর্জিত লক্ষ্যগুলি পরিষ্কার এবং স্পষ্টভাবে ঘোষণা করা হয়েছে। আমাদের কোম্পানি ব্যতিক্রম ছিল না এবং ডেটা ম্যানেজমেন্টের ধারণাটি প্রবর্তনের কাজটি নিজেই সেট করেছিল।

তাহলে আমরা কোথায় শুরু করেছি? শুরুতে, আমরা নিজেদের জন্য মূল লক্ষ্যগুলি তৈরি করেছি:

1. আমাদের ডেটা অ্যাক্সেসযোগ্য রাখুন।
2. ডেটা জীবনচক্রের স্বচ্ছতা নিশ্চিত করুন।
3. কোম্পানির ব্যবহারকারীদের সুসংগত, সামঞ্জস্যপূর্ণ ডেটা প্রদান করুন।
4. কোম্পানি ব্যবহারকারীদের যাচাইকৃত ডেটা প্রদান করুন।

আজ, সফ্টওয়্যার বাজারে এক ডজন ডেটা গভর্নেন্স ক্লাস টুল রয়েছে।

কিন্তু সমাধানগুলির বিশদ বিশ্লেষণ এবং অধ্যয়নের পরে, আমরা নিজেদের জন্য বেশ কয়েকটি সমালোচনামূলক মন্তব্য রেকর্ড করেছি:

• বেশিরভাগ নির্মাতারা সমাধানের একটি বিস্তৃত সেট অফার করে, যা আমাদের জন্য অপ্রয়োজনীয় এবং বিদ্যমান কার্যকারিতা সদৃশ করে। এছাড়াও, সম্পদের পরিপ্রেক্ষিতে ব্যয়বহুল, বর্তমান আইটি ল্যান্ডস্কেপে একীকরণ।
• কার্যকারিতা এবং ইন্টারফেস প্রযুক্তিবিদদের জন্য ডিজাইন করা হয়েছে, ব্যবসার শেষ ব্যবহারকারীদের জন্য নয়।
• পণ্যের কম বেঁচে থাকার হার এবং রাশিয়ান বাজারে সফল বাস্তবায়নের অভাব।
• সফ্টওয়্যার উচ্চ খরচ এবং আরও সমর্থন.

রাশিয়ান কোম্পানিগুলির জন্য সফ্টওয়্যার আমদানি প্রতিস্থাপনের বিষয়ে উপরে উল্লিখিত মানদণ্ড এবং সুপারিশগুলি আমাদেরকে ওপেনসোর্স গ্লাসে আমাদের নিজস্ব বিকাশের দিকে যেতে রাজি করেছে৷ জ্যাঙ্গো একটি প্ল্যাটফর্ম হিসাবে বেছে নেওয়া হয়েছিল - পাইথনে লেখা একটি মুক্ত এবং বিনামূল্যের কাঠামো। এবং তাই আমরা নিজেদের জন্য কী মডিউলগুলি বরাদ্দ করেছি, যা উপরে উল্লিখিত লক্ষ্যগুলিতে অবদান রাখবে:

1. রিপোর্টের রেজিস্টার।
2. ব্যবসায়িক শব্দকোষ।
3. প্রযুক্তিগত রূপান্তর বর্ণনা করার জন্য মডিউল।
4. উৎস থেকে BI টুলে ডেটা লাইফ সাইকেল বর্ণনা করার জন্য মডিউল।
5. ডেটা মান নিয়ন্ত্রণ মডিউল।

রিপোর্টের রেজিস্টার

বড় কোম্পানিগুলির অভ্যন্তরীণ গবেষণার ফলাফল অনুসারে, ডেটা-সম্পর্কিত সমস্যাগুলি সমাধান করার সময়, কর্মচারীরা তাদের অনুসন্ধানের জন্য তাদের সময় 40-80% ব্যয় করে। অতএব, আমরা নিজেদেরকে বিদ্যমান প্রতিবেদনগুলি সম্পর্কে খোলা তথ্য তৈরি করার কাজ সেট করি যা পূর্বে শুধুমাত্র গ্রাহকদের জন্য উপলব্ধ ছিল। এইভাবে, আমরা নতুন প্রতিবেদন তৈরির জন্য সময় কমিয়ে দিই এবং ডেটার গণতন্ত্রীকরণ নিশ্চিত করি।

রিপোর্টিং রেজিস্টার বিভিন্ন অঞ্চল, বিভাগ এবং বিভাগের অভ্যন্তরীণ ব্যবহারকারীদের জন্য একক রিপোর্টিং উইন্ডোতে পরিণত হয়েছে। এটি কোম্পানির বিভিন্ন কর্পোরেট রিপোজিটরিতে তৈরি তথ্য পরিষেবাগুলির তথ্য একত্রিত করে এবং এর মধ্যে অনেকগুলি রোস্টেলেকমে রয়েছে।

কিন্তু রেজিস্ট্রি শুধুমাত্র উন্নত রিপোর্টের একটি শুকনো তালিকা নয়। প্রতিটি প্রতিবেদনের জন্য, আমরা ব্যবহারকারীদের এটির সাথে নিজেদের পরিচিত করার জন্য প্রয়োজনীয় তথ্য প্রদান করি:

• প্রতিবেদনের সংক্ষিপ্ত বিবরণ;
• তথ্য উপলব্ধতার গভীরতা;
• ভোক্তার অবস্থা;
• ভিজ্যুয়ালাইজেশন টুল;
• কর্পোরেট স্টোরেজের নাম;
• ব্যবসার কার্যকরী প্রয়োজনীয়তা;
• প্রতিবেদনের লিঙ্ক;
• অ্যাক্সেসের জন্য আবেদনের লিঙ্ক;
• বাস্তবায়ন অবস্থা।

প্রতিবেদনের জন্য ব্যবহার স্তরের বিশ্লেষণ উপলব্ধ, এবং অনন্য ব্যবহারকারীর সংখ্যার উপর ভিত্তি করে লগ বিশ্লেষণের ভিত্তিতে প্রতিবেদনগুলি তালিকার শীর্ষে স্থান পায়। আর তা নয়। সাধারণ বৈশিষ্ট্যগুলি ছাড়াও, আমরা মান এবং গণনা পদ্ধতির উদাহরণ সহ রিপোর্টগুলির বৈশিষ্ট্য রচনার একটি বিশদ বিবরণও প্রদান করেছি। এই ধরনের বিবরণ অবিলম্বে ব্যবহারকারীকে একটি উত্তর দেয় যে প্রতিবেদনটি তার জন্য দরকারী কিনা।

এই মডিউলটির বিকাশ ডেটা গণতন্ত্রকরণের একটি গুরুত্বপূর্ণ পদক্ষেপ ছিল এবং প্রয়োজনীয় তথ্যগুলি খুঁজে পেতে যে সময় লাগে তা উল্লেখযোগ্যভাবে হ্রাস করেছিল। অনুসন্ধানের সময় হ্রাস করার পাশাপাশি, পরামর্শ দেওয়ার জন্য সহায়তা দলকে অনুরোধের সংখ্যাও হ্রাস পেয়েছে। বিভিন্ন কাঠামোগত ইউনিটের জন্য সদৃশ প্রতিবেদনের বিকাশ রোধ করে - প্রতিবেদনের একীভূত নিবন্ধটি বিকাশ করে আমরা যে কোনও কার্যকর ফলাফল অর্জন করেছি তা নোট করা অসম্ভব।

ব্যবসায়িক শব্দকোষ

আপনি সকলেই জানেন যে একই কোম্পানির মধ্যেও, ব্যবসাগুলি বিভিন্ন ভাষায় কথা বলে। হ্যাঁ, তারা একই পদ ব্যবহার করে, কিন্তু তারা সম্পূর্ণ ভিন্ন জিনিস বোঝায়। এই সমস্যা সমাধানের জন্য একটি ব্যবসায়িক শব্দকোষ তৈরি করা হয়েছে।

আমাদের জন্য, একটি ব্যবসায়িক শব্দকোষ শুধুমাত্র শর্তাবলী এবং গণনা পদ্ধতির বর্ণনা সহ একটি রেফারেন্স বই নয়। এটি পরিভাষা বিকাশ, সম্মতি এবং অনুমোদন, শর্তাবলী এবং কোম্পানির অন্যান্য তথ্য সম্পদের মধ্যে সম্পর্ক গড়ে তোলার জন্য একটি সম্পূর্ণ পরিবেশ। ব্যবসায়িক শব্দকোষে প্রবেশ করার আগে, একটি শব্দকে ব্যবসায়িক গ্রাহকদের এবং ডেটা গুণমান কেন্দ্রের সাথে অনুমোদনের সমস্ত পর্যায়ে যেতে হবে। শুধুমাত্র এই পরে এটি ব্যবহারের জন্য উপলব্ধ করা হয়.

যেমনটি আমি উপরে লিখেছি, এই টুলটির স্বতন্ত্রতা হল এটি একটি ব্যবসায়িক শব্দের স্তর থেকে নির্দিষ্ট ব্যবহারকারীর প্রতিবেদনের সাথে সংযোগের অনুমতি দেয় যেখানে এটি ব্যবহৃত হয়, সেইসাথে ভৌত ডাটাবেস অবজেক্টের স্তরে।

রেজিস্ট্রি রিপোর্টের বিশদ বিবরণ এবং ফিজিক্যাল ডাটাবেস অবজেক্টের বর্ণনায় শব্দকোষ শব্দ শনাক্তকারী ব্যবহারের মাধ্যমে এটি সম্ভব হয়েছে।

বর্তমানে, 4000 টিরও বেশি পদ সংজ্ঞায়িত করা হয়েছে এবং শব্দকোষে সম্মত হয়েছে। এর ব্যবহার কোম্পানির তথ্য ব্যবস্থায় পরিবর্তনের জন্য আগত অনুরোধের প্রক্রিয়াকরণকে সহজ করে এবং গতি বাড়ায়। যদি প্রয়োজনীয় সূচকটি ইতিমধ্যেই কোনও প্রতিবেদনে প্রয়োগ করা হয়, তবে ব্যবহারকারী অবিলম্বে প্রস্তুত প্রতিবেদনের একটি সেট দেখতে পাবেন যেখানে এই সূচকটি ব্যবহার করা হয়েছে এবং শুরু না করেই বিদ্যমান কার্যকারিতা বা এর ন্যূনতম পরিবর্তনের কার্যকর পুনঃব্যবহারের বিষয়ে সিদ্ধান্ত নিতে সক্ষম হবে। একটি নতুন প্রতিবেদনের বিকাশের জন্য নতুন অনুরোধ।

প্রযুক্তিগত রূপান্তর এবং ডেটা লাইনেজ বর্ণনা করার জন্য মডিউল

এই মডিউল কি, আপনি জিজ্ঞাসা? শুধুমাত্র রিপোর্ট রেজিস্টার এবং শব্দকোষ বাস্তবায়ন করা যথেষ্ট নয়; ফিজিক্যাল ডাটাবেস মডেলের উপর সমস্ত ব্যবসায়িক শর্তাদি গ্রাউন্ড করাও প্রয়োজনীয়। এইভাবে, আমরা ডেটা গুদামের সমস্ত স্তরের মাধ্যমে সোর্স সিস্টেম থেকে BI ভিজ্যুয়ালাইজেশনে ডেটা জীবনচক্র গঠনের প্রক্রিয়াটি সম্পূর্ণ করতে সক্ষম হয়েছি। অন্য কথায়, একটি ডেটা লাইনেজ তৈরি করুন।

আমরা ডেটা রূপান্তরের নিয়ম এবং যুক্তি বর্ণনা করার জন্য কোম্পানিতে পূর্বে ব্যবহৃত বিন্যাসের উপর ভিত্তি করে একটি ইন্টারফেস তৈরি করেছি। আগের মতই ইন্টারফেসের মাধ্যমে একই তথ্য প্রবেশ করানো হয়েছে, কিন্তু ব্যবসায়িক শব্দকোষ থেকে শনাক্তকারী শব্দের সংজ্ঞা একটি পূর্বশর্ত হয়ে উঠেছে। এইভাবে আমরা ব্যবসা এবং শারীরিক স্তরগুলির মধ্যে একটি সংযোগ তৈরি করি।

কে এটা প্রয়োজন? আপনি বেশ কয়েক বছর ধরে কাজ করেছেন এমন পুরানো ফর্ম্যাটে কী ভুল ছিল? প্রয়োজনীয়তা তৈরির জন্য শ্রম খরচ কত বেড়েছে? সরঞ্জামটি বাস্তবায়নের সময় আমাদের এই জাতীয় প্রশ্নের মোকাবেলা করতে হয়েছিল। এখানে উত্তরগুলি বেশ সহজ - আমাদের সকলের এটি প্রয়োজন, আমাদের কোম্পানির ডেটা অফিস এবং আমাদের ব্যবহারকারীদের।

প্রকৃতপক্ষে, কর্মচারীদের মানিয়ে নিতে হয়েছিল; প্রথমে, এটি ডকুমেন্টেশন প্রস্তুত করার জন্য শ্রম খরচে সামান্য বৃদ্ধির দিকে পরিচালিত করেছিল, কিন্তু আমরা এই সমস্যাটি সমাধান করেছি। অনুশীলন, চিহ্নিতকরণ এবং সমস্যার ক্ষেত্রগুলি অপ্টিমাইজ করা তাদের কাজ করেছে। আমরা মূল জিনিসটি অর্জন করেছি - আমরা উন্নত প্রয়োজনীয়তার মান উন্নত করেছি। বাধ্যতামূলক ক্ষেত্র, ইউনিফাইড রেফারেন্স বই, ইনপুট মাস্ক, অন্তর্নির্মিত চেক - এই সবগুলি রূপান্তর বর্ণনার গুণমানকে উল্লেখযোগ্যভাবে উন্নত করা সম্ভব করেছে। আমরা বিকাশের প্রয়োজনীয়তা হিসাবে স্ক্রিপ্ট হস্তান্তর করার অনুশীলন থেকে সরে এসেছি এবং জ্ঞান ভাগ করে নিয়েছি যা শুধুমাত্র উন্নয়ন দলের কাছে উপলব্ধ ছিল। উত্পন্ন মেটাডেটা ডাটাবেস উল্লেখযোগ্যভাবে রিগ্রেশন বিশ্লেষণ পরিচালনা করার জন্য প্রয়োজনীয় সময়কে কমিয়ে দেয় এবং আইটি ল্যান্ডস্কেপের যেকোনো স্তরে (শোকেস রিপোর্ট, সমষ্টি, উত্স) পরিবর্তনের প্রভাব দ্রুত মূল্যায়ন করার ক্ষমতা প্রদান করে।

রিপোর্টের সাধারণ ব্যবহারকারীদের সাথে এর কী সম্পর্ক আছে, তাদের জন্য সুবিধা কী? DataLineage তৈরি করার ক্ষমতার জন্য ধন্যবাদ, আমাদের ব্যবহারকারীরা, এমনকি যারা SQL এবং অন্যান্য প্রোগ্রামিং ভাষা থেকে দূরে, তারা দ্রুত উৎস এবং বস্তু সম্পর্কে তথ্য গ্রহণ করে যার ভিত্তিতে একটি নির্দিষ্ট প্রতিবেদন তৈরি করা হয়।

ডেটা মান নিয়ন্ত্রণ মডিউল

ডেটার স্বচ্ছতা নিশ্চিত করার ক্ষেত্রে আমরা উপরে যে সমস্ত বিষয়ে কথা বলেছি তা না বুঝেই গুরুত্বপূর্ণ নয় যে আমরা ব্যবহারকারীদের যে ডেটা দিই তা সঠিক। আমাদের ডেটা গভর্নেন্স ধারণার একটি গুরুত্বপূর্ণ মডিউল হল ডেটা মান নিয়ন্ত্রণ মডিউল।

বর্তমান পর্যায়ে, এটি নির্বাচিত সত্তার জন্য চেকের একটি ক্যাটালগ। পণ্য উন্নয়নের জন্য তাৎক্ষণিক লক্ষ্য হল চেকের তালিকা প্রসারিত করা এবং রিপোর্টিং রেজিস্ট্রির সাথে একীভূত করা।
এটা কি দেবে এবং কাকে দেবে? রেজিস্ট্রির শেষ ব্যবহারকারীর রিপোর্টের প্রস্তুতির পরিকল্পিত এবং প্রকৃত তারিখ, গতিশীলতার সাথে সম্পন্ন চেকের ফলাফল এবং প্রতিবেদনে লোড করা উত্সগুলির তথ্য সম্পর্কে তথ্যের অ্যাক্সেস থাকবে।

আমাদের জন্য, আমাদের কাজের প্রক্রিয়ার সাথে একত্রিত ডেটা মানের মডিউল হল:

• গ্রাহকের প্রত্যাশার দ্রুত গঠন।
• ডেটার আরও ব্যবহারের বিষয়ে সিদ্ধান্ত নেওয়া।
• নিয়মিত মান নিয়ন্ত্রণের বিকাশের জন্য কাজের প্রাথমিক পর্যায়ে সমস্যা পয়েন্টগুলির একটি প্রাথমিক সেট প্রাপ্ত করা।

অবশ্যই, এটি একটি পূর্ণাঙ্গ ডেটা ব্যবস্থাপনা প্রক্রিয়া তৈরির প্রথম ধাপ। কিন্তু আমরা আত্মবিশ্বাসী যে শুধুমাত্র উদ্দেশ্যমূলকভাবে এই কাজটি করার মাধ্যমে, কাজের প্রক্রিয়ায় সক্রিয়ভাবে ডেটা গভর্নেন্স টুলগুলিকে প্রবর্তন করার মাধ্যমে, আমরা আমাদের ক্লায়েন্টদের তথ্য সামগ্রী, ডেটাতে উচ্চ স্তরের আস্থা, তাদের প্রাপ্তিতে স্বচ্ছতা এবং লঞ্চের গতি বাড়াব। নতুন কার্যকারিতা।

ডেটা অফিস টিম

উত্স: www.habr.com