বড় এবং ছোট ডেটা পরীক্ষক: প্রবণতা, তত্ত্ব, আমার গল্প

সবাইকে হ্যালো, আমার নাম আলেকজান্ডার, এবং আমি একজন ডেটা কোয়ালিটি ইঞ্জিনিয়ার যিনি ডেটার মানের জন্য ডেটা পরীক্ষা করেন। এই নিবন্ধটি আমি কীভাবে এটিতে এসেছি এবং কেন 2020 সালে পরীক্ষার এই অঞ্চলটি একটি তরঙ্গের শীর্ষে ছিল সে সম্পর্কে কথা বলবে।

বিশ্বব্যাপী প্রবণতা

আজকের বিশ্ব আরেকটি প্রযুক্তিগত বিপ্লবের সম্মুখীন হচ্ছে, যার একটি দিক হল সমস্ত ধরণের কোম্পানীর তাদের নিজস্ব বিক্রয়, লাভ এবং পিআরের ফ্লাইহুইল প্রচারের জন্য সঞ্চিত ডেটা ব্যবহার করা। মনে হচ্ছে ভাল (গুণমান) ডেটার উপস্থিতি, সেইসাথে দক্ষ মস্তিষ্ক যারা এটি থেকে অর্থোপার্জন করতে পারে (সঠিকভাবে প্রক্রিয়া করা, কল্পনা করা, মেশিন লার্নিং মডেল তৈরি করা ইত্যাদি), আজ অনেকের জন্য সাফল্যের চাবিকাঠি হয়ে উঠেছে। যদি 15-20 বছর আগে বড় কোম্পানিগুলি প্রধানত ডেটা সঞ্চয় এবং নগদীকরণের সাথে নিবিড় কাজের সাথে জড়িত ছিল, তবে আজ এটি প্রায় সমস্ত বিবেকবান মানুষ।

এই বিষয়ে, বেশ কয়েক বছর আগে, সারা বিশ্বে চাকরির সন্ধানের জন্য নিবেদিত সমস্ত পোর্টালগুলি ডেটা বিজ্ঞানীদের জন্য শূন্যপদে পূর্ণ হতে শুরু করেছিল, যেহেতু সবাই নিশ্চিত ছিল যে, এই জাতীয় বিশেষজ্ঞ নিয়োগ করার পরে, মেশিন লার্নিংয়ের একটি সুপার মডেল তৈরি করা সম্ভব হবে। , ভবিষ্যতের ভবিষ্যদ্বাণী করুন এবং কোম্পানির জন্য একটি "কোয়ান্টাম লিপ" সঞ্চালন করুন। সময়ের সাথে সাথে, লোকেরা বুঝতে পেরেছিল যে এই পদ্ধতিটি প্রায় কখনই কোথাও কাজ করে না, যেহেতু এই জাতীয় বিশেষজ্ঞদের হাতে পড়ে সমস্ত ডেটা প্রশিক্ষণের মডেলের জন্য উপযুক্ত নয়।

এবং ডেটা সায়েন্টিস্টদের কাছ থেকে অনুরোধগুলি শুরু হয়েছিল: "আসুন এগুলি এবং সেগুলি থেকে আরও ডেটা কিনি...", "আমাদের কাছে পর্যাপ্ত ডেটা নেই...", "আমাদের আরও কিছু ডেটা দরকার, বিশেষত উচ্চ-মানের একটি..." . এই অনুরোধগুলির উপর ভিত্তি করে, ডেটার এক বা অন্য সেটের মালিক কোম্পানিগুলির মধ্যে অসংখ্য মিথস্ক্রিয়া তৈরি হতে শুরু করে৷ স্বাভাবিকভাবেই, এটির জন্য এই প্রক্রিয়াটির প্রযুক্তিগত সংস্থার প্রয়োজন ছিল - ডেটা উত্সের সাথে সংযোগ করা, এটি ডাউনলোড করা, এটি সম্পূর্ণরূপে লোড করা হয়েছে কিনা তা পরীক্ষা করা ইত্যাদি। এই জাতীয় প্রক্রিয়াগুলির সংখ্যা বাড়তে শুরু করে এবং আজ আমাদের অন্য ধরণের একটি বিশাল প্রয়োজন। বিশেষজ্ঞ - ডেটা কোয়ালিটি ইঞ্জিনিয়ার - যারা সিস্টেমে ডেটার প্রবাহ (ডেটা পাইপলাইন), ইনপুট এবং আউটপুটে ডেটার গুণমান নিরীক্ষণ করবে এবং তাদের পর্যাপ্ততা, অখণ্ডতা এবং অন্যান্য বৈশিষ্ট্য সম্পর্কে সিদ্ধান্ত নেবে।

ডেটা কোয়ালিটি ইঞ্জিনিয়ারদের প্রবণতা মার্কিন যুক্তরাষ্ট্র থেকে আমাদের কাছে এসেছিল, যেখানে, পুঁজিবাদের ক্রমবর্ধমান যুগের মধ্যে, কেউ ডেটার জন্য যুদ্ধ হারতে প্রস্তুত নয়। নীচে আমি মার্কিন যুক্তরাষ্ট্রে সবচেয়ে জনপ্রিয় দুটি চাকরি অনুসন্ধান সাইট থেকে স্ক্রিনশট সরবরাহ করেছি: www.monster.com и www.dice.com — যা 17 মার্চ, 2020 পর্যন্ত কীওয়ার্ড ব্যবহার করে প্রাপ্ত শূন্য পদের সংখ্যার উপর ডেটা প্রদর্শন করে: ডেটা কোয়ালিটি এবং ডেটা সায়েন্টিস্ট।

www.monster.com

ডেটা সায়েন্টিস্ট - 21416 টি শূন্যপদ
ডেটা গুণমান - 41104টি শূন্যপদ

www.dice.com

ডেটা সায়েন্টিস্ট - 404টি শূন্যপদ
ডেটা গুণমান - 2020 শূন্যপদ

স্পষ্টতই, এই পেশাগুলি কোনওভাবেই একে অপরের সাথে প্রতিযোগিতা করে না। স্ক্রিনশটগুলির সাথে, আমি কেবলমাত্র ডেটা কোয়ালিটি ইঞ্জিনিয়ারদের অনুরোধের পরিপ্রেক্ষিতে শ্রমবাজারের বর্তমান পরিস্থিতি চিত্রিত করতে চেয়েছিলাম, যাদের এখন ডেটা বিজ্ঞানীদের চেয়ে অনেক বেশি প্রয়োজন৷

জুন 2019-এ, EPAM, আধুনিক আইটি বাজারের চাহিদার প্রতি সাড়া দিয়ে, ডেটা কোয়ালিটিকে একটি পৃথক অনুশীলনে আলাদা করেছে। ডেটা কোয়ালিটি ইঞ্জিনিয়াররা, তাদের দৈনন্দিন কাজের সময়, ডেটা পরিচালনা করে, নতুন শর্ত এবং সিস্টেমে এর আচরণ পরীক্ষা করে, ডেটার প্রাসঙ্গিকতা, এর পর্যাপ্ততা এবং প্রাসঙ্গিকতা নিরীক্ষণ করে। এই সবের সাথে, একটি ব্যবহারিক অর্থে, ডেটা কোয়ালিটি ইঞ্জিনিয়াররা ক্লাসিক্যাল কার্যকরী পরীক্ষার জন্য খুব কম সময় ব্যয় করে, কিন্তু এটি ব্যাপকভাবে প্রকল্পের উপর নির্ভর করে (আমি নীচে একটি উদাহরণ দেব)।

একজন ডাটা কোয়ালিটি ইঞ্জিনিয়ারের দায়িত্ব শুধুমাত্র ডাটাবেস টেবিলে "নাল, গণনা এবং যোগফল" এর জন্য রুটিন ম্যানুয়াল/স্বয়ংক্রিয় চেকের মধ্যেই সীমাবদ্ধ নয়, তবে গ্রাহকের ব্যবসায়িক চাহিদা সম্পর্কে গভীর বোঝার প্রয়োজন এবং সেই অনুযায়ী, উপলব্ধ ডেটাতে রূপান্তর করার ক্ষমতা দরকারী ব্যবসা তথ্য।

ডাটা কোয়ালিটি থিওরি

এই ধরনের একজন প্রকৌশলীর ভূমিকা আরও সম্পূর্ণরূপে কল্পনা করার জন্য, তত্ত্বগতভাবে ডেটা গুণমান কী তা খুঁজে বের করা যাক।

উপাত্ত গুণমান — ডেটা ম্যানেজমেন্টের একটি ধাপ (একটি পুরো বিশ্ব যা আমরা আপনার নিজের জন্য অধ্যয়নের জন্য ছেড়ে দেব) এবং নিম্নলিখিত মানদণ্ড অনুযায়ী ডেটা বিশ্লেষণের জন্য দায়ী:

আমি মনে করি প্রতিটি পয়েন্টের পাঠোদ্ধার করার দরকার নেই (তত্ত্বগতভাবে এগুলিকে "ডেটা মাত্রা" বলা হয়), সেগুলি ছবিতে বেশ ভালভাবে বর্ণনা করা হয়েছে। তবে পরীক্ষার প্রক্রিয়া নিজেই এই বৈশিষ্ট্যগুলিকে পরীক্ষার ক্ষেত্রে কঠোরভাবে অনুলিপি করা এবং সেগুলি পরীক্ষা করা বোঝায় না। ডেটা কোয়ালিটিতে, অন্য যেকোন ধরণের পরীক্ষার মতোই, প্রথমত, ব্যবসায়িক সিদ্ধান্ত নেওয়া প্রকল্পের অংশগ্রহণকারীদের সাথে সম্মত হওয়া ডেটা মানের প্রয়োজনীয়তাগুলি তৈরি করা প্রয়োজন।

ডেটা কোয়ালিটি প্রোজেক্টের উপর নির্ভর করে, একজন প্রকৌশলী বিভিন্ন ফাংশন সম্পাদন করতে পারেন: ডেটা মানের উপরিভাগের মূল্যায়ন সহ একজন সাধারণ অটোমেশন পরীক্ষক থেকে, একজন ব্যক্তি যিনি উপরের মানদণ্ড অনুযায়ী ডেটার গভীর প্রোফাইলিং পরিচালনা করেন।

ডেটা ম্যানেজমেন্ট, ডেটা কোয়ালিটি এবং সম্পর্কিত প্রক্রিয়াগুলির একটি খুব বিশদ বিবরণ নামক বইটিতে ভালভাবে বর্ণনা করা হয়েছে "DAMA-DMBOK: ডেটা ম্যানেজমেন্ট বডি অফ নলেজ: ২য় সংস্করণ". আমি এই বিষয়ের ভূমিকা হিসাবে এই বইটিকে অত্যন্ত সুপারিশ করছি (আপনি নিবন্ধের শেষে এটির একটি লিঙ্ক পাবেন)।

আমার গল্প

আইটি শিল্পে, আমি পণ্য কোম্পানিতে জুনিয়র পরীক্ষক থেকে EPAM-এর একজন লিড ডেটা কোয়ালিটি ইঞ্জিনিয়ার পর্যন্ত কাজ করেছি। পরীক্ষক হিসাবে প্রায় দুই বছর কাজ করার পর, আমি দৃঢ় প্রত্যয় পেয়েছি যে আমি একেবারে সমস্ত ধরণের পরীক্ষা করেছি: রিগ্রেশন, কার্যকরী, চাপ, স্থিতিশীলতা, নিরাপত্তা, UI, ইত্যাদি - এবং প্রচুর সংখ্যক পরীক্ষার সরঞ্জাম ব্যবহার করেছিলাম, একই সময়ে তিনটি প্রোগ্রামিং ভাষায় কাজ করেছে: জাভা, স্কালা, পাইথন।

পিছনে ফিরে তাকালে, আমি বুঝতে পারি কেন আমার দক্ষতার সেট এত বৈচিত্র্যময় ছিল—আমি ডেটা-চালিত প্রকল্পগুলিতে জড়িত ছিলাম, বড় এবং ছোট। এটিই আমাকে অনেক সরঞ্জাম এবং বৃদ্ধির সুযোগের জগতে নিয়ে এসেছে।

নতুন জ্ঞান এবং দক্ষতা অর্জনের জন্য বিভিন্ন সরঞ্জাম এবং সুযোগের প্রশংসা করতে, শুধু নীচের ছবিটি দেখুন, যা "ডেটা এবং এআই" বিশ্বের সবচেয়ে জনপ্রিয়গুলি দেখায়৷

সফ্টওয়্যার ডেভেলপমেন্ট থেকে আসা বিখ্যাত ভেঞ্চার ক্যাপিটালিস্ট ম্যাট টার্কের দ্বারা প্রতি বছর এই ধরনের চিত্র সংকলন করা হয়। এখানে লিংক তার ব্লগে এবং ভেঞ্চার ক্যাপিটাল ফার্ম, যেখানে তিনি একজন অংশীদার হিসাবে কাজ করেন।

আমি পেশাদারভাবে বিশেষত দ্রুত বৃদ্ধি পেয়েছি যখন আমি প্রকল্পের একমাত্র পরীক্ষক ছিলাম, বা অন্তত প্রকল্পের শুরুতে। এটি এমন একটি মুহুর্তে যে আপনাকে পুরো পরীক্ষার প্রক্রিয়াটির জন্য দায়ী হতে হবে এবং আপনার পিছু হটানোর কোন সুযোগ নেই, শুধুমাত্র এগিয়ে যেতে হবে। প্রথমে এটি ভীতিজনক ছিল, তবে এখন এই জাতীয় পরীক্ষার সমস্ত সুবিধা আমার কাছে স্পষ্ট:

• আপনি পুরো দলের সাথে যোগাযোগ করতে শুরু করেন যেমন আগে কখনো হয়নি, যেহেতু যোগাযোগের জন্য কোনো প্রক্সি নেই: পরীক্ষা পরিচালক বা সহ-পরীক্ষকও নয়।
• প্রকল্পে নিমজ্জন অবিশ্বাস্যভাবে গভীর হয়ে ওঠে, এবং আপনার কাছে সাধারণ এবং বিশদ উভয় উপাদানের সমস্ত উপাদান সম্পর্কে তথ্য রয়েছে।
• বিকাশকারীরা আপনাকে "পরীক্ষার সেই লোকটি যে জানে না যে সে কী করছে" হিসাবে দেখেন না, বরং একজন সমান হিসাবে দেখেন যে তার স্বয়ংক্রিয় পরীক্ষা এবং বাগগুলির একটি নির্দিষ্ট উপাদানে উপস্থিত হওয়ার প্রত্যাশার মাধ্যমে দলের জন্য অবিশ্বাস্য সুবিধা তৈরি করে। পণ্য
• ফলস্বরূপ, আপনি আরও কার্যকর, আরও যোগ্য এবং আরও বেশি চাহিদা।

প্রজেক্টটি বাড়ার সাথে সাথে, 100% ক্ষেত্রে আমি নতুন পরীক্ষকদের জন্য একজন পরামর্শদাতা হয়েছি, তাদের শিক্ষা দিচ্ছি এবং আমি নিজে যে জ্ঞান শিখেছি তা পাস করছি। একই সময়ে, প্রকল্পের উপর নির্ভর করে, আমি সর্বদা ম্যানেজমেন্ট থেকে সর্বোচ্চ স্তরের অটো টেস্টিং বিশেষজ্ঞ পাইনি এবং তাদের হয় অটোমেশনে প্রশিক্ষণ দেওয়ার প্রয়োজন ছিল (আগ্রহী ব্যক্তিদের জন্য) বা দৈনন্দিন ক্রিয়াকলাপে ব্যবহারের জন্য সরঞ্জাম তৈরি করতে হবে (সরঞ্জামগুলি) ডেটা জেনারেট করা এবং সিস্টেমে লোড করার জন্য, লোড টেস্টিং/স্থায়িত্ব পরীক্ষার জন্য একটি টুল "দ্রুত" ইত্যাদি)।

একটি নির্দিষ্ট প্রকল্পের উদাহরণ

দুর্ভাগ্যবশত, প্রকাশ না করার বাধ্যবাধকতার কারণে, আমি যে প্রকল্পগুলিতে কাজ করেছি সেগুলি সম্পর্কে আমি বিস্তারিতভাবে কথা বলতে পারি না, তবে আমি প্রকল্পগুলির একটিতে ডেটা গুণমান প্রকৌশলীর সাধারণ কাজের উদাহরণ দেব৷

প্রকল্পের সারমর্ম হল এটির উপর ভিত্তি করে মেশিন লার্নিং মডেল প্রশিক্ষণের জন্য ডেটা প্রস্তুত করার জন্য একটি প্ল্যাটফর্ম বাস্তবায়ন করা। গ্রাহক মার্কিন যুক্তরাষ্ট্র থেকে একটি বড় ফার্মাসিউটিক্যাল কোম্পানি ছিল. প্রযুক্তিগতভাবে এটি একটি ক্লাস্টার ছিল Kubernetes, ক্রমবর্ধমান এডাব্লুএস ইসি 2 দৃষ্টান্ত, বিভিন্ন মাইক্রোসার্ভিস এবং EPAM-এর অন্তর্নিহিত ওপেন সোর্স প্রকল্পের সাথে - সৈন্যবাহিনী, একটি নির্দিষ্ট গ্রাহকের প্রয়োজনের সাথে অভিযোজিত (এখন প্রকল্পটির পুনর্জন্ম হয়েছে ওডাহু) ETL প্রক্রিয়াগুলি ব্যবহার করে সংগঠিত হয়েছিল অ্যাপাচি এয়ারফ্লো এবং থেকে ডেটা সরানো হয়েছে SalesForce গ্রাহক সিস্টেম এডাব্লুএস এস 3 বালতি। এরপরে, একটি মেশিন লার্নিং মডেলের একটি ডকার ইমেজ প্ল্যাটফর্মে স্থাপন করা হয়েছিল, যেটিকে নতুন ডেটার উপর প্রশিক্ষণ দেওয়া হয়েছিল এবং REST API ইন্টারফেস ব্যবহার করে এমন ভবিষ্যদ্বাণী তৈরি করা হয়েছিল যা ব্যবসার জন্য আগ্রহের ছিল এবং নির্দিষ্ট সমস্যার সমাধান করেছিল।

দৃশ্যত, সবকিছু এইরকম দেখতে ছিল:

এই প্রকল্পে প্রচুর কার্যকরী পরীক্ষা ছিল, এবং বৈশিষ্ট্য বিকাশের গতি এবং রিলিজ চক্রের গতি (দুই-সপ্তাহের স্প্রিন্ট) বজায় রাখার প্রয়োজনীয়তার কারণে, এটির সবচেয়ে গুরুত্বপূর্ণ উপাদানগুলির স্বয়ংক্রিয় পরীক্ষা সম্পর্কে অবিলম্বে চিন্তা করা প্রয়োজন ছিল। পদ্ধতি. কুবারনেটস-ভিত্তিক প্ল্যাটফর্মের বেশিরভাগই স্বয়ংক্রিয় পরীক্ষা দ্বারা কভার করা হয়েছিল রোবট ফ্রেমওয়ার্ক + পাইথন, তবে তাদের সমর্থন এবং প্রসারিত করাও প্রয়োজনীয় ছিল। এছাড়াও, গ্রাহকের সুবিধার জন্য, ক্লাস্টারে স্থাপন করা মেশিন লার্নিং মডেলগুলি পরিচালনা করার জন্য একটি GUI তৈরি করা হয়েছিল, সেইসাথে মডেলগুলির প্রশিক্ষণের জন্য কোথায় এবং কোথায় ডেটা স্থানান্তর করা দরকার তা নির্দিষ্ট করার ক্ষমতা। এই ব্যাপক সংযোজন স্বয়ংক্রিয় কার্যকরী পরীক্ষার একটি সম্প্রসারণকে অন্তর্ভুক্ত করেছে, যা বেশিরভাগই REST API কল এবং অল্প সংখ্যক শেষ-2-এন্ড UI পরীক্ষার মাধ্যমে করা হয়েছিল। এই সমস্ত আন্দোলনের নিরক্ষরেখার চারপাশে, আমরা একজন ম্যানুয়াল পরীক্ষক দ্বারা যোগদান করেছি যিনি পণ্য সংস্করণগুলির গ্রহণযোগ্যতা পরীক্ষা এবং পরবর্তী প্রকাশের গ্রহণযোগ্যতার বিষয়ে গ্রাহকের সাথে যোগাযোগের সাথে একটি দুর্দান্ত কাজ করেছিলেন। এছাড়াও, একজন নতুন বিশেষজ্ঞের আগমনের কারণে, আমরা আমাদের কাজকে নথিভুক্ত করতে এবং বেশ কিছু গুরুত্বপূর্ণ ম্যানুয়াল চেক যোগ করতে সক্ষম হয়েছি যেগুলি এখনই স্বয়ংক্রিয় করা কঠিন ছিল।

এবং অবশেষে, আমরা প্ল্যাটফর্ম এবং GUI অ্যাড-অন থেকে স্থিতিশীলতা অর্জন করার পরে, আমরা Apache Airflow DAGs ব্যবহার করে ETL পাইপলাইন তৈরি করতে শুরু করি। ETL প্রক্রিয়ার ফলাফলের উপর ভিত্তি করে ডেটা পরীক্ষা করে এমন বিশেষ এয়ারফ্লো ডিএজি লিখে স্বয়ংক্রিয় ডেটা গুণমান পরীক্ষা করা হয়েছিল। এই প্রকল্পের অংশ হিসাবে, আমরা ভাগ্যবান ছিলাম এবং গ্রাহক আমাদের বেনামী ডেটা সেটগুলিতে অ্যাক্সেস দিয়েছেন যার উপর আমরা পরীক্ষা করেছি। আমরা প্রকারের সাথে সম্মতি, ভাঙা ডেটার উপস্থিতি, আগে এবং পরে রেকর্ডের মোট সংখ্যা, একত্রিতকরণের জন্য ETL প্রক্রিয়া দ্বারা করা রূপান্তরগুলির তুলনা, কলামের নাম পরিবর্তন এবং অন্যান্য জিনিসগুলির জন্য লাইন দ্বারা ডেটা লাইন পরীক্ষা করেছি৷ এছাড়াও, এই চেকগুলি বিভিন্ন ডেটা উত্সে স্কেল করা হয়েছিল, উদাহরণস্বরূপ, SalesForce ছাড়াও, MySQL-এও৷

চূড়ান্ত ডেটা গুণমান পরীক্ষা ইতিমধ্যেই S3 স্তরে করা হয়েছিল, যেখানে সেগুলি সংরক্ষণ করা হয়েছিল এবং মেশিন লার্নিং মডেলের প্রশিক্ষণের জন্য ব্যবহারের জন্য প্রস্তুত ছিল৷ S3 বালতিতে অবস্থিত চূড়ান্ত CSV ফাইল থেকে ডেটা পেতে এবং এটিকে যাচাই করতে, কোডটি ব্যবহার করে লেখা হয়েছিল boto3 ক্লায়েন্ট.

একটি S3 বালতিতে ডেটার কিছু অংশ এবং অন্যটিতে কিছু অংশ সংরক্ষণ করার জন্য গ্রাহকের কাছ থেকে একটি প্রয়োজনীয়তাও ছিল৷ এই ধরনের সাজানোর নির্ভরযোগ্যতা পরীক্ষা করার জন্য অতিরিক্ত চেক লেখারও প্রয়োজন।

অন্যান্য প্রকল্প থেকে সাধারণ অভিজ্ঞতা

ডেটা কোয়ালিটি ইঞ্জিনিয়ারের ক্রিয়াকলাপের সবচেয়ে সাধারণ তালিকার একটি উদাহরণ:

• একটি স্বয়ংক্রিয় টুলের মাধ্যমে পরীক্ষার তথ্য (বৈধ অবৈধ বড় ছোট) প্রস্তুত করুন।
• প্রস্তুত ডেটা সেটটি মূল উৎসে আপলোড করুন এবং এটি ব্যবহারের জন্য প্রস্তুত কিনা তা পরীক্ষা করুন।
• একটি নির্দিষ্ট সেট সেটিংস ব্যবহার করে উৎস সঞ্চয়স্থান থেকে চূড়ান্ত বা মধ্যবর্তী সঞ্চয়স্থানে ডেটার একটি সেট প্রক্রিয়াকরণের জন্য ETL প্রক্রিয়া চালু করুন (যদি সম্ভব হয়, ETL টাস্কের জন্য কনফিগারযোগ্য প্যারামিটার সেট করুন)।
• ETL প্রক্রিয়া দ্বারা প্রক্রিয়াকৃত ডেটা যাচাই করুন এর গুণমান এবং ব্যবসার প্রয়োজনীয়তার সাথে সম্মতির জন্য।

একই সময়ে, চেকের মূল ফোকাস কেবলমাত্র সিস্টেমে ডেটা প্রবাহ নীতিগতভাবে কাজ করেছে এবং সমাপ্তিতে পৌঁছেছে (যা কার্যকরী পরীক্ষার অংশ), তবে বেশিরভাগ ক্ষেত্রে ডেটা পরীক্ষা এবং যাচাইকরণের উপর হওয়া উচিত। প্রত্যাশিত প্রয়োজনীয়তাগুলির সাথে সম্মতি, অসঙ্গতি সনাক্তকরণ এবং অন্যান্য জিনিসগুলি।

যন্ত্র

এই ধরনের ডেটা নিয়ন্ত্রণের কৌশলগুলির মধ্যে একটি হল ডেটা প্রক্রিয়াকরণের প্রতিটি পর্যায়ে চেইন চেকের সংগঠন, সাহিত্যে তথাকথিত "ডেটা চেইন" - উৎস থেকে চূড়ান্ত ব্যবহারের বিন্দু পর্যন্ত ডেটা নিয়ন্ত্রণ। এই ধরনের চেকগুলি প্রায়শই এসকিউএল কোয়েরি চেক করার মাধ্যমে প্রয়োগ করা হয়। এটা স্পষ্ট যে এই ধরনের প্রশ্নগুলি যতটা সম্ভব হালকা হওয়া উচিত এবং ডেটা গুণমানের পৃথক টুকরোগুলি পরীক্ষা করা উচিত (টেবিল মেটাডেটা, ফাঁকা লাইন, NULL, সিনট্যাক্সে ত্রুটি - চেক করার জন্য প্রয়োজনীয় অন্যান্য বৈশিষ্ট্য)।

রিগ্রেশন টেস্টিংয়ের ক্ষেত্রে, যা তৈরি (অপরিবর্তনযোগ্য, সামান্য পরিবর্তনযোগ্য) ডেটা সেট ব্যবহার করে, অটোটেস্ট কোড গুণমানের সাথে সম্মতির জন্য ডেটা পরীক্ষা করার জন্য তৈরি টেমপ্লেট সংরক্ষণ করতে পারে (প্রত্যাশিত টেবিলের মেটাডেটার বিবরণ; সারি নমুনা বস্তু যা হতে পারে পরীক্ষার সময় এলোমেলোভাবে নির্বাচিত, ইত্যাদি)।

এছাড়াও, পরীক্ষার সময়, আপনাকে Apache Airflow এর মতো ফ্রেমওয়ার্ক ব্যবহার করে ETL পরীক্ষা প্রক্রিয়া লিখতে হবে, আপা স্পার্ক অথবা এমনকি একটি ব্ল্যাক-বক্স ক্লাউড টাইপ টুল জিসিপি ডেটাপ্রেপ, GCP ডেটাফ্লো ইত্যাদি। এই পরিস্থিতিতে পরীক্ষা প্রকৌশলীকে উপরোক্ত সরঞ্জামগুলির পরিচালনার নীতিগুলিতে নিজেকে নিমজ্জিত করতে বাধ্য করে এবং আরও কার্যকরভাবে উভয়ই কার্যকরী পরীক্ষা পরিচালনা করে (উদাহরণস্বরূপ, একটি প্রকল্পে বিদ্যমান ETL প্রক্রিয়াগুলি) এবং ডেটা পরীক্ষা করতে সেগুলি ব্যবহার করে। বিশেষ করে, জনপ্রিয় বিশ্লেষণাত্মক ডাটাবেসের সাথে কাজ করার জন্য অ্যাপাচি এয়ারফ্লো রেডিমেড অপারেটর রয়েছে, উদাহরণস্বরূপ GCP BigQuery. এর ব্যবহারের সবচেয়ে মৌলিক উদাহরণ ইতিমধ্যেই বর্ণিত হয়েছে এখানে, তাই আমি নিজেকে পুনরাবৃত্তি করব না।

প্রস্তুত-তৈরি সমাধান ছাড়াও, কেউ আপনাকে আপনার নিজস্ব কৌশল এবং সরঞ্জামগুলি বাস্তবায়ন করতে নিষেধ করে না। এটি শুধুমাত্র প্রকল্পের জন্যই উপকারী হবে না, বরং ডেটা কোয়ালিটি ইঞ্জিনিয়ারের জন্যও উপকারী হবে, যিনি এর মাধ্যমে তার প্রযুক্তিগত দিগন্ত এবং কোডিং দক্ষতা উন্নত করবেন।

এটি একটি বাস্তব প্রকল্পে কিভাবে কাজ করে

"ডেটা চেইন", ETL এবং সর্বব্যাপী চেক সম্পর্কে শেষ অনুচ্ছেদের একটি ভাল উদাহরণ হল বাস্তব প্রকল্পগুলির একটি থেকে নিম্নলিখিত প্রক্রিয়া:

এখানে, বিভিন্ন ডেটা (স্বাভাবিকভাবে, আমাদের দ্বারা প্রস্তুত) আমাদের সিস্টেমের ইনপুট "ফানেল" প্রবেশ করে: বৈধ, অবৈধ, মিশ্র ইত্যাদি, তারপরে সেগুলি ফিল্টার করা হয় এবং একটি মধ্যবর্তী স্টোরেজে শেষ হয়, তারপরে সেগুলি আবার ধারাবাহিক রূপান্তরের মধ্য দিয়ে যায়। এবং চূড়ান্ত সঞ্চয়স্থানে স্থাপন করা হয়, যেখান থেকে, ঘুরে, বিশ্লেষণ, বিল্ডিং ডেটা মার্ট এবং ব্যবসার অন্তর্দৃষ্টি অনুসন্ধান করা হবে। এই ধরনের সিস্টেমে, ETL প্রক্রিয়াগুলির কার্যকারিতা যাচাই না করেই, আমরা রূপান্তরের আগে এবং পরে ডেটার গুণমান, সেইসাথে বিশ্লেষণে আউটপুটের উপর ফোকাস করি।

উপরের সংক্ষিপ্তসারের জন্য, আমি যেখানে কাজ করেছি তা নির্বিশেষে, সর্বত্র আমি ডেটা প্রকল্পগুলিতে জড়িত ছিলাম যা নিম্নলিখিত বৈশিষ্ট্যগুলি ভাগ করেছে:

• শুধুমাত্র অটোমেশনের মাধ্যমে আপনি কিছু ক্ষেত্রে পরীক্ষা করতে পারেন এবং ব্যবসার জন্য গ্রহণযোগ্য একটি রিলিজ চক্র অর্জন করতে পারেন।
• এই জাতীয় প্রকল্পের একজন পরীক্ষক হলেন দলের অন্যতম সম্মানিত সদস্য, কারণ এটি প্রতিটি অংশগ্রহণকারীদের জন্য দুর্দান্ত সুবিধা নিয়ে আসে (পরীক্ষার ত্বরণ, ডেটা সায়েন্টিস্টের কাছ থেকে ভাল ডেটা, প্রাথমিক পর্যায়ে ত্রুটিগুলি সনাক্তকরণ)।
• আপনি নিজের হার্ডওয়্যারে বা ক্লাউডে কাজ করেন কিনা তা বিবেচ্য নয় - সমস্ত সংস্থান একটি ক্লাস্টারে বিমূর্ত করা হয় যেমন Hortonworks, Cloudera, Mesos, Kubernetes, ইত্যাদি।
• প্রকল্পগুলি একটি মাইক্রোসার্ভিস পদ্ধতির উপর নির্মিত হয়, বিতরণ করা হয় এবং সমান্তরাল কম্পিউটিং প্রাধান্য পায়।

আমি মনে রাখতে চাই যে ডেটা গুণমানের ক্ষেত্রে পরীক্ষা করার সময়, একজন পরীক্ষা বিশেষজ্ঞ তার পেশাদার ফোকাস পণ্যের কোড এবং ব্যবহৃত সরঞ্জামগুলিতে স্থানান্তরিত করেন।

ডেটা গুণমান পরীক্ষার স্বতন্ত্র বৈশিষ্ট্য

এছাড়াও, আমার জন্য, আমি নিম্নলিখিতগুলি চিহ্নিত করেছি (আমি অবিলম্বে একটি সংরক্ষণ করব যে সেগুলি খুব সাধারণ এবং একচেটিয়াভাবে বিষয়ভিত্তিক) ডেটা (বিগ ডেটা) প্রকল্প (সিস্টেম) এবং অন্যান্য ক্ষেত্রে পরীক্ষার স্বতন্ত্র বৈশিষ্ট্যগুলি:

দরকারী লিঙ্ক

1. তত্ত্ব: DAMA-DMBOK: ডেটা ম্যানেজমেন্ট বডি অফ নলেজ: ২য় সংস্করণ.
2. প্রশিক্ষণ কেন্দ্র ইপিএএম 
3. প্রারম্ভিক ডেটা গুণমান প্রকৌশলীর জন্য প্রস্তাবিত উপকরণ:
   1. স্টেপিকে বিনামূল্যে কোর্স: ডাটাবেস পরিচিতি. 
   2. লিঙ্কডইন লার্নিং এর কোর্স: ডেটা সায়েন্স ফাউন্ডেশন: ডেটা ইঞ্জিনিয়ারিং.
   3. প্রবন্ধ:
      • ব্যবসায়িক বুদ্ধিমত্তা এবং ডেটা গুণমান; 
      • ETL টেস্টিং; 
      • ডেটা প্রোফাইলিং কি? প্রক্রিয়া, সর্বোত্তম অনুশীলন এবং সরঞ্জাম; 
      • টেস্ট ডেটা জেনারেশন: কি, কিভাবে, উদাহরণ, টুলস; 
      • 5 টেস্ট ডেটা জেনারেশন টেকনিক যা আপনার জানা দরকার। 
   4. ভিডিও:
      • ডাটা কোয়ালিটি কনসেপ্ট | ডেটা কোয়ালিটি টিউটোরিয়াল | ডেটা গুদামজাতকরণ টিউটোরিয়াল;
      • SSIS ব্যবহার করে ডেটা প্রোফাইলিং;
      • স্পার্ক সহ ডেটা প্রোফাইলিং এবং পাইপলাইন প্রক্রিয়াকরণ।

উপসংহার

উপাত্ত গুণমান একটি খুব অল্প বয়সী প্রতিশ্রুতিশীল দিক, যার একটি অংশ হওয়া মানে একটি স্টার্টআপের অংশ হওয়া। ডেটা কোয়ালিটিতে একবার, আপনি প্রচুর সংখ্যক আধুনিক, চাহিদামতো প্রযুক্তির মধ্যে নিমজ্জিত হবেন, তবে সবচেয়ে গুরুত্বপূর্ণভাবে, আপনার ধারণাগুলি তৈরি এবং বাস্তবায়নের জন্য আপনার জন্য প্রচুর সুযোগ উন্মুক্ত হবে। আপনি ক্রমাগত উন্নতি পদ্ধতি ব্যবহার করতে সক্ষম হবেন শুধুমাত্র প্রকল্পে নয়, নিজের জন্যও, ক্রমাগতভাবে একজন বিশেষজ্ঞ হিসাবে বিকাশ করতে।

উত্স: www.habr.com