রক, কাগজ, কাঁচি খেলার মতো ডেটা পরিষ্কার করুন। এই একটি শেষ সঙ্গে বা ছাড়া একটি খেলা? পার্ট 1. তাত্ত্বিক

1. প্রাথমিক তথ্য

ডাটা ক্লিনিং হল ডাটা অ্যানালাইসিস টাস্কের মুখোমুখি হওয়া চ্যালেঞ্জগুলির মধ্যে একটি। এই উপাদানটি ক্যাডাস্ট্রাল মান গঠনে ডাটাবেস বিশ্লেষণের একটি ব্যবহারিক সমস্যা সমাধানের ফলে উদ্ভূত উন্নয়ন এবং সমাধানগুলিকে প্রতিফলিত করে। সূত্র এখানে "খান্তি-মানসিস্ক স্বায়ত্তশাসিত ওক্রুগ - উগ্রা অঞ্চলে সমস্ত ধরণের রিয়েল এস্টেটের (জমি প্লট ব্যতীত) রাষ্ট্রীয় ক্যাডাস্ট্রাল মূল্যায়নের ফলাফলের উপর রিপোর্ট নং 01/OKS-2019".

ফাইল "তুলনামূলক মডেল total.ods" "পরিশিষ্ট B. KS 5 নির্ধারণের ফলাফল। ক্যাডস্ট্রাল মান 5.1 তুলনামূলক পদ্ধতি নির্ধারণের পদ্ধতির তথ্য" বিবেচনা করা হয়েছিল।

সারণী 1. "তুলনামূলক মডেল total.ods" ফাইলে ডেটাসেটের পরিসংখ্যান সূচক
ফিল্ডের মোট সংখ্যা, পিসি। — 44
রেকর্ডের মোট সংখ্যা, পিসি। — 365 490
অক্ষরের মোট সংখ্যা, পিসি। — 101 714 693
একটি রেকর্ডে অক্ষরের গড় সংখ্যা, পিসি। — 278,297
একটি রেকর্ডে অক্ষরের স্ট্যান্ডার্ড বিচ্যুতি, পিসি। - 15,510
একটি এন্ট্রিতে অক্ষরের ন্যূনতম সংখ্যা, পিসি। — 198
একটি এন্ট্রিতে অক্ষরের সর্বোচ্চ সংখ্যা, পিসি। — 363

2. পরিচায়ক অংশ। মৌলিক মান

নির্দিষ্ট ডাটাবেস বিশ্লেষণ করার সময়, পরিশুদ্ধকরণের ডিগ্রির জন্য প্রয়োজনীয়তাগুলি নির্দিষ্ট করার জন্য একটি টাস্ক তৈরি করা হয়েছিল, যেহেতু প্রত্যেকের কাছে স্পষ্ট, নির্দিষ্ট ডেটাবেস ব্যবহারকারীদের জন্য আইনি এবং অর্থনৈতিক পরিণতি তৈরি করে। কাজের সময়, দেখা গেল যে বড় ডেটা পরিষ্কার করার ডিগ্রির জন্য কোনও নির্দিষ্ট প্রয়োজনীয়তা নেই। এই বিষয়ে আইনি নিয়মাবলী বিশ্লেষণ করে, আমি এই সিদ্ধান্তে পৌঁছেছি যে তারা সব সম্ভাবনা থেকে গঠিত হয়। অর্থাৎ, একটি নির্দিষ্ট কাজ উপস্থিত হয়েছে, তথ্যের উত্সগুলি কাজের জন্য সংকলিত হয়েছে, তারপরে একটি ডেটাসেট তৈরি করা হয়েছে এবং তৈরি করা ডেটাসেটের উপর ভিত্তি করে, সমস্যা সমাধানের জন্য সরঞ্জামগুলি। ফলস্বরূপ সমাধানগুলি বিকল্পগুলি থেকে বেছে নেওয়ার ক্ষেত্রে রেফারেন্স পয়েন্ট। আমি চিত্র 1 এ উপস্থাপন করেছি।



যেহেতু, যেকোন মান নির্ধারণের ক্ষেত্রে, প্রমাণিত প্রযুক্তির উপর নির্ভর করা বাঞ্ছনীয়, তাই আমি প্রয়োজনীয়তাগুলি বেছে নিয়েছি "MHRA GxP ডেটা ইন্টিগ্রিটি সংজ্ঞা এবং শিল্পের জন্য নির্দেশিকা", কারণ আমি এই দস্তাবেজটিকে এই সমস্যার জন্য সবচেয়ে ব্যাপক বলে মনে করেছি৷ বিশেষ করে, এই নথিতে বিভাগে বলা হয়েছে "এটি লক্ষ করা উচিত যে ডেটা অখণ্ডতার প্রয়োজনীয়তা ম্যানুয়াল (কাগজ) এবং ইলেকট্রনিক ডেটাতে সমানভাবে প্রযোজ্য৷" (অনুবাদ: "...ডেটা অখণ্ডতার প্রয়োজনীয়তা ম্যানুয়াল (কাগজ) এবং ইলেকট্রনিক ডেটাতে সমানভাবে প্রযোজ্য")। এই প্রণয়নটি সিভিল প্রসিডিউর, আর্ট কোডের 71 অনুচ্ছেদের বিধানে "লিখিত প্রমাণ" ধারণার সাথে বিশেষভাবে যুক্ত। 70 CAS, আর্ট. 75 APC, "লিখিত" আর্ট। 84 কোড অফ সিভিল প্রসিডিউর।

চিত্র 2 আইনশাস্ত্রে তথ্যের প্রকারের পদ্ধতির গঠনের একটি চিত্র উপস্থাপন করে।

ভাত। 2. উৎস এখানে.

চিত্র 3 উপরের "নির্দেশিকা" এর কাজের জন্য চিত্র 1 এর প্রক্রিয়া দেখায়। একটি তুলনা করে দেখা যায় যে তথ্য ব্যবস্থার জন্য আধুনিক মানদণ্ডে তথ্য অখণ্ডতার প্রয়োজনীয়তা পূরণ করার সময় ব্যবহৃত পদ্ধতিগুলি তথ্যের আইনি ধারণার তুলনায় উল্লেখযোগ্যভাবে সীমিত।

চিত্র 3

নির্দিষ্ট নথিতে (নির্দেশনা), প্রযুক্তিগত অংশের সাথে সংযোগ, ডেটা প্রক্রিয়াকরণ এবং সংরক্ষণের ক্ষমতা, 18.2 অধ্যায়ের একটি উদ্ধৃতি দ্বারা ভালভাবে নিশ্চিত করা হয়েছে। রিলেশনাল ডাটাবেস: "এই ফাইল স্ট্রাকচারটি সহজাতভাবে আরও সুরক্ষিত, কারণ ডেটা একটি বড় ফাইল ফর্ম্যাটে রাখা হয় যা ডেটা এবং মেটাডেটার মধ্যে সম্পর্ক রক্ষা করে।"

প্রকৃতপক্ষে, এই পদ্ধতিতে - বিদ্যমান প্রযুক্তিগত ক্ষমতা থেকে, অস্বাভাবিক কিছুই নেই এবং, নিজেই, এটি একটি প্রাকৃতিক প্রক্রিয়া, যেহেতু ধারণাগুলির সম্প্রসারণ সবচেয়ে অধ্যয়ন করা কার্যকলাপ থেকে আসে - ডাটাবেস ডিজাইন। কিন্তু, অন্যদিকে, আইনি নিয়মগুলি উপস্থিত হয় যা বিদ্যমান সিস্টেমগুলির প্রযুক্তিগত ক্ষমতার উপর ছাড় দেয় না, উদাহরণস্বরূপ: GDPR - সাধারণ ডেটা সুরক্ষা প্রবিধান.

ভাত। 4. প্রযুক্তিগত ক্ষমতার ফানেল (উৎস).

এই দিকগুলিতে, এটি স্পষ্ট হয়ে যায় যে মূল ডেটাসেট (চিত্র 1) কে, প্রথমত, সংরক্ষণ করতে হবে এবং দ্বিতীয়ত, এটি থেকে অতিরিক্ত তথ্য বের করার ভিত্তি হতে হবে। ভাল, একটি উদাহরণ হিসাবে: ক্যামেরাগুলি ট্র্যাফিক নিয়মগুলি রেকর্ড করে সর্বব্যাপী, তথ্য প্রক্রিয়াকরণ সিস্টেমগুলি লঙ্ঘনকারীদের আগাছা দেয়, তবে অন্যান্য তথ্য অন্যান্য গ্রাহকদের কাছেও দেওয়া যেতে পারে, উদাহরণস্বরূপ, একটি শপিং সেন্টারে গ্রাহকদের প্রবাহের কাঠামোর বিপণন পর্যবেক্ষণ হিসাবে। এবং এটি BigDat ব্যবহার করার সময় অতিরিক্ত যোগ করা মূল্যের একটি উৎস। এটা খুবই সম্ভব যে বর্তমানে যে ডেটাসেটগুলি সংগ্রহ করা হচ্ছে, ভবিষ্যতে কোথাও, বর্তমান সময়ে 1700-এর বিরল সংস্করণগুলির মূল্যের মতো একটি প্রক্রিয়া অনুসারে মূল্য থাকবে৷ সর্বোপরি, আসলে, অস্থায়ী ডেটাসেটগুলি অনন্য এবং ভবিষ্যতে পুনরাবৃত্তি হওয়ার সম্ভাবনা নেই।

3. সূচনা অংশ। মূল্যায়ন মানদণ্ড

প্রক্রিয়াকরণ প্রক্রিয়া চলাকালীন, ত্রুটিগুলির নিম্নলিখিত শ্রেণীবিভাগ তৈরি করা হয়েছিল।

1. ত্রুটি শ্রেণী (GOST R 8.736-2011 এর উপর ভিত্তি করে): ক) পদ্ধতিগত ত্রুটি; খ) এলোমেলো ত্রুটি; গ) একটি ভুল।

2. বহুগুণ দ্বারা: ক) মনো বিকৃতি; খ) বহু-বিকৃতি।

3. ফলাফলের সমালোচনা অনুসারে: ক) সমালোচনামূলক; খ) সমালোচনামূলক নয়।

4. ঘটনার উত্স দ্বারা:

ক) প্রযুক্তিগত - ত্রুটিগুলি যা সরঞ্জামের অপারেশনের সময় ঘটে। আইওটি সিস্টেমের জন্য একটি মোটামুটি প্রাসঙ্গিক ত্রুটি, যোগাযোগের গুণমান, সরঞ্জাম (হার্ডওয়্যার) এর উপর উল্লেখযোগ্য মাত্রার প্রভাব সহ সিস্টেম।

খ) অপারেটর ত্রুটি - ইনপুট চলাকালীন অপারেটর টাইপো থেকে ডাটাবেস ডিজাইনের প্রযুক্তিগত বৈশিষ্ট্যের ত্রুটি পর্যন্ত বিস্তৃত পরিসরে ত্রুটি।

গ) ব্যবহারকারীর ত্রুটি - এখানে "লেআউটটি পরিবর্তন করতে ভুলে গেছি" থেকে ফুটের জন্য ভুল মিটার পর্যন্ত সম্পূর্ণ পরিসরে ব্যবহারকারীর ত্রুটি রয়েছে৷

5. একটি পৃথক শ্রেণীতে বিভক্ত:

ক) "বিভাজকের কাজ", অর্থাৎ স্থান এবং ":" (আমাদের ক্ষেত্রে) যখন এটি নকল করা হয়েছিল;
খ) একসাথে লেখা শব্দ;
গ) পরিষেবা অক্ষরের পরে কোন স্থান নেই
d) প্রতিসমভাবে একাধিক প্রতীক: (), "", "..."।

চিত্র 5-এ উপস্থাপিত ডাটাবেস ত্রুটিগুলির পদ্ধতিগতকরণের সাথে একসাথে নেওয়া, ত্রুটিগুলি অনুসন্ধান করার জন্য এবং এই উদাহরণের জন্য একটি ডেটা পরিষ্কার করার অ্যালগরিদম বিকাশের জন্য একটি মোটামুটি কার্যকর সমন্বয় ব্যবস্থা তৈরি করা হয়েছে।

ভাত। 5. ডাটাবেসের কাঠামোগত ইউনিটগুলির সাথে সম্পর্কিত সাধারণ ত্রুটিগুলি (সূত্র: ওরেশকভ V.I., Paklin N.B. "ডেটা একত্রীকরণের মূল ধারণা").

নির্ভুলতা, ডোমেন অখণ্ডতা, ডেটার ধরন, সামঞ্জস্যতা, অপ্রয়োজনীয়তা, সম্পূর্ণতা, সদৃশতা, ব্যবসার নিয়মের সাথে সামঞ্জস্য, কাঠামোগত নির্দিষ্টতা, ডেটা অসঙ্গতি, স্বচ্ছতা, সময়োপযোগী, ডেটা অখণ্ডতা নিয়ম মেনে চলা। (পৃষ্ঠা 334. আইটি পেশাদারদের জন্য ডেটা গুদামজাতকরণের মৌলিক বিষয়গুলি / পলরাজ পনিয়াহ।—২য় সংস্করণ।)

বন্ধনীতে ইংরেজি শব্দ এবং রাশিয়ান মেশিন অনুবাদ উপস্থাপন করা হয়েছে।

সঠিকতা. একটি ডেটা উপাদানের জন্য সিস্টেমে সংরক্ষিত মানটি ডেটা উপাদানটির সংঘটনের জন্য সঠিক মান। আপনার যদি একটি রেকর্ডে একটি গ্রাহকের নাম এবং একটি ঠিকানা সংরক্ষিত থাকে, তাহলে ঠিকানাটি সেই নামের গ্রাহকের জন্য সঠিক ঠিকানা। আপনি যদি অর্ডার নম্বর 1000-এর রেকর্ডে 12345678 ইউনিট হিসাবে অর্ডার করা পরিমাণ খুঁজে পান, তাহলে সেই পরিমাণটি সেই অর্ডারের জন্য সঠিক পরিমাণ।
[সঠিকতা. একটি ডেটা উপাদানের জন্য সিস্টেমে সংরক্ষিত মানটি ডেটা উপাদানটির সংঘটনের জন্য সঠিক মান। আপনার যদি একটি রেকর্ডে একটি গ্রাহকের নাম এবং ঠিকানা সংরক্ষিত থাকে, তাহলে সেই নামের গ্রাহকের জন্য ঠিকানাটি সঠিক ঠিকানা। আপনি যদি অর্ডার নম্বর 1000-এর রেকর্ডে 12345678 ইউনিট হিসাবে অর্ডার করা পরিমাণ খুঁজে পান, তাহলে সেই পরিমাণটি সেই অর্ডারের জন্য সঠিক পরিমাণ।]

ডোমেইন ইন্টিগ্রিটি। একটি বৈশিষ্ট্যের ডেটা মান অনুমোদিত, সংজ্ঞায়িত মানগুলির পরিসরে পড়ে৷ সাধারণ উদাহরণ হল লিঙ্গ তথ্য উপাদানের জন্য "পুরুষ" এবং "মহিলা" হওয়া অনুমোদিত মান।
[ডোমেন ইন্টিগ্রিটি। অ্যাট্রিবিউট ডেটা মান বৈধ, সংজ্ঞায়িত মানগুলির পরিসরের মধ্যে পড়ে৷ একটি সাধারণ উদাহরণ হল একটি লিঙ্গ তথ্য উপাদানের জন্য বৈধ মান "পুরুষ" এবং "মহিলা"।]

ডেটা টাইপ। একটি ডেটা অ্যাট্রিবিউটের মান আসলে সেই অ্যাট্রিবিউটের জন্য সংজ্ঞায়িত ডেটা টাইপ হিসাবে সংরক্ষণ করা হয়। যখন স্টোরের নামের ক্ষেত্রের ডেটা টাইপকে "টেক্সট" হিসাবে সংজ্ঞায়িত করা হয়, তখন সেই ক্ষেত্রের সমস্ত উদাহরণে পাঠ্য বিন্যাসে দেখানো স্টোরের নাম থাকে এবং সংখ্যাসূচক কোড নয়।
[ডেটা টাইপ। একটি ডেটা অ্যাট্রিবিউটের মান আসলে সেই অ্যাট্রিবিউটের জন্য সংজ্ঞায়িত ডেটা টাইপ হিসাবে সংরক্ষণ করা হয়। যদি দোকানের নামের ক্ষেত্রের ডেটা টাইপ "টেক্সট" হিসাবে সংজ্ঞায়িত করা হয়, তবে এই ক্ষেত্রের সমস্ত উদাহরণে সংখ্যাসূচক কোডের পরিবর্তে পাঠ্য বিন্যাসে প্রদর্শিত স্টোরের নাম থাকে।]

ধারাবাহিকতা। একটি ডেটা ক্ষেত্রের ফর্ম এবং বিষয়বস্তু একাধিক উত্স সিস্টেম জুড়ে একই। যদি একটি সিস্টেমে প্রোডাক্ট ABC এর প্রোডাক্ট কোড 1234 হয়, তাহলে প্রতিটি সোর্স সিস্টেমে এই প্রোডাক্টের কোড 1234 হয়।
[সংগতি। ডেটা ক্ষেত্রের ফর্ম এবং বিষয়বস্তু বিভিন্ন উত্স সিস্টেমে একই। যদি একটি সিস্টেমে পণ্য ABC-এর পণ্য কোড 1234 হয়, তাহলে প্রতিটি উৎস সিস্টেমে সেই পণ্যের কোড 1234 হয়।]

অপ্রয়োজনীয়তা। একটি সিস্টেমে একই ডেটা একাধিক জায়গায় সংরক্ষণ করা উচিত নয়। যদি, দক্ষতার কারণে, একটি ডেটা উপাদান ইচ্ছাকৃতভাবে একটি সিস্টেমে একাধিক জায়গায় সংরক্ষণ করা হয়, তাহলে অপ্রয়োজনীয়তা স্পষ্টভাবে চিহ্নিত এবং যাচাই করা আবশ্যক।
[অপ্রয়োজনীয়তা। একই ডেটা সিস্টেমে একাধিক জায়গায় সংরক্ষণ করা উচিত নয়। যদি, দক্ষতার কারণে, একটি ডেটা উপাদান ইচ্ছাকৃতভাবে একটি সিস্টেমের একাধিক স্থানে সংরক্ষণ করা হয়, তাহলে অপ্রয়োজনীয়তা স্পষ্টভাবে সংজ্ঞায়িত এবং যাচাই করা আবশ্যক।]

সম্পূর্ণতা। সিস্টেমে একটি প্রদত্ত বৈশিষ্ট্যের জন্য কোন অনুপস্থিত মান নেই। উদাহরণস্বরূপ, একটি গ্রাহক ফাইলে, প্রতিটি গ্রাহকের জন্য "রাষ্ট্র" ক্ষেত্রের জন্য একটি বৈধ মান থাকতে হবে। অর্ডারের বিশদ বিবরণের জন্য ফাইলে, একটি অর্ডারের জন্য প্রতিটি বিস্তারিত রেকর্ড সম্পূর্ণরূপে পূরণ করতে হবে।
[সম্পূর্ণতা। এই বৈশিষ্ট্যের জন্য সিস্টেমে কোন অনুপস্থিত মান নেই। উদাহরণস্বরূপ, ক্লায়েন্ট ফাইলের প্রতিটি ক্লায়েন্টের জন্য "স্থিতি" ক্ষেত্রের জন্য একটি বৈধ মান থাকতে হবে। অর্ডারের বিস্তারিত ফাইলে, প্রতিটি অর্ডারের বিস্তারিত রেকর্ড অবশ্যই সম্পূর্ণ করতে হবে।]

নকল। একটি সিস্টেমে রেকর্ডের ডুপ্লিকেশন সম্পূর্ণরূপে সমাধান করা হয়। যদি প্রোডাক্ট ফাইলে ডুপ্লিকেট রেকর্ড আছে বলে জানা যায়, তাহলে প্রতিটি প্রোডাক্টের জন্য সমস্ত ডুপ্লিকেট রেকর্ড চিহ্নিত করা হয় এবং একটি ক্রস-রেফারেন্স তৈরি করা হয়।
[নকল. সিস্টেমে রেকর্ডের নকল সম্পূর্ণরূপে নির্মূল করা হয়েছে। যদি একটি পণ্য ফাইলে ডুপ্লিকেট এন্ট্রি রয়েছে বলে জানা যায়, তাহলে প্রতিটি পণ্যের জন্য সমস্ত সদৃশ এন্ট্রি চিহ্নিত করা হয় এবং একটি ক্রস-রেফারেন্স তৈরি করা হয়।]

ব্যবসার নিয়ম মেনে চলা। প্রতিটি ডেটা আইটেমের মান নির্ধারিত ব্যবসায়িক নিয়ম মেনে চলে। একটি নিলাম পদ্ধতিতে, হাতুড়ি বা বিক্রয় মূল্য সংরক্ষিত মূল্যের চেয়ে কম হতে পারে না। একটি ব্যাঙ্ক ঋণ ব্যবস্থায়, ঋণের ব্যালেন্স সবসময় ইতিবাচক বা শূন্য হতে হবে।
[ব্যবসার নিয়ম মেনে চলা। প্রতিটি ডেটা উপাদানের মান প্রতিষ্ঠিত ব্যবসায়িক নিয়ম মেনে চলে। একটি নিলাম পদ্ধতিতে, হাতুড়ি বা বিক্রয় মূল্য সংরক্ষিত মূল্যের চেয়ে কম হতে পারে না। একটি ব্যাংকিং ক্রেডিট সিস্টেমে, ঋণের ব্যালেন্স সবসময় ইতিবাচক বা শূন্য হতে হবে।]

কাঠামোগত নির্দিষ্টতা। যেখানেই একটি ডেটা আইটেম স্বাভাবিকভাবেই পৃথক উপাদানে গঠন করা যেতে পারে, আইটেমটিতে অবশ্যই এই সু-সংজ্ঞায়িত কাঠামো থাকতে হবে। উদাহরণস্বরূপ, একজন ব্যক্তির নাম স্বাভাবিকভাবেই প্রথম নাম, মধ্যম আদ্যক্ষর এবং পদবীতে বিভক্ত হয়। ব্যক্তিদের নামের মানগুলি প্রথম নাম, মধ্যম আদ্যক্ষর এবং শেষ নাম হিসাবে সংরক্ষণ করতে হবে। ডেটা মানের এই বৈশিষ্ট্যটি মান প্রয়োগকে সহজ করে এবং অনুপস্থিত মানগুলিকে হ্রাস করে।
[কাঠামোগত নিশ্চিততা। যেখানে একটি ডেটা উপাদান প্রাকৃতিকভাবে পৃথক উপাদানগুলিতে গঠন করা যেতে পারে, উপাদানটিতে অবশ্যই এই সু-সংজ্ঞায়িত কাঠামো থাকতে হবে। উদাহরণস্বরূপ, একজন ব্যক্তির নাম স্বাভাবিকভাবেই প্রথম নাম, মধ্যম আদ্যক্ষর এবং পদবিতে বিভক্ত। স্বতন্ত্র নামের মানগুলি প্রথম নাম, মধ্যম আদ্যক্ষর এবং শেষ নাম হিসাবে সংরক্ষণ করা উচিত। এই ডেটা গুণমানের বৈশিষ্ট্যটি মান প্রয়োগকে সহজ করে এবং অনুপস্থিত মানগুলিকে হ্রাস করে।]

ডেটা অসঙ্গতি। একটি ক্ষেত্র শুধুমাত্র সেই উদ্দেশ্যে ব্যবহার করা উচিত যার জন্য এটি সংজ্ঞায়িত করা হয়েছে। যদি ক্ষেত্র ঠিকানা-3 দীর্ঘ ঠিকানার জন্য ঠিকানার সম্ভাব্য তৃতীয় লাইনের জন্য সংজ্ঞায়িত করা হয়, তাহলে এই ক্ষেত্রটি শুধুমাত্র ঠিকানার তৃতীয় লাইন রেকর্ড করার জন্য ব্যবহার করা আবশ্যক। এটি গ্রাহকের জন্য একটি ফোন বা ফ্যাক্স নম্বর প্রবেশ করার জন্য ব্যবহার করা উচিত নয়৷
[ডেটা অসঙ্গতি। একটি ক্ষেত্র শুধুমাত্র সেই উদ্দেশ্যে ব্যবহার করা উচিত যার জন্য এটি সংজ্ঞায়িত করা হয়েছে। যদি ঠিকানা-3 ক্ষেত্রটি দীর্ঘ ঠিকানার জন্য সম্ভাব্য তৃতীয় ঠিকানা লাইনের জন্য সংজ্ঞায়িত করা হয়, তাহলে এই ক্ষেত্রটি শুধুমাত্র তৃতীয় ঠিকানা লাইন রেকর্ড করতে ব্যবহার করা হবে। এটি একটি গ্রাহকের জন্য একটি টেলিফোন বা ফ্যাক্স নম্বর লিখতে ব্যবহার করা উচিত নয়।]

নির্মলতা. একটি ডেটা উপাদান মানসম্পন্ন ডেটার অন্যান্য সমস্ত বৈশিষ্ট্যের অধিকারী হতে পারে তবে ব্যবহারকারীরা যদি এর অর্থ স্পষ্টভাবে বুঝতে না পারে তবে ডেটা উপাদানটির ব্যবহারকারীদের কাছে কোনও মূল্য নেই। সঠিক নামকরণ প্রথাগুলি ব্যবহারকারীদের দ্বারা ডেটা উপাদানগুলিকে ভালভাবে বুঝতে সাহায্য করে।
[নির্মলতা. একটি ডেটা উপাদানে ভাল ডেটার অন্যান্য সমস্ত বৈশিষ্ট্য থাকতে পারে, তবে ব্যবহারকারীরা যদি এর অর্থ স্পষ্টভাবে না বোঝেন, তবে ডেটা উপাদান ব্যবহারকারীদের কাছে কোনও মূল্য নেই। সঠিক নামকরণ প্রথাগুলি ব্যবহারকারীদের দ্বারা ডেটা উপাদানগুলিকে ভালভাবে বুঝতে সাহায্য করে।]

সময়োপযোগী। ব্যবহারকারীরা ডেটার সময়োপযোগীতা নির্ধারণ করে। যদি ব্যবহারকারীরা আশা করেন যে গ্রাহকের মাত্রা ডেটা এক দিনের বেশি পুরানো হবে না, তাহলে উৎস সিস্টেমে গ্রাহক ডেটার পরিবর্তনগুলি প্রতিদিন ডেটা গুদামে প্রয়োগ করতে হবে।
[যথা সময়ে. ব্যবহারকারীরা ডেটার সময়োপযোগীতা নির্ধারণ করে। যদি ব্যবহারকারীরা আশা করেন যে গ্রাহকের মাত্রা ডেটা এক দিনের বেশি পুরানো হবে না, তবে উত্স সিস্টেমে গ্রাহক ডেটাতে পরিবর্তনগুলি প্রতিদিন ডেটা গুদামে প্রয়োগ করা উচিত।]

উপযোগিতা। ডেটা গুদামের প্রতিটি ডেটা উপাদানকে অবশ্যই ব্যবহারকারীদের সংগ্রহের কিছু প্রয়োজনীয়তা পূরণ করতে হবে। একটি ডেটা উপাদান সঠিক এবং উচ্চ মানের হতে পারে, তবে ব্যবহারকারীদের কাছে যদি এটির কোনো মূল্য না হয়, তাহলে সেই ডেটা উপাদানটির ডেটা গুদামে থাকা সম্পূর্ণরূপে অপ্রয়োজনীয়৷
[উপযোগিতা। ডেটা স্টোরের প্রতিটি ডেটা আইটেম ব্যবহারকারী সংগ্রহের কিছু প্রয়োজনীয়তা পূরণ করতে হবে। একটি ডেটা উপাদান সঠিক এবং উচ্চ মানের হতে পারে, কিন্তু যদি এটি ব্যবহারকারীদের কাছে মূল্য প্রদান না করে, তবে সেই ডেটা উপাদানটির ডেটা গুদামে থাকা আবশ্যক নয়।]

ডেটা ইন্টিগ্রিটি নিয়ম মেনে চলা। সোর্স সিস্টেমের রিলেশনাল ডাটাবেসে সংরক্ষিত ডাটা অবশ্যই সত্তা অখণ্ডতা এবং রেফারেন্সিয়াল ইন্টিগ্রিটি নিয়ম মেনে চলতে হবে। প্রাথমিক কী হিসাবে শূন্য করার অনুমতি দেয় এমন যেকোনো টেবিলের সত্তার অখণ্ডতা নেই। রেফারেন্সিয়াল অখণ্ডতা পিতামাতা-সন্তানের সম্পর্ক সঠিকভাবে প্রতিষ্ঠা করতে বাধ্য করে। একটি গ্রাহক-টু-অর্ডার সম্পর্কের মধ্যে, রেফারেন্সিয়াল অখণ্ডতা ডাটাবেসের প্রতিটি অর্ডারের জন্য একজন গ্রাহকের অস্তিত্ব নিশ্চিত করে।
[ডেটা ইন্টিগ্রিটি নিয়মের সাথে সম্মতি। সোর্স সিস্টেমের রিলেশনাল ডাটাবেসে সংরক্ষিত ডেটা অবশ্যই সত্তা অখণ্ডতা এবং রেফারেন্সিয়াল অখণ্ডতার নিয়ম মেনে চলতে হবে। প্রাথমিক কী হিসাবে নালকে অনুমতি দেয় এমন যে কোনো টেবিলের সত্তার অখণ্ডতা নেই। রেফারেন্সিয়াল সততা পিতামাতা এবং সন্তানদের মধ্যে সম্পর্ক সঠিকভাবে প্রতিষ্ঠিত হতে বাধ্য করে। একটি গ্রাহক-অর্ডার সম্পর্কের মধ্যে, রেফারেন্সিয়াল অখণ্ডতা নিশ্চিত করে যে ডাটাবেসের প্রতিটি অর্ডারের জন্য একজন গ্রাহক বিদ্যমান।]

4. ডেটা পরিষ্কারের গুণমান

বিগডাটাতে ডেটা পরিষ্কারের গুণমান একটি বরং সমস্যাযুক্ত সমস্যা। প্রতিটি ডেটা বিশ্লেষকের জন্য কাজটি সম্পূর্ণ করার জন্য কত ডিগ্রি ডেটা পরিষ্কার করা প্রয়োজন এই প্রশ্নের উত্তর দেওয়া মৌলিক। বেশিরভাগ বর্তমান সমস্যায়, প্রতিটি বিশ্লেষক নিজেই এটি নির্ধারণ করে এবং এটি অসম্ভাব্য যে বাইরে থেকে কেউ তার সমাধানে এই দিকটি মূল্যায়ন করতে সক্ষম হবে। কিন্তু এই ক্ষেত্রে হাতে থাকা কাজের জন্য, এই সমস্যাটি অত্যন্ত গুরুত্বপূর্ণ ছিল, যেহেতু আইনি ডেটার নির্ভরযোগ্যতা একটির দিকে ঝোঁক উচিত।

অপারেশনাল নির্ভরযোগ্যতা নির্ধারণ করতে সফ্টওয়্যার পরীক্ষার প্রযুক্তি বিবেচনা করা। আজ এই মডেলের চেয়ে বেশি আছে 200. অনেক মডেল একটি দাবি সার্ভিসিং মডেল ব্যবহার করে:

Рис। 6

নিম্নোক্তভাবে চিন্তা করা: "যদি পাওয়া ত্রুটিটি এই মডেলের ব্যর্থতার ইভেন্টের অনুরূপ একটি ইভেন্ট হয়, তাহলে প্যারামিটার t এর একটি অ্যানালগ কীভাবে খুঁজে পাবেন?" এবং আমি নিম্নলিখিত মডেলটি সংকলন করেছি: আসুন কল্পনা করি যে একটি রেকর্ড পরীক্ষা করতে একজন পরীক্ষকের সময় লাগে 1 মিনিট (প্রশ্নযুক্ত ডাটাবেসের জন্য), তারপরে সমস্ত ত্রুটি খুঁজে পেতে তার 365 মিনিটের প্রয়োজন হবে, যা প্রায় 494 বছর এবং 3 কাজের সময় মাস। আমরা বুঝতে পারি, এটি একটি খুব বড় পরিমাণ কাজ এবং ডাটাবেস পরীক্ষা করার খরচ এই ডাটাবেসের কম্পাইলারের জন্য নিষিদ্ধ হবে। এই প্রতিফলনে, খরচের অর্থনৈতিক ধারণা উপস্থিত হয় এবং বিশ্লেষণের পরে আমি এই সিদ্ধান্তে পৌঁছেছি যে এটি একটি মোটামুটি কার্যকর হাতিয়ার। অর্থনীতির আইনের উপর ভিত্তি করে: "উৎপাদনের পরিমাণ (ইউনিটগুলিতে) যেখানে একটি ফার্মের সর্বাধিক মুনাফা অর্জন করা হয় সেই স্থানে অবস্থিত যেখানে একটি নতুন ইউনিট উৎপাদনের প্রান্তিক খরচ এই ফার্মটি যে মূল্য পেতে পারে তার সাথে তুলনা করা হয়। একটি নতুন ইউনিটের জন্য।" প্রতিটি পরবর্তী ত্রুটি খুঁজে বের করার জন্য রেকর্ডের আরও বেশি করে পরীক্ষা করা প্রয়োজন, এটি একটি ব্যয়ের কারণ। অর্থাৎ, পরীক্ষার মডেলগুলিতে গৃহীত পোস্টুলেটটি নিম্নলিখিত প্যাটার্নে একটি শারীরিক অর্থ গ্রহণ করে: যদি i-th ত্রুটিটি খুঁজে পেতে n রেকর্ডগুলি পরীক্ষা করা প্রয়োজন হয়, তবে পরবর্তী (i+3) ত্রুটিটি খুঁজে পেতে এটি প্রয়োজনীয় হবে m রেকর্ড চেক করতে এবং একই সময়ে n

1. যখন একটি নতুন ত্রুটি পাওয়া যাওয়ার আগে পরীক্ষা করা রেকর্ডের সংখ্যা স্থিতিশীল হয়;
2. পরবর্তী ত্রুটি খুঁজে বের করার আগে রেকর্ডের সংখ্যা চেক করলে বাড়বে।

সমালোচনামূলক মান নির্ধারণের জন্য, আমি অর্থনৈতিক সম্ভাব্যতার ধারণার দিকে ফিরে এসেছি, যা এই ক্ষেত্রে, সামাজিক ব্যয়ের ধারণাটি ব্যবহার করে নিম্নরূপ প্রণয়ন করা যেতে পারে: "ত্রুটি সংশোধনের খরচ অর্থনৈতিক এজেন্ট দ্বারা বহন করা উচিত যা করতে পারে। এটি সর্বনিম্ন খরচে।" আমাদের একজন এজেন্ট আছে - একজন পরীক্ষক যিনি একটি রেকর্ড পরীক্ষা করতে 1 মিনিট ব্যয় করেন। আর্থিক শর্তে, আপনি যদি 6000 রুবেল/দিন উপার্জন করেন, তাহলে তা হবে 12,2 রুবেল। (আজ প্রায়) এটি অর্থনৈতিক আইনে ভারসাম্যের দ্বিতীয় দিকটি নির্ধারণ করতে রয়ে গেছে। আমি এই মত যুক্তি. বিদ্যমান ত্রুটির জন্য সংশ্লিষ্ট ব্যক্তিকে এটি সংশোধন করার জন্য প্রচেষ্টা ব্যয় করতে হবে, অর্থাৎ সম্পত্তির মালিক। ধরা যাক এর জন্য 1 দিনের কর্মের প্রয়োজন (একটি আবেদন জমা দিন, একটি সংশোধন করা নথি গ্রহণ করুন)। তারপর, সামাজিক দৃষ্টিকোণ থেকে, তার খরচ প্রতিদিন গড় বেতনের সমান হবে। খান্তি-মানসি স্বায়ত্তশাসিত অক্রুগে গড় অর্জিত বেতন "জানুয়ারি-সেপ্টেম্বর 2019 এর জন্য খান্তি-মানসিয়স্ক স্বায়ত্তশাসিত ওক্রুগ - উগ্রার আর্থ-সামাজিক উন্নয়নের ফলাফল" 73285 ঘষা। বা 3053,542 রুবেল/দিন। তদনুসারে, আমরা এর সমান একটি সমালোচনামূলক মান পাই:
3053,542: 12,2 = 250,4 রেকর্ডের একক।

এর মানে, সামাজিক দৃষ্টিকোণ থেকে, যদি একজন পরীক্ষক 251টি রেকর্ড চেক করেন এবং একটি ত্রুটি খুঁজে পান, তবে এটি ব্যবহারকারী নিজেই এই ত্রুটিটি সংশোধন করার সমতুল্য। তদনুসারে, যদি পরীক্ষক পরবর্তী ত্রুটি খুঁজে পেতে 252 রেকর্ড পরীক্ষা করার সমান সময় ব্যয় করেন, তবে এই ক্ষেত্রে সংশোধনের খরচ ব্যবহারকারীর কাছে স্থানান্তর করা ভাল।

একটি সরলীকৃত পদ্ধতি এখানে উপস্থাপন করা হয়েছে, যেহেতু সামাজিক দৃষ্টিকোণ থেকে প্রতিটি বিশেষজ্ঞের দ্বারা উত্পন্ন সমস্ত অতিরিক্ত মান বিবেচনা করা প্রয়োজন, অর্থাৎ কর এবং সামাজিক অর্থপ্রদান সহ খরচ, তবে মডেলটি পরিষ্কার। এই সম্পর্কের একটি ফলাফল হল বিশেষজ্ঞদের জন্য নিম্নলিখিত প্রয়োজনীয়তা: আইটি শিল্পের একজন বিশেষজ্ঞের অবশ্যই জাতীয় গড় থেকে বেশি বেতন থাকতে হবে। যদি তার বেতন সম্ভাব্য ডাটাবেস ব্যবহারকারীদের গড় বেতনের চেয়ে কম হয়, তবে তাকে অবশ্যই পুরো ডাটাবেস হাতে-কলমে পরীক্ষা করতে হবে।

বর্ণিত মানদণ্ড ব্যবহার করার সময়, ডাটাবেসের মানের জন্য প্রথম প্রয়োজনীয়তা গঠিত হয়:
I(tr)। গুরুতর ত্রুটির ভাগ 1/250,4 = 0,39938% এর বেশি হওয়া উচিত নয়। থেকে একটু কম পরিশোধন শিল্পে সোনা। এবং শারীরিক পরিপ্রেক্ষিতে ত্রুটি সহ 1459 টির বেশি রেকর্ড নেই।

অর্থনৈতিক পশ্চাদপসরণ।

প্রকৃতপক্ষে, রেকর্ডে এই ধরনের অনেক ভুল করে, সমাজ অর্থনৈতিক ক্ষতির পরিমাণে সম্মত হয়:

1459*3053,542 = 4 রুবেল।

এই পরিমাণটি এই সত্য দ্বারা নির্ধারিত হয় যে সমাজের কাছে এই খরচগুলি হ্রাস করার সরঞ্জাম নেই। এটি অনুসরণ করে যে কারও কাছে যদি এমন একটি প্রযুক্তি থাকে যা তাদের ত্রুটি সহ রেকর্ডের সংখ্যা হ্রাস করতে দেয়, উদাহরণস্বরূপ, 259, তাহলে এটি সমাজকে সংরক্ষণ করার অনুমতি দেবে:
1200*3053,542 = 3 রুবেল।

তবে একই সময়ে, তিনি তার প্রতিভা এবং কাজের জন্য জিজ্ঞাসা করতে পারেন, আচ্ছা, আসুন বলি - 1 মিলিয়ন রুবেল।
অর্থাৎ, সামাজিক খরচ কমে যায়:

3 – 664 = 250 রুবেল।

সংক্ষেপে, এই প্রভাবটি হল BigDat প্রযুক্তির ব্যবহার থেকে যোগ করা মান।

তবে এখানে এটি বিবেচনা করা উচিত যে এটি একটি সামাজিক প্রভাব, এবং ডাটাবেসের মালিক হলেন পৌর কর্তৃপক্ষ, এই ডাটাবেসে রেকর্ড করা সম্পত্তি ব্যবহার থেকে তাদের আয়, 0,3% হারে, হল: 2,778 বিলিয়ন রুবেল/ বছর এবং এই খরচগুলি (4 রুবেল) তাকে খুব বেশি বিরক্ত করে না, যেহেতু সেগুলি সম্পত্তির মালিকদের কাছে স্থানান্তরিত হয়। এবং, এই দিকটিতে, বিগডাটাতে আরও পরিমার্জিত প্রযুক্তির বিকাশকারীকে এই ডাটাবেসের মালিককে বোঝানোর ক্ষমতা দেখাতে হবে এবং এই জাতীয় জিনিসগুলির জন্য যথেষ্ট প্রতিভা প্রয়োজন।

এই উদাহরণে, নির্ভরযোগ্যতা পরীক্ষার সময় সফ্টওয়্যার যাচাইকরণের Schumann মডেল [2] এর উপর ভিত্তি করে ত্রুটি মূল্যায়ন অ্যালগরিদমটি বেছে নেওয়া হয়েছিল। ইন্টারনেটে এর ব্যাপকতা এবং প্রয়োজনীয় পরিসংখ্যান সূচক প্রাপ্ত করার ক্ষমতার কারণে। পদ্ধতিটি মোনাখভ ইউ.এম থেকে নেওয়া হয়েছে। "তথ্য সিস্টেমের কার্যকরী স্থিতিশীলতা", চিত্রে স্পয়লারের নীচে দেখুন। 7-9।

ভাত। শুম্যান মডেলের 7 – 9 পদ্ধতি





এই উপাদানটির দ্বিতীয় অংশটি ডেটা পরিষ্কারের একটি উদাহরণ উপস্থাপন করে, যেখানে শুম্যান মডেল ব্যবহার করার ফলাফল পাওয়া যায়।
আমাকে প্রাপ্ত ফলাফল উপস্থাপন করতে দিন:
ত্রুটির আনুমানিক সংখ্যা N = 3167 n।
প্যারামিটার সি, ল্যাম্বডা এবং নির্ভরযোগ্যতা ফাংশন:

চিত্র 17

মূলত, ল্যাম্বডা হল তীব্রতার একটি প্রকৃত সূচক যার সাথে প্রতিটি পর্যায়ে ত্রুটি সনাক্ত করা হয়। আপনি যদি দ্বিতীয় অংশটি দেখেন, এই সূচকটির অনুমান প্রতি ঘন্টায় 42,4 ত্রুটি ছিল, যা শুম্যান সূচকের সাথে বেশ তুলনীয়। উপরে, এটি নির্ধারণ করা হয়েছিল যে প্রতি মিনিটে 1টি রেকর্ড পরীক্ষা করার সময় একজন বিকাশকারী যে হারে ত্রুটি খুঁজে পান তা প্রতি 250,4 রেকর্ডে 1 ত্রুটির কম হওয়া উচিত নয়। তাই শুম্যান মডেলের জন্য ল্যাম্বডার সমালোচনামূলক মান:

60 / 250,4 = 0,239617।

অর্থাৎ, ল্যাম্বডা উপলব্ধ 38,964 থেকে 0,239617 এ নেমে না যাওয়া পর্যন্ত ত্রুটিগুলি খুঁজে বের করার পদ্ধতিগুলি সম্পাদন করতে হবে।

অথবা যতক্ষণ না সূচক N (ত্রুটির সম্ভাব্য সংখ্যা) বিয়োগ n (ত্রুটির সংশোধিত সংখ্যা) আমাদের স্বীকৃত থ্রেশহোল্ডের নীচে হ্রাস পায় - 1459 পিসি।

সাহিত্য

1. মোনাখভ, ইউ. এম. তথ্য সিস্টেমের কার্যকরী স্থিতিশীলতা। 3 ঘন্টার মধ্যে। অংশ 1. সফ্টওয়্যার নির্ভরযোগ্যতা: পাঠ্যপুস্তক। ভাতা / ইউ. এম. মোনাখভ; ভ্লাদিম। অবস্থা বিশ্ববিদ্যালয় - ভ্লাদিমির: ইজভো ভ্লাদিম। অবস্থা বিশ্ববিদ্যালয়, 2011। - 60 পি। – আইএসবিএন 978-5-9984-0189-3।
2. মার্টিন এল. শুম্যান, "সফ্টওয়্যার নির্ভরযোগ্যতার পূর্বাভাসের জন্য সম্ভাব্য মডেল।"
3. আইটি পেশাদারদের জন্য ডেটা গুদামজাতকরণের মৌলিক বিষয়গুলি / পলরাজ পোনিয়া।—২য় সংস্করণ।

অংশ দুই. তাত্ত্বিক

উত্স: www.habr.com