শিলা, কাগজ, কাঁচি মত ডেটা পরিষ্কার করা। এই একটি ফিনিস সঙ্গে বা ছাড়া একটি খেলা? পার্ট 2. ব্যবহারিক

В প্রথম অংশ এটি বর্ণনা করা হয়েছিল যে এই প্রকাশনাটি খান্তি-মানসি স্বায়ত্তশাসিত ওক্রুগে রিয়েল এস্টেটের ক্যাডাস্ট্রাল মূল্যায়নের ফলাফলের ডেটাসেটের ভিত্তিতে তৈরি করা হয়েছিল।

ব্যবহারিক অংশ ধাপ আকারে উপস্থাপন করা হয়. সমস্ত পরিষ্কার করা হয়েছিল এক্সেলে, যেহেতু সর্বাধিক সাধারণ সরঞ্জাম এবং বর্ণিত ক্রিয়াকলাপগুলি এক্সেল জানেন এমন বেশিরভাগ বিশেষজ্ঞ দ্বারা পুনরাবৃত্তি করা যেতে পারে। এবং হাতে-কলমে কাজের জন্য বেশ উপযুক্ত।

শূন্য পর্যায়টি চালু করা, ফাইলটি সংরক্ষণ করার কাজ হবে, যেহেতু এটি 100 এমবি আকারের, তারপরে এই ক্রিয়াকলাপগুলির সংখ্যা, দশ এবং শত শত, তারা একটি উল্লেখযোগ্য পরিমাণ সময় নেয়।
খোলা, গড়ে, - 30 সেকেন্ড।
সংরক্ষণ - 22 সেকেন্ড।

প্রথম পর্যায়টি ডেটাসেটের পরিসংখ্যানগত সূচক নির্ধারণের সাথে শুরু হয়।

সারণী 1. ডেটাসেট পরিসংখ্যান

প্রযুক্তি 2.1.

আমরা একটি সহায়ক ক্ষেত্র তৈরি করি, আমার কাছে এটি সংখ্যার অধীনে রয়েছে - AY। প্রতিটি এন্ট্রির জন্য, আমরা সূত্র তৈরি করি "= DLSTR (F365502) + DLSTR (G365502) + ... + DLSTR (AW365502)"

ধাপ 2.1 (শুম্যান সূত্রের জন্য) t21 = 1 ঘন্টা ব্যয় করা মোট সময়।
2.1 পর্যায়ে পাওয়া ত্রুটির সংখ্যা (শুম্যান সূত্রের জন্য) n21 = 0 পিসি।

দ্বিতীয় পর্যায়।
ডেটাসেটের উপাদান পরীক্ষা করা হচ্ছে।
2.2। রেকর্ডের সমস্ত মান স্ট্যান্ডার্ড অক্ষর দ্বারা গঠিত হয়। অতএব, আমরা প্রতীক দ্বারা পরিসংখ্যান ট্র্যাক করব.

সারণী 2. ফলাফলের প্রাথমিক বিশ্লেষণ সহ ডেটাসেটে অক্ষর পরিসংখ্যান।





প্রযুক্তি 2.2.1.

একটি সহায়ক ক্ষেত্র তৈরি করুন - "আলফা1"। প্রতিটি রেকর্ডের জন্য, আমরা সূত্র তৈরি করি "=CONCATENATE(Sheet1!B9;...Sheet1!AQ9)"
আমরা একটি নির্দিষ্ট সেল "ওমেগা -1" তৈরি করি। এই ঘরে, আমরা বিকল্পভাবে Windows-1251-এর জন্য 32 থেকে 255 পর্যন্ত অক্ষর কোড লিখব।
একটি সহায়ক ক্ষেত্র তৈরি করুন - "alpha2"। সূত্রের সাথে "= FIND (CHAR (Omega, 1), "alpha1", N)"।
একটি সহায়ক ক্ষেত্র তৈরি করুন - "alpha3"। সূত্রের সাথে "=IF(ISNUMBER("alpha2";N);1;0)"
"=SUM("alpha2"N3:"alpha1"N3)" সূত্র সহ একটি নির্দিষ্ট সেল "Omega-365498" তৈরি করুন

সারণী 3. ফলাফলের প্রাথমিক বিশ্লেষণের ফলাফল

সারণী 4. এই পর্যায়ে স্থির ত্রুটি

ধাপ 2.2.1 (শুম্যান সূত্রের জন্য) t221 = 8 ঘন্টা ব্যয় করা মোট সময়।
2.2.1 পর্যায়ে সংশোধন করা ত্রুটির সংখ্যা (শুম্যান সূত্রের জন্য) n221 = 0 পিসি।

স্টেজ 3।
তৃতীয় ধাপ হল ডেটাসেটের অবস্থা ঠিক করা। প্রতিটি রেকর্ডকে একটি অনন্য নম্বর (আইডি) এবং প্রতিটি ক্ষেত্র নির্ধারণ করে। রূপান্তরিত ডেটাসেটটিকে আসলটির সাথে তুলনা করার জন্য এটি প্রয়োজনীয়৷ গ্রুপিং এবং ফিল্টারিংয়ের সম্ভাবনাগুলি সম্পূর্ণরূপে ব্যবহার করাও প্রয়োজনীয়। এখানে আমরা আবার সারণি 2.2.2 এ ফিরে যাই এবং একটি প্রতীক নির্বাচন করি যা ডেটাসেটে ব্যবহৃত হয় না। আমরা চিত্র 10 এ যা দেখানো হয়েছে তা পাই।

চিত্র 10। শনাক্তকারীর অ্যাসাইনমেন্ট।

ধাপ 3 (শুম্যান সূত্রের জন্য) t3 = 0,75 ঘন্টা ব্যয় করা মোট সময়।
3 পর্যায়ে পাওয়া ত্রুটির সংখ্যা (শুম্যান সূত্রের জন্য) n3 = 0 পিসি।

যেহেতু শুম্যান সূত্রের প্রয়োজন হয় যে পর্যায়টি ত্রুটি সংশোধন করে সম্পন্ন করা হবে। আমরা স্টেজ 2 এ ফিরে যাই।

স্টেজ 2.2.2।
এই ধাপে, আমরা ডাবল এবং ট্রিপল স্পেসও ঠিক করব।

চিত্র 11। ডাবল স্পেসের সংখ্যা।

সারণী 2.2.4-এ চিহ্নিত ত্রুটির সংশোধন।

সারণী 5. ত্রুটি সংশোধন পর্যায়


কেন “e” বা “ё” অক্ষরের ব্যবহারের মতো একটি দিক গুরুত্বপূর্ণ তার একটি উদাহরণ চিত্র 12-এ দেখানো হয়েছে।

চিত্র 12। "ই" অক্ষরের অমিল।

ধাপ 2.2.2 t222 = 4 ঘন্টায় ব্যয় করা মোট সময়।
2.2.2 পর্যায়ে পাওয়া ত্রুটির সংখ্যা (শুম্যান সূত্রের জন্য) n222 = 583 পিসি।

পর্যায় চার.
ক্ষেত্রগুলির অপ্রয়োজনীয়তা পরীক্ষা করা এই পর্যায়ে ভালভাবে ফিট করে। 44টি ক্ষেত্রের মধ্যে 6টি ক্ষেত্র:
7 - কাঠামোর উদ্দেশ্য
16 - ভূগর্ভস্থ মেঝে সংখ্যা
17 - মূল বস্তু
21 - গ্রাম পরিষদ
38 - কাঠামোর পরামিতি (বর্ণনা)
40 - সাংস্কৃতিক ঐতিহ্য

তাদের কোনো রেকর্ড নেই। অর্থাৎ অপ্রয়োজনীয়।
ফিল্ড "22 - সিটি" এর একটি একক এন্ট্রি আছে, চিত্র 13৷

চিত্র.13. "শহর" ক্ষেত্রের মধ্যে একমাত্র এন্ট্রি হল Z_348653৷

"34 - বিল্ডিংয়ের নাম" ক্ষেত্রটিতে এমন রেকর্ড রয়েছে যা স্পষ্টভাবে ক্ষেত্রের উদ্দেশ্যের সাথে সঙ্গতিপূর্ণ নয়, চিত্র 14৷

Fig.14. একটি নন-মেলা এন্ট্রি একটি উদাহরণ.

আমরা ডেটাসেট থেকে এই ক্ষেত্রগুলি বাদ দিই। এছাড়াও আমরা 214 রেকর্ডের পরিবর্তন ঠিক করি।

ধাপ 4 (শুম্যান সূত্রের জন্য) t4 = 2,5 ঘন্টা ব্যয় করা মোট সময়।
4 পর্যায়ে পাওয়া ত্রুটির সংখ্যা (শুম্যান সূত্রের জন্য) n4 = 222 পিসি।

সারণি 6. চতুর্থ পর্যায়ের পরে ডেটাসেট সূচকগুলির বিশ্লেষণ

সাধারণভাবে, সূচকগুলির পরিবর্তনগুলি বিশ্লেষণ করে (সারণী 6), আমরা বলতে পারি যে:
1) স্ট্যান্ডার্ড ডেভিয়েশন লিভারেজের সাথে প্রতীকগুলির গড় সংখ্যার লিভারেজ অনুপাত 3 এর কাছাকাছি, অর্থাৎ, একটি স্বাভাবিক বন্টনের লক্ষণ রয়েছে (ছয়টি সিগমা নিয়ম)।
2) গড় লিভার থেকে ন্যূনতম এবং সর্বোচ্চ লিভারের একটি উল্লেখযোগ্য বিচ্যুতি পরামর্শ দেয় যে লেজের অধ্যয়ন ত্রুটিগুলির অনুসন্ধানে একটি প্রতিশ্রুতিশীল দিক।

আমরা শুম্যান পদ্ধতি ব্যবহার করে ত্রুটি খুঁজে বের করার ফলাফলগুলি তদন্ত করি।

নিষ্ক্রিয় পর্যায়

2.1। ধাপ 2.1 (শুম্যান সূত্রের জন্য) t21 = 1 ঘন্টা ব্যয় করা মোট সময়।
2.1 পর্যায়ে পাওয়া ত্রুটির সংখ্যা (শুম্যান সূত্রের জন্য) n21 = 0 পিসি।

3। ধাপ 3 (শুম্যান সূত্রের জন্য) t3 = 0,75 ঘন্টা ব্যয় করা মোট সময়।
3 পর্যায়ে পাওয়া ত্রুটির সংখ্যা (শুম্যান সূত্রের জন্য) n3 = 0 পিসি।

কার্যকরী পর্যায়
2.2। ধাপ 2.2.1 (শুম্যান সূত্রের জন্য) t221 = 8 ঘন্টা ব্যয় করা মোট সময়।
2.2.1 পর্যায়ে সংশোধন করা ত্রুটির সংখ্যা (শুম্যান সূত্রের জন্য) n221 = 0 পিসি।
ধাপ 2.2.2 t222 = 4 ঘন্টায় ব্যয় করা মোট সময়।
2.2.2 পর্যায়ে পাওয়া ত্রুটির সংখ্যা (শুম্যান সূত্রের জন্য) n222 = 583 পিসি।

2.2 ধাপে মোট সময় ব্যয় হয়েছে t22 = 8 + 4 = 12 ঘন্টা।
2.2.2 পর্যায়ে পাওয়া ত্রুটির সংখ্যা (শুম্যান সূত্রের জন্য) n222 = 583 পিসি।

4। ধাপ 4 (শুম্যান সূত্রের জন্য) t4 = 2,5 ঘন্টা ব্যয় করা মোট সময়।
4 পর্যায়ে পাওয়া ত্রুটির সংখ্যা (শুম্যান সূত্রের জন্য) n4 = 222 পিসি।

যেহেতু শুম্যান মডেলের প্রথম ধাপে শূন্য পর্যায়গুলি অন্তর্ভুক্ত করা উচিত, এবং অন্যদিকে, পর্যায় 2.2 এবং 4 সহজাতভাবে স্বতন্ত্র, এই কারণে যে শুমান মডেল ধরে নেয় যে চেকের সময়কাল বৃদ্ধি, সম্ভাব্যতা ত্রুটি সনাক্তকরণ হ্রাস পায়, অর্থাৎ, প্রবাহের ব্যর্থতা, তারপরে এই প্রবাহটি তদন্ত করে, আমরা নির্ধারণ করব কোন ধাপগুলিকে প্রথমে রাখতে হবে, নিয়ম অনুসারে, যেখানে ব্যর্থতার ঘনত্ব বেশি ঘন ঘন হয়, আমরা পর্যায়গুলির মধ্যে একটিকে প্রথমে রাখি। .

চিত্র 15।

এটি চিত্র 15-এর সূত্র থেকে অনুসৃত হয় যে গণনার ক্ষেত্রে চতুর্থ পর্যায়টি পর্যায় 2.2-এর আগে রাখা ভালো।

Schumann সূত্র ব্যবহার করে, আমরা ত্রুটির আনুমানিক প্রাথমিক সংখ্যা নির্ধারণ করি:

চিত্র 16।

চিত্র 16-এর ফলাফলগুলি থেকে, এটি দেখা যায় যে ত্রুটির পূর্বাভাস সংখ্যা N2 = 3167, যা 1459-এর সর্বনিম্ন মানদণ্ডের চেয়ে বেশি।

সংশোধনের ফলস্বরূপ, আমরা 805টি ত্রুটি সংশোধন করেছি, এবং পূর্বাভাসিত সংখ্যা হল 3167 - 805 = 2362, যা এখনও আমাদের দ্বারা গৃহীত ন্যূনতম থ্রেশহোল্ডের চেয়ে বেশি৷

আমরা প্যারামিটার সি, ল্যাম্বডা এবং নির্ভরযোগ্যতা ফাংশন সংজ্ঞায়িত করি:

চিত্র 17।

সংক্ষেপে, ল্যাম্বডা হল প্রকৃত হার যেখানে প্রতিটি পর্যায়ে ত্রুটি সনাক্ত করা হয়। আপনি যদি উপরে দেখেন, এই সূচকটির অনুমান আগে ছিল প্রতি ঘন্টায় 42,4 ত্রুটি, যা শুমান সূচকের সাথে বেশ তুলনীয়। এই উপাদানটির প্রথম অংশের উল্লেখ করে, এটি নির্ধারণ করা হয়েছিল যে প্রতি মিনিটে 1টি রেকর্ড পরীক্ষা করার সময় বিকাশকারীর দ্বারা ত্রুটি খুঁজে পাওয়ার হার 250,4 রেকর্ড প্রতি 1 ত্রুটির কম হওয়া উচিত নয়। তাই শুম্যান মডেলের জন্য সমালোচনামূলক ল্যাম্বডা মান:
60 / 250,4 = 0,239617।

অর্থাৎ, ল্যাম্বডা উপলব্ধ 38,964 থেকে 0,239617 এ নেমে না যাওয়া পর্যন্ত ত্রুটিগুলি খুঁজে বের করার পদ্ধতিগুলি সম্পাদন করতে হবে।

অথবা যতক্ষণ না সূচক N (ত্রুটির সম্ভাব্য সংখ্যা) বিয়োগ n (ত্রুটির সংশোধিত সংখ্যা) আমরা গৃহীত থ্রেশহোল্ডের নীচে হ্রাস না করে (প্রথম অংশে) - 1459 পিসি।

পার্ট 1. তাত্ত্বিক।

উত্স: www.habr.com