Почистване на данни като камък, хартия, ножици. Игра със или без финал ли е? Част 2. Практически

В част първа беше описано, че тази публикация е направена въз основа на набор от данни от резултатите от кадастрална оценка на недвижими имоти в автономния окръг Ханти-Манси.

Практическата част е представена под формата на стъпки. Цялото почистване беше извършено в Excel, тъй като най-често срещаният инструмент и описаните операции могат да бъдат повторени от повечето специалисти, които познават Excel. И доста подходящ за ръчна работа.

Нулевият етап ще бъде работата по стартиране, запазване на файла, тъй като той е с размер 100 mb, тогава с броя на тези операции, десетки и стотици, те отнемат значително време.
Отваряне, средно, - 30 секунди.
Спестяване - 22 сек.

Първият етап започва с определяне на статистическите показатели на набора от данни.

Таблица 1. Статистика на набор от данни

Технология 2.1.

Създаваме спомагателно поле, имам го под номер - AY. За всеки запис ние формираме формулата "= DLSTR (F365502) + DLSTR (G365502) + ... + DLSTR (AW365502)"

Общото време, прекарано на стъпка 2.1 (за формулата на Шуман) t21 = 1 час.
Броят на откритите грешки на етап 2.1 (за формулата на Шуман) n21 = 0 бр.

Вторият етап.
Проверка на компонентите на набора от данни.
2.2. Всички стойности в записите се формират от стандартни знаци. Затова ще следим статистиката по символи.

Таблица 2. Статистика на знаците в набора от данни с предварителен анализ на резултатите.





Технология 2.2.1.

Създайте спомагателно поле - "alpha1". За всеки запис формираме формулата "=CONCATENATE(Sheet1!B9;...Sheet1!AQ9)"
Създаваме фиксирана клетка "Омега-1". В тази клетка последователно ще въвеждаме кодове на знаци за Windows-1251 от 32 до 255.
Създайте спомагателно поле - "alpha2". С формулата "= FIND (CHAR (Omega, 1), "alpha1", N)".
Създайте спомагателно поле - "alpha3". С формулата "=IF(ISNUMBER("alpha2";N);1;0)"
Създайте фиксирана клетка "Омега-2" с формулата "=SUM("alpha3"N1:"alpha3"N365498)"

Таблица 3. Резултати от предварителния анализ на резултатите

Таблица 4. Коригирани грешки на този етап

Общото време, прекарано на стъпка 2.2.1 (за формулата на Шуман) t221 = 8 час.
Броят на коригираните грешки на етап 2.2.1 (за формулата на Шуман) n221 = 0 бр.

Стъпка 3.
Третата стъпка е да коригирате състоянието на набора от данни. Чрез присвояване на всеки запис на уникален номер (ID) и всяко поле. Това е необходимо за сравняване на конвертирания набор от данни с оригиналния. Също така е необходимо да се използват напълно възможностите за групиране и филтриране. Тук отново се обръщаме към таблица 2.2.2 и избираме символ, който не се използва в набора от данни. Получаваме това, което е показано на фигура 10.

Фиг.10. Присвояване на идентификатори.

Общото време, прекарано на стъпка 3 (за формулата на Шуман) t3 = 0,75 час.
Броят на откритите грешки на етап 3 (за формулата на Шуман) n3 = 0 бр.

Тъй като формулата на Шуман изисква етапът да бъде завършен чрез коригиране на грешки. Връщаме се към етап 2.

Стъпка 2.2.2.
В тази стъпка също ще коригираме двойни и тройни интервали.

Фиг.11. Броят на двойните интервали.

Коригиране на грешките, посочени в таблица 2.2.4.

Таблица 5. Фаза на коригиране на грешки


Пример защо такъв аспект като използването на буквите „е“ или „ё“ е важен е показан на фигура 12.

Фиг.12. Несъответствие на буквата "е".

Общо време, прекарано в стъпка 2.2.2 t222 = 4 часа.
Броят на откритите грешки на етап 2.2.2 (за формулата на Шуман) n222 = 583 бр.

Четвъртият етап.
Проверката за излишък на полетата се вписва добре в този етап. От 44 полета 6 полета:
7 - Предназначение на конструкцията
16 - Брой подземни етажи
17 - Родителски обект
21 - Селски съвет
38 - Параметри на структурата (описание)
40 - Културно наследство

Те нямат никакви записи. Тоест излишно.
Полето "22 - Град" има един единствен запис, Фигура 13.

Фиг.13. Единственият запис е Z_348653 в полето "Град".

Полето "34 - Име на сградата" съдържа записи, които явно не отговарят на предназначението на полето, Фигура 14.

Фиг.14. Пример за несъответстващ запис.

Ние изключваме тези полета от набора от данни. Също така коригираме промяна на 214 записа.

Общото време, прекарано на стъпка 4 (за формулата на Шуман) t4 = 2,5 час.
Броят на откритите грешки на етап 4 (за формулата на Шуман) n4 = 222 бр.

Таблица 6. Анализ на индикаторите за набор от данни след 4-ти етап

Като цяло, анализирайки промените в показателите (Таблица 6), можем да кажем, че:
1) Коефициентът на ливъридж на средния брой символи към ливъриджа на стандартното отклонение е близо до 3, т.е. има признаци на нормално разпределение (правило на шест сигми).
2) Значително отклонение на минималните и максималните лостове от средния лост предполага, че изследването на опашките е обещаваща посока в търсенето на грешки.

Ние изследваме резултатите от намирането на грешки по методологията на Шуман.

празни етапи

2.1. Общото време, прекарано на стъпка 2.1 (за формулата на Шуман) t21 = 1 час.
Броят на откритите грешки на етап 2.1 (за формулата на Шуман) n21 = 0 бр.

3. Общото време, прекарано на стъпка 3 (за формулата на Шуман) t3 = 0,75 час.
Броят на откритите грешки на етап 3 (за формулата на Шуман) n3 = 0 бр.

Ефективни етапи
2.2. Общото време, прекарано на стъпка 2.2.1 (за формулата на Шуман) t221 = 8 час.
Броят на коригираните грешки на етап 2.2.1 (за формулата на Шуман) n221 = 0 бр.
Общо време, прекарано в стъпка 2.2.2 t222 = 4 часа.
Броят на откритите грешки на етап 2.2.2 (за формулата на Шуман) n222 = 583 бр.

Общо време, прекарано в стъпка 2.2 t22 = 8 + 4 = 12 часа.
Броят на откритите грешки на етап 2.2.2 (за формулата на Шуман) n222 = 583 бр.

4. Общото време, прекарано на стъпка 4 (за формулата на Шуман) t4 = 2,5 час.
Броят на откритите грешки на етап 4 (за формулата на Шуман) n4 = 222 бр.

Тъй като има нулеви етапи, които трябва да бъдат включени в първия етап на модела на Шуман, и от друга страна, етапи 2.2 и 4 са по своята същност независими, като се има предвид, че моделът на Шуман предполага, че увеличаването на продължителността на проверката, вероятността на откриване на грешка намалява, т.е. отказите на потока, тогава чрез изследване на този поток ще определим кой от етапите да поставим на първо място, според правилото, където плътността на отказите е по-честа, поставяме един от етапите на първо място .

Фиг. 15.

От формулата на фигура 15 следва, че е за предпочитане четвъртият етап да се постави преди етап 2.2 в изчисленията.

Използвайки формулата на Шуман, ние определяме очаквания първоначален брой грешки:

Фиг. 16.

От резултатите на фигура 16 може да се види, че предвиденият брой грешки N2 = 3167, което е повече от минималния критерий от 1459.

В резултат на корекцията коригирахме 805 грешки, като прогнозираният брой е 3167 - 805 = 2362, което все пак е повече от приетия от нас минимален праг.

Дефинираме параметър C, ламбда и функция за надеждност:

Фиг. 17.

По същество ламбда е действителната скорост, с която се откриват грешки на всеки етап. Ако погледнете по-горе, оценката на този индикатор по-рано беше 42,4 грешки на час, което е доста сравнимо с индикатора на Шуман. Позовавайки се на първата част на този материал, беше определено, че честотата на намиране на грешки от разработчика не трябва да бъде по-ниска от 1 грешка на 250,4 записа, когато се проверява 1 запис на минута. Оттук и критичната ламбда стойност за модела на Шуман:
60 / 250,4 = 0,239617.

Тоест необходимостта от извършване на процедурите за намиране на грешки трябва да се извършва, докато ламбдата от наличните 38,964 падне до 0,239617.

Или докато показателят N (потенциален брой грешки) минус n (коригиран брой грешки) спадне под прага, който приехме (в първата част) - 1459 бр.

Част 1. Теоретична.

Източник: www.habr.com