가위바위보 게임처럼 데이터를 정리해보세요. 엔딩이 있는 게임인가요, 없는 게임인가요? 2부. 실용

В XNUMX부 이 출판물은 Khanty-Mansi Autonomous Okrug의 부동산 지적 평가 결과 데이터 세트를 기반으로 작성되었다고 설명되었습니다.

실용적인 부분은 단계별로 제시됩니다. 가장 일반적인 도구와 설명된 작업은 Excel을 아는 대부분의 전문가가 반복할 수 있으므로 모든 정리는 Excel에서 수행되었습니다. 그리고 직접 작업하는 데 매우 적합합니다.

100 단계는 파일 크기가 XNUMXMB이므로 파일을 시작하고 저장하는 작업이며 이러한 작업 수가 수십, 수백 건이므로 상당한 시간이 걸립니다.
여는 시간은 평균 30초입니다.
저장 – 22초

첫 번째 단계는 데이터 세트의 통계 지표를 결정하는 것으로 시작됩니다.

표 1. 데이터 세트의 통계 지표

기술 2.1.

보조 필드를 생성합니다. AY라는 숫자 아래에 있습니다. 각 항목에 대해 "=LENGTH(F365502)+LENGTH(G365502)+…+LENGTH(AW365502)" 공식을 구성합니다.

2.1단계에서 소요된 총 시간(슈만 공식의 경우) t21 = 1시간.
단계 2.1에서 발견된 오류 수(슈만 공식의 경우) n21 = 0 개.

두 번째 단계.
데이터세트의 구성요소를 확인합니다.
2.2. 레코드의 모든 값은 표준 기호를 사용하여 구성됩니다. 따라서 기호별로 통계를 추적해 보겠습니다.

표 2. 결과의 예비 분석을 통해 데이터 세트의 문자에 대한 통계 지표.





기술 2.2.1.

보조 필드인 "alpha1"을 만듭니다. 각 레코드에 대해 "=CONCATENATE(Sheet1!B9;...Sheet1!AQ9)" 수식을 구성합니다.
우리는 고정된 오메가-1 세포를 만듭니다. 이 셀에 Windows-1251에 따라 32에서 255까지의 문자 코드를 번갈아 입력하겠습니다.
보조 필드인 "alpha2"를 만듭니다. 공식 "=FIND(SYMBOL(Omega,1); "alpha1",N)"을 사용합니다.
보조 필드인 "alpha3"을 만듭니다. "=IF(ISNUMBER("alpha2",N),1)" 공식 사용
"=SUM("alpha2"N3: "alpha1"N3)" 수식을 사용하여 고정 셀 "Omega-365498"를 만듭니다.

표 3. 결과 예비분석 결과

표 4. 이 단계에서 기록된 오류

2.2.1단계에서 소요된 총 시간(슈만 공식의 경우) t221 = 8시간.
단계 2.2.1에서 수정된 오류 수(슈만 공식의 경우) n221 = 0 개

3 단계.
세 번째 단계는 데이터세트의 상태를 기록하는 것입니다. 각 레코드에 고유 번호(ID)와 각 필드를 할당합니다. 이는 변환된 데이터세트를 원본 데이터세트와 비교하는 데 필요합니다. 이는 그룹화 및 필터링 기능을 최대한 활용하는 데에도 필요합니다. 여기서 다시 표 2.2.2로 돌아가 데이터 세트에서 사용되지 않는 기호를 선택합니다. 우리는 그림 10에 표시된 것을 얻습니다.

그림 10. 식별자 할당.

3단계에서 소요된 총 시간(슈만 공식의 경우) t3 = 0,75시간.
단계 3에서 발견된 오류 수(슈만 공식의 경우) n3 = 0 개.

슈만 공식에서는 오류를 수정하여 무대를 완성해야 하기 때문입니다. 2단계로 돌아가자.

2.2.2 단계.
이 단계에서는 이중 및 삼중 공백도 수정합니다.

그림 11. 이중 공백의 수.

표 2.2.4에서 확인된 오류 수정.

표 5. 오류 수정 단계


문자 "e" 또는 "e"의 사용과 같은 측면이 중요한 이유에 대한 예가 그림 12에 나와 있습니다.

그림 12. 문자 "e"의 불일치.

2.2.2단계에서 소요된 총 시간 t222 = 4시간.
단계 2.2.2에서 발견된 오류 수(슈만 공식의 경우) n222 = 583 개.

네 번째 단계.
필드 중복성을 확인하는 것이 이 단계에 적합합니다. 44개 필드 중 6개 필드:
7 - 구조의 목적
16 – 지하층수
17 - 상위 개체
21 - 마을 의회
38 — 구조 매개변수(설명)
40 – 문화유산

항목이 없습니다. 즉, 중복됩니다.
필드 “22 – City”에는 단일 항목이 있습니다(그림 13).

그림 13. 유일한 항목은 "도시" 필드의 Z_348653입니다.

필드 "34 - 건물 이름"에는 필드의 목적과 명확하게 일치하지 않는 항목이 포함되어 있습니다(그림 14).

그림 14. 비준수 항목의 예입니다.

데이터 세트에서 이러한 필드를 제외합니다. 그리고 그 변화를 214개의 레코드에 기록합니다.

4단계에서 소요된 총 시간(슈만 공식의 경우) t4 = 2,5시간.
단계 4에서 발견된 오류 수(슈만 공식의 경우) n4 = 222 개.

표 6. 4단계 이후 데이터 세트 지표 분석

일반적으로 지표의 변화를 분석하면(표 6) 다음과 같이 말할 수 있습니다.
1) 표준편차 레버에 대한 평균 기호 수의 비율은 3에 가깝습니다. 즉, 정규 분포의 징후가 있습니다(XNUMX 시그마 규칙).
2) 평균 레버에서 최소 및 최대 레버의 상당한 편차는 꼬리 연구가 오류를 검색할 때 유망한 방향임을 시사합니다.

슈만의 방법론을 이용하여 오류를 찾아낸 결과를 살펴보겠습니다.

유휴 단계

2.1. 2.1단계에서 소요된 총 시간(슈만 공식의 경우) t21 = 1시간.
단계 2.1에서 발견된 오류 수(슈만 공식의 경우) n21 = 0 개.

3. 3단계에서 소요된 총 시간(슈만 공식의 경우) t3 = 0,75시간.
단계 3에서 발견된 오류 수(슈만 공식의 경우) n3 = 0 개.

효과적인 단계
2.2. 2.2.1단계에서 소요된 총 시간(슈만 공식의 경우) t221 = 8시간.
단계 2.2.1에서 수정된 오류 수(슈만 공식의 경우) n221 = 0 개
2.2.2단계에서 소요된 총 시간 t222 = 4시간.
단계 2.2.2에서 발견된 오류 수(슈만 공식의 경우) n222 = 583 개.

2.2단계에서 소요된 총 시간 t22 = 8 + 4 = 12시간.
단계 2.2.2에서 발견된 오류 수(슈만 공식의 경우) n222 = 583 개.

4. 4단계에서 소요된 총 시간(슈만 공식의 경우) t4 = 2,5시간.
단계 4에서 발견된 오류 수(슈만 공식의 경우) n4 = 222 개.

Schumann 모델의 첫 번째 단계에 포함되어야 하는 단계가 2.2개이고 반면에 단계 4와 XNUMX는 본질적으로 독립적이므로 Schumann 모델은 검사 기간을 늘리면 확률이 다음과 같이 가정됩니다. 즉, 오류를 감지하면 오류가 감소합니다. 즉, 흐름을 조사하여 어떤 단계를 먼저 배치할지 결정합니다. 규칙에 따라 오류 밀도가 더 자주 발생하면 해당 단계를 먼저 배치합니다.

그림 15.

그림 15의 공식에 따르면 계산에서 단계 2.2 앞에 네 번째 단계를 배치하는 것이 바람직합니다.

Schumann의 공식을 사용하여 추정된 초기 오류 수를 결정합니다.

그림 16.

그림 16의 결과에서 예측된 오류 수는 N2 = 3167로 최소 기준인 1459보다 많은 것을 알 수 있습니다.

수정 결과 805개의 오류를 수정했으며 예상 개수는 3167 – 805 = 2362로 여전히 우리가 받아들인 최소 임계값보다 높습니다.

매개변수 C, 람다 및 신뢰도 함수를 정의합니다.

그림 17.

기본적으로 람다는 각 단계에서 오류가 감지되는 강도를 실제로 나타내는 지표입니다. 위를 보면 이 지표의 이전 추정치는 시간당 42,4 오류였으며 이는 슈만 지표와 상당히 유사합니다. 이 자료의 첫 번째 부분을 살펴보면, 개발자가 분당 1개의 레코드를 확인할 때 오류를 발견하는 비율은 250,4 레코드당 1개 오류 이상이어야 한다고 결정되었습니다. 따라서 슈만 모델에 대한 람다의 임계값은 다음과 같습니다.
60 / 250,4 = 0,239617입니다.

즉, 기존 38,964에서 람다가 0,239617로 감소할 때까지 오류검출 절차를 수행해야 한다.

또는 표시기 N(잠재 오류 수)에서 n(수정된 오류 수)을 뺀 값이 (첫 번째 부분에서) 허용한 임계값(1459개) 아래로 감소할 때까지입니다.

1부. 이론.

출처 : habr.com