가위바위보 게임처럼 데이터를 정리해보세요. 엔딩이 있는 게임인가요, 없는 게임인가요? 2부. 실용

В XNUMX부 이 간행물은 한티-만시스크 자치구의 부동산에 대한 지적 평가 결과 데이터 세트를 기반으로 작성되었다고 설명되어 있습니다.

실제적인 부분은 단계 형태로 제시됩니다. 모든 정리 작업은 가장 흔한 도구인 Excel에서 수행되었으며, 설명된 작업은 Excel을 아는 대부분의 전문가가 반복할 수 있습니다. 그리고 이는 직접 대결하는 데에도 매우 적합합니다.

파일 크기가 100MB이므로, 파일을 실행하고 저장하는 작업을 XNUMX단계로 두겠습니다. 이런 작업의 수가 수십, 수백 개에 달하면 상당한 시간이 걸립니다.
평균적으로 오픈 시간은 30초입니다.
저장 - 22초

첫 번째 단계는 데이터 세트의 통계적 지표를 정의하는 것으로 시작됩니다.

표 1. 데이터 세트의 통계 지표

기술 2.1.

보조 필드를 만들고 숫자 AY 아래에 두었습니다. 각 항목에 대해 "=LEN(F365502)+LEN(G365502)+…+LEN(AW365502)" 공식을 형성합니다.

2.1단계에 소요된 총 시간(슈만 공식의 경우) t21 = 1시간.
2.1단계에서 발견된 오류의 수(슈만 공식의 경우) n21 = 0개.

두 번째 단계.
데이터 세트 구성 요소를 확인합니다.
2.2. 모든 레코드의 값은 표준 기호로 구성됩니다. 그러므로 기호별로 통계를 추적해 보겠습니다.

표 2. 결과에 대한 예비 분석을 포함한 데이터 세트의 기호에 대한 통계 지표.





기술 2.2.1.

보조 필드인 "alpha1"을 생성합니다. 각 항목에 대해 "=CONCATENATE(Sheet1!B9;…Sheet1!AQ9)" 공식을 만듭니다.
우리는 고정된 오메가-1 세포를 만듭니다. 이 셀에 Windows-1251에 따라 32에서 255까지 문자 코드를 하나씩 입력하겠습니다.
보조 필드인 "alpha2"를 생성합니다. 공식은 "=FIND(CHAR(Omega;1); "alpha1";N)"입니다.
보조 필드인 "alpha3"를 생성합니다. "=IF(ISNUMBER("alpha2";N);1;0)" 공식을 사용하여
"=SUM("alpha2"N3:"alpha1"N3)" 수식을 사용하여 고정 셀 "Omega-365498"를 만듭니다.

표 3. 결과의 예비 분석 결과

표 4. 이 단계에서 기록된 오류

2.2.1단계에 소요된 총 시간(슈만 공식의 경우) t221 = 8시간.
2.2.1단계에서 수정된 오류 수(슈만 공식에 대한) n221 = 0개.

3 단계.
세 번째 단계는 데이터 세트의 상태를 기록하는 것입니다. 각 레코드에 고유한 번호(ID)와 각 필드를 할당합니다. 이는 변환된 데이터 세트를 원본 데이터 세트와 비교하는 데 필요합니다. 이는 그룹화 및 필터링 기능을 최대한 활용하는 데에도 필요합니다. 여기서 다시 표 2.2.2로 돌아가서 데이터 세트에서 사용되지 않는 기호를 선택합니다. 그림 10에 표시된 내용을 얻습니다.

그림 10. 식별자 할당.

3단계에 소요된 총 시간(슈만 공식의 경우) t3 = 0,75시간.
3단계에서 발견된 오류의 수(슈만 공식의 경우) n3 = 0개.

슈만의 공식은 오류 수정을 통해 단계를 완성해야 하기 때문입니다. 2단계로 돌아가 보겠습니다.

2.2.2 단계.
이 단계에서는 이중 공백과 삼중 공백도 수정하겠습니다.

그림 11. 이중 공백의 개수.

표 2.2.4에 식별된 오류를 수정했습니다.

표 5. 오류 수정 단계


"e"나 "yo"와 같은 글자를 사용하는 것이 왜 중요한지에 대한 예가 그림 12에 나와 있습니다.

그림 12. "ё"라는 글자에 일관성이 없습니다.

2.2.2단계에서 소요된 총 시간 t222 = 4시간.
2.2.2단계에서 발견된 오류의 수(슈만 공식의 경우) n222 = 583개.

네 번째 단계.
필드 중복성을 확인하는 것은 이 단계에 잘 들어맞습니다. 44개 분야 중 6개 분야는 다음과 같습니다.
7 — 구조의 목적
16 - 지하층수
17 — 부모 객체
21 — 마을 의회
38 — 구조의 매개변수(설명)
40 - 문화유산

아무런 기록도 없습니다. 즉, 중복됩니다.
필드 "22 - 도시"에는 그림 13과 같이 단일 항목이 있습니다.

그림 13. 도시 필드에는 Z_348653이라는 유일한 항목이 있습니다.

필드 "34 - 건물 이름"에는 필드의 목적과 명백히 일치하지 않는 항목이 포함되어 있습니다(그림 14).

그림 14. 규정을 준수하지 않는 항목의 예입니다.

우리는 이러한 필드를 데이터 세트에서 제외합니다. 그리고 우리는 214개의 기록에서 변화를 기록합니다.

4단계에 소요된 총 시간(슈만 공식의 경우) t4 = 2,5시간.
4단계에서 발견된 오류의 수(슈만 공식의 경우) n4 = 222개.

표 6. 4단계 이후 데이터세트 지표 분석

일반적으로 지표의 변화를 분석하면(표 6), 다음과 같이 말할 수 있습니다.
1) 평균 심볼 수의 레버와 표준 편차의 레버의 비율이 3에 가깝습니다. 즉, 정규 분포의 징후가 있습니다(XNUMX시그마 규칙).
2) 최소 레버와 최대 레버가 평균 레버와 크게 다르다는 점은 오류를 찾는 데 있어서 꼬리 부분을 연구하는 것이 유망한 방향임을 시사합니다.

우리는 슈만의 방법론을 사용하여 오류를 찾은 결과를 살펴보겠습니다.

유휴 단계

2.1. 2.1단계에 소요된 총 시간(슈만 공식의 경우) t21 = 1시간.
2.1단계에서 발견된 오류의 수(슈만 공식의 경우) n21 = 0개.

3. 3단계에 소요된 총 시간(슈만 공식의 경우) t3 = 0,75시간.
3단계에서 발견된 오류의 수(슈만 공식의 경우) n3 = 0개.

결과 단계
2.2. 2.2.1단계에 소요된 총 시간(슈만 공식의 경우) t221 = 8시간.
2.2.1단계에서 수정된 오류 수(슈만 공식에 대한) n221 = 0개.
2.2.2단계에서 소요된 총 시간 t222 = 4시간.
2.2.2단계에서 발견된 오류의 수(슈만 공식의 경우) n222 = 583개.

2.2단계에 소요된 총 시간은 t22 = 8 + 4 = 12시간입니다.
2.2.2단계에서 발견된 오류의 수(슈만 공식의 경우) n222 = 583개.

4. 4단계에 소요된 총 시간(슈만 공식의 경우) t4 = 2,5시간.
4단계에서 발견된 오류의 수(슈만 공식의 경우) n4 = 222개.

슈만 모델의 첫 번째 단계에는 반드시 포함되어야 하는 단계가 없고, 반면에 2.2단계와 4단계는 본질적으로 독립적이므로 슈만 모델은 테스트 기간이 증가함에 따라 오류를 감지할 확률이 감소한다고 가정합니다. 즉, 실패의 흐름이 감소합니다. 이 흐름을 연구하면 실패 밀도가 더 빈번한 단계를 먼저 배치하는 규칙에 따라 어느 단계를 먼저 배치해야 할지 결정할 수 있습니다.

그림 15.

그림 15의 공식에 따르면 계산에서 2.2단계를 XNUMX단계보다 앞에 두는 것이 더 바람직하다는 것을 알 수 있습니다.

슈만 공식을 사용하여 추정된 초기 오류 수를 결정합니다.

그림 16.

그림 16의 결과에서 예측된 오류 수 N2 = 3167로 최소 기준인 1459보다 큰 것을 알 수 있습니다.

수정 결과, 805개의 오류를 수정했으며, 예측된 오류 수는 3167 - 805 = 2362개로, 여전히 우리가 채택한 최소 임계값보다 많습니다.

매개변수 C, 람다 및 신뢰도 함수를 다음과 같이 정의합니다.

그림 17.

기본적으로 람다는 각 단계에서 오류가 감지되는 강도를 나타내는 실제 지표입니다. 위를 보면, 이 지표의 이전 추정치는 시간당 42,4개의 오류였는데, 이는 슈만 지표와 매우 비슷합니다. 본 자료의 첫 번째 부분을 참조하면, 개발자가 1분에 250,4개의 레코드를 검사할 때 오류를 찾는 강도는 1개 레코드당 XNUMX개 오류보다 낮아서는 안 된다는 것이 결정되었습니다. 따라서 슈만 모델에 대한 람다의 중요 값은 다음과 같습니다.
60 / 250,4 = 0,239617입니다.

즉, 기존 38,964에서 람다가 0,239617로 감소할 때까지 오류검출 절차를 수행해야 한다.

또는 지표 N(잠재적 오류 수)에서 n(수정된 오류 수)을 뺀 값이 우리가 (첫 번째 부분에서) 채택한 임계값인 1459개 아래로 떨어질 때까지입니다.

1부. 이론적.

출처 : habr.com