じゃんけんゲームのようにデータをクリーンアップします。 これはエンディングのあるゲームですか、それともエンディングのないゲームですか? パート 2. 実践

В パートXNUMX この出版物は、ハンティ・マンシースク自治管区の不動産物件の地籍評価結果のデータセットに基づいて作成されたと説明されています。

実践的な部分はステップ形式で提示されます。すべてのクリーニングは Excel で実行されました。これは、Excel が最も一般的なツールであり、説明されている操作は Excel を知っているほとんどの専門家によって繰り返すことができるためです。そして、それは白兵戦に非常に適しています。

ファイルのサイズが 100 MB なので、ファイルの起動と保存の作業をゼロ ステージとして扱います。これらの操作の数は数十から数百に上り、かなりの時間がかかります。
開く時間は平均30秒です。
節約 - 22秒。

最初の段階は、データセットの統計指標を定義することから始まります。

表1. データセットの統計指標

テクノロジー 2.1。

補助フィールドを作成します。これは番号 AY の下にあります。各エントリに対して、「=LEN(F365502)+LEN(G365502)+…+LEN(AW365502)」という式を作成します。

ステージ 2.1 に費やされた合計時間 (シューマン式の場合) t21 = 1 時間。
ステージ 2.1 で見つかったエラーの数 (シューマンの公式の場合) n21 = 0 個。

第二段階。
データセットのコンポーネントを確認しています。
2.2.レコード内のすべての値は標準シンボルによって形成されます。したがって、統計をシンボルごとに追跡してみましょう。

表 2. データセット内のシンボルの統計指標と結果の予備分析。





テクノロジー 2.2.1。

補助フィールド「alpha1」を作成します。各エントリに対して、「=CONCATENATE(Sheet1!B9;…Sheet1!AQ9)」という数式を作成します。
固定されたオメガ 1 細胞を作成します。このセルに、Windows-1251 に従って 32 から 255 までの文字コードを XNUMX つずつ入力します。
補助フィールド「alpha2」を作成します。数式は「=FIND(CHAR(Omega;1); "alpha1";N)」です。
補助フィールド「alpha3」を作成します。数式「=IF(ISNUMBER("alpha2";N);1;0)」
数式「=SUM("alpha2"N3:"alpha1"N3)」を使用して固定セル「オメガ365498」を作成します。

表3. 結果の予備分析の結果

表4. この段階で記録されたエラー

ステージ 2.2.1 に費やされた合計時間 (シューマン式の場合) t221 = 8 時間。
ステージ 2.2.1 で修正されたエラーの数 (シューマンの公式の場合) n221 = 0 個。

3ステップ。
2.2.2 番目のステップは、データセットの状態を記録することです。各レコードに一意の番号 (ID) と各フィールドを割り当てます。これは、変換されたデータセットを元のデータセットと比較するために必要です。これは、グループ化機能とフィルタリング機能を最大限に活用するためにも必要です。ここで、再び表 10 に戻り、データセットで使用されていないシンボルを選択します。図 XNUMX に示す結果が得られます。

図10.識別子の割り当て。

ステージ 3 に費やされた合計時間 (シューマン式の場合) t3 = 0,75 時間。
ステージ 3 で見つかったエラーの数 (シューマンの公式の場合) n3 = 0 個。

シューマンの公式では、エラー訂正によってステージが完了する必要があるためです。ステージ2に戻りましょう。

2.2.2ステップ。
この段階で、二重スペースと三重スペースも修正します。

図11.ダブルスペースの数。

表2.2.4で特定されたエラーの修正。

表5. エラー訂正段階


「e」や「yo」などの文字の使用がなぜ重要なのかを示す例を図12に示します。

図12.文字「ё」に矛盾があります。

ステージ 2.2.2 t222 に費やされた合計時間 = 4 時間。
ステージ 2.2.2 で見つかったエラーの数 (シューマンの公式の場合) n222 = 583 個。

第4ステージ
フィールドの冗長性をチェックすることは、この段階に適しています。 44 のフィールドのうち、6 つのフィールドは次のとおりです。
7 — 構造の目的
16 - 地下階数
17 — 親オブジェクト
21 — 村議会
38 — 構造のパラメータ（説明）
40 - 文化遺産

記録は何もありません。つまり、それらは冗長です。
フィールド「22 - 市」には、図 13 のように XNUMX つのエントリがあります。

図13. City フィールドの唯一のエントリは Z_348653 です。

フィールド「34 – 建物名」には、明らかにフィールドの目的と一致しないエントリが含まれています（図14）。

図14.非準拠エントリの例。

これらのフィールドはデータセットから除外されます。そして、214 件のレコードの変更を記録します。

ステージ 4 に費やされた合計時間 (シューマン式の場合) t4 = 2,5 時間。
ステージ 4 で見つかったエラーの数 (シューマンの公式の場合) n4 = 222 個。

表6. 第4段階後のデータセット指標の分析

一般的に、指標の変化を分析すると（表6）、次のことが言えます。
1) 平均シンボル数のレバーと標準偏差のレバーの比率が 3 に近い、つまり正規分布の兆候があります (シックス シグマ ルール)。
2) 最小レバーと最大レバーが平均レバーから大きく逸脱していることは、テールを研究することがエラーを探す上で有望な方向であることを示唆しています。

シューマンの方法論を使用してエラーを見つけた結果を検証します。

アイドルステージ

2.1.ステージ 2.1 に費やされた合計時間 (シューマン式の場合) t21 = 1 時間。
ステージ 2.1 で見つかったエラーの数 (シューマンの公式の場合) n21 = 0 個。

3.ステージ 3 に費やされた合計時間 (シューマン式の場合) t3 = 0,75 時間。
ステージ 3 で見つかったエラーの数 (シューマンの公式の場合) n3 = 0 個。

結果ステージ
2.2.ステージ 2.2.1 に費やされた合計時間 (シューマン式の場合) t221 = 8 時間。
ステージ 2.2.1 で修正されたエラーの数 (シューマンの公式の場合) n221 = 0 個。
ステージ 2.2.2 t222 に費やされた合計時間 = 4 時間。
ステージ 2.2.2 で見つかったエラーの数 (シューマンの公式の場合) n222 = 583 個。

ステージ 2.2 t22 に費やされた合計時間 = 8 + 4 = 12 時間。
ステージ 2.2.2 で見つかったエラーの数 (シューマンの公式の場合) n222 = 583 個。

4.ステージ 4 に費やされた合計時間 (シューマン式の場合) t4 = 2,5 時間。
ステージ 4 で見つかったエラーの数 (シューマンの公式の場合) n4 = 222 個。

シューマン モデルの最初のステージに含めるべきステージはゼロであり、一方でステージ 2.2 と 4 は本質的に独立しているため、シューマン モデルでは、テストの期間が長くなると、エラーを検出する確率が下がる、つまり障害のフローが下がると想定されていることを考慮し、このフローを調べることで、障害密度がより高くなるステージが最初に置かれるというルールに従って、どのステージを最初に置くかを決定します。

Ris.15。

図 15 の式から、計算では第 2.2 ステージを第 XNUMX ステージの前に配置することが望ましいことがわかります。

シューマンの公式を使用して、推定される初期エラー数を決定します。

Ris.16。

図 16 の結果から、予測されるエラー数 N2 = 3167 が最小基準の 1459 より大きいことがわかります。

修正の結果、805 個のエラーが修正され、予測数は 3167 - 805 = 2362 となり、これは依然として採用した最小しきい値を超えています。

パラメータ C、ラムダ、信頼性関数を定義します。

Ris.17。

本質的に、ラムダは各段階でエラーが検出される強度の実際の指標です。上記を見ると、この指標の以前の推定値は 42,4 時間あたり 1 エラーであり、これはシューマン指標とほぼ同等です。この資料の最初の部分を参照すると、開発者によるエラー検出の強度は、250,4 分間に 1 件のレコードをチェックする場合、XNUMX 件のレコードあたり XNUMX 件のエラー以上である必要があると判断されました。したがって、シューマンモデルのラムダの臨界値は次のようになります。
60 / 250,4 = 0,239617。

つまり、ラムダが既存の 38,964 から 0,239617 に減少するまで、エラー検出手順を実行する必要があります。

または、指標 N (潜在的なエラー数) から n (修正されたエラー数) を引いた値が、(最初の部分で) 採用したしきい値 (1459 個) を下回るまでです。

パート1. 理論的。

出所： habr.com