じゃんけんゲームのようにデータをクリーンアップします。 これはエンディングのあるゲームですか、それともエンディングのないゲームですか? パート 2. 実践

В パートXNUMX この出版物は、ハンティ・マンシ自治管区の不動産の地籍評価結果のデータセットに基づいて作成されたと説明されています。

実践的な部分はステップの形で示されています。 最も一般的なツールと説明されている操作は Excel を理解しているほとんどの専門家が繰り返すことができるため、すべてのクリーニングは Excel で実行されました。 そして手作業に非常に適しています。

ゼロ段階はファイルの起動と保存の作業になります。ファイルのサイズは 100 MB であるため、これらの操作の数は数十、数百にもなり、かなりの時間がかかります。
オープニングは平均して 30 秒です。
保存 – 22秒

最初の段階は、データセットの統計指標を決定することから始まります。

表 1. データセットの統計指標

テクノロジー 2.1.

補助フィールドを作成します。AY という番号の下にあります。 各エントリに対して、式「=LENGTH(F365502)+LENGTH(G365502)+…+LENGTH(AW365502)」を形成します。

ステージ 2.1 に費やした合計時間 (シューマン式の場合) t21 = 1 時間。
ステージ 2.1 で見つかったエラーの数 (シューマン公式の場合) n21 = 0 個。

第二段階。
データセットのコンポーネントを確認しています。
2.2. レコード内のすべての値は、標準の記号を使用して形成されます。 そこで、統計をシンボルで追跡してみましょう。

表 2. データセット内の文字の統計的指標と結果の予備分析。





テクノロジー 2.2.1.

補助フィールド「alpha1」を作成します。 各レコードに対して、数式「=CONCATENATE(Sheet1!B9;...Sheet1!AQ9)」を作成します。
固定されたオメガ 1 細胞を作成します。 このセルにWindows-1251に準拠した文字コードを32から255まで交互に入力していきます。
補助フィールド「alpha2」を作成します。 式「=FIND(SYMBOL(Omega,1); “alpha1”,N)」を使用します。
補助フィールド「alpha3」を作成します。 式「=IF(ISNUMBER(“alpha2”,N),1)」の場合
数式「=SUM(“alpha2”N3: “alpha1”N3)」を使用して固定セル「Omega-365498」を作成します。

表 3. 結果の予備分析の結果

表 4. この段階で記録されたエラー

ステージ 2.2.1 に費やした合計時間 (シューマン式の場合) t221 = 8 時間。
ステージ 2.2.1 で訂正されたエラーの数 (シューマン式の場合) n221 = 0 個。

3ステップ。
2.2.2 番目のステップは、データセットの状態を記録することです。 各レコードに一意の番号 (ID) と各フィールドを割り当てることによって。 これは、変換されたデータセットを元のデータセットと比較するために必要です。 これは、グループ化機能とフィルタリング機能を最大限に活用するためにも必要です。 ここで再び表 10 に戻り、データセットで使用されていないシンボルを選択します。 図 XNUMX に示す内容が得られます。

図10。 識別子の割り当て。

ステージ 3 に費やした合計時間 (シューマン式の場合) t3 = 0,75 時間。
ステージ 3 で見つかったエラーの数 (シューマン公式の場合) n3 = 0 個。

シューマンの公式では、エラーを修正することによって段階を完了する必要があるため。 ステージ2に戻りましょう。

2.2.2ステップ。
このステップでは、二重スペースと三重スペースも修正します。

図11。 二重スペースの数。

表 2.2.4 で特定された誤りを修正。

表 5. エラー訂正ステージ


文字「e」または「e」の使用などの側面が重要である理由の例を図 12 に示します。

図12。 文字「e」の矛盾。

ステップ 2.2.2 t222 で費やした合計時間 = 4 時間。
ステージ 2.2.2 で見つかったエラーの数 (シューマン公式の場合) n222 = 583 個。

第4ステージ
フィールドの冗長性のチェックは、この段階によく当てはまります。 44 フィールドのうち、6 フィールド:
7 - 構造の目的
16 — 地下階数
17 - 親オブジェクト
21 - 村議会
38 — 構造パラメーター (説明)
40 – 文化遺産

エントリがありません。 つまり、それらは冗長です。
フィールド「22 – City」には 13 つのエントリがあります (図 XNUMX)。

図13。 「City」フィールドの唯一のエントリは Z_348653 です。

フィールド「34 - 建物名」には、明らかにフィールドの目的に対応しないエントリが含まれています (図 14)。

図14。 非準拠エントリの例。

これらのフィールドをデータセットから除外します。 そして、その変化を 214 件のレコードに記録します。

ステージ 4 に費やした合計時間 (シューマン式の場合) t4 = 2,5 時間。
ステージ 4 で見つかったエラーの数 (シューマン公式の場合) n4 = 222 個。

表 6. 第 4 段階以降のデータセット指標の分析

一般に、指標の変化 (表 6) を分析すると、次のことが言えます。
1) 標準偏差レバーに対する平均シンボル数の比は 3 に近い、つまり正規分布 (シックス シグマ ルール) の兆候があります。
2) 平均レバーからの最小レバーと最大レバーの大幅な偏差は、エラーを探す際にテールの研究が有望な方向であることを示唆しています。

シューマンの方法論を使用してエラーを見つけた結果を調べてみましょう。

アイドルステージ

2.1. ステージ 2.1 に費やした合計時間 (シューマン式の場合) t21 = 1 時間。
ステージ 2.1 で見つかったエラーの数 (シューマン公式の場合) n21 = 0 個。

3. ステージ 3 に費やした合計時間 (シューマン式の場合) t3 = 0,75 時間。
ステージ 3 で見つかったエラーの数 (シューマン公式の場合) n3 = 0 個。

効果的なステージ
2.2. ステージ 2.2.1 に費やした合計時間 (シューマン式の場合) t221 = 8 時間。
ステージ 2.2.1 で訂正されたエラーの数 (シューマン式の場合) n221 = 0 個。
ステップ 2.2.2 t222 で費やした合計時間 = 4 時間。
ステージ 2.2.2 で見つかったエラーの数 (シューマン公式の場合) n222 = 583 個。

ステップ 2.2 で費やした合計時間は、t22 = 8 + 4 = 12 時間です。
ステージ 2.2.2 で見つかったエラーの数 (シューマン公式の場合) n222 = 583 個。

4. ステージ 4 に費やした合計時間 (シューマン式の場合) t4 = 2,5 時間。
ステージ 4 で見つかったエラーの数 (シューマン公式の場合) n4 = 222 個。

シューマン モデルの最初のステージに含める必要があるステージはゼロであり、一方で、ステージ 2.2 と 4 は本質的に独立しているため、シューマン モデルはチェックの期間を長くすることで確率がエラーの検出率が減少する、つまりフローによって障害が減少する場合、このフローを調べることでどのステージを最初に配置するかを決定します。ルールに従って、障害密度がより頻繁に発生する場合は、そのステージを最初に配置します。

Ris.15。

図 15 の式から、計算では第 2.2 ステージをステージ XNUMX の前に配置することが好ましいことがわかります。

シューマンの公式を使用して、推定される初期エラー数を決定します。

Ris.16。

図 16 の結果から、予測エラー数は N2 = 3167 であり、最小基準の 1459 を超えていることがわかります。

修正の結果、805 件のエラーが修正され、予測数は 3167 – 805 = 2362 となり、これは依然として許容された最小しきい値を超えています。

パラメーター C、ラムダ、信頼性関数を定義します。

Ris.17。

基本的に、ラムダは各段階で検出されるエラーの強度を示す実際の指標です。 上を見ると、このインジケーターの以前の推定値は 42,4 時間あたり 1 エラーであり、これはシューマン インジケーターと非常に匹敵します。 この資料の最初の部分に戻ると、開発者がエラーを発見する割合は、250,4 分あたり 1 レコードをチェックする場合、XNUMX レコードあたり XNUMX エラー以上である必要があることが判明しました。 したがって、シューマン モデルのラムダの臨界値は次のようになります。
60 / 250,4 = 0,239617。

つまり、ラムダが既存の 38,964 から 0,239617 に減少するまで、エラー検出手順を実行する必要があります。

または、指標 N (潜在的なエラー数) から n (修正されたエラー数) を引いた値が、(最初の部分で) 受け入れたしきい値 - 1459 個を下回るまで減少します。

パート 1. 理論的。

出所： habr.com