Botzen Daten wéi e Spill vu Rock, Pabeier, Schéier. Ass dëst e Spill mat oder ouni Enn? Deel 2. Praktesch

В Deel eent Et gouf beschriwwen datt dës Verëffentlechung op der Basis vun engem Dataset vu Kadastrale Bewäertungsresultater vun Immobilien am Khanty-Mansi Autonom Okrug gemaach gouf.

De prakteschen Deel gëtt a Form vu Schrëtt presentéiert. All Botzen gouf an Excel gemaach, well dat allgemengst Tool an déi beschriwwe Operatioune kënne vun de meeschte Spezialisten widderholl ginn, déi Excel kennen. A ganz gutt gëeegent fir Hand-zu-Hand Aarbecht.

D'Nullstadium wäert d'Aarbecht sinn fir d'Datei ze lancéieren an ze späicheren, well et 100 MB grouss ass, da mat der Zuel vun dësen Operatiounen Zénger an Honnerte, huelen se bedeitend Zäit.
Ouverture, am Duerchschnëtt, ass 30 Sekonnen.
Spueren - 22 Sek.

Déi éischt Stuf fänkt mat der Bestëmmung vun de statistesche Indikatoren vum Datesaz un.

Table 1. Statistesch Indikatoren vun der Datesaz

Technologie 2.1.

Mir kreéieren en Hëllefsfeld, ech hunn et ënner der Nummer - AY. Fir all Entrée forme mir d'Formel "=LENGTH(F365502)+LENGTH(G365502)+...+LENGTH(AW365502)"

Gesamtzäit op der Bühn 2.1 (fir Schumann Formel) t21 = 1 Stonn.
Zuel vu Feeler fonnt op Etapp 2.1 (fir Schumann Formel) n21 = 0 pcs.

Déi zweet Stuf.
Iwwerpréift d'Komponente vum Dataset.
2.2. All Wäerter a Rekorder gi mat Standardsymboler geformt. Dofir, loosst eis d'Statistiken duerch Symboler verfollegen.

Table 2. Statistesch Indikatoren vun Zeechen an der Datesaz mat virleefeg Analyse vun de Resultater.





Technologie 2.2.1.

Mir kreéieren en Hilfsfeld - "alpha1". Fir all Rekord bilden mir d'Formel "=CONCATENATE(Sheet1!B9;...Sheet1!AQ9)"
Mir kreéieren eng fix Zell "Omega-1". Mir ginn d'Zeechencoden een nom aneren an dës Zell an. Windows-1251 vun 32 op 255.
Mir kreéieren en Hilfsfeld - "alpha2". Mat der Formel "=FIND(SYMBOL(Omega,1); "alpha1",N)".
Mir kreéieren en Hilfsfeld - "alpha3". Mat der Formel "=IF(ISNUMMER("alpha2",N),1)"
Erstellt eng fix Zell "Omega-2", mat der Formel "=SUM ("alpha3"N1: "alpha3"N365498)"

Dësch 3. Resultater vun virleefeg Analyse vun Resultater

Dësch 4. Feeler op dëser Etapp opgeholl

Gesamtzäit op der Bühn 2.2.1 (fir Schumann Formel) t221 = 8 Stonn.
Zuel vu korrigéierte Feeler op der Bühn 2.2.1 (fir Schumann-Formel) n221 = 0 Stk.

Stage 3.
Den drëtte Schrëtt ass den Zoustand vun der Datesaz opzehuelen. Andeems Dir all Rekord eng eenzegaarteg Zuel (ID) an all Feld zouginn. Dëst ass néideg fir de ëmgerechent Dataset mat dem ursprénglechen ze vergläichen. Dëst ass och néideg fir voll ze profitéieren vun de Gruppéierungs- a Filterfäegkeeten. Hei réckelen mir erëm op den Dësch 2.2.2 a wielt e Symbol dat net an der Datesaz benotzt gëtt. Mir kréien wat an der Figur 10 gewise gëtt.

Fig. 10. Identifizéierer ze ginn.

Gesamtzäit op der Bühn 3 (fir Schumann Formel) t3 = 0,75 Stonn.
Zuel vu Feeler fonnt op Etapp 3 (fir Schumann Formel) n3 = 0 pcs.

Zënter der Schumann-Formel erfuerdert datt d'Bühn duerch Korrigéiere vu Feeler ofgeschloss gëtt. Komme mer zréck op d'Etapp 2.

Stage 2.2.2.
An dësem Schrëtt korrigéiere mir och duebel an dräifach Plazen.

Fig. 11. Zuel vun duebel Plaze.

Korrektur vun Feeler identifizéiert an Tabell 2.2.4.

Dësch 5. Feeler Korrektur Etapp


E Beispill firwat esou en Aspekt wéi d'Benotzung vun de Buschtawen "e" oder "e" bedeitend ass, gëtt an der Figur 12 presentéiert.

Fig. 12. Diskrepanz am Bréif "e".

Gesamtzäit am Schrëtt 2.2.2 t222 = 4 Stonnen.
Zuel vu Feeler fonnt op Etapp 2.2.2 (fir Schumann Formel) n222 = 583 pcs.

Véiert Etapp.
Iwwerpréift fir Feldredundanz passt gutt an dës Etapp. Vun de 44 Felder, 6 Felder:
7 - Zweck vun der Struktur
16 - Zuel vun ënnerierdesch Etagen
17 - Elterendeel Objet
21 - Gemengerot
38 - Strukturparameter (Beschreiwung)
40 - Kulturierwen

Si hu keng Entréen. Dat heescht, si sinn iwwerflësseg.
Feld "22 - City" huet eng eenzeg Entrée, Figur 13.

Fig. 13. Déi eenzeg Entrée ass Z_348653 am Feld "Stad".

Feld "34 - Gebai Numm" enthält Entréen déi kloer net dem Zweck vum Feld entspriechen, Figur 14.

Fig. 14. E Beispill vun engem net-konforme Entrée.

Mir ausschléissen dës Felder aus dem Dataset. A mir notéieren d'Ännerung an 214 records.

Gesamtzäit op der Bühn 4 (fir Schumann Formel) t4 = 2,5 Stonn.
Zuel vu Feeler fonnt op Etapp 4 (fir Schumann Formel) n4 = 222 pcs.

Table 6. Analyse vun Datesaz Indikatoren no der 4. Etapp

Am Allgemengen, analyséiert Ännerungen an Indikatoren (Table 6) kënne mir soen datt:
1) D'Verhältnis vun der Moyenne Zuel vu Symboler zu der Standard deviation Hiewel ass no bei 3, dat ass, et sinn Unzeeche vun normal Verdeelung (sechs Sigma Regel).
2) Eng bedeitend Ofwäichung vun de Minimum a Maximum Heber vum duerchschnëttleche Hiewel proposéiert datt d'Studie vu Schwänz eng verspriechend Richtung ass wann Dir no Feeler sicht.

Loosst eis d'Resultater ënnersicht fir Feeler ze fannen mat der Methodik vum Schumann.

Idle Etappen

2.1. Gesamtzäit op der Bühn 2.1 (fir Schumann Formel) t21 = 1 Stonn.
Zuel vu Feeler fonnt op Etapp 2.1 (fir Schumann Formel) n21 = 0 pcs.

3. Gesamtzäit op der Bühn 3 (fir Schumann Formel) t3 = 0,75 Stonn.
Zuel vu Feeler fonnt op Etapp 3 (fir Schumann Formel) n3 = 0 pcs.

Effektiv Etappen
2.2. Gesamtzäit op der Bühn 2.2.1 (fir Schumann Formel) t221 = 8 Stonn.
Zuel vu korrigéierte Feeler op der Bühn 2.2.1 (fir Schumann-Formel) n221 = 0 Stk.
Gesamtzäit am Schrëtt 2.2.2 t222 = 4 Stonnen.
Zuel vu Feeler fonnt op Etapp 2.2.2 (fir Schumann Formel) n222 = 583 pcs.

Gesamtzäit am Schrëtt 2.2 t22 = 8 + 4 = 12 Stonnen.
Zuel vu Feeler fonnt op Etapp 2.2.2 (fir Schumann Formel) n222 = 583 pcs.

4. Gesamtzäit op der Bühn 4 (fir Schumann Formel) t4 = 2,5 Stonn.
Zuel vu Feeler fonnt op Etapp 4 (fir Schumann Formel) n4 = 222 pcs.

Well et Null Etappe sinn, déi an der éischter Etapp vum Schumann Modell abegraff musse sinn, an op der anerer Säit, Etappe 2.2 a 4 sinn inherent onofhängeg, dann ass de Schumann Modell ugeholl datt duerch d'Erhéijung vun der Dauer vum Scheck d'Wahrscheinlechkeet e Feeler z'entdecken fällt erof, dat heescht, de Flux reduzéiert d'Feeler, da wäerte mir duerch d'Untersuchung vun dësem Flow bestëmmen wéi eng Etapp als éischt gesat gëtt, no der Regel, wou d'Feelerdicht méi dacks ass, wäerte mir dës Etapp als éischt setzen.

Fig. 15.

Vun der Formel an der Figur 15 folgt datt et am léifsten ass déi véiert Stuf virun der Etapp 2.2 an de Berechnungen ze placéieren.

Mat der Formel vum Schumann bestëmmen mir déi geschätzte initial Zuel vu Feeler:

Fig. 16.

Vun de Resultater an der Figur 16 kann et gesi ginn datt déi virausgesot Zuel vu Feeler N2 = 3167 ass, wat méi wéi de Minimum Critère vun 1459 ass.

Als Resultat vun der Korrektur hu mir 805 Feeler korrigéiert, an déi virausgesot Zuel ass 3167 - 805 = 2362, wat nach ëmmer méi ass wéi de Minimum Schwell, dee mir ugeholl hunn.

Mir definéieren Parameter C, Lambda an Zouverlässegkeet Funktioun:

Fig. 17.

Wesentlech ass Lambda en aktuellen Indikator vun der Intensitéit mat där Feeler an all Etapp festgestallt ginn. Wann Dir uewen kuckt, war déi viregt Schätzung vun dësem Indikator 42,4 Feeler pro Stonn, wat relativ vergläichbar ass mam Schumann Indikator. Wann Dir op den éischten Deel vun dësem Material dréit, gouf festgestallt datt den Taux mat deem en Entwéckler Feeler fënnt, sollt net manner wéi 1 Feeler pro 250,4 records sinn, wann Dir 1 Rekord pro Minutt iwwerpréift. Dofir de kritesche Wäert vun der Lambda fir de Schumann Modell:
60 / 250,4 = 0,239617.

Dat ass, de Besoin fir Feeler Detektiounsprozeduren auszeféieren, muss duerchgefouert ginn bis Lambda, vun der existéierender 38,964, op 0,239617 erofgeet.

Oder bis den Indikator N (potenziell Zuel vu Feeler) minus n (korrigéiert Zuel vu Feeler) ënner der Schwell erof geet, déi mir akzeptéiert hunn (am éischten Deel) - 1459 Stéck.

Deel 1. Theoretesch.

Source: will.com