Andmete, nagu kivi, paber, käärid, puhastamine. Kas see on mäng viimistlusega või ilma? Osa 2. Praktiline

В esimene osa Kirjeldati, et see väljaanne koostati Handi-Mansi autonoomse ringkonna kinnisvaraobjektide katastrihindamise tulemuste andmestiku põhjal.

Praktiline osa on esitatud sammude kaupa. Kogu puhastamine tehti Excelis, kuna see on kõige levinum tööriist ja kirjeldatud toiminguid saavad korrata enamik Exceliga tuttavaid spetsialiste. See sobib üsna hästi ka praktiliseks tööks.

Panen faili käivitamise ja salvestamise nullastmeks, kuna see on 100 MB suurune ja kümnete ning sadade selliste toimingute puhul võtab see märkimisväärselt aega.
Avamisaeg on keskmiselt 30 sekundit.
Säästuaeg: 22 sekundit.

Esimene etapp algab andmestiku statistiliste näitajate määratlemisega.

Tabel 1. Andmekogumi statistilised näitajad

Tehnoloogia 2.1.

Loo abiväli; nimetan selle AY-ks. Iga kirje jaoks loo valem "=LEN(F365502)+LEN(G365502)+…+LEN(AW365502)".

2.1. etapis veedetud koguaeg (Schumanni valemi järgi) t21 = 1 tund.
2.1. etapis leitud vigade arv (Schumanni valemi puhul) n21 = 0 tk.

Teises etapis.
Andmestiku komponentide kontrollimine.
2.2. Kõik kirjete väärtused moodustatakse standardsete sümbolite abil. Seega jälgime statistikat sümbolite kaupa.

Tabel 2. Andmestikus sisalduvate sümbolite statistilised näitajad koos tulemuste esialgse analüüsiga.





Tehnoloogia 2.2.1.

Loome abivälja – „alpha1“. Iga kirje jaoks loome valemi „=CONCATENATE(Sheet1!B9;…Sheet1!AQ9)“.
Loome fikseeritud lahtri nimega "Omega-1". Sisestame sellesse lahtrisse ükshaaval Windows-1251 tähemärgikoodid vahemikus 32 kuni 255.
Loome abivälja – „alpha2“. Valemiga „=FIND(CHAR(Omega;1); „alpha1“;N)“.
Loome abivälja – „alpha3“. Valemiga „=IF(ISNUMBER(“alpha2”;N);1;0)“
Loo fikseeritud lahter "Omega-2" valemiga "=SUM("alpha3"N1:"alpha3"N365498)"

Tabel 3. Tulemuste esialgse analüüsi tulemused

Tabel 4. Selles etapis registreeritud vead

2.2.1. etapis veedetud koguaeg (Schumanni valemi järgi) t221 = 8 tund.
Etapis 2.2.1 parandatud vigade arv (Schumanni valemi puhul) n221 = 0 tk.

Samm 3.
Kolmas samm on andmestiku oleku registreerimine. Me määrame igale kirjele ja igale väljale unikaalse numbri (ID). See on vajalik teisendatud andmestiku võrdlemiseks originaaliga. Samuti on vaja täielikult ära kasutada rühmitamis- ja filtreerimisvõimalusi. Siinkohal viitame taas tabelile 2.2.2 ja valime sümboli, mida andmestikus ei kasutata. Tulemus on näidatud joonisel 10.

Joonis 10. Identifikaatorite määramine.

3. etapis veedetud koguaeg (Schumanni valemi järgi) t3 = 0,75 tund.
3. etapis leitud vigade arv (Schumanni valemi puhul) n3 = 0 tk.

Kuna Schumanni valem nõuab selle etapi läbimist koos veaparandusega, naaseme 2. etappi.

Samm 2.2.2.
Selles etapis parandame ka kahe- ja kolmekordsed tühikud.

Joonis 11. Topelttühikute arv.

Tabelis 2.2.4 tuvastatud vigade parandus.

Tabel 5. Veaparanduse etapp


Näide sellest, miks selline aspekt nagu tähtede "e" või "yo" kasutamine on oluline, on toodud joonisel 12.

Joonis 12. Vastuolu tähes "ё".

Etapil 2.2.2 veedetud koguaeg t222 = 4 tundi.
2.2.2. etapis leitud vigade arv (Schumanni valemi puhul) n222 = 583 tk.

Neljas etapp.
Väljade koondamise kontrollimine sobib sellesse etappi hästi. 44 väljast 6 on:
7 — Konstruktsiooni eesmärk
16 - Maa-aluste korruste arv
17 — Ülemobjekt
21 — Külanõukogu
38 — Struktuuri parameetrid (kirjeldus)
40 - Kultuuripärand

Neil pole ühtegi kirjet. See tähendab, et nad on üleliigsed.
Väljal "22 - Linn" on üks kirje, joonis 13.

Joonis 13. Ainus kirje Z_348653 väljal „Linn“.

Väli „34 – Hoone nimi” sisaldab kirjeid, mis ilmselgelt ei vasta välja otstarbele, joonis 14.

Joonis 14. Näide nõuetele mittevastavast kandest.

Me jätame need väljad andmestikust välja ja salvestame muudatused 214 kirjes.

4. etapis veedetud koguaeg (Schumanni valemi järgi) t4 = 2,5 tund.
4. etapis leitud vigade arv (Schumanni valemi puhul) n4 = 222 tk.

Tabel 6. Andmestiku näitajate analüüs pärast 4. etappi

Üldiselt, analüüsides näitajate muutusi (tabel 6), võime öelda järgmist:
1) Keskmise sümbolite arvu ja standardhälbe hoova suhe on lähedane 3-le, mis tähendab, et esineb normaaljaotuse märke (kuue sigma reegel).
2) Minimaalse ja maksimaalse kangi oluline kõrvalekalle keskmisest kangist viitab sellele, et sabade uurimine on paljulubav suund vigade otsimisel.

Uurime Schumanni metoodika abil vigade leidmise tulemusi.

Jõudeoleku etapid

2.1. Etapis 2.1 veedetud koguaeg (Schumanni valemi järgi) t21 = 1 tund.
2.1. etapis leitud vigade arv (Schumanni valemi puhul) n21 = 0 tk.

3. Etapis 3 veedetud koguaeg (Schumanni valemi järgi) t3 = 0,75 tund.
3. etapis leitud vigade arv (Schumanni valemi puhul) n3 = 0 tk.

Tõhusad etapid
2.2. Etapis 2.2.1 veedetud koguaeg (Schumanni valemi järgi) t221 = 8 tund.
Etapis 2.2.1 parandatud vigade arv (Schumanni valemi puhul) n221 = 0 tk.
Etapil 2.2.2 veedetud koguaeg t222 = 4 tundi.
2.2.2. etapis leitud vigade arv (Schumanni valemi puhul) n222 = 583 tk.

2.2. etapil veedetud koguaeg t22 = 8 + 4 = 12 tundi.
2.2.2. etapis leitud vigade arv (Schumanni valemi puhul) n222 = 583 tk.

4. Etapis 4 veedetud koguaeg (Schumanni valemi järgi) t4 = 2,5 tund.
4. etapis leitud vigade arv (Schumanni valemi puhul) n4 = 222 tk.

Kuna Schumanni mudeli esimeses etapis ei ole vaja arvestada ühtegi etappi ja teisest küljest on etapid 2.2 ja 4 sisuliselt sõltumatud, siis arvestades, et Schumanni mudel eeldab, et testimise kestuse pikenemisega väheneb vea tuvastamise tõenäosus, st rikete voog väheneb, siis seda voogu uurides määrame, millise etapi esikohale seada, vastavalt reeglile, kus rikete tihedus on sagedasem, see etapp seatakse esikohale.

Joonis 15.

Joonisel 15 olevast valemist järeldub, et arvutustes on eelistatav paigutada neljas etapp enne etappi 2.2.

Schumanni valemi abil määrame hinnangulise esialgse vigade arvu:

Joonis 16.

Joonisel 16 olevatest tulemustest on näha, et ennustatud vigade arv N2 = 3167, mis on suurem kui minimaalne kriteerium 1459.

Paranduse tulemusel parandasime 805 viga ja ennustatud arv on 3167 - 805 = 2362, mis on ikkagi rohkem kui meie poolt vastu võetud minimaalne lävi.

Defineerime parameetri C, lambda ja töökindluse funktsiooni:

Joonis 17.

Põhimõtteliselt on lambda tegelik näitaja, mis näitab vigade avastamise kiirust igas etapis. Eelmist hinnangut vaadates oli see näitaja 42,4 viga tunnis, mis on üsna võrreldav Schumanni näitajaga. Selle materjali esimesele osale viidates tehti kindlaks, et arendaja vigade avastamise määr ei tohiks olla madalam kui 1 viga 250,4 kirje kohta, kusjuures kontrollitakse ühte kirjet minutis. Seega on Schumanni mudeli kriitiline lambda väärtus:
60 / 250,4 = 0,239617.

See tähendab, et vigade tuvastamise protseduuride läbiviimise vajadus tuleb läbi viia seni, kuni lambda väheneb olemasolevalt 38,964-lt väärtusele 0,239617.

Või kuni näitaja N (potentsiaalne vigade arv) miinus n (parandatud vigade arv) langeb allapoole meie poolt (esimeses osas) vastu võetud lävendit – 1459 tk.

1. osa. Teoreetiline.

Allikas: www.habr.com