Rensa upp data som en omgång Rock, Paper, Scissors. Är detta ett spel med eller utan ett slut? Del 2. Praktiskt

В Del ett Det beskrevs att denna publikation gjordes baserat på en datauppsättning med resultaten av kadastervärdering av fastighetsobjekt i Khanty-Mansijsk autonoma okrug.

Den praktiska delen presenteras i form av steg. All rengöring utfördes i Excel, eftersom det är det vanligaste verktyget och de beskrivna operationerna kan upprepas av de flesta specialister som kan Excel. Och det är mycket lämpligt för praktiskt arbete.

Jag kommer att lägga arbetet på att starta och spara filen som nollsteg, eftersom den är 100 MB stor, och med antalet av dessa operationer i tiotals och hundratals tar de en betydande mängd tid.
Öppningstiden är i genomsnitt 30 sekunder.
Sparande - 22 sek.

Det första steget börjar med att definiera de statistiska indikatorerna för datamängden.

Tabell 1. Statistiska indikatorer för datamängden

Teknik 2.1.

Vi skapar ett hjälpfält, jag har det under numret — AY. För varje post bildar vi formeln «=LEN(F365502)+LEN(G365502)+…+LEN(AW365502)»

Total tid spenderad på steg 2.1 (för Schumanns formel) t21 = 1 timme.
Antalet fel som hittats i steg 2.1 (för Schumann-formeln) n21 = 0 st.

Det andra steget.
Kontroll av datamängdens komponenter.
2.2. Alla värden i poster bildas av standardsymboler. Därför kommer vi att spåra statistik med hjälp av symboler.

Tabell 2. Statistiska indikatorer för symboler i datasetet med preliminär analys av resultaten.





Teknik 2.2.1.

Vi skapar ett hjälpfält – ”alpha1”. För varje post bildar vi formeln ”=CONCATENATE(Sheet1!B9;…Sheet1!AQ9)”.
Vi skapar en fast cell "Omega-1". I den här cellen kommer vi att ange teckenkoder enligt Windows-1251 från 32 till 255 en i taget.
Vi skapar ett hjälpfält – “alpha2”. Med formeln “=FIND(CHAR(Omega;1); “alpha1”;N)”.
Vi skapar ett hjälpfält – ”alfa3”. Med formeln ”=OM(ÄRTAL(”alfa2”;N);1;0)”
Skapa en fast cell "Omega-2" med formeln "=SUM("alpha3"N1:"alpha3"N365498)"

Tabell 3. Resultat av den preliminära analysen av resultaten

Tabell 4. Fel som registrerats i detta skede

Total tid spenderad på steg 2.2.1 (för Schumanns formel) t221 = 8 timme.
Antalet korrigerade fel i steg 2.2.1 (för Schumann-formeln) n221 = 0 st.

Steg 3.
Det tredje steget är att fixera datamängdens tillstånd. Genom att tilldela ett unikt nummer (ID) till varje post och varje fält. Detta är nödvändigt för att jämföra den transformerade datamängden med originalet. Det är också nödvändigt att fullt ut utnyttja grupperings- och filtreringsmöjligheterna. Här vänder vi oss återigen till tabell 2.2.2 och väljer en symbol som inte används i datamängden. Vi får det som visas i figur 10.

Bild 10. Tilldelning av identifierare.

Total tid spenderad på steg 3 (för Schumanns formel) t3 = 0,75 timme.
Antalet fel som hittats i steg 3 (för Schumann-formeln) n3 = 0 st.

Eftersom Schumanns formel kräver att steget kompletteras genom felkorrigering återgår vi till steg 2.

Steg 2.2.2.
I det här skedet kommer vi även att korrigera dubbla och tredubbla mellanslag.

Bild 11. Antal dubbla mellanslag.

Rättelse av fel som identifierats i tabell 2.2.4.

Tabell 5. Felkorrigeringsfas


Ett exempel på varför en sådan aspekt som användningen av bokstäverna ”e” eller ”yo” är viktig visas i figur 12.

Fig. 12. Inkonsekvens i bokstaven "ё".

Total tid spenderad på etapp 2.2.2 t222 = 4 timmar.
Antalet fel som hittats i steg 2.2.2 (för Schumann-formeln) n222 = 583 st.

Den fjärde etappen.
Det här steget passar bra med att kontrollera fältredundans. Av de 44 fälten är 6 fält:
7 — Strukturens syfte
16 - Antal våningar under jord
17 — Föräldraobjekt
21 — Byarådet
38 — Strukturens parametrar (beskrivning)
40 - Kulturarv

De har inte en enda post. Det vill säga, de är redundanta.
Fältet "22 - Stad" har en enda post, figur 13.

Bild 13. Den enda posten Z_348653 i fältet ”Stad”.

Fältet ”34 – Byggnadsnamn” innehåller poster som uppenbarligen inte motsvarar fältets syfte, figur 14.

Bild 14. Exempel på en icke-kompatibel post.

Vi exkluderar dessa fält från datasetet. Och vi registrerar ändringen av 214 poster.

Total tid spenderad på steg 4 (för Schumanns formel) t4 = 2,5 timme.
Antalet fel som hittats i steg 4 (för Schumann-formeln) n4 = 222 st.

Tabell 6. Analys av datamängdsindikatorer efter det fjärde steget

Generellt sett kan vi, genom att analysera förändringarna i indikatorerna (tabell 6), säga att:
1) Förhållandet mellan hävstångarna för det genomsnittliga antalet symboler och hävstången för standardavvikelsen är nära 3, det vill säga det finns tecken på en normalfördelning (sexsigma-regeln).
2) Den signifikanta avvikelsen mellan minimi- och maximihävstångarna och den genomsnittliga hävstången tyder på att studier av svansarna är en lovande riktning för att söka efter fel.

Vi kommer att undersöka resultaten av att hitta fel med hjälp av Schumanns metod.

Tomgångsstadier

2.1 Total tid spenderad på steg 2.1 (för Schumanns formel) t21 = 1 timme.
Antalet fel som hittats i steg 2.1 (för Schumann-formeln) n21 = 0 st.

3 Total tid spenderad på steg 3 (för Schumanns formel) t3 = 0,75 timme.
Antalet fel som hittats i steg 3 (för Schumann-formeln) n3 = 0 st.

Resultatfaser
2.2 Total tid spenderad på steg 2.2.1 (för Schumanns formel) t221 = 8 timme.
Antalet korrigerade fel i steg 2.2.1 (för Schumann-formeln) n221 = 0 st.
Total tid spenderad på etapp 2.2.2 t222 = 4 timmar.
Antalet fel som hittats i steg 2.2.2 (för Schumann-formeln) n222 = 583 st.

Total tid spenderad på etapp 2.2 t22 = 8 + 4 = 12 timmar.
Antalet fel som hittats i steg 2.2.2 (för Schumann-formeln) n222 = 583 st.

4 Total tid spenderad på steg 4 (för Schumanns formel) t4 = 2,5 timme.
Antalet fel som hittats i steg 4 (för Schumann-formeln) n4 = 222 st.

Eftersom det finns noll steg som bör inkluderas i det första steget i Schumann-modellen, och å andra sidan stegen 2.2 och 4 är i huvudsak oberoende, kommer vi, med hänsyn till att Schumann-modellen antar att med en ökning av testets varaktighet minskar sannolikheten för att upptäcka ett fel, det vill säga att flödet av fel minskar, genom att studera detta flöde att avgöra vilket av stegen som ska placeras först, enligt regeln att där feltätheten är mer frekvent, placeras det steget först.

Fig. 15.

Av formeln i figur 15 följer att det är att föredra att placera det fjärde steget före steg 2.2 i beräkningarna.

Med hjälp av Schumanns formel bestämmer vi det uppskattade initiala antalet fel:

Fig. 16.

Av resultaten i figur 16 framgår att det förutspådda antalet fel N2 = 3167, vilket är större än minimikriteriet på 1459.

Till följd av korrigeringen korrigerade vi 805 fel, och det förutspådda antalet är 3167 - 805 = 2362, vilket fortfarande är mer än det lägsta tröskelvärde vi antog.

Vi definierar parametern C, lambda och tillförlitlighetsfunktionen:

Fig. 17.

I grund och botten är lambda en faktisk indikator på intensiteten med vilken fel upptäcks i varje steg. Om man tittar ovan uppgick uppskattningen av denna indikator tidigare till 42,4 fel per timme, vilket är ganska jämförbart med Schumann-indikatorn. Med hänvisning till den första delen av detta material fastställdes att intensiteten för att upptäcka fel av utvecklaren inte skulle vara mindre än 1 fel per 250,4 poster, vid kontroll av 1 post per minut. Därav det kritiska värdet för lambda för Schumann-modellen:
60 / 250,4 = 0,239617.

Det vill säga att behovet av att utföra feldetekteringsprocedurer måste utföras tills lambdan, från befintliga 38,964, minskar till 0,239617.

Eller tills indikatorn N (det potentiella antalet fel) minus n (det korrigerade antalet fel) minskar under det tröskelvärde vi antog (i den första delen) – 1459 st.

Del 1. Teoretisk.

Källa: will.com