Hreinsaðu upp gögn eins og leikur af steini, pappír, skærum. Er þetta leikur með eða án enda? Hluti 2. Hagnýtt

В fyrsti hluti því var lýst að þessi útgáfa væri gerð á grundvelli gagnasafns um matsniðurstöður fasteignamats í Khanty-Mansi sjálfstjórnarsvæðinu.

Verklegi hlutinn er kynntur í formi skrefa. Öll þrif fóru fram í Excel, þar sem algengasta tólið og þær aðgerðir sem lýst er geta verið endurteknar af flestum sérfræðingum sem þekkja Excel. Og hentar alveg vel til handavinnu.

Núllstigið mun vera vinnan við að ræsa og vista skrána, þar sem hún er 100 MB að stærð, þá taka þær töluverðan tíma þegar fjöldi þessara aðgerða er tugir og hundruðir.
Opnun er að meðaltali 30 sekúndur.
Sparnaður – 22 sek.

Fyrsta stigið hefst með því að ákvarða tölfræðilegar vísbendingar gagnasafnsins.

Tafla 1. Tölfræðivísar gagnasafnsins
Hreinsaðu upp gögn eins og leikur af steini, pappír, skærum. Er þetta leikur með eða án enda? Hluti 2. Hagnýtt

Tækni 2.1.

Við búum til hjálparreit, ég er með hann undir númerinu - AY. Fyrir hverja færslu myndum við formúluna „=LENGTH(F365502)+LENGTH(G365502)+…+LENGTH(AW365502)“

Heildartími á sviði 2.1 (fyrir Schumann formúlu) t21 = 1 klst.
Fjöldi villna sem fundust á stigi 2.1 (fyrir Schumann formúlu) n21 = 0 stk.

The second leiksvið.
Athugun á íhlutum gagnasafnsins.
2.2. Öll gildi í skrám eru mynduð með stöðluðum táknum. Þess vegna skulum við rekja tölfræðina eftir táknum.

Tafla 2. Tölfræðilegir vísbendingar um stafi í gagnasafni með bráðabirgðagreiningu á niðurstöðum.Hreinsaðu upp gögn eins og leikur af steini, pappír, skærum. Er þetta leikur með eða án enda? Hluti 2. Hagnýtt
Hreinsaðu upp gögn eins og leikur af steini, pappír, skærum. Er þetta leikur með eða án enda? Hluti 2. Hagnýtt
Hreinsaðu upp gögn eins og leikur af steini, pappír, skærum. Er þetta leikur með eða án enda? Hluti 2. Hagnýtt
Hreinsaðu upp gögn eins og leikur af steini, pappír, skærum. Er þetta leikur með eða án enda? Hluti 2. Hagnýtt
Hreinsaðu upp gögn eins og leikur af steini, pappír, skærum. Er þetta leikur með eða án enda? Hluti 2. Hagnýtt

Tækni 2.2.1.

Við búum til hjálparreit - "alpha1". Fyrir hverja færslu myndum við formúluna „=CONCATENATE(Sheet1!B9;...Sheet1!AQ9)“
Við búum til fasta Omega-1 frumu. Við munum til skiptis slá inn stafakóða samkvæmt Windows-1251 frá 32 til 255 í þennan reit.
Við búum til hjálparreit - "alpha2". Með formúlunni „=FINN(TAKN(Ómega,1); „alfa1“,N)“.
Við búum til hjálparreit - "alpha3". Með formúlunni „=IF(ISNUMBER(“alfa2”,N),1)“
Búðu til fasta reit "Omega-2", með formúlunni "=SUM("alpha3"N1: "alpha3"N365498)"

Tafla 3. Niðurstöður bráðabirgðagreiningar á niðurstöðumHreinsaðu upp gögn eins og leikur af steini, pappír, skærum. Er þetta leikur með eða án enda? Hluti 2. Hagnýtt

Tafla 4. Villur skráðar á þessu stigiHreinsaðu upp gögn eins og leikur af steini, pappír, skærum. Er þetta leikur með eða án enda? Hluti 2. Hagnýtt

Heildartími á sviði 2.2.1 (fyrir Schumann formúlu) t221 = 8 klst.
Fjöldi leiðréttra villna á stigi 2.2.1 (fyrir Schumann formúlu) n221 = 0 stk.

Skref 3.
Þriðja skrefið er að skrá stöðu gagnasafnsins. Með því að úthluta hverri færslu einstakt númer (ID) og hverjum reit. Þetta er nauðsynlegt til að bera saman breytta gagnasafnið við það upprunalega. Þetta er líka nauðsynlegt til að nýta flokkunar- og síunarmöguleikana til fulls. Hér aftur snúum við okkur að töflu 2.2.2 og veljum tákn sem er ekki notað í gagnasafninu. Við fáum það sem sýnt er á mynd 10.

Hreinsaðu upp gögn eins og leikur af steini, pappír, skærum. Er þetta leikur með eða án enda? Hluti 2. Hagnýtt
Mynd 10. Að úthluta auðkennum.

Heildartími á sviði 3 (fyrir Schumann formúlu) t3 = 0,75 klst.
Fjöldi villna sem fundust á stigi 3 (fyrir Schumann formúlu) n3 = 0 stk.

Þar sem Schumann formúlan krefst þess að sviðið sé lokið með því að leiðrétta villur. Snúum okkur aftur að stigi 2.

Skref 2.2.2.
Í þessu skrefi munum við einnig leiðrétta tvöfalt og þrefalt bil.
Hreinsaðu upp gögn eins og leikur af steini, pappír, skærum. Er þetta leikur með eða án enda? Hluti 2. Hagnýtt
Mynd 11. Fjöldi tvöfaldra rýma.

Leiðrétting á villum sem koma fram í töflu 2.2.4.

Tafla 5. VilluleiðréttingarstigHreinsaðu upp gögn eins og leikur af steini, pappír, skærum. Er þetta leikur með eða án enda? Hluti 2. Hagnýtt
Hreinsaðu upp gögn eins og leikur af steini, pappír, skærum. Er þetta leikur með eða án enda? Hluti 2. Hagnýtt

Dæmi um hvers vegna slíkur þáttur eins og notkun bókstafanna „e“ eða „e“ er mikilvægur er sett fram á mynd 12.

Hreinsaðu upp gögn eins og leikur af steini, pappír, skærum. Er þetta leikur með eða án enda? Hluti 2. Hagnýtt
Mynd 12. Misræmi í bókstafnum "e".

Heildartími í skrefi 2.2.2 t222 = 4 klst.
Fjöldi villna sem fundust á stigi 2.2.2 (fyrir Schumann formúlu) n222 = 583 stk.

Fjórða stig.
Athugun á offramboði á sviði passar vel inn á þetta stig. Af 44 reitum, 6 reitir:
7 - Tilgangur mannvirkis
16 — Fjöldi neðanjarðarhæða
17 - Foreldri hlutur
21 - Sveitarstjórn
38 — Byggingarfæribreytur (lýsing)
40 – Menningararfur

Þeir hafa engar færslur. Það er að segja þeir eru óþarfir.
Reitur „22 – Borg“ hefur eina færslu, mynd 13.

Hreinsaðu upp gögn eins og leikur af steini, pappír, skærum. Er þetta leikur með eða án enda? Hluti 2. Hagnýtt
Mynd 13. Eina færslan er Z_348653 í reitnum „Borg“.

Reitur „34 - Byggingarheiti“ inniheldur færslur sem greinilega samsvara ekki tilgangi reitsins, mynd 14.

Hreinsaðu upp gögn eins og leikur af steini, pappír, skærum. Er þetta leikur með eða án enda? Hluti 2. Hagnýtt
Mynd 14. Dæmi um færslu sem ekki uppfyllir kröfur.

Við útilokum þessa reiti frá gagnasafninu. Og við skráum breytinguna í 214 færslum.

Heildartími á sviði 4 (fyrir Schumann formúlu) t4 = 2,5 klst.
Fjöldi villna sem fundust á stigi 4 (fyrir Schumann formúlu) n4 = 222 stk.

Tafla 6. Greining á gagnasafnsvísum eftir 4. þrep

Hreinsaðu upp gögn eins og leikur af steini, pappír, skærum. Er þetta leikur með eða án enda? Hluti 2. Hagnýtt

Almennt séð, með því að greina breytingar á vísbendingum (tafla 6), getum við sagt að:
1) Hlutfall meðaltals fjölda tákna á móti staðalfráviksstönginni er nálægt 3, það er merki um eðlilega dreifingu (sex sigma regla).
2) Verulegt frávik á lágmarks- og hámarksstöngum frá meðalstöng bendir til þess að rannsókn á hala sé vænleg stefna þegar leitað er að villum.

Skoðum niðurstöður þess að finna villur með aðferðafræði Schumanns.

Aðgerðarlaus stig

2.1. Heildartími á sviði 2.1 (fyrir Schumann formúlu) t21 = 1 klst.
Fjöldi villna sem fundust á stigi 2.1 (fyrir Schumann formúlu) n21 = 0 stk.

3. Heildartími á sviði 3 (fyrir Schumann formúlu) t3 = 0,75 klst.
Fjöldi villna sem fundust á stigi 3 (fyrir Schumann formúlu) n3 = 0 stk.

Árangursrík stig
2.2. Heildartími á sviði 2.2.1 (fyrir Schumann formúlu) t221 = 8 klst.
Fjöldi leiðréttra villna á stigi 2.2.1 (fyrir Schumann formúlu) n221 = 0 stk.
Heildartími í skrefi 2.2.2 t222 = 4 klst.
Fjöldi villna sem fundust á stigi 2.2.2 (fyrir Schumann formúlu) n222 = 583 stk.

Heildartími í skrefi 2.2 t22 = 8 + 4 = 12 klst.
Fjöldi villna sem fundust á stigi 2.2.2 (fyrir Schumann formúlu) n222 = 583 stk.

4. Heildartími á sviði 4 (fyrir Schumann formúlu) t4 = 2,5 klst.
Fjöldi villna sem fundust á stigi 4 (fyrir Schumann formúlu) n4 = 222 stk.

Þar sem það eru núll stig sem verða að vera með í fyrsta þrepi Schumann líkansins, og á hinn bóginn, eru stig 2.2 og 4 í eðli sínu óháð, þá í ljósi þess að Schumann líkanið gerir ráð fyrir því að með því að lengja tímalengd athugunarinnar séu líkurnar af því að greina villu minnkar, það er að flæðið minnkar bilanir, þá með því að skoða þetta flæði munum við ákveða hvaða þrep á að setja fyrst, samkvæmt reglunni, þar sem bilunarþéttleiki er oftar, munum við setja það stig í fyrsta sæti.

Hreinsaðu upp gögn eins og leikur af steini, pappír, skærum. Er þetta leikur með eða án enda? Hluti 2. Hagnýtt
15. mynd.

Af formúlunni á mynd 15 leiðir að æskilegt er að setja fjórða þrepið á undan þrepi 2.2 í útreikningunum.

Með því að nota formúlu Schumanns, ákveðum við áætlaðan upphafsfjölda villna:

Hreinsaðu upp gögn eins og leikur af steini, pappír, skærum. Er þetta leikur með eða án enda? Hluti 2. Hagnýtt
16. mynd.

Af niðurstöðum á mynd 16 má sjá að spáð villufjöldi er N2 = 3167, sem er meira en lágmarksviðmiðið 1459.

Vegna leiðréttingarinnar leiðréttum við 805 villur og spáð tala er 3167 – 805 = 2362, sem er samt meira en lágmarksþröskuldurinn sem við samþykktum.

Við skilgreinum færibreytu C, lambda og áreiðanleikaaðgerð:

Hreinsaðu upp gögn eins og leikur af steini, pappír, skærum. Er þetta leikur með eða án enda? Hluti 2. Hagnýtt
17. mynd.

Í meginatriðum er lambda raunverulegur vísbending um hversu mikið villur eru greindar á hverju stigi. Ef þú lítur hér að ofan var fyrri áætlun þessa vísis 42,4 villur á klukkustund, sem er nokkuð sambærilegt við Schumann vísirinn. Þegar snýr að fyrri hluta þessa efnis, var ákveðið að hraðinn sem þróunaraðili finnur villur á ætti ekki að vera lægri en 1 villa á hverjar 250,4 færslur, þegar athugað er 1 skrá á mínútu. Þess vegna krítískt gildi lambda fyrir Schumann líkanið:
60 / 250,4 = 0,239617.

Þ.e.a.s. þarf að framkvæma villugreiningaraðferðir þar til lambda, úr núverandi 38,964, lækkar í 0,239617.

Eða þar til vísirinn N (mögulegur fjöldi villna) mínus n (leiðréttur fjöldi villna) fer niður fyrir viðmiðunarmörkin sem við samþykktum (í fyrsta hluta) - 1459 stk.

1. hluti. Fræðilegt.

Heimild: www.habr.com

Bæta við athugasemd