Netwaye done tankou yon jwèt nan wòch, papye, sizo. Èske sa se yon jwèt ki gen oswa san yon fen? Pati 2. Pratik

В premye pati li te dekri ke piblikasyon sa a te fèt sou baz la nan yon seri done nan rezilta evaliasyon pwopriete cadastre nan byen imobilye nan Khanty-Mansi otonòm Okrug la.

Pati nan pratik prezante nan fòm lan nan etap. Tout netwayaj te fè nan Excel, depi zouti ki pi komen ak operasyon ki dekri yo ka repete pa pifò espesyalis ki konnen Excel. Ak byen byen adapte pou travay men-a-men.

Etap zewo a pral travay lanse ak sove dosye a, depi li se 100 MB nan gwosè, Lè sa a, ak kantite operasyon sa yo ke yo te dizèn ak dè santèn, yo pran tan enpòtan.
Ouvèti, an mwayèn, se 30 segonn.
Ekonomize - 22 sec.

Premye etap la kòmanse ak detèmine endikatè estatistik yo nan dataset la.

Tablo 1. Endikatè estatistik nan seri done a
Netwaye done tankou yon jwèt nan wòch, papye, sizo. Èske sa se yon jwèt ki gen oswa san yon fen? Pati 2. Pratik

Teknoloji 2.1.

Nou kreye yon jaden oksilyè, mwen genyen li anba nimewo a - AY. Pou chak antre, nou fòme fòmil "=LENGTH(F365502)+LENGTH(G365502)+...+LENGTH(AW365502)"

Total tan pase sou etap 2.1 (pou fòmil Schumann) t21 = 1 èdtan.
Kantite erè yo jwenn nan etap 2.1 (pou fòmil Schumann) n21 = 0 pcs.

Dezyèm faz.
Tcheke eleman yo nan dataset la.
2.2. Tout valè nan dosye yo fòme lè l sèvi avèk senbòl estanda. Se poutèt sa, ann swiv estatistik yo pa senbòl.

Tablo 2. Endikatè estatistik karaktè nan seri done a ak analiz preliminè rezilta yo.Netwaye done tankou yon jwèt nan wòch, papye, sizo. Èske sa se yon jwèt ki gen oswa san yon fen? Pati 2. Pratik
Netwaye done tankou yon jwèt nan wòch, papye, sizo. Èske sa se yon jwèt ki gen oswa san yon fen? Pati 2. Pratik
Netwaye done tankou yon jwèt nan wòch, papye, sizo. Èske sa se yon jwèt ki gen oswa san yon fen? Pati 2. Pratik
Netwaye done tankou yon jwèt nan wòch, papye, sizo. Èske sa se yon jwèt ki gen oswa san yon fen? Pati 2. Pratik
Netwaye done tankou yon jwèt nan wòch, papye, sizo. Èske sa se yon jwèt ki gen oswa san yon fen? Pati 2. Pratik

Teknoloji 2.2.1.

Nou kreye yon jaden oksilyè - "alpha1". Pou chak dosye, nou fòme fòmil "=CONCATENATE(Fèy1!B9;...Fèy1!AQ9)"
Nou kreye yon selil fiks Omega-1. Nou pral altènativman antre kòd karaktè dapre Windows-1251 soti nan 32 a 255 nan selil sa a.
Nou kreye yon jaden oksilyè - "alpha2". Avèk fòmil "=FIND(SENBOL(Omega,1); "alpha1",N)".
Nou kreye yon jaden oksilyè - "alpha3". Avèk fòmil "=SI(ISNUMBER("alpha2",N),1)"
Kreye yon selil fiks "Omega-2", ak fòmil la "=SOM ("alpha3"N1: "alpha3"N365498)"

Tablo 3. Rezilta analiz preliminè rezilta yoNetwaye done tankou yon jwèt nan wòch, papye, sizo. Èske sa se yon jwèt ki gen oswa san yon fen? Pati 2. Pratik

Tablo 4. Erè ki anrejistre nan etap sa aNetwaye done tankou yon jwèt nan wòch, papye, sizo. Èske sa se yon jwèt ki gen oswa san yon fen? Pati 2. Pratik

Total tan pase sou etap 2.2.1 (pou fòmil Schumann) t221 = 8 èdtan.
Kantite erè korije nan etap 2.2.1 (pou fòmil Schumann) n221 = 0 pcs.

Etap 3.
Twazyèm etap la se anrejistre eta a nan dataset la. Lè w bay chak dosye yon nimewo inik (ID) ak chak jaden. Sa nesesè pou konpare done konvèti a ak youn orijinal la. Sa a se tou nesesè yo pran anpil avantaj de gwoupman yo ak kapasite filtraj. Isit la ankò nou ale nan tablo 2.2.2 epi chwazi yon senbòl ki pa itilize nan dataset la. Nou jwenn sa ki montre nan Figi 10.

Netwaye done tankou yon jwèt nan wòch, papye, sizo. Èske sa se yon jwèt ki gen oswa san yon fen? Pati 2. Pratik
Fig. 10. Bay idantifyan yo.

Total tan pase sou etap 3 (pou fòmil Schumann) t3 = 0,75 èdtan.
Kantite erè yo jwenn nan etap 3 (pou fòmil Schumann) n3 = 0 pcs.

Depi fòmil la Schumann mande pou etap la dwe konplete pa korije erè. Ann retounen nan etap 2.

Etap 2.2.2.
Nan etap sa a nou pral korije tou espas doub ak trip.
Netwaye done tankou yon jwèt nan wòch, papye, sizo. Èske sa se yon jwèt ki gen oswa san yon fen? Pati 2. Pratik
Figi 11. Kantite espas doub.

Koreksyon erè yo idantifye nan tablo 2.2.4.

Tablo 5. Etap koreksyon erèNetwaye done tankou yon jwèt nan wòch, papye, sizo. Èske sa se yon jwèt ki gen oswa san yon fen? Pati 2. Pratik
Netwaye done tankou yon jwèt nan wòch, papye, sizo. Èske sa se yon jwèt ki gen oswa san yon fen? Pati 2. Pratik

Yon egzanp sou rezon ki fè yon aspè tankou itilizasyon lèt "e" oswa "e" enpòtan yo prezante nan Figi 12.

Netwaye done tankou yon jwèt nan wòch, papye, sizo. Èske sa se yon jwèt ki gen oswa san yon fen? Pati 2. Pratik
Figi 12. Diferans nan lèt "e".

Total tan ki pase nan etap 2.2.2 t222 = 4 èdtan.
Kantite erè yo jwenn nan etap 2.2.2 (pou fòmil Schumann) n222 = 583 pcs.

Katriyèm etap.
Tcheke pou redondance jaden anfòm byen nan etap sa a. Nan 44 jaden yo, 6 jaden:
7 - Objektif estrikti a
16 — Kantite etaj anba tè
17 - Objè paran
21 - Konsèy Vilaj
38 — Paramèt estrikti (deskripsyon)
40 – Eritaj kiltirèl

Yo pa gen okenn antre. Sa vle di, yo se redondants.
Jaden "22 - Vil" gen yon sèl antre, Figi 13.

Netwaye done tankou yon jwèt nan wòch, papye, sizo. Èske sa se yon jwèt ki gen oswa san yon fen? Pati 2. Pratik
Figi 13. Sèl antre a se Z_348653 nan jaden "Vil".

Jaden "34 - Non bilding" gen antre ki klèman pa koresponn ak objektif jaden an, Figi 14.

Netwaye done tankou yon jwèt nan wòch, papye, sizo. Èske sa se yon jwèt ki gen oswa san yon fen? Pati 2. Pratik
Figi 14. Yon egzanp yon antre ki pa konfòme.

Nou eskli jaden sa yo nan dataset la. Epi nou anrejistre chanjman an nan 214 dosye.

Total tan pase sou etap 4 (pou fòmil Schumann) t4 = 2,5 èdtan.
Kantite erè yo jwenn nan etap 4 (pou fòmil Schumann) n4 = 222 pcs.

Tablo 6. Analiz de endikatè seri done apre 4yèm etap la

Netwaye done tankou yon jwèt nan wòch, papye, sizo. Èske sa se yon jwèt ki gen oswa san yon fen? Pati 2. Pratik

An jeneral, analize chanjman nan endikatè (Tablo 6) nou ka di ke:
1) Pwopòsyon kantite mwayèn senbòl ak levye devyasyon estanda a se tou pre 3, se sa ki, gen siy distribisyon nòmal (sis sigma règ).
2) Yon devyasyon enpòtan nan levye yo minimòm ak maksimòm soti nan levye an mwayèn sijere ke etid la nan ke se yon direksyon pwomèt lè w ap chèche erè.

Ann egzamine rezilta yo nan jwenn erè lè l sèvi avèk metodoloji Schumann la.

Etap san fè anyen konsa

2.1. Total tan pase sou etap 2.1 (pou fòmil Schumann) t21 = 1 èdtan.
Kantite erè yo jwenn nan etap 2.1 (pou fòmil Schumann) n21 = 0 pcs.

3. Total tan pase sou etap 3 (pou fòmil Schumann) t3 = 0,75 èdtan.
Kantite erè yo jwenn nan etap 3 (pou fòmil Schumann) n3 = 0 pcs.

Etap efikas
2.2. Total tan pase sou etap 2.2.1 (pou fòmil Schumann) t221 = 8 èdtan.
Kantite erè korije nan etap 2.2.1 (pou fòmil Schumann) n221 = 0 pcs.
Total tan ki pase nan etap 2.2.2 t222 = 4 èdtan.
Kantite erè yo jwenn nan etap 2.2.2 (pou fòmil Schumann) n222 = 583 pcs.

Total tan ki pase nan etap 2.2 t22 = 8 + 4 = 12 èdtan.
Kantite erè yo jwenn nan etap 2.2.2 (pou fòmil Schumann) n222 = 583 pcs.

4. Total tan pase sou etap 4 (pou fòmil Schumann) t4 = 2,5 èdtan.
Kantite erè yo jwenn nan etap 4 (pou fòmil Schumann) n4 = 222 pcs.

Piske gen zewo etap ki dwe enkli nan premye etap modèl Schumann a, epi sou lòt men an, etap 2.2 ak 4 yo se natirèlman endepandan, Lè sa a, bay modèl Schumann la sipoze ke lè yo ogmante dire chèk la, pwobabilite a genyen. nan detekte yon erè diminye, se sa ki, koule nan diminye echèk, Lè sa a, pa egzamine koule sa a nou pral detèmine ki etap yo mete an premye, dapre règ la, kote dansite echèk la pi souvan, nou pral mete etap sa a an premye.

Netwaye done tankou yon jwèt nan wòch, papye, sizo. Èske sa se yon jwèt ki gen oswa san yon fen? Pati 2. Pratik
Figi 15.

Soti nan fòmil la nan Figi 15 li swiv ke li pi bon pou mete katriyèm etap la anvan etap 2.2 nan kalkil yo.

Sèvi ak fòmil Schumann a, nou detèmine kantite inisyal estimasyon erè:

Netwaye done tankou yon jwèt nan wòch, papye, sizo. Èske sa se yon jwèt ki gen oswa san yon fen? Pati 2. Pratik
Figi 16.

Soti nan rezilta yo nan Figi 16 ou ka wè ke kantite erè prevwa a se N2 = 3167, ki se pi plis pase kritè minimòm 1459.

Kòm rezilta koreksyon an, nou korije 805 erè, ak nimewo a prevwa se 3167 – 805 = 2362, ki se toujou plis pase papòt minimòm nou aksepte.

Nou defini paramèt C, lambda ak fonksyon fyab:

Netwaye done tankou yon jwèt nan wòch, papye, sizo. Èske sa se yon jwèt ki gen oswa san yon fen? Pati 2. Pratik
Figi 17.

Esansyèlman, lambda se yon endikatè aktyèl entansite nan ki erè yo detekte nan chak etap. Si ou gade pi wo a, estimasyon anvan an nan endikatè sa a te 42,4 erè pou chak èdtan, ki se byen konparab ak endikatè a Schumann. Lè w ap gade premye pati materyèl sa a, li te detèmine ke pousantaj yon pwomotè jwenn erè pa ta dwe pi ba pase 1 erè pou chak 250,4 dosye, lè w tcheke 1 dosye pou chak minit. Pakonsekan valè kritik lambda pou modèl Schumann la:
60 / 250,4 = 0,239617.

Sa vle di, bezwen pou egzekite pwosedi deteksyon erè yo dwe fèt jiskaske lambda, ki soti nan 38,964 ki egziste deja, diminye a 0,239617.

Oswa jiskaske endikatè N (kantite potansyèl erè) mwens n (korije kantite erè) diminye anba papòt nou aksepte (nan premye pati a) - 1459 pcs.

Pati 1. Teyorik.

Sous: www.habr.com

Add nouvo kòmantè