נקה נתונים כמו משחק רוק, נייר, מספריים. זה משחק עם או בלי סוף? חלק 2. מעשי

В חלק ראשון תואר כי פרסום זה נעשה על בסיס מערך נתונים של תוצאות הערכת שווי קדסטרלית של נדל"ן במחוז חאנטי-מנסי האוטונומי.

החלק המעשי מוצג בצורת שלבים. כל הניקוי נעשה באקסל, שכן הכלי הנפוץ ביותר והפעולות המתוארות יכולים לחזור על עצמם על ידי רוב המומחים שמכירים את האקסל. ומתאים למדי לעבודה יד ביד.

שלב האפס יהיה מלאכת ההשקה והשמירה של הקובץ, מכיוון שהוא בגודל 100 מגה-בייט, אז כשמספר הפעולות הללו הוא עשרות ומאות, הן לוקחות זמן משמעותי.
הפתיחה, בממוצע, היא 30 שניות.
חיסכון - 22 שניות.

השלב הראשון מתחיל בקביעת האינדיקטורים הסטטיסטיים של מערך הנתונים.

טבלה 1. אינדיקטורים סטטיסטיים של מערך הנתונים

טכנולוגיה 2.1.

אנחנו יוצרים שדה עזר, יש לי אותו תחת המספר - AY. עבור כל ערך, אנו יוצרים את הנוסחה "=LENGTH(F365502)+LENGTH(G365502)+...+LENGTH(AW365502)"

סך הזמן שהושקע בשלב 2.1 (עבור נוסחת שומאן) t21 = שעה.
מספר השגיאות שנמצאו בשלב 2.1 (עבור נוסחת שומאן) n21 = 0 יח'.

שלב שני.
בדיקת רכיבי מערך הנתונים.
2.2. כל הערכים ברשומות נוצרים באמצעות סמלים סטנדרטיים. לכן, בואו נעקוב אחר הסטטיסטיקה לפי סמלים.

טבלה 2. אינדיקטורים סטטיסטיים של תווים במערך הנתונים עם ניתוח ראשוני של התוצאות.





טכנולוגיה 2.2.1.

אנו יוצרים שדה עזר - "alpha1". עבור כל רשומה, אנו יוצרים את הנוסחה "=CONCATENATE(Sheet1!B9;...Sheet1!AQ9)"
אנו יוצרים תא אומגה 1 קבוע. נזין לסירוגין קודי תווים לפי Windows-1251 מ-32 עד 255 לתא זה.
אנו יוצרים שדה עזר - "alpha2". עם הנוסחה "=FIND(SYMBOL(Omega,1); "alpha1",N)".
אנו יוצרים שדה עזר - "alpha3". עם הנוסחה "=IF(ISNUMBER("alpha2",N),1)"
צור תא קבוע "אומגה-2", עם הנוסחה "=SUM("alpha3"N1: "alpha3"N365498)"

טבלה 3. תוצאות ניתוח ראשוני של תוצאות

טבלה 4. שגיאות שנרשמו בשלב זה

סך הזמן שהושקע בשלב 2.2.1 (עבור נוסחת שומאן) t221 = שעה.
מספר השגיאות המתוקנות בשלב 2.2.1 (עבור נוסחת שומאן) n221 = 0 יח'.

שלב 3.
השלב השלישי הוא להקליט את מצב מערך הנתונים. על ידי הקצאת לכל רשומה מספר ייחודי (ID) ולכל שדה. זה הכרחי כדי להשוות את מערך הנתונים שהומר עם הנתונים המקוריים. זה הכרחי גם כדי לנצל את מלוא יכולות הקיבוץ והסינון. כאן שוב נפנה לטבלה 2.2.2 ונבחר סמל שאינו בשימוש במערך הנתונים. אנו מקבלים את מה שמוצג באיור 10.

איור 10. הקצאת מזהים.

סך הזמן שהושקע בשלב 3 (עבור נוסחת שומאן) t3 = שעה.
מספר השגיאות שנמצאו בשלב 3 (עבור נוסחת שומאן) n3 = 0 יח'.

מכיוון שנוסחת שומאן מחייבת את השלמת השלב על ידי תיקון שגיאות. נחזור לשלב 2.

שלב 2.2.2.
בשלב זה נתקן גם רווחים כפולים ומשולשים.

איור 11. מספר רווחים כפולים.

תיקון טעויות שזוהו בטבלה 2.2.4.

טבלה 5. שלב תיקון השגיאות


דוגמה לכך שהיבט כזה כמו השימוש באותיות "ה" או "ה" הוא משמעותי מוצגת באיור 12.

איור 12. אי התאמה באות "ה".

הזמן הכולל בשלב 2.2.2 t222 = 4 שעות.
מספר השגיאות שנמצאו בשלב 2.2.2 (עבור נוסחת שומאן) n222 = 583 יח'.

שלב רביעי.
בדיקת יתירות שדה מתאימה היטב לשלב זה. מתוך 44 שדות, 6 שדות:
7 - מטרת המבנה
16 - מספר קומות תת קרקעיות
17 - חפץ הורה
21 - מועצת הכפר
38 - פרמטרי מבנה (תיאור)
40 – מורשת תרבותית

אין להם ערכים. כלומר, הם מיותרים.
לשדה "22 - עיר" יש ערך אחד בודד, איור 13.

איור 13. הערך היחיד הוא Z_348653 בשדה "עיר".

שדה "34 - שם בניין" מכיל ערכים שברור שאינם תואמים את מטרת השדה, איור 14.

איור 14. דוגמה לערך שאינו תואם.

אנו לא כוללים שדות אלה ממערך הנתונים. ואנחנו רושמים את השינוי ב-214 רשומות.

סך הזמן שהושקע בשלב 4 (עבור נוסחת שומאן) t4 = שעה.
מספר השגיאות שנמצאו בשלב 4 (עבור נוסחת שומאן) n4 = 222 יח'.

טבלה 6. ניתוח מדדי סט נתונים לאחר השלב הרביעי

באופן כללי, בניתוח שינויים באינדיקטורים (טבלה 6) ניתן לומר כי:
1) היחס בין מספר הסמלים הממוצע למנוף סטיית התקן קרוב ל-3, כלומר ישנם סימנים להתפלגות נורמלית (כלל שש סיגמא).
2) סטייה משמעותית של מנופי המינימום והמקסימום מהמנוף הממוצע מעידה על כך שחקר זנבות הוא כיוון מבטיח בחיפוש אחר שגיאות.

הבה נבחן את התוצאות של מציאת שגיאות באמצעות המתודולוגיה של שומאן.

שלבי סרק

2.1. סך הזמן שהושקע בשלב 2.1 (עבור נוסחת שומאן) t21 = שעה.
מספר השגיאות שנמצאו בשלב 2.1 (עבור נוסחת שומאן) n21 = 0 יח'.

3. סך הזמן שהושקע בשלב 3 (עבור נוסחת שומאן) t3 = שעה.
מספר השגיאות שנמצאו בשלב 3 (עבור נוסחת שומאן) n3 = 0 יח'.

שלבים יעילים
2.2. סך הזמן שהושקע בשלב 2.2.1 (עבור נוסחת שומאן) t221 = שעה.
מספר השגיאות המתוקנות בשלב 2.2.1 (עבור נוסחת שומאן) n221 = 0 יח'.
הזמן הכולל בשלב 2.2.2 t222 = 4 שעות.
מספר השגיאות שנמצאו בשלב 2.2.2 (עבור נוסחת שומאן) n222 = 583 יח'.

הזמן הכולל בשלב 2.2 t22 = 8 + 4 = 12 שעות.
מספר השגיאות שנמצאו בשלב 2.2.2 (עבור נוסחת שומאן) n222 = 583 יח'.

4. סך הזמן שהושקע בשלב 4 (עבור נוסחת שומאן) t4 = שעה.
מספר השגיאות שנמצאו בשלב 4 (עבור נוסחת שומאן) n4 = 222 יח'.

מכיוון שיש אפס שלבים שחייבים להיכלל בשלב הראשון של מודל שומאן, ומצד שני, שלבים 2.2 ו-4 הם בלתי תלויים מטבעם, אז בהינתן שמודל שומאן מניח שעל ידי הגדלת משך הבדיקה, ההסתברות של זיהוי שגיאה יורדת, כלומר, הזרימה מפחיתה כשלים, ואז על ידי בחינת זרימה זו נקבע איזה שלב לשים קודם, לפי הכלל, היכן שצפיפות הכשל היא תכופה יותר, נשים את השלב הראשון.

איור 15.

מהנוסחה באיור 15 עולה כי עדיף למקם את השלב הרביעי לפני שלב 2.2 בחישובים.

באמצעות הנוסחה של שומאן, אנו קובעים את המספר ההתחלתי המשוער של טעויות:

איור 16.

מהתוצאות באיור 16 ניתן לראות שמספר השגיאות החזוי הוא N2 = 3167, שהוא יותר מהקריטריון המינימלי של 1459.

כתוצאה מהתיקון תיקנו 805 שגיאות, והמספר החזוי הוא 3167 – 805 = 2362, שזה עדיין יותר מהסף המינימלי שקיבלנו.

אנו מגדירים פרמטר C, למבדה ופונקציית מהימנות:

איור 17.

בעיקרו של דבר, למבדה היא אינדיקטור ממשי לעוצמה שבה מתגלות שגיאות בכל שלב. אם תסתכל למעלה, ההערכה הקודמת של אינדיקטור זה הייתה 42,4 שגיאות לשעה, וזה די דומה לאינדיקטור שומאן. בהתייחסות לחלק הראשון של חומר זה, נקבע כי הקצב שבו מפתח מוצא שגיאות לא צריך להיות נמוך מ-1 שגיאה לכל 250,4 רשומות, כאשר בודקים רשומה אחת לדקה. מכאן הערך הקריטי של הלמבדה עבור דגם שומאן:
60 / 250,4 = 0,239617.

כלומר, יש לבצע את הצורך בביצוע הליכי איתור שגיאות עד שהלמבדה, מה-38,964 הקיים, יורדת ל-0,239617.

או עד שהמחוון N (מספר פוטנציאלי של טעויות) מינוס n (מספר טעויות מתוקן) יורד מתחת לסף שקיבלנו (בחלק הראשון) - 1459 יח'.

חלק 1. תיאורטי.

מקור: www.habr.com