રોક, કાગળ, કાતરની રમત જેવા ડેટાને સાફ કરો. શું આ અંત સાથે કે વિનાની રમત છે? ભાગ 2. વ્યવહારુ

В ભાગ એક તે વર્ણવવામાં આવ્યું હતું કે આ પ્રકાશન ખાંટી-માનસી ઓટોનોમસ ઓક્રગમાં રિયલ એસ્ટેટના કેડસ્ટ્રલ મૂલ્યાંકનના પરિણામોના ડેટાસેટના આધારે કરવામાં આવ્યું હતું.

વ્યવહારુ ભાગ પગલાંના સ્વરૂપમાં રજૂ કરવામાં આવે છે. બધી સફાઈ એક્સેલમાં કરવામાં આવી હતી, કારણ કે સૌથી સામાન્ય સાધન અને વર્ણવેલ ઑપરેશન્સ એક્સેલ જાણતા મોટાભાગના નિષ્ણાતો દ્વારા પુનરાવર્તિત થઈ શકે છે. અને હાથથી કામ કરવા માટે એકદમ યોગ્ય છે.

શૂન્ય તબક્કો એ ફાઇલને લોંચ કરવા અને સાચવવાનું કામ હશે, કારણ કે તે 100 MB કદની છે, પછી આ કામગીરીની સંખ્યા દસ અને સેંકડો છે, તે નોંધપાત્ર સમય લે છે.
ઓપનિંગ, સરેરાશ, 30 સેકન્ડ છે.
બચત - 22 સે.

પ્રથમ તબક્કો ડેટાસેટના આંકડાકીય સૂચકાંકો નક્કી કરવા સાથે શરૂ થાય છે.

કોષ્ટક 1. ડેટાસેટના આંકડાકીય સૂચકાંકો

ટેકનોલોજી 2.1.

અમે એક સહાયક ક્ષેત્ર બનાવીએ છીએ, મારી પાસે તે નંબર હેઠળ છે - AY. દરેક એન્ટ્રી માટે, અમે ફોર્મ્યુલા બનાવીએ છીએ “=LENGTH(F365502)+LENGTH(G365502)+…+LENGTH(AW365502)”

સ્ટેજ 2.1 પર વિતાવેલો કુલ સમય (શુમન ફોર્મ્યુલા માટે) t21 = 1 કલાક.
સ્ટેજ 2.1 (શુમેન ફોર્મ્યુલા માટે) પર મળેલી ભૂલોની સંખ્યા n21 = 0 pcs.

બીજો તબક્કો.
ડેટાસેટના ઘટકો તપાસી રહ્યા છીએ.
2.2. રેકોર્ડ્સમાંના તમામ મૂલ્યો પ્રમાણભૂત પ્રતીકોનો ઉપયોગ કરીને રચાય છે. તેથી, ચાલો પ્રતીકો દ્વારા આંકડાઓને ટ્રૅક કરીએ.

કોષ્ટક 2. પરિણામોના પ્રારંભિક વિશ્લેષણ સાથે ડેટાસેટમાં અક્ષરોના આંકડાકીય સૂચકાંકો.





ટેકનોલોજી 2.2.1.

અમે એક સહાયક ક્ષેત્ર બનાવીએ છીએ - "આલ્ફા 1". દરેક રેકોર્ડ માટે, અમે સૂત્ર બનાવીએ છીએ “=CONCATENATE(Sheet1!B9;...Sheet1!AQ9)”
અમે એક નિશ્ચિત ઓમેગા -1 સેલ બનાવીએ છીએ. અમે આ સેલમાં 1251 થી 32 સુધી વિન્ડોઝ-255 અનુસાર વૈકલ્પિક રીતે અક્ષર કોડ દાખલ કરીશું.
અમે એક સહાયક ક્ષેત્ર બનાવીએ છીએ - "આલ્ફા 2". સૂત્ર “=FIND(SYMBOL(Omega,1); “alpha1”,N)” સાથે.
અમે એક સહાયક ક્ષેત્ર બનાવીએ છીએ - "આલ્ફા 3". સૂત્ર સાથે “=IF(ISNUMBER(“alpha2”,N),1)”
“=SUM(“alpha2”N3: “alpha1”N3)” સૂત્ર સાથે એક નિશ્ચિત સેલ “ઓમેગા-365498” બનાવો

કોષ્ટક 3. પરિણામોના પ્રારંભિક વિશ્લેષણના પરિણામો

કોષ્ટક 4. આ તબક્કે નોંધાયેલી ભૂલો

સ્ટેજ 2.2.1 પર વિતાવેલો કુલ સમય (શુમન ફોર્મ્યુલા માટે) t221 = 8 કલાક.
સ્ટેજ 2.2.1 (શુમેન ફોર્મ્યુલા માટે) પર સુધારેલ ભૂલોની સંખ્યા n221 = 0 pcs.

સ્ટેજ 3.
ત્રીજું પગલું એ ડેટાસેટની સ્થિતિને રેકોર્ડ કરવાનું છે. દરેક રેકોર્ડને અનન્ય નંબર (ID) અને દરેક ફીલ્ડ સોંપીને. રૂપાંતરિત ડેટાસેટની મૂળ સાથે સરખામણી કરવા માટે આ જરૂરી છે. જૂથીકરણ અને ફિલ્ટરિંગ ક્ષમતાઓનો સંપૂર્ણ લાભ લેવા માટે પણ આ જરૂરી છે. અહીં ફરીથી આપણે કોષ્ટક 2.2.2 તરફ વળીએ છીએ અને ડેટાસેટમાં ઉપયોગમાં લેવાતું ન હોય તેવું પ્રતીક પસંદ કરીએ છીએ. અમે આકૃતિ 10 માં બતાવેલ છે તે મેળવીએ છીએ.

ફિગ. 10. ઓળખકર્તાઓ સોંપી રહ્યા છીએ.

સ્ટેજ 3 પર વિતાવેલો કુલ સમય (શુમન ફોર્મ્યુલા માટે) t3 = 0,75 કલાક.
સ્ટેજ 3 (શુમેન ફોર્મ્યુલા માટે) પર મળેલી ભૂલોની સંખ્યા n3 = 0 pcs.

શુમેન ફોર્મ્યુલા માટે જરૂરી છે કે સ્ટેજને ભૂલો સુધારીને પૂર્ણ કરવામાં આવે. ચાલો સ્ટેજ 2 પર પાછા ફરીએ.

સ્ટેજ 2.2.2.
આ પગલામાં આપણે ડબલ અને ટ્રિપલ સ્પેસ પણ સુધારીશું.

ફિગ. 11. ડબલ જગ્યાઓની સંખ્યા.

કોષ્ટક 2.2.4 માં ઓળખાયેલ ભૂલો સુધારવી.

કોષ્ટક 5. ભૂલ સુધારણા સ્ટેજ


"e" અથવા "e" અક્ષરોના ઉપયોગ જેવા પાસાં શા માટે નોંધપાત્ર છે તેનું ઉદાહરણ આકૃતિ 12 માં રજૂ કરવામાં આવ્યું છે.

ફિગ. 12. અક્ષર "e" માં વિસંગતતા.

પગલું 2.2.2 t222 = 4 કલાકમાં વિતાવેલ કુલ સમય.
સ્ટેજ 2.2.2 (શુમેન ફોર્મ્યુલા માટે) પર મળેલી ભૂલોની સંખ્યા n222 = 583 pcs.

ચોથો તબક્કો.
ફીલ્ડ રીડન્ડન્સી માટે તપાસવું આ તબક્કામાં સારી રીતે બંધબેસે છે. 44 ક્ષેત્રોમાંથી, 6 ક્ષેત્રો:
7 - રચનાનો હેતુ
16 — ભૂગર્ભ માળની સંખ્યા
17 - પિતૃ પદાર્થ
21 - ગામ પરિષદ
38 — માળખાકીય પરિમાણો (વર્ણન)
40 – સાંસ્કૃતિક વારસો

તેમની પાસે કોઈ એન્ટ્રી નથી. એટલે કે, તેઓ નિરર્થક છે.
ક્ષેત્ર “22 – શહેર” માં એક જ એન્ટ્રી છે, આકૃતિ 13.

ફિગ. 13. "શહેર" ફીલ્ડમાં માત્ર Z_348653 એન્ટ્રી છે.

ફીલ્ડ “34 - બિલ્ડીંગ નામ” માં એવી એન્ટ્રીઓ છે જે સ્પષ્ટપણે ફીલ્ડના હેતુને અનુરૂપ નથી, આકૃતિ 14.

ફિગ. 14. બિન-સુસંગત પ્રવેશનું ઉદાહરણ.

અમે આ ફીલ્ડ્સને ડેટાસેટમાંથી બાકાત કરીએ છીએ. અને અમે 214 રેકોર્ડમાં ફેરફાર નોંધીએ છીએ.

સ્ટેજ 4 પર વિતાવેલો કુલ સમય (શુમન ફોર્મ્યુલા માટે) t4 = 2,5 કલાક.
સ્ટેજ 4 (શુમેન ફોર્મ્યુલા માટે) પર મળેલી ભૂલોની સંખ્યા n4 = 222 pcs.

કોષ્ટક 6. ચોથા તબક્કા પછી ડેટા સેટ સૂચકોનું વિશ્લેષણ

સામાન્ય રીતે, સૂચકાંકોમાં ફેરફારોનું વિશ્લેષણ કરીને (કોષ્ટક 6) આપણે કહી શકીએ કે:
1) પ્રમાણભૂત વિચલન લીવરમાં પ્રતીકોની સરેરાશ સંખ્યાનો ગુણોત્તર 3 ની નજીક છે, એટલે કે, સામાન્ય વિતરણ (છ સિગ્મા નિયમ) ના ચિહ્નો છે.
2) સરેરાશ લિવરમાંથી લઘુત્તમ અને મહત્તમ લિવરનું નોંધપાત્ર વિચલન સૂચવે છે કે ભૂલો શોધતી વખતે પૂંછડીઓનો અભ્યાસ એ આશાસ્પદ દિશા છે.

ચાલો શુમેનની પદ્ધતિનો ઉપયોગ કરીને ભૂલો શોધવાના પરિણામોની તપાસ કરીએ.

નિષ્ક્રિય તબક્કાઓ

2.1. સ્ટેજ 2.1 પર વિતાવેલો કુલ સમય (શુમન ફોર્મ્યુલા માટે) t21 = 1 કલાક.
સ્ટેજ 2.1 (શુમેન ફોર્મ્યુલા માટે) પર મળેલી ભૂલોની સંખ્યા n21 = 0 pcs.

3. સ્ટેજ 3 પર વિતાવેલો કુલ સમય (શુમન ફોર્મ્યુલા માટે) t3 = 0,75 કલાક.
સ્ટેજ 3 (શુમેન ફોર્મ્યુલા માટે) પર મળેલી ભૂલોની સંખ્યા n3 = 0 pcs.

અસરકારક તબક્કાઓ
2.2. સ્ટેજ 2.2.1 પર વિતાવેલો કુલ સમય (શુમન ફોર્મ્યુલા માટે) t221 = 8 કલાક.
સ્ટેજ 2.2.1 (શુમેન ફોર્મ્યુલા માટે) પર સુધારેલ ભૂલોની સંખ્યા n221 = 0 pcs.
પગલું 2.2.2 t222 = 4 કલાકમાં વિતાવેલ કુલ સમય.
સ્ટેજ 2.2.2 (શુમેન ફોર્મ્યુલા માટે) પર મળેલી ભૂલોની સંખ્યા n222 = 583 pcs.

પગલું 2.2 t22 = 8 + 4 = 12 કલાકમાં વિતાવેલો કુલ સમય.
સ્ટેજ 2.2.2 (શુમેન ફોર્મ્યુલા માટે) પર મળેલી ભૂલોની સંખ્યા n222 = 583 pcs.

4. સ્ટેજ 4 પર વિતાવેલો કુલ સમય (શુમન ફોર્મ્યુલા માટે) t4 = 2,5 કલાક.
સ્ટેજ 4 (શુમેન ફોર્મ્યુલા માટે) પર મળેલી ભૂલોની સંખ્યા n4 = 222 pcs.

શૂમન મોડેલના પ્રથમ તબક્કામાં શૂન્ય તબક્કાઓ શામેલ હોવા આવશ્યક હોવાથી, અને બીજી બાજુ, તબક્કા 2.2 અને 4 સ્વાભાવિક રીતે સ્વતંત્ર છે, તે જોતાં શુમન મોડેલ ધારે છે કે ચેકની અવધિમાં વધારો કરીને, સંભાવના ભૂલ શોધવામાં ઘટાડો થાય છે, એટલે કે, પ્રવાહ નિષ્ફળતામાં ઘટાડો કરે છે, પછી આ પ્રવાહની તપાસ કરીને આપણે નક્કી કરીશું કે કયા તબક્કાને પ્રથમ મૂકવું, નિયમ અનુસાર, જ્યાં નિષ્ફળતાની ઘનતા વધુ વારંવાર હોય છે, અમે તે તબક્કાને પ્રથમ મૂકીશું.

ફિગ. 15.

આકૃતિ 15 માંના સૂત્ર પરથી તે અનુસરે છે કે ગણતરીમાં સ્ટેજ 2.2 પહેલા ચોથો તબક્કો મૂકવો વધુ સારું છે.

શુમનના સૂત્રનો ઉપયોગ કરીને, અમે ભૂલોની અંદાજિત પ્રારંભિક સંખ્યા નક્કી કરીએ છીએ:

ફિગ. 16.

આકૃતિ 16 ના પરિણામો પરથી જોઈ શકાય છે કે ભૂલોની અનુમાનિત સંખ્યા N2 = 3167 છે, જે 1459 ના લઘુત્તમ માપદંડ કરતાં વધુ છે.

સુધારણાના પરિણામે, અમે 805 ભૂલો સુધારી છે, અને અનુમાનિત સંખ્યા 3167 – 805 = 2362 છે, જે હજુ પણ અમે સ્વીકારેલ ન્યૂનતમ થ્રેશોલ્ડ કરતાં વધુ છે.

અમે પરિમાણ C, લેમ્બડા અને વિશ્વસનીયતા કાર્ય વ્યાખ્યાયિત કરીએ છીએ:

ફિગ. 17.

આવશ્યકપણે, લેમ્બડા એ તીવ્રતાનું વાસ્તવિક સૂચક છે જેની સાથે દરેક તબક્કે ભૂલો શોધી કાઢવામાં આવે છે. જો તમે ઉપર જુઓ, તો આ સૂચકનો અગાઉનો અંદાજ પ્રતિ કલાક 42,4 ભૂલો હતો, જે શુમન સૂચક સાથે તદ્દન તુલનાત્મક છે. આ સામગ્રીના પ્રથમ ભાગ તરફ વળવું, તે નિર્ધારિત કરવામાં આવ્યું હતું કે વિકાસકર્તાને જે દરે ભૂલો મળે છે તે દર મિનિટે 1 રેકોર્ડની તપાસ કરતી વખતે, 250,4 રેકોર્ડ્સ દીઠ 1 ભૂલ કરતાં ઓછી હોવી જોઈએ નહીં. તેથી શુમન મોડેલ માટે લેમ્બડાનું નિર્ણાયક મૂલ્ય:
60 / 250,4 = 0,239617.

એટલે કે, જ્યાં સુધી લેમ્બડા હાલના 38,964 થી ઘટીને 0,239617 ન થાય ત્યાં સુધી ભૂલ શોધવાની પ્રક્રિયા હાથ ધરવાની જરૂર છે.

અથવા જ્યાં સુધી સૂચક N (ભૂલોની સંભવિત સંખ્યા) માઈનસ n (ભૂલોની સુધારેલી સંખ્યા) અમે સ્વીકારેલ થ્રેશોલ્ડથી નીચે ન આવે ત્યાં સુધી (પ્રથમ ભાગમાં) - 1459 પીસી.

ભાગ 1. સૈદ્ધાંતિક.

સોર્સ: www.habr.com