રોક, કાગળ, કાતરની રમત જેવા ડેટાને સાફ કરો. શું આ અંત સાથે કે વિનાની રમત છે? ભાગ 2. વ્યવહારુ

В ભાગ એક એવું વર્ણવવામાં આવ્યું હતું કે આ પ્રકાશન ખાંટી-માનસી ઓટોનોમસ ઓક્રગમાં રિયલ એસ્ટેટ વસ્તુઓના કેડસ્ટ્રલ મૂલ્યાંકનના પરિણામોના ડેટાસેટના આધારે કરવામાં આવ્યું હતું.

વ્યવહારુ ભાગ પગલાંઓમાં રજૂ કરવામાં આવ્યો છે. બધી સફાઈ એક્સેલમાં કરવામાં આવી હતી, કારણ કે તે સૌથી સામાન્ય સાધન છે અને વર્ણવેલ કામગીરી એક્સેલથી પરિચિત મોટાભાગના વ્યાવસાયિકો દ્વારા પુનરાવર્તિત કરી શકાય છે. તે વ્યવહારુ કાર્ય માટે પણ એકદમ યોગ્ય છે.

હું ફાઇલ લોન્ચ અને સેવ કરવાનું કામ શૂન્ય સ્ટેજ તરીકે રાખીશ, કારણ કે તે 100 MB નું કદ ધરાવે છે, અને આવા સેંકડો ઓપરેશન્સ સાથે, તે નોંધપાત્ર સમય લે છે.
ખુલવાનો સમય સરેરાશ 30 સેકન્ડ છે.
સમય બચાવે છે: 22 સેકન્ડ.

પ્રથમ તબક્કો ડેટાસેટના આંકડાકીય સૂચકાંકોને વ્યાખ્યાયિત કરીને શરૂ થાય છે.

કોષ્ટક 1. ડેટાસેટના આંકડાકીય સૂચકાંકો

ટેકનોલોજી ૨.૧.

એક સહાયક ક્ષેત્ર બનાવો; હું તેને AY કહીશ. દરેક રેકોર્ડ માટે, "=LEN(F365502)+LEN(G365502)+…+LEN(AW365502)" સૂત્ર બનાવો.

સ્ટેજ 2.1 (શુમન ફોર્મ્યુલા માટે) પર વિતાવેલો કુલ સમય t21 = 1 કલાક.
પગલું 2.1 (શુમન સૂત્ર માટે) માં મળેલી ભૂલોની સંખ્યા n21 = 0 પીસી.

બીજો તબક્કો.
ડેટાસેટ ઘટકો તપાસી રહ્યા છીએ.
૨.૨. રેકોર્ડમાંના બધા મૂલ્યો પ્રમાણભૂત પ્રતીકોનો ઉપયોગ કરીને રચાય છે. તેથી, ચાલો પ્રતીક દ્વારા આંકડાઓને ટ્રેક કરીએ.

કોષ્ટક 2. પરિણામોના પ્રારંભિક વિશ્લેષણ સાથે ડેટાસેટમાં પ્રતીકોના આંકડાકીય સૂચકાંકો.





ટેકનોલોજી ૨.૧.

આપણે એક સહાયક ક્ષેત્ર બનાવીએ છીએ - “alpha1”. દરેક રેકોર્ડ માટે, આપણે “=CONCATENATE(Sheet1!B9;…Sheet1!AQ9)” સૂત્ર બનાવીએ છીએ.
આપણે "ઓમેગા-૧" નામનો એક નિશ્ચિત સેલ બનાવીશું. આપણે આ સેલમાં ૩૨ થી ૨૫૫ સુધીના Windows-૧૨૫૧ અક્ષર કોડ એક પછી એક દાખલ કરીશું.
આપણે એક સહાયક ક્ષેત્ર બનાવીએ છીએ - “alpha2”. “=FIND(CHAR(Omega;1); “alpha1”;N)” સૂત્ર સાથે.
આપણે એક સહાયક ક્ષેત્ર બનાવીએ છીએ - “alpha3”. “=IF(ISNUMBER(“alpha2”;N);1;0)” સૂત્ર સાથે.
"=SUM("alpha3"N1:"alpha3"N365498)" સૂત્રનો ઉપયોગ કરીને એક નિશ્ચિત કોષ "Omega-2" બનાવો.

કોષ્ટક 3. પરિણામોના પ્રારંભિક વિશ્લેષણના પરિણામો

કોષ્ટક 4. આ તબક્કે નોંધાયેલી ભૂલો

સ્ટેજ 2.2.1 (શુમન ફોર્મ્યુલા માટે) પર વિતાવેલો કુલ સમય t221 = 8 કલાક.
સ્ટેજ 2.2.1 (શુમન ફોર્મ્યુલા માટે) પર સુધારેલી ભૂલોની સંખ્યા n221 = 0 પીસી.

સ્ટેજ 3.
ત્રીજું પગલું ડેટાસેટની સ્થિતિ રેકોર્ડ કરવાનું છે. અમે દરેક રેકોર્ડ અને દરેક ફીલ્ડને એક અનન્ય નંબર (ID) સોંપીએ છીએ. રૂપાંતરિત ડેટાસેટની મૂળ સાથે સરખામણી કરવા માટે આ જરૂરી છે. જૂથ અને ફિલ્ટરિંગ ક્ષમતાઓનો સંપૂર્ણ ઉપયોગ કરવો પણ જરૂરી છે. અહીં, અમે ફરીથી કોષ્ટક 2.2.2 નો સંદર્ભ લઈશું અને ડેટાસેટમાં ઉપયોગમાં ન લેવાયેલ પ્રતીક પસંદ કરીશું. પરિણામ આકૃતિ 10 માં બતાવવામાં આવ્યું છે.

આકૃતિ.10. ઓળખકર્તાઓની સોંપણી.

સ્ટેજ 3 (શુમન ફોર્મ્યુલા માટે) પર વિતાવેલો કુલ સમય t3 = 0,75 કલાક.
પગલું 3 (શુમન સૂત્ર માટે) માં મળેલી ભૂલોની સંખ્યા n3 = 0 પીસી.

શુમન સૂત્ર મુજબ આ તબક્કો ભૂલ સુધારણા સાથે પૂર્ણ થવો જરૂરી હોવાથી, આપણે બીજા તબક્કા પર પાછા ફરીએ છીએ.

સ્ટેજ 2.2.2.
આ તબક્કે આપણે ડબલ અને ટ્રિપલ સ્પેસ પણ સુધારીશું.

આકૃતિ.૧૧. ડબલ જગ્યાઓની સંખ્યા.

કોષ્ટક 2.2.4 માં ઓળખાયેલ ભૂલોનું સુધારણા.

કોષ્ટક 5. ભૂલ સુધારણા તબક્કો


"e" અથવા "yo" અક્ષરોનો ઉપયોગ કેમ મહત્વપૂર્ણ છે તેનું ઉદાહરણ આકૃતિ 12 માં બતાવવામાં આવ્યું છે.

આકૃતિ 12. "ё" અક્ષરમાં અસંગતતા.

સ્ટેજ 2.2.2 t222 પર વિતાવેલો કુલ સમય = 4 કલાક.
પગલું 2.2.2 (શુમન સૂત્ર માટે) માં મળેલી ભૂલોની સંખ્યા n222 = 583 પીસી.

ચોથો તબક્કો.
ફીલ્ડ રીડન્ડન્સી માટે તપાસ કરવી આ પગલામાં સારી રીતે બંધબેસે છે. 44 ફીલ્ડમાંથી, 6 છે:
૭ — રચનાનો હેતુ
૧૬ - ભૂગર્ભ માળની સંખ્યા
૧૭ — મૂળ વસ્તુ
૨૧ — ગ્રામ પરિષદ
૩૮ — માળખાના પરિમાણો (વર્ણન)
૪૦ - સાંસ્કૃતિક વારસો

તેમની પાસે એક પણ એન્ટ્રી નથી. એટલે કે, તેઓ બિનજરૂરી છે.
ફીલ્ડ "22 - શહેર" માં એક જ એન્ટ્રી છે, આકૃતિ 13.

આકૃતિ ૧૩. “શહેર” ક્ષેત્રમાં એકમાત્ર એન્ટ્રી Z_348653.

ફીલ્ડ “34 — ઈમારતનું નામ” માં એવી એન્ટ્રીઓ છે જે સ્પષ્ટપણે ફીલ્ડના હેતુને અનુરૂપ નથી, આકૃતિ 14.

આકૃતિ 14. બિન-અનુપાલન એન્ટ્રીનું ઉદાહરણ.

અમે ડેટાસેટમાંથી આ ક્ષેત્રોને બાકાત રાખીએ છીએ અને 214 રેકોર્ડ્સમાં ફેરફારો રેકોર્ડ કરીએ છીએ.

સ્ટેજ 4 (શુમન ફોર્મ્યુલા માટે) પર વિતાવેલો કુલ સમય t4 = 2,5 કલાક.
પગલું 4 (શુમન સૂત્ર માટે) માં મળેલી ભૂલોની સંખ્યા n4 = 222 પીસી.

કોષ્ટક 6. ચોથા તબક્કા પછી ડેટાસેટ સૂચકાંકોનું વિશ્લેષણ

સામાન્ય રીતે, સૂચકાંકોમાં થતા ફેરફારોનું વિશ્લેષણ કરીને (કોષ્ટક 6), આપણે કહી શકીએ છીએ કે:
૧) પ્રમાણભૂત વિચલન લીવર સાથે પ્રતીકોની સરેરાશ સંખ્યાનો ગુણોત્તર ૩ ની નજીક છે, જેનો અર્થ એ થાય કે સામાન્ય વિતરણના સંકેતો છે (છ સિગ્મા નિયમ).
2) સરેરાશ લીવરથી લઘુત્તમ અને મહત્તમ લીવરનું નોંધપાત્ર વિચલન સૂચવે છે કે ભૂલોની શોધમાં પૂંછડીઓનો અભ્યાસ એક આશાસ્પદ દિશા છે.

આપણે શુમેનની પદ્ધતિનો ઉપયોગ કરીને ભૂલો શોધવાના પરિણામોની તપાસ કરીશું.

નિષ્ક્રિય તબક્કાઓ

૨.૧. સ્ટેજ ૨.૧ (શુમન ફોર્મ્યુલા માટે) પર વિતાવેલો કુલ સમય t2.1 = ૧ કલાક.
પગલું 2.1 (શુમન સૂત્ર માટે) માં મળેલી ભૂલોની સંખ્યા n21 = 0 પીસી.

૨.૧. સ્ટેજ ૨.૧ (શુમન ફોર્મ્યુલા માટે) પર વિતાવેલો કુલ સમય t3 = ૧ કલાક.
પગલું 3 (શુમન સૂત્ર માટે) માં મળેલી ભૂલોની સંખ્યા n3 = 0 પીસી.

અસરકારક તબક્કાઓ
૨.૧. સ્ટેજ ૨.૧ (શુમન ફોર્મ્યુલા માટે) પર વિતાવેલો કુલ સમય t2.2 = ૧ કલાક.
સ્ટેજ 2.2.1 (શુમન ફોર્મ્યુલા માટે) પર સુધારેલી ભૂલોની સંખ્યા n221 = 0 પીસી.
સ્ટેજ 2.2.2 t222 પર વિતાવેલો કુલ સમય = 4 કલાક.
પગલું 2.2.2 (શુમન સૂત્ર માટે) માં મળેલી ભૂલોની સંખ્યા n222 = 583 પીસી.

સ્ટેજ 2.2 t22 પર વિતાવેલો કુલ સમય = 8 + 4 = 12 કલાક.
પગલું 2.2.2 (શુમન સૂત્ર માટે) માં મળેલી ભૂલોની સંખ્યા n222 = 583 પીસી.

૨.૧. સ્ટેજ ૨.૧ (શુમન ફોર્મ્યુલા માટે) પર વિતાવેલો કુલ સમય t4 = ૧ કલાક.
પગલું 4 (શુમન સૂત્ર માટે) માં મળેલી ભૂલોની સંખ્યા n4 = 222 પીસી.

શુમન મોડેલના પ્રથમ તબક્કામાં શૂન્ય તબક્કાઓનો સમાવેશ થવો આવશ્યક હોવાથી, અને બીજી બાજુ, તબક્કા 2.2 અને 4 મૂળભૂત રીતે સ્વતંત્ર છે, તેથી શુમન મોડેલ ધારે છે કે પરીક્ષણના સમયગાળામાં વધારા સાથે, ભૂલ શોધવાની સંભાવના ઘટે છે, એટલે કે, નિષ્ફળતાઓનો પ્રવાહ ઘટે છે, તો પછી આ પ્રવાહનો અભ્યાસ કરીને આપણે નક્કી કરીશું કે કયા તબક્કાને પ્રથમ મૂકવા, નિયમ અનુસાર, જ્યાં નિષ્ફળતાની ઘનતા વધુ વારંવાર હોય છે, તે તબક્કાને પ્રથમ મૂકવામાં આવે છે.

ફિગ. 15.

આકૃતિ 15 માં આપેલા સૂત્ર પરથી એવું જાણવા મળે છે કે ગણતરીમાં સ્ટેજ 2.2 પહેલા ચોથો સ્ટેજ મૂકવો વધુ સારું છે.

શુમન સૂત્રનો ઉપયોગ કરીને, અમે ભૂલોની અંદાજિત પ્રારંભિક સંખ્યા નક્કી કરીએ છીએ:

ફિગ. 16.

આકૃતિ 16 માં આપેલા પરિણામો પરથી, તે જોઈ શકાય છે કે ભૂલોની અનુમાનિત સંખ્યા N2 = 3167, જે 1459 ના લઘુત્તમ માપદંડ કરતા વધારે છે.

સુધારાના પરિણામે, અમે ૮૦૫ ભૂલો સુધારી, અને અનુમાનિત સંખ્યા ૩૧૬૭ - ૮૦૫ = ૨૩૬૨ છે, જે હજુ પણ અમે અપનાવેલા લઘુત્તમ થ્રેશોલ્ડ કરતાં વધુ છે.

અમે પરિમાણ C, લેમ્બડા અને વિશ્વસનીયતા કાર્ય વ્યાખ્યાયિત કરીએ છીએ:

ફિગ. 17.

મૂળભૂત રીતે, લેમ્બડા એ દરેક તબક્કે ભૂલો શોધવાના દરનું વાસ્તવિક સૂચક છે. અગાઉના અંદાજને જોતાં, આ સૂચક પ્રતિ કલાક 42,4 ભૂલો હતો, જે શુમેન સૂચક સાથે તુલનાત્મક છે. આ સામગ્રીના પહેલા ભાગનો ઉલ્લેખ કરતા, એવું નક્કી કરવામાં આવ્યું હતું કે વિકાસકર્તાનો ભૂલ શોધવાનો દર 250,4 રેકોર્ડ દીઠ 1 ભૂલ કરતા ઓછો ન હોવો જોઈએ, જેમાં પ્રતિ મિનિટ એક રેકોર્ડ તપાસવામાં આવશે. તેથી, શુમેન મોડેલ માટે મહત્વપૂર્ણ લેમ્બડા મૂલ્ય છે:
60 / 250,4 = 0,239617.

એટલે કે, જ્યાં સુધી લેમ્બડા હાલના 38,964 થી ઘટીને 0,239617 ન થાય ત્યાં સુધી ભૂલ શોધવાની પ્રક્રિયા હાથ ધરવાની જરૂર છે.

અથવા જ્યાં સુધી સૂચક N (ભૂલોની સંભવિત સંખ્યા) બાદ n (ભૂલોની સુધારેલી સંખ્યા) આપણે અપનાવેલા થ્રેશોલ્ડ (પહેલા ભાગમાં) - 1459 પીસીથી નીચે ન આવે ત્યાં સુધી.

ભાગ ૧. સૈદ્ધાંતિક.

સોર્સ: www.habr.com