રોક, કાગળ, કાતરની રમત જેવા ડેટાને સાફ કરો. શું આ અંત સાથે કે વિનાની રમત છે? ભાગ 1. સૈદ્ધાંતિક

1. પ્રારંભિક ડેટા

ડેટા સફાઈ એ ડેટા વિશ્લેષણ કાર્યોનો સામનો કરતા પડકારો પૈકી એક છે. આ સામગ્રી વિકાસ અને ઉકેલોને પ્રતિબિંબિત કરે છે જે કેડસ્ટ્રલ મૂલ્યની રચનામાં ડેટાબેઝના વિશ્લેષણની વ્યવહારિક સમસ્યાને ઉકેલવાના પરિણામે ઉદ્ભવે છે. સ્ત્રોતો અહીં "ખાંટી-માનસિસ્ક ઓટોનોમસ ઓક્રગ - ઉગ્રાના પ્રદેશમાં તમામ પ્રકારની રિયલ એસ્ટેટ (જમીન પ્લોટ સિવાય)ના રાજ્ય કેડસ્ટ્રલ મૂલ્યાંકનના પરિણામો પર રિપોર્ટ નંબર 01/OKS-2019".

"પરિશિષ્ટ B. KS 5 નક્કી કરવાના પરિણામો. કેડસ્ટ્રલ મૂલ્ય 5.1 તુલનાત્મક અભિગમ નક્કી કરવાની પદ્ધતિ પરની માહિતી" માં "તુલનાત્મક મોડલ total.ods" ફાઇલને ધ્યાનમાં લેવામાં આવી હતી.

કોષ્ટક 1. "તુલનાત્મક મોડેલ total.ods" ફાઇલમાં ડેટાસેટના આંકડાકીય સૂચકાંકો
ફીલ્ડ્સની કુલ સંખ્યા, પીસી. - 44
રેકોર્ડની કુલ સંખ્યા, પીસી. — 365 490
અક્ષરોની કુલ સંખ્યા, પીસી. — 101 714 693
રેકોર્ડમાં અક્ષરોની સરેરાશ સંખ્યા, pcs. - 278,297
રેકોર્ડમાં અક્ષરોનું પ્રમાણભૂત વિચલન, પીસી. - 15,510
એન્ટ્રીમાં અક્ષરોની ન્યૂનતમ સંખ્યા, pcs. - 198
એન્ટ્રીમાં અક્ષરોની મહત્તમ સંખ્યા, pcs. - 363

2. પ્રારંભિક ભાગ. મૂળભૂત ધોરણો

ઉલ્લેખિત ડેટાબેઝનું વિશ્લેષણ કરતી વખતે, શુદ્ધિકરણની ડિગ્રી માટેની આવશ્યકતાઓને સ્પષ્ટ કરવા માટે એક કાર્યની રચના કરવામાં આવી હતી, કારણ કે, દરેકને સ્પષ્ટ છે તેમ, ઉલ્લેખિત ડેટાબેઝ વપરાશકર્તાઓ માટે કાનૂની અને આર્થિક પરિણામો બનાવે છે. કાર્ય દરમિયાન, તે બહાર આવ્યું છે કે મોટા ડેટાની સફાઈની ડિગ્રી માટે કોઈ વિશિષ્ટ આવશ્યકતાઓ નથી. આ બાબતમાં કાનૂની ધોરણોનું વિશ્લેષણ કરીને, હું નિષ્કર્ષ પર આવ્યો કે તે બધા શક્યતાઓમાંથી રચાયેલા છે. એટલે કે, એક ચોક્કસ કાર્ય દેખાયું છે, કાર્ય માટે માહિતી સ્ત્રોતોનું સંકલન કરવામાં આવે છે, પછી એક ડેટાસેટ રચાય છે અને, બનાવેલ ડેટાસેટના આધારે, સમસ્યાને ઉકેલવા માટેના સાધનો. પરિણામી ઉકેલો વિકલ્પોમાંથી પસંદ કરવાના સંદર્ભ બિંદુઓ છે. મેં આ આકૃતિ 1 માં રજૂ કર્યું છે.



કારણ કે, કોઈપણ ધોરણો નિર્ધારિત કરવાની બાબતોમાં, સાબિત તકનીકો પર આધાર રાખવો વધુ સારું છે, મેં તેમાં નિર્ધારિત આવશ્યકતાઓ પસંદ કરી. "MHRA GxP ડેટા અખંડિતતા વ્યાખ્યાઓ અને ઉદ્યોગ માટે માર્ગદર્શન", કારણ કે મેં આ દસ્તાવેજને આ મુદ્દા માટે સૌથી વધુ વ્યાપક માન્યું છે. ખાસ કરીને, આ દસ્તાવેજમાં વિભાગ કહે છે કે "એ નોંધવું જોઈએ કે ડેટા અખંડિતતા આવશ્યકતાઓ મેન્યુઅલ (કાગળ) અને ઇલેક્ટ્રોનિક ડેટાને સમાનરૂપે લાગુ પડે છે." (અનુવાદ: "...ડેટા અખંડિતતા આવશ્યકતાઓ મેન્યુઅલ (કાગળ) અને ઇલેક્ટ્રોનિક ડેટાને સમાન રીતે લાગુ પડે છે"). આ ફોર્મ્યુલેશન સિવિલ પ્રોસિજર કોડ, આર્ટની કલમ 71 ની જોગવાઈઓમાં "લેખિત પુરાવા" ની વિભાવના સાથે ખાસ કરીને સંકળાયેલું છે. 70 CAS, આર્ટ. 75 APC, "લેખિત" આર્ટ. 84 સિવિલ પ્રોસિજર કોડ.

આકૃતિ 2 ન્યાયશાસ્ત્રમાં માહિતીના પ્રકારો માટેના અભિગમોની રચનાનું આકૃતિ રજૂ કરે છે.

ચોખા. 2. સ્ત્રોત અહીં.

આકૃતિ 3 ઉપરોક્ત "માર્ગદર્શન" ના કાર્યો માટે, આકૃતિ 1 ની પદ્ધતિ બતાવે છે. સરખામણી કરીને, તે જોવાનું સરળ છે કે માહિતી પ્રણાલીઓ માટેના આધુનિક ધોરણોમાં માહિતીની અખંડિતતા માટેની આવશ્યકતાઓને પૂર્ણ કરતી વખતે ઉપયોગમાં લેવાતા અભિગમો માહિતીના કાયદાકીય ખ્યાલની તુલનામાં નોંધપાત્ર રીતે મર્યાદિત છે.

ફિગ. 3

ઉલ્લેખિત દસ્તાવેજમાં (માર્ગદર્શન), તકનીકી ભાગ સાથે જોડાણ, ડેટાની પ્રક્રિયા અને સંગ્રહ માટેની ક્ષમતાઓ, પ્રકરણ 18.2 ના અવતરણ દ્વારા સારી રીતે પુષ્ટિ થયેલ છે. રિલેશનલ ડેટાબેઝ: "આ ફાઇલ માળખું સ્વાભાવિક રીતે વધુ સુરક્ષિત છે, કારણ કે ડેટા મોટા ફાઇલ ફોર્મેટમાં રાખવામાં આવે છે જે ડેટા અને મેટાડેટા વચ્ચેના સંબંધને સાચવે છે."

હકીકતમાં, આ અભિગમમાં - હાલની તકનીકી ક્ષમતાઓમાંથી, ત્યાં કંઈપણ અસામાન્ય નથી અને, પોતે જ, આ એક કુદરતી પ્રક્રિયા છે, કારણ કે ખ્યાલોનું વિસ્તરણ સૌથી વધુ અભ્યાસ કરાયેલ પ્રવૃત્તિ - ડેટાબેઝ ડિઝાઇનમાંથી આવે છે. પરંતુ, બીજી બાજુ, કાનૂની ધોરણો દેખાય છે જે હાલની સિસ્ટમ્સની તકનીકી ક્ષમતાઓ પર ડિસ્કાઉન્ટ પ્રદાન કરતા નથી, ઉદાહરણ તરીકે: GDPR - જનરલ ડેટા પ્રોટેક્શન રેગ્યુલેશન.

ચોખા. 4. તકનીકી ક્ષમતાઓનું ફનલ (સોર્સ).

આ પાસાઓમાં, તે સ્પષ્ટ થાય છે કે મૂળ ડેટાસેટ (ફિગ. 1) ને, સૌ પ્રથમ, સાચવવું પડશે, અને બીજું, તેમાંથી વધારાની માહિતી કાઢવા માટેનો આધાર હશે. સારું, ઉદાહરણ તરીકે: ટ્રાફિક નિયમો રેકોર્ડ કરતા કેમેરા સર્વવ્યાપક છે, માહિતી પ્રક્રિયા સિસ્ટમ ઉલ્લંઘનકારોને નીંદણ આપે છે, પરંતુ અન્ય માહિતી અન્ય ગ્રાહકોને પણ ઓફર કરી શકાય છે, ઉદાહરણ તરીકે, શોપિંગ સેન્ટરમાં ગ્રાહકોના પ્રવાહની રચનાનું માર્કેટિંગ મોનિટરિંગ તરીકે. અને આ BigDat નો ઉપયોગ કરતી વખતે વધારાના વધારાના મૂલ્યનો સ્ત્રોત છે. તે તદ્દન શક્ય છે કે અત્યારે એકત્રિત કરવામાં આવેલ ડેટાસેટ્સ, ભવિષ્યમાં ક્યાંક, વર્તમાન સમયે 1700 ની દુર્લભ આવૃત્તિઓના મૂલ્યની સમાન પદ્ધતિ અનુસાર મૂલ્ય ધરાવશે. છેવટે, હકીકતમાં, અસ્થાયી ડેટાસેટ્સ અનન્ય છે અને ભવિષ્યમાં તેનું પુનરાવર્તન થવાની શક્યતા નથી.

3. પ્રારંભિક ભાગ. મૂલ્યાંકન માપદંડ

પ્રક્રિયા પ્રક્રિયા દરમિયાન, ભૂલોનું નીચેનું વર્ગીકરણ વિકસાવવામાં આવ્યું હતું.

1. ભૂલ વર્ગ (GOST R 8.736-2011 પર આધારિત): a) પદ્ધતિસરની ભૂલો; b) રેન્ડમ ભૂલો; c) એક ભૂલ.

2. ગુણાકાર દ્વારા: a) મોનો વિકૃતિ; b) બહુ-વિકૃતિ.

3. પરિણામોની જટિલતા અનુસાર: એ) જટિલ; b) નિર્ણાયક નથી.

4. ઘટનાના સ્ત્રોત દ્વારા:

એ) તકનીકી - ભૂલો જે સાધનોના સંચાલન દરમિયાન થાય છે. IoT સિસ્ટમ્સ, સંદેશાવ્યવહાર, સાધનો (હાર્ડવેર) ની ગુણવત્તા પર નોંધપાત્ર પ્રમાણમાં પ્રભાવ ધરાવતી સિસ્ટમો માટે એકદમ સુસંગત ભૂલ.

બી) ઓપરેટર ભૂલો - ઇનપુટ દરમિયાન ઓપરેટરની ટાઇપોથી માંડીને ડેટાબેઝ ડિઝાઇન માટે તકનીકી સ્પષ્ટીકરણોમાં ભૂલો સુધીની વિશાળ શ્રેણીમાં ભૂલો.

C) વપરાશકર્તાની ભૂલો - અહીં "લેઆઉટ બદલવાનું ભૂલી ગયા છો" થી લઈને ફૂટ માટેના મીટરની ભૂલ સુધીની સમગ્ર શ્રેણીમાં વપરાશકર્તાની ભૂલો છે.

5. એક અલગ વર્ગમાં વિભાજિત:

a) "વિભાજકનું કાર્ય," એટલે કે, જગ્યા અને ":" (અમારા કિસ્સામાં) જ્યારે તે ડુપ્લિકેટ કરવામાં આવ્યું હતું;
b) એકસાથે લખેલા શબ્દો;
c) સેવા અક્ષરો પછી કોઈ જગ્યા નથી
d) સમપ્રમાણરીતે બહુવિધ પ્રતીકો: (), "", "...".

આકૃતિ 5 માં પ્રસ્તુત ડેટાબેઝ ભૂલોના વ્યવસ્થિતકરણ સાથે મળીને, ભૂલો શોધવા અને આ ઉદાહરણ માટે ડેટા ક્લિનિંગ અલ્ગોરિધમ વિકસાવવા માટે એકદમ અસરકારક સંકલન સિસ્ટમ રચાય છે.

ચોખા. 5. ડેટાબેઝના માળખાકીય એકમોને અનુરૂપ લાક્ષણિક ભૂલો (સ્રોત: ઓરેશ્કોવ V.I., Paklin N.B. "ડેટા કોન્સોલિડેશનના મુખ્ય ખ્યાલો").

ચોકસાઈ, ડોમેન અખંડિતતા, ડેટા પ્રકાર, સુસંગતતા, નિરર્થકતા, સંપૂર્ણતા, ડુપ્લિકેશન, વ્યવસાયના નિયમોનું અનુરૂપતા, માળખાકીય નિશ્ચિતતા, ડેટાની વિસંગતતા, સ્પષ્ટતા, સમયસર, ડેટા અખંડિતતા નિયમોનું પાલન. (પૃષ્ઠ 334. આઇટી પ્રોફેશનલ્સ / પૌલરાજ પોનિયા માટે ડેટા વેરહાઉસિંગ ફંડામેન્ટલ્સ.—2જી આવૃત્તિ.)

કૌંસમાં અંગ્રેજી શબ્દો અને રશિયન મશીન અનુવાદ પ્રસ્તુત કર્યો.

ચોકસાઈ. ડેટા ઘટક માટે સિસ્ટમમાં સંગ્રહિત મૂલ્ય એ ડેટા ઘટકની ઘટના માટે યોગ્ય મૂલ્ય છે. જો તમારી પાસે કોઈ ગ્રાહકનું નામ અને કોઈ રેકોર્ડમાં સંગ્રહિત સરનામું હોય, તો સરનામું તે નામ ધરાવતા ગ્રાહક માટે સાચું સરનામું છે. જો તમને ઓર્ડર નંબર 1000 માટે રેકોર્ડમાં 12345678 એકમો તરીકે ઓર્ડર કરેલ જથ્થો મળે, તો તે જથ્થો તે ઓર્ડર માટે ચોક્કસ જથ્થો છે.
[ચોક્કસતા. ડેટા ઘટક માટે સિસ્ટમમાં સંગ્રહિત મૂલ્ય એ ડેટા ઘટકની ઘટના માટે યોગ્ય મૂલ્ય છે. જો તમારી પાસે કોઈ ગ્રાહકનું નામ અને સરનામું રેકોર્ડમાં સંગ્રહિત હોય, તો સરનામું તે નામ ધરાવતા ગ્રાહક માટે સાચું સરનામું છે. જો તમને ઓર્ડર નંબર 1000 માટે રેકોર્ડમાં 12345678 એકમો તરીકે ઓર્ડર કરેલ જથ્થો મળે, તો તે જથ્થો તે ઓર્ડર માટે ચોક્કસ જથ્થો છે.]

ડોમેન અખંડિતતા. એટ્રિબ્યુટનું ડેટા મૂલ્ય માન્ય, નિર્ધારિત મૂલ્યોની શ્રેણીમાં આવે છે. સામાન્ય ઉદાહરણ લિંગ ડેટા તત્વ માટે "પુરુષ" અને "સ્ત્રી" હોવાના માન્ય મૂલ્યો છે.
[ડોમેન અખંડિતતા. વિશેષતા ડેટા મૂલ્ય માન્ય, નિર્ધારિત મૂલ્યોની શ્રેણીમાં આવે છે. એક સામાન્ય ઉદાહરણ લિંગ ડેટા ઘટક માટે માન્ય મૂલ્યો "પુરુષ" અને "સ્ત્રી" છે.]

ડેટા પ્રકાર. ડેટા એટ્રિબ્યુટ માટેનું મૂલ્ય ખરેખર તે વિશેષતા માટે વ્યાખ્યાયિત ડેટા પ્રકાર તરીકે સંગ્રહિત થાય છે. જ્યારે સ્ટોરના નામ ફીલ્ડના ડેટા પ્રકારને "ટેક્સ્ટ" તરીકે વ્યાખ્યાયિત કરવામાં આવે છે, ત્યારે તે ફીલ્ડના તમામ ઉદાહરણોમાં ટેક્સ્ટના ફોર્મેટમાં બતાવેલ સ્ટોરનું નામ હોય છે અને આંકડાકીય કોડ્સ નહીં.
[ડેટા પ્રકાર. ડેટા એટ્રિબ્યુટનું મૂલ્ય ખરેખર તે વિશેષતા માટે વ્યાખ્યાયિત ડેટા પ્રકાર તરીકે સંગ્રહિત થાય છે. જો સ્ટોર નામ ફીલ્ડ ડેટા પ્રકારને "ટેક્સ્ટ" તરીકે વ્યાખ્યાયિત કરવામાં આવે છે, તો આ ફીલ્ડના તમામ ઉદાહરણોમાં આંકડાકીય કોડને બદલે ટેક્સ્ટ ફોર્મેટમાં પ્રદર્શિત સ્ટોરનું નામ શામેલ છે.]

સુસંગતતા. ડેટા ફીલ્ડનું સ્વરૂપ અને સામગ્રી બહુવિધ સ્ત્રોત સિસ્ટમોમાં સમાન છે. જો એક સિસ્ટમમાં ઉત્પાદન ABC માટેનો પ્રોડક્ટ કોડ 1234 છે, તો દરેક સ્રોત સિસ્ટમમાં આ ઉત્પાદનનો કોડ 1234 છે.
[સંગતતા. ડેટા ફીલ્ડનું સ્વરૂપ અને સામગ્રી વિવિધ સ્ત્રોત સિસ્ટમોમાં સમાન છે. જો એક સિસ્ટમ પર ઉત્પાદન ABC માટે ઉત્પાદન કોડ 1234 છે, તો તે ઉત્પાદન માટેનો કોડ દરેક સ્રોત સિસ્ટમ પર 1234 છે.]

નિરર્થકતા. સિસ્ટમમાં સમાન ડેટા એક કરતાં વધુ જગ્યાએ સંગ્રહિત થવો જોઈએ નહીં. જો, કાર્યક્ષમતાના કારણોસર, ડેટા ઘટકને સિસ્ટમમાં એક કરતાં વધુ જગ્યાએ ઇરાદાપૂર્વક સંગ્રહિત કરવામાં આવે છે, તો પછી નિરર્થકતાને સ્પષ્ટપણે ઓળખી અને ચકાસવી આવશ્યક છે.
[નિરર્થકતા. સમાન ડેટા સિસ્ટમમાં એક કરતાં વધુ જગ્યાએ સંગ્રહિત થવો જોઈએ નહીં. જો, કાર્યક્ષમતાના કારણોસર, ડેટા તત્વ ઇરાદાપૂર્વક સિસ્ટમમાં બહુવિધ સ્થળોએ સંગ્રહિત કરવામાં આવે છે, તો પછી નિરર્થકતા સ્પષ્ટપણે વ્યાખ્યાયિત અને ચકાસાયેલ હોવી જોઈએ.]

પૂર્ણતા. સિસ્ટમમાં આપેલ વિશેષતા માટે કોઈ ગુમ થયેલ મૂલ્યો નથી. ઉદાહરણ તરીકે, ગ્રાહક ફાઇલમાં, દરેક ગ્રાહક માટે "રાજ્ય" ફીલ્ડ માટે માન્ય મૂલ્ય હોવું આવશ્યક છે. ઓર્ડરની વિગતો માટેની ફાઇલમાં, ઓર્ડર માટેનો દરેક વિગત રેકોર્ડ સંપૂર્ણપણે ભરવો આવશ્યક છે.
[સંપૂર્ણતા. આ લક્ષણ માટે સિસ્ટમમાં કોઈ ખૂટતા મૂલ્યો નથી. ઉદાહરણ તરીકે, ક્લાયંટ ફાઇલમાં દરેક ક્લાયંટ માટે "સ્ટેટસ" ફીલ્ડ માટે માન્ય મૂલ્ય હોવું આવશ્યક છે. ઓર્ડરની વિગતો ફાઇલમાં, દરેક ઓર્ડરની વિગતોનો રેકોર્ડ સંપૂર્ણપણે પૂર્ણ થયેલો હોવો જોઈએ.]

ડુપ્લિકેશન. સિસ્ટમમાં રેકોર્ડનું ડુપ્લિકેશન સંપૂર્ણપણે ઉકેલાઈ ગયું છે. જો ઉત્પાદન ફાઇલમાં ડુપ્લિકેટ રેકોર્ડ્સ હોવાનું જાણવા મળે છે, તો દરેક ઉત્પાદન માટેના તમામ ડુપ્લિકેટ રેકોર્ડ્સ ઓળખવામાં આવે છે અને ક્રોસ-રેફરન્સ બનાવવામાં આવે છે.
[ડુપ્લિકેટ. સિસ્ટમમાં રેકોર્ડનું ડુપ્લિકેશન સંપૂર્ણપણે નાબૂદ કરવામાં આવ્યું છે. જો ઉત્પાદન ફાઇલમાં ડુપ્લિકેટ એન્ટ્રીઓ હોવાનું જાણીતું હોય, તો દરેક ઉત્પાદન માટેની તમામ ડુપ્લિકેટ એન્ટ્રીઓ ઓળખવામાં આવે છે અને ક્રોસ-રેફરન્સ બનાવવામાં આવે છે.]

વ્યવસાયના નિયમોનું અનુરૂપતા. દરેક ડેટા આઇટમના મૂલ્યો નિર્ધારિત વ્યવસાય નિયમોનું પાલન કરે છે. હરાજી પ્રણાલીમાં, હથોડી અથવા વેચાણ કિંમત અનામત કિંમત કરતાં ઓછી ન હોઈ શકે. બેંક લોન સિસ્ટમમાં, લોન બેલેન્સ હંમેશા હકારાત્મક અથવા શૂન્ય હોવું જોઈએ.
[વ્યવસાયના નિયમોનું પાલન. દરેક ડેટા ઘટકના મૂલ્યો સ્થાપિત વ્યવસાય નિયમોનું પાલન કરે છે. હરાજી પ્રણાલીમાં, હથોડી અથવા વેચાણ કિંમત અનામત કિંમત કરતાં ઓછી ન હોઈ શકે. બેંકિંગ ક્રેડિટ સિસ્ટમમાં, લોન બેલેન્સ હંમેશા હકારાત્મક અથવા શૂન્ય હોવું જોઈએ.]

માળખાકીય નિશ્ચિતતા. જ્યાં પણ ડેટા આઇટમને વ્યક્તિગત ઘટકોમાં કુદરતી રીતે સંરચિત કરી શકાય છે, ત્યાં આઇટમમાં આ સારી રીતે વ્યાખ્યાયિત માળખું હોવું આવશ્યક છે. ઉદાહરણ તરીકે, વ્યક્તિનું નામ સ્વાભાવિક રીતે પ્રથમ નામ, મધ્યમ નામ અને અંતિમ નામમાં વિભાજિત થાય છે. વ્યક્તિઓના નામ માટેના મૂલ્યો પ્રથમ નામ, મધ્યમ નામ અને છેલ્લું નામ તરીકે સંગ્રહિત હોવા જોઈએ. ડેટા ગુણવત્તાની આ લાક્ષણિકતા ધોરણોના અમલીકરણને સરળ બનાવે છે અને ગુમ થયેલ મૂલ્યોને ઘટાડે છે.
[માળખાકીય નિશ્ચિતતા. જ્યાં ડેટા ઘટકને વ્યક્તિગત ઘટકોમાં કુદરતી રીતે સંરચિત કરી શકાય છે, તત્વમાં આ સારી રીતે વ્યાખ્યાયિત માળખું હોવું આવશ્યક છે. ઉદાહરણ તરીકે, વ્યક્તિનું નામ કુદરતી રીતે પ્રથમ નામ, મધ્યમ નામ અને અંતિમ નામમાં વહેંચાયેલું છે. વ્યક્તિગત નામો માટેના મૂલ્યો પ્રથમ નામ, મધ્ય પ્રારંભિક અને છેલ્લા નામ તરીકે સંગ્રહિત હોવા જોઈએ. આ ડેટા ગુણવત્તા લાક્ષણિકતા ધોરણોના ઉપયોગને સરળ બનાવે છે અને ખૂટતા મૂલ્યોને ઘટાડે છે.]

ડેટા અસંગતિ. ક્ષેત્રનો ઉપયોગ ફક્ત તે હેતુ માટે જ કરવો જોઈએ જેના માટે તે વ્યાખ્યાયિત કરવામાં આવે છે. જો ફીલ્ડ એડ્રેસ-3 લાંબા સરનામાંઓ માટે સરનામાંની કોઈપણ સંભવિત ત્રીજી લાઇન માટે વ્યાખ્યાયિત કરવામાં આવે છે, તો આ ક્ષેત્રનો ઉપયોગ ફક્ત સરનામાની ત્રીજી લાઇનને રેકોર્ડ કરવા માટે જ થવો જોઈએ. તેનો ઉપયોગ ગ્રાહક માટે ફોન અથવા ફેક્સ નંબર દાખલ કરવા માટે થવો જોઈએ નહીં.
[ડેટા વિસંગતતા. ક્ષેત્રનો ઉપયોગ ફક્ત તે હેતુ માટે જ થવો જોઈએ જેના માટે તે વ્યાખ્યાયિત કરવામાં આવ્યું છે. જો સરનામું-3 ફીલ્ડ લાંબા સરનામાં માટે કોઈપણ સંભવિત ત્રીજી સરનામાં રેખા માટે વ્યાખ્યાયિત કરવામાં આવે છે, તો પછી આ ક્ષેત્રનો ઉપયોગ ફક્ત ત્રીજી સરનામાં રેખાને રેકોર્ડ કરવા માટે થશે. તેનો ઉપયોગ ગ્રાહક માટે ટેલિફોન અથવા ફેક્સ નંબર દાખલ કરવા માટે થવો જોઈએ નહીં.]

સ્પષ્ટતા. ડેટા એલિમેન્ટ ગુણવત્તાયુક્ત ડેટાની અન્ય તમામ લાક્ષણિકતાઓ ધરાવી શકે છે પરંતુ જો વપરાશકર્તાઓ તેનો અર્થ સ્પષ્ટ રીતે સમજી શકતા નથી, તો ડેટા ઘટક વપરાશકર્તાઓ માટે કોઈ મૂલ્યવાન નથી. યોગ્ય નામકરણ સંમેલનો વપરાશકર્તાઓ દ્વારા ડેટા ઘટકોને સારી રીતે સમજવામાં મદદ કરે છે.
[સ્પષ્ટતા. ડેટા એલિમેન્ટમાં સારા ડેટાની અન્ય તમામ લાક્ષણિકતાઓ હોઈ શકે છે, પરંતુ જો વપરાશકર્તાઓ તેનો અર્થ સ્પષ્ટ રીતે સમજી શકતા નથી, તો ડેટા ઘટક વપરાશકર્તાઓ માટે કોઈ મૂલ્યવાન નથી. યોગ્ય નામકરણ પ્રણાલીઓ ડેટા ઘટકોને વપરાશકર્તાઓ દ્વારા સારી રીતે સમજવામાં મદદ કરે છે.]

સમયસર. વપરાશકર્તાઓ ડેટાની સમયસરતા નક્કી કરે છે. જો વપરાશકર્તાઓ અપેક્ષા રાખે છે કે ગ્રાહક પરિમાણ ડેટા એક દિવસ કરતાં જૂનો ન હોય, તો સ્રોત સિસ્ટમ્સમાં ગ્રાહક ડેટામાં થતા ફેરફારો ડેટા વેરહાઉસ પર દરરોજ લાગુ થવા જોઈએ.
[સમયસર. વપરાશકર્તાઓ ડેટાની સમયસરતા નક્કી કરે છે. જો વપરાશકર્તાઓ અપેક્ષા રાખે છે કે ગ્રાહક પરિમાણ ડેટા એક દિવસ કરતાં વધુ જૂનો ન હોય, તો સ્રોત સિસ્ટમ્સમાં ગ્રાહક ડેટામાં ફેરફાર દૈનિક ધોરણે ડેટા વેરહાઉસ પર લાગુ થવો જોઈએ.]

ઉપયોગીતા. ડેટા વેરહાઉસમાં દરેક ડેટા એલિમેન્ટે વપરાશકર્તાઓના સંગ્રહની કેટલીક આવશ્યકતાઓને સંતોષવી આવશ્યક છે. ડેટા તત્વ ચોક્કસ અને ઉચ્ચ ગુણવત્તાનું હોઈ શકે છે, પરંતુ જો તે વપરાશકર્તાઓ માટે કોઈ મૂલ્યવાન ન હોય, તો તે ડેટા તત્વ માટે ડેટા વેરહાઉસમાં હોવું સંપૂર્ણપણે બિનજરૂરી છે.
[ઉપયોગિતા. ડેટા સ્ટોરમાં દરેક ડેટા આઇટમ વપરાશકર્તા સંગ્રહની કેટલીક આવશ્યકતાઓને સંતોષે છે. ડેટા એલિમેન્ટ સચોટ અને ઉચ્ચ ગુણવત્તાનું હોઈ શકે છે, પરંતુ જો તે વપરાશકર્તાઓને મૂલ્ય પ્રદાન કરતું નથી, તો તે ડેટા તત્વ માટે ડેટા વેરહાઉસમાં હોવું જરૂરી નથી.]

ડેટા અખંડિતતા નિયમોનું પાલન. સ્રોત સિસ્ટમ્સના રિલેશનલ ડેટાબેઝમાં સંગ્રહિત ડેટાએ એન્ટિટી અખંડિતતા અને સંદર્ભિત અખંડિતતા નિયમોનું પાલન કરવું આવશ્યક છે. કોઈપણ કોષ્ટક કે જે પ્રાથમિક કી તરીકે નલને પરવાનગી આપે છે તેમાં એન્ટિટી અખંડિતતા નથી. સંદર્ભિત અખંડિતતા માતાપિતા-બાળકના સંબંધોને યોગ્ય રીતે સ્થાપિત કરવા દબાણ કરે છે. ગ્રાહક-થી-ઓર્ડર સંબંધમાં, સંદર્ભિત અખંડિતતા ડેટાબેઝમાં દરેક ઓર્ડર માટે ગ્રાહકના અસ્તિત્વની ખાતરી કરે છે.
[ડેટા અખંડિતતા નિયમોનું પાલન. સ્રોત સિસ્ટમ્સના રિલેશનલ ડેટાબેઝમાં સંગ્રહિત ડેટા એન્ટિટી અખંડિતતા અને સંદર્ભ અખંડિતતાના નિયમોનું પાલન કરે છે. કોઈપણ કોષ્ટક કે જે પ્રાથમિક કી તરીકે નલને મંજૂરી આપે છે તેમાં એન્ટિટી અખંડિતતા હોતી નથી. સંદર્ભની અખંડિતતા માતાપિતા અને બાળકો વચ્ચેના સંબંધને યોગ્ય રીતે સ્થાપિત કરવા દબાણ કરે છે. ગ્રાહક-ઓર્ડર સંબંધમાં, સંદર્ભની અખંડિતતા ખાતરી કરે છે કે ડેટાબેઝમાં દરેક ઓર્ડર માટે ગ્રાહક અસ્તિત્વમાં છે.]

4. ડેટા સફાઈની ગુણવત્તા

બિગડેટામાં ડેટા ક્લિનિંગની ગુણવત્તા એ એક સમસ્યારૂપ મુદ્દો છે. દરેક ડેટા વિશ્લેષક માટે કાર્ય પૂર્ણ કરવા માટે ડેટા સફાઈની કેટલી ડિગ્રી જરૂરી છે તે પ્રશ્નનો જવાબ આપવો એ મૂળભૂત છે. મોટાભાગની વર્તમાન સમસ્યાઓમાં, દરેક વિશ્લેષક આ જાતે નક્કી કરે છે અને તે અસંભવિત છે કે બહારથી કોઈપણ તેના ઉકેલમાં આ પાસાને મૂલ્યાંકન કરી શકે. પરંતુ આ કિસ્સામાં હાથ પરના કાર્ય માટે, આ મુદ્દો અત્યંત મહત્વપૂર્ણ હતો, કારણ કે કાનૂની ડેટાની વિશ્વસનીયતા એક તરફ જ હોવી જોઈએ.

ઓપરેશનલ વિશ્વસનીયતા નક્કી કરવા માટે સૉફ્ટવેર પરીક્ષણ તકનીકોને ધ્યાનમાં લેવું. આજે આ મોડેલો કરતાં વધુ છે 200. ઘણા મોડલ ક્લેમ સર્વિસિંગ મોડલનો ઉપયોગ કરે છે:

Рис. .

નીચે પ્રમાણે વિચારવું: "જો મળેલી ભૂલ એ આ મોડેલમાં નિષ્ફળતાની ઘટના જેવી જ ઘટના છે, તો પછી પરિમાણ t નું એનાલોગ કેવી રીતે શોધવું?" અને મેં નીચેના મોડેલનું સંકલન કર્યું: ચાલો કલ્પના કરીએ કે એક રેકોર્ડને તપાસવામાં ટેસ્ટરને 1 મિનિટ લાગે છે (પ્રશ્નમાં રહેલા ડેટાબેઝ માટે), પછી બધી ભૂલો શોધવા માટે તેને 365 મિનિટની જરૂર પડશે, જે લગભગ 494 વર્ષ અને 3 છે. કામના મહિનાઓ. જેમ આપણે સમજીએ છીએ, આ ખૂબ મોટી રકમનું કામ છે અને ડેટાબેઝને તપાસવાનો ખર્ચ આ ડેટાબેઝના કમ્પાઇલર માટે પ્રતિબંધિત હશે. આ પ્રતિબિંબમાં, ખર્ચનો આર્થિક ખ્યાલ દેખાય છે અને વિશ્લેષણ પછી હું નિષ્કર્ષ પર આવ્યો કે આ એકદમ અસરકારક સાધન છે. અર્થશાસ્ત્રના કાયદાના આધારે: "ઉત્પાદનનું પ્રમાણ (એકમોમાં) કે જેના પર પેઢીનો મહત્તમ નફો પ્રાપ્ત થાય છે તે બિંદુએ સ્થિત છે જ્યાં ઉત્પાદનના નવા એકમના ઉત્પાદનની સીમાંત કિંમતની સરખામણી આ પેઢી પ્રાપ્ત કરી શકે તેવી કિંમત સાથે કરવામાં આવે છે. નવા એકમ માટે." અનુગામી દરેક ભૂલને શોધવા માટે રેકોર્ડની વધુ અને વધુ તપાસની જરૂર પડે છે તે અનુમાનના આધારે, આ એક ખર્ચ પરિબળ છે. એટલે કે, પરીક્ષણ મોડેલોમાં અપનાવવામાં આવેલ પોસ્ટ્યુલેટ નીચેની પેટર્નમાં ભૌતિક અર્થ લે છે: જો i-th ભૂલ શોધવા માટે n રેકોર્ડ્સ તપાસવું જરૂરી હતું, તો પછીની (i+3) ભૂલ શોધવા માટે તે જરૂરી રહેશે. m રેકોર્ડ તપાસવા અને તે જ સમયે એન

1. જ્યારે નવી ભૂલ મળી આવે તે પહેલાં ચકાસાયેલ રેકોર્ડ્સની સંખ્યા સ્થિર થાય છે;
2. જ્યારે આગળની ભૂલ શોધતા પહેલા ચકાસાયેલ રેકોર્ડની સંખ્યા વધશે.

નિર્ણાયક મૂલ્ય નક્કી કરવા માટે, મેં આર્થિક શક્યતાની વિભાવના તરફ વળ્યું, જે આ કિસ્સામાં, સામાજિક ખર્ચની વિભાવનાનો ઉપયોગ કરીને, નીચે પ્રમાણે ઘડવામાં આવી શકે છે: “ભૂલ સુધારવાનો ખર્ચ આર્થિક એજન્ટ દ્વારા ઉઠાવવો જોઈએ જે કરી શકે છે. તે સૌથી ઓછી કિંમતે." અમારી પાસે એક એજન્ટ છે - એક પરીક્ષક જે એક રેકોર્ડ તપાસવામાં 1 મિનિટનો સમય વિતાવે છે. નાણાકીય દ્રષ્ટિએ, જો તમે 6000 રુબેલ્સ/દિવસ કમાઓ છો, તો આ 12,2 રુબેલ્સ હશે. (લગભગ આજે). તે આર્થિક કાયદામાં સંતુલનની બીજી બાજુ નક્કી કરવાનું બાકી છે. મેં આ રીતે તર્ક આપ્યો. હાલની ભૂલ માટે સંબંધિત વ્યક્તિએ તેને સુધારવાનો પ્રયાસ કરવો પડશે, એટલે કે મિલકતના માલિક. ચાલો કહીએ કે આ માટે 1 દિવસની કાર્યવાહીની જરૂર છે (એક અરજી સબમિટ કરો, એક સુધારેલ દસ્તાવેજ મેળવો). પછી, સામાજિક દૃષ્ટિકોણથી, તેના ખર્ચ દરરોજ સરેરાશ પગારની સમાન હશે. ખંતી-માનસી ઓટોનોમસ ઓક્રગમાં સરેરાશ ઉપાર્જિત પગાર "જાન્યુઆરી-સપ્ટેમ્બર 2019 માટે ખાંટી-માનસિસ્ક ઓટોનોમસ ઓક્રગ - ઉગ્રાના સામાજિક-આર્થિક વિકાસના પરિણામો" 73285 ઘસવું. અથવા 3053,542 રુબેલ્સ/દિવસ. તદનુસાર, અમે સમાન નિર્ણાયક મૂલ્ય મેળવીએ છીએ:
3053,542: 12,2 = 250,4 રેકોર્ડના એકમો.

આનો અર્થ એ છે કે, સામાજિક દૃષ્ટિકોણથી, જો કોઈ પરીક્ષકે 251 રેકોર્ડ્સ તપાસ્યા અને એક ભૂલ મળી, તો તે વપરાશકર્તા આ ભૂલને જાતે સુધારે છે તે સમકક્ષ છે. તદનુસાર, જો પરીક્ષકે આગલી ભૂલ શોધવા માટે 252 રેકોર્ડ્સ તપાસવા જેટલો સમય પસાર કર્યો હોય, તો આ કિસ્સામાં સુધારણાની કિંમત વપરાશકર્તાને સ્થાનાંતરિત કરવી વધુ સારું છે.

અહીં એક સરળ અભિગમ રજૂ કરવામાં આવ્યો છે, કારણ કે સામાજિક દૃષ્ટિકોણથી દરેક નિષ્ણાત દ્વારા જનરેટ કરાયેલ તમામ વધારાના મૂલ્યને ધ્યાનમાં લેવું જરૂરી છે, એટલે કે, કર અને સામાજિક ચૂકવણી સહિતના ખર્ચ, પરંતુ મોડેલ સ્પષ્ટ છે. આ સંબંધનું પરિણામ નિષ્ણાતો માટે નીચેની આવશ્યકતા છે: IT ઉદ્યોગના નિષ્ણાતનો પગાર રાષ્ટ્રીય સરેરાશ કરતા વધારે હોવો જોઈએ. જો તેનો પગાર સંભવિત ડેટાબેઝ વપરાશકર્તાઓના સરેરાશ પગાર કરતાં ઓછો હોય, તો તેણે પોતે જ સમગ્ર ડેટાબેઝને હાથે હાથથી તપાસવું જોઈએ.

વર્ણવેલ માપદંડનો ઉપયોગ કરતી વખતે, ડેટાબેઝની ગુણવત્તા માટેની પ્રથમ આવશ્યકતા રચાય છે:
I(tr). ગંભીર ભૂલોનો હિસ્સો 1/250,4 = 0,39938% થી વધુ ન હોવો જોઈએ. કરતાં થોડું ઓછું શુદ્ધિકરણ ઉદ્યોગમાં સોનું. અને ભૌતિક દ્રષ્ટિએ ભૂલો સાથે 1459 થી વધુ રેકોર્ડ્સ નથી.

આર્થિક પીછેહઠ.

વાસ્તવમાં, રેકોર્ડ્સમાં આવી સંખ્યાબંધ ભૂલો કરીને, સમાજ નીચેની રકમમાં આર્થિક નુકસાન માટે સંમત થાય છે:

1459*3053,542 = 4 રુબેલ્સ.

આ રકમ એ હકીકત દ્વારા નક્કી કરવામાં આવે છે કે સમાજ પાસે આ ખર્ચ ઘટાડવા માટેના સાધનો નથી. તે અનુસરે છે કે જો કોઈની પાસે એવી તકનીક છે જે તેમને ભૂલો સાથેના રેકોર્ડ્સની સંખ્યાને ઘટાડવાની મંજૂરી આપે છે, ઉદાહરણ તરીકે, 259, તો આ સમાજને બચાવવા માટે પરવાનગી આપશે:
1200*3053,542 = 3 રુબેલ્સ.

પરંતુ તે જ સમયે, તે તેની પ્રતિભા અને કાર્ય માટે પૂછી શકે છે, સારું, ચાલો કહીએ - 1 મિલિયન રુબેલ્સ.
એટલે કે, સામાજિક ખર્ચ આના દ્વારા ઘટાડવામાં આવે છે:

3 – 664 = 250 રુબેલ્સ.

સારમાં, આ અસર BigDat તકનીકોના ઉપયોગથી ઉમેરાયેલ મૂલ્ય છે.

પરંતુ અહીં તે ધ્યાનમાં લેવું જોઈએ કે આ એક સામાજિક અસર છે, અને ડેટાબેઝના માલિક મ્યુનિસિપલ સત્તાવાળાઓ છે, આ ડેટાબેઝમાં નોંધાયેલી મિલકતના ઉપયોગથી તેમની આવક, 0,3% ના દરે, છે: 2,778 અબજ રુબેલ્સ/ વર્ષ અને આ ખર્ચ (4 રુબેલ્સ) તેને વધુ પરેશાન કરતા નથી, કારણ કે તે મિલકતના માલિકોને સ્થાનાંતરિત કરવામાં આવે છે. અને, આ પાસામાં, બિગડેટામાં વધુ રિફાઇનિંગ ટેક્નોલોજીના વિકાસકર્તાએ આ ડેટાબેઝના માલિકને સમજાવવાની ક્ષમતા દર્શાવવી પડશે, અને આવી બાબતોમાં નોંધપાત્ર પ્રતિભાની જરૂર છે.

В данном примере алгоритм оценки ошибок был выбран на основе модель Шумана [2] проверки ПО при тестировании на безотказность. По причине ее распространённости в сети и возможности получить необходимые статистические показатели. Методология взята из Монахов Ю.М. «Функциональная устойчивость информационных систем», смотрите под спойлером на рис. 7-9.

ચોખા. 7 - 9 શૂમન મોડેલની પદ્ધતિ





આ સામગ્રીનો બીજો ભાગ ડેટા સફાઈનું ઉદાહરણ રજૂ કરે છે, જેમાં શુમન મોડેલનો ઉપયોગ કરવાના પરિણામો પ્રાપ્ત થાય છે.
મને પ્રાપ્ત પરિણામો રજૂ કરવા દો:
ભૂલોની અંદાજિત સંખ્યા N = 3167 n.
પરિમાણ C, લેમ્બડા અને વિશ્વસનીયતા કાર્ય:

ફિગ. 17

આવશ્યકપણે, લેમ્બડા એ તીવ્રતાનું વાસ્તવિક સૂચક છે જેની સાથે દરેક તબક્કે ભૂલો શોધી કાઢવામાં આવે છે. જો તમે બીજા ભાગ પર નજર નાખો, તો આ સૂચક માટેનો અંદાજ પ્રતિ કલાક 42,4 ભૂલો હતો, જે શુમન સૂચક સાથે તદ્દન તુલનાત્મક છે. ઉપર, તે નિર્ધારિત કરવામાં આવ્યું હતું કે દર મિનિટે 1 રેકોર્ડ તપાસતી વખતે, વિકાસકર્તાને જે દરે ભૂલો મળે છે તે દર 250,4 રેકોર્ડ્સ દીઠ 1 ભૂલ કરતાં ઓછી હોવી જોઈએ નહીં. તેથી શુમન મોડેલ માટે લેમ્બડાનું નિર્ણાયક મૂલ્ય:

60 / 250,4 = 0,239617.

એટલે કે, જ્યાં સુધી લેમ્બડા હાલના 38,964 થી ઘટીને 0,239617 ન થાય ત્યાં સુધી ભૂલ શોધવાની પ્રક્રિયા હાથ ધરવાની જરૂર છે.

અથવા જ્યાં સુધી સૂચક N (ભૂલોની સંભવિત સંખ્યા) માઈનસ n (ભૂલોની સુધારેલી સંખ્યા) અમારી સ્વીકૃત થ્રેશોલ્ડ - 1459 પીસીની નીચે ઘટે ત્યાં સુધી.

સાહિત્ય

1. મોનાખોવ, યુ. એમ. માહિતી પ્રણાલીઓની કાર્યાત્મક સ્થિરતા. 3 કલાકમાં. ભાગ 1. સોફ્ટવેર વિશ્વસનીયતા: પાઠ્યપુસ્તક. ભથ્થું / યુ. એમ. મોનાખોવ; વ્લાદિમ. રાજ્ય યુનિવર્સિટી - વ્લાદિમીર: ઇઝવો વ્લાદિમ. રાજ્ય યુનિવર્સિટી, 2011. - 60 પૃષ્ઠ. – ISBN 978-5-9984-0189-3.
2. માર્ટિન એલ. શૂમન, "સોફ્ટવેર વિશ્વસનીયતા આગાહી માટે સંભવિત મોડેલો."
3. આઇટી પ્રોફેશનલ્સ / પૌલરાજ પોનિયા માટે ડેટા વેરહાઉસિંગ ફંડામેન્ટલ્સ.—2જી આવૃત્તિ.

બીજો ભાગ. સૈદ્ધાંતિક

સોર્સ: www.habr.com