റോക്ക്, പേപ്പർ, കത്രിക എന്നിവയുടെ ഗെയിം പോലെയുള്ള ഡാറ്റ വൃത്തിയാക്കുക. ഇത് അവസാനമുള്ളതോ ഇല്ലാത്തതോ ആയ ഗെയിമാണോ? ഭാഗം 1. സൈദ്ധാന്തികം

1. പ്രാരംഭ ഡാറ്റ

ഡാറ്റാ അനാലിസിസ് ടാസ്‌ക്കുകൾ നേരിടുന്ന വെല്ലുവിളികളിലൊന്നാണ് ഡാറ്റ ക്ലീനിംഗ്. കഡാസ്ട്രൽ മൂല്യത്തിൻ്റെ രൂപീകരണത്തിൽ ഡാറ്റാബേസ് വിശകലനം ചെയ്യുന്നതിനുള്ള ഒരു പ്രായോഗിക പ്രശ്നം പരിഹരിക്കുന്നതിൻ്റെ ഫലമായി ഉണ്ടായ സംഭവവികാസങ്ങളും പരിഹാരങ്ങളും ഈ മെറ്റീരിയൽ പ്രതിഫലിപ്പിച്ചു. ഉറവിടങ്ങൾ ഇവിടെ "ഖാന്തി-മാൻസിസ്ക് ഓട്ടോണമസ് ഒക്രുഗ് - ഉഗ്രയുടെ പ്രദേശത്തെ എല്ലാത്തരം റിയൽ എസ്റ്റേറ്റുകളുടെയും (ലാൻഡ് പ്ലോട്ടുകൾ ഒഴികെ) സംസ്ഥാന കഡാസ്ട്രൽ മൂല്യനിർണ്ണയത്തിൻ്റെ ഫലങ്ങളെക്കുറിച്ചുള്ള റിപ്പോർട്ട് നമ്പർ 01/OKS-2019".

"അനുബന്ധം ബി. കെഎസ് 5. കഡാസ്ട്രൽ മൂല്യം നിർണ്ണയിക്കുന്ന രീതിയെക്കുറിച്ചുള്ള വിവരങ്ങൾ 5.1 താരതമ്യ സമീപനം" എന്നതിലെ "അനുബന്ധം ബി. ഫലങ്ങൾ" എന്ന ഫയൽ "കംപാരറ്റീവ് മോഡൽ total.ods" പരിഗണിച്ചു.

പട്ടിക 1. "താരതമ്യ മോഡൽ total.ods" ഫയലിലെ ഡാറ്റാസെറ്റിൻ്റെ സ്റ്റാറ്റിസ്റ്റിക്കൽ സൂചകങ്ങൾ
ഫീൽഡുകളുടെ ആകെ എണ്ണം, pcs. - 44
റെക്കോർഡുകളുടെ ആകെ എണ്ണം, കമ്പ്യൂട്ടറുകൾ. - 365 490
പ്രതീകങ്ങളുടെ ആകെ എണ്ണം, pcs. - 101 714 693
ഒരു റെക്കോർഡിലെ പ്രതീകങ്ങളുടെ ശരാശരി എണ്ണം, pcs. - 278,297
ഒരു റെക്കോർഡിലെ പ്രതീകങ്ങളുടെ സ്റ്റാൻഡേർഡ് ഡീവിയേഷൻ, pcs. - 15,510
ഒരു എൻട്രിയിലെ ഏറ്റവും കുറഞ്ഞ പ്രതീകങ്ങളുടെ എണ്ണം, pcs. - 198
ഒരു എൻട്രിയിലെ പരമാവധി എണ്ണം പ്രതീകങ്ങൾ, pcs. - 363

2. ആമുഖ ഭാഗം. അടിസ്ഥാന മാനദണ്ഡങ്ങൾ

നിർദ്ദിഷ്ട ഡാറ്റാബേസ് വിശകലനം ചെയ്യുമ്പോൾ, ശുദ്ധീകരണത്തിൻ്റെ ആവശ്യകതകൾ വ്യക്തമാക്കുന്നതിന് ഒരു ടാസ്ക് രൂപീകരിച്ചു, കാരണം, എല്ലാവർക്കും വ്യക്തമാകുന്നതുപോലെ, നിർദ്ദിഷ്ട ഡാറ്റാബേസ് ഉപയോക്താക്കൾക്ക് നിയമപരവും സാമ്പത്തികവുമായ പ്രത്യാഘാതങ്ങൾ സൃഷ്ടിക്കുന്നു. ജോലി സമയത്ത്, വലിയ ഡാറ്റ വൃത്തിയാക്കുന്നതിന് പ്രത്യേക ആവശ്യകതകളൊന്നുമില്ലെന്ന് മനസ്സിലായി. ഈ വിഷയത്തിലെ നിയമപരമായ മാനദണ്ഡങ്ങൾ വിശകലനം ചെയ്യുമ്പോൾ, അവയെല്ലാം സാധ്യതകളിൽ നിന്നാണ് രൂപപ്പെട്ടതെന്ന നിഗമനത്തിലെത്തി. അതായത്, ഒരു പ്രത്യേക ടാസ്‌ക് പ്രത്യക്ഷപ്പെട്ടു, ടാസ്‌ക്കിനായി വിവര ഉറവിടങ്ങൾ സമാഹരിക്കുന്നു, തുടർന്ന് ഒരു ഡാറ്റാസെറ്റ് രൂപീകരിക്കുന്നു, കൂടാതെ സൃഷ്ടിച്ച ഡാറ്റാസെറ്റിനെ അടിസ്ഥാനമാക്കി, പ്രശ്നം പരിഹരിക്കുന്നതിനുള്ള ഉപകരണങ്ങൾ. തത്ഫലമായുണ്ടാകുന്ന പരിഹാരങ്ങൾ ബദലുകളിൽ നിന്ന് തിരഞ്ഞെടുക്കുന്നതിനുള്ള റഫറൻസ് പോയിൻ്റുകളാണ്. ഞാൻ ഇത് ചിത്രം 1 ൽ അവതരിപ്പിച്ചു.



ഏതെങ്കിലും മാനദണ്ഡങ്ങൾ നിർണ്ണയിക്കുന്ന കാര്യങ്ങളിൽ, തെളിയിക്കപ്പെട്ട സാങ്കേതികവിദ്യകളെ ആശ്രയിക്കുന്നതാണ് അഭികാമ്യമായതിനാൽ, ഞാൻ വ്യക്തമാക്കിയ ആവശ്യകതകൾ തിരഞ്ഞെടുത്തു. "MHRA GxP ഡാറ്റ ഇൻ്റഗ്രിറ്റി നിർവചനങ്ങളും വ്യവസായത്തിനുള്ള മാർഗ്ഗനിർദ്ദേശവും", കാരണം ഈ പ്രശ്നത്തിനുള്ള ഏറ്റവും സമഗ്രമായ പ്രമാണം ഞാൻ ഈ പ്രമാണത്തെ പരിഗണിച്ചു. പ്രത്യേകിച്ചും, ഈ ഡോക്യുമെൻ്റിൽ വിഭാഗം പറയുന്നു "ഡാറ്റ ഇൻ്റഗ്രിറ്റി ആവശ്യകതകൾ മാനുവൽ (പേപ്പർ), ഇലക്ട്രോണിക് ഡാറ്റ എന്നിവയ്ക്ക് തുല്യമായി ബാധകമാണെന്ന് ശ്രദ്ധിക്കേണ്ടതാണ്." (വിവർത്തനം: "... ഡാറ്റ സമഗ്രത ആവശ്യകതകൾ മാനുവൽ (പേപ്പർ), ഇലക്ട്രോണിക് ഡാറ്റ എന്നിവയ്ക്ക് തുല്യമായി ബാധകമാണ്"). ഈ ഫോർമുലേഷൻ "രേഖാമൂലമുള്ള തെളിവുകൾ" എന്ന ആശയവുമായി തികച്ചും ബന്ധപ്പെട്ടിരിക്കുന്നു, സിവിൽ പ്രൊസീജ്യർ കോഡിൻ്റെ ആർട്ടിക്കിൾ 71 ലെ വ്യവസ്ഥകളിൽ, കല. 70 CAS, കല. 75 APC, "എഴുത്തിൽ" കല. 84 സിവിൽ നടപടിക്രമങ്ങളുടെ കോഡ്.

നിയമശാസ്ത്രത്തിലെ വിവരങ്ങളുടെ തരത്തിലേക്കുള്ള സമീപനങ്ങളുടെ രൂപീകരണത്തിൻ്റെ ഒരു ഡയഗ്രം ചിത്രം 2 അവതരിപ്പിക്കുന്നു.

അരി. 2. ഉറവിടം ഇവിടെ.

മുകളിലുള്ള "മാർഗ്ഗനിർദ്ദേശ" ത്തിൻ്റെ ചുമതലകൾക്കായി ചിത്രം 3, ചിത്രം 1-ൻ്റെ സംവിധാനം കാണിക്കുന്നു. വിവരങ്ങളുടെ നിയമപരമായ ആശയവുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ, വിവര സംവിധാനങ്ങൾക്കായുള്ള ആധുനിക മാനദണ്ഡങ്ങളിൽ വിവര സമഗ്രതയുടെ ആവശ്യകതകൾ നിറവേറ്റുമ്പോൾ ഉപയോഗിക്കുന്ന സമീപനങ്ങൾ വളരെ പരിമിതമാണെന്ന് ഒരു താരതമ്യം നടത്തുന്നതിലൂടെ കാണുന്നത് എളുപ്പമാണ്.

ചിത്രം

നിർദ്ദിഷ്ട ഡോക്യുമെൻ്റിൽ (മാർഗ്ഗനിർദ്ദേശം), സാങ്കേതിക ഭാഗത്തേക്കുള്ള കണക്ഷൻ, ഡാറ്റ പ്രോസസ്സ് ചെയ്യുന്നതിനും സംഭരിക്കുന്നതിനുമുള്ള കഴിവുകൾ, അദ്ധ്യായം 18.2-ൽ നിന്നുള്ള ഒരു ഉദ്ധരണി ഉപയോഗിച്ച് നന്നായി സ്ഥിരീകരിക്കുന്നു. റിലേഷണൽ ഡാറ്റാബേസ്: "ഡാറ്റയും മെറ്റാഡാറ്റയും തമ്മിലുള്ള ബന്ധം സംരക്ഷിക്കുന്ന ഒരു വലിയ ഫയൽ ഫോർമാറ്റിൽ ഡാറ്റ സൂക്ഷിച്ചിരിക്കുന്നതിനാൽ, ഈ ഫയൽ ഘടന അന്തർലീനമായി കൂടുതൽ സുരക്ഷിതമാണ്."

വാസ്തവത്തിൽ, ഈ സമീപനത്തിൽ - നിലവിലുള്ള സാങ്കേതിക കഴിവുകളിൽ നിന്ന്, അസാധാരണമായ ഒന്നും തന്നെയില്ല, മാത്രമല്ല ഇത് ഒരു സ്വാഭാവിക പ്രക്രിയയാണ്, കാരണം ആശയങ്ങളുടെ വികാസം ഏറ്റവും കൂടുതൽ പഠിച്ച പ്രവർത്തനത്തിൽ നിന്നാണ് വരുന്നത് - ഡാറ്റാബേസ് ഡിസൈൻ. എന്നാൽ, മറുവശത്ത്, നിലവിലുള്ള സിസ്റ്റങ്ങളുടെ സാങ്കേതിക കഴിവുകളിൽ കിഴിവുകൾ നൽകാത്ത നിയമപരമായ മാനദണ്ഡങ്ങൾ ദൃശ്യമാകുന്നു, ഉദാഹരണത്തിന്: GDPR - ജനറൽ ഡാറ്റ പ്രൊട്ടക്ഷൻ റെഗുലേഷൻ.

അരി. 4. സാങ്കേതിക കഴിവുകളുടെ ഫണൽ (ഉറവിടം).

ഈ വശങ്ങളിൽ, ഒറിജിനൽ ഡാറ്റാസെറ്റ് (ചിത്രം 1) ആദ്യം സംരക്ഷിക്കേണ്ടതുണ്ടെന്നും രണ്ടാമതായി അതിൽ നിന്ന് അധിക വിവരങ്ങൾ വേർതിരിച്ചെടുക്കുന്നതിനുള്ള അടിസ്ഥാനമെന്നും വ്യക്തമാകും. ഉദാഹരണമായി: ട്രാഫിക് നിയമങ്ങൾ റെക്കോർഡുചെയ്യുന്ന ക്യാമറകൾ സർവ്വവ്യാപിയാണ്, വിവര പ്രോസസ്സിംഗ് സംവിധാനങ്ങൾ ലംഘിക്കുന്നവരെ ഇല്ലാതാക്കുന്നു, എന്നാൽ മറ്റ് വിവരങ്ങൾ മറ്റ് ഉപഭോക്താക്കൾക്കും നൽകാം, ഉദാഹരണത്തിന്, ഒരു ഷോപ്പിംഗ് സെൻ്ററിലേക്കുള്ള ഉപഭോക്താക്കളുടെ ഒഴുക്കിൻ്റെ ഘടനയുടെ മാർക്കറ്റിംഗ് നിരീക്ഷണം. ബിഗ്ഡാറ്റ് ഉപയോഗിക്കുമ്പോൾ അധിക മൂല്യത്തിൻ്റെ ഉറവിടമാണിത്. ഇപ്പോൾ ശേഖരിക്കുന്ന ഡാറ്റാസെറ്റുകൾക്ക്, ഭാവിയിൽ എവിടെയെങ്കിലും, നിലവിലെ 1700-ലെ അപൂർവ പതിപ്പുകളുടെ മൂല്യത്തിന് സമാനമായ ഒരു മെക്കാനിസം അനുസരിച്ച് മൂല്യമുണ്ടാകാൻ സാധ്യതയുണ്ട്. എല്ലാത്തിനുമുപരി, വാസ്തവത്തിൽ, താൽക്കാലിക ഡാറ്റാസെറ്റുകൾ അദ്വിതീയമാണ്, ഭാവിയിൽ ആവർത്തിക്കാൻ സാധ്യതയില്ല.

3. ആമുഖ ഭാഗം. മൂല്യനിർണ്ണയ മാനദണ്ഡം

പ്രോസസ്സിംഗ് പ്രക്രിയയിൽ, പിശകുകളുടെ ഇനിപ്പറയുന്ന വർഗ്ഗീകരണം വികസിപ്പിച്ചെടുത്തു.

1. പിശക് ക്ലാസ് (GOST R 8.736-2011 അടിസ്ഥാനമാക്കി): a) വ്യവസ്ഥാപിത പിശകുകൾ; ബി) ക്രമരഹിതമായ പിശകുകൾ; c) ഒരു തെറ്റ്.

2. ഗുണനത്താൽ: a) മോണോ ഡിസ്റ്റോർഷൻ; ബി) മൾട്ടി-ഡിസ്റ്റോർഷൻ.

3. അനന്തരഫലങ്ങളുടെ വിമർശനം അനുസരിച്ച്: a) വിമർശനാത്മകം; b) വിമർശനാത്മകമല്ല.

4. സംഭവത്തിൻ്റെ ഉറവിടം അനുസരിച്ച്:

എ) സാങ്കേതിക - ഉപകരണങ്ങളുടെ പ്രവർത്തന സമയത്ത് സംഭവിക്കുന്ന പിശകുകൾ. IoT സിസ്റ്റങ്ങൾക്ക് വളരെ പ്രസക്തമായ ഒരു പിശക്, ആശയവിനിമയത്തിൻ്റെ ഗുണനിലവാരത്തിൽ കാര്യമായ സ്വാധീനമുള്ള സിസ്റ്റങ്ങൾ, ഉപകരണങ്ങൾ (ഹാർഡ്‌വെയർ).

ബി) ഓപ്പറേറ്റർ പിശകുകൾ - ഇൻപുട്ട് സമയത്ത് ഓപ്പറേറ്റർ അക്ഷരത്തെറ്റുകൾ മുതൽ ഡാറ്റാബേസ് രൂപകൽപ്പനയ്ക്കുള്ള സാങ്കേതിക സവിശേഷതകളിലെ പിശകുകൾ വരെയുള്ള വിശാലമായ ശ്രേണിയിലെ പിശകുകൾ.

സി) ഉപയോക്തൃ പിശകുകൾ - "ലേഔട്ട് സ്വിച്ചുചെയ്യാൻ മറന്നു" മുതൽ മീറ്ററുകളെ കാലുകൾക്ക് തെറ്റിദ്ധരിപ്പിക്കുന്നത് വരെയുള്ള മുഴുവൻ ശ്രേണിയിലെയും ഉപയോക്തൃ പിശകുകൾ ഇതാ.

5. ഒരു പ്രത്യേക ക്ലാസായി വേർതിരിച്ചിരിക്കുന്നു:

a) “സെപ്പറേറ്ററിൻ്റെ ചുമതല,” അതായത്, സ്‌പെയ്‌സും “:” (ഞങ്ങളുടെ കാര്യത്തിൽ) അത് തനിപ്പകർപ്പാക്കിയപ്പോൾ;
ബി) ഒരുമിച്ച് എഴുതിയ വാക്കുകൾ;
c) സേവന പ്രതീകങ്ങൾക്ക് ശേഷം ഇടമില്ല
d) സമമിതിയിൽ ഒന്നിലധികം ചിഹ്നങ്ങൾ: (), "", "...".

ചിത്രം 5-ൽ അവതരിപ്പിച്ചിരിക്കുന്ന ഡാറ്റാബേസ് പിശകുകളുടെ വ്യവസ്ഥാപിതവൽക്കരണത്തോടൊപ്പം, പിശകുകൾക്കായി തിരയുന്നതിനും ഈ ഉദാഹരണത്തിനായി ഒരു ഡാറ്റ ക്ലീനിംഗ് അൽഗോരിതം വികസിപ്പിക്കുന്നതിനുമായി വളരെ ഫലപ്രദമായ കോർഡിനേറ്റ് സിസ്റ്റം രൂപീകരിക്കുന്നു.

അരി. 5. ഡാറ്റാബേസിൻ്റെ ഘടനാപരമായ യൂണിറ്റുകളുമായി ബന്ധപ്പെട്ട സാധാരണ പിശകുകൾ (ഉറവിടം: ഒറെഷ്കോവ് വി.ഐ., പാക്ലിൻ എൻ.ബി. "ഡാറ്റ ഏകീകരണത്തിൻ്റെ പ്രധാന ആശയങ്ങൾ").

കൃത്യത, ഡൊമെയ്ൻ സമഗ്രത, ഡാറ്റ തരം, സ്ഥിരത, ആവർത്തനം, പൂർണ്ണത, തനിപ്പകർപ്പ്, ബിസിനസ്സ് നിയമങ്ങൾ പാലിക്കൽ, ഘടനാപരമായ നിർവചനം, ഡാറ്റ അപാകത, വ്യക്തത, സമയബന്ധിതമായ, ഡാറ്റ സമഗ്രത നിയമങ്ങൾ പാലിക്കൽ. (പേജ് 334. ഐടി പ്രൊഫഷണലുകൾക്കുള്ള ഡാറ്റ വെയർഹൗസിംഗ് അടിസ്ഥാനങ്ങൾ / പോൾരാജ് പൊന്നയ്യ.-2nd എഡി.)

ബ്രാക്കറ്റിൽ ഇംഗ്ലീഷ് പദങ്ങളും റഷ്യൻ മെഷീൻ പരിഭാഷയും അവതരിപ്പിച്ചു.

കൃത്യത. ഒരു ഡാറ്റ ഘടകത്തിനായുള്ള സിസ്റ്റത്തിൽ സംഭരിച്ചിരിക്കുന്ന മൂല്യം ഡാറ്റാ മൂലകത്തിൻ്റെ ആ സംഭവത്തിന് ശരിയായ മൂല്യമാണ്. നിങ്ങൾക്ക് ഒരു ഉപഭോക്താവിൻ്റെ പേരും ഒരു രേഖയിൽ ഒരു വിലാസവും ഉണ്ടെങ്കിൽ, ആ പേരുള്ള ഉപഭോക്താവിൻ്റെ വിലാസമാണ് ശരിയായ വിലാസം. ഓർഡർ നമ്പർ 1000-ൻ്റെ റെക്കോർഡിൽ 12345678 യൂണിറ്റുകളായി ഓർഡർ ചെയ്ത അളവ് നിങ്ങൾ കണ്ടെത്തുകയാണെങ്കിൽ, ആ അളവാണ് ആ ഓർഡറിൻ്റെ കൃത്യമായ അളവ്.
[കൃത്യത. ഒരു ഡാറ്റ ഘടകത്തിനായുള്ള സിസ്റ്റത്തിൽ സംഭരിച്ചിരിക്കുന്ന മൂല്യം ഡാറ്റാ മൂലകത്തിൻ്റെ ആ സംഭവത്തിൻ്റെ ശരിയായ മൂല്യമാണ്. നിങ്ങൾക്ക് ഒരു ഉപഭോക്താവിൻ്റെ പേരും വിലാസവും ഒരു രേഖയിൽ സംഭരിച്ചിട്ടുണ്ടെങ്കിൽ, ആ പേരുള്ള ഉപഭോക്താവിൻ്റെ വിലാസമാണ് ശരിയായ വിലാസം. ഓർഡർ നമ്പർ 1000-ൻ്റെ റെക്കോർഡിൽ 12345678 യൂണിറ്റുകളായി ഓർഡർ ചെയ്‌ത അളവ് നിങ്ങൾ കണ്ടെത്തുകയാണെങ്കിൽ, ആ അളവാണ് ആ ഓർഡറിൻ്റെ കൃത്യമായ അളവ്.]

ഡൊമെയ്ൻ സമഗ്രത. ഒരു ആട്രിബ്യൂട്ടിൻ്റെ ഡാറ്റ മൂല്യം അനുവദനീയവും നിർവചിക്കപ്പെട്ടതുമായ മൂല്യങ്ങളുടെ പരിധിയിലാണ്. ലിംഗ ഡാറ്റ ഘടകത്തിന് അനുവദനീയമായ മൂല്യങ്ങൾ "പുരുഷൻ", "സ്ത്രീ" എന്നിവയാണ് സാധാരണ ഉദാഹരണം.
[ഡൊമെയ്ൻ സമഗ്രത. ആട്രിബ്യൂട്ട് ഡാറ്റ മൂല്യം സാധുവായ, നിർവചിച്ച മൂല്യങ്ങളുടെ പരിധിയിൽ വരുന്നു. ഒരു ലിംഗ ഡാറ്റ ഘടകത്തിൻ്റെ സാധുവായ മൂല്യങ്ങളായ "പുരുഷൻ", "സ്ത്രീ" എന്നിവയാണ് ഒരു പൊതു ഉദാഹരണം.]

ഡാറ്റ തരം. ഒരു ഡാറ്റ ആട്രിബ്യൂട്ടിനുള്ള മൂല്യം യഥാർത്ഥത്തിൽ ആ ആട്രിബ്യൂട്ടിനായി നിർവചിച്ചിരിക്കുന്ന ഡാറ്റാ തരത്തിലാണ് സംഭരിക്കുന്നത്. സ്‌റ്റോർ നെയിം ഫീൽഡിൻ്റെ ഡാറ്റ തരം “ടെക്‌സ്റ്റ്” എന്ന് നിർവചിക്കുമ്പോൾ, ആ ഫീൽഡിൻ്റെ എല്ലാ സന്ദർഭങ്ങളിലും ടെക്‌സ്‌റ്റ് ഫോർമാറ്റിൽ കാണിച്ചിരിക്കുന്ന സ്‌റ്റോറിൻ്റെ പേര് അടങ്ങിയിരിക്കുന്നു, അല്ലാതെ സംഖ്യാ കോഡുകളല്ല.
[ഡാറ്റ തരം. ഒരു ഡാറ്റ ആട്രിബ്യൂട്ടിൻ്റെ മൂല്യം യഥാർത്ഥത്തിൽ ആ ആട്രിബ്യൂട്ടിനായി നിർവചിച്ചിരിക്കുന്ന ഡാറ്റാ തരമായി സംഭരിച്ചിരിക്കുന്നു. സ്റ്റോർ നെയിം ഫീൽഡ് ഡാറ്റ തരം "ടെക്സ്റ്റ്" ആയി നിർവചിച്ചിട്ടുണ്ടെങ്കിൽ, ഈ ഫീൽഡിൻ്റെ എല്ലാ സന്ദർഭങ്ങളിലും സംഖ്യാ കോഡുകൾക്ക് പകരം ടെക്സ്റ്റ് ഫോർമാറ്റിൽ പ്രദർശിപ്പിക്കുന്ന സ്റ്റോറിൻ്റെ പേര് അടങ്ങിയിരിക്കുന്നു.]

സ്ഥിരത. ഒരു ഡാറ്റാ ഫീൽഡിൻ്റെ രൂപവും ഉള്ളടക്കവും ഒന്നിലധികം സോഴ്സ് സിസ്റ്റങ്ങളിലുടനീളം സമാനമാണ്. ഒരു സിസ്റ്റത്തിലെ ഉൽപ്പന്ന എബിസിയുടെ ഉൽപ്പന്ന കോഡ് 1234 ആണെങ്കിൽ, എല്ലാ ഉറവിട സിസ്റ്റത്തിലും ഈ ഉൽപ്പന്നത്തിൻ്റെ കോഡ് 1234 ആണ്.
[സ്ഥിരത. ഡാറ്റാ ഫീൽഡിൻ്റെ രൂപവും ഉള്ളടക്കവും വ്യത്യസ്ത ഉറവിട സിസ്റ്റങ്ങളിൽ സമാനമാണ്. ഒരു സിസ്റ്റത്തിലെ ഉൽപ്പന്ന എബിസിയുടെ ഉൽപ്പന്ന കോഡ് 1234 ആണെങ്കിൽ, ഓരോ സോഴ്സ് സിസ്റ്റത്തിലും ആ ഉൽപ്പന്നത്തിൻ്റെ കോഡ് 1234 ആണ്.]

ആവർത്തനം. ഒരേ ഡാറ്റ ഒരു സിസ്റ്റത്തിൽ ഒന്നിലധികം സ്ഥലങ്ങളിൽ സൂക്ഷിക്കാൻ പാടില്ല. കാര്യക്ഷമതയുടെ കാരണങ്ങളാൽ, ഒരു സിസ്റ്റത്തിൽ ഒന്നിലധികം സ്ഥലങ്ങളിൽ ഒരു ഡാറ്റ ഘടകം മനഃപൂർവ്വം സംഭരിച്ചിട്ടുണ്ടെങ്കിൽ, ആവർത്തനം വ്യക്തമായി തിരിച്ചറിയുകയും പരിശോധിച്ചുറപ്പിക്കുകയും വേണം.
[ആവർത്തനം. ഒരേ ഡാറ്റ സിസ്റ്റത്തിൽ ഒന്നിൽ കൂടുതൽ സ്ഥലങ്ങളിൽ സൂക്ഷിക്കാൻ പാടില്ല. കാര്യക്ഷമതയുടെ കാരണങ്ങളാൽ, ഒരു സിസ്റ്റത്തിലെ ഒന്നിലധികം സ്ഥലങ്ങളിൽ ഒരു ഡാറ്റാ ഘടകം മനഃപൂർവ്വം സംഭരിച്ചിട്ടുണ്ടെങ്കിൽ, ആവർത്തനം വ്യക്തമായി നിർവചിക്കുകയും സ്ഥിരീകരിക്കുകയും വേണം.]

പൂർണ്ണത. സിസ്റ്റത്തിൽ നൽകിയിരിക്കുന്ന ആട്രിബ്യൂട്ടിന് നഷ്‌ടമായ മൂല്യങ്ങളൊന്നുമില്ല. ഉദാഹരണത്തിന്, ഒരു ഉപഭോക്തൃ ഫയലിൽ, ഓരോ ഉപഭോക്താവിനും "സ്റ്റേറ്റ്" ഫീൽഡിന് സാധുവായ ഒരു മൂല്യം ഉണ്ടായിരിക്കണം. ഓർഡർ വിശദാംശങ്ങൾക്കായുള്ള ഫയലിൽ, ഒരു ഓർഡറിൻ്റെ എല്ലാ വിശദാംശ രേഖകളും പൂർണ്ണമായും പൂരിപ്പിക്കണം.
[പൂർണ്ണത. ഈ ആട്രിബ്യൂട്ടിനായി സിസ്റ്റത്തിൽ നഷ്‌ടമായ മൂല്യങ്ങളൊന്നുമില്ല. ഉദാഹരണത്തിന്, ക്ലയൻ്റ് ഫയലിന് ഓരോ ക്ലയൻ്റിനുമുള്ള "സ്റ്റാറ്റസ്" ഫീൽഡിന് സാധുവായ ഒരു മൂല്യം ഉണ്ടായിരിക്കണം. ഓർഡർ വിശദാംശ ഫയലിൽ, ഓരോ ഓർഡർ വിശദാംശ രേഖയും പൂർണ്ണമായും പൂർത്തിയാക്കിയിരിക്കണം.]

ഡ്യൂപ്ലിക്കേഷൻ. ഒരു സിസ്റ്റത്തിലെ രേഖകളുടെ തനിപ്പകർപ്പ് പൂർണ്ണമായും പരിഹരിച്ചു. ഉൽപ്പന്ന ഫയലിന് ഡ്യൂപ്ലിക്കേറ്റ് റെക്കോർഡുകൾ ഉണ്ടെന്ന് അറിയാമെങ്കിൽ, ഓരോ ഉൽപ്പന്നത്തിൻ്റെയും എല്ലാ തനിപ്പകർപ്പ് റെക്കോർഡുകളും തിരിച്ചറിയുകയും ഒരു ക്രോസ്-റഫറൻസ് സൃഷ്ടിക്കുകയും ചെയ്യുന്നു.
[ഡ്യൂപ്ലിക്കേറ്റ്. സിസ്റ്റത്തിലെ രേഖകളുടെ തനിപ്പകർപ്പ് പൂർണ്ണമായും ഒഴിവാക്കി. ഒരു ഉൽപ്പന്ന ഫയലിൽ തനിപ്പകർപ്പ് എൻട്രികൾ ഉണ്ടെന്ന് അറിയാമെങ്കിൽ, ഓരോ ഉൽപ്പന്നത്തിനുമുള്ള എല്ലാ ഡ്യൂപ്ലിക്കേറ്റ് എൻട്രികളും തിരിച്ചറിയുകയും ഒരു ക്രോസ്-റഫറൻസ് സൃഷ്ടിക്കുകയും ചെയ്യുന്നു.]

ബിസിനസ്സ് നിയമങ്ങൾ പാലിക്കൽ. ഓരോ ഡാറ്റ ഇനത്തിൻ്റെയും മൂല്യങ്ങൾ നിർദ്ദിഷ്ട ബിസിനസ്സ് നിയമങ്ങൾ പാലിക്കുന്നു. ഒരു ലേല സമ്പ്രദായത്തിൽ, ചുറ്റിക അല്ലെങ്കിൽ വിൽപ്പന വില കരുതൽ വിലയേക്കാൾ കുറവായിരിക്കരുത്. ഒരു ബാങ്ക് വായ്പാ സംവിധാനത്തിൽ, ലോൺ ബാലൻസ് എല്ലായ്പ്പോഴും പോസിറ്റീവ് അല്ലെങ്കിൽ പൂജ്യം ആയിരിക്കണം.
[ബിസിനസ്സ് നിയമങ്ങൾ പാലിക്കൽ. ഓരോ ഡാറ്റ ഘടകത്തിൻ്റെയും മൂല്യങ്ങൾ സ്ഥാപിത ബിസിനസ്സ് നിയമങ്ങൾക്ക് അനുസൃതമാണ്. ഒരു ലേല സമ്പ്രദായത്തിൽ, ചുറ്റിക അല്ലെങ്കിൽ വിൽപ്പന വില കരുതൽ വിലയേക്കാൾ കുറവായിരിക്കരുത്. ഒരു ബാങ്കിംഗ് ക്രെഡിറ്റ് സിസ്റ്റത്തിൽ, ലോൺ ബാലൻസ് എപ്പോഴും പോസിറ്റീവോ പൂജ്യമോ ആയിരിക്കണം.]

ഘടനാപരമായ നിർവചനം. ഒരു ഡാറ്റാ ഇനം സ്വാഭാവികമായും വ്യക്തിഗത ഘടകങ്ങളായി ക്രമീകരിക്കാൻ കഴിയുന്നിടത്തെല്ലാം, ഇനത്തിൽ ഈ നന്നായി നിർവചിക്കപ്പെട്ട ഘടന അടങ്ങിയിരിക്കണം. ഉദാഹരണത്തിന്, ഒരു വ്യക്തിയുടെ പേര് സ്വാഭാവികമായും ആദ്യനാമം, മധ്യഭാഗം, അവസാന നാമം എന്നിങ്ങനെ വിഭജിക്കുന്നു. വ്യക്തികളുടെ പേരുകൾക്കുള്ള മൂല്യങ്ങൾ ആദ്യനാമം, മധ്യഭാഗം, അവസാന നാമം എന്നിങ്ങനെ സംഭരിച്ചിരിക്കണം. ഡാറ്റ ഗുണനിലവാരത്തിൻ്റെ ഈ സ്വഭാവം മാനദണ്ഡങ്ങൾ നടപ്പിലാക്കുന്നത് ലളിതമാക്കുകയും നഷ്‌ടമായ മൂല്യങ്ങൾ കുറയ്ക്കുകയും ചെയ്യുന്നു.
[ഘടനാപരമായ ഉറപ്പ്. ഒരു ഡാറ്റാ ഘടകം സ്വാഭാവികമായും വ്യക്തിഗത ഘടകങ്ങളായി രൂപപ്പെടുത്താൻ കഴിയുന്നിടത്ത്, ഘടകത്തിൽ ഈ നന്നായി നിർവചിക്കപ്പെട്ട ഘടന അടങ്ങിയിരിക്കണം. ഉദാഹരണത്തിന്, ഒരു വ്യക്തിയുടെ പേര് സ്വാഭാവികമായും ആദ്യനാമം, മധ്യഭാഗം, അവസാന നാമം എന്നിങ്ങനെ തിരിച്ചിരിക്കുന്നു. വ്യക്തിഗത പേരുകൾക്കുള്ള മൂല്യങ്ങൾ ആദ്യനാമം, മധ്യഭാഗം, അവസാന നാമം എന്നിങ്ങനെ സൂക്ഷിക്കണം. ഈ ഡാറ്റ ഗുണനിലവാര സ്വഭാവം മാനദണ്ഡങ്ങളുടെ പ്രയോഗത്തെ ലളിതമാക്കുകയും നഷ്‌ടമായ മൂല്യങ്ങൾ കുറയ്ക്കുകയും ചെയ്യുന്നു.]

ഡാറ്റ അപാകത. ഒരു ഫീൽഡ് അത് നിർവചിച്ചിരിക്കുന്ന ഉദ്ദേശ്യത്തിനായി മാത്രമേ ഉപയോഗിക്കാവൂ. ദൈർഘ്യമേറിയ വിലാസങ്ങൾക്കായി സാധ്യമായ ഏതെങ്കിലും മൂന്നാം വരി വിലാസത്തിനായി ഫീൽഡ് വിലാസം-3 നിർവചിച്ചിട്ടുണ്ടെങ്കിൽ, ഈ ഫീൽഡ് വിലാസത്തിൻ്റെ മൂന്നാമത്തെ വരി രേഖപ്പെടുത്താൻ മാത്രമേ ഉപയോഗിക്കാവൂ. ഉപഭോക്താവിന് ഫോണോ ഫാക്സ് നമ്പറോ നൽകുന്നതിന് ഇത് ഉപയോഗിക്കരുത്.
[ഡാറ്റ അനോമലി. ഒരു ഫീൽഡ് അത് നിർവചിച്ചിരിക്കുന്ന ആവശ്യത്തിന് മാത്രമേ ഉപയോഗിക്കാവൂ. ദൈർഘ്യമേറിയ വിലാസങ്ങൾക്കായി സാധ്യമായ ഏതെങ്കിലും മൂന്നാം വിലാസ ലൈനിനായി വിലാസം-3 ഫീൽഡ് നിർവചിച്ചിട്ടുണ്ടെങ്കിൽ, ഈ ഫീൽഡ് മൂന്നാമത്തെ വിലാസ ലൈൻ രേഖപ്പെടുത്താൻ മാത്രമേ ഉപയോഗിക്കൂ. ഒരു ഉപഭോക്താവിനായി ഒരു ടെലിഫോൺ അല്ലെങ്കിൽ ഫാക്സ് നമ്പർ നൽകാൻ ഇത് ഉപയോഗിക്കരുത്.]

വ്യക്തത. ഒരു ഡാറ്റാ ഘടകത്തിന് ഗുണമേന്മയുള്ള ഡാറ്റയുടെ മറ്റെല്ലാ സ്വഭാവസവിശേഷതകളും ഉണ്ടായിരിക്കാം, എന്നാൽ ഉപയോക്താക്കൾക്ക് അതിൻ്റെ അർത്ഥം വ്യക്തമായി മനസ്സിലാകുന്നില്ലെങ്കിൽ, ഡാറ്റാ ഘടകം ഉപയോക്താക്കൾക്ക് ഒരു മൂല്യവുമില്ല. ശരിയായ പേരിടൽ കൺവെൻഷനുകൾ ഡാറ്റാ ഘടകങ്ങളെ ഉപയോക്താക്കൾക്ക് നന്നായി മനസ്സിലാക്കാൻ സഹായിക്കുന്നു.
[വ്യക്തത. ഒരു ഡാറ്റാ ഘടകത്തിന് നല്ല ഡാറ്റയുടെ മറ്റെല്ലാ സ്വഭാവസവിശേഷതകളും ഉണ്ടായിരിക്കാം, എന്നാൽ ഉപയോക്താക്കൾക്ക് അതിൻ്റെ അർത്ഥം വ്യക്തമായി മനസ്സിലാകുന്നില്ലെങ്കിൽ, ഡാറ്റാ ഘടകം ഉപയോക്താക്കൾക്ക് ഒരു മൂല്യവുമില്ല. ശരിയായ പേരിടൽ കൺവെൻഷനുകൾ ഡാറ്റാ ഘടകങ്ങളെ ഉപയോക്താക്കൾക്ക് നന്നായി മനസ്സിലാക്കാൻ സഹായിക്കുന്നു.]

സമയബന്ധിതമായി. ഉപയോക്താക്കൾ ഡാറ്റയുടെ സമയപരിധി നിർണ്ണയിക്കുന്നു. ഉപഭോക്തൃ അളവിലുള്ള ഡാറ്റ ഒരു ദിവസത്തിൽ കൂടുതൽ പഴയതായിരിക്കില്ലെന്ന് ഉപയോക്താക്കൾ പ്രതീക്ഷിക്കുന്നുവെങ്കിൽ, ഉറവിട സിസ്റ്റങ്ങളിലെ ഉപഭോക്തൃ ഡാറ്റയിലെ മാറ്റങ്ങൾ ഡാറ്റ വെയർഹൗസിൽ ദിവസവും പ്രയോഗിക്കണം.
[സമയബന്ധിതമായി. ഉപയോക്താക്കൾ ഡാറ്റയുടെ സമയപരിധി നിർണ്ണയിക്കുന്നു. ഉപഭോക്തൃ മാനം ഡാറ്റ ഒരു ദിവസത്തിൽ കൂടുതൽ പഴക്കമുള്ളതായിരിക്കില്ലെന്ന് ഉപയോക്താക്കൾ പ്രതീക്ഷിക്കുന്നുവെങ്കിൽ, ഉറവിട സിസ്റ്റങ്ങളിലെ ഉപഭോക്തൃ ഡാറ്റയിലെ മാറ്റങ്ങൾ ഡാറ്റാ വെയർഹൗസിൽ ദിവസേന പ്രയോഗിക്കണം.]

ഉപയോഗക്ഷമത. ഡാറ്റ വെയർഹൗസിലെ എല്ലാ ഡാറ്റാ ഘടകങ്ങളും ഉപയോക്താക്കളുടെ ശേഖരണത്തിൻ്റെ ചില ആവശ്യകതകൾ നിറവേറ്റണം. ഒരു ഡാറ്റാ ഘടകം കൃത്യവും ഉയർന്ന നിലവാരവുമുള്ളതാകാം, എന്നാൽ അത് ഉപയോക്താക്കൾക്ക് യാതൊരു മൂല്യവുമില്ലെങ്കിൽ, ആ ഡാറ്റാ ഘടകം ഡാറ്റാ വെയർഹൗസിൽ ഉണ്ടായിരിക്കുന്നത് തികച്ചും അനാവശ്യമാണ്.
[യൂട്ടിലിറ്റി. ഡാറ്റ സ്റ്റോറിലെ ഓരോ ഡാറ്റാ ഇനവും ഉപയോക്തൃ ശേഖരണത്തിൻ്റെ ചില ആവശ്യകതകൾ നിറവേറ്റണം. ഒരു ഡാറ്റാ ഘടകം കൃത്യവും ഉയർന്ന നിലവാരവുമുള്ളതാകാം, എന്നാൽ അത് ഉപയോക്താക്കൾക്ക് മൂല്യം നൽകുന്നില്ലെങ്കിൽ, ആ ഡാറ്റാ ഘടകം ഡാറ്റ വെയർഹൗസിൽ ഉണ്ടായിരിക്കേണ്ട ആവശ്യമില്ല.]

ഡാറ്റ സമഗ്രത നിയമങ്ങൾ പാലിക്കൽ. ഉറവിട സിസ്റ്റങ്ങളുടെ റിലേഷണൽ ഡാറ്റാബേസുകളിൽ സംഭരിച്ചിരിക്കുന്ന ഡാറ്റ എൻ്റിറ്റി ഇൻ്റഗ്രിറ്റിയും റഫറൻഷ്യൽ ഇൻ്റഗ്രിറ്റി റൂളുകളും പാലിക്കണം. പ്രാഥമിക കീയായി അസാധുവാക്കാൻ അനുവദിക്കുന്ന ഏതൊരു പട്ടികയ്ക്കും എൻ്റിറ്റി ഇൻ്റഗ്രിറ്റി ഇല്ല. റഫറൻഷ്യൽ സമഗ്രത രക്ഷാകർതൃ-കുട്ടി ബന്ധങ്ങൾ ശരിയായി സ്ഥാപിക്കാൻ പ്രേരിപ്പിക്കുന്നു. ഒരു കസ്റ്റമർ-ടു-ഓർഡർ ബന്ധത്തിൽ, റഫറൻഷ്യൽ ഇൻ്റഗ്രിറ്റി ഡാറ്റാബേസിലെ ഓരോ ഓർഡറിനും ഒരു ഉപഭോക്താവിൻ്റെ അസ്തിത്വം ഉറപ്പാക്കുന്നു.
[ഡാറ്റ സമഗ്രത നിയമങ്ങൾ പാലിക്കൽ. ഉറവിട സിസ്റ്റങ്ങളുടെ റിലേഷണൽ ഡാറ്റാബേസുകളിൽ സംഭരിച്ചിരിക്കുന്ന ഡാറ്റ എൻ്റിറ്റി ഇൻ്റഗ്രിറ്റിയുടെയും റഫറൻഷ്യൽ ഇൻ്റഗ്രിറ്റിയുടെയും നിയമങ്ങൾ പാലിക്കണം. ഒരു പ്രാഥമിക കീ ആയി null അനുവദിക്കുന്ന ഏതൊരു ടേബിളിനും എൻ്റിറ്റി ഇൻ്റഗ്രിറ്റി ഇല്ല. റഫറൻഷ്യൽ സമഗ്രത മാതാപിതാക്കളും കുട്ടികളും തമ്മിലുള്ള ബന്ധം ശരിയായി സ്ഥാപിക്കാൻ പ്രേരിപ്പിക്കുന്നു. ഒരു ഉപഭോക്തൃ-ഓർഡർ ബന്ധത്തിൽ, ഡാറ്റാബേസിലെ എല്ലാ ഓർഡറിനും ഒരു ഉപഭോക്താവ് ഉണ്ടെന്ന് റഫറൻഷ്യൽ ഇൻ്റഗ്രിറ്റി ഉറപ്പാക്കുന്നു.]

4. ഡാറ്റ ക്ലീനിംഗ് ഗുണനിലവാരം

ബിഗ്ഡാറ്റയിൽ ഡാറ്റ ക്ലീനിംഗിൻ്റെ ഗുണനിലവാരം വളരെ പ്രശ്നമുള്ള ഒരു പ്രശ്നമാണ്. ടാസ്‌ക് പൂർത്തിയാക്കാൻ ഏത് അളവിലുള്ള ഡാറ്റ ക്ലീനിംഗ് ആവശ്യമാണ് എന്ന ചോദ്യത്തിന് ഉത്തരം നൽകുന്നത് ഓരോ ഡാറ്റാ അനലിസ്റ്റിനും അടിസ്ഥാനപരമാണ്. നിലവിലുള്ള മിക്ക പ്രശ്‌നങ്ങളിലും, ഓരോ വിശകലന വിദഗ്ദ്ധനും ഇത് സ്വയം നിർണ്ണയിക്കുന്നു, മാത്രമല്ല അവൻ്റെ പരിഹാരത്തിൽ പുറത്തുനിന്നുള്ള ആർക്കും ഈ വശം വിലയിരുത്താൻ സാധ്യതയില്ല. എന്നാൽ ഈ കേസിലെ ചുമതലയ്ക്ക്, ഈ പ്രശ്നം വളരെ പ്രധാനമായിരുന്നു, കാരണം നിയമപരമായ ഡാറ്റയുടെ വിശ്വാസ്യത ഒന്നിലേക്ക് നയിക്കണം.

പ്രവർത്തന വിശ്വാസ്യത നിർണ്ണയിക്കാൻ സോഫ്റ്റ്വെയർ ടെസ്റ്റിംഗ് സാങ്കേതികവിദ്യകൾ പരിഗണിക്കുന്നു. ഇന്ന് ഈ മോഡലുകളേക്കാൾ കൂടുതൽ ഉണ്ട് 200. പല മോഡലുകളും ഒരു ക്ലെയിം സേവന മോഡൽ ഉപയോഗിക്കുന്നു:

ചിത്രം. 6

ഇനിപ്പറയുന്ന രീതിയിൽ ചിന്തിക്കുന്നു: "കണ്ടെത്തിയ പിശക് ഈ മോഡലിലെ പരാജയ സംഭവത്തിന് സമാനമായ ഒരു സംഭവമാണെങ്കിൽ, ടി പാരാമീറ്ററിൻ്റെ അനലോഗ് എങ്ങനെ കണ്ടെത്താം?" ഞാൻ ഇനിപ്പറയുന്ന മോഡൽ സമാഹരിച്ചു: ഒരു റെക്കോർഡ് പരിശോധിക്കാൻ ഒരു ടെസ്റ്റർ എടുക്കുന്ന സമയം 1 മിനിറ്റാണെന്ന് സങ്കൽപ്പിക്കുക (ചോദിച്ച ഡാറ്റാബേസിന്), തുടർന്ന് എല്ലാ പിശകുകളും കണ്ടെത്താൻ അദ്ദേഹത്തിന് 365 മിനിറ്റ് ആവശ്യമാണ്, അത് ഏകദേശം 494 വർഷവും 3 ഉം ആണ്. മാസങ്ങൾ ജോലി സമയം. ഞങ്ങൾ മനസ്സിലാക്കുന്നതുപോലെ, ഇത് വളരെ വലിയ ജോലിയാണ്, കൂടാതെ ഈ ഡാറ്റാബേസിൻ്റെ കംപൈലറിന് ഡാറ്റാബേസ് പരിശോധിക്കുന്നതിനുള്ള ചെലവ് നിരോധിതമായിരിക്കും. ഈ പ്രതിഫലനത്തിൽ, ചെലവുകളുടെ സാമ്പത്തിക ആശയം പ്രത്യക്ഷപ്പെടുന്നു, വിശകലനത്തിന് ശേഷം ഇത് വളരെ ഫലപ്രദമായ ഉപകരണമാണെന്ന് ഞാൻ നിഗമനത്തിലെത്തി. സാമ്പത്തികശാസ്ത്ര നിയമത്തെ അടിസ്ഥാനമാക്കി: “ഒരു സ്ഥാപനത്തിൻ്റെ പരമാവധി ലാഭം കൈവരിക്കുന്ന ഉൽപാദനത്തിൻ്റെ അളവ് (യൂണിറ്റുകളിൽ) സ്ഥിതിചെയ്യുന്നത്, ഒരു പുതിയ യൂണിറ്റ് ഉൽപാദനത്തിൻ്റെ നാമമാത്ര ചെലവ് ഈ സ്ഥാപനത്തിന് ലഭിക്കാവുന്ന വിലയുമായി താരതമ്യപ്പെടുത്തുന്ന ഘട്ടത്തിലാണ്. ഒരു പുതിയ യൂണിറ്റിനായി." ഓരോ തുടർന്നുള്ള പിശകുകളും കണ്ടെത്തുന്നതിന് കൂടുതൽ കൂടുതൽ രേഖകൾ പരിശോധിക്കേണ്ടതുണ്ടെന്ന പോസ്റ്റുലേറ്റിനെ അടിസ്ഥാനമാക്കി, ഇത് ഒരു ചെലവ് ഘടകമാണ്. അതായത്, ടെസ്റ്റിംഗ് മോഡലുകളിൽ സ്വീകരിച്ച പോസ്റ്റുലേറ്റ് ഇനിപ്പറയുന്ന പാറ്റേണിൽ ഒരു ഭൗതിക അർത്ഥം എടുക്കുന്നു: i-th പിശക് കണ്ടെത്താൻ n റെക്കോർഡുകൾ പരിശോധിക്കേണ്ടത് ആവശ്യമാണ്, തുടർന്ന് അടുത്ത (i+3) പിശക് കണ്ടെത്താൻ അത് ആവശ്യമാണ്. m രേഖകൾ പരിശോധിക്കുന്നതിനും അതേ സമയം n

1. ഒരു പുതിയ പിശക് കണ്ടെത്തുന്നതിന് മുമ്പ് പരിശോധിച്ച റെക്കോർഡുകളുടെ എണ്ണം സ്ഥിരത കൈവരിക്കുമ്പോൾ;
2. അടുത്ത പിശക് കണ്ടെത്തുന്നതിന് മുമ്പ് പരിശോധിച്ച റെക്കോർഡുകളുടെ എണ്ണം വർദ്ധിക്കും.

നിർണായക മൂല്യം നിർണ്ണയിക്കാൻ, ഞാൻ സാമ്പത്തിക സാധ്യത എന്ന ആശയത്തിലേക്ക് തിരിഞ്ഞു, ഈ സാഹചര്യത്തിൽ, സാമൂഹിക ചെലവുകൾ എന്ന ആശയം ഉപയോഗിച്ച്, ഇനിപ്പറയുന്ന രീതിയിൽ രൂപപ്പെടുത്താം: “പിശക് തിരുത്താനുള്ള ചെലവ് ചെയ്യാൻ കഴിയുന്ന സാമ്പത്തിക ഏജൻ്റ് വഹിക്കണം. ഏറ്റവും കുറഞ്ഞ ചിലവിൽ." ഞങ്ങൾക്ക് ഒരു ഏജൻ്റ് ഉണ്ട് - ഒരു റെക്കോർഡ് പരിശോധിക്കാൻ 1 മിനിറ്റ് ചെലവഴിക്കുന്ന ഒരു ടെസ്റ്റർ. പണത്തിൻ്റെ അടിസ്ഥാനത്തിൽ, നിങ്ങൾ 6000 റൂബിൾസ് / ദിവസം സമ്പാദിച്ചാൽ, ഇത് 12,2 റൂബിൾ ആയിരിക്കും. (ഏകദേശം ഇന്ന്). സാമ്പത്തിക നിയമത്തിലെ സന്തുലിതാവസ്ഥയുടെ രണ്ടാം വശം നിർണ്ണയിക്കാൻ ഇത് അവശേഷിക്കുന്നു. ഞാൻ ഇങ്ങനെ ന്യായീകരിച്ചു. നിലവിലുള്ള ഒരു പിശക്, അത് ശരിയാക്കാൻ ബന്ധപ്പെട്ട വ്യക്തി, അതായത് വസ്തുവിൻ്റെ ഉടമസ്ഥൻ പരിശ്രമിക്കേണ്ടതുണ്ട്. ഇതിന് 1 ദിവസത്തെ പ്രവർത്തനം ആവശ്യമാണെന്ന് പറയാം (ഒരു അപേക്ഷ സമർപ്പിക്കുക, തിരുത്തിയ രേഖ സ്വീകരിക്കുക). അപ്പോൾ, ഒരു സാമൂഹിക വീക്ഷണകോണിൽ, അവൻ്റെ ചെലവ് ഒരു ദിവസത്തെ ശരാശരി ശമ്പളത്തിന് തുല്യമായിരിക്കും. ഖാന്തി-മാൻസി ഓട്ടോണമസ് ഒക്രുഗിൽ നേടിയ ശരാശരി ശമ്പളം "2019 ജനുവരി-സെപ്റ്റംബർ മാസങ്ങളിലെ ഖാന്തി-മാൻസിസ്‌ക് ഓട്ടോണമസ് ഒക്രഗിൻ്റെ സാമൂഹിക-സാമ്പത്തിക വികസനത്തിൻ്റെ ഫലങ്ങൾ" 73285 തടവുക. അല്ലെങ്കിൽ 3053,542 റൂബിൾസ് / ദിവസം. അതനുസരിച്ച്, ഇതിന് തുല്യമായ ഒരു നിർണായക മൂല്യം ഞങ്ങൾക്ക് ലഭിക്കും:
3053,542: 12,2 = 250,4 യൂണിറ്റ് റെക്കോർഡുകൾ.

ഇതിനർത്ഥം, ഒരു സാമൂഹിക വീക്ഷണകോണിൽ, ഒരു ടെസ്റ്റർ 251 റെക്കോർഡുകൾ പരിശോധിച്ച് ഒരു പിശക് കണ്ടെത്തിയാൽ, അത് ഉപയോക്താവ് തന്നെ ഈ പിശക് പരിഹരിക്കുന്നതിന് തുല്യമാണ്. അതനുസരിച്ച്, അടുത്ത പിശക് കണ്ടെത്തുന്നതിന് ടെസ്റ്റർ 252 റെക്കോർഡുകൾ പരിശോധിക്കുന്നതിന് തുല്യമായ സമയം ചെലവഴിച്ചെങ്കിൽ, ഈ സാഹചര്യത്തിൽ തിരുത്തൽ ചെലവ് ഉപയോക്താവിന് മാറ്റുന്നതാണ് നല്ലത്.

ലളിതമായ ഒരു സമീപനം ഇവിടെ അവതരിപ്പിച്ചിരിക്കുന്നു, കാരണം ഒരു സാമൂഹിക വീക്ഷണകോണിൽ നിന്ന് ഓരോ സ്പെഷ്യലിസ്റ്റും സൃഷ്ടിക്കുന്ന എല്ലാ അധിക മൂല്യങ്ങളും കണക്കിലെടുക്കേണ്ടത് ആവശ്യമാണ്, അതായത്, നികുതികളും സാമൂഹിക പേയ്‌മെൻ്റുകളും കണക്കിലെടുക്കുന്ന ചെലവുകൾ, എന്നാൽ മോഡൽ വ്യക്തമാണ്. ഈ ബന്ധത്തിൻ്റെ അനന്തരഫലമാണ് സ്പെഷ്യലിസ്റ്റുകൾക്ക് ഇനിപ്പറയുന്ന ആവശ്യകതകൾ: ഐടി വ്യവസായത്തിൽ നിന്നുള്ള ഒരു സ്പെഷ്യലിസ്റ്റിന് ദേശീയ ശരാശരിയേക്കാൾ വലിയ ശമ്പളം ഉണ്ടായിരിക്കണം. അവൻ്റെ ശമ്പളം സാധ്യതയുള്ള ഡാറ്റാബേസ് ഉപയോക്താക്കളുടെ ശരാശരി ശമ്പളത്തേക്കാൾ കുറവാണെങ്കിൽ, അവൻ തന്നെ മുഴുവൻ ഡാറ്റാബേസും കൈകൊണ്ട് പരിശോധിക്കണം.

വിവരിച്ച മാനദണ്ഡം ഉപയോഗിക്കുമ്പോൾ, ഡാറ്റാബേസിൻ്റെ ഗുണനിലവാരത്തിനുള്ള ആദ്യ ആവശ്യകത രൂപപ്പെടുന്നു:
I(tr). ഗുരുതരമായ പിശകുകളുടെ പങ്ക് 1/250,4 = 0,39938% കവിയാൻ പാടില്ല. എന്നതിനേക്കാൾ അല്പം കുറവ് ശുദ്ധീകരിക്കുന്നു വ്യവസായത്തിൽ സ്വർണ്ണം. ഫിസിക്കൽ പദങ്ങളിൽ പിശകുകളുള്ള 1459-ൽ കൂടുതൽ റെക്കോർഡുകളൊന്നുമില്ല.

സാമ്പത്തിക പിന്മാറ്റം.

വാസ്തവത്തിൽ, രേഖകളിൽ അത്തരം നിരവധി പിശകുകൾ വരുത്തുന്നതിലൂടെ, സമൂഹം സാമ്പത്തിക നഷ്ടത്തിന് സമ്മതിക്കുന്നു:

1459 * 3053,542 = 4 റൂബിൾസ്.

ഈ ചെലവുകൾ കുറയ്ക്കുന്നതിനുള്ള ഉപകരണങ്ങൾ സമൂഹത്തിൻ്റെ പക്കലില്ല എന്ന വസ്തുതയാണ് ഈ തുക നിശ്ചയിക്കുന്നത്. പിശകുകളുള്ള റെക്കോർഡുകളുടെ എണ്ണം കുറയ്ക്കാൻ അനുവദിക്കുന്ന ഒരു സാങ്കേതികവിദ്യ ആർക്കെങ്കിലും ഉണ്ടെങ്കിൽ, ഉദാഹരണത്തിന്, 259, ഇത് സമൂഹത്തെ സംരക്ഷിക്കാൻ അനുവദിക്കും:
1200 * 3053,542 = 3 റൂബിൾസ്.

എന്നാൽ അതേ സമയം, അയാൾക്ക് അവൻ്റെ കഴിവും ജോലിയും ആവശ്യപ്പെടാം, ശരി, നമുക്ക് പറയാം - 1 ദശലക്ഷം റൂബിൾസ്.
അതായത്, സാമൂഹിക ചെലവുകൾ കുറയ്ക്കുന്നു:

3 - 664 = 250 റൂബിൾസ്.

സാരാംശത്തിൽ, ബിഗ്ഡാറ്റ് സാങ്കേതികവിദ്യകളുടെ ഉപയോഗത്തിൽ നിന്നുള്ള അധിക മൂല്യമാണ് ഈ പ്രഭാവം.

എന്നാൽ ഇവിടെ ഇത് ഒരു സാമൂഹിക ഫലമാണെന്നും ഡാറ്റാബേസിൻ്റെ ഉടമ മുനിസിപ്പൽ അധികാരികളാണെന്നും കണക്കിലെടുക്കണം, ഈ ഡാറ്റാബേസിൽ രേഖപ്പെടുത്തിയിരിക്കുന്ന വസ്തുവിൻ്റെ ഉപയോഗത്തിൽ നിന്നുള്ള അവരുടെ വരുമാനം 0,3% നിരക്കിൽ: 2,778 ബില്യൺ റൂബിൾസ്/ വർഷം. ഈ ചെലവുകൾ (4 റൂബിൾസ്) അവനെ കൂടുതൽ ബുദ്ധിമുട്ടിക്കുന്നില്ല, കാരണം അവ പ്രോപ്പർട്ടി ഉടമകൾക്ക് കൈമാറുന്നു. കൂടാതെ, ഈ വശത്ത്, ബിഗ്ഡാറ്റയിലെ കൂടുതൽ പരിഷ്ക്കരണ സാങ്കേതികവിദ്യകളുടെ ഡെവലപ്പർ ഈ ഡാറ്റാബേസിൻ്റെ ഉടമയെ ബോധ്യപ്പെടുത്താനുള്ള കഴിവ് കാണിക്കേണ്ടതുണ്ട്, അത്തരം കാര്യങ്ങൾക്ക് ഗണ്യമായ കഴിവുകൾ ആവശ്യമാണ്.

ഈ ഉദാഹരണത്തിൽ, വിശ്വാസ്യത പരിശോധനയ്ക്കിടെ സോഫ്‌റ്റ്‌വെയർ സ്ഥിരീകരണത്തിൻ്റെ ഷൂമാൻ മോഡൽ [2] അടിസ്ഥാനമാക്കിയാണ് പിശക് വിലയിരുത്തൽ അൽഗോരിതം തിരഞ്ഞെടുത്തത്. ഇൻ്റർനെറ്റിൽ അതിൻ്റെ വ്യാപനവും ആവശ്യമായ സ്റ്റാറ്റിസ്റ്റിക്കൽ സൂചകങ്ങൾ നേടാനുള്ള കഴിവും കാരണം. രീതിശാസ്ത്രം മൊനഖോവ് യു.എം. "വിവര സംവിധാനങ്ങളുടെ പ്രവർത്തനപരമായ സ്ഥിരത", ചിത്രത്തിൽ സ്‌പോയിലറിന് കീഴിൽ കാണുക. 7-9.

അരി. 7 - 9 ഷൂമാൻ മാതൃകയുടെ രീതിശാസ്ത്രം





ഈ മെറ്റീരിയലിൻ്റെ രണ്ടാം ഭാഗം ഡാറ്റ ക്ലീനിംഗിൻ്റെ ഒരു ഉദാഹരണം അവതരിപ്പിക്കുന്നു, അതിൽ ഷൂമാൻ മോഡൽ ഉപയോഗിക്കുന്നതിൻ്റെ ഫലങ്ങൾ ലഭിക്കും.
ലഭിച്ച ഫലങ്ങൾ ഞാൻ അവതരിപ്പിക്കട്ടെ:
കണക്കാക്കിയ പിശകുകളുടെ എണ്ണം N = 3167 n.
പാരാമീറ്റർ സി, ലാംഡ, വിശ്വാസ്യത പ്രവർത്തനം:

ചിത്രം

അടിസ്ഥാനപരമായി, ഓരോ ഘട്ടത്തിലും പിശകുകൾ കണ്ടെത്തുന്നതിൻ്റെ തീവ്രതയുടെ യഥാർത്ഥ സൂചകമാണ് ലാംഡ. നിങ്ങൾ രണ്ടാം ഭാഗം നോക്കുകയാണെങ്കിൽ, ഈ സൂചകത്തിൻ്റെ എസ്റ്റിമേറ്റ് മണിക്കൂറിൽ 42,4 പിശകുകളാണ്, ഇത് ഷുമാൻ സൂചകവുമായി താരതമ്യപ്പെടുത്താവുന്നതാണ്. മുകളിൽ, മിനിറ്റിൽ 1 റെക്കോർഡ് പരിശോധിക്കുമ്പോൾ, ഡവലപ്പർമാർ പിശകുകൾ കണ്ടെത്തുന്ന നിരക്ക് 250,4 റെക്കോർഡുകളിൽ 1 പിശകിൽ കുറവായിരിക്കരുത് എന്ന് നിർണ്ണയിച്ചു. അതിനാൽ ഷുമാൻ മോഡലിന് ലാംഡയുടെ നിർണായക മൂല്യം:

60/250,4 = 0,239617.

അതായത്, ലാംഡ നിലവിലുള്ള 38,964 ൽ നിന്ന് 0,239617 ആയി കുറയുന്നത് വരെ പിശക് കണ്ടെത്തൽ നടപടിക്രമങ്ങൾ നടത്തേണ്ടതിന്റെ ആവശ്യകത നടപ്പിലാക്കണം.

അല്ലെങ്കിൽ സൂചകം N (പിശകുകളുടെ സാധ്യതയുള്ള എണ്ണം) മൈനസ് n (തിരുത്തപ്പെട്ട പിശകുകളുടെ എണ്ണം) ഞങ്ങളുടെ അംഗീകരിച്ച പരിധിക്ക് താഴെയായി കുറയുന്നത് വരെ - 1459 pcs.

സാഹിത്യം

1. മൊണാഖോവ്, യു.എം. വിവര സംവിധാനങ്ങളുടെ പ്രവർത്തനപരമായ സ്ഥിരത. 3 മണിക്കൂറിനുള്ളിൽ. ഭാഗം 1. സോഫ്റ്റ്‌വെയർ വിശ്വാസ്യത: പാഠപുസ്തകം. അലവൻസ് / യു.എം. മൊനഖോവ്; വ്ലാഡിം. സംസ്ഥാനം സർവകലാശാല. - വ്ലാഡിമിർ: ഇസ്വോ വ്ലാഡിം. സംസ്ഥാനം യൂണിവേഴ്സിറ്റി, 2011. - 60 പേ. – ISBN 978-5-9984-0189-3.
2. മാർട്ടിൻ എൽ. ഷൂമാൻ, "സോഫ്റ്റ്‌വെയർ വിശ്വാസ്യത പ്രവചനത്തിനായുള്ള പ്രോബബിലിസ്റ്റിക് മോഡലുകൾ."
3. ഐടി പ്രൊഫഷണലുകൾക്കുള്ള ഡാറ്റ വെയർഹൗസിംഗ് അടിസ്ഥാനകാര്യങ്ങൾ / പോൾരാജ് പൊന്നയ്യ.—2nd ed.

രണ്ടാം ഭാഗം. സൈദ്ധാന്തിക

അവലംബം: www.habr.com