రాక్, పేపర్, సిజర్స్ గేమ్ వంటి డేటాను క్లీన్ అప్ చేయండి. ఇది ముగింపుతో లేదా ముగింపు లేని ఆటనా? పార్ట్ 1. సైద్ధాంతిక

1. ప్రారంభ డేటా

డేటా విశ్లేషణ పనులు ఎదుర్కొంటున్న సవాళ్లలో డేటా క్లీనింగ్ ఒకటి. ఈ పదార్థం కాడాస్ట్రాల్ విలువను రూపొందించడంలో డేటాబేస్ను విశ్లేషించే ఆచరణాత్మక సమస్యను పరిష్కరించే ఫలితంగా తలెత్తిన పరిణామాలు మరియు పరిష్కారాలను ప్రతిబింబిస్తుంది. ఇక్కడ మూలాలు "ఖాంటి-మాన్సిస్క్ అటానమస్ ఓక్రుగ్ - ఉగ్రా భూభాగంలోని అన్ని రకాల రియల్ ఎస్టేట్ (భూమి ప్లాట్లు మినహా) రాష్ట్ర కాడాస్ట్రల్ వాల్యుయేషన్ ఫలితాలపై నివేదిక నం. 01/OKS-2019".

"అనుబంధం B. KSని నిర్ణయించే ఫలితాలు 5. కాడాస్ట్రాల్ విలువను నిర్ణయించే పద్ధతిపై సమాచారం 5.1 తులనాత్మక విధానం"లోని ఫైల్ "Comparative model total.ods" పరిగణించబడింది.

పట్టిక 1. ఫైల్‌లోని డేటాసెట్ యొక్క గణాంక సూచికలు “Comparative model total.ods”
ఫీల్డ్‌ల మొత్తం సంఖ్య, pcs. - 44
రికార్డుల మొత్తం సంఖ్య, pcs. - 365 490
అక్షరాల మొత్తం సంఖ్య, pcs. - 101 714 693
రికార్డులోని అక్షరాల సగటు సంఖ్య, pcs. - 278,297
రికార్డులోని అక్షరాల ప్రామాణిక విచలనం, pcs. - 15,510
ఎంట్రీలో కనీస అక్షరాలు, pcs. - 198
ఎంట్రీలో గరిష్ట సంఖ్యలో అక్షరాలు, pcs. - 363

2. పరిచయ భాగం. ప్రాథమిక ప్రమాణాలు

పేర్కొన్న డేటాబేస్ను విశ్లేషించేటప్పుడు, శుద్దీకరణ స్థాయికి సంబంధించిన అవసరాలను పేర్కొనడానికి ఒక పని ఏర్పడింది, ఎందుకంటే, అందరికీ స్పష్టంగా తెలిసినట్లుగా, పేర్కొన్న డేటాబేస్ వినియోగదారులకు చట్టపరమైన మరియు ఆర్థిక పరిణామాలను సృష్టిస్తుంది. పని సమయంలో, పెద్ద డేటాను శుభ్రపరిచే స్థాయికి నిర్దిష్ట అవసరాలు లేవని తేలింది. ఈ విషయంలో చట్టపరమైన నిబంధనలను విశ్లేషిస్తే, అవన్నీ అవకాశాల నుండి ఏర్పడ్డాయని నేను నిర్ధారణకు వచ్చాను. అంటే, ఒక నిర్దిష్ట పని కనిపించింది, పని కోసం సమాచార వనరులు సంకలనం చేయబడతాయి, ఆపై డేటాసెట్ ఏర్పడుతుంది మరియు సృష్టించిన డేటాసెట్ ఆధారంగా, సమస్యను పరిష్కరించడానికి సాధనాలు. ఫలిత పరిష్కారాలు ప్రత్యామ్నాయాల నుండి ఎంచుకోవడంలో సూచన పాయింట్లు. నేను దీన్ని మూర్తి 1లో ప్రదర్శించాను.



ఏదైనా ప్రమాణాలను నిర్ణయించే విషయాలలో, నిరూపితమైన సాంకేతికతలపై ఆధారపడటం ఉత్తమం కాబట్టి, నేను పేర్కొన్న అవసరాలను ఎంచుకున్నాను "MHRA GxP డేటా సమగ్రత నిర్వచనాలు మరియు పరిశ్రమ కోసం మార్గదర్శకత్వం", ఎందుకంటే ఈ సమస్యకు సంబంధించి నేను ఈ పత్రాన్ని అత్యంత సమగ్రంగా పరిగణించాను. ప్రత్యేకించి, ఈ పత్రంలో విభాగం "డేటా సమగ్రత అవసరాలు మాన్యువల్ (పేపర్) మరియు ఎలక్ట్రానిక్ డేటాకు సమానంగా వర్తిస్తాయని గమనించాలి." (అనువాదం: “...డేటా సమగ్రత అవసరాలు మాన్యువల్ (పేపర్) మరియు ఎలక్ట్రానిక్ డేటాకు సమానంగా వర్తిస్తాయి”). ఈ సూత్రీకరణ చాలా ప్రత్యేకంగా "వ్రాతపూర్వక సాక్ష్యం" అనే భావనతో ముడిపడి ఉంది, సివిల్ ప్రొసీజర్ కోడ్, ఆర్ట్ యొక్క ఆర్టికల్ 71 యొక్క నిబంధనలలో. 70 CAS, ఆర్ట్. 75 APC, "వ్రాతపూర్వకంగా" కళ. 84 సివిల్ ప్రొసీజర్ కోడ్.

మూర్తి 2 న్యాయశాస్త్రంలో సమాచార రకాలకు సంబంధించిన విధానాల ఏర్పాటు యొక్క రేఖాచిత్రాన్ని ప్రదర్శిస్తుంది.

అన్నం. 2. మూలం ఇక్కడ.

మూర్తి 3 పైన పేర్కొన్న "మార్గదర్శకత్వం" యొక్క పనుల కోసం మూర్తి 1 యొక్క యంత్రాంగాన్ని చూపుతుంది. సమాచార వ్యవస్థల కోసం ఆధునిక ప్రమాణాలలో సమాచార సమగ్రత కోసం అవసరాలను తీర్చేటప్పుడు ఉపయోగించే విధానాలు సమాచారం యొక్క చట్టపరమైన భావనతో పోల్చితే గణనీయంగా పరిమితం చేయబడతాయని పోలిక చేయడం ద్వారా సులభం.

మూర్తి 3

పేర్కొన్న పత్రంలో (గైడెన్స్), సాంకేతిక భాగానికి కనెక్షన్, డేటాను ప్రాసెస్ చేయడం మరియు నిల్వ చేయడం కోసం సామర్థ్యాలు, చాప్టర్ 18.2 నుండి కోట్ ద్వారా బాగా ధృవీకరించబడింది. రిలేషనల్ డేటాబేస్: "డేటా మరియు మెటాడేటా మధ్య సంబంధాన్ని సంరక్షించే పెద్ద ఫైల్ ఫార్మాట్‌లో డేటా ఉంచబడినందున, ఈ ఫైల్ నిర్మాణం అంతర్గతంగా మరింత సురక్షితమైనది."

వాస్తవానికి, ఈ విధానంలో - ఇప్పటికే ఉన్న సాంకేతిక సామర్థ్యాల నుండి, అసాధారణమైనది ఏమీ లేదు మరియు ఇది సహజమైన ప్రక్రియ, ఎందుకంటే భావనల విస్తరణ ఎక్కువగా అధ్యయనం చేయబడిన కార్యాచరణ నుండి వస్తుంది - డేటాబేస్ డిజైన్. కానీ, మరోవైపు, ఇప్పటికే ఉన్న సిస్టమ్‌ల యొక్క సాంకేతిక సామర్థ్యాలపై తగ్గింపులను అందించని చట్టపరమైన నిబంధనలు కనిపిస్తాయి, ఉదాహరణకు: GDPR - సాధారణ డేటా రక్షణ నియంత్రణ.

అన్నం. 4. సాంకేతిక సామర్థ్యాల గరాటు (మూలం).

ఈ అంశాలలో, అసలు డేటాసెట్ (Fig. 1) అన్నింటిలో మొదటిది, సేవ్ చేయబడాలి మరియు రెండవది, దాని నుండి అదనపు సమాచారాన్ని సంగ్రహించడానికి ఆధారం అని స్పష్టమవుతుంది. ఉదాహరణకు: ట్రాఫిక్ నిబంధనలను రికార్డ్ చేసే కెమెరాలు సర్వత్రా ఉన్నాయి, సమాచార ప్రాసెసింగ్ వ్యవస్థలు ఉల్లంఘించేవారిని తొలగిస్తాయి, అయితే ఇతర సమాచారాన్ని ఇతర వినియోగదారులకు కూడా అందించవచ్చు, ఉదాహరణకు, షాపింగ్ సెంటర్‌కు కస్టమర్ల ప్రవాహం యొక్క నిర్మాణాన్ని మార్కెటింగ్ పర్యవేక్షణగా. మరియు ఇది BigDatని ఉపయోగిస్తున్నప్పుడు అదనపు అదనపు విలువకు మూలం. ప్రస్తుతం సేకరిస్తున్న డేటాసెట్‌లు, భవిష్యత్తులో ఎక్కడో ఒకచోట, ప్రస్తుతం ఉన్న 1700 అరుదైన ఎడిషన్‌ల విలువకు సమానమైన మెకానిజం ప్రకారం విలువను కలిగి ఉండే అవకాశం ఉంది. అన్నింటికంటే, వాస్తవానికి, తాత్కాలిక డేటాసెట్‌లు ప్రత్యేకమైనవి మరియు భవిష్యత్తులో పునరావృతమయ్యే అవకాశం లేదు.

3. పరిచయ భాగం. మూల్యాంకన నిర్ణయ ప్రమాణాలు

ప్రాసెసింగ్ ప్రక్రియలో, లోపాల క్రింది వర్గీకరణ అభివృద్ధి చేయబడింది.

1. లోపం తరగతి (GOST R 8.736-2011 ఆధారంగా): a) క్రమబద్ధమైన లోపాలు; బి) యాదృచ్ఛిక లోపాలు; సి) ఒక తప్పు.

2. గుణకారం ద్వారా: a) మోనో వక్రీకరణ; బి) బహుళ వక్రీకరణ.

3. పరిణామాల యొక్క విమర్శనాత్మకత ప్రకారం: a) క్లిష్టమైన; బి) క్లిష్టమైనది కాదు.

4. సంభవించిన మూలం ద్వారా:

ఎ) సాంకేతిక - పరికరాల ఆపరేషన్ సమయంలో సంభవించే లోపాలు. IoT వ్యవస్థలు, కమ్యూనికేషన్ నాణ్యత, పరికరాలు (హార్డ్‌వేర్)పై గణనీయమైన ప్రభావాన్ని చూపే వ్యవస్థలకు చాలా సంబంధిత లోపం.

బి) ఆపరేటర్ లోపాలు - ఇన్‌పుట్ సమయంలో ఆపరేటర్ అక్షరదోషాల నుండి డేటాబేస్ రూపకల్పన కోసం సాంకేతిక వివరణలలోని లోపాల వరకు విస్తృత పరిధిలో లోపాలు.

సి) వినియోగదారు లోపాలు - "లేఅవుట్‌ని మార్చడం మర్చిపోయాను" నుండి అడుగుల కోసం మీటర్లను తప్పుగా భావించే వరకు మొత్తం పరిధిలో వినియోగదారు లోపాలు ఇక్కడ ఉన్నాయి.

5. ప్రత్యేక తరగతిగా విభజించబడింది:

ఎ) "విభజన యొక్క పని", అనగా ఖాళీ మరియు ":" (మా విషయంలో) నకిలీ చేయబడినప్పుడు;
బి) కలిసి వ్రాసిన పదాలు;
సి) సేవా అక్షరాల తర్వాత ఖాళీ లేదు
d) సమరూపంగా బహుళ చిహ్నాలు: (), "", "...".

మూర్తి 5లో అందించిన డేటాబేస్ లోపాల క్రమబద్ధీకరణతో కలిపి, లోపాల కోసం శోధించడానికి మరియు ఈ ఉదాహరణ కోసం డేటా క్లీనింగ్ అల్గారిథమ్‌ను అభివృద్ధి చేయడానికి చాలా ప్రభావవంతమైన కోఆర్డినేట్ సిస్టమ్ ఏర్పడుతుంది.

అన్నం. 5. డేటాబేస్ యొక్క నిర్మాణ యూనిట్‌లకు సంబంధించిన సాధారణ లోపాలు (మూలం: ఒరెష్కోవ్ V.I., పాక్లిన్ N.B. "డేటా కన్సాలిడేషన్ యొక్క ముఖ్య అంశాలు").

ఖచ్చితత్వం, డొమైన్ సమగ్రత, డేటా రకం, స్థిరత్వం, రిడెండెన్సీ, సంపూర్ణత, డూప్లికేషన్, వ్యాపార నియమాలకు అనుగుణంగా, నిర్మాణాత్మక నిర్ధిష్టత, డేటా క్రమరాహిత్యం, స్పష్టత, సమయానుకూలత, డేటా సమగ్రత నియమాలకు కట్టుబడి ఉండటం. (పేజీ 334. IT నిపుణుల కోసం డేటా వేర్‌హౌసింగ్ ఫండమెంటల్స్ / పాల్‌రాజ్ పొన్నయ్య.-2వ ఎడిషన్.)

బ్రాకెట్లలో ఆంగ్ల పదాలు మరియు రష్యన్ యంత్ర అనువాదం అందించబడింది.

ఖచ్చితత్వం. డేటా మూలకం కోసం సిస్టమ్‌లో నిల్వ చేయబడిన విలువ డేటా మూలకం యొక్క ఆ సంఘటనకు సరైన విలువ. మీకు కస్టమర్ పేరు మరియు చిరునామా రికార్డ్‌లో భద్రపరచబడి ఉంటే, ఆ పేరుతో ఉన్న కస్టమర్‌కు చిరునామా సరైన చిరునామా. మీరు ఆర్డర్ నంబర్ 1000 కోసం రికార్డ్‌లో 12345678 యూనిట్లుగా ఆర్డర్ చేసిన పరిమాణాన్ని కనుగొంటే, ఆ పరిమాణం ఆ ఆర్డర్‌కి ఖచ్చితమైన పరిమాణం.
[ఖచ్చితత్వం. డేటా మూలకం కోసం సిస్టమ్‌లో నిల్వ చేయబడిన విలువ డేటా మూలకం యొక్క ఆ సంఘటనకు సరైన విలువ. మీరు కస్టమర్ పేరు మరియు చిరునామాను రికార్డ్‌లో నిల్వ ఉంచినట్లయితే, ఆ పేరుతో ఉన్న కస్టమర్‌కు చిరునామా సరైన చిరునామా. మీరు ఆర్డర్ నంబర్ 1000 కోసం రికార్డ్‌లో 12345678 యూనిట్లుగా ఆర్డర్ చేసిన పరిమాణాన్ని కనుగొంటే, ఆ పరిమాణం ఆ ఆర్డర్‌కి ఖచ్చితమైన పరిమాణం అవుతుంది.]

డొమైన్ సమగ్రత. ఒక లక్షణం యొక్క డేటా విలువ అనుమతించదగిన, నిర్వచించబడిన విలువల పరిధిలోకి వస్తుంది. సాధారణ ఉదాహరణ లింగ డేటా మూలకం కోసం అనుమతించదగిన విలువలు "మగ" మరియు "ఆడ".
[డొమైన్ సమగ్రత. అట్రిబ్యూట్ డేటా విలువ చెల్లుబాటు అయ్యే, నిర్వచించబడిన విలువల పరిధిలోకి వస్తుంది. ఒక సాధారణ ఉదాహరణ లింగ డేటా మూలకం కోసం చెల్లుబాటు అయ్యే విలువలు "పురుషుడు" మరియు "ఆడ".]

సమాచార తరహా. డేటా అట్రిబ్యూట్ విలువ వాస్తవానికి ఆ లక్షణం కోసం నిర్వచించిన డేటా రకంగా నిల్వ చేయబడుతుంది. స్టోర్ పేరు ఫీల్డ్ యొక్క డేటా రకాన్ని “టెక్స్ట్”గా నిర్వచించినప్పుడు, ఆ ఫీల్డ్‌లోని అన్ని సందర్భాలు వచన ఆకృతిలో చూపబడిన స్టోర్ పేరును కలిగి ఉంటాయి మరియు సంఖ్యా కోడ్‌లను కలిగి ఉండవు.
[సమాచార తరహా. డేటా లక్షణం యొక్క విలువ వాస్తవానికి ఆ లక్షణం కోసం నిర్వచించిన డేటా రకంగా నిల్వ చేయబడుతుంది. స్టోర్ పేరు ఫీల్డ్ డేటా రకం "టెక్స్ట్"గా నిర్వచించబడితే, ఈ ఫీల్డ్‌లోని అన్ని సందర్భాలు సంఖ్యా కోడ్‌ల కంటే టెక్స్ట్ ఫార్మాట్‌లో ప్రదర్శించబడే స్టోర్ పేరును కలిగి ఉంటాయి.]

స్థిరత్వం. డేటా ఫీల్డ్ యొక్క రూపం మరియు కంటెంట్ బహుళ సోర్స్ సిస్టమ్‌లలో ఒకే విధంగా ఉంటుంది. ఒక సిస్టమ్‌లోని ఉత్పత్తి ABC కోసం ఉత్పత్తి కోడ్ 1234 అయితే, ప్రతి మూల వ్యవస్థలో ఈ ఉత్పత్తి కోడ్ 1234.
[స్థిరత్వం. డేటా ఫీల్డ్ యొక్క రూపం మరియు కంటెంట్ వేర్వేరు సోర్స్ సిస్టమ్‌లలో ఒకే విధంగా ఉంటాయి. ఒక సిస్టమ్‌లోని ఉత్పత్తి ABC కోసం ఉత్పత్తి కోడ్ 1234 అయితే, ఆ ఉత్పత్తికి సంబంధించిన కోడ్ ప్రతి సోర్స్ సిస్టమ్‌లో 1234గా ఉంటుంది.]

రిడెండెన్సీ. ఒకే డేటాను సిస్టమ్‌లో ఒకటి కంటే ఎక్కువ చోట్ల నిల్వ చేయకూడదు. ఒకవేళ, సమర్థతా కారణాల దృష్ట్యా, ఒక డేటా మూలకం ఉద్దేశపూర్వకంగా సిస్టమ్‌లో ఒకటి కంటే ఎక్కువ ప్రదేశాలలో నిల్వ చేయబడితే, రిడెండెన్సీని స్పష్టంగా గుర్తించి, ధృవీకరించాలి.
[రిడెండెన్సీ. ఒకే డేటాను సిస్టమ్‌లో ఒకటి కంటే ఎక్కువ చోట్ల నిల్వ చేయకూడదు. ఒకవేళ, సమర్థతా కారణాల దృష్ట్యా, ఒక డేటా మూలకం ఉద్దేశపూర్వకంగా సిస్టమ్‌లోని బహుళ స్థానాల్లో నిల్వ చేయబడితే, రిడెండెన్సీ తప్పనిసరిగా స్పష్టంగా నిర్వచించబడాలి మరియు ధృవీకరించబడాలి.]

సంపూర్ణత. సిస్టమ్‌లో ఇచ్చిన లక్షణానికి తప్పిపోయిన విలువలు లేవు. ఉదాహరణకు, కస్టమర్ ఫైల్‌లో, ప్రతి కస్టమర్ కోసం “స్టేట్” ఫీల్డ్‌కు తప్పనిసరిగా చెల్లుబాటు అయ్యే విలువ ఉండాలి. ఆర్డర్ వివరాల కోసం ఫైల్‌లో, ఆర్డర్‌కు సంబంధించిన ప్రతి వివరాల రికార్డు పూర్తిగా పూరించాలి.
[పూర్తి. ఈ లక్షణం కోసం సిస్టమ్‌లో తప్పిపోయిన విలువలు లేవు. ఉదాహరణకు, క్లయింట్ ఫైల్ తప్పనిసరిగా ప్రతి క్లయింట్ కోసం "స్టేటస్" ఫీల్డ్ కోసం చెల్లుబాటు అయ్యే విలువను కలిగి ఉండాలి. ఆర్డర్ వివరాల ఫైల్‌లో, ప్రతి ఆర్డర్ వివరాల రికార్డు తప్పనిసరిగా పూర్తి చేయాలి.]

డూప్లికేషన్. సిస్టమ్‌లోని రికార్డుల డూప్లికేషన్ పూర్తిగా పరిష్కరించబడుతుంది. ఉత్పత్తి ఫైల్ నకిలీ రికార్డులను కలిగి ఉన్నట్లు తెలిస్తే, ప్రతి ఉత్పత్తికి సంబంధించిన అన్ని నకిలీ రికార్డులు గుర్తించబడతాయి మరియు క్రాస్-రిఫరెన్స్ సృష్టించబడతాయి.
[నకిలీ. సిస్టమ్‌లోని రికార్డుల డూప్లికేషన్ పూర్తిగా తొలగించబడింది. ఒక ఉత్పత్తి ఫైల్ నకిలీ ఎంట్రీలను కలిగి ఉన్నట్లు తెలిస్తే, ప్రతి ఉత్పత్తికి సంబంధించిన అన్ని నకిలీ ఎంట్రీలు గుర్తించబడతాయి మరియు క్రాస్-రిఫరెన్స్ సృష్టించబడుతుంది.]

వ్యాపార నియమాలకు అనుగుణంగా. ప్రతి డేటా అంశం యొక్క విలువలు సూచించిన వ్యాపార నియమాలకు కట్టుబడి ఉంటాయి. వేలం వ్యవస్థలో, సుత్తి లేదా విక్రయ ధర రిజర్వ్ ధర కంటే తక్కువగా ఉండకూడదు. బ్యాంకు రుణ వ్యవస్థలో, రుణ బ్యాలెన్స్ ఎల్లప్పుడూ సానుకూలంగా లేదా సున్నాగా ఉండాలి.
[వ్యాపార నియమాలకు అనుగుణంగా. ప్రతి డేటా మూలకం యొక్క విలువలు స్థాపించబడిన వ్యాపార నియమాలకు అనుగుణంగా ఉంటాయి. వేలం వ్యవస్థలో, సుత్తి లేదా విక్రయ ధర రిజర్వ్ ధర కంటే తక్కువగా ఉండకూడదు. బ్యాంకింగ్ క్రెడిట్ సిస్టమ్‌లో, లోన్ బ్యాలెన్స్ ఎల్లప్పుడూ సానుకూలంగా లేదా సున్నాగా ఉండాలి.]

నిర్మాణ నిర్ధిష్టత. ఎక్కడైనా డేటా ఐటెమ్‌ని సహజంగా వ్యక్తిగత భాగాలుగా రూపొందించవచ్చు, ఆ అంశం ఈ చక్కగా నిర్వచించబడిన నిర్మాణాన్ని కలిగి ఉండాలి. ఉదాహరణకు, ఒక వ్యక్తి పేరు సహజంగా మొదటి పేరు, మధ్య పేరు మరియు చివరి పేరుగా విభజిస్తుంది. వ్యక్తుల పేర్ల విలువలు తప్పనిసరిగా మొదటి పేరు, మధ్య పేరు మరియు చివరి పేరుగా నిల్వ చేయబడాలి. డేటా నాణ్యత యొక్క ఈ లక్షణం ప్రమాణాల అమలును సులభతరం చేస్తుంది మరియు తప్పిపోయిన విలువలను తగ్గిస్తుంది.
[నిర్మాణ నిశ్చయత. డేటా మూలకం సహజంగా వ్యక్తిగత భాగాలుగా రూపొందించబడినప్పుడు, మూలకం ఈ బాగా నిర్వచించబడిన నిర్మాణాన్ని కలిగి ఉండాలి. ఉదాహరణకు, ఒక వ్యక్తి పేరు సహజంగా మొదటి పేరు, మధ్య పేరు మరియు చివరి పేరుగా విభజించబడింది. వ్యక్తిగత పేర్ల విలువలు మొదటి పేరు, మధ్య పేరు మరియు చివరి పేరుగా నిల్వ చేయబడాలి. ఈ డేటా నాణ్యత లక్షణం ప్రమాణాల అనువర్తనాన్ని సులభతరం చేస్తుంది మరియు తప్పిపోయిన విలువలను తగ్గిస్తుంది.]

డేటా క్రమరాహిత్యం. ఫీల్డ్ నిర్వచించబడిన ప్రయోజనం కోసం మాత్రమే ఉపయోగించాలి. ఫీల్డ్ అడ్రస్-3 సుదీర్ఘ చిరునామాల కోసం సాధ్యమయ్యే ఏదైనా మూడవ లైన్ చిరునామా కోసం నిర్వచించబడితే, ఈ ఫీల్డ్ తప్పనిసరిగా మూడవ లైన్ చిరునామాను రికార్డ్ చేయడానికి మాత్రమే ఉపయోగించాలి. కస్టమర్ కోసం ఫోన్ లేదా ఫ్యాక్స్ నంబర్‌ను నమోదు చేయడానికి దీనిని ఉపయోగించకూడదు.
[డేటా క్రమరాహిత్యం. ఫీల్డ్ నిర్వచించబడిన ప్రయోజనం కోసం మాత్రమే ఉపయోగించాలి. సుదీర్ఘ చిరునామాల కోసం ఏదైనా సాధ్యమైన మూడవ చిరునామా లైన్ కోసం చిరునామా-3 ఫీల్డ్ నిర్వచించబడితే, ఈ ఫీల్డ్ మూడవ చిరునామా లైన్‌ను రికార్డ్ చేయడానికి మాత్రమే ఉపయోగించబడుతుంది. కస్టమర్ కోసం టెలిఫోన్ లేదా ఫ్యాక్స్ నంబర్‌ని నమోదు చేయడానికి దీనిని ఉపయోగించకూడదు.]

స్పష్టత. ఒక డేటా మూలకం నాణ్యమైన డేటా యొక్క అన్ని ఇతర లక్షణాలను కలిగి ఉండవచ్చు కానీ వినియోగదారులు దాని అర్థాన్ని స్పష్టంగా అర్థం చేసుకోకపోతే, డేటా మూలకం వినియోగదారులకు ఎటువంటి విలువను కలిగి ఉండదు. సరియైన నామకరణ సంప్రదాయాలు డేటా మూలకాలను వినియోగదారులకు బాగా అర్థం చేసుకోవడానికి సహాయపడతాయి.
[స్పష్టత. ఒక డేటా మూలకం మంచి డేటా యొక్క అన్ని ఇతర లక్షణాలను కలిగి ఉండవచ్చు, కానీ వినియోగదారులు దాని అర్థాన్ని స్పష్టంగా అర్థం చేసుకోకపోతే, డేటా మూలకం వినియోగదారులకు ఎటువంటి విలువను కలిగి ఉండదు. సరైన నామకరణ సంప్రదాయాలు డేటా మూలకాలను వినియోగదారులకు బాగా అర్థం చేసుకోవడానికి సహాయపడతాయి.]

సమయానుకూలమైనది. వినియోగదారులు డేటా యొక్క సమయపాలనను నిర్ణయిస్తారు. కస్టమర్ డైమెన్షన్ డేటా ఒక రోజు కంటే పాతది కాకూడదని వినియోగదారులు ఆశించినట్లయితే, సోర్స్ సిస్టమ్‌లలోని కస్టమర్ డేటాకు మార్పులు ప్రతిరోజూ డేటా వేర్‌హౌస్‌కి వర్తింపజేయాలి.
[కాలానుగుణంగా. వినియోగదారులు డేటా సమయపాలనను నిర్ణయిస్తారు. కస్టమర్ డైమెన్షన్ డేటా ఒక రోజు కంటే పాతది కాదని వినియోగదారులు ఆశించినట్లయితే, సోర్స్ సిస్టమ్‌లలోని కస్టమర్ డేటాకు మార్పులు రోజువారీగా డేటా వేర్‌హౌస్‌కి వర్తింపజేయాలి.]

ఉపయోగార్థాన్ని. డేటా వేర్‌హౌస్‌లోని ప్రతి డేటా మూలకం తప్పనిసరిగా వినియోగదారుల సేకరణకు సంబంధించిన కొన్ని అవసరాలను తీర్చాలి. ఒక డేటా మూలకం ఖచ్చితమైనది మరియు అధిక నాణ్యత కలిగి ఉండవచ్చు, కానీ అది వినియోగదారులకు ఎటువంటి విలువను కలిగి ఉండకపోతే, ఆ డేటా మూలకం డేటా వేర్‌హౌస్‌లో ఉండటం పూర్తిగా అనవసరం.
[వినియోగ. డేటా స్టోర్‌లోని ప్రతి డేటా అంశం తప్పనిసరిగా వినియోగదారు సేకరణ యొక్క కొన్ని అవసరాలను తీర్చాలి. డేటా మూలకం ఖచ్చితమైనది మరియు అధిక నాణ్యతతో ఉండవచ్చు, కానీ అది వినియోగదారులకు విలువను అందించకపోతే, ఆ డేటా మూలకం డేటా వేర్‌హౌస్‌లో ఉండవలసిన అవసరం లేదు.]

డేటా సమగ్రత నియమాలకు కట్టుబడి ఉండటం. మూల వ్యవస్థల రిలేషనల్ డేటాబేస్‌లలో నిల్వ చేయబడిన డేటా తప్పనిసరిగా ఎంటిటీ సమగ్రత మరియు రెఫరెన్షియల్ సమగ్రత నియమాలకు కట్టుబడి ఉండాలి. ప్రాథమిక కీగా శూన్యతను అనుమతించే ఏదైనా పట్టిక ఎంటిటీ సమగ్రతను కలిగి ఉండదు. రెఫరెన్షియల్ సమగ్రత మాతృ-పిల్లల సంబంధాలను సరిగ్గా స్థాపించడానికి బలవంతం చేస్తుంది. కస్టమర్-టు-ఆర్డర్ సంబంధంలో, డేటాబేస్‌లోని ప్రతి ఆర్డర్‌కు రిఫరెన్షియల్ ఇంటెగ్రిటీ కస్టమర్ ఉనికిని నిర్ధారిస్తుంది.
[డేటా సమగ్రత నియమాలకు అనుగుణంగా. మూల వ్యవస్థల రిలేషనల్ డేటాబేస్‌లలో నిల్వ చేయబడిన డేటా తప్పనిసరిగా ఎంటిటీ సమగ్రత మరియు రెఫరెన్షియల్ సమగ్రత యొక్క నియమాలకు అనుగుణంగా ఉండాలి. శూన్యాన్ని ప్రాథమిక కీగా అనుమతించే ఏదైనా పట్టిక ఎంటిటీ సమగ్రతను కలిగి ఉండదు. రెఫరెన్షియల్ సమగ్రత తల్లిదండ్రులు మరియు పిల్లల మధ్య సంబంధాన్ని సరిగ్గా స్థాపించడానికి బలవంతం చేస్తుంది. కస్టమర్-ఆర్డర్ రిలేషన్‌షిప్‌లో, డేటాబేస్‌లోని ప్రతి ఆర్డర్‌కు కస్టమర్ ఉండేలా రెఫరెన్షియల్ ఇంటెగ్రిటీ నిర్ధారిస్తుంది.]

4. డేటా శుభ్రపరిచే నాణ్యత

బిగ్‌డేటాలో డేటా క్లీనింగ్ నాణ్యత సమస్యాత్మక సమస్య. పనిని పూర్తి చేయడానికి ఏ స్థాయిలో డేటా క్లీనింగ్ అవసరం అనే ప్రశ్నకు సమాధానమివ్వడం ప్రతి డేటా విశ్లేషకుడికి ప్రాథమికమైనది. చాలా ప్రస్తుత సమస్యలలో, ప్రతి విశ్లేషకుడు దీనిని స్వయంగా నిర్ణయిస్తారు మరియు బయటి నుండి ఎవరైనా తన పరిష్కారంలో ఈ అంశాన్ని అంచనా వేయలేరు. కానీ ఈ సందర్భంలో చేతిలో ఉన్న పని కోసం, ఈ సమస్య చాలా ముఖ్యమైనది, ఎందుకంటే చట్టపరమైన డేటా యొక్క విశ్వసనీయత ఒకదానికి మొగ్గు చూపాలి.

కార్యాచరణ విశ్వసనీయతను నిర్ణయించడానికి సాఫ్ట్‌వేర్ టెస్టింగ్ టెక్నాలజీలను పరిశీలిస్తోంది. నేడు ఈ నమూనాల కంటే ఎక్కువ ఉన్నాయి 200. చాలా మోడల్‌లు క్లెయిమ్ సర్వీసింగ్ మోడల్‌ను ఉపయోగిస్తాయి:

అంజీర్. 6

ఈ క్రింది విధంగా ఆలోచిస్తూ: "కనుగొనబడిన లోపం ఈ మోడల్‌లోని వైఫల్య సంఘటనకు సమానమైన సంఘటన అయితే, t పరామితి యొక్క అనలాగ్‌ను ఎలా కనుగొనాలి?" మరియు నేను ఈ క్రింది మోడల్‌ను సంకలనం చేసాను: ఒక రికార్డును తనిఖీ చేయడానికి టెస్టర్‌కు పట్టే సమయం 1 నిమిషం (ప్రశ్నలో ఉన్న డేటాబేస్ కోసం) అని ఊహించుకుందాం, ఆపై అన్ని లోపాలను కనుగొనడానికి అతనికి 365 నిమిషాలు అవసరం, అంటే సుమారు 494 సంవత్సరాలు మరియు 3 నెలల పని సమయం. మేము అర్థం చేసుకున్నట్లుగా, ఇది చాలా పెద్ద మొత్తంలో పని మరియు డేటాబేస్ను తనిఖీ చేసే ఖర్చులు ఈ డేటాబేస్ యొక్క కంపైలర్ కోసం నిషేధించబడతాయి. ఈ ప్రతిబింబంలో, ఖర్చుల యొక్క ఆర్థిక భావన కనిపిస్తుంది మరియు విశ్లేషణ తర్వాత ఇది చాలా ప్రభావవంతమైన సాధనం అని నేను నిర్ధారణకు వచ్చాను. ఆర్థిక శాస్త్ర నియమం ఆధారంగా: “ఒక సంస్థ యొక్క గరిష్ట లాభాన్ని సాధించే ఉత్పత్తి పరిమాణం (యూనిట్లలో) ఒక కొత్త యూనిట్ అవుట్‌పుట్‌ను ఉత్పత్తి చేయడానికి ఉపాంత వ్యయాన్ని ఈ సంస్థ పొందగలిగే ధరతో పోల్చిన ప్రదేశంలో ఉంది. కొత్త యూనిట్ కోసం." ప్రతి తదుపరి లోపాన్ని కనుగొనడం కోసం రికార్డులను మరింత ఎక్కువగా తనిఖీ చేయాల్సిన అవసరం ఉందనే ప్రతిపాదన ఆధారంగా, ఇది ఖర్చు కారకం. అంటే, టెస్టింగ్ మోడళ్లలో అనుసరించిన పోస్ట్యులేట్ క్రింది నమూనాలో భౌతిక అర్థాన్ని తీసుకుంటుంది: i-th లోపాన్ని కనుగొనడానికి n రికార్డులను తనిఖీ చేయడం అవసరం, తర్వాత తదుపరి (i+3) లోపాన్ని కనుగొనడం అవసరం. m రికార్డులను తనిఖీ చేయడానికి మరియు అదే సమయంలో n<m. పరీక్షా నమూనాలలో ఈ ప్రతిపాదన, ప్రధానంగా కనుగొనబడిన లోపాలను తప్పనిసరిగా నమోదు చేయవలసిన అవసరంతో రూపొందించబడింది, కానీ సరిదిద్దకూడదు, తద్వారా సాఫ్ట్‌వేర్ దాని సహజ స్థితిలో పరీక్షించబడుతుంది, అంటే వైఫల్యాల ప్రవాహం ఏకరీతిగా ఉంటుంది. దీని ప్రకారం, మా విషయంలో, రికార్డులను తనిఖీ చేయడం సజాతీయత కోసం రెండు ఎంపికలను వెల్లడిస్తుంది:

1. కొత్త లోపం కనుగొనబడటానికి ముందు తనిఖీ చేసిన రికార్డుల సంఖ్య స్థిరీకరించబడినప్పుడు;
2. తదుపరి లోపాన్ని కనుగొనే ముందు తనిఖీ చేసిన రికార్డుల సంఖ్య పెరుగుతుంది.

క్లిష్టమైన విలువను నిర్ణయించడానికి, నేను ఆర్థిక సాధ్యత అనే భావనను ఆశ్రయించాను, ఈ సందర్భంలో, సామాజిక వ్యయాల భావనను ఉపయోగించి, ఈ క్రింది విధంగా రూపొందించవచ్చు: “లోపాన్ని సరిదిద్దడానికి అయ్యే ఖర్చులు చేయగల ఆర్థిక ఏజెంట్ భరించాలి. ఇది అతి తక్కువ ఖర్చుతో." మాకు ఒక ఏజెంట్ ఉన్నారు - ఒక రికార్డును తనిఖీ చేయడానికి 1 నిమిషం వెచ్చించే టెస్టర్. ద్రవ్య పరంగా, మీరు రోజుకు 6000 రూబిళ్లు సంపాదిస్తే, ఇది 12,2 రూబిళ్లు అవుతుంది. (సుమారు ఈరోజు). ఆర్థిక చట్టంలో సమతౌల్యం యొక్క రెండవ భాగాన్ని నిర్ణయించడానికి ఇది మిగిలి ఉంది. నేను ఇలా తర్కించాను. ఇప్పటికే ఉన్న లోపాన్ని సరిదిద్దడానికి సంబంధిత వ్యక్తి కృషి చేయవలసి ఉంటుంది, అంటే ఆస్తి యజమాని. దీనికి 1 రోజు చర్య అవసరమని అనుకుందాం (అప్లికేషన్‌ను సమర్పించండి, సరిదిద్దబడిన పత్రాన్ని స్వీకరించండి). అప్పుడు, సామాజిక కోణం నుండి, అతని ఖర్చులు రోజుకు సగటు జీతంతో సమానంగా ఉంటాయి. ఖాంటీ-మాన్సీ అటానమస్ ఓక్రగ్‌లో సగటు ఆర్జిత జీతం "ఖాంటి-మాన్సిస్క్ అటానమస్ ఓక్రగ్ యొక్క సామాజిక-ఆర్థిక అభివృద్ధి ఫలితాలు - జనవరి-సెప్టెంబర్ 2019 కొరకు ఉగ్రా" 73285 రబ్. లేదా 3053,542 రూబిళ్లు / రోజు. దీని ప్రకారం, మేము దీనికి సమానమైన క్లిష్టమైన విలువను పొందుతాము:
3053,542: 12,2 = 250,4 యూనిట్ల రికార్డులు.

దీని అర్థం, సామాజిక దృక్కోణంలో, ఒక టెస్టర్ 251 రికార్డులను తనిఖీ చేసి, ఒక ఎర్రర్‌ను కనుగొన్నట్లయితే, అది వినియోగదారు స్వయంగా ఈ లోపాన్ని సరిదిద్దడానికి సమానం. దీని ప్రకారం, టెస్టర్ తదుపరి లోపాన్ని కనుగొనడానికి 252 రికార్డులను తనిఖీ చేయడానికి సమానమైన సమయాన్ని వెచ్చిస్తే, ఈ సందర్భంలో దిద్దుబాటు ధరను వినియోగదారుకు మార్చడం మంచిది.

సరళీకృత విధానం ఇక్కడ ప్రదర్శించబడింది, ఎందుకంటే సామాజిక దృక్కోణం నుండి ప్రతి నిపుణుడు ఉత్పత్తి చేసే అన్ని అదనపు విలువలను పరిగణనలోకి తీసుకోవడం అవసరం, అంటే పన్నులు మరియు సామాజిక చెల్లింపులతో సహా ఖర్చులు, కానీ మోడల్ స్పష్టంగా ఉంది. ఈ సంబంధం యొక్క పర్యవసానంగా నిపుణుల కోసం క్రింది అవసరం ఉంది: IT పరిశ్రమకు చెందిన నిపుణుడికి జాతీయ సగటు కంటే ఎక్కువ జీతం ఉండాలి. అతని జీతం సంభావ్య డేటాబేస్ వినియోగదారుల సగటు జీతం కంటే తక్కువగా ఉంటే, అతను స్వయంగా మొత్తం డేటాబేస్ను చేతితో తనిఖీ చేయాలి.

వివరించిన ప్రమాణాన్ని ఉపయోగిస్తున్నప్పుడు, డేటాబేస్ నాణ్యతకు మొదటి అవసరం ఏర్పడుతుంది:
I(tr). క్లిష్టమైన లోపాల వాటా 1/250,4 = 0,39938% మించకూడదు. కంటే కొంచెం తక్కువ శుద్ధి చేయడం పరిశ్రమలో బంగారం. మరియు భౌతిక పరంగా లోపాలతో 1459 కంటే ఎక్కువ రికార్డులు లేవు.

ఆర్థిక తిరోగమనం.

వాస్తవానికి, రికార్డులలో ఇటువంటి అనేక తప్పులు చేయడం ద్వారా, సమాజం మొత్తంలో ఆర్థిక నష్టాలను అంగీకరిస్తుంది:

1459*3053,542 = 4 రూబిళ్లు.

ఈ ఖర్చులను తగ్గించడానికి సొసైటీకి సాధనాలు లేనందున ఈ మొత్తం నిర్ణయించబడుతుంది. తప్పులతో రికార్డుల సంఖ్యను 259కి తగ్గించడానికి ఎవరైనా అనుమతించే సాంకేతికతను కలిగి ఉంటే, ఇది సమాజాన్ని సేవ్ చేయడానికి అనుమతిస్తుంది:
1200*3053,542 = 3 రూబిళ్లు.

కానీ అదే సమయంలో, అతను తన ప్రతిభ మరియు పని కోసం అడగవచ్చు, సరే, చెప్పండి - 1 మిలియన్ రూబిళ్లు.
అంటే, సామాజిక ఖర్చులు దీని ద్వారా తగ్గించబడతాయి:

3 - 664 = 250 రూబిళ్లు.

సారాంశంలో, ఈ ప్రభావం బిగ్‌డాట్ టెక్నాలజీల ఉపయోగం నుండి అదనపు విలువ.

కానీ ఇక్కడ ఇది సామాజిక ప్రభావం అని పరిగణనలోకి తీసుకోవాలి మరియు డేటాబేస్ యజమాని మునిసిపల్ అధికారులు, ఈ డేటాబేస్లో నమోదు చేయబడిన ఆస్తి వినియోగం నుండి వారి ఆదాయం 0,3% చొప్పున: 2,778 బిలియన్ రూబిళ్లు/ సంవత్సరం. మరియు ఈ ఖర్చులు (4 రూబిళ్లు) అతనిని పెద్దగా ఇబ్బంది పెట్టవు, ఎందుకంటే అవి ఆస్తి యజమానులకు బదిలీ చేయబడతాయి. మరియు, ఈ అంశంలో, Bigdataలో మరింత మెరుగుపరిచే సాంకేతికతలను డెవలపర్ ఈ డేటాబేస్ యజమానిని ఒప్పించే సామర్థ్యాన్ని చూపించవలసి ఉంటుంది మరియు అలాంటి వాటికి గణనీయమైన ప్రతిభ అవసరం.

ఈ ఉదాహరణలో, విశ్వసనీయత పరీక్ష సమయంలో సాఫ్ట్‌వేర్ ధృవీకరణ యొక్క షూమాన్ మోడల్ [2] ఆధారంగా దోష అంచనా అల్గోరిథం ఎంపిక చేయబడింది. ఇంటర్నెట్‌లో దాని ప్రాబల్యం మరియు అవసరమైన గణాంక సూచికలను పొందగల సామర్థ్యం కారణంగా. పద్దతి Monakhov Yu.M నుండి తీసుకోబడింది. “సమాచార వ్యవస్థల ఫంక్షనల్ స్టెబిలిటీ”, అంజీర్‌లోని స్పాయిలర్ క్రింద చూడండి. 7-9.

అన్నం. 7 - 9 షూమాన్ మోడల్ యొక్క మెథడాలజీ





ఈ పదార్థం యొక్క రెండవ భాగం డేటా క్లీనింగ్ యొక్క ఉదాహరణను అందిస్తుంది, దీనిలో షూమాన్ మోడల్‌ను ఉపయోగించడం వల్ల ఫలితాలు పొందబడతాయి.
నేను పొందిన ఫలితాలను ప్రదర్శిస్తాను:
లోపాల అంచనా సంఖ్య N = 3167 n.
పరామితి C, లాంబ్డా మరియు విశ్వసనీయత ఫంక్షన్:

మూర్తి 17

ముఖ్యంగా, లాంబ్డా అనేది ప్రతి దశలో లోపాలు కనుగొనబడే తీవ్రత యొక్క వాస్తవ సూచిక. మీరు రెండవ భాగాన్ని పరిశీలిస్తే, ఈ సూచిక యొక్క అంచనా గంటకు 42,4 లోపాలు, ఇది షూమాన్ సూచికతో పోల్చదగినది. పైన, నిమిషానికి 1 రికార్డ్‌ని తనిఖీ చేస్తున్నప్పుడు డెవలపర్ ఎర్రర్‌లను కనుగొనే రేటు 250,4 రికార్డ్‌లకు 1 ఎర్రర్ కంటే తక్కువగా ఉండకూడదని నిర్ణయించబడింది. అందువల్ల షూమాన్ మోడల్ కోసం లాంబ్డా యొక్క క్లిష్టమైన విలువ:

60 / 250,4 = 0,239617.

అంటే, లాంబ్డా ఇప్పటికే ఉన్న 38,964 నుండి 0,239617కి తగ్గే వరకు లోపాన్ని గుర్తించే విధానాలను నిర్వహించాల్సిన అవసరం ఉంది.

లేదా సూచిక N (లోపాల సంభావ్య సంఖ్య) మైనస్ n (తప్పుల సరిదిద్దబడిన సంఖ్య) మా ఆమోదించబడిన థ్రెషోల్డ్ కంటే తగ్గే వరకు - 1459 pcs.

సాహిత్యం

1. Monakhov, Yu. M. సమాచార వ్యవస్థల ఫంక్షనల్ స్థిరత్వం. 3 గంటల్లో. పార్ట్ 1. సాఫ్ట్‌వేర్ విశ్వసనీయత: పాఠ్య పుస్తకం. భత్యం / యు.ఎం. మోనాఖోవ్; వ్లాదిమ్. రాష్ట్రం విశ్వవిద్యాలయం – వ్లాదిమిర్: ఇజ్వో వ్లాదిమ్. రాష్ట్రం విశ్వవిద్యాలయం, 2011. - 60 p. – ISBN 978-5-9984-0189-3.
2. మార్టిన్ L. షూమాన్, "సాఫ్ట్‌వేర్ విశ్వసనీయత అంచనా కోసం సంభావ్య నమూనాలు."
3. IT నిపుణుల కోసం డేటా వేర్‌హౌసింగ్ ఫండమెంటల్స్ / పాల్‌రాజ్ పొన్నయ్య.—2వ ఎడిషన్.

రెండవ భాగం. సిద్ధాంతపరమైన

మూలం: www.habr.com