ராக், பேப்பர், கத்தரிக்கோல் போன்ற தரவுகளை சுத்தம் செய்தல். இது ஒரு முடிவோ அல்லது முடிவின்றியோ விளையாட்டா? பகுதி 1. கோட்பாட்டு

1. ஆரம்ப தரவு

தரவு பகுப்பாய்வு பணிகளை எதிர்கொள்ளும் சவால்களில் தரவு சுத்திகரிப்பு ஒன்றாகும். காடாஸ்ட்ரல் மதிப்பை உருவாக்குவதில் தரவுத்தளத்தை பகுப்பாய்வு செய்வதற்கான நடைமுறை சிக்கலைத் தீர்ப்பதன் விளைவாக எழுந்த முன்னேற்றங்கள் மற்றும் தீர்வுகளை இந்த பொருள் பிரதிபலித்தது. ஆதாரங்கள் இங்கே "காந்தி-மான்சிஸ்க் தன்னாட்சி ஓக்ரக் - உக்ரா பிரதேசத்தில் உள்ள அனைத்து வகையான ரியல் எஸ்டேட் (நில அடுக்குகளைத் தவிர) மாநில காடாஸ்ட்ரல் மதிப்பீட்டின் முடிவுகளின் அறிக்கை எண். 01/OKS-2019".

கோப்பு "ஒப்பீட்டு மாதிரி total.ods" இல் "பின் இணைப்பு B. KS ஐ தீர்மானிப்பதற்கான முடிவுகள் 5. காடாஸ்ட்ரல் மதிப்பை நிர்ணயிக்கும் முறை பற்றிய தகவல் 5.1 ஒப்பீட்டு அணுகுமுறை" பரிசீலிக்கப்பட்டது.

அட்டவணை 1. "ஒப்பீட்டு மாதிரி total.ods" கோப்பில் உள்ள தரவுத்தொகுப்பின் புள்ளியியல் குறிகாட்டிகள்
புலங்களின் மொத்த எண்ணிக்கை, பிசிக்கள். - 44
பதிவுகளின் மொத்த எண்ணிக்கை, பிசிக்கள். - 365 490
எழுத்துகளின் மொத்த எண்ணிக்கை, பிசிக்கள். - 101 714 693
ஒரு பதிவில் உள்ள எழுத்துக்களின் சராசரி எண்ணிக்கை, பிசிக்கள். - 278,297
ஒரு பதிவில் உள்ள எழுத்துகளின் நிலையான விலகல், பிசிக்கள். - 15,510
ஒரு பதிவில் குறைந்தபட்ச எழுத்துகள், பிசிக்கள். - 198
ஒரு உள்ளீட்டில் உள்ள எழுத்துகளின் அதிகபட்ச எண்ணிக்கை, பிசிக்கள். - 363

2. அறிமுக பகுதி. அடிப்படை தரநிலைகள்

குறிப்பிட்ட தரவுத்தளத்தை பகுப்பாய்வு செய்யும் போது, ​​சுத்திகரிப்பு அளவிற்கான தேவைகளை குறிப்பிட ஒரு பணி உருவாக்கப்பட்டது, ஏனெனில், அனைவருக்கும் தெளிவாக உள்ளது, குறிப்பிட்ட தரவுத்தளம் பயனர்களுக்கு சட்ட மற்றும் பொருளாதார விளைவுகளை உருவாக்குகிறது. வேலையின் போது, ​​பெரிய தரவுகளை சுத்தம் செய்யும் அளவிற்கு குறிப்பிட்ட தேவைகள் எதுவும் இல்லை என்று மாறியது. இந்த விஷயத்தில் சட்ட விதிமுறைகளை பகுப்பாய்வு செய்து, அவை அனைத்தும் சாத்தியக்கூறுகளிலிருந்து உருவாக்கப்பட்டவை என்ற முடிவுக்கு வந்தேன். அதாவது, ஒரு குறிப்பிட்ட பணி தோன்றியது, பணிக்கான தகவல் ஆதாரங்கள் தொகுக்கப்படுகின்றன, பின்னர் ஒரு தரவுத்தொகுப்பு உருவாகிறது மற்றும் உருவாக்கப்பட்ட தரவுத்தொகுப்பின் அடிப்படையில், சிக்கலைத் தீர்ப்பதற்கான கருவிகள். இதன் விளைவாக தீர்வுகள் மாற்றுகளில் இருந்து தேர்ந்தெடுப்பதில் குறிப்பு புள்ளிகள் ஆகும். நான் இதை படம் 1 இல் வழங்கினேன்.



எந்தவொரு தரநிலையையும் நிர்ணயிக்கும் விஷயங்களில், நிரூபிக்கப்பட்ட தொழில்நுட்பங்களை நம்புவது விரும்பத்தக்கது என்பதால், நான் அதில் குறிப்பிடப்பட்டுள்ள தேவைகளைத் தேர்ந்தெடுத்தேன். "MHRA GxP தரவு ஒருமைப்பாடு வரையறைகள் மற்றும் தொழில்துறைக்கான வழிகாட்டுதல்", ஏனெனில் இந்த ஆவணத்தை இந்த சிக்கலுக்கு மிகவும் விரிவானதாக நான் கருதினேன். குறிப்பாக, இந்த ஆவணத்தில் "தரவு ஒருமைப்பாடு தேவைகள் கையேடு (காகிதம்) மற்றும் மின்னணு தரவுகளுக்கு சமமாக பொருந்தும் என்பதை கவனத்தில் கொள்ள வேண்டும்" என்று இந்த ஆவணத்தில் கூறப்பட்டுள்ளது. (மொழிபெயர்ப்பு: “...தரவு ஒருமைப்பாடு தேவைகள் கையேடு (காகிதம்) மற்றும் மின்னணு தரவுகளுக்கு சமமாக பொருந்தும்”). இந்த உருவாக்கம் மிகவும் குறிப்பாக "எழுதப்பட்ட சான்றுகள்" என்ற கருத்துடன் தொடர்புடையது, சிவில் நடைமுறைச் சட்டத்தின் பிரிவு 71 இன் விதிகள், கலை. 70 CAS, கலை. 75 APC, "எழுத்து" கலை. 84 சிவில் நடைமுறைக் குறியீடு.

படம் 2 நீதித்துறையில் தகவல் வகைகளுக்கான அணுகுமுறைகளை உருவாக்குவதற்கான வரைபடத்தை வழங்குகிறது.

அரிசி. 2. ஆதாரம் இங்கே.

மேலே உள்ள "வழிகாட்டுதல்" பணிகளுக்கான படம் 3 இன் பொறிமுறையை படம் 1 காட்டுகிறது. ஒரு ஒப்பீடு செய்வதன் மூலம், தகவல் அமைப்புகளுக்கான நவீன தரநிலைகளில் தகவல் ஒருமைப்பாட்டிற்கான தேவைகளைப் பூர்த்தி செய்யும் போது பயன்படுத்தப்படும் அணுகுமுறைகள் தகவலின் சட்டக் கருத்துடன் ஒப்பிடுகையில் கணிசமாக குறைவாக இருப்பதைக் காண்பது எளிது.

படம். 3

குறிப்பிடப்பட்ட ஆவணத்தில் (வழிகாட்டுதல்), தொழில்நுட்ப பகுதிக்கான இணைப்பு, தரவை செயலாக்க மற்றும் சேமிப்பதற்கான திறன்கள், அத்தியாயம் 18.2 இன் மேற்கோள் மூலம் நன்கு உறுதிப்படுத்தப்பட்டுள்ளது. தொடர்புடைய தரவுத்தளம்: "தரவு மற்றும் மெட்டாடேட்டா இடையேயான தொடர்பைப் பாதுகாக்கும் ஒரு பெரிய கோப்பு வடிவத்தில் தரவு வைக்கப்படுவதால், இந்தக் கோப்பு அமைப்பு இயல்பாகவே மிகவும் பாதுகாப்பானது."

உண்மையில், இந்த அணுகுமுறையில் - தற்போதுள்ள தொழில்நுட்ப திறன்களிலிருந்து, அசாதாரணமானது எதுவும் இல்லை, மேலும் இது ஒரு இயற்கையான செயல்முறையாகும், ஏனெனில் கருத்துக்களின் விரிவாக்கம் மிகவும் ஆய்வு செய்யப்பட்ட செயல்பாட்டிலிருந்து வருகிறது - தரவுத்தள வடிவமைப்பு. ஆனால், மறுபுறம், தற்போதுள்ள அமைப்புகளின் தொழில்நுட்ப திறன்களில் தள்ளுபடியை வழங்காத சட்ட விதிமுறைகள் தோன்றும், எடுத்துக்காட்டாக: GDPR - பொது தரவு பாதுகாப்பு ஒழுங்குமுறை.

அரிசி. 4. தொழில்நுட்ப திறன்களின் புனல் (மூல).

இந்த அம்சங்களில், அசல் தரவுத்தொகுப்பு (படம் 1) முதலில் சேமிக்கப்பட வேண்டும், இரண்டாவதாக, அதிலிருந்து கூடுதல் தகவல்களைப் பிரித்தெடுப்பதற்கான அடிப்படையாக இருக்க வேண்டும் என்பது தெளிவாகிறது. சரி, உதாரணமாக: போக்குவரத்து விதிகளை பதிவு செய்யும் கேமராக்கள் எங்கும் உள்ளன, தகவல் செயலாக்க அமைப்புகள் மீறுபவர்களை களையெடுக்கின்றன, ஆனால் பிற தகவல்களும் மற்ற நுகர்வோருக்கு வழங்கப்படலாம், எடுத்துக்காட்டாக, ஒரு ஷாப்பிங் சென்டருக்கு வாடிக்கையாளர்களின் ஓட்டத்தின் கட்டமைப்பை சந்தைப்படுத்தல் கண்காணிப்பு. மேலும் இது BigDat ஐப் பயன்படுத்தும் போது கூடுதல் கூடுதல் மதிப்பின் மூலமாகும். இப்போது சேகரிக்கப்படும் தரவுத்தொகுப்புகள், எதிர்காலத்தில் எங்காவது, தற்போதைய நேரத்தில் 1700 இன் அரிய பதிப்புகளின் மதிப்பைப் போன்ற ஒரு பொறிமுறையின்படி மதிப்பைக் கொண்டிருக்கும். எல்லாவற்றிற்கும் மேலாக, உண்மையில், தற்காலிக தரவுத்தொகுப்புகள் தனித்துவமானது மற்றும் எதிர்காலத்தில் மீண்டும் மீண்டும் செய்யப்பட வாய்ப்பில்லை.

3. அறிமுக பகுதி. மதிப்பீட்டு அளவுகோல்கள்

செயலாக்க செயல்பாட்டின் போது, ​​பிழைகளின் பின்வரும் வகைப்பாடு உருவாக்கப்பட்டது.

1. பிழை வகுப்பு (GOST R 8.736-2011 அடிப்படையில்): a) முறையான பிழைகள்; b) சீரற்ற பிழைகள்; c) ஒரு தவறு.

2. பெருக்கல் மூலம்: a) மோனோ சிதைவு; b) பல சிதைவு.

3. விளைவுகளின் விமர்சனத்தின் படி: a) விமர்சனம்; b) விமர்சனம் இல்லை.

4. நிகழ்வின் மூலம்:

A) தொழில்நுட்ப - உபகரணங்களின் செயல்பாட்டின் போது ஏற்படும் பிழைகள். IoT அமைப்புகளுக்கு மிகவும் பொருத்தமான பிழை, தகவல்தொடர்பு, உபகரணங்கள் (வன்பொருள்) தரத்தில் குறிப்பிடத்தக்க அளவு செல்வாக்கு கொண்ட அமைப்புகள்.

ஆ) ஆபரேட்டர் பிழைகள் - உள்ளீட்டின் போது ஆபரேட்டர் எழுத்துப் பிழைகள் முதல் தரவுத்தள வடிவமைப்பிற்கான தொழில்நுட்ப விவரக்குறிப்புகளில் உள்ள பிழைகள் வரை பரவலான பிழைகள்.

C) பயனர் பிழைகள் - "தளவமைப்பை மாற்ற மறந்துவிட்டீர்கள்" முதல் கால்களை தவறாகப் புரிந்துகொள்வது வரையிலான பயனர் பிழைகள் இங்கே உள்ளன.

5. தனி வகுப்பாக பிரிக்கப்பட்டது:

a) "பிரிப்பான் பணி", அதாவது இடம் மற்றும் ":" (எங்கள் விஷயத்தில்) அது நகலெடுக்கப்பட்ட போது;
b) ஒன்றாக எழுதப்பட்ட வார்த்தைகள்;
c) சேவை எழுத்துகளுக்குப் பிறகு இடம் இல்லை
ஈ) சமச்சீர் பல குறியீடுகள்: (), "", "...".

படம் 5 இல் வழங்கப்பட்ட தரவுத்தள பிழைகளை முறைப்படுத்துவதன் மூலம் ஒன்றாக எடுத்துக்கொண்டால், பிழைகளைத் தேடுவதற்கும் இந்த எடுத்துக்காட்டில் தரவு சுத்தம் செய்யும் வழிமுறையை உருவாக்குவதற்கும் மிகவும் பயனுள்ள ஒருங்கிணைப்பு அமைப்பு உருவாகிறது.

அரிசி. 5. தரவுத்தளத்தின் கட்டமைப்பு அலகுகளுடன் தொடர்புடைய வழக்கமான பிழைகள் (ஆதாரம்: ஓரேஷ்கோவ் வி.ஐ., பாக்லின் என்.பி. "தரவு ஒருங்கிணைப்பின் முக்கிய கருத்துக்கள்").

துல்லியம், டொமைன் ஒருமைப்பாடு, தரவு வகை, நிலைத்தன்மை, பணிநீக்கம், முழுமை, நகல், வணிக விதிகளுக்கு இணங்குதல், கட்டமைப்பு உறுதிப்பாடு, தரவு ஒழுங்கின்மை, தெளிவு, சரியான நேரத்தில், தரவு ஒருமைப்பாடு விதிகளுக்கு இணங்குதல். (பக்கம் 334. தகவல் தொழில்நுட்ப வல்லுநர்களுக்கான தரவுக் கிடங்கு அடிப்படைகள் / பால்ராஜ் பொன்னையா.-2வது பதிப்பு.)

ஆங்கில வார்த்தைகள் மற்றும் ரஷ்ய இயந்திர மொழிபெயர்ப்பு அடைப்புக்குறிக்குள் வழங்கப்பட்டது.

துல்லியம். தரவு உறுப்புக்கான கணினியில் சேமிக்கப்பட்ட மதிப்பு தரவு உறுப்புக்கான சரியான மதிப்பாகும். உங்களிடம் வாடிக்கையாளர் பெயர் மற்றும் முகவரி பதிவில் சேமிக்கப்பட்டிருந்தால், அந்த பெயருடன் வாடிக்கையாளரின் முகவரியே சரியான முகவரியாகும். ஆர்டர் எண் 1000க்கான பதிவேட்டில் 12345678 யூனிட்களாக ஆர்டர் செய்யப்பட்ட அளவைக் கண்டால், அந்த ஆர்டருக்கான துல்லியமான அளவே அந்த அளவு இருக்கும்.
[துல்லியம். தரவு உறுப்புக்கான கணினியில் சேமிக்கப்பட்ட மதிப்பு தரவு உறுப்புக்கான சரியான மதிப்பாகும். உங்களிடம் வாடிக்கையாளர் பெயர் மற்றும் முகவரி பதிவில் சேமிக்கப்பட்டிருந்தால், அந்த பெயருடன் வாடிக்கையாளரின் முகவரியே சரியான முகவரியாகும். ஆர்டர் எண் 1000க்கான பதிவேட்டில் 12345678 யூனிட்களாக ஆர்டர் செய்யப்பட்ட அளவைக் கண்டால், அந்த ஆர்டருக்கான சரியான அளவே அந்த அளவாகும்.]

டொமைன் ஒருமைப்பாடு. ஒரு பண்புக்கூறின் தரவு மதிப்பு அனுமதிக்கப்பட்ட, வரையறுக்கப்பட்ட மதிப்புகளின் வரம்பில் விழுகிறது. பொதுவான உதாரணம், பாலின தரவு உறுப்புக்கான அனுமதிக்கப்பட்ட மதிப்புகள் "ஆண்" மற்றும் "பெண்" ஆகும்.
[டொமைன் ஒருமைப்பாடு. பண்புக்கூறு தரவு மதிப்பு செல்லுபடியாகும், வரையறுக்கப்பட்ட மதிப்புகளின் வரம்பிற்குள் வரும். ஒரு பொதுவான உதாரணம் பாலின தரவு உறுப்புக்கான செல்லுபடியாகும் மதிப்புகள் "ஆண்" மற்றும் "பெண்".]

தரவு வகை. தரவு பண்புக்கூறுக்கான மதிப்பு உண்மையில் அந்த பண்புக்கூறுக்கு வரையறுக்கப்பட்ட தரவு வகையாக சேமிக்கப்படுகிறது. ஸ்டோர் பெயர் புலத்தின் தரவு வகை "உரை" என வரையறுக்கப்பட்டால், அந்த புலத்தின் அனைத்து நிகழ்வுகளும் உரை வடிவத்தில் காட்டப்படும் ஸ்டோர் பெயரைக் கொண்டிருக்கும், எண் குறியீடுகள் அல்ல.
[தரவு வகை. தரவு பண்புக்கூறின் மதிப்பு உண்மையில் அந்த பண்புக்கூறுக்கு வரையறுக்கப்பட்ட தரவு வகையாக சேமிக்கப்படுகிறது. ஸ்டோர் பெயர் புல தரவு வகை "உரை" என வரையறுக்கப்பட்டால், இந்த புலத்தின் அனைத்து நிகழ்வுகளும் எண் குறியீடுகளுக்கு பதிலாக உரை வடிவத்தில் காட்டப்படும் கடையின் பெயரைக் கொண்டிருக்கும்.]

நிலைத்தன்மையும். தரவு புலத்தின் வடிவம் மற்றும் உள்ளடக்கம் பல மூல அமைப்புகளில் ஒரே மாதிரியாக இருக்கும். ஒரு அமைப்பில் தயாரிப்பு ஏபிசிக்கான தயாரிப்புக் குறியீடு 1234 ஆக இருந்தால், ஒவ்வொரு மூல அமைப்பிலும் இந்தத் தயாரிப்பிற்கான குறியீடு 1234 ஆக இருக்கும்.
[நிலைத்தன்மையும். தரவு புலத்தின் வடிவம் மற்றும் உள்ளடக்கம் வெவ்வேறு மூல அமைப்புகளில் ஒரே மாதிரியாக இருக்கும். ஒரு கணினியில் தயாரிப்பு ABCக்கான தயாரிப்புக் குறியீடு 1234 ஆக இருந்தால், ஒவ்வொரு மூல அமைப்பிலும் அந்தத் தயாரிப்பின் குறியீடு 1234 ஆக இருக்கும்.]

பணிநீக்கம். ஒரே தரவு ஒரு கணினியில் ஒன்றுக்கு மேற்பட்ட இடங்களில் சேமிக்கப்படக்கூடாது. செயல்திறன் காரணங்களுக்காக, ஒரு தரவு உறுப்பு வேண்டுமென்றே ஒரு கணினியில் ஒன்றுக்கு மேற்பட்ட இடங்களில் சேமிக்கப்பட்டால், பணிநீக்கம் தெளிவாகக் கண்டறியப்பட்டு சரிபார்க்கப்பட வேண்டும்.
[பணிநீக்கம். ஒரே தரவை கணினியில் ஒன்றுக்கு மேற்பட்ட இடங்களில் சேமிக்கக்கூடாது. செயல்திறன் காரணங்களுக்காக, ஒரு தரவு உறுப்பு வேண்டுமென்றே ஒரு கணினியில் பல இடங்களில் சேமிக்கப்பட்டால், பணிநீக்கம் தெளிவாக வரையறுக்கப்பட்டு சரிபார்க்கப்பட வேண்டும்.]

முழுமை. கணினியில் கொடுக்கப்பட்ட பண்புக்கூறுக்கு மதிப்புகள் எதுவும் இல்லை. எடுத்துக்காட்டாக, வாடிக்கையாளர் கோப்பில், ஒவ்வொரு வாடிக்கையாளருக்கும் "நிலை" புலத்திற்கான சரியான மதிப்பு இருக்க வேண்டும். ஆர்டர் விவரங்களுக்கான கோப்பில், ஆர்டருக்கான ஒவ்வொரு விவரப் பதிவும் முழுமையாக நிரப்பப்பட வேண்டும்.
[முழுமை. இந்த பண்புக்கூறுக்கான கணினியில் மதிப்புகள் எதுவும் இல்லை. எடுத்துக்காட்டாக, கிளையன்ட் கோப்பு ஒவ்வொரு கிளையண்டிற்கும் "நிலை" புலத்திற்கான சரியான மதிப்பைக் கொண்டிருக்க வேண்டும். ஆர்டர் விவரக் கோப்பில், ஒவ்வொரு ஆர்டர் விவரப் பதிவும் முழுமையாக முடிக்கப்பட வேண்டும்.]

நகல். ஒரு கணினியில் பதிவுகளின் நகல் முற்றிலும் தீர்க்கப்படுகிறது. தயாரிப்புக் கோப்பில் நகல் பதிவுகள் இருப்பதாகத் தெரிந்தால், ஒவ்வொரு தயாரிப்புக்கான அனைத்து நகல் பதிவுகளும் அடையாளம் காணப்பட்டு குறுக்கு குறிப்பு உருவாக்கப்படும்.
[நகல். கணினியில் உள்ள பதிவுகளின் நகல் முற்றிலும் அகற்றப்பட்டது. ஒரு தயாரிப்புக் கோப்பில் நகல் உள்ளீடுகள் இருப்பதாகத் தெரிந்தால், ஒவ்வொரு தயாரிப்புக்கான அனைத்து நகல் உள்ளீடுகளும் அடையாளம் காணப்பட்டு குறுக்கு குறிப்பு உருவாக்கப்படும்.]

வணிக விதிகளுக்கு இணங்குதல். ஒவ்வொரு தரவு உருப்படியின் மதிப்புகளும் பரிந்துரைக்கப்பட்ட வணிக விதிகளுக்கு இணங்குகின்றன. ஏல முறையில், சுத்தியல் அல்லது விற்பனை விலை இருப்பு விலையை விட குறைவாக இருக்கக்கூடாது. வங்கிக் கடன் அமைப்பில், கடன் இருப்பு எப்போதும் நேர்மறையாகவோ அல்லது பூஜ்ஜியமாகவோ இருக்க வேண்டும்.
[வணிக விதிகளுக்கு இணங்குதல். ஒவ்வொரு தரவு உறுப்புகளின் மதிப்புகள் நிறுவப்பட்ட வணிக விதிகளுக்கு இணங்குகின்றன. ஏல முறையில், சுத்தியல் அல்லது விற்பனை விலை இருப்பு விலையை விட குறைவாக இருக்கக்கூடாது. வங்கிக் கடன் அமைப்பில், கடன் இருப்பு எப்போதும் நேர்மறையாகவோ அல்லது பூஜ்ஜியமாகவோ இருக்க வேண்டும்.]

கட்டமைப்பு உறுதிப்பாடு. ஒரு தரவு உருப்படியை இயற்கையாகவே தனிப்பட்ட கூறுகளாக கட்டமைக்க முடியுமானால், உருப்படியானது இந்த நன்கு வரையறுக்கப்பட்ட கட்டமைப்பைக் கொண்டிருக்க வேண்டும். எடுத்துக்காட்டாக, ஒரு நபரின் பெயர் இயற்கையாகவே முதல் பெயர், நடுத்தர ஆரம்பம் மற்றும் கடைசி பெயர் என பிரிக்கப்படுகிறது. தனிநபர்களின் பெயர்களுக்கான மதிப்புகள் முதல் பெயர், நடுத்தர ஆரம்ப மற்றும் கடைசி பெயர் என சேமிக்கப்பட வேண்டும். தரவுத் தரத்தின் இந்தப் பண்பு தரநிலைகளைச் செயல்படுத்துவதை எளிதாக்குகிறது மற்றும் விடுபட்ட மதிப்புகளைக் குறைக்கிறது.
[கட்டமைப்பு உறுதி. ஒரு தரவு உறுப்பு இயற்கையாகவே தனிப்பட்ட கூறுகளாக கட்டமைக்கப்படும்போது, ​​உறுப்பு இந்த நன்கு வரையறுக்கப்பட்ட கட்டமைப்பைக் கொண்டிருக்க வேண்டும். உதாரணமாக, ஒரு நபரின் பெயர் இயற்கையாகவே முதல் பெயர், நடுத்தர ஆரம்பம் மற்றும் கடைசி பெயர் என பிரிக்கப்பட்டுள்ளது. தனிப்பட்ட பெயர்களுக்கான மதிப்புகள் முதல் பெயர், நடுத்தர ஆரம்ப மற்றும் கடைசி பெயர் என சேமிக்கப்பட வேண்டும். இந்தத் தரவுத் தரப் பண்பு தரநிலைகளின் பயன்பாட்டை எளிதாக்குகிறது மற்றும் விடுபட்ட மதிப்புகளைக் குறைக்கிறது.]

தரவு ஒழுங்கின்மை. ஒரு புலம் வரையறுக்கப்பட்ட நோக்கத்திற்காக மட்டுமே பயன்படுத்தப்பட வேண்டும். புலம் முகவரி-3 நீண்ட முகவரிகளுக்கான சாத்தியமான மூன்றாவது வரி முகவரிக்கு வரையறுக்கப்பட்டால், இந்த புலம் மூன்றாவது வரி முகவரியைப் பதிவு செய்ய மட்டுமே பயன்படுத்தப்பட வேண்டும். வாடிக்கையாளருக்கான தொலைபேசி அல்லது தொலைநகல் எண்ணை உள்ளிடுவதற்கு இதைப் பயன்படுத்தக்கூடாது.
[தரவு ஒழுங்கின்மை. ஒரு புலம் அது வரையறுக்கப்பட்ட நோக்கத்திற்காக மட்டுமே பயன்படுத்தப்பட வேண்டும். முகவரி-3 புலம் நீண்ட முகவரிகளுக்கான சாத்தியமான மூன்றாவது முகவரி வரிக்கு வரையறுக்கப்பட்டால், இந்த புலம் மூன்றாவது முகவரி வரியை பதிவு செய்ய மட்டுமே பயன்படுத்தப்படும். வாடிக்கையாளருக்கான தொலைபேசி அல்லது தொலைநகல் எண்ணை உள்ளிடுவதற்கு இதைப் பயன்படுத்தக்கூடாது.]

தெளிவு. ஒரு தரவு உறுப்பு தரமான தரவின் மற்ற எல்லா பண்புகளையும் கொண்டிருக்கலாம் ஆனால் பயனர்கள் அதன் அர்த்தத்தை தெளிவாக புரிந்து கொள்ளவில்லை என்றால், தரவு உறுப்பு பயனர்களுக்கு மதிப்பு இல்லை. சரியான பெயரிடும் மரபுகள் தரவு கூறுகளை பயனர்கள் நன்கு புரிந்து கொள்ள உதவுகின்றன.
[தெளிவு. ஒரு தரவு உறுப்பு நல்ல தரவின் மற்ற எல்லா பண்புகளையும் கொண்டிருக்கலாம், ஆனால் பயனர்கள் அதன் அர்த்தத்தை தெளிவாக புரிந்து கொள்ளவில்லை என்றால், தரவு உறுப்பு பயனர்களுக்கு மதிப்பு இல்லை. சரியான பெயரிடும் மரபுகள் தரவு கூறுகளை பயனர்கள் நன்கு புரிந்துகொள்ள உதவுகின்றன.]

சரியான நேரத்தில். பயனர்கள் தரவின் நேரத்தை தீர்மானிக்கிறார்கள். வாடிக்கையாளர் பரிமாணத் தரவு ஒரு நாளுக்கு மேல் பழையதாக இருக்கக் கூடாது என்று பயனர்கள் எதிர்பார்க்கும் பட்சத்தில், மூல அமைப்புகளில் வாடிக்கையாளர் தரவுகளில் ஏற்படும் மாற்றங்கள் தினசரி தரவுக் கிடங்கில் பயன்படுத்தப்பட வேண்டும்.
[உரிய காலத்தில். பயனர்கள் தரவின் நேரத்தை தீர்மானிக்கிறார்கள். வாடிக்கையாளர் பரிமாணத் தரவு ஒரு நாளுக்கு மேல் பழையதாக இருக்காது எனப் பயனர்கள் எதிர்பார்த்தால், மூல அமைப்புகளில் வாடிக்கையாளர் தரவுகளில் மாற்றங்கள் தினசரி அடிப்படையில் தரவுக் கிடங்கில் பயன்படுத்தப்பட வேண்டும்.]

பயன். தரவுக் கிடங்கில் உள்ள ஒவ்வொரு தரவு உறுப்பும் பயனர்களின் சேகரிப்பின் சில தேவைகளைப் பூர்த்தி செய்ய வேண்டும். ஒரு தரவு உறுப்பு துல்லியமாகவும் உயர்தரமாகவும் இருக்கலாம், ஆனால் அது பயனாளர்களுக்கு மதிப்பு இல்லை என்றால், அந்த தரவு உறுப்பு தரவுக் கிடங்கில் இருப்பது முற்றிலும் தேவையற்றது.
[பயன்பாடு. தரவு சேமிப்பகத்தில் உள்ள ஒவ்வொரு தரவு உருப்படியும் பயனர் சேகரிப்பின் சில தேவைகளைப் பூர்த்தி செய்ய வேண்டும். ஒரு தரவு உறுப்பு துல்லியமாகவும் உயர் தரமாகவும் இருக்கலாம், ஆனால் அது பயனர்களுக்கு மதிப்பை வழங்கவில்லை என்றால், அந்த தரவு உறுப்பு தரவுக் கிடங்கில் இருக்க வேண்டிய அவசியமில்லை.]

தரவு ஒருமைப்பாடு விதிகளுக்கு இணங்குதல். மூல அமைப்புகளின் தொடர்புடைய தரவுத்தளங்களில் சேமிக்கப்படும் தரவு, நிறுவன ஒருமைப்பாடு மற்றும் குறிப்பு ஒருமைப்பாடு விதிகளுக்கு இணங்க வேண்டும். பூஜ்யத்தை முதன்மை விசையாக அனுமதிக்கும் எந்த அட்டவணையும் உட்பொருளின் ஒருமைப்பாட்டைக் கொண்டிருக்காது. குறிப்பு ஒருமைப்பாடு பெற்றோர்-குழந்தை உறவுகளை சரியாக நிறுவுகிறது. வாடிக்கையாளர்-க்கு-வரிசை உறவில், தரவுத்தளத்தில் உள்ள ஒவ்வொரு ஆர்டருக்கும் ஒரு வாடிக்கையாளரின் இருப்பை ரெஃபரன்ஷியல் ஒருமைப்பாடு உறுதி செய்கிறது.
[தரவு ஒருமைப்பாடு விதிகளுக்கு இணங்குதல். மூல அமைப்புகளின் தொடர்புடைய தரவுத்தளங்களில் சேமிக்கப்படும் தரவு, நிறுவன ஒருமைப்பாடு மற்றும் குறிப்பு ஒருமைப்பாடு விதிகளுக்கு இணங்க வேண்டும். பூஜ்யத்தை முதன்மை விசையாக அனுமதிக்கும் எந்த அட்டவணையும் உட்பொருளின் ஒருமைப்பாட்டைக் கொண்டிருக்கவில்லை. குறிப்பு ஒருமைப்பாடு பெற்றோருக்கும் குழந்தைகளுக்கும் இடையிலான உறவை சரியாக நிறுவும்படி கட்டாயப்படுத்துகிறது. வாடிக்கையாளர்-வரிசை உறவில், தரவுத்தளத்தில் உள்ள ஒவ்வொரு ஆர்டருக்கும் ஒரு வாடிக்கையாளர் இருப்பதைக் குறிப்பு ஒருமைப்பாடு உறுதி செய்கிறது.]

4. தரவு சுத்தம் செய்யும் தரம்

பிக்டேட்டாவில் டேட்டா கிளீனிங்கின் தரம் மிகவும் சிக்கலான சிக்கலாக உள்ளது. பணியை முடிக்க எந்த அளவு தரவு சுத்தம் அவசியம் என்ற கேள்விக்கு பதிலளிப்பது ஒவ்வொரு தரவு ஆய்வாளருக்கும் அடிப்படையாகும். பெரும்பாலான தற்போதைய சிக்கல்களில், ஒவ்வொரு ஆய்வாளரும் இதைத் தானே தீர்மானிக்கிறார், மேலும் வெளியில் இருந்து எவரும் தனது தீர்வில் இந்த அம்சத்தை மதிப்பிடுவது சாத்தியமில்லை. ஆனால் இந்த வழக்கில் உள்ள பணிக்கு, இந்த சிக்கல் மிகவும் முக்கியமானது, ஏனெனில் சட்டத் தரவின் நம்பகத்தன்மை ஒன்று இருக்க வேண்டும்.

செயல்பாட்டு நம்பகத்தன்மையை தீர்மானிக்க மென்பொருள் சோதனை தொழில்நுட்பங்களை கருத்தில் கொள்கிறது. இன்று இந்த மாதிரிகள் அதிகமாக உள்ளன 200. பல மாதிரிகள் உரிமைகோரல் சேவை மாதிரியைப் பயன்படுத்துகின்றன:

படம். 6

பின்வருமாறு சிந்திப்பது: "கண்டுபிடிக்கப்பட்ட பிழையானது இந்த மாதிரியில் தோல்வி நிகழ்வுக்கு ஒத்த நிகழ்வாக இருந்தால், t அளவுருவின் அனலாக்ஸை எவ்வாறு கண்டுபிடிப்பது?" நான் பின்வரும் மாதிரியைத் தொகுத்தேன்: ஒரு பதிவைச் சரிபார்க்க ஒரு சோதனையாளர் எடுக்கும் நேரம் 1 நிமிடம் (கேள்விக்குரிய தரவுத்தளத்திற்கு), பின்னர் அனைத்து பிழைகளையும் கண்டுபிடிக்க அவருக்கு 365 நிமிடங்கள் தேவைப்படும், இது தோராயமாக 494 ஆண்டுகள் மற்றும் 3 ஆகும். வேலை நேரம் மாதங்கள். நாம் புரிந்து கொண்டபடி, இது மிகப் பெரிய அளவு வேலை மற்றும் தரவுத்தளத்தை சரிபார்க்கும் செலவுகள் இந்த தரவுத்தளத்தின் தொகுப்பாளருக்கு தடைசெய்யும். இந்த பிரதிபலிப்பில், செலவுகளின் பொருளாதார கருத்து தோன்றுகிறது மற்றும் பகுப்பாய்வுக்குப் பிறகு இது மிகவும் பயனுள்ள கருவி என்ற முடிவுக்கு வந்தேன். பொருளாதாரச் சட்டத்தின் அடிப்படையில்: “ஒரு நிறுவனத்தின் அதிகபட்ச லாபத்தை அடையும் உற்பத்தியின் அளவு (அலகுகளில்) ஒரு புதிய யூனிட் வெளியீட்டை உற்பத்தி செய்வதற்கான விளிம்புச் செலவை இந்த நிறுவனம் பெறக்கூடிய விலையுடன் ஒப்பிடும் இடத்தில் அமைந்துள்ளது. ஒரு புதிய அலகுக்கு." ஒவ்வொரு அடுத்தடுத்த பிழையையும் கண்டுபிடிப்பதற்கு பதிவுகளை மேலும் மேலும் சரிபார்க்க வேண்டும் என்ற அனுமானத்தின் அடிப்படையில், இது ஒரு செலவுக் காரணியாகும். அதாவது, சோதனை மாதிரிகளில் ஏற்றுக்கொள்ளப்பட்ட போஸ்டுலேட் பின்வரும் வடிவத்தில் ஒரு இயற்பியல் பொருளைப் பெறுகிறது: i-th பிழையைக் கண்டுபிடிக்க n பதிவுகளைச் சரிபார்க்க வேண்டியது அவசியம், பின்னர் அடுத்த (i+3) பிழையைக் கண்டறிய அது அவசியமாக இருக்கும். m பதிவுகளை சரிபார்க்கவும் அதே நேரத்தில் n<m. சோதனை மாதிரிகளில், இந்த போஸ்டுலேட் முக்கியமாக கண்டுபிடிக்கப்பட்ட பிழைகள் பதிவு செய்யப்பட வேண்டும், ஆனால் சரிசெய்யப்படாமல் இருக்க வேண்டும், இதனால் மென்பொருள் அதன் இயல்பான நிலையில் சோதிக்கப்படுகிறது, அதாவது தோல்விகளின் ஓட்டம் சீரானது. அதன்படி, எங்கள் விஷயத்தில், பதிவுகளைச் சரிபார்ப்பது ஒருமைப்பாட்டிற்கான இரண்டு விருப்பங்களை வெளிப்படுத்தலாம்:

1. புதிய பிழை கண்டறியப்படுவதற்கு முன் சரிபார்க்கப்பட்ட பதிவுகளின் எண்ணிக்கை உறுதிப்படுத்தப்படும் போது;
2. அடுத்த பிழையை கண்டுபிடிப்பதற்கு முன் சரிபார்க்கப்பட்ட பதிவுகளின் எண்ணிக்கை அதிகரிக்கும்.

முக்கியமான மதிப்பைத் தீர்மானிக்க, நான் பொருளாதார சாத்தியக்கூறு என்ற கருத்துக்கு திரும்பினேன், இந்த விஷயத்தில், சமூக செலவுகள் என்ற கருத்தைப் பயன்படுத்தி, பின்வருமாறு வகுக்க முடியும்: "பிழையை சரிசெய்வதற்கான செலவுகளை பொருளாதார முகவர் ஏற்க வேண்டும். மிகக் குறைந்த செலவில்." எங்களிடம் ஒரு முகவர் இருக்கிறார் - ஒரு பதிவைச் சரிபார்க்க 1 நிமிடம் செலவிடும் சோதனையாளர். பண அடிப்படையில், நீங்கள் ஒரு நாளைக்கு 6000 ரூபிள் சம்பாதித்தால், இது 12,2 ரூபிள் ஆகும். (தோராயமாக இன்று). பொருளாதாரச் சட்டத்தில் சமநிலையின் இரண்டாவது பக்கத்தை தீர்மானிக்க இது உள்ளது. நான் இப்படி நியாயப்படுத்தினேன். ஏற்கனவே உள்ள பிழையானது, அதைச் சரிசெய்ய சம்பந்தப்பட்ட நபர், அதாவது சொத்தின் உரிமையாளர் முயற்சி செய்ய வேண்டும். இதற்கு 1 நாள் நடவடிக்கை தேவை என்று வைத்துக்கொள்வோம் (விண்ணப்பத்தைச் சமர்ப்பிக்கவும், திருத்தப்பட்ட ஆவணத்தைப் பெறவும்). பின்னர், ஒரு சமூகக் கண்ணோட்டத்தில், அவரது செலவுகள் ஒரு நாளைக்கு சராசரி சம்பளத்திற்கு சமமாக இருக்கும். கான்டி-மான்சி தன்னாட்சி ஓக்ரூக்கில் சராசரியாக திரட்டப்பட்ட சம்பளம் "2019 ஜனவரி-செப்டம்பர் மாதத்திற்கான காந்தி-மான்சிஸ்க் தன்னாட்சி ஓக்ரக் - உக்ராவின் சமூக-பொருளாதார வளர்ச்சியின் முடிவுகள்" 73285 ரப். அல்லது 3053,542 ரூபிள் / நாள். அதன்படி, இதற்கு சமமான முக்கியமான மதிப்பைப் பெறுகிறோம்:
3053,542: 12,2 = 250,4 அலகுகள் பதிவுகள்.

இதன் பொருள், சமூகக் கண்ணோட்டத்தில், ஒரு சோதனையாளர் 251 பதிவுகளைச் சரிபார்த்து, ஒரு பிழையைக் கண்டறிந்தால், அது பயனர் இந்த பிழையை சரிசெய்ததற்கு சமம். அதன்படி, சோதனையாளர் அடுத்த பிழையைக் கண்டறிய 252 பதிவுகளைச் சரிபார்ப்பதற்கு சமமான நேரத்தை செலவிட்டால், இந்த விஷயத்தில் திருத்தத்திற்கான செலவை பயனருக்கு மாற்றுவது நல்லது.

ஒரு எளிமையான அணுகுமுறை இங்கே வழங்கப்படுகிறது, ஏனெனில் ஒரு சமூகக் கண்ணோட்டத்தில் ஒவ்வொரு நிபுணரால் உருவாக்கப்பட்ட அனைத்து கூடுதல் மதிப்பையும் கணக்கில் எடுத்துக்கொள்வது அவசியம், அதாவது வரி மற்றும் சமூக கொடுப்பனவுகள் உட்பட செலவுகள், ஆனால் மாதிரி தெளிவாக உள்ளது. இந்த உறவின் விளைவாக, நிபுணர்களுக்கான பின்வரும் தேவைகள்: IT துறையில் உள்ள ஒரு நிபுணர் தேசிய சராசரியை விட அதிகமாக சம்பளம் பெற்றிருக்க வேண்டும். சாத்தியமான தரவுத்தள பயனர்களின் சராசரி சம்பளத்தை விட அவரது சம்பளம் குறைவாக இருந்தால், அவர் முழு தரவுத்தளத்தையும் கைகோர்த்து சரிபார்க்க வேண்டும்.

விவரிக்கப்பட்ட அளவுகோலைப் பயன்படுத்தும் போது, ​​தரவுத்தளத்தின் தரத்திற்கான முதல் தேவை உருவாகிறது:
நான்(tr). முக்கியமான பிழைகளின் பங்கு 1/250,4 = 0,39938% ஐ விட அதிகமாக இருக்கக்கூடாது. விட சற்று குறைவு சுத்திகரிப்பு தொழிலில் தங்கம். இயற்பியல் அடிப்படையில் 1459 பதிவுகளுக்கு மேல் பிழைகள் இல்லை.

பொருளாதார பின்வாங்கல்.

உண்மையில், பதிவுகளில் இதுபோன்ற பல பிழைகளைச் செய்வதன் மூலம், சமூகம் பொருளாதார இழப்புகளுக்கு ஒப்புக்கொள்கிறது:

1459*3053,542 = 4 ரூபிள்.

இந்தச் செலவுகளைக் குறைப்பதற்கான கருவிகள் சமூகத்திடம் இல்லை என்பதன் மூலம் இந்தத் தொகை நிர்ணயிக்கப்படுகிறது. பிழைகள் உள்ள பதிவுகளின் எண்ணிக்கையை எடுத்துக்காட்டாக, 259 ஆகக் குறைக்க யாரோ ஒரு தொழில்நுட்பத்தை வைத்திருந்தால், இது சமூகத்தைச் சேமிக்க அனுமதிக்கும்:
1200*3053,542 = 3 ரூபிள்.

ஆனால் அதே நேரத்தில், அவர் தனது திறமையையும் வேலையையும் கேட்கலாம், சரி, சொல்லலாம் - 1 மில்லியன் ரூபிள்.
அதாவது, சமூக செலவுகள் குறைக்கப்படுகின்றன:

3 - 664 = 250 ரூபிள்.

சாராம்சத்தில், இந்த விளைவு BigDat தொழில்நுட்பங்களின் பயன்பாட்டிலிருந்து கூடுதல் மதிப்பாகும்.

ஆனால் இங்கே இது ஒரு சமூக விளைவு என்பதை கணக்கில் எடுத்துக்கொள்ள வேண்டும், மேலும் தரவுத்தளத்தின் உரிமையாளர் நகராட்சி அதிகாரிகள், இந்த தரவுத்தளத்தில் பதிவுசெய்யப்பட்ட சொத்தைப் பயன்படுத்துவதன் மூலம் அவர்களின் வருமானம் 0,3% வீதம்: 2,778 பில்லியன் ரூபிள்/ ஆண்டு. இந்த செலவுகள் (4 ரூபிள்) அவரை அதிகம் தொந்தரவு செய்யவில்லை, ஏனெனில் அவை சொத்து உரிமையாளர்களுக்கு மாற்றப்படுகின்றன. மேலும், இந்த அம்சத்தில், பிக்டேட்டாவில் அதிக சுத்திகரிப்பு தொழில்நுட்பங்களை உருவாக்குபவர், இந்த தரவுத்தளத்தின் உரிமையாளரை நம்ப வைக்கும் திறனைக் காட்ட வேண்டும், மேலும் இதுபோன்ற விஷயங்களுக்கு கணிசமான திறமை தேவைப்படுகிறது.

இந்த எடுத்துக்காட்டில், நம்பகத்தன்மை சோதனையின் போது மென்பொருள் சரிபார்ப்பின் ஷூமன் மாதிரி [2] அடிப்படையில் பிழை மதிப்பீட்டு வழிமுறை தேர்ந்தெடுக்கப்பட்டது. இணையத்தில் அதன் பரவல் மற்றும் தேவையான புள்ளிவிவர குறிகாட்டிகளைப் பெறுவதற்கான திறன் காரணமாக. இந்த முறை Monakhov Yu.M இலிருந்து எடுக்கப்பட்டது. "தகவல் அமைப்புகளின் செயல்பாட்டு நிலைத்தன்மை", படத்தில் ஸ்பாய்லரின் கீழ் பார்க்கவும். 7-9.

அரிசி. 7 - 9 ஷூமான் மாதிரியின் முறை





இந்த பொருளின் இரண்டாம் பகுதி தரவு சுத்தம் செய்வதற்கான ஒரு உதாரணத்தை அளிக்கிறது, இதில் ஷுமன் மாதிரியைப் பயன்படுத்துவதன் முடிவுகள் பெறப்படுகின்றன.
பெறப்பட்ட முடிவுகளை முன்வைக்கிறேன்:
மதிப்பிடப்பட்ட பிழைகளின் எண்ணிக்கை N = 3167 n.
அளவுரு சி, லாம்ப்டா மற்றும் நம்பகத்தன்மை செயல்பாடு:

படம். 17

அடிப்படையில், லாம்ப்டா என்பது ஒவ்வொரு கட்டத்திலும் பிழைகள் கண்டறியப்படும் தீவிரத்தின் உண்மையான குறிகாட்டியாகும். நீங்கள் இரண்டாவது பகுதியைப் பார்த்தால், இந்த குறிகாட்டிக்கான மதிப்பீடு ஒரு மணி நேரத்திற்கு 42,4 பிழைகள் ஆகும், இது ஷுமன் காட்டிக்கு மிகவும் ஒப்பிடத்தக்கது. மேலே, டெவலப்பர் ஒரு நிமிடத்திற்கு 1 பதிவைச் சரிபார்க்கும் போது, ​​250,4 பதிவுகளுக்கு 1 பிழையைக் காட்டிலும் குறைவான பிழைகளைக் கண்டறியும் விகிதம் தீர்மானிக்கப்பட்டது. எனவே ஷுமன் மாடலுக்கான லாம்ப்டாவின் முக்கியமான மதிப்பு:

60 / 250,4 = 0,239617.

அதாவது, தற்போதுள்ள 38,964 இலிருந்து 0,239617 ஆக குறையும் வரை பிழை கண்டறிதல் நடைமுறைகளை மேற்கொள்ள வேண்டிய அவசியம் லாம்ப்டா மேற்கொள்ளப்பட வேண்டும்.

அல்லது காட்டி N (பிழைகளின் சாத்தியமான எண்) கழித்தல் n (சரிசெய்யப்பட்ட பிழைகளின் எண்ணிக்கை) எங்கள் ஏற்றுக்கொள்ளப்பட்ட வரம்பிற்குக் கீழே குறையும் வரை - 1459 பிசிக்கள்.

இலக்கியம்

1. Monakhov, Yu.M. தகவல் அமைப்புகளின் செயல்பாட்டு நிலைத்தன்மை. 3 மணி நேரத்தில். பகுதி 1. மென்பொருள் நம்பகத்தன்மை: பாடநூல். கொடுப்பனவு / யு.எம். மோனாகோவ்; விளாடிம். நிலை பல்கலைக்கழகம் - விளாடிமிர்: இஸ்வோ விளாடிம். நிலை பல்கலைக்கழகம், 2011. - 60 பக். – ISBN 978-5-9984-0189-3.
2. மார்ட்டின் எல். ஷூமன், "மென்பொருள் நம்பகத்தன்மை கணிப்புக்கான நிகழ்தகவு மாதிரிகள்."
3. தகவல் தொழில்நுட்ப வல்லுநர்களுக்கான தரவுக் கிடங்கு அடிப்படைகள் / பால்ராஜ் பொன்னையா.-2வது பதிப்பு.

பாகம் இரண்டு. தத்துவார்த்தமானது

ஆதாரம்: www.habr.com