ProHoster > Blogs > Administrācija > Datu, piemēram, akmens, papÄ«ra, Ŕķēru, tÄ«rÄ«Å”ana. Vai tā ir spēle ar vai bez finiÅ”a? 1. daļa. Teorētiskā

Datu, piemēram, akmens, papÄ«ra, Ŕķēru, tÄ«rÄ«Å”ana. Vai tā ir spēle ar vai bez finiÅ”a? 1. daļa. Teorētiskā

1. Sākotnējie dati

Datu tÄ«rÄ«Å”ana ir viens no izaicinājumiem, ar ko saskaras datu analÄ«zes uzdevumi. Å is materiāls atspoguļoja norises un risinājumus, kas radās, risinot praktisku datu bāzes analÄ«zes problēmu kadastrālās vērtÄ«bas veidoÅ”anā. Avoti Å”eit ā€œZIŅOJUMS Nr.01/OKS-2019 par Hantimansijskas autonomā apgabala - Ugras teritorijā esoÅ”o visu veidu nekustamo Ä«paÅ”umu (izņemot zemes gabalus) valsts kadastrālās vērtÄ“Å”anas rezultātiemā€.

Tika izskatÄ«ta faila ā€œSalÄ«dzinoÅ”ais modelis total.odsā€ ā€œPielikumā B. KS noteikÅ”anas rezultāti 5. Informācija par kadastrālās vērtÄ«bas noteikÅ”anas metodi 5.1. SalÄ«dzinoŔā pieejaā€.

1.tabula. Datu kopas statistiskie rādÄ«tāji failā ā€œSalÄ«dzinoÅ”ais modelis total.odsā€
Kopējais lauku skaits, gab. ā€” 44
Kopējais ierakstu skaits, gab. ā€” 365 490
Kopējais rakstzÄ«mju skaits, gab. ā€” 101 714 693
Vidējais rakstzÄ«mju skaits ierakstā, gab. ā€” 278,297 XNUMX
RakstzÄ«mju standartnovirze ierakstā, gab. ā€” 15,510 XNUMX
Minimālais rakstzÄ«mju skaits ierakstā, gab. ā€” 198
Maksimālais rakstzÄ«mju skaits ierakstā, gab. ā€” 363

2. Ievaddaļa. Pamatstandarti

Analizējot norādÄ«to datubāzi, tika izveidots uzdevums precizēt prasÄ«bas attÄ«rÄ«Å”anas pakāpei, jo, kā visiem skaidrs, norādÄ«tā datubāze rada lietotājiem juridiskas un ekonomiskas sekas. Darba gaitā atklājās, ka nav noteiktas konkrētas prasÄ«bas lielo datu tÄ«rÄ«Å”anas pakāpei. Analizējot tiesÄ«bu normas Å”ajā jautājumā, nonācu pie secinājuma, ka tās visas veidojas no iespējām. Tas ir, ir parādÄ«jies konkrēts uzdevums, uzdevumam tiek apkopoti informācijas avoti, pēc tam tiek veidota datu kopa un, pamatojoties uz izveidoto datu kopu, rÄ«ki problēmas risināŔanai. IegÅ«tie risinājumi ir atskaites punkti, izvēloties kādu no alternatÄ«vām. Es to parādÄ«ju 1. attēlā.

Datu, piemēram, akmens, papÄ«ra, Ŕķēru, tÄ«rÄ«Å”ana. Vai tā ir spēle ar vai bez finiÅ”a? 1. daļa. Teorētiskā

Tā kā jebkuru standartu noteikÅ”anā vēlams paļauties uz pārbaudÄ«tām tehnoloÄ£ijām, es izvēlējos prasÄ«bas, kas noteiktas "MHRA GxP datu integritātes definÄ«cijas un norādÄ«jumi nozarei", jo es uzskatÄ«ju Å”o dokumentu par visplaŔāko Å”im jautājumam. Jo Ä«paÅ”i Å”ajā dokumentā sadaļā teikts: "JāatzÄ«mē, ka datu integritātes prasÄ«bas vienlÄ«dz attiecas uz manuāliem (papÄ«ra) un elektroniskiem datiem." (tulkojums: ā€œ...datu integritātes prasÄ«bas vienlÄ«dz attiecas uz manuāliem (papÄ«ra) un elektroniskiem datiemā€). Å is formulējums ir diezgan specifiski saistÄ«ts ar jēdzienu "rakstveida pierādÄ«jumi" Civilprocesa kodeksa 71. panta noteikumos. 70 CAS, APC 75. pants, ā€œrakstiskiā€ Art. 84 Civilprocesa kodekss.

2. attēlā parādīta diagramma par pieeju informācijas veidiem jurisprudencē.

Datu, piemēram, akmens, papÄ«ra, Ŕķēru, tÄ«rÄ«Å”ana. Vai tā ir spēle ar vai bez finiÅ”a? 1. daļa. Teorētiskā
Rīsi. 2. Avots Ŕeit.

3. attēlā parādÄ«ts 1. attēlā redzamais mehānisms iepriekÅ” minēto ā€œVadlÄ«nijuā€ uzdevumiem. Veicot salÄ«dzinājumu, ir viegli konstatēt, ka pieejas, kas tiek izmantotas, izpildot informācijas integritātes prasÄ«bas mÅ«sdienu informācijas sistēmu standartos, ir bÅ«tiski ierobežotas salÄ«dzinājumā ar informācijas juridisko jēdzienu.

Datu, piemēram, akmens, papÄ«ra, Ŕķēru, tÄ«rÄ«Å”ana. Vai tā ir spēle ar vai bez finiÅ”a? 1. daļa. Teorētiskā
3. att

NorādÄ«tajā dokumentā (VadlÄ«nijas) savienojumu ar tehnisko daļu, datu apstrādes un uzglabāŔanas iespējām labi apliecina citāts no 18.2. nodaļas. Relāciju datu bāze: "Å Ä« faila struktÅ«ra pēc bÅ«tÄ«bas ir droŔāka, jo dati tiek glabāti lielā faila formātā, kas saglabā attiecÄ«bas starp datiem un metadatiem."

Faktiski Å”ajā pieejā - no esoÅ”ajām tehniskajām iespējām nav nekā nenormāla, un pats par sevi tas ir dabisks process, jo jēdzienu paplaÅ”ināŔana nāk no visvairāk pētÄ«tās darbÄ«bas - datu bāzes projektÄ“Å”anas. Bet, no otras puses, parādās tiesÄ«bu normas, kas neparedz atlaides esoÅ”o sistēmu tehniskajām iespējām, piemēram: GDPR ā€“ VispārÄ«gā datu aizsardzÄ«bas regula.

Datu, piemēram, akmens, papÄ«ra, Ŕķēru, tÄ«rÄ«Å”ana. Vai tā ir spēle ar vai bez finiÅ”a? 1. daļa. Teorētiskā
Rīsi. 4. Tehnisko iespēju piltuve (Avots).

Å ajos aspektos kļūst skaidrs, ka sākotnējā datu kopa (1. att.), pirmkārt, bÅ«s jāsaglabā, otrkārt, jābÅ«t par pamatu papildu informācijas iegÅ«Å”anai no tās. Nu kā piemērs: kameras, kas fiksē ceļu satiksmes noteikumus, ir visur, informācijas apstrādes sistēmas atsijā pārkāpējus, bet citu informāciju var piedāvāt arÄ« citiem patērētājiem, piemēram, kā mārketinga monitoringu pircēju plÅ«smas struktÅ«rai uz tirdzniecÄ«bas centru. Un tas ir papildu pievienotās vērtÄ«bas avots, lietojot BigDat. PilnÄ«gi iespējams, ka datu kopām, kas tiek apkopotas tagad, kaut kur nākotnē, bÅ«s vērtÄ«ba saskaņā ar mehānismu, kas lÄ«dzinās reto izdevumu vērtÄ«bai 1700 paÅ”laik. Galu galā pagaidu datu kopas ir unikālas un maz ticams, ka tās atkārtosies nākotnē.

3. Ievaddaļa. VērtÄ“Å”anas kritēriji

Apstrādes procesā tika izstrādāta Ŕāda kļūdu klasifikācija.

1. Kļūdu klase (pamatojoties uz GOST R 8.736-2011): a) sistemātiskas kļūdas; b) nejauŔas kļūdas; c) kļūda.

2. Pēc daudzkārtības: a) mono kropļojums; b) vairāku izkropļojumu.

3. AtbilstoŔi seku kritiskumam: a) kritisks; b) nav kritisks.

4. Pēc notikuma avota:

A) Tehniskās ā€“ kļūdas, kas rodas iekārtas darbÄ«bas laikā. Diezgan bÅ«tiska kļūda IoT sistēmām, sistēmām ar bÅ«tisku ietekmi uz sakaru kvalitāti, iekārtām (aparatÅ«rai).

B) Operatoru kļūdas - kļūdas plaŔā diapazonā no operatora drukas kļūdām ievades laikā lÄ«dz kļūdām datu bāzes projektÄ“Å”anas tehniskajās specifikācijās.

C) Lietotāja kļūdas ā€“ Å”eit ir lietotāja kļūdas visā diapazonā no ā€œaizmirsu pārslēgt izkārtojumuā€ lÄ«dz skaitÄ«tāju sajaukÅ”anai ar pēdām.

5. IedalÄ«ti atseviŔķā klasē:

a) ā€œatdalÄ«tāja uzdevumsā€, tas ir, atstarpe un ā€œ:ā€ (mÅ«su gadÄ«jumā), kad tas tika dublēts;
b) kopā rakstīti vārdi;
c) bez atstarpes aiz servisa rakstzīmēm
d) simetriski vairāki simboli: (), "", "...".

Kopā ar 5. attēlā parādÄ«to datu bāzes kļūdu sistematizāciju veidojas diezgan efektÄ«va koordinātu sistēma kļūdu meklÄ“Å”anai un datu tÄ«rÄ«Å”anas algoritma izstrādei Å”im piemēram.

Datu, piemēram, akmens, papÄ«ra, Ŕķēru, tÄ«rÄ«Å”ana. Vai tā ir spēle ar vai bez finiÅ”a? 1. daļa. Teorētiskā
RÄ«si. 5. Tipiskas kļūdas, kas atbilst datu bāzes struktÅ«rvienÄ«bām (Avots: OreÅ”kovs V.I., Paklins N.B. "Datu konsolidācijas galvenie jēdzieni").

Precizitāte, domēna integritāte, datu tips, konsekvence, dublÄ“Å”ana, pilnÄ«gums, dublÄ“Å”anās, atbilstÄ«ba biznesa noteikumiem, strukturālā noteiktÄ«ba, datu anomālija, skaidrÄ«ba, savlaicÄ«ga, datu integritātes noteikumu ievēroÅ”ana. (334. lpp. Datu noliktavas pamati IT profesionāļiem / Paulraj Ponniah. ā€” 2. izdevums.)

UzrādÄ«ts angļu valodas formulējums un krievu maŔīntulkoÅ”ana iekavās.

Precizitāte. Sistēmā saglabātā vērtÄ«ba datu elementam ir Ä«stā vērtÄ«ba Å”im datu elementa gadÄ«jumam. Ja ierakstā ir saglabāts klienta vārds un adrese, adrese ir klienta ar Å”o vārdu pareizā adrese. Ja pasÅ«tÄ«juma numura 1000 ierakstā atrodat pasÅ«tÄ«to daudzumu kā 12345678 vienÄ«bas, Å”is daudzums ir precÄ«zs Ŕī pasÅ«tÄ«juma daudzums.
[Precizitāte. Sistēmā saglabātā vērtÄ«ba datu elementam ir pareizā vērtÄ«ba Å”im datu elementa gadÄ«jumam. Ja ierakstā ir saglabāts klienta vārds un adrese, adrese ir klienta ar Å”o vārdu pareizā adrese. Ja pasÅ«tÄ«juma numura 1000 ierakstā atrodat pasÅ«tÄ«to daudzumu kā 12345678 vienÄ«bas, Å”is daudzums ir precÄ«zs Ŕī pasÅ«tÄ«juma daudzums.]

Domēna integritāte. AtribÅ«ta datu vērtÄ«ba ietilpst pieļaujamo, definēto vērtÄ«bu diapazonā. Parastais piemērs ir dzimuma datu elementa pieļaujamās vērtÄ«bas ā€œvÄ«rietisā€ un ā€œsievieteā€.
[Domēna integritāte. Atribūta datu vērtība ietilpst derīgo, definēto vērtību diapazonā. Vispārīgs piemērs ir derīgās vērtības "male" un "female" dzimuma datu elementam.]

Datu tips. Datu atribÅ«ta vērtÄ«ba faktiski tiek saglabāta kā Å”im atribÅ«tam definētais datu tips. Ja veikala nosaukuma lauka datu tips ir definēts kā ā€œtekstsā€, visi Ŕī lauka gadÄ«jumi satur veikala nosaukumu, kas tiek parādÄ«ts teksta formātā, nevis ciparu kodos.
[Datu tips. Datu atribÅ«ta vērtÄ«ba faktiski tiek saglabāta kā Å”im atribÅ«tam definētais datu tips. Ja veikala nosaukuma lauka datu tips ir definēts kā "teksts", visi Ŕī lauka gadÄ«jumi satur veikala nosaukumu, kas tiek rādÄ«ts teksta formātā, nevis ciparu kodos.]

Konsekvence. Datu lauka forma un saturs ir vienāds vairākās avota sistēmās. Ja produkta ABC produkta kods vienā sistēmā ir 1234, tad Ŕī produkta kods ir 1234 katrā avota sistēmā.
[Saskaņa. Datu lauka forma un saturs dažādās avotu sistēmās ir vienādi. Ja produkta ABC produkta kods vienā sistēmā ir 1234, tad Ŕī produkta kods ir 1234 katrā avota sistēmā.]

AtlaiÅ”ana. Vienus un tos paÅ”us datus nedrÄ«kst glabāt vairāk kā vienā sistēmas vietā. Ja efektivitātes nolÅ«kos datu elements ar nolÅ«ku tiek glabāts vairāk nekā vienā sistēmas vietā, tad dublÄ“Å”anās ir skaidri jāidentificē un jāpārbauda.
[AtlaiÅ”ana. Vienus un tos paÅ”us datus nevajadzētu glabāt vairāk kā vienā sistēmas vietā. Ja efektivitātes nolÅ«kos datu elements ar nolÅ«ku tiek glabāts vairākās sistēmas vietās, tad dublÄ“Å”anai jābÅ«t skaidri noteiktai un pārbaudÄ«tai.]

PilnÄ«gums. Sistēmā konkrētam atribÅ«tam nav trÅ«kstoÅ”u vērtÄ«bu. Piemēram, klienta failā ir jābÅ«t derÄ«gai vērtÄ«bai laukam ā€œstateā€ katram klientam. PasÅ«tÄ«juma datu failā ir pilnÄ«bā jāaizpilda katrs pasÅ«tÄ«juma detaļu ieraksts.
[PilnÄ«gums. Å im atribÅ«tam sistēmā nav trÅ«kstoÅ”u vērtÄ«bu. Piemēram, klienta failā ir jābÅ«t derÄ«gai vērtÄ«bai katra klienta laukā "statuss". PasÅ«tÄ«juma informācijas failā katrs pasÅ«tÄ«juma informācijas ieraksts ir pilnÄ«bā jāaizpilda.]

DublÄ“Å”anās. Ierakstu dublÄ“Å”anās sistēmā ir pilnÄ«bā atrisināta. Ja ir zināms, ka produkta failā ir ierakstu dublikāti, tiek identificēti visi katra produkta ierakstu dublikāti un izveidota savstarpēja atsauce.
[Dublikāts. Ierakstu dublÄ“Å”anās sistēmā ir pilnÄ«bā novērsta. Ja ir zināms, ka produkta failā ir dublikāti ieraksti, tiek identificēti visi katra produkta dublikāti un tiek izveidota savstarpēja atsauce.]

AtbilstÄ«ba biznesa noteikumiem. Katras datu vienÄ«bas vērtÄ«bas atbilst noteiktajiem uzņēmējdarbÄ«bas noteikumiem. Izsoles sistēmā āmura vai pārdoÅ”anas cena nevar bÅ«t mazāka par rezerves cenu. Bankas kredÄ«tu sistēmā kredÄ«ta atlikumam vienmēr jābÅ«t pozitÄ«vam vai nulle.
[AtbilstÄ«ba uzņēmējdarbÄ«bas noteikumiem. Katra datu elementa vērtÄ«bas atbilst noteiktajiem uzņēmējdarbÄ«bas noteikumiem. Izsoles sistēmā āmura vai pārdoÅ”anas cena nevar bÅ«t mazāka par rezerves cenu. Banku kredÄ«tu sistēmā aizdevuma atlikumam vienmēr jābÅ«t pozitÄ«vam vai nulle.]

Strukturālā noteiktÄ«ba. Ja datu vienumu var dabiski strukturēt atseviŔķos komponentos, vienumam ir jāietver Ŕī skaidri definēta struktÅ«ra. Piemēram, personas vārds dabiski iedalās vārdā, vidējais iniciālis un uzvārds. Personu vārdu vērtÄ«bas ir jāsaglabā kā vārds, vidējais iniciālis un uzvārds. Å Ä« datu kvalitātes Ä«paŔība vienkārÅ”o standartu izpildi un samazina trÅ«kstoŔās vērtÄ«bas.
[Strukturālā noteiktÄ«ba. Ja datu elementu var dabiski strukturēt atseviŔķos komponentos, elementam ir jāietver Ŕī skaidri definēta struktÅ«ra. Piemēram, personas vārds dabiski tiek sadalÄ«ts vārdā, vidējais iniciālis un uzvārds. AtseviŔķu vārdu vērtÄ«bas jāsaglabā kā vārds, vidējais iniciālis un uzvārds. Å is datu kvalitātes raksturlielums vienkārÅ”o standartu piemēroÅ”anu un samazina trÅ«kstoŔās vērtÄ«bas.]

Datu anomālija. Lauks ir jāizmanto tikai tam mērÄ·im, kuram tas ir definēts. Ja lauks Adrese-3 ir definēts jebkurai iespējamai treÅ”ajai adreses rindai garām adresēm, tad Å”is lauks ir jāizmanto tikai treŔās adreses rindas ierakstÄ«Å”anai. To nedrÄ«kst izmantot, lai ievadÄ«tu klienta tālruņa vai faksa numuru.
[Datu anomālija. Lauks ir jāizmanto tikai tam mērÄ·im, kuram tas ir definēts. Ja Adrese-3 lauks ir definēts jebkurai iespējamai treÅ”ajai adreses rindai garām adresēm, tad Å”o lauku izmanto tikai treŔās adreses rindas ierakstÄ«Å”anai. To nedrÄ«kst izmantot, lai ievadÄ«tu klienta tālruņa vai faksa numuru.]

SkaidrÄ«ba. Datu elementam var bÅ«t visas pārējās kvalitatÄ«vo datu Ä«paŔības, bet, ja lietotāji tā nozÄ«mi skaidri nesaprot, tad datu elementam lietotājiem nav nekādas vērtÄ«bas. Pareizas nosaukumu pieŔķirÅ”anas metodes palÄ«dz lietotājiem padarÄ«t datu elementus labi saprotamus.
[SkaidrÄ«ba. Datu elementam var bÅ«t visas pārējās labu datu Ä«paŔības, taču, ja lietotāji skaidri nesaprot tā nozÄ«mi, datu elementam lietotājiem nav nekādas vērtÄ«bas. Pareizas nosaukÅ”anas metodes palÄ«dz lietotājiem padarÄ«t datu elementus labi saprotamus.]

Savlaicīgi. Lietotāji nosaka datu savlaicīgumu. Ja lietotāji sagaida, ka klienta dimensijas dati nav vecāki par vienu dienu, klientu datu izmaiņas avota sistēmās ir jāpiemēro datu noliktavai katru dienu.
[Savlaicīgi. Lietotāji nosaka datu savlaicīgumu. Ja lietotāji paredz, ka klientu kategoriju dati nav vecāki par vienu dienu, izmaiņas klientu datos avota sistēmās ir jāpiemēro datu noliktavai katru dienu.]

LietderÄ«ba. Katram datu elementam datu noliktavā ir jāatbilst dažām lietotāju kolekcijas prasÄ«bām. Datu elements var bÅ«t precÄ«zs un kvalitatÄ«vs, bet, ja tas lietotājiem nav vērtÄ«gs, tad Å”im datu elementam ir pilnÄ«gi lieki atrasties datu noliktavā.
[Utility. Katram datu vienumam datu krātuvē ir jāatbilst dažām lietotāju kolekcijas prasÄ«bām. Datu elements var bÅ«t precÄ«zs un kvalitatÄ«vs, bet, ja tas nesniedz vērtÄ«bu lietotājiem, tad Å”im datu elementam nav jāatrodas datu noliktavā.]

Datu integritātes noteikumu ievēroÅ”ana. Datiem, kas tiek glabāti avota sistēmu relāciju datu bāzēs, ir jāatbilst entÄ«tiju integritātes un atsauces integritātes noteikumiem. Nevienai tabulai, kas pieļauj nulli kā primāro atslēgu, nav entÄ«tijas integritātes. Atsauces integritāte liek pareizi izveidot vecāku un bērnu attiecÄ«bas. Klienta-pasÅ«tÄ«juma attiecÄ«bās atsauces integritāte nodroÅ”ina klienta esamÄ«bu katram pasÅ«tÄ«jumam datu bāzē.
[AtbilstÄ«ba datu integritātes noteikumiem. Datiem, kas tiek glabāti avota sistēmu relāciju datu bāzēs, jāatbilst entÄ«tiju integritātes un atsauces integritātes noteikumiem. Nevienai tabulai, kas pieļauj nulli kā primāro atslēgu, nav entÄ«tijas integritātes. Atsauces integritāte liek pareizi izveidot attiecÄ«bas starp vecākiem un bērniem. Klienta un pasÅ«tÄ«juma attiecÄ«bās atsauces integritāte nodroÅ”ina, ka katram pasÅ«tÄ«jumam datu bāzē ir klients.]

4. Datu tīrīŔanas kvalitāte

Datu tÄ«rÄ«Å”anas kvalitāte ir diezgan problemātiska Bigdata problēma. Katram datu analÄ«tiÄ·im ir svarÄ«gi atbildēt uz jautājumu par to, kāda datu tÄ«rÄ«Å”anas pakāpe ir nepiecieÅ”ama, lai izpildÄ«tu uzdevumu. Lielākajā daļā aktuālo problēmu katrs analÄ«tiÄ·is to nosaka pats, un maz ticams, ka kāds no malas spēs novērtēt Å”o aspektu savā risinājumā. Taču Å”ajā gadÄ«jumā Å”is jautājums bija ārkārtÄ«gi svarÄ«gs, jo juridisko datu ticamÄ«bai vajadzētu bÅ«t vienādai.

ProgrammatÅ«ras testÄ“Å”anas tehnoloÄ£iju izmantoÅ”ana, lai noteiktu darbÄ«bas uzticamÄ«bu. MÅ«sdienās ir vairāk nekā Å”ie modeļi 200. Daudzos modeļos tiek izmantots prasÄ«bu apkalpoÅ”anas modelis:

Datu, piemēram, akmens, papÄ«ra, Ŕķēru, tÄ«rÄ«Å”ana. Vai tā ir spēle ar vai bez finiÅ”a? 1. daļa. Teorētiskā
Att. 6

Domājot Ŕādi: "Ja atrastā kļūda ir notikums, kas lÄ«dzÄ«gs kļūmes notikumam Å”ajā modelÄ«, tad kā atrast parametra t analogu?" Un es sastādÄ«ju Ŕādu modeli: Iedomāsimies, ka laiks, kas testētājam vajadzÄ«gs, lai pārbaudÄ«tu vienu ierakstu, ir 1 minÅ«te (attiecÄ«gajai datubāzei), tad, lai atrastu visas kļūdas, viņam bÅ«s nepiecieÅ”amas 365 494 minÅ«tes, kas ir aptuveni 3 gadi un 3 mēneÅ”u darba laika. Kā mēs saprotam, tas ir ļoti liels darba apjoms un datu bāzes pārbaudes izmaksas Ŕīs datu bāzes sastādÄ«tājam bÅ«s pārmērÄ«gi lielas. Å ajā pārdomās parādās izmaksu ekonomiskais jēdziens un pēc analÄ«zes nonācu pie secinājuma, ka tas ir diezgan efektÄ«vs instruments. Balstoties uz ekonomikas likumu: ā€œRažoÅ”anas apjoms (vienÄ«bās), pie kura tiek sasniegta uzņēmuma maksimālā peļņa, atrodas vietā, kur jaunas produkcijas vienÄ«bas ražoÅ”anas robežizmaksas tiek salÄ«dzinātas ar cenu, ko Å”is uzņēmums var saņemt. par jaunu vienÄ«bu.ā€ Pamatojoties uz postulātu, ka katras nākamās kļūdas atraÅ”ana prasa arvien biežāku ierakstu pārbaudi, tas ir izmaksu faktors. Tas ir, testÄ“Å”anas modeļos pieņemtais postulāts iegÅ«st fizisku nozÄ«mi Ŕādā shēmā: ja i-tās kļūdas atraÅ”anai bija jāpārbauda n ieraksti, tad, lai atrastu nākamo (i+1) kļūdu, bÅ«s nepiecieÅ”ams lai pārbaudÄ«tu m ierakstus un tajā paŔā laikā n

  1. Kad pirms jaunas kļūdas konstatÄ“Å”anas pārbaudÄ«to ierakstu skaits stabilizējas;
  2. Kad pirms nākamās kļūdas atraŔanas pārbaudīto ierakstu skaits palielināsies.

Kritiskās vērtÄ«bas noteikÅ”anai pievērsos ekonomiskās iespējamÄ«bas jēdzienam, ko Å”ajā gadÄ«jumā, izmantojot sociālo izmaksu jēdzienu, var formulēt Ŕādi: ā€œKļūdas laboÅ”anas izmaksas jāsedz tam saimnieciskās darbÄ«bas subjektam, kurÅ” to var izdarÄ«t. to par viszemākajām izmaksām. Mums ir viens aÄ£ents ā€“ testētājs, kurÅ” pavada 1 minÅ«ti viena ieraksta pārbaudei. Naudas izteiksmē, ja jÅ«s nopelnÄ«sit 6000 rubļu dienā, tas bÅ«s 12,2 rubļi. (apmēram Å”odien). Atliek noteikt ekonomisko tiesÄ«bu lÄ«dzsvara otro pusi. Es spriedu Ŕādi. EsoÅ”as kļūdas gadÄ«jumā attiecÄ«gajai personai, tas ir, Ä«paÅ”uma Ä«paÅ”niekam, bÅ«s jāpieliek pÅ«les, lai to labotu. Pieņemsim, ka tas prasa 1 dienu (iesniedziet pieteikumu, saņemiet labotu dokumentu). Tad no sociālā viedokļa viņa izmaksas bÅ«s vienādas ar vidējo algu dienā. Vidējā uzkrātā alga Hantimansu autonomajā apgabalā ā€œHantimansijskas autonomā apgabala Ugras sociāli ekonomiskās attÄ«stÄ«bas rezultāti 2019. gada janvārim-septembrimā€ 73285 rub. vai 3053,542 XNUMX rubļi dienā. AttiecÄ«gi mēs iegÅ«stam kritisko vērtÄ«bu, kas vienāda ar:
3053,542: 12,2 = 250,4 ierakstu vienības.

Tas nozÄ«mē, ka no sociālā viedokļa, ja testētājs pārbaudÄ«ja 251 ierakstu un atrada vienu kļūdu, tas ir lÄ«dzvērtÄ«gi tam, ka lietotājs pats labo Å”o kļūdu. AttiecÄ«gi, ja testētājs pavadÄ«ja laiku, kas vienāds ar 252 ierakstu pārbaudi, lai atrastu nākamo kļūdu, tad Å”ajā gadÄ«jumā ir labāk novirzÄ«t korekcijas izmaksas uz lietotāju.

Å eit ir sniegta vienkārÅ”ota pieeja, jo no sociālā viedokļa ir jāņem vērā visa katra speciālista radÄ«tā papildu vērtÄ«ba, tas ir, izmaksas, ieskaitot nodokļus un sociālos maksājumus, taču modelis ir skaidrs. Å o attiecÄ«bu sekas ir Ŕāda prasÄ«ba speciālistiem: IT nozares speciālistam ir jābÅ«t lielākai algai nekā vidēji valstÄ«. Ja viņa alga ir mazāka par potenciālo datu bāzes lietotāju vidējo algu, tad viņam paÅ”am ir jāpārbauda visa datubāze no rokām.

Izmantojot aprakstīto kritēriju, tiek veidota pirmā datu bāzes kvalitātes prasība:
I(tr). Kritisko kļūdu Ä«patsvars nedrÄ«kst pārsniegt 1/250,4 = 0,39938%. Nedaudz mazāk nekā rafinÄ“Å”ana zelts rÅ«pniecÄ«bā. Un fiziskajā izteiksmē ir ne vairāk kā 1459 ieraksti ar kļūdām.

Ekonomiskā atkāpŔanās.

Faktiski, pieļaujot tik daudz kļūdu ierakstos, sabiedrÄ«ba piekrÄ«t ekonomiskiem zaudējumiem Ŕādā apmērā:

1459*3053,542 = 4 455 118 rubļi.

Å o summu nosaka tas, ka sabiedrÄ«bai nav instrumentu Å”o izmaksu samazināŔanai. No tā izriet, ka, ja kādam ir tehnoloÄ£ija, kas ļauj samazināt ierakstu skaitu ar kļūdām lÄ«dz, piemēram, 259, tad tas ļaus sabiedrÄ«bai ietaupÄ«t:
1200*3053,542 = 3 664 250 rubļi.

Bet tajā paŔā laikā viņŔ var lÅ«gt savu talantu un darbu, labi, teiksim - 1 miljonu rubļu.
Tas nozīmē, ka sociālās izmaksas samazina:

3 664 250 ā€“ 1 000 000 = 2 664 250 rubļi.

BÅ«tÄ«bā Å”is efekts ir BigDat tehnoloÄ£iju izmantoÅ”anas pievienotā vērtÄ«ba.

Bet Å”eit jāņem vērā, ka tas ir sociāls efekts, un datu bāzes Ä«paÅ”nieks ir paÅ”valdÄ«bu iestādes, kuru ienākumi no Ä«paÅ”uma izmantoÅ”anas, kas reÄ£istrēti Å”ajā datubāzē, ar likmi 0,3% ir: 2,778 miljardi rubļu/ gadā. Un Ŕīs izmaksas (4 455 118 rubļi) viņu Ä«paÅ”i neuztrauc, jo tās tiek pārskaitÄ«tas Ä«paÅ”uma Ä«paÅ”niekiem. Un Å”ajā aspektā rafinētāku tehnoloÄ£iju izstrādātājam Bigdatā bÅ«s jāparāda spēja pārliecināt Ŕīs datu bāzes Ä«paÅ”nieku, un tādām lietām ir vajadzÄ«gs ievērojams talants.

Å ajā piemērā kļūdu novērtÄ“Å”anas algoritms tika izvēlēts, pamatojoties uz Å Å«maņa modeli [2] programmatÅ«ras verifikācijai uzticamÄ«bas testÄ“Å”anas laikā. Pateicoties tās izplatÄ«bai internetā un iespējai iegÅ«t nepiecieÅ”amos statistikas rādÄ«tājus. Metodika ir ņemta no Monakhov Yu.M. ā€œInformācijas sistēmu funkcionālā stabilitāteā€, skatÄ«t zem spoilera attēlā. 7-9.

RÄ«si. 7 ā€“ 9 Å Å«maņa modeļa metodoloÄ£ijaDatu, piemēram, akmens, papÄ«ra, Ŕķēru, tÄ«rÄ«Å”ana. Vai tā ir spēle ar vai bez finiÅ”a? 1. daļa. Teorētiskā

Datu, piemēram, akmens, papÄ«ra, Ŕķēru, tÄ«rÄ«Å”ana. Vai tā ir spēle ar vai bez finiÅ”a? 1. daļa. Teorētiskā

Datu, piemēram, akmens, papÄ«ra, Ŕķēru, tÄ«rÄ«Å”ana. Vai tā ir spēle ar vai bez finiÅ”a? 1. daļa. Teorētiskā

Å Ä« materiāla otrajā daļā ir sniegts datu tÄ«rÄ«Å”anas piemērs, kurā iegÅ«ti Å Å«maņa modeļa izmantoÅ”anas rezultāti.
Ļaujiet man iepazīstināt ar iegūtajiem rezultātiem:
Paredzamais kļūdu skaits N = 3167 n.
Parametrs C, lambda un uzticamības funkcija:

Datu, piemēram, akmens, papÄ«ra, Ŕķēru, tÄ«rÄ«Å”ana. Vai tā ir spēle ar vai bez finiÅ”a? 1. daļa. Teorētiskā
17. att

BÅ«tÄ«bā lambda ir faktiskais rādÄ«tājs intensitātei, ar kādu katrā posmā tiek konstatētas kļūdas. Ja paskatās uz otro daļu, tad Ŕī rādÄ«tāja novērtējums bija 42,4 kļūdas stundā, kas ir diezgan salÄ«dzināms ar Å Å«maņa rādÄ«tāju. IepriekÅ” tika noteikts, ka izstrādātāja kļūdu konstatÄ“Å”anas ātrumam nevajadzētu bÅ«t mazākam par 1 kļūdu uz 250,4 ierakstiem, pārbaudot 1 ierakstu minÅ«tē. Tādējādi lambda kritiskā vērtÄ«ba Å Å«maņa modelim:

60/250,4 = 0,239617.

Tas ir, nepiecieŔamība veikt kļūdu noteikŔanas procedūras ir jāveic, līdz lambda no esoŔā 38,964 samazinās līdz 0,239617.

Vai lÄ«dz brÄ«dim, kad rādÄ«tājs N (potenciālais kļūdu skaits) mÄ«nus n (labotais kļūdu skaits) samazinās zem mÅ«su pieņemtā sliekŔņa - 1459 gab.

Literatūra

  1. Monakhov, Yu.M. Informācijas sistēmu funkcionālā stabilitāte. 3 stundās.1.daļa ProgrammatÅ«ras droÅ”ums: mācÄ«bu grāmata. pabalsts / Ju.M.Monakhovs; Vladimirs. Valsts univ. ā€“ Vladimirs: Izvo Vladim. Valsts Universitāte, 2011. ā€“ 60 lpp. ā€“ ISBN 978-5-9984-0189-3.
  2. Mārtins L. Å omens, ā€œVarbÅ«tÄ«bas modeļi programmatÅ«ras uzticamÄ«bas prognozÄ“Å”anaiā€.
  3. Datu noliktavas pamati IT profesionāļiem / Paulraj Ponniah.ā€”2nd ed.

Otrā daļa. Teorētiski

Avots: www.habr.com

Pievieno komentāru