Очистите податке попут игре камена, папира, маказа. Да ли је ово игра са или без краја? Део 1. Теоријски

1. Почетни подаци

Чишћење података је један од изазова са којима се суочавају задаци анализе података. Овај материјал је одражавао развоје и решења која су настала као резултат решавања практичног проблема анализе базе података у формирању катастарске вредности. Извори овде „ИЗВЕШТАЈ бр. 01/ОКС-2019 о резултатима државне катастарске процене свих врста непокретности (осим земљишних парцела) на територији Ханти-Мансијског аутономног округа – Угра“.

Разматран је фајл „Упоредни модел тотал.одс” у „Прилогу Б. Резултати утврђивања КС 5. Информација о начину утврђивања катастарске вредности 5.1 Упоредни приступ”.

Табела 1. Статистички индикатори скупа података у датотеци “Упоредни модел тотал.одс”
Укупан број поља, ком. — 44
Укупан број записа, ком. — 365 490
Укупан број карактера, ком. — 101 714 693
Просечан број знакова у запису, ком. — 278,297
Стандардна девијација знакова у запису, ком. — 15,510
Минимални број знакова у уносу, ком. — 198
Максималан број знакова у уносу, ком. — 363

2. Уводни део. Основни стандарди

Приликом анализе наведене базе, формиран је задатак да се прецизирају услови за степен пречишћавања, јер, као што је свима јасно, наведена база ствара правне и економске последице по кориснике. Током рада испоставило се да не постоје специфични захтеви за степен чишћења великих података. Анализирајући правне норме у овој материји, дошао сам до закључка да су све формиране из могућности. То јест, појавио се одређени задатак, извори информација се састављају за задатак, затим се формира скуп података и, на основу креираног скупа података, алати за решавање проблема. Резултујућа решења су референтне тачке у избору између алтернатива. Ово сам представио на слици 1.



Пошто је при утврђивању било каквих стандарда пожељно ослањати се на проверене технологије, изабрао сам захтеве наведене у „МХРА ГкП дефиниције интегритета података и упутства за индустрију“, јер сам овај документ сматрао најсвеобухватнијим за ово питање. Конкретно, у овом документу одељак каже „Треба напоменути да се захтеви за интегритет података подједнако примењују на ручне (папирне) и електронске податке.“ (превод: „...захтеви за интегритет података важе подједнако за ручне (папирне) и електронске податке”). Ова формулација је сасвим специфично повезана са појмом „писаних доказа“, у одредби члана 71. Законика о парничном поступку, чл. 70 ЦАС, члан 75 АПЦ, „писмено” чл. 84 Законик о парничном поступку.

На слици 2 приказан је дијаграм формирања приступа врстама информација у јуриспруденцији.

Пиринач. 2. Извор овде.

На слици 3 приказан је механизам са слике 1, за задатке горе наведеног „Упутства“. Лако је, поређењем, видети да су приступи који се користе у испуњавању захтева за интегритетом информација у савременим стандардима за информационе системе значајно ограничени у поређењу са правним концептом информације.

Фиг. 3

У наведеном документу (Упутству) повезаност са техничким делом, могућностима за обраду и чување података, добро потврђује цитат из поглавља 18.2. Релациона база података: „Ова структура датотеке је сама по себи безбеднија, пошто се подаци чувају у великом формату датотеке који чува однос између података и метаподатака.“

У ствари, у овом приступу – од постојећих техничких могућности, нема ничег ненормалног и, сам по себи, ово је природан процес, будући да проширење појмова долази из најпроучаваније активности – дизајна базе података. Али, с друге стране, појављују се законске норме које не предвиђају попусте на техничке могућности постојећих система, на пример: ГДПР – Општа уредба о заштити података.

Пиринач. 4. Лијевак техничких могућности (Извор).

У овим аспектима постаје јасно да ће оригинални скуп података (слика 1) морати, пре свега, да буде сачуван, а друго, да буде основа за извлачење додатних информација из њега. Па, као пример: камере које снимају саобраћајна правила су свеприсутне, системи за обраду информација уклањају прекршиоце, али и друге информације се могу понудити другим потрошачима, на пример, као маркетиншко праћење структуре прилива купаца у тржни центар. А ово је извор додатне додатне вредности када се користи БигДат. Сасвим је могуће да ће скупови података који се сада прикупљају, негде у будућности, имати вредност према механизму сличном вредности ретких издања од 1700. године у садашњем тренутку. На крају крајева, у ствари, привремени скупови података су јединствени и мало је вероватно да ће се поновити у будућности.

3. Уводни део. Критеријуми за евалуацију

Током процеса обраде развијена је следећа класификација грешака.

1. Класа грешке (на основу ГОСТ Р 8.736-2011): а) систематске грешке; б) случајне грешке; ц) грешка.

2. По вишеструкости: а) моно дисторзија; б) вишеструко изобличење.

3. Према критичности последица: а) критичне; б) није критичан.

4. По извору појаве:

А) Техничке – грешке које се јављају током рада опреме. Прилично релевантна грешка за ИоТ системе, системе са значајним степеном утицаја на квалитет комуникације, опрему (хардвер).

Б) Грешке оператера – грешке у широком опсегу од грешака у куцању оператера током уноса до грешака у техничким спецификацијама за дизајн базе података.

Ц) Корисничке грешке - ево корисничких грешака у читавом опсегу од „заборавио сам да променим изглед” до грешке у мерачу за ноге.

5. Издвојени у посебну класу:

а) „задатак сепаратора“, односно размак и „:“ (у нашем случају) када је дуплиран;
б) речи написане заједно;
ц) без размака после услужних знакова
г) симетрично више симбола: (), "", "...".

Заједно, са систематизацијом грешака базе података приказаном на слици 5, формиран је прилично ефикасан координатни систем за тражење грешака и развој алгоритма за чишћење података за овај пример.

Пиринач. 5. Типичне грешке које одговарају структурним јединицама базе података (Извор: Орешков В.И., Паклин Н.Б. "Кључни концепти консолидације података").

Тачност, интегритет домена, тип података, конзистентност, редундантност, комплетност, дуплицирање, усклађеност са пословним правилима, структурна дефиниција, аномалија података, јасноћа, благовременост, поштовање правила интегритета података. (Страна 334. Основе складиштења података за ИТ професионалце / Паулрај Понниах.—2. изд.)

Представљен енглески текст и руски машински превод у заградама.

Прецизност. Вредност сачувана у систему за елемент података је права вредност за то појављивање елемента података. Ако имате име клијента и адресу сачувану у запису, онда је адреса тачна адреса за купца са тим именом. Ако нађете наручену количину као 1000 јединица у запису за број поруџбине 12345678, онда је та количина тачна количина за ту поруџбину.
[Тачност. Вредност сачувана у систему за елемент података је тачна вредност за то појављивање елемента података. Ако имате име и адресу клијента сачуване у запису, онда је адреса тачна адреса за купца са тим именом. Ако нађете наручену количину као 1000 јединица у запису за број поруџбине 12345678, онда је та количина тачна количина за ту поруџбину.]

Интегритет домена. Вредност података атрибута спада у опсег дозвољених, дефинисаних вредности. Уобичајени пример су дозвољене вредности „мушко“ и „женско“ за елемент података о полу.
[Интегритет домена. Вредност података атрибута спада у опсег важећих, дефинисаних вредности. Општи пример су важеће вредности „мушко“ и „женско“ за елемент података о полу.]

Тип података. Вредност за атрибут података се заправо чува као тип података дефинисан за тај атрибут. Када је тип података поља за назив продавнице дефинисан као „текст“, све инстанце тог поља садрже назив продавнице приказан у текстуалном формату, а не у нумеричким кодовима.
[Тип података. Вредност атрибута података се заправо чува као тип података дефинисан за тај атрибут. Ако је тип података поља имена продавнице дефинисан као „текст“, све инстанце овог поља садрже назив продавнице приказан у текстуалном формату, а не у нумеричким кодовима.]

Доследност. Форма и садржај поља података је исти у више извора система. Ако је код производа за производ АБЦ у једном систему 1234, онда је код за овај производ 1234 у сваком изворном систему.
[Доследност. Форма и садржај поља података су исти у различитим изворним системима. Ако је код производа за производ АБЦ на једном систему 1234, онда је код за тај производ 1234 на сваком изворном систему.]

Сувишност. Исти подаци се не смеју чувати на више од једног места у систему. Ако је, из разлога ефикасности, елемент података намерно ускладиштен на више од једног места у систему, онда редундантност мора бити јасно идентификована и верификована.
[Сувишност. Исти подаци не би требало да се чувају на више од једног места у систему. Ако је, из разлога ефикасности, елемент података намерно ускладиштен на више локација у систему, редундантност мора бити јасно дефинисана и верификована.]

Потпуност. Не постоје вредности које недостају за дати атрибут у систему. На пример, у датотеци клијента мора постојати важећа вредност за поље „стање“ за сваког купца. У датотеци за детаље поруџбине, сваки детаљни запис за поруџбину мора бити у потпуности попуњен.
[Цомплетенесс. У систему не постоје вредности које недостају за овај атрибут. На пример, датотека клијента мора имати исправну вредност за поље „статус“ за сваког клијента. У датотеци детаља поруџбине, сваки запис детаља поруџбине мора бити у потпуности попуњен.]

Дуплицирање. Дуплирање записа у систему је потпуно решено. Ако је познато да датотека производа има дупликате записа, онда се идентификују сви дупликати за сваки производ и креира се унакрсна референца.
[Дуплицате. Дуплирање записа у систему је потпуно елиминисано. Ако је познато да датотека производа садржи дупликате уноса, онда се идентификују сви дупликати за сваки производ и креира се унакрсна референца.]

Усклађеност са пословним правилима. Вредности сваке ставке података су у складу са прописаним пословним правилима. У систему аукције, цена чекића или продајна цена не може бити мања од резервне цене. У систему банкарских кредита, салдо кредита мора увек бити позитиван или нула.
[Поштивање пословних правила. Вредности сваког елемента података су у складу са утврђеним пословним правилима. У систему аукције, цена чекића или продајна цена не може бити мања од резервне цене. У банкарском кредитном систему, салдо зајма мора увек бити позитиван или нула.]

Структурална одређеност. Где год се ставка података природно може структурирати у појединачне компоненте, ставка мора садржати ову добро дефинисану структуру. На пример, име појединца се природно дели на име, средње слово и презиме. Вредности за имена појединаца морају бити сачуване као име, средње слово и презиме. Ова карактеристика квалитета података поједностављује спровођење стандарда и смањује вредности које недостају.
[Струцтурал Цертаинти. Тамо где се елемент података може природно структурисати у појединачне компоненте, елемент мора да садржи ову добро дефинисану структуру. На пример, име особе је природно подељено на име, средње слово и презиме. Вредности за појединачна имена треба да се чувају као име, средње слово и презиме. Ова карактеристика квалитета података поједностављује примену стандарда и смањује вредности које недостају.]

Аномалија података. Поље се мора користити само за сврху за коју је дефинисано. Ако је поље Адреса-3 дефинисано за било коју могућу трећу линију адресе за дугачке адресе, онда се ово поље мора користити само за бележење трећег реда адресе. Не сме се користити за унос броја телефона или факса за купца.
[Дата Аномали. Поље се мора користити само у сврху за коју је дефинисано. Ако је поље Адреса-3 дефинисано за било коју могућу трећу адресну линију за дугачке адресе, онда ће се ово поље користити само за бележење треће адресне линије. Не би требало да се користи за унос броја телефона или факса за купца.]

Јасноћа. Елемент података може поседовати све друге карактеристике квалитетних података, али ако корисници не разумеју јасно његово значење, онда елемент података нема никакву вредност за кориснике. Правилне конвенције о именовању помажу да се елементи података добро разумију од стране корисника.
[Јасноћа. Елемент података може имати све остале карактеристике добрих података, али ако корисници не разумеју јасно његово значење, онда елемент података нема никакву вредност за кориснике. Правилне конвенције о именовању помажу да корисници добро разумеју елементе података.]

Правовремено. Корисници одређују ажурност података. Ако корисници очекују да подаци димензије корисника не буду старији од једног дана, промене података о клијентима у изворним системима морају се свакодневно примењивати на складиште података.
[Благовремено. Корисници одређују ажурност података. Ако корисници очекују да подаци димензије корисника нису старији од једног дана, промене података о клијентима у изворним системима треба да се примењују на складиште података на дневној бази.]

Корисност. Сваки елемент података у складишту података мора да задовољи неке захтеве збирке корисника. Елемент података може бити тачан и квалитетан, али ако нема никакву вредност за кориснике, онда је потпуно непотребно да се тај елемент података налази у складишту података.
[Корисност. Свака ставка података у складишту података мора да задовољи неке захтеве колекције корисника. Елемент података може бити тачан и високог квалитета, али ако не пружа вредност корисницима, онда није неопходно да тај елемент података буде у складишту података.]

Поштовање правила о интегритету података. Подаци ускладиштени у релационим базама података изворних система морају се придржавати правила интегритета ентитета и референтног интегритета. Свака табела која дозвољава нулл као примарни кључ нема интегритет ентитета. Референтни интегритет намеће правилно успостављање односа родитељ-дете. У односу од купца до поруџбине, референтни интегритет обезбеђује постојање купца за сваку наруџбу у бази података.
[Поштивање правила интегритета података. Подаци који се чувају у релационим базама података изворних система морају бити у складу са правилима интегритета ентитета и референтног интегритета. Свака табела која дозвољава нулл као примарни кључ нема интегритет ентитета. Референтни интегритет приморава да се однос између родитеља и деце успостави исправно. У односу купац-поруџбина, референтни интегритет осигурава постојање клијента за сваку поруџбину у бази података.]

4. Квалитет чишћења података

Квалитет чишћења података је прилично проблематично питање у великим подацима. Одговор на питање који степен чишћења података је неопходан да би се извршио задатак је фундаментално за сваког аналитичара података. У већини актуелних проблема, сваки аналитичар то сам утврђује и мало је вероватно да ће неко споља моћи да процени овај аспект у његовом решењу. Али за задатак који је у овом случају био на располагању, ово питање је било изузетно важно, пошто поузданост правних података треба да тежи једном.

Разматрање технологија тестирања софтвера за одређивање оперативне поузданости. Данас има више од ових модела 200. Многи модели користе модел сервисирања захтева:

Сл. КСНУМКС

Размишљајући на следећи начин: „Ако је пронађена грешка догађај сличан догађају квара у овом моделу, како онда пронаћи аналог параметра т?“ И саставио сам следећи модел: Замислимо да је време које је тестеру потребно да провери један запис 1 минут (за дату базу података), а затим ће му за проналажење свих грешака требати 365 минута, што је отприлике 494 године и 3 месеци радног времена. Како разумемо, ово је веома велики посао и трошкови провере базе података биће превисоки за састављача ове базе података. У овом размишљању појављује се економски концепт трошкова и након анализе дошао сам до закључка да је ово прилично ефикасан алат. На основу закона економије: „Обим производње (у јединицама) при којем се постиже максимални профит фирме налази се на тачки где се гранични трошак производње нове јединице производа пореди са ценом коју ова фирма може да добије. за нову јединицу.” На основу постулата да проналажење сваке следеће грешке захтева све више провере записа, ово је фактор трошкова. Односно, постулат усвојен у моделима тестирања поприма физичко значење у следећем обрасцу: ако је за проналажење и-те грешке било потребно проверити н записа, онда ће за проналажење следеће (и+3) грешке бити потребно да провери м записа и истовремено н

1. Када се број проверених записа пре него што се пронађе нова грешка стабилизује;
2. Када ће се број проверених записа пре проналажења следеће грешке повећати.

Да бих одредио критичну вредност, обратио сам се концепту економске изводљивости, који се у овом случају, користећи концепт друштвених трошкова, може формулисати на следећи начин: „Трошкове исправљања грешке треба да сноси економски агент који може то по најнижој цени.” Имамо једног агента - тестера који проверава један запис 1 минут. У новчаном смислу, ако зарађујете 6000 рубаља дневно, то ће бити 12,2 рубља. (отприлике данас). Остаје да се утврди друга страна равнотеже у економском праву. Резоновао сам овако. Постојећа грешка ће захтевати од дотичне особе да се потруди да је исправи, односно од власника имовине. Рецимо да ово захтева 1 дан радње (поднесите пријаву, примите исправљени документ). Тада ће, са социјалне тачке гледишта, његови трошкови бити једнаки просечној дневној плати. Просечна обрачуната плата у Ханти-Мансијском аутономном округу „Резултати друштвено-економског развоја Ханти-Мансијског аутономног округа - Угра за јануар-септембар 2019. 73285 руб. или 3053,542 руб./дан. Сходно томе, добијамо критичну вредност једнаку:
3053,542: 12,2 = 250,4 јединице записа.

То значи, са друштвене тачке гледишта, ако је тестер проверио 251 запис и открио једну грешку, то је еквивалентно да корисник сам исправи ову грешку. Сходно томе, ако је тестер провео време једнако провери 252 записа да пронађе следећу грешку, онда је у овом случају боље пренети трошкове исправке на корисника.

Овде је представљен поједностављен приступ, пошто је са социјалне тачке гледишта потребно узети у обзир сву додатну вредност коју генерише сваки специјалиста, односно трошкове укључујући порезе и социјална давања, али модел је јасан. Последица овог односа је следећи захтев за специјалисте: специјалиста из ИТ индустрије мора да има плату већу од националног просека. Ако је његова плата мања од просечне плате потенцијалних корисника базе података, онда он сам мора да ручно провери целу базу података.

Када се користи описани критеријум, формира се први захтев за квалитет базе података:
И(тр). Удео критичних грешака не би требало да прелази 1/250,4 = 0,39938%. Мало мање од пречишћавање злато у индустрији. А у физичком смислу нема више од 1459 записа са грешкама.

Економско повлачење.

У ствари, правећи толики број грешака у евиденцији, друштво пристаје на економске губитке у износу од:

1459 * 3053,542 = 4 455 118 рубаља.

Овај износ је одређен чињеницом да друштво нема алате за смањење ових трошкова. Из тога следи да ако неко има технологију која му омогућава да смањи број записа са грешкама на, на пример, 259, онда ће то омогућити друштву да уштеди:
1200 * 3053,542 = 3 664 250 рубаља.

Али у исто време, он може да тражи свој таленат и рад, па, рецимо - 1 милион рубаља.
Односно, социјални трошкови се смањују за:

3 – 664 = 250 рубаља.

У суштини, овај ефекат је додатна вредност од употребе БигДат технологија.

Али овде треба узети у обзир да је то друштвени ефекат, а власник базе су општинске власти, њихов приход од коришћења имовине евидентиране у овој бази, по стопи од 0,3%, износи: 2,778 милијарди рубаља/ године. А ови трошкови (4 рубаља) му не сметају много, пошто се преносе на власнике имовине. И, у овом аспекту, програмер напреднијих технологија у Бигдата мораће да покаже способност да убеди власника ове базе података, а за такве ствари је потребан знатан таленат.

У овом примеру, алгоритам за процену грешке је изабран на основу Шумановог модела [2] верификације софтвера током тестирања поузданости. Због своје распрострањености на Интернету и могућности добијања потребних статистичких показатеља. Методологија је преузета од Монахова Иу.М. „Функционална стабилност информационих система“, видети испод спојлера на Сл. 7-9.

Пиринач. 7 – 9 Методологија Шумановог модела





Други део овог материјала представља пример чишћења података у коме се добијају резултати коришћења Шумановог модела.
Дозволите ми да представим добијене резултате:
Процењени број грешака Н = 3167 н.
Параметар Ц, ламбда и функција поузданости:

Фиг. 17

У суштини, ламбда је стварни индикатор интензитета са којим се грешке откривају у свакој фази. Ако погледате други део, процена за овај индикатор је била 42,4 грешке на сат, што је прилично упоредиво са Шумановим индикатором. Изнад је утврђено да стопа по којој програмер проналази грешке не треба да буде нижа од 1 грешке на 250,4 записа, када се проверава 1 запис у минути. Отуда критична вредност ламбда за Шуманов модел:

60 / 250,4 = 0,239617.

Односно, потреба за спровођењем процедура детекције грешака мора да се спроводи све док се ламбда, са постојећих 38,964, не смањи на 0,239617.

Или док индикатор Н (потенцијални број грешака) минус н (исправљени број грешака) не падне испод нашег прихваћеног прага - 1459 ком.

Литература

1. Монахов, Иу. М. Функционална стабилност информационих система. За 3 часа.Део 1. Поузданост софтвера: уџбеник. додатак / Иу. М. Монакхов; Владим. држава унив. – Владимир: Изво Владим. држава Универзитет, 2011. – 60 стр. – ИСБН 978-5-9984-0189-3.
2. Мартин Л. Схооман, „Пробабилистички модели за предвиђање поузданости софтвера.“
3. Основе складиштења података за ИТ професионалце / Паулрај Понниах.—2. изд.

Други део. Теоријски

Извор: ввв.хабр.цом