1. Бастапқы деректер
Деректерді тазарту - деректерді талдау міндеттерінің алдында тұрған қиындықтардың бірі. Бұл мақалада кадастрлық құнды есептеу үшін дерекқорды талдаудың практикалық мәселесін шешуден туындаған тұжырымдар мен шешімдер ұсынылған. Бастапқы файлдарды мына жерден табуға болады. .
«Салыстырмалы модель нәтижесі.ods» файлы «B қосымшасында. KS анықтау нәтижелері 5. Кадастрлық құнды анықтау әдісі туралы ақпарат 5.1 Салыстырмалы тәсіл» бөлімінде қарастырылды.
1-кесте. «Салыстырмалы модель result.ods» файлындағы деректер жиынтығының статистикалық көрсеткіштері
Өрістердің жалпы саны, дана. — 44
Жазбалардың жалпы саны, дана. — 365 490
Таңбалардың жалпы саны: 101 714 693
Әр жазбадағы таңбалардың орташа саны: 278 297
Жазбадағы таңбалардың стандартты ауытқуы, дана. — 15,510
Әр жазбадағы таңбалардың ең аз саны: 198
Әр жазбадағы таңбалардың ең көп саны: 363
2. Кіріспе бөлім. Негізгі стандарттар
Бұл дерекқорды талдау кезінде тазарту деңгейіне қойылатын талаптарды анықтау міндеті туындады, өйткені бұл дерекқор пайдаланушылар үшін құқықтық және экономикалық салдарлар тудыратыны бәріне түсінікті. Процесс барысында үлкен деректерді тазарту деңгейіне қойылатын нақты талаптар белгіленбегені белгілі болды. Бұл мәселе бойынша құқықтық ережелерді талдай отырып, мен олардың барлығы мүмкіндіктерге негізделген деген қорытындыға келдім. Яғни, нақты тапсырма пайда болды, осы тапсырма үшін ақпарат көздері жинақталды, содан кейін деректер жиынтығы жасалды және жасалған деректер жиынтығы негізінде тапсырманы шешуге арналған құралдар әзірленді. Алынған шешімдер балама нұсқалардың арасынан таңдау үшін анықтамалық нүктелер ретінде қызмет етеді. Бұл 1-суретте көрсетілген.
Кез келген стандарттарды анықтау мәселелерінде дәлелденген технологияларға сүйенген жөн, сондықтан мен талдау критерийлерінің негізі ретінде ...-та көрсетілген талаптарды таңдадым. , себебі мен бұл құжатты осы мәселе бойынша ең жан-жақты деп санадым. Атап айтқанда, осы құжаттың бөлімінде: «Деректердің тұтастығына қойылатын талаптар қолмен (қағаз) және электрондық деректерге бірдей қолданылатынын атап өткен жөн» делінген. Бұл тұжырымдама Азаматтық іс жүргізу кодексінің 71-бабындағы, Әкімшілік іс жүргізу кодексінің 70-бабындағы, Арбитраждық іс жүргізу кодексінің 75-бабындағы «жазбаша дәлелдемелер» және Азаматтық іс жүргізу кодексінің 84-бабындағы «жазбаша нысан» ұғымдарымен өте нақты байланысты.
2-суретте құқықтанудағы ақпарат түрлеріне көзқарастардың қалыптасу диаграммасы көрсетілген.
2-сурет. Дереккөз .
3-суретте жоғарыда аталған «Бағдарлау» тапсырмаларының 1-суретіндегі механизмі көрсетілген. Оларды салыстыра отырып, қазіргі заманғы ақпараттық жүйе ережелерінде ақпараттың тұтастығы талаптарын қанағаттандыру үшін қолданылатын тәсілдердің ақпараттың заңды тұжырымдамасымен салыстырғанда айтарлықтай шектеулі екенін көруге болады.
3-сурет
Құжатта (Нұсқаулық) техникалық бөлікке сілтеме, деректерді өңдеу және сақтау мүмкіндіктері 18.2-тараудағы дәйексөзбен жақсы расталады. Реляциялық дерекқор: «Бұл файл құрылымы өздігінен қауіпсіз, себебі деректер деректер мен метадеректер арасындағы байланысты сақтайтын үлкен файл пішімінде сақталады».
Негізінде, бұл тәсілде ешқандай ерекшелік жоқ — қолданыстағы техникалық мүмкіндіктерге байланысты — және бұл табиғи процесс, себебі тұжырымдамалардың кеңеюі ең көп зерттелген әрекеттен туындайды: дерекқорды жобалау. Дегенмен, екінші жағынан, қолданыстағы жүйелердің техникалық мүмкіндіктерін ескермейтін құқықтық нормалар пайда болуда, мысалы: .
4-сурет. Техникалық мүмкіндіктер воронкасы ().
Осы тұрғыдан алғанда, бастапқы деректер жиынтығын (1-сурет) бірінші кезекте сақтау қажет екені және екіншіден, одан қосымша ақпарат алу үшін негіз ретінде қызмет етуі керек екені анық болады. Мысалы, жол қозғалысы камералары барлық жерде бар, ал ақпаратты өңдеу жүйелері бұзушыларды сүзеді. Дегенмен, қалған ақпаратты басқа тұтынушыларға да ұсынуға болады, мысалы, сауда орталығындағы тұтынушылар ағынының үлгілерін маркетингтік бақылау үшін. Бұл үлкен деректерді пайдаланған кезде қосымша құндылық көзі болып табылады. Қазір жиналып жатқан деректер жиынтығы болашақта бүгінгі 1700 жылдардағы сирек кездесетін басылымдардың құндылығына ұқсас болуы мүмкін. Өйткені, уақытша деректер жиынтығы, негізінен, бірегей және болашақта қайталануы екіталай.
3. Кіріспе бөлім. Бағалау критерийлері
Өңдеу барысында қателіктердің келесі жіктелуі жасалды.
1. Қателік класы (ГОСТ Р 8.736-2011 негізінде): а) жүйелі қателіктер; ә) кездейсоқ қателіктер; б) жалпы қателік.
2. Көптік бойынша: а) монобұрмалану; ә) көпбұрмалану.
3. Салдардың сындарлылығы бойынша: а) маңызды; ә) маңызды емес.
4. Шығу тегі бойынша:
A) Техникалық – жабдықтың жұмысы кезінде пайда болатын қателер. Бұл IoT жүйелері үшін жиі кездесетін қателік, яғни қосылым сапасы мен аппараттық құралдарға айтарлықтай әсер ететін жүйелер.
B) Оператор қателері – енгізу кезінде оператордың қате жазуынан бастап дерекқорды жобалаудың техникалық сипаттамаларындағы қателіктерге дейін болатын қателер.
B) Пайдаланушы қателері – мұнда пайдаланушы қателері «орналасуды ауыстыруды ұмытып кетуден» бастап, метрлерді футпен қателесуге дейін болады.
5. Бөлек сыныпқа бөлінген:
а) «бөлгіш тапсырмасы», яғни бос орын және «:» (біздің жағдайда) қайталанған кезде;
ә) бірге жазылған сөздер;
c) қызметтік таңбалардан кейін бос орынның болмауы
d) симметриялы көптік белгілер: (), "", "....".
5-суретте көрсетілген дерекқор қателерін жүйелеуді ескере отырып, осы мысал үшін қателерді іздеу және деректерді тазарту алгоритмін жасау үшін тиімді координаттар жүйесі қалыптастырылады.
5-сурет. Дерекқордың құрылымдық бірліктеріне сәйкес келетін типтік қателер (Дереккөз: ).
Дәлдік, Домен тұтастығы, Деректер түрі, Тұрақтылық, Артықшылық, Толықтық, Қайталану, Бизнес ережелеріне сәйкестік, Құрылымдық анықтық, Деректер аномалиясы, Анықтық, Уақтылылық, Деректер тұтастығы ережелерін сақтау. (334-бет. IT мамандары үшін деректерді сақтау негіздері / Паулраж Понниа.—2-ші басылым.)
Жақша ішінде ағылшын тіліндегі мәтін және орыс тіліндегі машиналық аударма көрсетілген.
Дәлдік. Деректер элементі үшін жүйеде сақталған мән деректер элементінің сол пайда болуы үшін дұрыс мән болып табылады. Егер сізде жазбада тұтынушының аты-жөні және мекенжайы сақталған болса, онда мекенжай сол аты бар тұтынушының дұрыс мекенжайы болып табылады. Егер сіз 12345678 тапсырыс нөмірі үшін жазбада тапсырыс берілген санды 1000 бірлік деп тапсаңыз, онда бұл сан сол тапсырыс үшін дәл сан болып табылады.
[Дәлдік. Деректер элементі үшін жүйеде сақталған мән - деректер элементінің сол пайда болуының дұрыс мәні. Егер сізде жазбада тұтынушының аты-жөні мен мекенжайы сақталған болса, онда мекенжай сол аты бар тұтынушының дұрыс мекенжайы болып табылады. Егер сіз 12345678 тапсырыс нөмірі үшін жазбада 1000 бірлік ретінде тапсырыс берілген санды тапсаңыз, онда бұл сан сол тапсырыстың дәл саны болып табылады.]
Домен тұтастығы. Атрибуттың деректер мәні рұқсат етілген, анықталған мәндер диапазонына жатады. Жалпы мысал ретінде жыныс деректер элементі үшін рұқсат етілген мәндердің «ер» және «әйел» болуын айтуға болады.
[Домен тұтастығы. Атрибуттың деректер мәні қабылданған, анықталған мәндер диапазонына жатады. Жалпы мысал ретінде жыныс деректер элементі үшін қабылданған «ер» және «әйел» мәндерін айтуға болады.]
Деректер түрі. Деректер атрибутының мәні іс жүзінде сол атрибут үшін анықталған деректер түрі ретінде сақталады. Дүкен атауы өрісінің деректер түрі «мәтін» ретінде анықталған кезде, сол өрістің барлық даналарында сандық кодтар емес, мәтіндік форматта көрсетілген дүкен атауы болады.
[Деректер түрі. Деректер атрибутының мәні іс жүзінде сол атрибут үшін анықталған деректер түрі ретінде сақталады. Егер дүкен атауы өрісінің деректер түрі "мәтін" ретінде анықталса, сол өрістің барлық даналарында сандық кодтар ретінде емес, мәтін ретінде көрсетілетін дүкен атауы болады.]
Тұрақтылық. Деректер өрісінің пішіні мен мазмұны бірнеше бастапқы жүйелерде бірдей. Егер бір жүйедегі ABC өнімінің өнім коды 1234 болса, онда бұл өнімнің коды әрбір бастапқы жүйеде 1234 болады.
[Тұрақтылық. Деректер өрісінің пішіні мен мазмұны бастапқы жүйелерде бірдей. Егер бір жүйедегі ABC өнімінің өнім коды 1234 болса, онда сол өнімнің коды әрбір бастапқы жүйеде 1234 болады.]
Артықшылық. Бірдей деректер жүйеде бірнеше жерде сақталмауы керек. Егер тиімділік мақсатында деректер элементі жүйеде бірнеше жерде әдейі сақталса, онда артықшылық нақты анықталып, тексерілуі керек.
[Артықшылық. Бірдей деректер жүйеде бірнеше жерде сақталмауы керек. Егер тиімділік мақсатында деректер элементі жүйеде бірнеше жерде әдейі сақталса, артықшылық нақты анықталып, тексерілуі керек.]
Толықтық. Жүйеде берілген атрибут үшін ешқандай жетіспейтін мәндер жоқ. Мысалы, тұтынушы файлында әрбір тұтынушы үшін «күй» өрісі үшін жарамды мән болуы керек. Тапсырыс мәліметтері файлында тапсырыстың әрбір егжей-тегжейлі жазбасы толығымен толтырылуы керек.
[Толықтық. Жүйеде бұл атрибут үшін жетіспейтін мәндер жоқ. Мысалы, тұтынушы файлында әрбір тұтынушы үшін "күй" өрісі үшін жарамды мән болуы керек. Тапсырыстың егжей-тегжейлі файлында әрбір тапсырыстың егжей-тегжейлі жазбасы толығымен толтырылуы керек.]
Қайталау. Жүйедегі жазбалардың қайталануы толығымен шешілді. Егер өнім файлында қайталанатын жазбалар бар екені белгілі болса, онда әрбір өнім үшін барлық қайталанатын жазбалар анықталады және айқаспалы сілтеме жасалады.
[Қайталанатын жазбалар. Жүйедегі қайталанатын жазбалар толығымен жойылады. Егер өнім файлында қайталанатын жазбалар бар екені белгілі болса, әрбір өнімнің барлық қайталанатын жазбалары анықталады және оларға сілтеме жасалады.]
Іскерлік ережелерге сәйкестік. Әрбір деректер элементінің мәндері белгіленген іскерлік ережелерге сәйкес келеді. Аукцион жүйесінде балға немесе сату бағасы резервтік бағадан төмен болмауы керек. Банктік несие жүйесінде несие қалдығы әрқашан оң немесе нөлге тең болуы керек.
[Бизнес ережелеріне сәйкестік. Әрбір деректер элементінің мәндері белгіленген бизнес ережелеріне сәйкес келеді. Аукцион жүйесінде балға немесе сату бағасы резервтік бағадан төмен болмауы керек. Банктік несие жүйесінде несиелік қалдық әрқашан оң немесе нөлге тең болуы керек.]
Құрылымдық айқындылық. Деректер элементі табиғи түрде жеке компоненттерге құрылымдалған кезде, элемент осы нақты анықталған құрылымды қамтуы керек. Мысалы, жеке тұлғаның аты табиғи түрде аты, әкесінің атының бас әріпі және тегі болып бөлінеді. Жеке тұлғалардың есімдерінің мәндері аты, әкесінің атының бас әріпі және тегі ретінде сақталуы керек. Деректер сапасының бұл сипаттамасы стандарттарды орындауды жеңілдетеді және жетіспейтін мәндерді азайтады.
[Құрылымдық анықтама. Деректер элементі табиғи түрде әртүрлі компоненттерге құрылымдалуы мүмкін болған жағдайда, элемент осы анық анықталған құрылымды қамтуы керек. Мысалы, адамның аты табиғи түрде аты, әкесінің атының бас әріпі және тегі болып бөлінеді. Жеке тұлғалардың есімдерінің мәндері аты, әкесінің атының бас әріпі және тегі ретінде сақталуы керек. Деректер сапасының бұл сипаттамасы стандарттарды қолдануды жеңілдетеді және жетіспейтін мәндерді азайтады.]
Деректер аномалиясы. Өріс тек анықталған мақсат үшін ғана пайдаланылуы керек. Егер Мекенжай-3 өрісі ұзын мекенжайлар үшін кез келген үшінші мекенжай жолы үшін анықталған болса, онда бұл өріс тек үшінші мекенжай жолын жазу үшін пайдаланылуы керек. Ол тұтынушы үшін телефон немесе факс нөмірін енгізу үшін пайдаланылмауы керек.
[Деректер аномалиясы: Бұл өріс тек анықталған мақсат үшін пайдаланылуы керек. Егер Мекенжай-3 өрісі ұзын мекенжайлар үшін кез келген үшінші мекенжай жолы үшін анықталған болса, онда бұл өріс тек үшінші мекенжай жолын жазу үшін пайдаланылуы керек. Оны тұтынушының телефон немесе факс нөмірін енгізу үшін пайдалануға болмайды.]
Анықтық. Деректер элементі сапалы деректердің барлық басқа сипаттамаларына ие болуы мүмкін, бірақ егер пайдаланушылар оның мағынасын анық түсінбесе, онда деректер элементі пайдаланушылар үшін ешқандай құндылыққа ие болмайды. Дұрыс атау ережелері деректер элементтерін пайдаланушылар жақсы түсінуіне көмектеседі.
[Айқындық. Деректер элементінде жақсы деректердің барлық басқа сипаттамалары болуы мүмкін, бірақ егер пайдаланушылар оның мағынасын анық түсінбесе, деректер элементі олар үшін ешқандай құндылыққа ие болмайды. Дұрыс атау ережелері деректер элементтерін пайдаланушыларға оңай түсінуге көмектеседі.]
Уақытылы. Деректердің уақтылылығын пайдаланушылар анықтайды. Егер пайдаланушылар тұтынушы өлшемінің деректері бір күннен ескірмейді деп күтсе, бастапқы жүйелердегі тұтынушы деректеріне енгізілген өзгерістер деректер қоймасына күн сайын қолданылуы керек.
[Уақтылы. Деректердің уақтылылығын пайдаланушылар анықтайды. Егер пайдаланушылар тұтынушының өлшеу деректерінің бір күннен аспайтынын күтсе, бастапқы жүйелердегі тұтынушы деректеріне енгізілген өзгерістер деректер қоймасына күн сайын қолданылуы керек.]
Пайдалылығы. Деректер қоймасындағы әрбір деректер элементі пайдаланушылар жинағының кейбір талаптарын қанағаттандыруы керек. Деректер элементі дәл және жоғары сапалы болуы мүмкін, бірақ егер ол пайдаланушылар үшін ешқандай құндылыққа ие болмаса, онда сол деректер элементінің деректер қоймасында болуы мүлдем қажет емес.
[Пайдалылығы. Деректер қоймасындағы әрбір деректер элементі пайдаланушылардың жинау талаптарына сәйкес келуі керек. Деректер элементі дәл және жоғары сапалы болуы мүмкін, бірақ егер ол пайдаланушыларға ешқандай құндылық бермесе, онда сол деректер элементінің деректер қоймасында болуына ешқандай себеп жоқ.]
Деректердің тұтастығы ережелерін сақтау. Бастапқы жүйелердің реляциялық дерекқорларында сақталатын деректер нысан тұтастығы және сілтемелік тұтастық ережелерін сақтауы керек. Бастапқы кілт ретінде null мәнін рұқсат ететін кез келген кестеде нысан тұтастығы болмайды. Сілтемелік тұтастық ата-ана мен бала арасындағы қарым-қатынасты дұрыс орнатуды талап етеді. Тұтынушы мен тапсырыс арасындағы қарым-қатынаста сілтемелік тұтастық дерекқордағы әрбір тапсырыс үшін тұтынушының болуын қамтамасыз етеді.
Деректердің тұтастығын сақтау. Бастапқы жүйелердің реляциялық дерекқорларында сақталатын деректер нысан және сілтеме тұтастығы ережелеріне сәйкес келуі керек. Нөлдік бастапқы кілтке рұқсат беретін кез келген кестеде нысан тұтастығы болмайды. Сілтеме тұтастығы ата-ана мен бала арасындағы қарым-қатынастардың дұрыс орнатылғанын қамтамасыз етеді. Тұтынушы мен тапсырыс арасындағы қарым-қатынаста сілтеме тұтастығы дерекқордағы әрбір тапсырыс үшін тұтынушының болуын қамтамасыз етеді.
4. Деректерді тазалау сапасы
Үлкен деректердегі деректерді тазарту сапасы өте күрделі мәселе болып табылады. Берілген тапсырма үшін қажетті деректерді тазарту дәрежесін анықтау әрбір деректер талдаушысы үшін маңызды сұрақ болып табылады. Қазіргі тапсырмалардың көпшілігінде әрбір талдаушы мұны өзі анықтайды және сырттан келген адамның шешімінің бұл аспектісін бағалай алуы екіталай. Дегенмен, қарастырылып отырған тапсырма үшін бұл сұрақ өте маңызды болды, себебі заңды деректердің сенімділігі осыған жақындауы керек.
Жұмыс сенімділігін анықтау үшін бағдарламалық жасақтаманы тестілеу технологияларын қарастыру. Бүгінгі таңда мұндай модельдердің 100-ден астамы бар. Көптеген модельдер сұранысқа негізделген модельді пайдаланады:
Сурет. 6
Мен келесідей пайымдадым: «Егер анықталған қате осы модельдегі ақаулыққа ұқсас оқиға болса, онда t параметрінің аналогын қалай табуға болады?» Мен келесі модельді жасадым: Сынақшының бір жазбаны тексеруге кететін уақыты 1 минут (қарастырылып отырған дерекқор үшін) деп елестетіп көрейік. Содан кейін барлық қателерді табу үшін оларға 365 494 минут қажет болады, бұл шамамен 3 жыл 3 айлық жұмыс. Біздің түсінгеніміздей, бұл өте көп жұмыс көлемі және дерекқорды тексеру шығындары осы дерекқорды жасаушы үшін өте жоғары болады. Бұл ой жүгіртуде шығынның экономикалық тұжырымдамасы пайда болады және талдаудан кейін мен оның тиімді құрал екендігі туралы қорытындыға келдім. Экономика заңына сүйене отырып: «Компания максималды пайдаға қол жеткізетін өндіріс көлемі (бірлікпен) жаңа өнім бірлігін өндірудің шекті құны компанияның әрбір жаңа бірлік үшін ала алатын бағасына тең болатын нүктеде орналасқан». Әрбір келесі қатені табу үшін көбірек жазбаларды тексеру қажет деген постулатқа сүйене отырып, бұл шығын факторы. Яғни, модельдерді сынауда қабылданған постулат келесі заңдылықта физикалық мағынаға ие болады: егер i-ші қатені табу үшін n жазбаны тексеру қажет болса, онда келесі (i+1) қатені табу үшін m жазбаны тексеру қажет болады және сонымен бірге n
- Жаңа қате табылмас бұрын тексерілген жазбалар саны тұрақтанған кезде;
- Келесі қате табылғанға дейін тексерілген жазбалар саны артады.
Сыни мәнді анықтау үшін мен экономикалық орындылық тұжырымдамасына жүгіндім, бұл жағдайда әлеуметтік шығындар тұжырымдамасын қолдана отырып, келесідей тұжырымдауға болады: «Қателікті түзету шығындарын ең аз шығынмен жасай алатын экономикалық агент көтеруі керек». Бізде бір агент бар - бір жазбаны тексеруге 1 минут жұмсайтын сынақшы. Ақшалай түрде күніне 6000 рубль табыспен бұл 12,2 рубльді құрайды (шамамен бүгін). Экономикалық құқықтағы тепе-теңдіктің екінші жағын анықтау ғана қалады. Мен келесідей пайымдадым. Бар қателік оны түзетуге әсер ететін, яғни мүлік иесінің күш жұмсауын талап етеді. Бұл 1 күндік әрекетті (өтінім беру, түзетілген құжатты алу) қажет деп есептейік. Сонда, әлеуметтік тұрғыдан алғанда, оның шығындары орташа күндік жалақыға тең болады. Ханты-Манси автономиялық округіндегі орташа есептелген жалақы Күніне 73 285 рубль немесе 3 053 542 рубль. Тиісінше, біз келесіге тең маңызды мәнді аламыз:
3053,542: 12,2 = 250,4 жазба бірлігі.
Бұл қоғам тұрғысынан алғанда, егер тестілеуші 251 жазбаны тексеріп, бір қате тапса, бұл пайдаланушының сол қатені өзі түзеткенімен тең дегенді білдіреді. Тиісінше, егер тестілеуші келесі қатені табу үшін 252 жазбаны тексеруге дәл сондай уақыт жұмсаса, онда оны түзету құны пайдаланушыға жүктелуі керек.
Бұл тәсіл жеңілдетілген, себебі қоғамдық тұрғыдан алғанда, әрбір маманның барлық қосымша шығындарын, яғни салықтар мен әлеуметтік қамсыздандыру жарналарын қоса алғанда, шығындарын ескеру қажет. Дегенмен, модель айқын. Бұл байланыс мамандарға қойылатын келесі талапқа әкеледі: IT маманының жалақысы республикалық орташа көрсеткіштен жоғары болуы керек. Егер олардың жалақысы әлеуетті дерекқор пайдаланушыларының орташа жалақысынан төмен болса, олар бүкіл дерекқорды жеке тексеруі керек.
Сипатталған критерийді пайдаланған кезде дерекқор сапасына қойылатын бірінші талап қалыптасады:
I(tr). Маңызды қателіктердің үлесі 1/250,4 = 0,39938% аспауы керек. Сәл аз. Ал өнеркәсіптегі алтын. Ал физикалық тұрғыдан алғанда, қателері бар жазбалар саны 1459-дан аспайды.
Экономикалық шегіну.
Негізінде, жазбаларда осындай қателіктерге жол беру арқылы қоғам келесі көлемде экономикалық шығындарға келіседі:
1459*3053,542 = 4 455 118 рубль.
Бұл сома қоғамда бұл шығындарды азайту құралдарының жетіспеушілігімен анықталады. Сондықтан, егер біреу қателіктері бар жазбалар санын, айталық, 259-ға дейін азайтатын технологияны әзірлесе, бұл қоғамға мыналарды үнемдеуге мүмкіндік береді:
1200*3053,542 = 3 664 250 рубль.
Бірақ сонымен бірге, ол, айталық, өзінің таланты мен еңбегі үшін 1 миллион рубль сұрай алады.
Яғни, әлеуметтік шығындар келесідей төмендейді:
3 664 250 – 1 000 000 = 2 664 250 рубль.
Негізінде, бұл әсер BigData технологияларын пайдаланудан алынған қосымша құндылық болып табылады.
Бірақ бұл әлеуметтік әсер екенін және дерекқордың иесі муниципалдық үкімет екенін ескеру маңызды. Олардың осы дерекқорда тіркелген мүлікті 0,3% пайыздық мөлшерлемемен пайдаланудан түсетін табысы жылына 2,778 миллиард рубльді құрайды. Бұл шығындар (4 455 118 рубль) оларды аса қызықтырмайды, себебі олар мүлік иелеріне беріледі. Сондықтан BigData-да жетілдірілген технологияларды әзірлеуші дерекқор иесін сендіру қабілетін көрсетуі керек болады, ал мұндай нәрселер айтарлықтай талантты қажет етеді.
Бұл мысалда бағдарламалық жасақтаманың сенімділігін тексеру үшін қателерді бағалау алгоритмі Шуман моделіне [2] негізделіп таңдалды. Бұл оның желіде кеңінен қолданылуына және қажетті статистикалық көрсеткіштерді алу мүмкіндігіне байланысты жасалды. Әдістеме Ю. М. Монаховтың «Ақпараттық жүйелердің функционалдық тұрақтылығы» еңбегінен алынды (7-9 суреттердегі спойлерді қараңыз).
7-9 сурет. Шуман моделінің әдіснамасы
Осы материалдың екінші бөлімінде Шуман моделін қолдану нәтижелері алынған деректерді тазартудың мысалы келтірілген.
Алынған нәтижелерді ұсынайын:
Қателердің болжамды саны N = 3167 шН.
C параметрі, лямбда және сенімділік функциясы:
17-сурет
Негізінде, лямбда - әр кезеңде қателердің анықталу жылдамдығының нақты көрсеткіші. Екінші бөлімде лямбданың болжамды мәні сағатына 42,4 қате болды, бұл Шуман индикаторымен салыстыруға болады. Жоғарыда әзірлеушінің қателерді анықтау жылдамдығы 250,4 жазбаға 1 қатеден төмен болмауы керек екендігі анықталды, минутына бір жазба тексеріледі. Демек, Шуман моделі үшін лямбданың маңызды мәні:
60 / 250,4 = 0,239617.
Яғни, қателерді анықтау процедураларын жүргізу қажеттілігі ламбда бар 38,964-тен 0,239617-ге дейін төмендегенше орындалуы керек.
Немесе N (қателердің ықтимал саны) көрсеткіші минус n (түзетілген қателер саны) біз қабылдаған шектен төмен түскенше – 1459 дана.
Әдебиет
- Монахов, Ю. М.Ақпараттық жүйелердің функционалдық тұрақтылығы. 3 бөлікте. 1-бөлім. БҚ сенімділігі: оқулық / Ю. М.Монахов; Владимир мемлекеттік университеті. – Владимир: Издво Владимир мемлекеттік университеті, 2011. – 60 б. – ISBN 978-5-9984-0189-3.
- Мартин Л. Шуман, «Бағдарламалық жасақтаманың сенімділігін болжаудың ықтималдық модельдері».
- IT мамандары үшін деректерді сақтау негіздері / Паулраж Понниа.—2-ші басылым.
Ақпарат көзі: www.habr.com
