Аудармашының алғысөзі
Материал мені қызықтырды, ең алдымен төмендегі кестеге байланысты:
Статистиктерге (және орыстар, генетикалық деңгейде), аздап айтқанда, сызықтық қатынастан ерекшеленетін ештеңе ұнамайтынын ескере отырып, бұл балалар параболалық түрде белсендіру функциясын қолдану арқылы итермелей алды. ресми статистикада BigData пайдалану тәуекел дәрежесін анықтау. Жарайсың. Әрине, статистика мамандары бұл жұмысқа өз ескертулерін қосты - «1 Кез келген қателер немесе олқылықтар авторлардың жауапкершілігінде. Бұл құжатта айтылған пікірлер жеке және Еурокомиссияның ресми ұстанымын көрсетпейді». Бірақ жұмыс жарияланды. Менің ойымша, бұл бүгінгі күнге жетеді және олар (авторлар) бұл аспектілерде ешкімге өз таразысын табуға тыйым салған жоқ.
Үлкен деректерге арналған зерттеу әдістерінен статистикалық әдістердің қай жерде және қалай ерекшеленетінін жеткілікті құрылымдық түрде бөлуге болады. Менің ойымша, бұл жұмыстың ең үлкен пайдасы тапсырыс берушімен сөйлескенде және оның мәлімдемелерін жоққа шығарғанда болады:
— Ал статистиканы өзіміз жинаймыз, мұнда тағы нені зерттегің келеді?
«Сіз бізге өз нәтижелеріңізді статистикалық деректермен салыстыруымыз үшін ұсынасыз». Бұл сұрақта авторлар бұл шығарманы оқып шығу жақсы болар еді (3 )
Бұл жұмыста авторлар тәуекел деңгейі туралы өз көзқарасын білдірді. Бұл параметр көздерге сілтемемен шатастырмау үшін жақшада көрсетілген.
Екінші бақылау. Авторлар BDS терминін пайдаланады - бұл BigData тұжырымдамасының аналогы. (шамасы, ресми статистикаға бас иеді).
Авторлардың алғысөзі
Ресми статистикалық мәліметтерді жасау үшін үлкен деректер көздерін пайдалануды зерттейтін статистикалық басқармалар санының артуы. Қазіргі уақытта бұл көздердің нақты статистикалық өндіріске толығымен біріктірілген бірнеше мысалдары бар. Демек, олардың интеграциясынан туындаған салдардың толық көлемі әлі белгісіз. Осы уақытта үлкен деректердің сапа немесе әдістеме сияқты статистикалық өндірістің әртүрлі аспектілеріне жағдайлары мен әсерін талдауға алғашқы әрекеттер жасалды. Жұмыс тобы жақында Біріккен Ұлттар Ұйымының Еуропалық Экономикалық Комиссиясының (БҰҰ ЕЭК) Үлкен деректер жобасының контекстінде үлкен деректерге негізделген статистиканы өндірудің сапалы негізін әзірледі. Еуропалық статистикалық тәжірибе кодексіне сәйкес жоғары сапалы статистикалық ақпаратпен қамтамасыз ету статистикалық ведомстволардың негізгі міндеті болып табылады. Тәуекел белгісіздіктің мақсаттарға әсері ретінде анықталғандықтан (мысалы, ISO 31000), біз тәуекелдерді әсер ететін сапа өлшемдеріне қарай жіктеуді пайдалы деп таптық.
Үлкен деректер көздерінен алынған статистикалық деректер сапасының ұсынылып отырған құрылымы статистикалық бизнес-процестің барлық кезеңдерімен байланысты сапаның құрылымдық көрінісін қамтамасыз етеді және осылайша осы жаңа деректер көздеріне байланысты тәуекелдерді кешенді бағалау және басқару үшін негіз бола алады. . Ол институционалдық/іскерлік орта немесе күрделілік сияқты ресми статистика үшін үлкен деректерді пайдалану кезінде ерекше немесе (жоғары маңызды) жаңа сапалы өлшемдерді енгізеді. Осы жаңа сапалық шараларды пайдалана отырып, ресми статистикада үлкен деректер көздерін пайдалануға байланысты тәуекелдерді жүйелі түрде анықтауға болады.
Бұл жұмыста біз ресми статистика контекстінде үлкен деректерді пайдаланудан туындайтын тәуекелдерді анықтауды мақсат етеміз. Ұсынылған сапа құрылымының контекстінде тәуекелдерді анықтауға жүйелі көзқарасты ұстанамыз. Жаңадан ұсынылған сапа өлшемдеріне назар аудара отырып, біз қазіргі уақытта жоқ немесе ресми статистиканың өндірісіне әсер етпейтін тәуекелдерді сипаттай аламыз. Бұл ретте біз статистиканы алу үшін үлкен деректерді пайдалану кезінде мүлдем басқаша бағаланатын ағымдағы тәуекелдерді анықтай аламыз. Содан кейін біз тәуекелдерді басқару цикліне көшеміз және сол тәуекелдердің ықтималдығы мен әсерін бағалауды қамтамасыз етеміз. Тәуекелді бағалау әртүрлі тәуекелдерге ықтималдық пен әсерді жатқызудағы субъективтілікті қамтитындықтан, біз тәуелсіз берілген ондаған әртүрлі мүдделі тараптар арасындағы келісімді өлшейміз. Содан кейін біз төрт негізгі санат бойынша осы тәуекелдерді азайту нұсқаларын ұсынамыз: болдырмау, азайту, бөлісу және сақтау. ISO сәйкес тәуекелдерді басқару принциптерінің бірі құндылық жасау болуы керек, яғни тәуекелдерді азайту үшін ресурстар ештеңе істемегеннен гөрі төмен болуы керек. Осы принципке сәйкес, ресми статистика үшін үлкен деректерді пайдалануды неғұрлым жан-жақты бағалауға қол жеткізу үшін біз тәуекелдерді азайту жөніндегі кейбір шаралардың түпкілікті нәтижелердің сапасына ықтимал әсерін түпкілікті бағалайтын боламыз.
1. Кіріспе
1.1. Фон
«Үлкен деректердің» дамуын Кеннет Нил Кукиер мен Виктор Майер-Шонбергер «Үлкен деректердің пайда болуы» мақаласында сипаттады (2. ) «деректерді тасымалдау» терминімен. Деректерді бекіту «өмірдің барлық аспектілерін қабылдау және оларды деректерге айналдыру» процесі ретінде сипатталады. Мысалы. Facebook жеке желілерді, қоршаған орта жағдайларының барлық түрлеріне арналған сенсорларды, жеке байланыс пен қозғалысқа арналған смартфондарды, жеке орталар үшін киілетін деректерді ұсынады. Бұл барлық жерде дерлік деректерді жинауға және қолжетімділікке әкеледі.
Көптеген басқа секторлардағы сияқты, ресми статистика стратегиялық деңгейде үлкен деректер мәселесін жақында ғана талқылай бастады. Статистикалық өндіріс пен қызметтерді модернизациялау бойынша жоғары деңгейлі топтың ішінде қиындық немесе мүмкіндік, кіші немесе үлкен және т.б. болашақ жол туралы ортақ және кең тараған түсінік әлі жоқ (3 Үлкен деректер қаншалықты үлкен? Рөлді зерттеу Ресми статистикадағы үлкен деректер: ), бірінші SWOT талдауы, одан кейін өрескел тәуекел/пайда талдауы жүргізілді. «Тәуекелдерді жан-жақты талдау ықтималдық пен әсер ету сияқты аспектілерді де қамтитыны және тәуекелдерді азайту және басқару стратегияларын анықтау үшін кеңейтілуі мүмкін» деп атап өтілді.
Бұл құжат тәуекелдерді толық талдаудан әлі алыс болса да, ол бірінші құрылымдық шолуды жасау арқылы жағдайды жақсартуға бағытталған. Біз бұл шолуды Ресми статистикалық қоғамдастықта (ОСҚ) жалпы талқылауды ынталандыру үшін бастапқы нүкте ретінде қарастыру керек екенін атап өткіміз келеді.
1.2. Шар
Бұл мақала тек артықшылықтарды ғана емес, сонымен қатар күшті, әлсіз жақтарды, мүмкіндіктер мен қауіптерді қоспағанда, тек тәуекелдерге бағытталған. Бұл «ескермеу тәуекелдері» (мысалы, егер ол жаңартылмаған болса, ОСК бәсекелестіктен тыс қалу қаупі) ауқымда емес дегенді білдіреді; Бұл көбірек қауіп. Оның орнына, біз туындауы мүмкін тәуекелдерді бөліп көрсетуге тырысамыз (a) егер OSC үлкен деректер ұсынған мүмкіндіктерді пайдаланса және нақты «үлкен деректерге негізделген ресми статистикалық өнімді» (BOSP) әзірлеуге немесе жақсартуға кіріссе; (b) жаңа «әдеттегідей бизнес» үшін тәуекелдер, яғни «үлкен деректер» өндірісіне негізделген ресми статистика үшін тәуекелдер. (Ресми статистиканың барлық өндірісі тәуекелдерді қамтитындықтан, біз өзімізді (b) «үлкен деректерге» тән тәуекелдермен, яғни ресми статистиканы жинаудың «дәстүрлі» процесі үшін жоқ немесе елеусіз тәуекелдермен шектейміз.)
1.3. Құрылым
2-бөлімде біз тәуекелдерді басқару және тәуекелдерді басқару үшін нақты қажетті шеңберден бастап, осы тапсырмамен байланысты негізгі принциптерді ұсынамыз (2.1-бөлім). Біз сондай-ақ үлкен деректерден алынған статистика үшін алдын ала сапа құрылымын ұсынамыз (2.2-бөлім), өйткені сапа құрылымын тәуекелмен байланыстыру екі мақсатқа қызмет етеді:
- Ол тәуекелдерді анықтау үшін контекстті белгілейді. Белгілі бір сапа көрсеткіштері қарастырылған сипаттамалармен бірге клиенттер мен пайдаланушыларға қызмет көрсету үшін маңызды және шешуші болып саналатын объектінің мәндерін білдіреді.
- Бұл жалпы гиперкеңістікте орналасқан және статистикалық өнімдерді өндіру процесінің нақты кезеңдерімен байланыстырылған сапалы өлшемдерге нақты тәуекелдерді тағайындауға мүмкіндік береді.
3, 4, 5 және 6 бөлімдерінде біз әртүрлі контексттерде осы уақытқа дейін анықталған тәуекелдерді ұсынамыз (4 ESS (https://www.europeansocialsurvey.org/about/structure_and_governance.html) Үлкен деректер жобасының іскерлік жағдайының құжаттары. Үлкен деректердегі ESSnets ішінара жобаға және ішінара үлкен деректер көздерін статистикалық мақсаттарда пайдалануға қатысты тәуекелдердің тізімін қамтиды «Үлкен деректер сапасы үшін ұсынылған шеңбер» құжатында сапа өлшемдеріне қатысты кейбір тәуекелдер айтылады./ The ESS Big Data Project Business Case құжаттары, сондай-ақ ESS Big Data Networks, ішінара жобамен және ішінара статистикалық мақсаттар үшін үлкен деректер көздерін пайдаланумен байланысты тәуекелдердің тізімін қамтиды «Үлкен деректер сапасы үшін ұсынылған негіз сапа көрсеткіштерімен байланысты кейбір тәуекелдерді атап өтеді). Мұнда біз деректерге қол жеткізудің жіктелуін, құқықтық ортаны, деректердің құпиялылығын және қауіпсіздігін және дағдыларды қолданамыз; үлкен деректерден алынған статистиканың сапалық құрылымына сәйкес қайта ұйымдастыруды (2.2-бөлім) осы құрылым неғұрлым толық мәртебеге жеткен кезде қарастыру керек. Анықталған тәуекелдердің әрқайсысы үшін біз (i) ықтималдықты, сондай-ақ әсерді бағалауды қамтамасыз етеміз (2.1.3-бөлімге сәйкес) және (ii) тәуекелді азайту және басқару стратегияларын ұсынамыз (2.1.4-бөлімді қараңыз).
Соңында біз өз нәтижелерімізді талқылаймыз және 7-бөлімде келесі қадамдарды сипаттаймыз
2. Негіздер
2.1. Тәуекелдер және тәуекелдерді басқару
ISO 31000:20095 стандартына сәйкес тәуекел «белгіленген мақсаттарға белгісіздік әсері» ретінде анықталады. Бұл тәуекелдерді анықтау алдында мақсаттарды анықтау немесе білу қажет дегенді білдіреді. Бұл мақсаттар әдетте тиісті ұйымның институционалдық контекстін ескере отырып анықталады. Тағы бір маңызды мәселе, тәуекелдер белгісіздік сипатына ие, яғни сипатталған оқиғаның орын алатын-болмайтыны белгісіз. Осылайша, тәуекелдер оқиғаның орын алу ықтималдығы және оның салдары тұрғысынан өлшенеді, яғни оқиғаның қойылған мақсаттарға қол жеткізуге әсері. Тәуекелдерді бағалау, сайып келгенде, пайда алу мүмкіндіктерін іске асыру мен қолайсыз салдарды азайту арасында тиісті тепе-теңдікті сақтауға мүмкіндік беретін неғұрлым объективті ақпаратты қамтамасыз етуі керек. Тәуекелдерді басқару басқару тәжірибесінің ажырамас бөлігі және жақсы корпоративтік тәжірибенің маңызды элементі болып табылады (6 Statistics Canada: 2014-2015 жылдарға арналған жоспарлар мен басымдықтар туралы есеп, ). Бұл шешім қабылдауды үздіксіз жақсартуға мүмкіндік беретін және өнімділікті үздіксіз жақсартуға көмектесетін итерациялық процесс.
Тәуекелдер де сапамен байланысты. Сапа жүйесін қолдану бұл нәтиже пайдаланушылардың қажеттіліктерін қанағаттандыратын мағынада белгілі бір сапа деңгейіндегі нәтижеге жету үшін әртүрлі көздер мен әдістемелер беретін мүмкіндіктерді пайдалануға мүмкіндік беруі керек. Тәуекелдер сияқты сапа деңгейлері де институционалдық ортадан және белгілі бір институттардың мақсатынан алынуы мүмкін. Бұл тұрғыда институционалдық орта ұйым өз мақсаттарына жету үшін көтергісі келетін тәуекелдің жалпы деңгейін анықтайды.
Тәуекелдерді бағалау және басқару үдерісін әртүрлі кезеңдерге бөлуге болады, олар контекстті белгілеуді, тәуекелдерді анықтауды, ықтималдық пен әсер ету тұрғысынан тәуекелдерді талдауды, тәуекелдерді бағалауды және тәуекелдерді ең соңында өңдеуді қамтиды.
2.1.1. Институционалдық контекст
Бірінші қадам - процестің қалған бөлігі өтетін стратегиялық, ұйымдық және тәуекелдерді басқару контекстін құру. Бұған тәуекелдер бағаланатын критерийлерді белгілеу және талдау құрылымын анықтау кіреді.
2.1.2. Тәуекелді анықтау
Екінші кезеңде мақсаттарға жетуге әсер етуі мүмкін оқиғалар анықталуы керек. Сәйкестендіру тәуекелдер түріне, оқиғаның уақытына, орналасқан жеріне немесе оқиғалардың мақсаттарға жетуді қалай алдын алуға, нашарлатуға, кейінге қалдыруға немесе жақсартуға қатысты сұрақтарды қамтуы керек.
2.1.3. Қауіп-қатерді бағалау
Келесі қадам қолданыстағы бақылауларды анықтаудан және ықтималдық, сондай-ақ ықтимал салдарлар тұрғысынан тәуекелдерді талдаудан тұрады. Осы баптың контекстінде тәуекелдердің туындау ықтималдығы немесе ықтималдығы 1-ден (ықтимал емес) 5-ке (жиі) дейінгі шкала бойынша қолданылады. Оқиғалардың пайда болуының әсері 1-ден (маңызды емес) 5-ке (төтенше) дейінгі шкала бойынша өлшенеді. 1-кестеде көрсетілгендей, ықтималдық пен әсердің туындысы 1-ден 25-ке дейінгі «тәуекел деңгейін» шығарады.
Болжалды тәуекел деңгейлерін ықтимал пайда мен қолайсыз нәтижелер арасындағы тепе-теңдікті орнату үшін алдын ала анықталған критерийлермен салыстыруға болады. Бұл басқару басымдықтары туралы пайымдаулар жасауға мүмкіндік береді.
Іс-әрекетке басымдылық маңызды тәуекелдерге (2-кестені қараңыз), яғни орын алуы мүмкін және ұйымның мақсаттары үшін ауыр немесе төтенше салдары бар тәуекелдерге берілуі керек.
2.1.4. Тәуекелге жауап беру
Соңғы қадам тәуекелдерге қалай әрекет ету керектігі туралы шешімдерден тұрады. Алдын ала анықталған тәуекел деңгейінен төмен кейбір тәуекелдерді елемеу немесе жол беруге болады. Басқалар үшін тәуекелдерді басқару шығындары ықтимал пайдадан асып түсетіндей жоғары болуы мүмкін. Бұл жағдайда ұйым тиісті қызметтен бас тарту туралы шешім қабылдауы мүмкін. Тәуекелдер сонымен қатар сақтандыру сияқты үшінші тұлғаларға берілуі мүмкін, олар туындаған шығындарды өтейді. Соңғы нұсқа шығындарды ықтимал пайдамен теңестіретін стратегиялар мен әрекеттерді анықтау кезінде тәуекелдерді ескеру болып табылады. Осылайша, ұйым пайданы ұлғайту және ықтимал шығындарды азайту стратегияларын жүзеге асыру туралы шешім қабылдайды.
2.2. Сапа жүйелері
Ұлттық және халықаралық статистикалық ұйымдардың өкілдерінен тұратын жұмыс тобы 2014 жылы үлкен деректерден алынған статистиканың алдын ала сапа негізін әзірледі. Арнайы топ БҰҰ ЕЭК/HLG «Статистикалық өндірісті жаңғыртудағы үлкен деректердің рөлі» жобасының демеушілігімен жұмыс істеді. Ол үлкен деректер көздері үшін маңызды деп саналатын сапа көрсеткіштерімен әкімшілік деректер көздерінен алынған статистиканы бағалауға арналған қолданыстағы сапа жүйелерін кеңейтті.
Бұл жүйе бизнес-процестің үш фазасын ажыратады: кіріс, өнімділік және шығыс. Кіріс фазасы GSBP «жобалау» және «жинау» фазаларына, «үдеріс» және «талдау» фазалары үшін өнімділікке сәйкес келеді, ал шығыс «тарату» фазасына тең.
Құрылым Нидерланды статистикасы әзірлеген әкімшілік деректер құрылымынан алынған иерархиялық құрылымды пайдаланады (7 Daas, P., S. Ossen, R. Vis-Visschers, and J. Arends-Toth, (2009), Checklist for the Сапа). Әкімшілік деректер көздерін бағалау статистикасы Нидерланды, Гаага/Херлен). Сапа өлшемдері гиперкеңістіктер деп аталатын иерархиялық құрылымда кірістірілген. Анықталған үш гиперөлшемдер «көзі», «метадеректер» және «деректер» болып табылады. Сапа өлшемдері осы гиперөлшемдер ішінде кірістірілген және өндіріс кезеңдерінің әрқайсысына тағайындалған. Енгізу кезеңі үшін «құпиялылық және құпиялылық», «күрделілік» (деректер құрылымына сәйкес), метадеректердің «толықтығы» және «біріктіру» (деректерді басқа деректермен байланыстыру мүмкіндігі) қосымша аспектілері ұсынылды. стандартты сапа үлгісіне қосыңыз. Сапа көрсеткіштерінің әрқайсысы үшін олардың сипаттамасына сәйкес факторлар, сондай-ақ ықтимал көрсеткіштер ұсынылады.
Осы баптың мақсаттары үшін осы факторлардан тәуекелдер алынып тасталуы мүмкін. Мысалы, «институционалдық/іскерлік ортаның» сапасын өлшеу үшін ескеру қажет факторлар деректер жеткізушінің тұрақтылығы болып табылады. Қатысты тәуекел деректердің болашақта деректер провайдерінен қолжетімді болмауы болуы мүмкін. Тағы бір мысал сапа, құпиялылық және қауіпсіздіктің жақында ұсынылған аспектісіне қатысты. Маңызды факторлардың бірі – әртүрлі мүдделі тараптардың нақты деректер көздерін мақсатты пайдалануын ықтимал теріс қабылдауға қатысты «қабылдау».
3. Деректерге қол жеткізуге байланысты тәуекелдер
3.1. Деректерге қол жеткізудің болмауы
3.1.1. Сипаттама
Бұл тәуекел қажетті Үлкен деректер көзіне (BDS) қол жеткізе алмайтын BOSP әзірлеу жобасынан тұрады.
Осы уақытқа дейін OSC тіпті бастапқы блоктардан шығу және оған қол жеткізу кейде еңсерілмейтін кедергі болатынын түсінді. Кейде тестілеу/зерттеу мақсаттары үшін қоңырау деректерінің жазбалары (CDR) сияқты белгілі бір көзге қол жеткізу оңай, бірақ оған өндірістік мақсаттарда қол жеткізу әлдеқайда қиын (заңды немесе коммерциялық себептер бойынша).
3.1.2. Ықтималдық
Ықтималдық негізінен BDS сипаттамаларына байланысты. Үлкен әкімшілік деректер жағдайында олар 1-ге дейін төмен болуы мүмкін, атап айтқанда, егер (Daas et al. 8 Daas, P., M. Puts, B. Buelens және P. зерттеген трафик циклінің деректері жағдайында сияқты). van den Hurk 2015. «Үлкен деректер Ресми статистиканың дереккөзі.» 31 (2 жылдың маусымында жарияланады.)) жеке деректерді қорғауда проблемалар жоқ. Егер BDS ісі жеке болса, әсіресе ол сезімтал (мысалы, деректерді қорғау тұрғысынан) немесе құнды (коммерциялық тұрғыдан алғанда) болса, ықтималдық өте жоғары болуы мүмкін (2015).
3.1.3. Әсер ету
Әсер BOSP және BDS қалай қолданылатынына байланысты. Егер BDS дәл ортасында болса, әсер өте жоғары болуы мүмкін (4 = BOSP шығару мүлдем мүмкін емес), ал егер басқа BDS-ке сүйену арқылы BOSP (төмен сапада болса да) шығару мүмкін болса, ол төмен болуы мүмкін, 2-3 диапазонында әсерге әкеледі.
3.1.4. Алдын алу
Қол жеткізудің болмауы қаупін азайту үшін деректер провайдерімен алдын ала байланыстар орнатылып, деректерге қол жеткізу үшін ұзақ мерзімді келісім жасалуы керек. Сонымен қатар, BDS және BOSP нақты комбинациясына қатысты кешенді құқықтық талдау жүргізілуі керек. Ағымдағы немесе болашақ заңнама арқылы деректерге қол жеткізу мүмкіндіктері де бағалануы керек.
3.1.5. Жеңілдету
BOSP үшін пайдалануға болатын балама BDS бар болса, олардың орнына оларды зерттеуге болады. Егер BDSсіз BOSP шығарудың жолы болмаса және қол жеткізудің жетіспеушілігін жеңу мүмкін болмаса, күш-жігерден бас тарту керек және жаңа BOSP күнді көрмейді.
3.2. Деректерге қол жеткізуді жоғалту
3.2.1. Сипаттама
Бұл тәуекел статистикалық кеңсенің BOSP негізін құрайтын BDS жоғалтуында.
3.2.2. Ықтималдық
BOSP әлдеқашан шығарылған болса, әдетте біршама тұрақтылық болады және кейбір жағдайларда тәуекел өте төмен болуы мүмкін (1). Алайда, атап айтқанда, жеткіліксіз берік келісімдер жасалған жеке тұлғаларға қатысты ештеңе кедергі болмайды, мысалы. Орташа бұзылу қаупіне әкелетін деректер туралы есеп беру саясатын өзгертуге байланысты жаңа нұсқаулық (3). Оның үстіне, егер BDS тұрақсыз белсенділікпен байланысты болса, провайдердің жай ғана банкротқа ұшырау қаупі әрқашан бар, ал тәуекел одан да жоғары болуы мүмкін (4).
3.2.3. Әсер ету
Қолданыстағы BOSP өндіру мүмкін болмауы мүмкін болғандықтан, өте жоғары әсерлер жиі орын алады (5). BDS көмекші сипатта болатын басқа жағдайларда әсер 2-3 диапазондағы әсермен сапаның жоғалуы болуы мүмкін.
3.2.4. Алдын алу
Алдын алу стратегиясы деректерсіз стратегияға ұқсас, бірақ өндіріс орындарында да тұрақты қырағылыққа баса назар аударылады.
Барлық жұмыртқаларды бір себетке салмау (яғни, әр BSOP негізінде бірнеше BDS болуы) стратегия болуы мүмкін, бірақ бұл іс жүзінде мүмкін емес немесе тым қымбат болуы мүмкін.
3.2.5. Жеңілдету
Егер BDS тұрақсыз әрекеттердің нәтижесі болса, сол әлеуметтік құбылысты көрсететін жаңа BDS біртіндеп қол жетімді болуы мүмкін. Дегенмен, BSOP төмендеген кезде «нарықты сканерлеуді» бастау тым кеш болады; ол үнемі қырағылықты қажет етеді және оған жету қиын болуы мүмкін.
4. Құқықтық ортамен байланысты тәуекел
4.1. Тиісті заңнаманы сақтамау
4.1.1. Сипаттама
Бұл тәуекел тиісті заңнаманы ескермейтін, BOSP-ті аталған заңнамаға сәйкес келмейтін етіп жасайтын BOSP әзірлеу жобасынан тұрады. Бұл деректерді қорғау заңнамасына, әрекет ету ауыртпалығына қатысты ережелерге және т.б. қатысты болуы мүмкін.
4.1.2. Ықтималдық
OSC үлкен деректер туралы хабардар еместігін ескере отырып, кездейсоқ (3) сәйкессіздік орын алуы мүмкін. Ықтималдық әдетте BDS-пен байланысты, өйткені көз неғұрлым «сезімтал» болса, сәйкессіздіктің орын алу ықтималдығы соғұрлым аз.
4.1.3. Әсер ету
Әсер әдетте өте маңызды (4) сәйкес келмейтін өндіріс BOSP тоқтатылуын талап етеді (немесе егер ол әлі іске асыру сатысына жетпесе, оның дамуын тоқтатуға тура келеді). Бұл тіпті төтенше (5) болуы мүмкін, себебі орынсыз («заңсыз») ресми статистикадан туындайтын беделге қатысты тәуекелдер салдары болуы мүмкін.
4.1.4. Алдын алу
Кез келген BOSP мұқият құқықтық талдауды талап етеді - және бұл бірнеше кезеңде орын алады (әзірлеу/барлау сатысында қолайлы нәрсе енгізу/өндіріс сатысында олай болмауы мүмкін). Бұл өз кезегінде BOSP оны үйлесімді ету үшін кері өңдеуге әкелуі мүмкін.
4.1.5. Жеңілдету
Сәйкессіздіктің ауырлығына байланысты бірінші қадам BOSP-ті офлайн режиміне қою болуы мүмкін.
BOSP-ті сәйкес ету үшін оны қайта құру опция болуы мүмкін, бірақ BOSP-тің осылайша «сақталуы» сәйкессіздіктің сипатына байланысты.
4.2. Құқықтық ортадағы қолайсыз өзгерістер
4.2.1. Сипаттама
Әзірленіп жатқан BOSP-ке қатысты жаңа заңнама енгізілуі мүмкін, бұл BOSP-ті тиімді түрде үйлеспейтін етеді.
4.2.2. Ықтималдық
Жетілдірілген деректерді қорғауды жақтаушылар нақты BOSP құру мүмкіндігіне тікелей немесе жанама әсер ететін жаңа талаптарды енгізуі мүмкін. 2-3 диапазондағы ықтималдық шынайы бағалау сияқты.
4.2.3. Әсер ету
Әсер әдетте өте маңызды (4), сәйкес келмейтін өндіріс BOSP жұмысын тоқтатуды талап етеді.
4.2.4. Алдын алу
Кейбір іскерлік ақпарат заңнамалық әзірлемелерді бақылау үшін жүйелі түрде жүргізілуі керек - мүмкін, сәйкес (мысалы, консультативтік) форумдарда ресми статистика үшін жағдай жасау арқылы оларға әсер ету үшін.
4.2.5. Жеңілдету
Проактивті мониторинг жүргізілген жағдайда, BOSP күшіне енген бірінші күннен бастап оны жаңа заңнамаға сәйкес келтіру үшін қайта құруға уақыт болуы мүмкін.
Егер, екінші жағынан, жаңа заңнама «таңқаларлық» болатындай бақылау жүргізілмесе немесе заңнама BOSP-ті үйлеспейтін етіп жасаудың ешқандай жолы жоқ радикалды болса - BOSP-ті өшіру жалғыз нұсқа болуы мүмкін.
5. Құпиялылық пен деректер қауіпсіздігіне байланысты тәуекелдер
5.1. Деректер қауіпсіздігінің бұзылуы
5.1.1. Сипаттама
Бұл тәуекел статистикалық басқармалардағы деректерге рұқсатсыз қол жеткізуге қатысты. Үшінші тараптар эмбаргодағы деректерді, мысалы, кестенің шығарылымына байланысты алуы мүмкін(9) Толығымен бір BDS негізіндегі кез келген BOSP үшін деректердің бастапқы иесіне жасырын түрде белгілі болуы сөзсіз, және егер әдістеме ашық болса, алынған статистика да белгілі болады, бұл жерде бұл жағдай қарастырылмайды, керісінше, иелердің қате әрекетімен байланысты тәуекел.) (10 Сонымен қатар, бұл деректер құпиялылықты бұзу қаупін тудыруы мүмкін. Бұл тәуекел бөлек қарастырылады.). Бұл, мысалы, қор нарығында инвесторлар күтетін деректер болуы мүмкін.
5.1.2. Ықтималдық
Статистикалық бөлімде АТ ортасын қорғаудың техникалық аспектілеріне келетін болсақ, тәуекел дәстүрлі көздер сияқты BDS үшін де ықтимал. Дегенмен, ескеру қажет қосымша екі аспект бар.
Біріншіден, кейбір BDS-де бастапқы иесінің деректер қауіпсіздігінің бұзылуына байланысты жалпы тәуекел аздап артады. Бұл, мысалы, өнеркәсіптік тыңшылықпен немесе хакерлікпен байланысты болуы мүмкін.
Екіншіден, әлеуетті құнды деректер кеңседе сақтала бастағанда, зиянды ниетті тарту қаупі артады. Егер сақталған деректер өте жоғары іскерлік құндылыққа ие болса, сіз АТ инфрақұрылымына бағытталған шабуылдардың өте жоғары ықтималдығына дайын болуыңыз керек, сондықтан бұзушылықтың орын алу ықтималдығы жоғары болуы мүмкін (4).
Егер сақталатын деректер құнды деп қабылданбаса, жалпы ықтималдық деректер көзіне байланысты (1) ден (3) дейін өте жоғары болып көрінбейді.
5.1.3. Әсер ету
Беделге ықтимал зиян үлкен болуы мүмкін (5). BDS жағдайында маңызды нәрсе, егер қауіпсіздіктің бастапқы иесінде бұзылса, статистикалық кеңсенің беделіне әсер ету оның сақтауындағы деректерде орын алған бұзушылыққа қарағанда төмен болады деп күтілуде.
Екінші жағынан, статистикалық мекемедегі заң бұзушылық бастапқы иесіне теріс салдары болуы мүмкін. Бұл жағдайда жеткізуші мен статистика органы арасындағы сенім тұрғысынан зақымдану салдарынан күшті теріс әсер қайтадан мүмкін болады (5).
5.1.4. Алдын алу
BDS жағдайына тән нәрсе - бастапқы иесінің қауіпсіздік процедуралары сәйкес болуы мүмкін. Статистика органдарына мұны бақылау үшін аудиторлық өкілеттіктердің берілуі екіталай. Мәліметтері құпия жариялау кестелері бар жазбаларды жасау үшін пайдаланылатын иелер өздерінің үй-жайларындағы ықтимал қауіпсіздікті бұзудың ресми статистикасына әсері туралы хабардар болуы және тиісті қауіпсіздік процедураларының бар екендігіне ресми кепілдік алуы керек.
Меншік иесінің үй-жайындағы қауіпсіздіктің бұзылуының статистикалық кеңсеге елеулі әсер етуін болдырмаудың қарапайым жолы - бір өнім үшін бірнеше көздің пайдаланылуын қамтамасыз ету, осылайша бір бұзылған дереккөз соңғы көрсеткішті шығару үшін жеткіліксіз. Бұл тәсілдің артықшылығы - үлкен бақылау статистикалық органның қолында.
Мәліметтердің бастапқы иесіне статистикалық кеңседе қауіпсіздіктің бұзылуына теріс әсер етудің алдын алу жолы - иесінің көзқарасы бойынша ықтимал сезімтал деректерді статистикалық кеңсеге тасымалдауды қамтымайтын жұмыс әдісін табу. Шикізат түрінде. Ықтимал алдын-алу тәсілі – жинақталған деректерді пайдалану. Алайда, бұл жағдайда топтастырудың кейбір түрлері, мысалы, популяцияның жекелеген мүшелерін анықтауға жол бермеу үшін жасалғандар орынды болмауы мүмкін екенін есте ұстаған жөн. Мұның бір себебі, иесіне тәуекелдің деректердің коммерциялық құндылығымен байланысты болуы мүмкін, бұл тіпті жасырындыққа қол жеткізілгеннен кейін де маңызды болуы мүмкін.
5.1.5. Жеңілдету
Статистикалық кеңсе жүргізетін деректер бұзылған жағдайда, бастапқы иесіне теріс әсер етпесе, жеңілдету шаралары дәстүрлі көздермен бірдей болады.
Бастапқы меншік иесі үшін жағымсыз салдарлар туындаған жағдайда, статистикалық орган өзінің қауіпсіздік процедураларын қайта қарауы және күшейтуі және бұл туралы нақты хабарлауы және өзінің адалдығын көрсетуі керек.
Егер бұзушылық бастапқы иесінің үй-жайында орын алса, тиісті статистикалық орган жағдайды нақты хабарлап, меншік иесінің қауіпсіздік процедураларын жақсартуды талап етуі керек. Қажет болса, балама жеткізушіні іздеуге болады.
5.2. Деректер құпиялылығын бұзу
5.2.1. Сипаттама
Бұл статистикалық популяциядағы бір немесе бірнеше адамның жеке өміріне қауіп төндіретін қауіп. Бұл басқа мемлекеттік органдардың қысымынан немесе статистикалық деректерді шығаруды бақылаудың жеткіліксіздігінен АТ-инфрақұрылымына жасалған шабуылға байланысты болуы мүмкін.
5.2.2. Ықтималдық
Деректердің бұзылу қаупі сияқты, микродеректерді сақтауға арналған техникалық шарттар BDS қосылғанда көп өзгермейді. Дегенмен, мұнда да ескертулер бар.
Белгілі бір деректер көздерінен алынған микродеректер жоғары бизнес мәніне ие болуы мүмкін, сондықтан оны сақтау шабуылдардың ықтималдығын арттырады.
Бұған қоса, кейбір микродеректер құқық қорғау, салық салу немесе денсаулық сақтау сияқты басқа мемлекеттік органдар үшін өте пайдалы болуы мүмкін. Белгілі бір жағдайларда статистикалық құпиялылық принципін сақтау үлкен қысымға ұшырауы мүмкін.
Статистикалық ақпараттың ашылуын бақылаудағы қателіктерге келетін болсақ, қазірдің өзінде қалыптасқан тәжірибе бар. BDS шағын субпопуляциялар үшін статистиканы жасауға мүмкіндік береді немесе әртүрлі BDS-терден жинақталған деректерді байланыстыру мүмкіндігін береді, бұл тәуекелдің туындау ықтималдығын арттыруы мүмкін. Сонымен қатар, жаңа дереккөздер жаңа әдістемелік әзірлемелерді қажет етеді, сондықтан ақпаратты ашуды бақылау әдістемесінің дұрыс жаңартылмауы нақты қауіп болып табылады.
Тұтастай алғанда, ақылға қонымды алдын алу шараларымен ықтималдықты ақылға қонымды деңгейде ұстауға болады, бірақ көптеген әртүрлі және әртүрлі факторлар әсер ететіндіктен, бұл жерде тиісті бағалау ықтималдық жоғары болып көрінеді (4).
5.2.3. Әсер ету
Беделге ықтимал зиян үлкен болуы мүмкін (5). Деректер қауіпсіздігін бұзу қаупі сияқты, статистикалық кеңседегі бұзушылық бастапқы иесі үшін жағымсыз салдарларға әкелуі мүмкін. Бұл жерде мұндай оқиғаның әсері, әсіресе, қоғамдық пікірдегі ағымдағы үрдістер сақталса, одан да жоғары болуы мүмкін. Деректер жеткізушісі мен статистикалық кеңсе арасындағы қарым-қатынасқа зиян да өте үлкен болады деп күтілуде.
5.2.4. Алдын алу
Бұл тәуекелдің пайда болуын болдырмаудың сенімді жолы - BDS микродеректерінің мүлде болмауы (бірақ басқа микродеректерді сақтау ықтималдығы мен әсері басқа болса да, тиісті тәуекелді тудырады). Бұл жол, деректер қауіпсіздігін бұзу қаупі сияқты, статистикалық мақсаттарда деректерді пайдаланудың басқа әдістерін әзірлеу қажеттілігін тудырады. Сонымен қатар, бұл жерде дереккөздердің әртүрлі сипаты мүмкіндігінше пайдалы ақпаратты алу және құпиялылықты қауіптен қорғау бәсекелес мақсаттары бар жаңа әдістемелерді әзірлеу қажет болатынын білдіреді.
Микродеректерді сақтау жағдайында АТ қауіпсіздігі мен қол жеткізуді басқару тетіктері қажетті деңгейде болуы және үнемі бақылануы қажет. Деректерді алудың жаңа тәсілдерінің қауіпсіздігін қамтамасыз етуге ерекше назар аудару қажет. Бір қызығы, бұл жаңа әдіс сақтау құрылғыларын (мысалы, қатты дискілер) физикалық тасымалдауды қамтуы мүмкін. Егер бұл әдіс қолданылса, жеткізу физикалық қауіпсіз болуы және шифрлауды пайдалану керек.
5.2.5. Жеңілдету
Мұндағы ықпал ету шаралары деректер қауіпсіздігін бұзумен бірдей. Бұзушылықтың себебі басқа мемлекеттік органның қысымы болса, болашақта осыған ұқсас бұзушылықтар бұдан да қиындай түсуі үшін басшылықтың тәуелсіздігін нығайту мүмкіндігін пайдалану керек.
5.3. Деректер көзімен манипуляция
5.3.1. Сипаттама
Әлеуметтік медиа деректері немесе ерікті түрде берілген деректер сияқты үшінші тарап деректер провайдерлері манипуляция қаупіне ұшырайды. Мұны деректерді жеткізушінің өзі де, үшінші тараптар да жасай алады. Мысалы, егер индекс осындай деректерден есептелетіні белгілі болса, сол деректерден алынған статистикалық көрсеткішті итеру үшін көптеген жалған әлеуметтік медиа хабарламалары жасалуы мүмкін.
Ерікті түрде берілген деректер үшін еріктілер белгілі бір күн тәртібі бар белгілі бір қызығушылық тобын білдіретін жағдай болуы мүмкін.
5.3.2. Ықтималдық
Үлкен пайда әкелу үшін манипуляциялауға болатын деректер үшін ықтималдық жоғары. Бұл қор нарығы сияқты статистика қызықты деректер болуы мүмкін. Жақында болған LIBOR және Forex жанжалдарын ескере отырып, ынталандыру бар болғанша, деректерді өңдеу әрекеттері мүмкін болады деп болжауға болады.
Өз еркімен берілген деректерге негізделген статистика үшін, ықтималдығы аз емес деген қорытындыға келу үшін пікірі бар кейіп танытатын және оны көпшілік алдында (мысалы, интернет-форумдарда) білдіру үшін ақы алатын адамдарды жұмысқа алудың соңғы PR тәжірибесін қарастыру жеткілікті. Жалпы алғанда, 3-тен 4-ке дейінгі көрсеткіш жеткілікті болып көрінеді.
5.3.3. Әсер ету
Манипуляцияның үлкен проблемасы - ол ұзақ уақыт бойы анықталмай жүруі мүмкін. Егер манипуляция ұзақ уақыт бойы жалғасса, сапаға әсер ету айтарлықтай болуы мүмкін. Оның үстіне, халықтың ресми статистикаға деген сеніміне нұқсан да үлкен болуы мүмкін, әсіресе статистикалық органдардың сапалы мәліметтерді жеткізушілер ретіндегі рөлі көпшілік алдында атап өтілсе. Екінші жағынан, егер манипуляциялар ертерек анықталып, кейін жарияланса, бұл шын мәнінде қоғамдық қабылдауды жақсарта алады. Өте нашар жағдайларды қоспағанда, максималды әсерді елестетуге болады (3).
5.3.4. Алдын алу
Баламалы көздермен тұрақты бақылау жаттығуларын орындау ықтимал профилактикалық әдістердің бірі болып табылады. Бұл балама көздер дәстүрлі немесе басқаша болуы мүмкін. Дереккөздер тіркесіміне негізделген статистиканы пайдалану манипуляцияның маңызды әсерлерін болдырмауы мүмкін. Провайдер бастамасымен айла-шарғы жасаудан қауіптенетін жағдайларда, заңды келісімдер де мұндай тәжірибелердің алдын алудың бір жолы болуы мүмкін.
5.3.5. Жеңілдету
Қоғаммен қарым-қатынасқа келтірілген залал бойынша мұнда қабылдануы тиіс жеңілдету шаралары кез келген дағдарыспен күресу шараларынан айтарлықтай ерекшеленбейді.
Деректердің сапасы тұрғысынан, егер үлкен кідіріс болса да дұрыс қатар түзетілуі үшін бұрынғы деректерді түзетсе пайдалы болар еді.
өндіріледі. Бұл үшін тұрақты салыстыру пайдалы болуы мүмкін. Бұл жағдайда салыстыру мақсаты алдын алу мақсатынан сәл өзгеше екенін ескеріңіз. Бұған жол бермеу үшін эталондық деректер мен BDS арасындағы күдікті сәйкессіздікті тез байқап, зерттеу маңызды. Жеңілдету мақсатында ескі пайдалы деректер әрқашан пайдалы.
Бұған қоса, болашақта ұқсас айла-шарғылардың алдын алу үшін абай болу керек - ерекше сезімтал жағдайларда бұл салыстыру мақсатында бірнеше жеткізушілерден ықтимал артық деректерді алуды білдіруі мүмкін.
5.4. Ресми статистиканың үлкен деректерді пайдалануын қоғамдық қолайсыз қабылдау
5.4.1. Сипаттама
Бұқаралық ақпарат құралдары мен қалың жұртшылық жеке өмірге қол сұғылмаушылық мәселелеріне және үлкен деректер көздерінің жеке деректерін пайдалану мәселелеріне өте сезімтал, әсіресе мемлекеттік органдардың азаматтарға қатысты әкімшілік немесе заңды әрекеттерді қолдануы жағдайында деректерді екінші рет пайдалануы жағдайында. Теріс қабылданатын пайдалану навигациялық деректерді талдау негізінде жылдамдықты басқару позициясын анықтау болуы мүмкін (11 қараңыз ).
TomTom Нидерландының нақты жағдайы TomTom құрылғыларына сұраныстың айтарлықтай төмендеуіне әкелді және компанияның деректерге қол жеткізуді шектеу туралы шешіміне әкелді. Бұл нақты жағдайда деректер жеке тұлғаларға қатысты, бірақ жол учаскесі бойынша жылдамдық деңгейлері.
Дегенмен, жұртшылық оң қабылдаған үлкен деректер қосымшалары болуы мүмкін. Бір мысал - үлкен деректер әдістерін пайдалана отырып, тонау сияқты қылмыстардың алдын алатын қолданбалар.
Оң және теріс қоғамдық пікір ресми статистикалық мәліметтерді өндіру контекстінде БДС қолдануға күшті әсер етуі мүмкін.
Қоғамдық қабылдаудың салдары мыналар болуы мүмкін:
- BDS бұдан былай статистикалық кеңселерде деректер жеткізушісіне немесе деректерді пайдаланбау туралы үкімет шешімдеріне байланысты қол жетімді болмайды.
- деректерді пайдалану шектеулі болады, бұл белгілі бір BOSP жағдайында өндіріске кедергі келтіруі мүмкін.
5.4.2. Ықтималдық
Мұндай оқиғаның ықтималдығына немесе оның статистикалық мәліметтерді өндіруге әсеріне әсер етуі мүмкін факторлар:
- деректердің құпиялылығы, яғни адамдарды қаншалықты оңай анықтауға болады;
- деректердің жеке тұлғалар туралы ашатын ақпарат көлемі, мысалы, әртүрлі көздерден алынған деректерді байланыстыру арқылы көбейтіледі;
- деректер түрі, мысалы, қаржылық транзакциялар басқа деректерге қарағанда көбірек құпия болып қабылданады;
- жылдамдықты асырғаны үшін айыппұл салу сияқты азаматтарға қарсы қолданылуы мүмкін ықтимал шара түрі;
- деректер жеткізушілері мен пайдаланушылары жұмыс істейтін немесе құқықтық жағдайлар қоғамдық этикалық пікірлерге/стандарттарға қайшы келетін анық емес құқықтық орта;
- статистиканы алу үшін белгілі бір деректер көзіне тәуелділік дәрежесі; барлау сатысында бұл фактор шамалы маңызды болуы мүмкін. Дегенмен, бұл кейінгі кезеңде алынған статистикаға қатты әсер етуі мүмкін, сондықтан барлау кезеңінде де ескеру қажет. Мәселелердің бірі деректерді пайдаланудың түпкілікті көлемі бастапқыда белгісіз болуы мүмкін, себебі деректер көздері бірнеше статистикалық аймаққа қызмет ете алады.
Жағымсыз оқиғалардың басталу мерзімін бағалау мүмкін емес, өйткені халықты жұмылдыру көбінесе азаматтарға теріс әсер ететін оқиғаларды көрсету арқылы туындайды. Дегенмен, үкіметтер мен жеке кәсіпорындар үлкен деректерді пайдаланудың артуымен және әсіресе деректерді бастапқы жинауға әкелген мақсаттардан басқа мақсаттар үшін белсенді маркетингімен мұндай оқиғалардың орын алуы ықтимал.
Қоғамдық қабылдауға үлкен әсер ететін оқиғалар жиі емес, кездейсоқ (3) және алыс (2) болып табылады. Үлкен деректер көздерін пайдаланудың артуымен ықтималдық та артады.
5.4.3. Әсер ету
Оқиғаның әсері жоғарыда талқыланған факторларға өте тәуелді. Тұтастай алғанда, қазірдің өзінде орнатылған статистикалық деректерді өндіру үшін әсер әлдеқайда ауыр, өйткені операцияны тоқтату қажет болуы мүмкін. Әсер сондай-ақ баламалы деректер көздерінің қолжетімділігіне байланысты, дегенмен оқиға орын алған жағдайда қоғамдық қабылдау әртүрлі деректер көздерін ажырата алмайды. Үлкен деректерді пайдаланудың қазіргі жағдайында бұл көздер дәстүрлі деректер көздерін толығымен алмастыра алмайтын сияқты, керісінше, бар статистиканы толықтырады. Бұл оқиғалардың әсерін азайтады. Сондықтан оқиғаның әсері 2-ден (кіші) 3-ке (ірі) дейінгі диапазонда қарастырылады. Өндіріс сатысында әсер 4-ке дейін артуы мүмкін (критикалық мән).
5.4.4. Алдын алу
Алдын алу шаралары ресми статистикадағы үлкен деректердің этикалық принциптерін анықтауды қамтуы мүмкін. Этикалық нұсқаулар еуропалық статистиканың практикалық кодексі немесе ресми статистиканың негізгі принциптері сияқты принциптерге негізделуі керек (12 ). Келесі қадам этикалық нұсқаулықтардың нәтижелерін жұртшылыққа жариялайтын және мүдделі тараптарды BOSP үшін BDS этикалық пайдалануы туралы ақпараттандыру үшін пайдаланылуы мүмкін коммуникациялық стратегияны анықтау болады.
Тәуекелдерді анықтау және этикалық принциптерге негізделген алдын алу немесе жеңілдететін әрекеттерді ұсыну үшін нақты BDS үшін жеке тәуекелді бағалау жүргізілуі мүмкін. Тәуекелдерді бөлек бағалау барлық тәуекелдердің анықталғанын және әрекеттердің негізделуін қамтамасыз ету үшін деректерді қорғау агенттіктері сияқты мүдделі тараптарды қамтуы мүмкін.
5.4.5. Жеңілдету
Коммуникациялық стратегияда жағымсыз қоғамдық көзқарастардың күшеюімен күресу шаралары да қамтылуы тиіс. Тәуекелдерді бөлек бағалау деректерді пайдаланудың оң мысалдарын және деректерді теріс пайдаланудың алдын алу шараларын жинауы керек, бұл міндетті түрде саясат деңгейінде қабылдануы мүмкін және статистикалық қауымдастық тиімді әсер ете алмауы мүмкін.
5.5. Сенімді жоғалту – бақылау арқылы алынбайды
5.5.1. Сипаттама
Ресми статистиканы пайдаланушылар әдетте статистиканың дәлдігі мен сенімділігіне жоғары сеніммен қарайды. Бұл статистикалық деректерді өндіру сенімді және жалпыға қолжетімді әдістемелік базаға, сондай-ақ статистикалық өнімнің сапасын құжаттамаға салынғанына негізделген. Оның үстіне, статистиканың көпшілігі бақылауларға негізделген, яғни. бақылау мен статистикалық деректер арасында оңай түсінікті байланыс орнататын сауалнамалардан немесе санақтардан алынған. Статистиканың негізгі мақсаты үшін жиналмайтын BDS пайдалану бұл қатынастардың жойылу және пайдаланушылардың ресми статистикаға сенімін жоғалту қаупін тудырады. Халық санағының соңғы кезеңіне (2010) қатысты мысал, кейбір елдерде статистика бірнеше дереккөздер мен статистикалық модельдер арқылы алынған. Бірқатар жағдайларда мүдделі тараптар статистикаға қарсы шықты.
5.5.2. Ықтималдық
Тәуекелдің туындау ықтималдығы статистикалық/әдістемелік үлгінің күрделілігі, BSD және BOSP арасындағы байланыстың дұрыстығы немесе басқа статистикалық деректермен сәйкестік сияқты факторларға байланысты. Ықтималдық 3 (кездейсоқ) және 4 (ықтимал) арасында болуы керек, яғни ол бірнеше рет немесе жиі болуы мүмкін.
5.5.3. Әсер ету
Тәуекелдің пайда болуының әсері көбінесе NSO-лардың статистиканың дәлдігі мен сенімділігін сәтті көрсете алатындығына байланысты болады. Бұған қол жеткізу мүмкін болмаған жағдайда, сенім мен сенімді жоғалту тұрғысынан әсер басқа статистикалық салаларға да әсер етуі мүмкін, яғни кейбір статистиканың сенімділігіне ғана емес, сонымен бірге ұйымның өзіне де күмән тудыруы мүмкін. ҮЕҰ осы салада жұмыс істейтін басқа жеке ұйымдарға қарағанда бәсекелестік артықшылығын жоғалтады.
5.5.4. Алдын алу
Алдын алу шаралары ғылыми қоғамдастық мойындаған ғылыми негізделген әдістемені әзірлеуді және жариялауды, деректерді сапалы метадеректермен байытуды, BOSP-тің BOSP-ке жатпайтынымен сәйкестігін қамтамасыз етуді және сапаны қатаң бақылауды енгізуді қамтиды.
Статистикалық өндіріске кіріспес бұрын, BOSP эксперимент ретінде жариялануы мүмкін және мүдделі тараптар BOSP-ті растау немесе жақсарту үшін BOSP-ке қарсы шығуға шақырылады.
5.5.5. Жеңілдету
Айырмауға болатын екі жағдай бар. Егер статистика даулы болса, бірақ сапасы жоғары/жеткілікті (дұрыс/дәл) болса, түсінікті мысалдар арқылы статистиканы халыққа түсіндіру және жеткізу жеткілікті болады.
6. Дағдыларға байланысты тәуекелдер
6.1. Мамандардың жетіспеушілігі
6.1.1. Сипаттама
Адамдардың өз қызметін орындау кезінде қалдырған цифрлық іздерін талдау үшін қазіргі уақытта ресми статистикада кең таралмаған деректерді талдаудың белгілі бір құралдары қажет. Біріншіден, сауалнамаларда тікелей сұрақ қоюдың орнына адамдардың әрекеттері туралы жанама деректерді пайдалану статистикалық модельдерді, демек, қорытынды жасау және машиналық оқыту дағдыларын пайдалануды талап етеді. Екіншіден, бұл цифрлық жазбалар статистикалық бірлікке сәйкес келетін жолдар және сол статистикалық бірліктердің ерекше сипаттамалары бар бағандар бар сауалнама нәтижелері үшін ортақ әдеттегі кесте пішімі жиі болмайтын деректерден тұрады. Сандық трассалар мәтін, аудио, сурет және бейне түрінде де ұсынылады. Осы деректер түрінен тиісті статистикалық ақпаратты алу табиғи тілді өңдеу, дыбыс сигналын өңдеу және кескінді өңдеу дағдыларын қажет етеді. Үшіншіден, бұл деректер көздері жаппай деректер жиынын қамтамасыз етуге бейім, оларды өңдеу таратылған есептеу әдістемелерін жақсы түсінуді талап етеді.
Сарапшылардың жетіспеу қаупі осы жаңа ірі деректер көздерінің бірінен мәліметтерді алуда болып табылады, өйткені статистикалық органның қызметкерлерінің қажетті дағдыларының болмауына байланысты оны дұрыс өңдеу және талдау мүмкіндігі жоқ.
6.1.2. Ықтималдық
Бұл тәуекелдің ықтималдығы үш факторға байланысты болады: 1) үлкен деректер көзінің әрбір түріне қажетті дағдылардың нақты түрлері және статистикалық органның мұндай дереккөзді зерттеу мүмкіндігін табу ықтималдығы; 2) статистика органында қажетті дағдылардың ағымдағы болуы; және 3) статистика органының ұйымдық мәдениеті.
Қажет болуы мүмкін дағдылардың түрлеріне келетін болсақ, барлық көздер жоғарыда аталған барлық дағдыларды талап етпейтінін атап өткен жөн. Кейбіреулер (мысалы, Google Trends түріндегі деректер) таратылған есептеулерді қажет етпейді, себебі ол деректер ұстаушыдан алдын ала өңделген немесе сигналды өңдеу дағдыларына ие және ең алдымен статистикалық модельдеу дағдыларын қажет етеді. Дегенмен, үлкен деректер көздерінің алуан түрлілігі бар, олардың көпшілігі бөлінген есептеулер, сигналдарды өңдеу және машиналық оқыту дағдыларын талап етеді. Сонымен қатар, осы цифрлық іздерді дұрыс зерттеу бірнеше көздерді өңдеуді қажет етеді. Осылайша, статистикалық кеңселерге қол жетімді үлкен деректер көздерінің осы ерекше дағдыларды қажет ететіндігі ықтималдығы жоғары және бұл тәуекелдің ықтималдығы өте жоғары (5).
Қажетті дағдылардың ағымдағы болуына келетін болсақ, бұл нақты статистикалық кеңсеге байланысты болады. Сауалнама әдістемесі сауалнама әдістемесіне қарағанда сирек кездесетін болса да, ол таңдалған салалардағы ресми статистикада да қолданылады. Сондықтан бұл үшін адам ресурстарын біршама қайта бөлу қажет болса да, статистикалық органдар өз бетінше шешім таба алады. Бөлінген есептеу дағдыларына келетін болсақ, негізінен АТ-ға қатысты, олар АТ-инфрақұрылымының ұйымда қалай басқарылатынына байланысты болады. АТ бөлімінің аутсорсингіне байланысты шешімдер бар келісімдер контекстінде табылуы мүмкін. Дегенмен, сигналдарды өңдеу және машинаны үйрену дағдылары әдетте ресми статистикалық кеңселердің көпшілігінде жоқ және бұл дағдыларды қолдану аутсорсингке берілмейді, өйткені оларды статистикалық сарапшылар қолдануы керек. Сондықтан, осы тұрғыдан алғанда, бұл тәуекелдің ықтималдығы да өте жоғары болып көрінеді (5).
Ұйымдық мәдениет те осы тәуекелдің ықтималдығына әсер етеді. Өзін-өзі оқыту арқылы қажетті дағдыларды алуға дайын қызметкерлердің болуы ұйымға әдеттегіден басқа дағдыларды қажет ететін жаңа деректер көзімен жағдайға жауап беруге мүмкіндік береді. Бұл статистикалық мекеменің ұйымдық мәдениетіне, атап айтқанда, ол қызметкерлерді жаңа дағдыларды меңгеруге ынталандыра ма және қызметкерлерге өздігінен оқуға уақыт беруге мүмкіндік беретініне байланысты болады.
Осылайша, статистикалық кеңсе өз қызметкерлерінің біліктілігінің болмауына байланысты жаңа деректер көздерін өңдей және талдай алмау ықтималдығы ұйымның оқу мәдениетіне байланысты ықтимал (4) және ықтимал (5) арасында болады.
6.1.3. Әсер ету
Қызметкерлерінің біліктілігінің жоқтығынан үлкен деректер көздерін өңдеуге және талдауға қабілетсіз статистикалық орган екі ықтимал теріс салдарға әкелуі мүмкін: 1) деректер көзі, кем дегенде, толық зерттелмейді; 2) дереккөз дұрыс пайдаланылмайтын болады.
Үлкен деректердің құнды көзінің әлеуетін толық зерттемеу қысқа мерзімді перспективада (2) аз әсер етеді, өйткені статистикалық кеңселерде ағымдағы қажеттіліктерді қанағаттандыру үшін статистикалық құралдар бар. Дегенмен, ұзақ мерзімді перспективада (мүмкін, тіпті орта мерзімді перспективада) бұл мүмкіндікті жоғалтудың салдары өте маңызды болады (4), өйткені статистикалық мекемелер оларға мүмкіндік беретін бірдей институционалдық құрылымы жоқ жеке провайдерлердің бәсекелестігіне көбірек ұшырайды. статистикалық деректердің қоғамдық тәуелсіздігін қамтамасыз ету.
Дегенмен, дереккөзді дұрыс пайдаланбау статистика органдары үшін өте жағымсыз салдарларға әкеледі, өйткені ресми статистика өз миссиясын орындау үшін олардың беделіне қатты сүйенеді. Дегенмен, біз жіберіп алған жағдайда, дұрыс емес нәтижелерге әкелуі мүмкін ең маңызды дағды статистикалық қорытынды, атап айтқанда модельге негізделген қорытынды, ол да жоқ болу ықтималдығы аз деп айтуға болады. Сондықтан күтілетін әсер төтенше емес, маңызды (4) болады.
6.1.4. Алдын алу
Статистика органдары бұл тәуекелді екі жолмен белсенді түрде алдын алады: 1) оқыту; және 2) орнату.
Статистикалық кеңселер статистикалық өндірісте үлкен деректер көздерін пайдалану үшін қажетті дағдыларды егжей-тегжейлі көрсету, қызметкерлердің бар дағдыларын картаға түсіру, оқыту қажеттіліктерін анықтау, содан кейін оқыту курстарын ұйымдастыру арқылы қызметкерлерді қажетті дағдылармен жабдықтай алады.
Статистика органдары қажетті дағдылары бар жаңа қызметкерлерді де жұмысқа ала алады. Бұл үлкен шектеулерге ие болып көрінеді, өйткені статистикалық басқармалар департамент ішінде үлкен деректер көздерін пайдалану кең таралған жағдайда қызметкерлердің маңызды массасын жұмысқа ала алмайды және жаңа қызметкерлердің бұрынғы тәжірибесіне сәйкес келуі үшін әлі де бірнеше жыл қажет болады. персонал. Дегенмен, қызметкерлерді әдеттегі жаңарту бөлігі ретінде жалданған жаңа қызметкерлердің кем дегенде кейбірі үлкен деректер дағдыларына ие болуы мүмкін.
6.1.5. Жеңілдету
Жаңа үлкен деректер көздері қажетті дағдылары бар қызметкерлерсіз қол жетімді болатын жағдайға тап болған статистикалық кеңселер жағымсыз салдарды екі жолмен азайта алады: 1) қосалқы мердігерлік; және 2) ынтымақтастық.
Статистика органдары осы қызмет түрлерін ұсынатын басқа ұйымдармен деректерді өңдеу және жаңа үлкен деректер көздерін талдау үшін келісім-шарттар жасай алады. Бұл деректерді өңдеуге маманданған бизнестің жаңа секторы пайда болып жатқандықтан, бұл өміршең шешім болып көрінеді. Дегенмен, бұл өз алдына белгілі бір тәуекелдерді тудыратын шешім, өйткені статистикалық мекеме ықтимал сезімтал статистикалық өнімдерді өндіруге азырақ бақылау жасайды. Бұл шешімнің кемшілігі де бар, ол статистика басқармасының қызметкерлеріне қажетті дағдыларды меңгеруге және алуға мүмкіндік бермейді.
Қажетті дағдылары бар қызметкерлері бар және үлкен деректердің көзін зерттеуге мүдделі басқа ұйымдармен бірлесіп жұмыс істеу перспективалы шешім болып көрінеді. Бұл ынтымақтастық статистика басқармасының қызметкерлерімен және өз білімдерін бөлісетін тең тұлғалар ретінде басқа ұйымдардың қызметкерлерімен бірлескен жобалар түрінде болуы мүмкін. Бұл біліктілік жетіспеу қаупін азайтып қана қоймай, статистикалық кеңсе қызметкерлеріне осы дағдыларды меңгеруге мүмкіндік береді.
6.2. Сарапшылардың басқа ұйымдарға кетуі
6.2.1. Сипаттама
Бұл тәуекел статистикалық кеңселер үлкен деректер дағдыларына ие болғаннан кейін өз қызметкерлерін басқа ұйымдарға жоғалтады.
6.2.2. Ықтималдық
Бұл тәуекелдің ықтималдығы екі факторға байланысты болады: 1) ресми статистикадан тыс ұйымдарда бар тартымды мүмкіндіктер; 2) статистикалық басқармалардағы еңбек жағдайлары.
Ресми статистикадан тыс ұйымдардағы мүмкіндіктер үшін бұл тәуекел ықтимал болып көрінеді (4). Жеке секторда, сондай-ақ басқа мемлекеттік сектор ұйымдарында үлкен деректер дағдылары бар адамдарға сұраныс жоғары. Үлкен деректермен жұмыс істеу дағдылары игерілгеннен кейін ресми статистиктер тәжірибелі статистиктер ретінде салыстырмалы артықшылыққа ие болады. Арнайы үлкен деректер дағдыларынан басқа, басқа ұйымдар ресми статистика мамандарына тән пайдаланушы қажеттіліктерін бағалау және негізгі тиімділік көрсеткіштерін (KPI) әзірлеу сияқты дәстүрлі дағдылары бар деректер ғалымдарын талап етеді. Сонымен қатар, жаңа дағдыларды алуға дайын қызметкерлер де мансаптық өзгерістерге ашық болып, статистикалық кеңседен кететін болады деп күтілуде.
Статистика органдарындағы жұмыс жағдайына келетін болсақ, бұл негізінен нақты басқармаға байланысты болатыны анық. Дегенмен, статистикалық кеңселер әлі де сандық тұрғыдан адамдар үшін тартымды мансап мүмкіндіктерін ұсынады. Статистикалық кеңселер жұмыс істеуге болатын домендердің ең үлкен ауқымын және жұмыс істеуге болатын деректердің ең үлкен таңдауын ұсынады. Бұл статистикалық басқармалардың күтпеген жағдайларға байланысты қызметкерлерді жоғалту ықтималдығын қандай да бір түрде азайтады (3).
6.2.3. Әсер ету
Бұл тәуекелдің әсері бірінші кезекте тиісті дағдылары бар қызметкерлердің болмауы тәуекелімен бірдей болады. Сондықтан жоғарыда айтылғандай әсер өте маңызды болады (4).
6.2.4. Алдын алу
Статистикалық органдардың бұл тәуекелдің алдын алудың бірден-бір жолы – өз қызметкерлеріне қолайлы еңбек жағдайын қамтамасыз ету сияқты. Бұл, әдетте, барлық қызметкерлерге қатысты. Дегенмен, қызметкерлер жаңа дағдыларды, атап айтқанда, үлкен деректер дағдыларын үйренуге ашық болған нақты жағдайда, олардың кәсіби қызығушылықтарын дамытатын оқу мүмкіндіктерін беру арқылы жұмыс жағдайларын жақсартуға болады. Статистикалық кеңселер сонымен қатар көптеген статистикалық салаларда жұмыс істейтін статистиктерден келетін жаңа үлкен деректер көздеріне қатысты жаңа инновациялық жобалар мен идеяларға ашық болуға ерекше назар аудара алады. Ақырында, басқа ұйымдардың үлкен деректер дағдылары тізбегіндегі персоналын жоғалтуының алдын алу осындай деректермен жұмыс істеуге қабілетті және дайын қызметкерлерді жақсы анықтауға және олардың кәсіби дамуы үшін жақсы мүмкіндіктерді қамтамасыз етуге байланысты болады.
6.2.5. Жеңілдету
Бұл тәуекелді азайту тиісті дағдылары бар персоналдың жетіспеу қаупіне қатысты жүзеге асырылады: 1) қосалқы мердігерлік; және 2) ынтымақтастық.
7. Талқылау
Бұл бірінші шолудан белгілі бір «Үлкен деректер тәуекелі» үшін бір ықтималдықты немесе әсерді анықтау мүмкін емес екені анық - екеуі де әдетте үлкен деректер көзіне, сондай-ақ «ресми үлкен деректерге негізделген статистика».
өнім».
Сондықтан біз осы бағыттағы логикалық келесі қадам бастапқы нүкте ретінде бірнеше ықтимал пилоттық жобаларды (әрқайсысы бір немесе бірнеше BDS және бір немесе бірнеше BDOS комбинациясын қамтитын) алу және әрбір осындай пилот үшін әрбір тәуекелдің ықтималдығы мен әсерін бағалау.
Осы мақсатта біз бірқатар ықтимал пилоттық жобалардың ықтималдылығын, әсерін (және ықтимал алдын алу/жұмсарту шараларын) бағалауды және біз енгізбеген тәуекелдер бойынша OSC-тің енгізуін сұрайтын мүдделі тараптардың сауалнамасын бастау алдында тұрмыз. бұл құжат.
8. ӘДЕБИЕТТЕРБҰҰ ЕЭК (2014), «Үлкен деректер сапасының ұсынылатын негізі», БҰҰ ЕЭК Үлкен деректер сапасы жөніндегі тапсырмалар тобының жеткізілімдері,
a%20Quality%20Framework%20-%20final-%20Jan08-2015.pdf?version=1&modificationDate=1420725063663&api=v2
UNECE (2014), «Үлкен деректер қаншалықты үлкен? Ресми статистикадағы үлкен деректердің рөлін зерттеу»,
Daas, P., S. Ossen, R. Vis-Visschers, and J. Arends-Toth, (2009), Administrative Data Sources сапасын бағалауға арналған бақылау тізімі, Нидерланды статистикасы, Гаага/Херлен
Dorfman, Mark S. (2007), Introduction to Risk Management (eed.), Cambridge, UK, Woodhead-Faulkner, p. 18, ISBN 0-85941-332-22)
Eurostat (2014), «Ресми емес көздерден алынған статистикалық деректерді аккредиттеу тәртібі» ақпараттық қоғамды және басқа да статистиканы жинау үшін Интернетті пайдалану әдістемелерін талдау,
Reimsbach-Kounatze, C. (2015), «Үлкен деректердің» таралуы және ресми статистика мен статистикалық агенттіктерге салдары: алдын ала талдау», ЭЫДҰ цифрлық экономика құжаттары, №. 245, OECD Publishing.
Reis, F., Ferreira, P., Perduca, V. (2014) «Ресми статистикалық көрсеткіштердің уақыт кестелерін ұлғайту үшін веб-белсенділік дәлелдерін пайдалану», IAOS 2014 конференциясында ұсынылған баяндама,
Тәуекелдер туралы нақты айтылмаса да, бұл құжат ресми статистика үшін веб-қызмет деректерін пайдаланумен байланысты көптеген тәуекелдерге жақындайды. Eurostat (2007), Деректер сапасын бағалау әдістері мен құралдары бойынша анықтамалық,
Ақпарат көзі: www.habr.com
