Riskide ja lahenduste struktureerimine BigData kasutamisel ametliku statistika saamiseks

Tõlkija sisendus

See materjal köitis mind peamiselt alloleva tabeli tõttu:

Arvestades, et statistikud (ja vene statistikud, geneetiliselt) ei armasta pehmelt öeldes kõike, mis erineb lineaarsest sõltuvusest, suutsid need kutid hämmastavalt kasutada aktiveerimisfunktsiooni paraboolse vormina BigData kasutamise riskide määratlemiseks ametlikus statistikast. Tõeliselt tubli saavutus. Loomulikult lisasid statistikud sellele tööle oma märkuse – „1 Kõik vead ja puudujäägid on autori otsene vastutus. Käesolevas dokumendis väljendatud arvamused on isiklikud ja ei kajasta tingimata Euroopa Komisjoni ametlikku seisukohta.“ Kuid töö avaldati. Arvan, et tänaseks on seda piisavalt, ja nad (autorid) ei ole kedagi keelanud leidmast oma skaalu nende aspektide seas.

Töös on piisavalt struktureeritud, et saaks jagada, kus ja kuidas statistilised meetodid erinevad BigData uurimismeetoditest. Minu arvates on selle töö suurim kasu suhtluses tellijaga ja tema väidete ümberlükkamiseks, näiteks:

— Aga me kogume ise statistikat, mida te siin veel uurida soovite?
— Aga esitage meile oma tulemused nii, et me saaksime need oma statistikaga kooskõlastada. Sel teemal ütlevad autorid, et oleks hea lugeda seda tööd (3 Kui suur on Suur Andmed? Suurandmete roll ametlikes statistikas)

Selles töös on autorid esitanud oma nägemuse riskitasemest. See parameeter on sulgudes, ärge segage allikatele viitamisega.

Teine tähelepanek. Autorid kasutavad terminit BDS – see on analoog mõistele Suur Andmed. (tundub, et see on selge viide ametlikule statistikale).

Autorite eessõna

Üha rohkem statistika ametiasutusi uurib suurandmete kasutamise võimalusi ametliku statistika koostamiseks. Praegu on vaid mõned näited, kus need allikad on täielikult integreeritud tegelikku statistika tootmisse. Seetõttu pole nende integreerimise täielikud tagajärjed veel kindlaks tehtud. Vahepeal on tehtud esimesi katseid analüüsida suurandmete mõju erinevatele statistika tootmise aspektidele, nagu kvaliteet ja metodoloogia. Hiljuti töötas sihtgrupp välja kvaliteedikriteeriumid suurandmete põhjal statistiliste andmete ettevalmistamiseks, mis on osa ÜRO Euroopa Majanduskomisjoni suurandmete projektist. Vastavalt Euroopa statistika hea tava koodeksile on kõrge kvaliteediga statistilise teabe pakkumine statistika ametiasutuste peamine ülesanne. Kuna risk määratletakse kui ebakindluse mõju eesmärkidele (näiteks Rahvusvahelise Standardiseerimise Organisatsiooni ISO 31000 kohaselt), oleme leidnud, et on mõttekas kategoriseerida riskid kvaliteedi mõõdiku järgi, millele nad mõju avaldavad.
Pakutud kvaliteediandmete struktuur, mis pärineb suurtest andmeallikatest, tagab struktureeritud ülevaate kvaliteedist, mis on seotud kõikide statistikaga seotud äritegevuse etappidega ning seeläbi võib olla aluseks laiapindseks hindamiseks ja riskijuhtimiseks, mis on seotud nende uute andmeallikatega. See toob sisse uusi kvaliteedi mõõdikuid, mis on spetsiifilised või (kõrge tähtsusega, kui) suuri andmeid kasutatakse ametlikus statistikas, nagu institutsionaalne/äri keskkond või keerukus. Uute kvaliteedi mõõdikute abil on võimalik süsteemsemalt tuvastada riske, mis on seotud suuremate andmeallikate kasutamisega ametlikus statistikas.

Käesolevas töös püüame tuvastada suurte andmete kasutamisega seotud riske ametlikus statistikast tulenevalt. Me järgime süsteemset lähenemist riskide määratlemiseks pakutud kvaliteedi struktuuri kontekstis. Keskendudes uuele kvaliteedi mõõtmiseks esitatud lähenemisviisile, saame kirjeldada riske, mis praegu puuduvad või ei mõjuta ametliku statistika tootmist. Samuti saame määratleda praegused riskid, mida hinnatakse suurte andmete kasutamisel statistika saamisel täiesti erinevalt. Edasi liikudes riskide haldamise tsüklisse, esitame nende riskide tõenäosuse ja mõju hindamise. Kuna riskihinnangud eeldavad subjektiivsust nende määratlemises, mõõdame erinevate riskide tõenäosuse ja mõju jaoks leitud kokkuleppeid, mille on esitanud sõltumatud erinevad huvigrupid. Seejärel pakume välja meetmeid nende riskide vähendamiseks neljas peamises kategoorias: vältimine, vähendamine, jagamine ja hoidmine. ISO kohaselt peaks riskide juhtimise põhimõte olema väärtuse loomine, st riskide vähendamiseks vajalikud ressursid peaksid olema madalamad kui mittevõtmise korral. Kooskõlas selle põhimõttega viime lõpuks läbi hindamise, et mõista, kuidas mõned riskide vähendamise meetmed mõjutavad lõpptulemuste kvaliteeti, et jõuda põhjalikuma arusaamiseni suurte andmete kasutamisest ametlikus statistikast.

1. Sissejuhatus

1.1. Taust

Suure andmete arengut on iseloomustanud Kenneth Neil Cukier ja Viktor Mayer-Schönberger nende artiklis "Suure andmete kasv" (2. www.foreignaffairs.com/articles/139104/kenneth-neil-cukier-and-viktor-mayer-schoenberger/therise-of-big-data) mõistet "andmete vormimine". Andmete vormimine on protsess, mis hõlmab elu kõikide aspektide andmeteks muutmist. Näiteks. Facebook pakub isiklikke võrke, andureid erinevate keskkonnatingimuste kohta, nutitelefone isiklikuks suhtlemiseks ja liikumiseks ning kantavaid seadmeid individuaalse seisundi jälgimiseks. See viib peaaegu laialdase andmete kogumise ja kergesti kätte saamise võimaluseni.

Nagu paljudes teistes valdkondades, on ametlik statistika alles hiljuti hakanud arutama suuri andmeid strateegilisel tasandil. Kuni nüüd pole veel ühtset ja laialdaselt tunnustatud arusaama edasiviivast suunast, sõltumata sellest, kas see on väljakutse või võimalus, väikeste või suurte mõõtmete osas jne. ÜRO majanduskomisjoni kõrgetasemelise rühma raames, mis käsitleb statistilise tootmise ja teenuste moderniseerimist (3 Kuidas suured on suurandmed? Suurandmete roll ametlikus statistikas: www1.unece.org/stat/platform/download/attachments/99484307/VirtualSprintBigDatapaper.docx?version=1&modificationDate=1395217470975&api=v2), Esimene SWOT-analüüs, mida toetas jäme riski/kasu analüüs, viidi läbi. Märgiti, et „täielik riskianalüüs hõlmab ka selliseid aspekte nagu tõenäosus ja mõju ning võib-olla laiendatakse seda ka riskide vähendamise ja haldamise strateegiate määratlemiseks.”

Kuigi see dokument on veel kaugel täieliku riski analüüsi tegemisest, on see suunatud olukorra parandamisele, luues esimese struktureeritud ülevaate. Tahame rõhutada, et seda ülevaadet tuleks käsitleda alguspunktina, et stimuleerida üldist arutelu Ametliku statistika kogukonna (OSC) raames.

1.2. Valdkond

See artikkel keskendub ainult riskidele, jättes välja mitte ainult eelised, vaid ka tugevad ja nõrgad küljed, võimalused ja ohud. See tähendab, et "tegevusetuse riskid" (näiteks risk, et OSC jääb konkurentsis teiste osalejatega alla, kui seda ei uuendata) ei kuulu selle tegevusvaldkonda; need on pigem ohud. Selle asemel püüame välja tuua riskid, mis võivad tekkida (a) juhul, kui OSC kasutab suurte andmete võimalusi ja hakkab arendama või täiustama konkreetset "ametlik statistika toode suurte andmete põhjal" (BOSP); (b) riskid uue "tavaäri" jaoks, st riskid ametlikule statistikale, mis põhineb suurte andmete tootmisel. (Kuna kõik ametliku statistika tootmine on seotud riskidega, piirame end (b) suurte andmete riske puudutavatega, s.t. riskidega, mis ei eksisteeri või on ebaolulised "traditsioonilises" ametliku statistika kogumise protsessis.)

1.3. Struktuur

Jaotises 2 tutvustame peamisi põhimõtteid, mis seonduvad selle ülesande täitmisega, alustades selgelt vajalikest riskihalduse alustest (jaotis 2.1). Samuti esitame kvalitatiivsete andmete esialgse struktuuri, mis põhineb suurandmetel (jaotis 2.2), kuna kvaliteedi struktuuri sidumine riskidega täidab kahte eesmärki:

• See loob konteksti riskide määratlemiseks. Kindlaksmääratud kvaliteedi näitajad koos käsitletavate omadustega väljendavad objekti väärtusi, mis peetakse klientidele ja kasutajatele teenuste osutamisel olulisteks ja määravaks.
• See võimaldab määrata konkreetseid riske kvaliteedi mõõtmistele, mis on integreeritud üldistesse hüperruumidesse ja seotud teatud etappidega statistiliste toodete tootmisprotsessis.

Jaotistes 3, 4, 5 ja 6 esitame seni tuvastatud riskid erinevates kontekstides. ESS suurandmete projektiga seotud äriettepanekute dokumendid, samuti ESS Big Data võrgustik sisaldavad nimekirja riskidest, mis on osaliselt seotud projektiga ja osaliselt suurandmete allikate kasutamisega statistilistel eesmärkidel. Dokumendis „Suurandmete kvaliteedi soovitatud raamistik“ mainitakse mõningaid kvaliteediga seotud riske. Siin kasutame andmete juurdepääsuklassifikatsiooni, õiguslikku keskkonda, andmete privaatsust ja turvalisust ning oskusi; reorganiseerimine vastavalt suurandmetest saadud statistika kvaliteedistruktuurile (jaotis 2.2) peaks toimuma kohe, kui see struktuur saavutat oma täiendatud seisundi. Iga tuvastatud riski puhul (i) esitame tõenäosuse ja mõju hindamise (vastavalt jaotisele 2.1.3) ja (ii) pakume välja riski vähendamise ja haldamise strateegiad (vt jaotist 2.1.4).

Lõpuks arutame meie järeldusi ja määratleme mõned järgmised sammud jaos 7

2. Põhialused

2.1. Riskid ja riskijuhtimine

ISO 31000:20095 kohaselt määratakse risk kui "ebamugavuste mõju seatud eesmärkidele". See tähendab, et eesmärgid peavad olema määratletud või tuntud, enne kui riske saab hinnata. Need eesmärgid määratakse tavaliselt vastava organisatsiooni institutsionaalsest kontekstist lähtuvalt. Veel üks oluline aspekt on see, et riskid endas kannavad ebamugavuse omadust, see tähendab, et ei ole selge, kas kirjeldatud sündmus toimub. Seega mõõdetakse riske tõenäosuse ja selle tagajärgede, st selle mõju kaudu, mida see tegevus avaldab seatud eesmärkide saavutamisele. Riskide hindamine peaks andma objektiivsemat teavet, mis lõpuks võimaldab leida sobiva tasakaalu kasumi teenimise võimaluste realiseerimise ja kahjulikest tagajärgedest hoidumise vahel. Riskihaldus on lahutamatu osa juhtimistavast ja oluline element nõuetekohasest ettevõtlustavast (6 Statistics Canada: 2014-2015 report on Plans and Priorities, www.statcan.gc.ca/aboutapercu/rpp/2014-2015/s01p06-eng.htm). See iterative process, which ideally allows for continuous improvement of decision-making and promotes ongoing performance enhancement.

Risks are also associated with quality. Implementing a quality system should enable the utilization of opportunities provided by various sources and methodologies to achieve a result of a certain level of quality in the sense that this result meets user needs. Like risks, quality levels can derive from the institutional environment and the objectives of certain institutions. In this context, the institutional environment defines the overall level of risk that an organization is willing to accept to achieve its goals.

The process of risk assessment and management can be broken down into various stages, including context establishment, risk identification, risk analysis in terms of likelihood and impact, risk evaluation, and finally, risk treatment.

2.1.1. Institutional context

Esimese sammuna tuleb luua strateegiline, organisatsiooniline kontekst ja riskijuhtimise kontekst, mille raames toimub ülejäänud protsess. See hõlmab kriteeriumite kindlaksmääramist, mille alusel riske hinnatakse, ja analüüsi struktuuri määratlemist.

2.1.2. Riski tuvastamine

Teises etapis tuleb määratleda sündmused, mis võivad mõjutada seatud eesmärkide saavutamist. Tuvastamine peab hõlmama küsimusi, mis on seotud riskide tüüpide, sündmuste ajakava, koha või sellega, kuidas sündmused võivad takistada, süvendada, viivitada või parandada eesmärkide saavutamist.

2.1.3. Riski hindamine

Järgmine samm seisneb olemasolevate riskide kontrollimise ja analüüsi vahendite määratlemises tõenäosuse ja võimalike tagajärgede seisukohalt. Käesoleva artikli kontekstis kasutatakse riskide tekkimise tõenäosuse määramiseks skaalat, mis ulatub 1 (harva) kuni 5 (sage). Üksuste mõju mõõdetakse skaalal 1 (marginaalne) kuni 5 (ekstreemne). Nagu on näidatud tabelis 1, on tõenäosuse ja mõju korrutamine, mis määrab „riskitaseme“ vahemikus 1 kuni 25.

Hinnatud riskitasemeid saab võrrelda eelnevalt määratletud kriteeriumidega, et saavutada tasakaal potentsiaalsete kasude ja soovimatute tulemite vahel. See võimaldab teha otsuseid juhtimise prioriteetide osas.

Tegevuste prioriteedid tuleks seada kriitilistele riskidele (vt tabel 2), st riskidele, mis võivad juhtuda ja millel on tõsised või ekstreemsed tagajärjed organisatsiooni eesmärkidele.

2.1.4. Riskide reageerimine

Viimane samm hõlmab otsuste tegemist selle kohta, kuidas reageerida riskidele. Mõned riskid, mis jäävad madalamale ettenähtud riskitasemele, võivad olla eiratud või aktsepteeritud. Teiste puhul võivad riskide neutraliseerimise kulud olla nii kõrged, et need kaaluvad üles potentsiaalsed kasud. Sellisel juhul võib organisatsioon otsustada loobuda vastavast tegevusest. Riskid võivad samuti olla edastatud kolmandatele isikutele, näiteks kindlustusele, mis hüvitab kantud kulud. Viimane valik on arvesse võtta riske strateegiate ja tegevuste määratlemisel, mis tasakaalustavad kulud potentsiaalsete kasudega. Seega teeb organisatsioon otsuse rakendada strateegiaid kasude maksimeerimiseks ja potentsiaalsete kulude minimeerimiseks.

2.2. Kvaliteedisüsteemid

Sihtgrupp, kuhu kuuluvad riiklike ja rahvusvaheliste statistikaorganisatsioonide esindajad, töötas 2014. aastal välja suurandmete statistikaga seotud kvaliteedi esialgse struktuuri. Sihtgrupp töötas UNECE/HLS projekti raames, mille teemaks oli „Suurandmete roll statistika tootmise moderniseerimisel“. See laiendas olemasolevaid kvaliteedisüsteeme, mis on välja töötatud statistika hindamiseks, mis on saadud haldusandmeallikatest, kvaliteedi näitajatega, mis on peetud asjakohaseks suurandmete allikate jaoks.

Selle süsteemi raames eristatakse kolme äriprotsessi etappi: sisend, tootmine ja väljund. Sisendi etapp vastab GSBP „projekti“ ja „kogumise“ etappidele, tootmine vastab „protsessi“ ja „analüüsi“ etappidele, samas kui väljund vastab „levitamise“ etapile.

Struktuuris kasutatakse hierarhilist struktuuri, mis on pärit Hollandi Statistikaameti välja töötatud haldusrikkumise andmete struktuurist (7 Daas, P., S. Ossen, R. Vis-Visschers ja J. Arends-Toth, (2009), Checklist for the Quality evaluation of Administrative Data Sources. Statistics Netherlands, The Hague/Heerlen). Kvaliteedi mõõtmed on embeditud hierarhilisse struktuuri, mida nimetatakse hüperruumideks. Kolm kindlat hüperdimensiooni on „allikas“, „metandmed“ ja „andmed“. Kvaliteedi mõõtmed on seotud nende hüperdimensioonidega ja määratakse igas tootmisetapis. Sisendifaasi jaoks on pakutud täiendavaid aspekte nagu „privaatsus ja konfidentsiaalsus“, „keerukus“ (vastavalt andmestruktuurile), „metandmete täielikkus“ ja „seostatavus“ (võime seostada andmeid teiste andmetega), et lisada standardkvaliteedi mudelile. Iga kvaliteedikriteeriumi jaoks on pakutud tegureid, mis on seotud nende kirjeldusega, samuti võimalikud näitajad.

Selles artiklis võib riske välistada nendest teguritest. Näiteks tegurid, mida tuleb arvestada kvaliteedi mõõtmisel, nagu "institutsionaalne / äri keskkond", on andmete pakkuja usaldusväärsus. Sellega seotud risk võib seisneda selles, et andmed ei pruugi tulevikus andmete pakkuja juures saadaval olla. Teine näide on hiljuti ettepanek tehtud kvaliteedi, privaatsuse ja turvalisuse aspekt. Üks oluline tegur on "tajumine", mis tähendab võimalikku negatiivset tajumist konkreetsete andmeallikate eeldatava kasutamise osas erinevate sidusrühmade poolt.

3. Andmete juurdepääsuga seotud riskid

3.1. Andmetega juurdepääsu puudumine
3.1.1. Kirjeldus

See risk seisneb BOSP arendusega seotud projektis, millel ei ole juurdepääsu vajalikule suurandmete allikale (BDS).

Praeguseks on OSC omandanud keerulise tee, kus isegi stardiplokkidest väljumine ja juurdepääsu saamine võivad mõnikord olla ületamatud takistused. Mõnikord on lihtne juurdepääs teatud allikale — näiteks kõneandmete (CDR) salvestusele, testimise / uurimise eesmärgil, kuid oluliselt raskem (juriidiliste või kaubanduslike põhjuste tõttu) pääseda sellele tootmisotstarbel.

3.1.2. Tõenäosus

Tõenäosus sõltub suuresti BDS omadustest. Kui tegemist on suurte haldusandmetega, võivad need olla üksnes 1, eriti juhul, kui (nagu liiklusloopide andmete puhul, millele on viidatud Daas et al. 8 Daas, P., M. Puts, B. Buelens ja P. van den Hurk. 2015. «Big Data as a Source for Official Statistics». Journal of Official Statistics 31 (2). (Käimasolev; avaldamine on planeeritud 2015. aasta juuniks.)) ei esine isikuandmete kaitse probleeme. Kui BDS juhtum kuulub füüsilisele isikule, sealhulgas juhul, kui ta on tundlik (näiteks andmekaitse seisukohalt) või väärtuslik (kaubanduslikult), võib tõenäosus olla väga kõrge (5).

3.1.3. Mõju

Mõju sõltub BOSP-ist ja BDS-i kasutamisviisist. Kui BDS on süda, võib mõju olla väga kõrge (4 = BOSP-i loomine on absoluutselt võimatu), samas kui see võib olla madalam, kui BOSP-i loomine on endiselt võimalik (kui ka madalama kvaliteediga), toetudes teistele URB-dele, mis viib mõju vahemikus 2-3.

3.1.4. Ennetamine

Ligipääsu riski vähendamiseks tuleks luua eelnevad kontaktid andmete pakkujaga ja sõlmida pikaajaline andmete ligipääsu leping. Samuti tuleks läbi viia põhjalik õigusanalüüs, mis puudutab konkreetset BDS-i ja BOSP-i kombinatsiooni. Tuleb hinnata võimalusi andmete ligipääsuks vastava või tulevase seadusandluse kohaselt.

3.1.5. Leevendamine

Kui on alternatiivseid BDS-e, mida saaks BOSP-i jaoks kasutada, võiks neid uurida. Kui ei ole võimalust luua BOSP-i ilma BDS-ita ja ligipääsu puudumise ületamine on võimatu, tuleks pingutused lõpetada, ja uus BOSP ei näe päevavalget.

3.2. Andmete ligipääsu kaotus
3.2.1. Kirjeldus

Selle riski põhjus seisneb selles, et statistiline haldus kaotab BDS-i, mis on BOSP-i aluseks.

3.2.2. Tõenäosus

Kui BOSP-d juba toodetakse, eksisteerib tavaliselt teatud stabiilsus, ja mõnel juhul võib risk olla väga madal (1). Siiski, eriti erasektorite puhul, kellega on sõlmitud piisavalt nõrgad lepingud, ei takista miski näiteks uut juhtkonda andmepoliitika muutumast, mis toob kaasa mõõduka katkestamise riski (3). Veelgi enam, kui BDS on seotud ebastabiilse tegevusega, eksisteerib alati risk, et teenusepakkuja läheb lihtsalt pankrotti, ja risk võib olla isegi kõrgem (4).

3.2.3. Mõju

Kuna olemasolevat BOSP-d võib olla ülioluline tootmine, toimub sageli väga tugev mõju (5). Teistes olukordades, kus BDS on abistav, võib mõju pigem olla kvaliteedikaotuse näol, mille mõju ulatub vahemikku 2-3.

3.2.4. Ennetamine

Ennetusstrateegia on sarnane andmete puudumise strateegiale, kuid suurenenud rõhuga pidevale ettevaatusele ka tootmisolukordades.

Ärge pange kõiki mune ühte korvi (st. omage mitu BDS-i, mis põhinevad igal BSOP-il) võib samuti olla strateegia, kuid see võib osutuda kas praktiliselt teostamatuks või liiga kulukaks.

3.2.5. Leevendamine

Kui BDS on ebastabiilse tegevuse tulemus, võib järk-järgult ilmneda uus BDS, mis kajastab sama sotsiaalset nähtust. Kuid „turuuuringute skaneerimise” alustamine kohe, kui BSOP ebaõnnestub, on liiga hilja; vajalik on pidev ettevaatus — ja seda võib olla raske saavutada.

4. Õigusliku keskkonna risk

4.1. Vastava seadusandluse mittejärgimine
4.1.1. Kirjeldus

See risk tuleneb projektist, mis on seotud BOSP arendamisega, kus ei ole arvesse võetud asjakohast seadusandlust, mis muudab BOSP vastavaks nimetatud seadusandlusele. See võib hõlmata andmekaitseseadusandlust, regulatsioone reageerimise koormuse jms kohta.

4.1.2. Tõenäosus

Arvestades OSC teadlikkuse puudumist suurandmete osas, ei ole välistatud juhuslik rikkumine. Tõenäosus on tavaliselt seotud BDS-iga, kuna mida vähem "tundlik" on allikas, seda väiksem on tõenäosus, et ebasobivus esineb.

4.1.3. Mõju

Mõju on tavaliselt kriitiline, kuna ebasobiva tootmise korral tuleb BOSP peatada (või juhul, kui see ei ole veel rakendamise etapini jõudnud, peab selle arendamine lõpetatama). See võib olla isegi äärmuslik, kuna ebasobiva ("illegaalne") ametliku statistika tõttu tekkivad maine riskid võivad omada tõsiseid tagajärgi.

4.1.4. Ennetamine

Iga BOSP puhul on vajalik põhjalik õiguslik analüüs — ja see toimub mitmel etapil (see, mis on vastuvõetav arendamise / uurimise etapis, ei pruugi olla sama rakendamise / tootmise etapis). See võib omakorda kaasa tuua BOSP ümberkujundamise, et selle ühilduvust tagada.

4.1.5. Leevendamine

Rikkumise tõsidusest sõltuvalt võib esimeseks sammuks olla BOSP viimine võrguühenduseta režiimi.

BOSP-i uuendamine ühilduvaks muutmiseks võib olla variant, kuid kas BOSP päästetakse sel viisil, sõltub tugevalt vastuolu iseloomust.

4.2. Ebasoodsad muutused õiguslikus keskkonnas
4.2.1. Kirjeldus

Võib kehtestada uus seadusandlus, mis puudutab arendatavat BOSP-i, mis tegelikult muudab BOSP-i ühilduvusetuks.

4.2.2. Tõenäosus

Ei saa välistada, et andmekaitse tugevdamise pooldajatel õnnestub kehtestada uusi nõudeid, mis otseselt või kaudselt mõjutavad konkreetsete BOSP-ide loomise võimalusi. Tõenäosus vahemikus 2-3 tundub realistlik hinnang.

4.2.3. Mõju

Mõju on tavaliselt kriitiline (4), kuna sobimatute tootmiste puhul on vajalik BOSP-i peatamine.

4.2.4. Ennetamine

Teatud äriteavet tuleb regulaarselt koguda seadusandlikku arengut jälgimiseks — võib-olla ka selle mõjutamiseks, esindades argumente ametlikuks statistikaks asjakohastes (nt konsultatiivsetes) foorumites.

4.2.5. Leevendamine

Eeldusel, et on toimunud ennetav jälgimine, võib olla aega BOSP-i uuesti üles ehitada, et see oleks kooskõlas uue seadusandlusega alates selle jõustumise esimesest päevast.

Kui jälgimist ei ole aga toimunud, mistõttu uus seadusandlus on „üllatus” - või kui seadusandlus on nii radikaalne, et ei ole võimalik BOSP-i kohandada - võib ainus võimalus olla BOSP-i väljalülitamine.

5. Andmete privaatsuse ja turvalisuse riskid

5.1. Andmete turvarikkumised
5.1.1. Kirjeldus

See risk is associated with unauthorized access to data stored in statistical managements. Third parties may obtain embargoed data, for example, due to the release of schedules. For any BOSP that is fully based on a single BDS, it is inevitable that the data will be implicitly known to the original data owner, and if the methodology is transparent, the derived statistics will also be known. This situation is not considered here, but rather in the risk associated with the abuse of power by owners. Additionally, this data may carry a risk of breaching confidentiality. This risk will be considered separately. This may include, for example, data that investors expect on the stock market.

5.1.2. Tõenäosus

Mis puutub IT-keskkonna kaitse tehnilistesse aspektidesse statistilises osakonnas, siis on risk sama tõenäosus BDS-idele kui traditsioonilistele allikatele. Kuid on kaks täiendavat aspekti, mida tuleb arvesse võtta.

Esiteks, mõnede BDS-ide puhul suureneb üldine risk veidi, kuna algse omaniku andmete turvalisus võib olla ohus. See võib olla seotud näiteks tööstusliku spionaaži või häkkimisega.

Teiseks, kui potentsiaalselt väärtuslikud andmed hakkavad kontoris säilima, siis suureneb tõenäosus, et neid püütakse kurja meelt haarata. Kui salvestatud andmed on ettevõttele äärmiselt väärtuslikud, tuleb valmistuda väga kõrgeks rünnakuteks, mis on suunatud IT-infrastruktuurile, mistõttu on häkkimise tõenäosus potentsiaalselt kõrgem (4).

Kui salvestatud andmeid ei peeta väärtuslikeks, siis tundub üldine tõenäosus mitte väga kõrge – vahemikus (1) kuni (3), sõltuvalt andmeallikast.

5.1.3. Mõju

Potentsiaalne mainekahju võib olla suur (5). BDS-ide puhul on oluline see, et kui turvarikkumine toimub algse omaniku juures, siis eeldatakse, et mõju mainele on madalam kui juhul, kui rikkumine toimuks andmetega, mis on tema hoole all.

Teiselt poolt võib statistilise halduse rikkumine omada negatiivset mõju algsele omanikule. Sellisel juhul võib usaldusväärsuse kahepoolse mõju tõttu tekkida taas suur negatiivne mõju (5).

5.1.4. Ennetamine

BDS-i juhtumi iseloomulik on see, et algse omaniku turvamenetlused võivad olla asjakohased. Ebatõenäoline on, et statistilised haldused saavad auditeerimise õigusi selle kontrollimiseks. Omanikud, kelle andmeid kasutatakse konfidentsiaalsete avaldamise ajakavadetega seotud rekordite koostamiseks, peavad olema teadlikud potentsiaalse turvarikkumise tagajärgedest ametlikule statistikale ning neil peab olema ametlikus vormis tagatis, et nõuetekohaseid turvamenetlusi rakendatakse.

Otsene viis vältida omanikust toodete turvaaukude tõsist mõju statistilisele juhtimisele on tagada, et sama toote puhul kasutatakse mitmeid allikaid, nii et üht kompromiteeritud allikat ei piisa, et saada lõplikku numbrit. Selle lähenemise eeliseks on suurem kontroll statistilise juhtimise käes.

Andmete algse omaniku jaoks küberturbe rikkumise negatiivsete tagajärgede vältimise viis seisneb andmete edastamise meetodi leidmises, mis ei eelda omaniku seisukohalt tundlike andmete edastamist statistika haldamisse. Toorelt. Üks võimalik ennetav lähenemine on kasutada koondatud andmeid. Tuleb siiski meeles pidada, et teatud aggregatsiooni vormid, näiteks need, mis on mõeldud, et vältida üksikute elanikkonna liikmete tuvastamist, ei pruugi sellel juhul sobida. Üks põhjusi võib olla see, et omaniku risk on seotud andmete kaubandusliku väärtusega, mis võib olla märkimisväärne isegi pärast anonüümsuse saavutamist.

5.1.5. Leevendamine

Statistika haldamise all olevate andmete rikkumise korral on leevendusmeetmed samasugused nagu traditsiooniliste allikate puhul, kui algsele omanikule ei ole negatiivset mõju olnud.

Kui algse omaniku jaoks on negatiivsed tagajärjed, peab statistiline haldus üle vaatama ja tugevdama oma turvamenetlusi ning selgelt edastama ja näitama oma pühendumust sellele.

Kui rikkumine toimus algse omaniku ruumides, peab vastav statistikaasutus selgelt teavitama olukorrast ja nõudma omaniku turvamenetluste parandamist. Vajadusel võib otsida alternatiivset teenusepakkujat.

5.2. Andmete privaatsuse rikkumised

5.2.1. Kirjeldus

See on risk, et ühe või mitme isiku privaatsust statistilises kogumis rikutakse. See võib olla seotud rünnakuga IT-infrastruktuuri osas, kusjuures rõhk võib tulla teistelt valitsusasutustelt või ebapiisavatelt kontrollimeetmetelt, mis puudutavad statistiliste andmete avalikustamist.

5.2.2. Tõenäosus

Nagu andmete turvalisuse rikkumise riskiga, ei muutu mikrodokumentide tehnilised hoiustamistingimused BDS-i lisamisel oluliselt. Kuid ka siin on hoiatusi.

Mikroandmed teatud andmeallikatest võivad omada suurt äri väärtust, seetõttu suurendab nende säilitamine rünnakute tõenäosust.

Lisaks võivad mõned mikroandmed olla potentsiaalselt väga kasulikud teistele riigiasutustele, näiteks õiguskaitseorganitele, maksustamisele või tervishoiule. Teatud asjaoludel võib statistilise konfidentsiaalsuse põhimõtte järgimine seista suure surve all.

Mis puudutab statistilise teabe avalikustamise kontrolli probleemide, siis on olemas juba välja kujunenud praktika. BDS võib võimaldada statistikat väikeste elanike alagruppide jaoks või pakkuda võimalust siduda erinevatest BDS-dest kogutud andmeid, mis võib suurendada riski tõenäosust. Uued allikad vajavad siiski uusi meetodilisi arendusi, seega on tegelik oht see, et teabe avalikustamise kontrollimise meetodit ei uuendata õigesti.

Üldiselt võib mõistlike ennetavate meetmete korral tõenäosus püsida mõistlikes piirides, kuid kuna on palju erinevaid ja mitmekesiseid tegureid, näib asjakohane hindamine siin olevat, et tõenäosus on kõrge (4).

5.2.3. Mõju

Potentsiaalne mainekahju võib olla suur (5). Nagu andmete turvalisuse riskide korral, võib statistilise halduse rikkumine omada negatiivset mõju algsele omanikule. Sellise sündmuse mõju võib olla potentsiaalselt isegi suurem, eriti arvestades, et tänased arvamistrendid võivad jätkuda. Kahju andmete pakkuja ja statistilise halduse vahel on samuti väga suur, nagu oodatakse.

5.2.4. Ennetamine

Vea tõhus viis sellise riski vältimiseks on täielikult vältida BDS-i mikrodokumentide olemasolu (kuigi teiste mikrodokumentide säilitamine on endiselt seotud vastava riskiga, kuid erineva tõenäosuse ja mõjuga). See tee, nagu ka andmete turvakaalutluste risk, toob endaga kaasa vajaduse töötada välja uusi meetodeid andmete kasutamiseks statistilistel eesmärkidel. Lisaks tähendab allikate erinev lood, et tuleb välja töötada uusi metodoloogiaid, millel on omavahel konkureerivad eesmärgid, et maksimeerida kasuliku teabe kogumist ja kaitsta konfidentsiaalsust ohu eest.

Kui mikrodatasid säilitatakse, peavad IT turvamehanismid ja juurdepääsukontroll olema nõutaval tasemel ja pideva kontrolli all. Erilist tähelepanu tuleb pöörata uute andmete hankimise viiside turvalisusele. Paraku võib selline uus viis olla salvestusseadmete (nt kõvaketaste) füüsiline transport. Kui seda meetodit kasutatakse, peab kohaletoimetamine olema füüsiliselt kaitstud ning tuleb kasutada krüpteerimist.

5.2.5. Leevendamine

Leevendamise meetmed on põhimõtteliselt samasugused kui andmeturbepettuste korral. Kui rikkumise põhjustab surve teiselt riigiasutuselt, tuleks kasutada võimalust haldamise sõltumatuse tugevdamiseks, et sarnaseid rikkumisi tulevikus veelgi raskemaks muuta.

5.3. Andmeallika manipuleerimine
5.3.1. Kirjeldus

Kolmandate osapoolte andmed, näiteks sotsiaalmeedia või vabatahtlikult esitatud andmed, on manipuleerimise ohus. Seda võib teha kas andmete pakkuja ise või kolmandad osalised. Näiteks võivad paljusid valeuudiseid sotsiaalmeedias genereerida selliselt, et nad mõjutavad statistilist indeksi, mis põhineb nendel andmetel, kui on teada, et indeks arvutatakse nende andmete alusel.

Vabatahtlike esitatud andmete puhul võib juhtuda, et vabatahtlikud esindavad teatud huvigruppi, millel on kindel päevakord.

5.3.2. Tõenäosus

Andmete manipuleerimise tõenäosus, mis võib tuua suuri eeliseid, on kõrgem. Need võivad olla andmed, mille statistika on huvitav, näiteks aktsiaturg. Arvestades hiljutisi skandaale, mis on seotud LIBORi ja Forexiga, võib arvata, et seni, kuni stiimulid eksisteerivad, jäävad andmete manipuleerimise katsed tõenäoliseks.

Kuidas näha statistikat, mis põhineb vabatahtlikult esitatud andmetel, piisab vaid pilguheitest hiljutisse PR-praktikasse, kus otsitakse inimesi, kes teesklevad arvamust ja kellele makstakse avaliku väljenduse eest (nt internetifoorumites), et tõdeda, et tõenäosus on üsna suur. Üldiselt tundub vahemik 3 kuni 4 õigustatud.

5.3.3. Mõju

Suurepärased manipuleerimiste probleem on see, et need võivad püsida kaua avastamata. Kui manipuleerimised kestavad pikka aega, võib mõju kvaliteedile olla märkimisväärne. Lisaks võib kahju avalikkuse usaldusväärsusele ametliku statistika suhtes samuti olla suur, eriti kui rõhutatakse statistikaametite rolli kvaliteetsete andmete pakkujatena. Teisest küljest, kui manipuleerimised avastatakse õigeaegselt ja seejärel avaldatakse, võib see tegelikult parandada avalikku arusaama. Eranditult äärmiselt kehvadel juhtudel võib arvata maksimaalset mõju (3).

5.3.4. Ennetamine

Regulaarsete kontrollharjutuste tegemine alternatiivsete allikatega on üks võimalikest ennetavatest lähenemistest. Need alternatiivsed allikad võivad olla traditsioonilised või muud. Statistika kasutamine allikate kombinatsiooni alusel võib takistada märkimisväärseid manipuleerimise mõjusid. Kui on kahtlusi, et teenusepakkuja on algatanud manipuleerimist, võivad juriidilised lepingud samuti olla üks võimalus sellise praktika vältimiseks.

5.3.5. Leevendamine

Kuna tegemist on avalike suhete kahjustamisega, ei erine siin rakendatavad leevendusmeetmed eriti neist, mis on vajalikud igasuguste kriiside lahendamiseks.

Andmekvaliteedi vaatenurgast oleks kasulik, kui minevikus kogutud andmeid saaks parandada nii, et isegi pika viivituse korral oleks õige järjekord võimalik.
tootab. Selleks võib olla kasulik regulaarne võrdlus. Pange tähele, et antud juhul on võrdluse eesmärk veidi erinev ennetamise eesmärgist. Ennetamiseks on oluline kiiresti märgata ja uurida kahtlast lahknevust etalonkatseandmete ja BDS vahel. Tagajärgede leevendamiseks on vanad kasulikud andmed alati abiks.

Samuti tuleb hoolitseda selle eest, et tulevikus ei lubataks sarnaseid manipulatsioone — eriti delikaatsetes olukordades võib see tähendada potentsiaalselt liigsete andmete hankimist mitmest tarnijast võrdluse jaoks.

5.4. Suurandmete kasutamisega seotud negatiivne ühiskondlik taju ametlikus statistikas
5.4.1. Kirjeldus

Meedia ja laiem avalikkus on äärmiselt tundlikud privaatsuse ja isikuandmete kasutamise küsimuste suhtes suurest andmeallikast, eriti seoses andmete teise ringi kasutamisega riigiasutuste poolt, kes võtavad kodanike suhtes haldus- või õigusmeetmeid. Negatiivselt tajutud kasutuseks võib olla kiiruseregulatsiooni positsioneerimine navigeerimisandmete analüüsi põhjal (11 Vaata www.theguardian.com/technology/2011/apr/28/tomtom-satnav-data-police-speed-traps).
Konkreetne juhtum TomTom Netherlands juhtis tähelepanu sellele, et nõudlus TomTom seadmete järele langes oluliselt ning ettevõte otsustas andmete ligipääsu piirata. Selles konkreetses juhul viidatud andmed kuulusid eraisikutele, kuid olid seotud kiirusetappide määratlemisega teede lõikudes.

Siiski võivad olla ka suure andmemahu rakendused, mida avalikkus tajub positiivselt. Ühe näitena võivad olla rakendused, mis takistavad selliseid kuritegusid nagu sissemurdmine, tuginedes suurte andmete meetoditele.

Positiivne ning negatiivne avalik arvamus võib avaldada tugevat mõju BDS-i kasutamisele ametlike statistiliste andmete koostamisel.

Negatiivse avaliku tajumise tagajärg võib olla see, et:

• BDS ei ole enam statistikaametite jaoks saadaval, kas andmete pakkuja otsuste või valitsuse otsuste tõttu, et andmeid mitte kasutada, või
• andmete kasutamine on piiratud, mis võib takistada tootmist, kui teatud BOSP-d esinevad.

5.4.2. Tõenäosus

Tegurid, mis võivad mõjutada sellise sündmuse tõenäosust või selle mõju ametlike statistiliste andmete tootmisele:

• andmete konfidentsiaalsus, st kui kergesti on inimesi võimalik tuvastada;
• teabe maht, mida andmed füüsiliste isikute kohta avaldavad, näiteks suurendades andmete sidumist erinevatest allikatest;
• andmete tüüp, näiteks rahalisi tehinguid peetakse konfidentsiaalseteks rohkem kui teisi andmeid;
• potentsiaalse tegevuse tüüp, mida võib kodanike suhtes teha, näiteks kiirusületamise eest trahvimine;
• ebajare õiguslik keskkond, kus tegutsevad andmete pakkujad ja kasutajad, või kui õiguslikud tingimused on vastuolus ühiskondlike eetiliste arvamuste / standarditega;
• määr, mil andmed sõltuvad teisest allikast statistika saamiseks; uurimisetapis võib see tegur olla vähem tähtis. Küll aga võib see väga tugevalt mõjutada statistika saamist hiljem, seega peaks seda arvesse võtma ka uurimisetapis. Üks probleemidest võib olla see, et andmete lõplik kasutus on alguses teadmata, kuna andmeallikad võivad potentsiaalselt teenindada rohkem kui ühte statistika valdkonda.

Kahjuks ei ole võimalik hinnata ebameeldivate nähtuste kestvust, kuna avalikkuse mobiliseerimine toimub sageli siis, kui kajastatakse sündmusi, mis avaldavad kodanikele negatiivset mõju. Siiski, suureneva andmete kasutamisega valitsuste ja erasektori poolt, ning eriti andmete aktiivse turustamisega, mille eesmärk on midagi muud kui see, milleks need algselt koguti, on selliste sündmuste toimumise tõenäosus suurem.

Sündmused, mis mõjutavad avalikku tajumist, ei ole sagedased, vaid pigem juhuslikud (3) ja kauged (2). Suuremate andmeallikate kasutamise suurenemisega kasvab ka tõenäosus.

5.4.3. Mõju

Sündmuse mõju sõltub tugevalt eespool arutatud teguritest. Üldiselt on mõju tõsisem juba loodud statistiliste andmete tootmise jaoks, kuna tegevus võib vajada lõpetamist. Mõju sõltub ka alternatiivsete andmeallikate kättesaadavusest, kuigi võib juhtuda, et avalik arvamus ei erista erinevaid andmeallikaid sündmuse materialiseerumise korral. Suurte andmete hetkeolukorras tundub, et need allikad ei saa traditsioonilisi andmeallikaid täielikult asendada, vaid pigem täiendavad olemasolevat statistikat. See vähendab sündmuste mõju. Seetõttu hinnatakse sündmuse mõju vahemikus 2 (tühine) kuni 3 (oluline). Tootmisetapis võib mõju suureneda kuni 4 (kriitiline tase).

5.4.4. Ennetamine

Eetiliste printsiipide määramine suurte andmete jaoks ametlikus statistikas võib olla ennetav meede. Eetilised juhised peaksid põhinema sellistel printsiipidel nagu Euroopa statistika praktika koodeks või ametliku statistika põhialused (12 unstats.un.org/unsd/dnss/gp/fundprinciples.aspx). Järgmine meede on kommunikatsioonistrateegia määratlemine, mis avaldab eetiliste juhiste tulemusi avalikkusele ja mida saab kasutada sidusrühmade teavitamiseks eetilisest kasutamisest BDS-i BOSP jaoks.

Konkreetse BDS-i jaoks võib läbi viia eraldi riskihindamise, et tuvastada riske ja ettepanekuid ennetavate või leevendavate meetmete osas, mis põhinevad eetilistel printsiipidel. Eraldi riskihindamine võib hõlmata ka sidusrühmi, nagu andmekaitseagentuurid, et tagada kõikide riskide tunnustamine ja meetmete põhjendatus.

5.4.5. Leevendamine

Suhtlemisstrateegia peaks hõlmama ka meetmeid, kui avalikkuse negatiivne suhtumine kasvab. Eraldi riskihinnang peaks koguma positiivseid andmete kasutamise näiteid ja meetmeid, mis takistavad andmete kuritarvitamist, mida tuleks poliitilisel tasandil kohustuslikult rakendada, ja statistikaühiskond ei pruugi olla suuteline neid tõhusalt mõjutama.

5.5. Usalduse kaotus — mittevaatluse käigus saadud
5.5.1. Kirjeldus

Ametlik statistika kasutajad usuvad tavaliselt nende andmete täpsusesse ja usaldusväärsusesse. See põhineb tõsiasjal, et statistika tootmine on sisse ehitatud usaldusväärsesse ja avalikult kergesti kätte saadavasse metoodilisse alusesse ning kvaliteedi dokumentatsiooni. Lisaks põhinevad enamik statistilisi andmeid vaatluste põhjal, st need on saadud uuringutest või loendustest, mis loovad selge seose vaatluse ja statistiliste andmete vahel. BDS-de kasutamine, mis ei ole kogutud statistika põhieesmärgil, toob endaga kaasa riski, et need seosed võivad kaduda, ja kasutajad kaotavad usalduse ametlikku statistikat. Näide, mis viitab viimasele rahvaloendusele (2010. aastal), on seotud sellega, et mõnes riigis saadi statistilised andmed mitme allika ja statistiliste mudelite abil. Mitmel juhul vaidlustasid huvigrupid statistilisi andmeid.

5.5.2. Tõenäosus

Riski tekkimise tõenäosus sõltub sellistest teguritest nagu statistilise/metodoloogilise mudeli keerukus, BSD ja BOSP vaheliste suhete usaldusväärsus või vastavus teistele statistilistele andmetele. Tõenäosus peaks olema vahemikus 3 (juhuslikud) kuni 4 (tõenäolised), mis tähendab, et see võib juhtuda korduvalt või sageli.

5.5.3. Mõju

Riski tekkimise mõju sõltub suurel määral sellest, kas NSO-d suudavad edukalt tõestada statistiliste andmete täpsust ja usaldusväärsust. Kui seda ei suudeta saavutada, siis usalduse ja usaldusväärsuse kaotamine võib mõjutada ka teisi statistilisi valdkondi, st mitte ainult mõnede statistiliste andmete usaldusväärsust, vaid seada ka kahtluse alla kogu organisatsiooni. NSO-d kaotaksid konkurentsieelise teiste erasektoris tegutsevate organisatsioonide ees.

5.5.4. Ennetamine

Ennetavad tegevused seisnevad teaduslikult põhjendatud metoodika väljatöötamises ja avaldamises, mis tunnustatakse teaduskonnas, rikastades andmeid kvaliteedi metaandmetega, tagades BOSP ja mitte-BOSP vahelise kooskõla ning viies läbi ranget kvaliteedikontrolli.

Enne statistilise tootmise alustamist võiks BOSP avaldada katsetamisena ning asjaosalistele soovitatakse BOSP-d vaidlustada, et kinnitada või täiustada BOSP-d.

5.5.5. Leevendamine

On kaks olukorda, mida eristada. Juhul, kui statistilised andmed vaidlustatakse, kuid omavad kõrget / piisavat kvaliteeti (õige / täpne), oleks piisav selgitada ja edastada statistilised andmed avalikkusele, tuues välja lihtsasti mõistetavad näited.

6. Oskustega seotud riskid

6.1. Spetsialistide puudumine
6.1.1. Kirjeldus

Inimeste tegevuse käigus jäänud digitaalseid jälgi analüüsida on vajalikud teatud andmeanalüüsi tööriistad, mida ei kasutata praegu ametlikus statistikas laialdaselt. Esiteks, inimeste tegevuse kaudsete andmete kasutamine otseküsitlustes nõuab statistiliste mudelite rakendamist ning seega järeldus- ja masinõppeoskusi. Teiseks, need digitaalsed salvestused on sageli kujul, mis ei vasta tavapärasele tabelivormingule, mille jaoks küsitlusandmed on tavaliselt korraldatud, kus read vastavad statistilisele üksusele ja veerud selle statistilise üksuse spetsiifilistele omadustele. Digitaalsed radade jäljed on esindatud ka tekstina, helina, pildina ja videona. Sellistest andmetüüpidest asjakohase statistilise teabe väljatõmbamine nõuab looduskeele töötlemise, helitöötluse ja pilditöötluse oskusi. Kolmandaks, need andmeallikad kipuvad pakkuma suuri andmekogumeid, mille töötlemine nõuab head arusaamist hajutatud arvutustehnikadest.

Risk, ettenähtud ekspertide puudumise puhul, seisneb andmete hankimises ühest neist uutest suurtest andmeallikatest, kuna statistikaasutusel puudub võime seda korralikult töödelda ja analüüsida, kuna nende personalil ei ole vajalikke oskusi.

6.1.2. Tõenäosus

Selle riski tõenäosus sõltub kolmest tegurist: 1) iga suurte andmeallikate tüübi jaoks vajalike konkreetsete oskuste tüüpide ja tõenäosuse kohta, et statistikaasutus leiab võimaluse sellist allikat uurida; 2) vajalike oskuste praegune olemasolu statistikaasutuses; ja 3) statistikaasutuse organisatsioonikultuur.

Kui rääkida vajalikest oskustüüpidest, tuleks märkida, et mitte kõik allikad ei nõua kõiki ülal loetletud oskusi. Mõned (näiteks Google Trends'i andmed) ei vaja hajusate arvutuste oskusi, kuna need on juba andmehoidja poolt eelnevalt töödeldud või omavad signaalitöötluse oskusi, ning neil on peamiselt vajalikud statistilise modelleerimise oskused. Siiski on olemas suur mitmekesisus suurte andmeallikate seas, millest enamik nõuab hajusate arvutuste, signaalitöötluse ja masinõppe oskusi. Samuti nõuab nende digitaalsete jälgede õige uurimine mitme allika töötlemist. Seega on suur tõenäosus, et suured andmeallikad, mis muutuvad statistiliseks haldamiseks kergesti kättesaadavaks, vajavad neid ebatavalisi oskusi, ja selle riski tõenäosus on väga kõrge (5).

Mis osas puuduvad vajalikud oskused, sõltub see konkreetsetest statistikaametitest. Isegi kui küsitlusmeetod on vähem levinud kui uurimismeetod, kasutatakse seda siiski ametlikus statistikas teatud valdkondades. Seetõttu võivad statistikaametid leida lahenduse oma jõududega, isegi kui see võib nõuda inimressursside ümberjaotamist. Mis puudutab hajutatud arvutuse oskusi, mis on peamiselt seotud IT-ga, sõltub see organisatsiooni IT-infrastruktuuri haldamisest. Sõltuvalt sellest, kui osakonna IT-tugi on, võivad lahendused leida oma olemasolevate lepingute kaudu. Siiski ei eksisteeri signaalitöötluse ja masinõppe oskused enamuses ametlikest statistikaametitest, ning nende oskuste rakendamine ei saa olla allhangitav, kuna neid peavad rakendama statistikaeksperdid. Seega, vaadates seda perspektiivist, paistab selle riski tõenäosus väga kõrge (5).

Organisatsioonikultuur mõjutab ka selle riski toimumise tõenäosust. Kui töötajatel on valmidus omandada vajalikke oskusi iseseisva õppe kaudu, võib see anda organisatsioonile võimaluse reageerida olukordadele uute andmeallikate korral, mis nõuavad teistsuguseid oskusi võrreldes tavapärastega. See sõltub organisatsiooni statistilise juhtimise kultuurist, nimelt sellest, kas see soodustab töötajate uute oskuste omandamist ja kas töötajatel on aega iseseisvaks õppimiseks.

Seega on tõenäosus, et statistiline juhtimine ei suuda töötada ja analüüsida uusi andmeallikaid oma töötajate oskuste puudumise tõttu, tõenäoliselt vahemikus tõenäoline (4) kuni sage (5), sõltuvalt organisatsiooni iseseisva õppimise kultuurist.

6.1.3. Mõjud

Statistiline juhtimine, mis ei suuda hallata ja analüüsida suuri andmeallikaid oma töötajate oskuste puudumise tõttu, võib kaasa tuua kaks võimalikku negatiivset tagajärge: 1) andmeallikat ei uurita, vähemalt mitte täielikult; 2) andmeallikat kasutatakse valeväärtustena.

Võimetus täielikult uurida väärtusliku suurandmeallika potentsiaali mõjutab lühiajaliselt (2) vaid pisut, kuna statistikaasutustel on tõeliselt olemas statistilised tööriistad praeguste vajaduste rahuldamiseks. Kuid pikaajalises perspektiivis (ja võib-olla isegi keskpikas perspektiivis) toovad selle võimaluse kaotamise tagajärjed kaasa otsustava tähtsuse (4), kuna statistikaasutused seisavad üha rohkem silmitsi konkurentsiga erasektori pakkujate poolt, kellel ei ole sama institutsionaalset struktuuri, mis võimaldaks neil tagada ühiskonnale sõltumatute statistiliste andmete kättesaadavuse.

Kuid vale allika kasutamine toob statistikaasutustele kaasa äärmiselt negatiivseid tagajärgi, kuna ametlik statistika sõltub suuresti oma maine tugevusest oma ülesannete täitmisel. Sellegipoolest saame väita, et kõige olulisem oskus, mille puudumine võib viia valejäreldusteni, on statistiline järeldamine, eriti mudelipõhine järeldamine, mille puudumist on samuti vähem tõenäoline. Seetõttu on oodatav mõju pigem kriitiline (4) kui äärmuslik.

6.1.4. Ennetamine

Statistikaasutused saavad seda riski aktiivselt ennetada kahel viisil: 1) koolitamine; ja 2) värbamine.

Statistikaorganid võivad anda personalile vajalikud oskused, määratledes üksikasjalikult oskused, mis on vajalikud suurte andmeallikate kasutamiseks statistilises tootmises, koostades olemasolevate oskuste nimekirja, määratledes koolitusvajadused ning korraldades seejärel koolituskursused.

Statistikaametid võivad samuti värvata uusi töötajaid, kellel on vajalikud oskused. See näib omavat tõsiseid piiranguid, kuna statistikaametid ei pruugi suuta saavutada kriitilist massi töötajatest olukorras, kus suurte andmeallikate kasutamine on osakonnas laialdaselt levinud, ja uutel töötajatel kulub ikka aastaid, et saavutada kogemuste tase, millel on olemasolevad töötajad. Siiski võivad mõned uued töötajad, kes värvatakse tavalise personalivärbamise käigus, omada oskusi, mis on seotud suurte andmetega.

6.1.5. Leevendamine

Silmas pidades olukorda, kus uued suured andmeallikad on saadaval ilma vajalike oskustega töötajateta, saavad statistikaametid leevendada negatiivseid tagajärgi kahel viisil: 1) alltöövõtt; ja 2) koostöö.

Statistika valitsemine võib sõlmida lepinguid andmete töötlemise ja uute suurandmete allikate analüüsimiseks teiste organisatsioonidega, mis pakuvad selliseid teenuseid. Tundub, et see on elujõuline lahendus, kuna ilmub uus ettevõtete sektor, mis spetsialiseerub sellise andmetöötluse poole. Siiski on see lahendus, millega kaasnevad teatud riskid, kuna statistika valitsemine omab vähem kontrolli potentsiaalselt tundlike statistikatooteid tootmise üle. Sellel lahendusel on ka puudus, kuna see ei võimalda statistika valitsemise töötajatel õppida ja omandada vajalikke oskusi.

Koostöö teiste organisatsioonidega, kus on töötajad, kellel on vajalikud oskused ja kes on samuti huvitatud suurandmete allikate uurimisest, tundub tõhusama lahendusena. See koostöö võib võtta vormi ühisprojektidena statistikaameti töötajate ja teiste organisatsioonide töötajate vahel, kes jagavad omavahel oma teadmisi. See oleks võimaldanud mitte ainult vähendada oskuste puudujäägi riski, vaid ka võimaldada statistikaameti töötajatel neid oskusi omandada.

6.2. Ekspertide lahkumine teistesse organisatsioonidesse
6.2.1. Kirjeldus

See risk seisneb selles, et statistikaametid kaotavad oma personali teistele organisatsioonidele, pärast seda, kui nad on omandanud suurandmetega seotud oskused.

6.2.2. Tõenäosus

Selle riski tõenäosus sõltub kahest tegurist: 1) seni olemasolevad atraktiivsed võimalused organisatsioonides, mis ei kuulu ametlikku statistika valdkonda; 2) töötingimused statistikaametes.

Mis osutab võimalustele organisatsioonides, mis jäävad ametlikest statistikatest väljapoole, tundub, et selle riski tõenäosus on suur (4). Suurenenud nõudlus on inimeste järele, kellel on suurte andmete töötlemise oskused, nii erasektoris kui ka teistes riiklikes organisatsioonides. Suurte andmete töötlemise oskuste omandamisel saavad ametlikud statistikaasutused konkurentsieelise, olles kogenud statistika spetsialistid. Peale suurte andmete töötlemise spetsiifiliste oskuste vajavad teised organisatsioonid andmeprofessionaale, kellel on traditsioonilisemad oskused, nagu kasutajate vajaduste hindamine ja võtme näitajate (KPI) koostamine, mis on ametlike statistikaasutuste seas tavalised. Lisaks eeldatakse, et töötajad, kes on avatumad uute oskuste omandamisele, on ka need, kes on avatud karjäärimuutustele ja lahkuvad statistikaametist.

Mis osas statistikaametite töötingimusi, sõltub see ilmselt peamiselt konkreetsest kontorist. Siiski pakkuda statistikaametitele laiemad professionaalsed võimalused inimestele, kellel on kvantitatiivsed oskused. Statistikaametite töövaldkondade valik on üks suuremaid ja andmete kätte saamise võimalused on samuti üsna ulatuslikud. See vähendab tõenäoliselt personali kaotamise riski ootamatute olukordade tõttu (3).

6.2.3. Mõju

Selle riski mõju on sama, mis riskil, et puudub vastavaid oskusi omav personal. Seetõttu on mõju kriitiline (4), nagu eelnevalt mainitud.

6.2.4. Ennetamine

Tundub, et ainsaks võimaluseks statistiliste ametite jaoks selle riski vältimiseks on meelitada oma töötajaid atraktiivsete töötingimustega. See kehtib üldiselt kogu personali kohta. Siiski, konkreetsel juhul, kui töötajad on avatud uute oskuste omandamiseks, sealhulgas suurandmete analüüsi oskuste, saab töötingimusi parandada, pakkudes neile koolitusvõimalusi, kus nad saavad arendada oma ametialaseid huve. Statistilised ametid võiksid samuti pöörata erilist tähelepanu sellele, et olla avatud uutele innovaatilistele projektidele ja ideedele, mis on seotud uute suurandmeallikatega, mis tulevad mitmesugustes statistika valdkondades töötavate statistikutelt. Lõpuks sõltub teistele organisatsioonidele töötajate kadumise vältimine nende suurandmete oskustega töötajate hea tuvastamise ja neile korralike ametialaste arenguvõimaluste pakkumisest.

6.2.5. Leevendamine

Selle riski vähendamine toimub seoses oskustega töötajate puudumise riskiga: 1) alltöövõtt; ja 2) koostöö.

7. Arutelu

Sellest esimesest ülevaatest selgub, et ei ole võimalik määrata ühtset tõenäosust või mõju antud „big data riskile” — üldiselt sõltuvad mõlemad näitajad suurel määral suurte andmete allikast ning „ametlikest suurte andmete statistikatest”.
toode „.

Seega jõuame järeldusele, et loogiline järgmine samm selles suunas on mitmete võimalike pilotprojektide vastuvõtmine (igaühes neist on kombinatsioon ühest või mitmest BDS-ist ja ühest või mitmest BDOS-ist) lähtepunktina ja - iga sellise pilootprojekti jaoks - püüd hinnata iga riski tõenäosust ja mõju.

Selle eesmärgil käivitame huvirühmade küsitluse, et hinnata OSC tõenäosust, mõju (ja võimalikke ennetamise / leevendamise meetmeid) seoses mitmete võimalike pilootprojektidega – ning küsida OSC ettepanekute kohta riskide osas, mida me antud dokumendis ei ole arvesse võtnud.

8. VIITEDUNECE (2014), „Suurandmete kvaliteedi raamistik“, UNECE suurandmete kvaliteedi töögrupi väljundi dokumendid, www1.unece.org/stat/platform/download/attachments/108102944/BigDat
a%20Quality%20Framework%20-%20final-%20Jan08-2015.pdf?version=1&modificationDate=1420725063663&api=v2

UNECE (2014), „Kui suur on suurandmed? Suurandmete roll ametlikus statistikas“, www1.unece.org/stat/platform/download/attachments/99484307/VirtualSprintBigDatapaper.docx?version=1&modificationDate=1395217470975&api=v2

Daas, P., S. Ossen, R. Vis-Visschers ja J. Arends-Toth (2009), Halduse andmeallikate kvaliteedi hindamise kontrollnimekiri, Statistika Holland, Haag/Heerlen

Dorfman, Mark S. (2007), Riskihalduse sissejuhatus (e väljaanne), Cambridge, Ühendkuningriik, Woodhead-Faulkner, lk 18, ISBN 0-85941-332-22)

Eurostat (2014), „Ametlikest allikatest mitteametlike andmete akrediteerimise protseduur“ Interneti kasutamise metoodikate analüüs, et koguda infotehnoloogia ja muu statistika kohta, www.cros-portal.eu/content/analysismethodologies-using-internet-collection-information-society-and-other-statistics-1

Reimsbach-Kounatze, C. (2015), „Suurandmete levik ja sellega seotud tagajärjed ametlikule statistikale ja statistikaagentuuridele: esialgne analüüs“, OECD digitaalmajanduse paberid, nr 245, OECD väljaanne. dx.doi.org/10.1787/5js7t9wqzvg8-en

Reis, F., Ferreira, P., Perduca, V. (2014) „Veebitegevuse tõendite kasutamine ametlik statistika näitajate õigeaegsuse suurendamiseks“, ettekande esitamine IAOS 2014 konverentsil, iaos2014.gso.gov.vn/document/reis1.p1.v1.docx

Kuigi riskide otsene mainimine ei ole vajalik, käsitleb see artikkel tegelikult paljusid riske, mis on seotud veebitegevuse andmete kasutamisega ametlikes statistikas. Eurostat (2007), Andmekvaliteedi hindamise meetodite ja tööriistade käsiraamat, ec.europa.eu/eurostat/documents/64157/4373903/05-Handbook-ondata-quality-assessment-methods-and-tools.pdf/c8bbb146-4d59-4a69-b7c4-218c43952214

Allikas: habr.com