Riskide ja lahenduste struktureerimine BigData kasutamisel ametlike statistika saamiseks

Tõlkija ettekannet

Materjal köitis mind kõigepealt allpool oleva tabeli tõttu:

Arvestades, et statistikud (ja venelased, geneetiliselt) ei armasta kõik, mis erineb lineaarsetest seostest, suutsid need kutid siiski tõmmata sisse akti nutztamise funktsiooni parabelina riski määratlemiseks BigData kasutamise kohta ametlikus statistikas. Tubli töö. Loomulikult lisasid statistikud sellele tööle oma märkuse – „1 Kõik vead ja puudujäägid on autorite isiklikud vastutused. Selles dokumendis väljendatud seisukohad on isiklikud ega kajasta tingimata Euroopa Komisjoni ametlikku positsiooni.“ Aga töö avaldati. Arvan, et täna on sellest piisavalt ja nad (autorid) ei ole kedagi keelanud leidma oma skaalasid nendes aspektides.

Töös on piisavalt struktureeritud, et eristada, kus ja kuidas statistilised meetodid erinevad BigData uurimismeetoditest. Minu arvates on selle töö suurim kasu klientidega suhtlemisel ja tema väidete ümberlükkamisel, näiteks:

— Aga me kogume ise statistikat, mida te siin veel uurida tahate?
— Ja esitage meile oma tulemused nii, et me saaksime need oma statistika kokku viia. Sel teemal ütlevad autorid, et oleks hea seda tööd lugeda (3 How big is Big Data? Exploring the role of Big Data in Official Statistics)

Selles töös on autorid märkinud oma nägemuse riski tasemest. See parameeter on sõlmedes, ärge segage seda allikate viitega.

Teine tähelepanek. Autorid kasutavad mõistet BDS – see on BigData mõiste analoog. (näib, et see on kummardus ametlikule statistikale).

Autorite ettekannet

Üha rohkem statistikaametite uurivad võimalusi suurandmete kasutamiseks ametliku statistika koostamisel. Praegu on vaid mõned näited, kus need allikad on täielikult integreeritud tegelikku statistikatootmisse. Seetõttu pole veel täielikult määratletud, milliseid tagajärgi nende integreerimine endaga kaasa toob. Samal ajal on tehtud esimesed katsetused analüüsida tingimusi ja suurandmete mõju erinevatele statistika tootmise aspektidele, nagu kvaliteet või metoodika. Hiljuti töötas töörühm välja kvalitatiivse aluse statistiliste andmete koostamiseks, mis põhinevad suurandmetel, Euroopa Majanduskomitee ÜRO (UNECE) suurandmete projekti kontekstis. Vastavalt Euroopa statistika hea tava koodeksile on kvaliteetse statistilise teabe pakkumine statistikaametite põhieesmärk. Kuna risk määratletakse kui ebakindluse mõju eesmärkidele (nt Rahvusvahelise Standardimise Organisatsiooni ISO 31000 järgi), peame otstarbekaks klassifitseerida riskid vastavalt kvaliteedimõõtudele, millele need mõjuvad.
Suurandmete allikatest saadud statistiliste andmete kvaliteedi pakkumise struktuur tagab struktureeritud ülevaate kvaliteedist, mis on seotud kõigi statistika äriprotsessi etappidega. Seega võib see olla aluseks ulatuslikuks hindamiseks ja riskide juhtimiseks, mis on seotud nende uute andmeallikatega. See tutvustab uusi kvaliteedimõõtmeid, mis on spetsiifilised või (suure tähtsusega) suurandmete kasutamisel ametlikus statistikast, näiteks institutsionaalne/ärikeskkond või keerukus. Neid uusi kvaliteedimõõtmeid kasutades saab süsteemsemalt tuvastada riske, mis on seotud suurandmete kasutamisega ametlikus statistikast.

Selles töös püüame tuvastada riskid, mis on seotud suurte andmete kasutamisega ametlikus statistikas. Me järgime süsteemset lähenemist riskide määratlemiseks pakutud kvaliteediskeemi kontekstis. Keskendudes uutele kvaliteedi mõõtmistele, saame kirjeldada riske, mis praegu puuduvad või ei mõjuta ametliku statistika tootmist. Samal ajal suudame tuvastada praegused riskid, mida hinnatakse täiesti erinevalt suurte andmete kasutamisel statistika kogumiseks. Seejärel liikume edasi riskide juhtimise tsüklisse ja anname hinnangu nende riskide tõenäosusele ja mõjule. Kuna riskide hindamine eeldab subjektiivsust nende omaduste osas, mõõdame erinevate huvigrupide, kes osaleb iseseisvalt, kokkulepet riskide tõenäosuse ja mõju osas. Seejärel pakume välja võimalused nende riskide vähendamiseks neljas põhikategoorias: vältimine, vähendamine, jagamine ja hoidmine. ISO kohaselt peab üheks riskijuhtimise põhimõtteks olema väärtuse loomine, st riskide vähendamise ressursid peavad olema väiksemad kui tegevusetuse omaksvõtmise puhul. Vastavalt sellele põhimõttele teeme lõpuks hinnangu mõjudele, mida mõned riskide vähendamise meetmed võivad avaldada lõpptulemuste kvaliteedile, et jõuda põhjalikuma hinnanguni suurte andmete kasutamisest ametlikus statistikas.

1. Sissejuhatus

1.1. Taust

Suure andmemassi arengu on iseloomustanud Kenneth Neil Cukier ja Viktor Mayer-Schönberger oma artiklis "Suure andmete kasv" (2. www.foreignaffairs.com/articles/139104/kenneth-neil-cukier-and-viktor-mayer-schoenberger/therise-of-big-data) mõistet "andmete edastamine". Andmete enumine kirjeldatakse kui protsessi, kus kõik elu aspektid muudetakse andmeteks. Näiteks Facebook pakub isiklikke võrgustikke, andureid kõige erinevamate keskkonnatingimuste jaoks, nutitelefone isiklikuks suhtlemiseks ja liikumiseks ning kantavaid andmeid isiklike tingimuste jaoks. See toob kaasa peaaegu igasuguse andmete kogumise ja saadavuse.

Nagu paljudes teistes valdkondades, on ametlik statistika alles hiljuti hakanud arutama suurte andmete probleemi strateegilisel tasandil. Ühestki teed edasiviimisest ei ole veel laialdast ja üldiselt tunnustatud arusaama, olgu see siis väljakutse või võimalus, väikene või suur jne. Kõrge taseme grupi raames, mis tegeleb statistilise tootmise ja teenuste moderniseerimisega (3 How big is Big Data? Exploring the role of Big Data in Official Statistics: www1.unece.org/stat/platform/download/attachments/99484307/VirtualSprintBigDatapaper.docx?version=1&modificationDate=1395217470975&api=v2), viidi läbi esmane SWOT-analüüs, millele järgnes toore riskide/tulude analüüs. Toodi välja, et "täielik riskide analüüs hõlmaks ka selliseid aspekte nagu tõenäosus ja mõju ning see võib laieneda ka riskide vähendamise ja haldamise strateegiate määratlemiseks."

Kuigi see dokument on veel kaugel täielikust riskide analüüsist, on selle eesmärk parandada olukorda, luues esmakordse struktureeritud ülevaate. Soovime rõhutada, et seda ülevaadet tuleks käsitleda lähtepunktina üldiseks aruteluks Ametliku statistika kogukonna (OSC) raames.

1.2. Hing

See artikkel keskendub ainult riskidele, välistades mitte ainult eelised, vaid ka tugevused ja nõrkused, võimalused ja ohud. See tähendab, et „puudumise riskid“ (näiteks risk, et OSC jääb teiste osalejate seas konkurentsist kõrvale, kui seda ei moderniseerita), ei kuulu selle määratlemise alla; need on pigem ohud. Selle asemel püüame tuvastada riskid, mis võivad tekkida (a) juhul, kui OSC kasutab suurte andmete võimalusi ja hakkab arendama või parandama konkreetset "suure andmete põhjal ametlikku statistikatoodet" (BOSP); (b) riskid uue "tavaäri" jaoks, st riskid ametlikule statistikale, mis põhinevad „suurte andmete“ tootmisel. (Kuna kõik ametlikud statistikatootmise protsessid on seotud riskidega, piirdume (b) suurte andmete riskide määratlemisega, st riskide, mis ei eksisteeri või on väheolulised „traditsioonilises“ ametliku statistika kogumise protsessis.)

1.3. Struktuur

Jaotises 2 tutvustame peamisi põhimõtteid, mis on seotud selle ülesandega, alustades selgelt vajalikust alusest riskide haldamiseks ja riskide juhtimiseks (jaotis 2.1). Tutvustame ka kvaliteedi eelstruktuuri statistiliste andmete jaoks, mis põhinevad suurandmetel (jaotis 2.2), kuna kvaliteedi struktuuri sidumine riskidega teenib kahte eesmärki:

• See määratleb riski määratlemise konteksti. Teatud kvaliteedinäitajad koos arutatavate omadustega väljendavad objekti väärtusi, mida peetakse olulisteks ja otsustavateks teenuste osutamisel klientidele ja kasutajatele.
• See võimaldab määrata konkreetsed riskid kvaliteedi mõõdikutega, mis on seotud üldiste hüperruumidega ja seotud statistiliste toodete tootmisprotsessi kindlate etappidega.

Jaotistes 3, 4, 5 ja 6 tutvustame riske, mis on seni tuvastatud erinevates kontekstides (ESS-i suurandmete projekti äridokumendid (https://www.europeansocialsurvey.org/about/structure_and_governance.html) ning ESSnetide suurandmete projekt sisaldavad nimekirja riskidest, mis on osaliselt seotud projektiga ja osaliselt suurandmete allikate kasutamisega statistilistel eesmärkidel. Dokumendis „Suunised suurandmete kvaliteedi jaoks“ mainitakse mõningaid riske, mis on seotud kvaliteedimõõdikutega./ ESS-i suurandmete projekti äridokumendid ja ESS Big Data võrgustikud sisaldavad nimekirja riskidest, mis on osaliselt seotud projekti ja osaliselt suurandmete allikate kasutamisega statistilistel eesmärkidel. Dokumendis „Suunised suurandmete kvaliteedi jaoks“ mainitakse mõningaid riske, mis on seotud kvaliteedimõõdikutega.) Siin kasutame klassifikatsiooni, mis käsitleb andmete juurde pääsemist, õiguslikku keskkonda, andmete konfidentsiaalsust ja turvalisust ning oskusi; reorganiseerimine vastavalt suurandmetest saadud statistika kvaliteedistruktuurile (jaotis 2.2) peaks olema käsitletud kohe, kui see struktuur saavutab täielikuma staatuse. Iga tuvastatud riski puhul (i) esitame tõenäosuse ja mõju hindamise (vastavalt jaotisele 2.1.3) ja (ii) pakume välja riskide vähendamise ja juhtimise strateegiad (vt jaotis 2.1.4).

Lõpus arutame meie järeldusi ja kavandame mõningaid järgmisi samme jaotises 7.

2. Alused

2.1. Riskid ja riskide juhtimine

ISO 31000: 20095 kohaselt määratletakse risk kui "ebaselge mõju seatud eesmärkidele". See tähendab, et eesmärgid peavad olema kindlaks tehtud või teada enne, kui saab hakata riske määratlema. Need eesmärgid määratakse tavaliselt arvesse võttes vastava organisatsiooni institutsionaalset konteksti. Veel üks oluline kaalutlus on see, et riskidel on ebakindluse iseloom, st ei ole selge, kas kirjeldatud sündmus toimub. Seega mõõdetakse riske sündmuse tõenäosuse ja selle tagajärgede, st mõju, millel on see toimetuleku saavutamiseks, seisukohalt. Riskihindamine peab andma objektiivsemat teavet, mis lõpuks võimaldab leida sobiva tasakaalu kasumi teenimise võimaluste rakendamise ja ebasoodsate tagajärgede minimaliseerimise vahel. Riskihaldus on lahutamatu osa juhtimispraktikast ja oluline element korraliku äritava puhul (6 Statistics Canada: 2014-2015 raport plaanide ja prioriteetide kohta, www.statcan.gc.ca/aboutapercu/rpp/2014-2015/s01p06-eng.htm). See on iteratiivne protsess, mis ideaalis võimaldab pidevalt täiustada otsuste tegemise protsessi ja toetab pidevat tulemuslikkuse parandamist.

Riskid on seotud ka kvaliteediga. Kvaliteedisüsteemi rakendamine peaks võimaldama kasutada erinevate allikaid ja metoodikaid pakkuda teatud kvaliteeditasemega tulemus, mis rahuldab kasutajate vajadusi. Nagu riskid, võivad kvaliteeditasemed tuleneda institutsionaalsest keskkonnast ja teatud asutuste eesmärkidest. Selles kontekstis määratleb institutsionaalne keskkond üldise riskitaseme, mida organisatsioon on valmis võtma oma eesmärkide saavutamiseks.

Riskide hindamise ja haldamise protsess võib jagada erinevateks etappideks, mis hõlmavad konteksti määratlemist, riskide kindlaksmääramist, riskide analüüsimist tõenäosuse ja mõju seisukohalt, riskide hindamist ja lõpuks riskide töötlemist.

2.1.1. Institutsionaalne kontekst

Esimese sammuna tuleb määratleda strateegiline, organisatsiooniline kontekst ning riskihalduse kontekst, mille raames toimub ülejäänud protsess. See hõlmab kriteeriumide kehtestamist, mille alusel hinnatakse riske, ja analüüsi struktuuri määratlemist.

2.1.2. Riski tuvastamine

Teisel etapil tuleb määratleda sündmused, mis võivad mõjutada seatud eesmärkide saavutamist. Tuvastamine peaks hõlmama küsimusi, mis on seotud riskide tüüpide, sündmuste ajastuse, asukohaga või sellega, kuidas sündmused võivad ennetada, halvendada, edasi lükata või parandada eesmärkide saavutamist.

2.1.3. Riski hindamine

Järgmine samm seisneb olemasolevate kontrollimeetmete määratlemises ja riskide analüüsimises tõenäosuse ja potentsiaalsete tagajärgede seisukohalt. Käesolevas artiklis kasutatakse riskide tõenäosuse hindamiseks skaalat 1 (ebatõenäoline) kuni 5 (sagedane). Sündmuste tekkimise mõju mõõdetakse skaalal 1 (vähenenud) kuni 5 (ekstreemne). Nagu on näidatud tabelis 1, annab tõenäosuse ja mõju korrutamine „riski taseme“, mis jääb vahemikku 1 kuni 25.

Hinnatud riskitasemed saab võrrelda ettekindlate kriteeriumidega, et luua tasakaal potentsiaalsete kasude ja ebasoodsate tulemuste vahel. See võimaldab teha juhtimisprioriteetide osas järeldusi.

Tegevuste prioriteet peab olema suunatud kriitilistele riskidele (vt Tabel 2), st neile, mis võivad tekkida ja millel on tõsised või äärmuslikud tagajärjed organisatsiooni eesmärkidele.

2.1.4. Riskidele reageerimine

Viimane samm seisneb valikutes, kuidas reageerida riskidele. Mõned riskid, mis jäävad allapoole eelnevalt määratud riskitaset, võivad olla tähelepanuta jäetud või aktsepteeritud. Teiste riskide puhul võivad riskide maandamise kulud olla nii kõrged, et need ületavad potentsiaalsed kasud. Sel juhul võib organisatsioon otsustada loobuda vastavast tegevusest. Riskid võivad samuti olla edasi antud kolmandatele osapooltele, näiteks kindlustusele, mis kompenseerib tekkinud kulud. Viimane võimalus on arvestada riske strateegiate ja tegevuste määratlemisel, mis tasakaalustavad kulud potentsiaalsete kasudega. Seeläbi teeb organisatsioon otsuse rakendada strateegiaid, et maksimeerida kasude saamist ja minimeerida potentsiaalseid kulusid.

2.2. Kvaliteedisüsteemid

Eesmärgistatud grupp, kuhu kuuluvad riiklike ja rahvusvaheliste statistikaorganisatsioonide esindajad, töötas 2014. aastal välja esialgse kvaliteedi struktuuri suurandmete põhjal saadud statistika jaoks. Eesmärgistatud grupp tegutses UNECE/HLC projektiga „Suurandmete roll statistika tootmise moderniseerimisel“. See laiendas olemasolevaid kvaliteedisüsteeme, mis on välja töötatud haldusallikatest saadud statistika hindamiseks, kvaliteedi näitajatega, mis on tõendatud asjakohaseks suurandmete allikate jaoks.

Selle süsteemi raames eristatakse kolme äri protsessi etappi: sisend, tootmine ja väljund. Sisendi etapp vastab GSBP „disaini“ ja „kogumise“ etappidele, tootmine vastab „protsessi“ ja „analüüsi“ etappidele ning väljund on ekvivalentne „levitamise“ etapiga.

Struktuuris kasutatakse hierarhilist ülesehitust, mis on pärit Hollandi Statistikaameti hallatava haldusandmete struktuurist (7 Daas, P., S. Ossen, R. Vis-Visschers, ja J. Arends-Toth, (2009), Haldusandmete allikate kvaliteedi hindamise kontrollnimekiri. Statistics Netherlands, Haag\/Heerlen). Kvaliteedi mõõdikud on asetatud hierarhilisse struktuuri, mida nimetatakse hüperruumideks. Kolm kindlat hüperdimensioonide elementi on „allikas“, „metandmed“ ja „andmed“. Kvaliteedi mõõdikud on integreeritud nendesse hüperruumidesse ja omistatakse iga tootmisetapi jaoks. Sisestamisfaasi jaoks on ettepanekud kaasa tuua lisategurid „privaatsus ja konfidentsiaalsus”, „keerukus” (vastavalt andmestruktuurile), „metandmete täiuslikkus” ja „seostatavus” (võime siduda andmeid teiste andmetega), et täiendada standardkvaliteedi mudelit. Iga kvaliteedikriteeriumi jaoks esitatakse tegurid, mis on seotud nende kirjeldusega, samuti võimalikud näitajad.

Käesoleva artikli kontekstis võivad riskid olla neist teguritest välja jäetud. Näiteks institutsionaalse / äri keskkonna kvaliteedi mõõtmiseks arvestatavad tegurid hõlmavad andmete pakkuja usaldusväärsust. Sellega seotud risk võib olla see, et andmed ei ole andmete pakkujalt tulevikus kättesaadavad. Teine näide on hiljuti esitatud kvaliteedi aspekt, privaatsus ja turvalisus. Üks olulisi tegureid on „tunne“, mis tähendab potentsiaalset negatiivset tunnet, mis on seotud konkreetsete andmeallikate eeldatava kasutamisega erinevate huvigruppide poolt.

3. Andmete juurde pääsemisega seotud riskid

3.1. Andmete puudumine
3.1.1. Kirjeldus

See risk tuleneb BOSP-i arendamise projektist, mis ei saa vajalikesse suurte andmete allikatesse (BDS) juurde pääseda.

Praeguseks on OSC õppinud raske teekonna, et isegi stardiplokkidest lahkumine ja sellele juurdepääsu saamine on mõnikord ületamatud takistused. Mõnel juhul on teatud allikatele juurdepääsu saamine kerge — nagu näiteks kõnede andmevaktsineerimise (CDR) kirjed, mille jaoks on juurdepääs lihtne testimise / uurimise eesmärgil, kuid palju keerulisem (õiguslike või kaubanduslike põhjuste tõttu) sellele juurdepääsu saamine tootmisotstarbeks.

3.1.2. Tõenäosus

Tõenäosus sõltub suuresti BDS-i omadustest. Kui see puudutab suuri haldusandmeid, võib see olla ainult 1, eelkõige kui (nagu on juhtum liiklustaseme andmete puhul, mida on uurinud Daas et al. 8 Daas, P., M. Puts, B. Buelens ja P. van den Hurk. 2015. "Suurandmed ametlike statistika allikana". Ametliku statistika ajakiri 31 (2). (Käesolev; väljaandmine on planeeritud juuniks 2015.)) ei esine isikuandmete kaitse probleeme. Kui BDS juhib eraisik, eriti kui see on tundlik (näiteks andmekaitse seisukohalt) või väärtuslik (ärilisest vaatepunktist), on tõenäosus väga kõrge (5).

3.1.3. Mõju

Mõju sõltub BOSP-st ja BDS-i kasutusviisist. Kui BDS on keskel, võib mõju olla väga kõrge (4 = BOSP tootmine on täiesti võimatu), kuid see võib olla madalam, kui BOSP tootmine on endiselt võimalik (kuigi madalama kvaliteediga), tuginedes teistele ÜRB-dele, mis toob kaasa mõju vahemikus 2-3.

3.1.4. Ennetamine

Riskide vähendamiseks tuleks luua eelkontakt andmete pakkujaga ja sõlmida pikaajaline ligipääsusleping. Samuti tuleks läbi viia põhjalik õigusanalüüs, mis käsitleb konkreetset BDS ja BOSP kombinatsiooni. Samuti tuleks hinnata andmete ligipääsu võimalusi kehtiva või tulevase seadusandluse abil.

3.1.5. Leevendamine

Kui on alternatiivsed BDS-id, mida saab kasutada BOSP-i tootmiseks, võiks neid uurida. Kui pole võimalik BOSP-i toota ilma BDS-ita ja ligipääsu puudumise ületamine pole võimalik, tuleks jõupingutused lõpetada ja uut BOSP-i ei tooda.

3.2. Andmete ligipääsu kaotus
3.2.1. Kirjeldus

Selle riski olemus seisneb selles, et statistiline haldus kaotab BDS-i, mis on BOSP-i aluseks.

3.2.2. Tõenäosus

Kui BOSP on juba tootmises, on tavaliselt teatud stabiilsus ja mõnel juhul võib risk olla väga madal (1). Siiski, eriti erasektori puhul, kellega on sõlmitud ebapiisavalt kindlad lepingud, ei takista miski näiteks uue juhtkonna andmeid pakkumise poliitikate muutmist, mis võib viia mõõduka katkestusriskini (3). Veelgi enam, kui BDS on seotud ebastabiilse tegevusega, on alati oht, et teenusepakkuja lihtsalt pankrotistub ja risk võib olla isegi kõrgem (4).

3.2.3. Mõju

Kuna olemasolev BOSP võib tootmiseks olla võimatu, on sageli väga tugev mõju (5). Teistes juhtudel, kui BDS on toetav, võib mõju pigem olla kvaliteedi kadu, ulatudes vahemikku 2-3.

3.2.4. Ennetamine

Ennetusstrateegia on sarnane andmete puudumise ennetusstrateegiale, kuid rõhutades pidevat valvsust ka tootmisoludes.

Ei tohiks panna kõik mune ühte korvi (st omada mitmeid BDS-e, mis toetavad iga BSOP-i), see võib samuti olla strateegia, kuid see võib olla kas ebatõhus või liiga kulukas.

3.2.5. Leevendamine

Kui BDS tuleneb ebastabiilsest tegevusest, võib järk-järgult saada kätte uus BDS, mis kajastab sama sotsiaalset nähtust. Siiski oleks liiga hilja alustada 'turukontrolli', kui BSOP on juba katkenud; vajalik on pidev valvsus — ja see võib olla raske saavutada.

4. Õiguskeskkonnaga seotud risk

4.1. Asjakohaste õigusteadmiste mittejärgimine
4.1.1. Kirjeldus

See risk tuleneb projektist, mis on seotud BOSP arendamisega, kuid mis ei arvestanud asjakohaseid õigusakte, muutes BOSP vastavaks nõutud seadusandusele. See võib puudutada andmekaitse seadusandlust, regulatsioone, mis käsitlevad reageerimise koormust jne.

4.1.2. Tõenäosus

Kuna OSC-l puudub teadlikkus suurtest andmetest, ei saa välistada juhuslikku (3) mittejärgimist. Tõenäosus on tavaliselt seotud BDS-iga, kuna mida vähem 'sensitiivne' on allikas, seda väiksem on tõenäosus, et vastavust ei järgita.

4.1.3. Mõju

Mõju on tavaliselt kriitiline (4), kuna ebakorrektse tootmise korral on vajalik BOSP seiskamine (või kui see pole veel rakendamise etappi jõudnud, siis tuleks selle arendamine lõpetada). See võib olla isegi äärmuslik (5), kuna maine riskid, mis tulenevad ebaõigest („illegitiimsest“) ametlikust statistikat, võivad omada tõsiseid tagajärgi.

4.1.4. Ennetamine

Iga BOSP puhul on vajalik põhjalik õiguslik analüüs — ja see toimub mitmel etapil (see, mis on arenduse / luure etapis vastuvõetav, ei pruugi olla selline rakendamise / tootmise etapis). See võib omakorda viia BOSP ümberkujundamiseni, et muuta see ühilduvaks.

4.1.5. Leevendamine

Ebakõla tõsidusest sõltuvalt võib esimeseks sammuks olla BOSP viimine iseseisvasse režiimi.

BOSP ümberkujundamine selle ühilduvuse tagamiseks võib olla variant, kuid see, kas BOSP „päästetakse“ sel viisil, sõltub suuresti ebakõla laadist.

4.2. Ebasoodsad muutused õiguslikus keskkonnas
4.2.1. Kirjeldus

Uus seadusandlus, mis on seotud arendatava BOSP-iga, võib muuta BOSP tegelikult ühildumatuks.

4.2.2. Tõenäosus

Pole välistatud, et andmekaitse tugevdamise toetajad suudavad kehtestada uusi nõudeid, mis vahetult või kaudselt mõjutavad konkreetsete BOSP-ide loomise võimalust. Tõenäosus vahemikus 2-3 tundub realistlik hinnang.

4.2.3. Mõju

Mõju on tavaliselt kriitiline (4), kuna ebakorrektne tootmine nõuab BOSP-i seiskamist.

4.2.4. Ennetamine

Teatud äriliste andmete jälgimist tuleb korraldada regulaarselt seadusandlikku arengut jälgimiseks — võib-olla ka selle mõjutamiseks, argumentides ametlike statistika nimel vastavates (nt konsultatiivsetes) foorumites.

4.2.5. Leevendamine

Oletades, et on toimunud ennetav jälgimine, võib olla aega BOSP ümberkujundamiseks, et viia see uue seadusandlusega vastavusse juba selle jõustumise esimesest päevast.

Kui jälgimine ei olnud tehtud, nii et uus seadusandlus on saanud "üllatuseks" - või kui seadusandlus on nii radikaalne, et BOSP-i ei saa lahendada - on ainsaks võimaluseks BOSP välja lülitada.

5. Andmete privaatsuse ja turvalisuse riskid

5.1. Andmete turvarikkumised
5.1.1. Kirjeldus

See risk on seotud volitamata juurdepääsuga statistilistes andmehaldustes hoitavatele andmetele. Kolmandad isikud võivad saada andmeid, mis on embargo all, näiteks ajakava vabastamise tõttu (9 Iga BOSP-i puhul, mis põhineb täielikult ainulaadsel BDS-il, on vältimatu, et andmed on varjatult teada algsele andmeomanikule, ja kui metodoloogia on läbipaistev, on tuletatud statistika samuti teada. Seda olukorda ei käsitleta siin, vaid pigem riskis, mis on seotud omandi kuritarvitamisega omanike poolt.) (10 Lisaks võivad need andmed sisaldada privaatsuse rikkumise riski. Seda riski käsitletakse eraldi.). Need võivad olla näiteks andmed, mida investorid ootavad börsil.

5.1.2. Tõenäosus

IT-keskkonna kaitse tehnilised aspektid statistilises haru puhul on risk BDS-ide jaoks sama suur kui traditsiooniliste allikate puhul. Siiski on arvesse võtta kaks täiendavat aspekti.

Esiteks, mõnede BDS-idega on üldine risk veidi tõusnud, kuna andmete turvalisus algsel omaniku puhul võib olla ohustatud. See võib olla seotud näiteks tööstusspionaaži või häkkimisega.

Teiseks, kui potentsiaalselt väärtuslikud andmed hakkavad olema hoitud kontoris, suureneb pahatahtlike kavatsuste risk. Kui hoitavad andmed on äri jaoks väga väärtuslikud, tuleks olla valmis äärmiselt kõrgeks rünnakute tõenäosuseks, suunatud IT-infrastruktuurile, seega võivad häkkimise tõenäosused olla potentsiaalselt kõrgemad (4).

Kui hoitavaid andmeid ei peeta väärtuslikeks, tundub üldine tõenäosus mitte väga kõrge - (1) kuni (3) sõltuvalt andmeallikast.

5.1.3. Mõju

Potentsiaalne mainekahju võib olla suur (5). Oluline on, et BDS-i korral on olukord selline, et kui turvarikkumine toimub algse omaniku juures, on mainekahju mõju statistiliste asutuste jaoks oodatust väiksem kui siis, kui rikkumine toimub andmetega, mis on nende hoidmisel.

Teisest küljest võib statistilise halduse rikkumine omada negatiivseid tagajärgi algsele omanikule. Sellisel juhul on taas võimalik tugev negatiivne mõju, kuna usaldus vahelesegava teenusepakkuja ja statistilise halduse vahel on kahjustatud (5).

5.1.4. Ennetamine

BDS-i puhul on iseloomulik, et algse omaniku turvaprotseduurid võivad olla asjakohased. Statistiliste asutuste tõenäosus saada auditeerimisvolitusi, et seda kontrollida, on väike. Omanikud, kelle andmeid kasutatakse konfidentsiaalsete avaldamise ajakavadena, peaksid olema teadlikud põhimõttelisest turvarikkumise mõjust nende ruumides ametlikule statistikale ning nad peaksid saama ametliku garantiid, et rakendatakse nõuetekohaseid turvamenetlusi.

Otsetee, et vältida tõsiseid tagajärgi turvarikkumisest omaniku alal statistilisele haldusele, on tagada, et sama tootega seoses kasutatakse mitmeid allikaid, et üks kompromiteeritud allikas ei piisaks lõpliku numbri määramiseks. Selle lähenemise eeliseks on see, et suurem kontroll on statistiliste asutuste kätes.

Andmete algse omaniku turvalisuse rikkumise negatiivsete tagajärgede vältimise meetod seisneb selles, et leida tööviis, mis ei hõlma omaniku seisukohalt tundlike andmete edastamist statistilisse haldusesse. Toores vormis. Üks võimalik ennetav lähenemine on kasutada koondatud andmeid. Tuleb siiski meeles pidada, et teatud koondamise vormid, näiteks need, mis on ette nähtud üksikisikute tuvastamise vältimiseks, ei pruugi antud juhul sobida. Üks põhjus võib olla see, et omaniku riski seostatakse andmete kaubandusliku väärtusega, mis võib jääda oluliseks isegi pärast anonüümsuse saavutamist.

5.1.5. Leevendamine

Andmevigade korral, mis kuuluvad statistilisse haldusesse, on leevendamismeetmed samasugused nagu traditsiooniliste allikate puhul, kui algsele omanikule ei ole negatiivset mõju tekkinud.

Kui algsele omanikule on tekkinud negatiivsed tagajärjed, peab statistiline haldus oma turvamenetlusi üle vaatama ja tugevdamiseks selgelt väljendama ja tõestama oma pühendumust.

Kui rikkumine toimus algse omaniku ruumides, peab vastav statistikaamet selgelt teavitama olukorrast ja nõudma omaniku turvamenetluste parandamist. Vajadusel võib otsida alternatiivset teenusepakkujat.

5.2. Andmekaitse rikkumised

5.2.1. Kirjeldus

See on risk, et ühe või mitme isiku konfidentsiaalsus statistilises kogumis võib olla ohustatud. See võib olla seotud IKT-infrastruktuuri ründamisega, mis tuleneb survetest teiste riigiasutuste poolt või ebapiisavatest kontrollimeetmetest statistiliste andmete avalikustamise osas.

5.2.2. Tõenäosus

Nagu andmete turvalisuse rikkumise riski korral, ei muutu tehnilised tingimused mikrodokumentide säilitamiseks BDS-i lisamisel kuigi palju. Siiski on siin ka ettevaatusabinõud.

Mikrodokumendid teatud andmeallikatest võivad olla kõrge äritegevuse väärtusega, seetõttu suurendab nende säilitamine rünnakute tõenäosust.

Lisaks võivad mõned mikrodatalähte olla teistele riigiasutustele, näiteks õiguskaitseorganitele, maksuhalduritele või tervishoiule, potentsiaalselt väga kasulikud. Teatud tingimustes võib statistilise konfidentsiaalsuse põhimõtte järgimisele avaldada suurt survet.

Mis puudutab statistilise teabe avalikustamise kontrolli rikkumisi, siis praeguseks on juba välja kujunenud praktika. BDS võib võimaldada statistika koostamist väikeste elanike alarühmade jaoks või pakkuda võimalust siduda erinevate BDS-de kogutud andmeid, mis võib suurendada riski tekkimise tõenäosust. Lisaks võivad uued allikad siiski vajada uusi metodoloogilisi arenguid, seega on tegelik oht, et teabe avalikustamise kontrollimismeetod ei uuene õigel ajal.

Üldiselt, mõistlike ennetavate meetmete korral on tõenäosus võimalik säilitada mõistlikel tasemetel, kuid kuna on palju erinevaid ja mitmekesiseid tegureid, tundub, et siinkohal on sobiv hinnang, et tõenäosus on kõrge (4).

5.2.3. Mõju

Potentsiaalne mainekahju võib olla suur (5). Nii nagu andmekaitse rikkumise ohu puhul, võivad statistilise haldamise rikkumised omada negatiivseid tagajärgi algsele omanikule. Siin võib sellise sündmuse mõju olla potentsiaalselt veelgi suurem, eriti kui arvestada, et praegused üldised tendentsid avalikus arvamuses püsivad. Andmete pakkuja ja statistilise teenistuse vaheliste suhete kahjustamine on samuti oodata olevat väga ulatuslik.

5.2.4. Ennetamine

Vea vale, et vältida selliste riskide tekkimist, on parim viis mitte omada BDS-st mikrodatasid (kuigi teiste mikrodatasetega seotud riskid püsivad, kuid erineva tõenäosuse ja mõjuga). See tee, nagu ka andmete turvarikkumise risk, nõuab uute andmete statistiliste kasutusmeetodite väljatöötamist. Lisaks tähendavad erinevad allikad, et on vajalik välja töötada uued metodoloogiad, millel on konkureerivad eesmärgid maksimaalse kasuliku teabe saamiseks ja privaatsuse kaitsmiseks.

Mikrodatasid säilitades peavad IT-turvamehhanismid ja juurdepääsukontroll olema nõutaval tasemel ja pidevalt kontrollitavad. Erilist tähelepanu tuleb pöörata uute andmete hankimise meetodite turvalisusele. Paraku võib see uus meetod olla ka füüsiline andmesalvestusseadmete transport (nt kõvakettad). Kui seda meetodit kasutatakse, siis peab transport olema füüsiliselt kaitstud ja kasutama krüpteerimist.

5.2.5. Leevendamine

Leevendamismeetmed on siin põhimõtteliselt samad, mis andmete turvarikkumise korral. Kui rikkumise põhjuseks on surve teiselt riigiasutuselt, tuleb kasutada võimalust juhtimise sõltumatuse tugevdamiseks, et sellised rikkumised tulevikus veelgi keerulisemaks muutuda.

5.3. Andmeallika manipuleerimine
5.3.1. Kirjeldus

Kolmandate osapoolte andmete tarnijad, nagu sotsiaalmeedia andmed või vabatahtlikult antud andmed, on manipuleerimise ohus. Seda võib teha kas andmete tarnija ise või kolmandad isikud. Näiteks võivad paljusid valeuudiseid sotsiaalmeedias genereerida, et mõjutada statistilist indeksit, mis põhineb nende andmete põhjal, kui on teada, et indeks arvutatakse nende andmete alusel.

Vabatahtlikult antud andmete puhul võib juhtuda, et vabatahtlikud esindavad teatud huvirühma, kellel on kindel päevakord.

5.3.2. Tõenäosus

Andmete manipuleerimine, mis võib tuua suurt kasu, on tõenäolisem. Need võivad olla andmed, millele statistika on huvitav, näiteks aktsiaturg. Arvestades viimaseid skandaale, mis on seotud LIBORi ja Forexiga, võib eeldada, et seni, kuni on stiimul, on andmete manipuleerimise katsed tõenäolised.

Kvolitatiivsete andmete põhjaliku statistika tegemiseks piisab vaid neist interneti PR-praktikatest, kus palgatakse inimesi, et nad teeseldavad toimetulekut kindlate arvamustega (näiteks internetifoorumites), et järeldada, et tõenäosus on märkimisväärne. Üldiselt tundub 3 kuni 4 number olevat piisav.

5.3.3. Mõju

Suur probleem manipuleerimisega on see, et need võivad püsida pikka aega ilma avastamiseta. Kui manipuleerimine kestab kaua, võib mõju kvaliteedile muutuda oluliseks. Lisaks võib avalik usaldus ametlikku statistikat vastu võtta, eriti kui rõhutatakse statistikaametite rolli kvaliteetsete andmete tarnijatena. teisest küljest, kui manipuleerimine avastatakse õigel ajal ja seejärel avaldatakse, võib see tegelikult parandada avalikku arvamust. Välja arvatud äärmiselt halvad juhtumid, on maksimaalse mõju ettekujutamine (3) võimalik.

5.3.4. Ennetamine

Regulaarsete kontrollharjutuste läbiviimine alternatiivsete allikatega on üks võimalik ennetav lähenemisviis. Need alternatiivsed allikad võivad olla traditsioonilised või muud. Statistika kasutamine, mis põhineb allikate kombinatsioonil, võib takistada olulisi manipuleerimise mõjusid. Juhul, kui kahtlustatakse teenusepakkuja poolt algatatud manipuleerimist, võivad juriidilised lepingud olla samuti üks võimalus selle praktika ennetamiseks.

5.3.5. Leevendamine

Avalike suhete kahjustamine leevendamiseks vajalikud meetmed ei erine palju muudest kriiside lahendamise meetmetest.

Andmekvaliteedi seisukohalt oleks kasulik, kui minevikuandmeid saaks korrigeerida nii, et isegi pika viivituse korral oleks õige seeria võimalik.
To achieve this, regular benchmarking can be useful. Note that the goal of comparative analysis in this case differs slightly from that of prevention. For prevention, it is important to quickly notice and investigate any suspicious discrepancies between the benchmark test data and the BDS. Historical useful data is always beneficial for mitigating consequences.

Additionally, care should be taken to prevent such manipulations in the future—especially in sensitive cases, this may mean obtaining potentially redundant data from several providers for comparative analysis.

5.4. Negative Public Perception of Using Big Data for Official Statistics
5.4.1. Description

The media and the general public are very sensitive to issues of privacy and the use of personal data from large data sources, especially in the context of secondary data use by government bodies taking administrative or legal action against citizens. Perceived negative uses may include speed control based on the analysis of navigation data (11 See www.theguardian.com/technology/2011/apr/28/tomtom-satnav-data-police-speed-traps).
The specific case of TomTom Netherlands led to a significant decline in demand for TomTom devices and prompted the company to restrict access to the data. In this particular case, the data related to individuals, but focused on speed levels on road segments.

However, there may be applications of big data that are positively perceived by the public. One example could be applications that prevent crimes like burglary based on big data methods.

Both positive and negative public opinion can strongly influence the use of BDS in the context of producing official statistics.

The consequence of negative public perception may be that:

• BDS will no longer be available for statistical offices, either due to provider decisions or government decisions not to use the data, or
• data usage will be limited, which may hinder production if certain BOSP.

5.4.2. Tõenäosus

K Tegurid, mis võivad mõjutada sellise sündmuse tõenäosust või tema mõju statistika tootmisele:

• andmete konfidentsiaalsus, st kui kergesti saab inimesi tuvastada;
• teave, mida andmed paljastavad füüsiliste isikute kohta, näiteks suureneb, kui andmeid seotakse erinevatest allikatest;
• andmete tüüp, näiteks finantstehingud peetakse salajasemaks kui teised andmed;
• potentsiaalne tegevuse tüüp, mida saab kodanike suhtes teostada, näiteks inimeste trahvimine kiiruskaamera eest;
• ebaselge õiguslik keskkond, kus tegutsevad andmete pakkujad ja kasutajad või kui õiguslikud tingimused on konfliktis ühiskondlike eetiliste arvamuste / standarditega;
• sõltuvuse tase teatud andmeallikast statistika kogumiseks; uurimisetapis võib see tegur olla tähtsusetu. Siiski võib see hiljem oluliselt mõjutada statistika kogumist ja seega tuleb see arvesse võtta ka uurimisetapis. Üks probleem on, et andmete lõplik kasutusmaht ei ole alguses teada, kuna andmeallikad võivad potentsiaalselt teenindada rohkem kui ühte statistika valdkonda.

Ebameeldivate nähtuste ajakava hindamine on võimatu, kuna avalikkuse mobiliseerimine toimub sageli sündmuste kajastamise kaudu, mis avaldavad kodanikele negatiivset mõju. Siiski, koos suurte andmete suurema kasutamisega valitsuste ja erasektori poolt, eriti andmete aktiivse turundamisega teistel eesmärkidel kui see, mis viis nende algse kogumiseni, on tõenäolisem, et sellised sündmused toimuvad.

Sündmused, mis avaldavad tugevat mõju avalikule arvamusele, ei ole sagedased, vaid pigem juhuslikud (3) ja kauged (2). Suuremate andmeallikate kasutamise suurenemisega tõenäosus samuti kasvab.

5.4.3. Mõju

Sündmuse mõju sõltub tugevalt eelpool mainitud teguritest. Üldiselt on mõju tõsisem juba loodud statistiliste andmete tootmise puhul, kuna võib juhtuda, et tegevus tuleb lõpetada. Mõju sõltub ka alternatiivsete andmeallikate kättesaadavusest, kuigi võib juhtuda, et avalik arvamus ei erista erinevaid andmeallikaid sündmuse ilmsikstuleku korral. Suurte andmete kasutamise hetkel tundub, et need allikad ei suuda täielikult asendada traditsioonilisi andmeallikaid, vaid pigem täiendavad olemasolevat statistikat. See vähendab sündmuste mõju. Seetõttu käsitletakse sündmuse mõju vahemikus 2 (tühine) kuni 3 (peamine). Tootmisetapis võib mõju suureneda kuni 4 (kriitiline tase).

5.4.4. Ennetamine

Ennetavate meetmetena võib määratleda eetiliste põhimõtete kehtestamise suurte andmete osas ametlikus statistikas. Eetilised suunised peaksid põhinema sellistel põhimõtetel nagu Euroopa statistika tegevuskood või ametliku statistika põhialused (12 unstats.un.org/unsd/dnss/gp/fundprinciples.aspx). Järgmine meede oleks kommunikatsioonistrateegia määratlemine, mis avaldaks eetiliste suuniste tulemused avalikkusele ning mida võiks kasutada huvirühmade teavitamiseks BDS eetilisest kasutamisest BOSP jaoks.

Konkreetse BDS jaoks võib teha eraldi riskihinnangu, et tuvastada riskid ja pakkuda ennetavaid või leevendavaid meetmeid eetiliste põhimõtete kohaselt. Eraldi riskihinnang võib hõlmata ka huvirühmi, nagu andmekaitseagentuurid, et tagada kõikide riskide tuvastamine ja tegevuste põhjendatus.

5.4.5. Leevendamine

Kommunikatsiooni strateegia peaks samuti sisaldama meetmeid, kui avalikkuse negatiivne suhtumine kasvab. Eraldi riskihindamine peaks koguma positiivseid näiteid andmete kasutamisest ja meetmeid andmete väärkasutamise ennetamiseks, mis võivad poliitilisel tasandil olla rangelt nõutud, ja statistika kogukond ei pruugi olla tõhusalt võimeline neid mõjutama.

5.5. Usalduse kaotus — mittevaatluse teel saadud
5.5.1. Kirjeldus

Ametlike statistika kasutajad usuvad tavaliselt statistiliste andmete täpsusesse ja usaldusväärsusse. See põhineb asjaolul, et statistiliste andmete koostamine on sisse ehitatud usaldusväärsesse ja avalikult kergesti kätte saada olevasse metodoloogilisse raamistiku, samuti statistika kvaliteedi dokumentatsiooni. Lisaks põhinevad enamus statistilisi andmeid vaatlustel, st need on saadud uuringutest või loendusest, mis luuakse kergesti mõistetav seos vaatlemise ja statistiliste andmete vahel. BDS-i kasutamine, mida ei kogutud statistika põhieesmärgil, toob endaga kaasa riski, et need seosed kaovad ja kasutajad kaotavad usalduse ametlike statistiliste andmete vastu. Näide, mis on seotud viimase rahvaloendusega (2010. aasta), seisneb selles, et mõnes riigis saadi statistilisi andmeid, kasutades mitmeid allikaid ja statistilisi mudeleid. Mitmel juhul vaidlustasid huvirühmad statistilisi andmeid.

5.5.2. Tõenäosus

Riski tekkimise tõenäosus sõltub sellistest teguritest nagu statistilise / metodoloogilise mudeli keerukus, BDS ja BOSP vaheliste seoste usaldusväärsus või vastavus teistele statistilistele andmetele. Tõenäosus peaks olema vahemikus 3 (juhuslikud) kuni 4 (tõenäolised), mis tähendab, et see võib juhtuda mitu korda või sageli.

5.5.3. Mõju

Ohu riski tekkimise mõju sõltub suuresti sellest, kas NSOd suudavad tõestada statistika täpsust ja usaldusväärsust. Kui seda ei suudeta saavutada, võib usaldamatuse mõju ulatuda ka teistesse statistika valdkondadesse, seades kahtluse alla mitte ainult mõnede statistiliste andmete usaldusväärsuse, vaid kogu organisatsiooni usaldusväärsuse. NSOd kaotaksid oma konkurentsieelise teiste selle valdkonna eraettevõtete ees.

5.5.4. Ennetamine

Ennetavad tegevused hõlmavad teaduslikult põhjendatud metoodika väljatöötamist ja avaldamist, mida teadusühingud tunnustavad, et rikastada andmeid kvaliteedi metainfoga, tagada BOSP ja mitte BOSP kooskõla, rakendada ranget kvaliteedikontrolli.

Enne statistilise tootmise alustamist võiks BOSP avaldada eksperimentaalsetena ja sidusrühmadel oleks soovitatav vaidlustada BOSP, et kinnitada või täiustada BOSP-d.

5.5.5. Leevendamine

On kaks juhtumit, mida eristada. Kui statistilisi andmeid vaidlustatakse, kuid need on kõrge / piisava kvaliteediga (õige / täpne), oleks piisav, et selgitada ja edastada statistikatoimet avalikkusele, tuues välja arusaadavad näited.

6. Oskustega seotud riskid

6.1. Spetsialistide puudumine
6.1.1. Kirjeldus

Inimeste tegevuse käigus jätatud digitaalsete jälgede analüüs nõuab teatud andmeanalüüsi tööriistu, mis ei ole praegu ametlikus statistikas kõige levinumad. Esiteks eeldab inimeste tegevusega seotud kaudsete andmete kasutamine otseküsitluste asemel statistiliste mudelite kasutamist ja seega järelduste tegemise ning masinõppe oskusi. Teiseks koosnevad need digitaalsed salvestised andmetest, mis sageli ei oma tavalist tabeliformi, mis on tavapärane uuringute tulemustele, kus read vastavad statistilisele üksusele ja veerud nende statistiliste üksuste spetsiifilistele omadustele. Digitaalsed jäljed on esindatud ka tekstina, helina, pildina ja videona. Nende tüüpi andmetest asjakohase statistilise teabe eraldamine nõuab looduskeele töötlemise, heli töötlemise ja pilditöötluse oskusi. Kolmandaks kalduvad need andmeallikad pakkuma massilisi andmekogumeid, mille töötlemine nõuab head arusaamist hajutatud arvutuste metodoloogiatest.

Ekspertide puuduse risk seisneb selles, et andmeid saadakse ühest neist uutest suurtest andmeallikatest, kuna statistilisel haldamisel puuduvad võimalused neid korralikult töödelda ja analüüsida, kuna selle personalil ei ole vajalikke oskusi.

6.1.2. Tõenäosus

Selle riski tõenäosus sõltub kolmest tegurist: 1) spetsiifiliste oskuste tüüp, mida iga suurte andmete allika jaoks vaja on, ja tõenäosus, et statistiline juhtimine leiab võimaluse selliseallika uurimiseks; 2) vajalike oskuste praegune olemasolu statistilises juhtimises; ja 3) statistilise juhtimise organisatsioonikultuur.

Mis oskab oskusest on vajalikud, tuleb märkida, et mitte kõik allikad ei nõua kõiki ülaltoodud oskusi. Mõned (nt Google Trends'i andmed) ei vaja hajutatud arvutusi, kuna need on juba andmehoidja poolt eelnevalt töödeldud või omavad signaalitöötluse oskusi, ja neile on peamiselt vajalikud statistilise modelleerimise oskused. Siiski on suur hulk suurte andmete allikaid, mille jaoks on enamasti vaja hajutatud arvutuste, signaalitöötluse ja masinõppe oskusi. Samuti nõuab nende digitaalsete jälgede nõuetekohane uurimine mitme allika töötlemist. Nii et on suur tõenäosus, et suured andmeallikad, mis muutuvad statistilise juhtimise jaoks kergesti kätte saadavaks, vajavad neid ebatavalisi oskusi, ja selle riski tõenäosus on väga kõrge (5).

Mis puudutab praeguste vajalike oskuste olemasolu, siis see sõltub konkreetsest statistilisest juhtimisest. Isegi kui küsitluse metoodika on vähem levinud kui küsitumise metoodika, kasutatakse seda siiski ametlikus statistikas erivaldkondades. Seetõttu, isegi kui see võib nõuda mingit inimressursside ümberjaotamist, võivad statistilised juhid leida lahenduse oma jõududega. Hajutatud arvutuste oskused, mis on peamiselt seotud IT-ga, sõltuvad sellest, kuidas IT infrastruktuuri haldamine organisatsioonis toimub. Sõltuvalt sellest, kui palju on IT-osakond reformitud, võivad lahendused leida olemasolevate kokkulepete raames. Siiski on signaalitöötluse ja masinõppe oskused enamasti puuduvad enamikus ametlikes statistilistes juhtides ning nende oskuste rakendamine ei saa olla subsideeritud, kuna need peavad olema ekspertide poolt statistika valdkonnas rakendatud. Seega, selle aspekti kaudu tundub selle riski tõenäosus samuti väga kõrge (5).

Organisatsiooni kultuur mõjutab ka selle riski tõenäosust. Personal, kes on valmis omandama vajalikke oskusi enesetäiendamise kaudu, võib anda organisatsioonile võimaluse reageerida olukordadele, kus mõni uus andmeallikas nõuab erinevaid oskusi kui tavaliselt. See sõltub statistilise juhtimise organisatsioonikultuurist, nimelt sellest, kas see julgustab töötajaid uute oskuste omandamisel ja kas see võimaldab töötajatel aega enesetäiendamiseks.

Seega on tõenäosus, et statistiline juhtimine ei suuda uusi andmeallikaid töödelda ja analüüsida töötajate oskuste puudumise tõttu, vahemikus tõenäoline (4) kuni sage (5), sõltudes organisatsiooni enesetäiendamise kultuurist.

6.1.3. Mõju

Statistiline juhtimine, mis ei suuda töötada ja analüüsida suuri andmeallikaid töötajate oskuste puudumise tõttu, võib silmitsi seista kahe võimaliku negatiivse tagajärjega: 1) andmeallikat ei uurita, vähemalt mitte täielikult; 2) andmeallikat kasutatakse valesti.

Võimetus täielikult uurida väärtusliku suure andmeallika potentsiaali avaldab lühiajaliselt vähe mõju (2), kuna statistilised juhtimised kasutavad tõepoolest statistilisi tööriistu praeguste vajaduste rahuldamiseks. Siiski, pikaajalises perspektiivis (ja võib-olla isegi keskpikas perspektiivis) võivad selle võimaluse kaotamise tagajärjed olla kriitilise tähtsusega (4), kuna statistilised juhtimised seisavad üha enam silmitsi erasektorite konkurentsiga, kellel ei ole sama institutsionaalset struktuuri, mis garanteeriks ühiskonnale statistiliste andmete sõltumatuse.

Vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale, vale)

6.1.4. Ennetamine

Statistikateenistused saavad aktiivselt seda riski ennetada kahe meetodi abil: 1) koolitus; ja 2) värbamine.

Statistikateenistused saavad anda personali vajalikud oskused, määrates täpselt kindlaks oskused, mis on vajalikud suurte andmeallikate kasutamiseks statistilises tootmises, koostades olemasolevate oskuste loetelu, määrates välja koolitusvajadused ja korraldades seejärel õppetegevused.

Statistikateenistused saavad samuti värvata uusi töötajaid, kellel on vajalikud oskused. Tundub, et see on tõsiste piirangutega, kuna statistikateenistused ei suuda tagada kriitilist töötajate arvu, et olukordades, kus suurte andmeallikate kasutamine on laialdaselt levinud, ning uutelt töötajatelt on siiski vaja aastaid, et saavutada olemasolevate töötajate taset. Siiski võivad vähemalt mõned uued töötajad, keda värvatakse tavapärase personalivahetuse raames, omada oskusi, mis on seotud suurte andmete haldamisega.

6.1.5. Leevendamine

Seistes silmitsi olukorraga, kus uusi suurte andmete allikaid on saadaval, kuid vajalikud oskused puuduvad, saavad statistikateenistused negatiivsete tagajärgede leevendamiseks kasutada kahte meetodit: 1) alltöövõtt; ja 2) koostöö.

Statistikaasutused võivad sõlmida lepinguid andmete töötlemiseks ja uute suurandmete allikate analüüsimiseks teiste organisatsioonidega, mis pakuvad selliseid teenuseid. Tundub, et see on elujõuline lahendus, kuna ilmub uus ettevõtete sektor, mis spetsialiseerub sellise tüüpi andmete töötlemisele. Kuid see lahendus on omakorda seotud teatud riskidega, kuna statistikaasutusel on vähem kontrolli potentsiaalselt tundlike statistiliste toodete tootmise üle. See lahendus on samuti puudulik, kuna see ei võimalda statistikaasutuste töötajatel õppida ja omandada vajalikke oskusi.

Koostöö teiste organisatsioonidega, kus on töötajaid vajalikud oskused ja kes on samuti huvitatud suurandmete allika õppimisest, tundub olevat paljutõotavam lahendus. See koostöö võib toimuda ühisprojektidena statistikaasutuste töötajate ja teiste organisatsioonide töötajate vahel võrdselt, kes jagavad oma teadmisi. See võimaldaks mitte ainult vähendada oskuste puudujäägi riski, vaid ka võimaldada statistikaasutuste töötajatel neid oskusi omandada.

6.2. Ekspertide lekkimine teistesse organisatsioonidesse
6.2.1. Kirjeldus

See risk seisneb selles, et statistikaasutused kaotavad oma personali teistele organisatsioonidele pärast seda, kui nad on omandanud suurandmetega seotud oskused.

6.2.2. Tõenäosus

Selle riski tõenäosus sõltub kahest tegurist: 1) olemasolevatest atraktiivsetest võimalustest organisatsioonides, mis ei kuulu ametlikku statistikasüsteemi; 2) töökeskkonnast statistikaasutustes.

Mis võimalustesse organisatsioonides, mis ei kajastu ametlikes statistikas, on selle riski tõenäosus ilmselt olemas (4). Era sektoris ja teistes riigiasutustes on suur nõudlus inimestele, kellel on oskused töötada suurte andmetega. Pärast suurte andmete oskuste omandamist saavad ametlikud statistikad konkurentsieelise, olles kogenud statistikaspetsialistid. Peale suurte andmete spetsiifiliste oskuste vajavad teised organisatsioonid andmeanalüütikuid, kellel on traditsioonilisemad oskused, nagu kasutajate vajaduste hindamine ja võtme tulemusnäitajate (KPI) väljatöötamine, mis on ametlike statistikute seas levinud. Samuti eeldatakse, et töötajad, kes on avatumad uute oskuste omandamisele, on need, kes on ka karjäärimuudatustele avatumad ning lahkuvad statistikahalduse juurest.

Mis puutub töötingimustesse statistikahalduse organisatsioonides, siis sõltub see peamiselt konkreetsest büroost. Sellegipoolest pakuvad statistikahalduse organisatsioonid üldiselt endiselt atraktiivseid ametivõimalusi numbriliselt orienteeritud inimestele. Statistikahalduse organisatsioonid pakuvad kõige laiemat töövalikute valikut ja kõige suuremat andmestiku valikut. See vähendab mingil määral tõenäosust, et statistikahalduse organisatsioonid kaotavad oma töötajaid ettenägematute asjaolude tõttu (3).

6.2.3. Mõju

Selle riski mõju on sama, mis vastava oskuste puudumise risk peab esmajoones olema. Seega on mõju kriitiline (4), nagu eespool mainitud.

6.2.4. Ennetamine

Ilmselt on statistikaasutustele ainus võimalus selle riski vältimiseks pakkuda töötajatele atraktiivseid töötingimusi. See kehti üldiselt kogu personali kohta. Siiski, konkreetse juhtumi korral, kui töötajad on avatud uute oskuste omandamisele, sealhulgas suurte andmete analüüsi oskustele, saab töötingimusi parandada, pakkudes neile koolitusvõimalusi, kus nad saavad arendada oma ametialaseid huve. Statistikaasutused võivad samuti pöörata erilist tähelepanu uute innovatiivsete projektide ja ideede vastuvõtmisele, mis on seotud uute suurte andmete allikatega, mida edastavad statistikud, kes töötavad erinevates statistika valdkondades. Lõpuks sõltub teistele organisatsioonidele töötajate kaotuse vältimine nende oskuste osas suurte andmete analüüsis headest töötajate tuvastamisvõimetest, kes on valmis töötama nende andmete kallal, ning headest võimalustest nende ametialaseks arenguks.

6.2.5. Leevendamine

Selle riski vähendamine toimub seoses riskiga, et personalil puuduvad asjakohased oskused: 1) alltöövõtt; ja 2) koostöö.

7. Arutelu

Sellest esimesest ülevaatest on selge, et ei ole võimalik määrata ühtset tõenäosust või mõju antud „suurte andmete riski“ puhul — üldiselt sõltuvad need parameetrid suurel määral suurte andmete allikast ning „suurtel andmetel põhinevast ametlikust statistika“.
toode “.

Seega jõuame järeldusele, et loogiline järgmine samm selles suunas oleks teatud võimalike pilootprojektide (igaühes neist on kooslus üks või mitu BDS-i ja üks või mitu BDOS-i) vastuvõtmine lähtepunktina ja - iga sellise piloodi puhul - püüda hinnata iga riski tõenäosust ja mõju.

Selle eesmärgiga oleme käivitamas sidusrühmade küsitlust, püüdes hinnata OSC tõenäosuse, mõju (ja võimalike ennetamis- / leevendusmeetmete) hindamist mitmete võimalike pilootprojektide suhtes - ja küsida OSC ettepanekuid nende riskide kohta, mida me pole selles dokumendis arvesse võtnud.

8. VIITEDUNECE (2014), „Erecommendatsioonid suurandmete kvaliteedi raamistikuks“, UNECE Suurandmete Kvaliteedi Töörühma tulemused, www1.unece.org/stat/platform/download/attachments/108102944/BigDat
a%20Quality%20Framework%20-%20final-%20Jan08-2015.pdf?version=1&modificationDate=1420725063663&api=v2

UNECE (2014), „Kui suur on suurandmed? Suurandmete roll ametlike statistikas“, www1.unece.org/stat/platform/download/attachments/99484307/VirtualSprintBigDatapaper.docx?version=1&modificationDate=1395217470975&api=v2

Daas, P., S. Ossen, R. Vis-Visschers ja J. Arends-Toth, (2009), Aadresside hulka kuuluvate administratiivsete andmeallikate kvaliteedi hindamise kontrollnimekiri, Statistika Holland, Haag/Heerlen

Dorfman, Mark S. (2007), Riskihaldamise sissejuhatus (e-raak), Cambridge, Ühendkuningriik, Woodhead-Faulkner, lk. 18, ISBN 0-85941-332-22)

Eurostat (2014), „Akkrediteerimise protseduur ametlikest allikatest mitteametlike andmete jaoks“ Interneti kasutamise meetodite analüüs infoühiskonna ja muude statistikate kogumiseks, www.cros-portal.eu/content/analysismethodologies-using-internet-collection-information-society-and-other-statistics-1

Reimsbach-Kounatze, C. (2015), „Suurandmete levik ja tagajärjed ametlikule statistikale ja statistikaagentuuridele: Esialgne analüüs“, OECD Digitaalmajanduse Paberid, Nr. 245, OECD Publishing. dx.doi.org/10.1787/5js7t9wqzvg8-en

Reis, F., Ferreira, P., Perduca, V. (2014) „Veebitegevuse tõendusmaterjali kasutamine ametlike statistika näitajate ajakohastamise suurendamiseks“, ettekannet IAOS 2014 konverentsil, iaos2014.gso.gov.vn/document/reis1.p1.v1.docx

Kuigi käesolevas dokumendis ei mainita selgesõnaliselt riske, käsitleb see tegelikult paljusid riske, mis on seotud veebitegevuse andmete kasutamisega ametlikus statistikate. Eurostat (2007), Andmekvaliteedi hindamise meetodite ja tööriistade käsiraamat, ec.europa.eu/eurostat/documents/64157/4373903/05-Handbook-ondata-quality-assessment-methods-and-tools.pdf/c8bbb146-4d59-4a69-b7c4-218c43952214

Allikas: habr.com