Rəsmi statistika əldə etmək üçün BigData-dan istifadə edərkən risklərin və qərarların strukturlaşdırılması

Tərcüməçinin ön sözü

Material məni, ilk növbədə, aşağıdakı cədvələ görə maraqlandırdı:

Rəsmi statistika əldə etmək üçün BigData-dan istifadə edərkən risklərin və qərarların strukturlaşdırılması

Statistikanın (və rus dilində, genetik səviyyədə), yumşaq desək, xətti əlaqədən fərqlənən hər şeyi bəyənmədiyini nəzərə alaraq, bu uşaqlar aktivləşdirmə funksiyasının istifadəsini parabolik formada həyata keçirməyi bacardılar. rəsmi statistikada BigData-dan istifadə riskinin dərəcəsini müəyyən etmək. Əla. Təbii ki, statistiklər bu işə öz qeydlərini əlavə etdilər - “1 Hər hansı bir səhv və ya çatışmazlıq yalnız müəlliflərin məsuliyyətindədir. Bu sənəddə ifadə olunan fikirlər şəxsi xarakter daşıyır və mütləq Avropa Komissiyasının rəsmi mövqeyini əks etdirmir”. Amma əsər çap olunub. Düşünürəm ki, bu gün üçün kifayətdir və onlar (müəlliflər) bu aspektlərdə heç kimə öz tərəzisini tapmağı qadağan etməyiblər.

İşdə statistik metodların BigData üçün tədqiqat metodlarından harada və necə fərqləndiyini ayırmaq olduqca strukturlaşdırılmışdır. Fikrimcə, bu işdən ən böyük fayda müştəri ilə söhbət edərkən və onun aşağıdakı kimi ifadələrini təkzib edərkən olacaq:

- Biz isə statistikanı özümüz yığırıq, burada daha nə öyrənmək istəyirsən?
- Siz isə öz nəticələrinizi bizə təqdim edirsiniz ki, biz onları statistikamızla uyğunlaşdıraq. Bu nömrədə müəlliflər deyirlər ki, bu əsəri oxumaq yaxşı olardı (3 Big Data nə qədər böyükdür? Rəsmi Statistikada Big Datanın rolunun araşdırılması)

Bu yazıda müəlliflər risk səviyyəsinə dair öz baxışlarını ortaya qoyurlar. Bu parametr mötərizədədir, mənbələrə istinadlarla qarışdırılmamalıdır.

İkinci müşahidə. Müəlliflər BigData konsepsiyasının analoqu olan BDS terminindən istifadə edirlər. (görünür, rəsmi statistikaya işarədir).

Müəlliflər Ön söz

Artan sayda statistika idarələri rəsmi statistikanın istehsalı üçün böyük məlumat mənbələrindən istifadə imkanlarını araşdırır. Hazırda bu mənbələrin faktiki statistik istehsala tam inteqrasiya olunduğu bir neçə nümunə var. Nəticə etibarilə, onların inteqrasiyasının gətirdiyi nəticələrin tam həcmi hələ məlum deyil. Bu vaxt, şərtləri və böyük məlumatların keyfiyyət və ya metodologiya kimi statistik istehsalın müxtəlif aspektlərinə təsirini təhlil etmək üçün ilk cəhdlər edildi. İşçi qrup bu yaxınlarda Birləşmiş Millətlər Təşkilatının Avropa İqtisadi Komissiyasının (UNECE) böyük verilənlər layihəsi kontekstində böyük verilənlər statistikasının istehsalı üçün keyfiyyət çərçivəsini işləyib hazırlamışdır. Avropa Statistika Təcrübə Məcəlləsinə əsasən, yüksək keyfiyyətli statistik məlumatların təmin edilməsi statistika idarələrinin əsas vəzifəsidir. Risk qeyri-müəyyənliyin məqsədlərə təsiri kimi müəyyən edildiyindən (məsələn, ISO 31000), biz riskləri onların təsir etdiyi keyfiyyət ölçülərinə görə təsnifləşdirməyi faydalı hesab etdik.
Böyük məlumat mənbələrindən əldə edilən statistik məlumatlar üçün təklif olunan keyfiyyət çərçivəsi statistik biznes prosesinin bütün mərhələləri ilə əlaqəli keyfiyyətin strukturlaşdırılmış görünüşünü təmin edir və beləliklə, bu yeni məlumat mənbələri ilə bağlı risklərin hərtərəfli qiymətləndirilməsi və idarə olunması üçün əsas ola bilər. . O, institusional/biznes mühiti və ya mürəkkəblik kimi rəsmi statistika üçün böyük məlumatların istifadəsi üçün xüsusi olan və ya (yüksək əhəmiyyət kəsb edən) yeni keyfiyyət ölçülərini təqdim edir. Bu yeni keyfiyyət ölçülərindən istifadə etməklə rəsmi statistikada böyük məlumat mənbələrindən istifadə ilə bağlı riskləri daha sistemli şəkildə müəyyən etmək olar.

Bu yazıda biz rəsmi statistika kontekstində böyük verilənlərdən istifadənin yaratdığı riskləri müəyyən etməyi hədəfləyirik. Biz təklif olunan keyfiyyət çərçivəsi kontekstində risklərin müəyyənləşdirilməsinə sistemli yanaşırıq. Yeni təklif olunan keyfiyyət tədbirlərinə diqqət yetirməklə biz hazırda mövcud olmayan və ya rəsmi statistikanın istehsalına təsir etməyən riskləri təsvir edə bilərik. Eyni zamanda, statistika yaratmaq üçün böyük məlumatlardan istifadə edərkən tamamilə fərqli qiymətləndiriləcək cari riskləri müəyyən edə bilərik. Biz daha sonra risklərin idarə edilməsi dövrünə keçirik və bu risklərin ehtimalı və təsirinin qiymətləndirilməsini təmin edirik. Riskin qiymətləndirilməsi müxtəlif risklərə ehtimal və təsirin aid edilməsində subyektivliyi nəzərdə tutduğundan, biz müstəqil olaraq təqdim edilən onlarla müxtəlif maraqlı tərəf arasında razılaşmanı ölçürük. Daha sonra biz dörd əsas kateqoriyaya uyğun olaraq bu riskləri azaltmaq üçün variantları təklif edirik: çəkinin, azaldın, paylaşın və saxlayın. İSO-ya görə, risklərin idarə edilməsi prinsiplərindən biri dəyər yaratmaq olmalıdır, yəni riskin azaldılması üçün resurslar hərəkətsizlikdən daha az olmalıdır. Bu prinsipə uyğun olaraq, rəsmi statistika üçün Böyük Məlumatların istifadəsinin daha əhatəli qiymətləndirilməsinə nail olmaq üçün biz nəhayət bəzi risklərin azaldılması tədbirlərinin yekun nəticələrin keyfiyyətinə mümkün təsirini qiymətləndirəcəyik.

1. Giriş

1.1. Fon

"Böyük verilənlərin" inkişafı Kennet Neil Cookier və Viktor Mayer-Schoenberger tərəfindən "Böyük verilənlərin yüksəlişi" məqaləsində (2. www.foreignaffairs.com/articles/139104/kenneth-neil-cukier-and-viktor-mayer-schoenberger/therise-of-big-data) "məlumatların ötürülməsi" termini ilə. Datafikasiya “həyatın hər tərəfini götürmək və onu dataya çevirmək” prosesi kimi təsvir edilir. Misal üçün. Facebook şəxsi şəbəkələr, hər cür ətraf mühit şəraiti üçün sensorlar, şəxsi ünsiyyət və hərəkət üçün smartfonlar, şəxsi şərait üçün daşına bilən məlumatlar təqdim edir. Bu, demək olar ki, hər yerdə məlumatların toplanması və mövcudluğu ilə nəticələnir.

Bir çox digər sektorlarda olduğu kimi, rəsmi statistika da bu yaxınlarda strateji səviyyədə böyük verilənlər məsələsini müzakirə etməyə başlayıb. Statistik İstehsalın və Xidmətlərin Modernləşdirilməsi üzrə Yüksək Səviyyəli Qrup daxilində (3 Big Data nə qədər böyükdür? • Rəsmi Statistikada Big Datanın rolunun tədqiqi: www1.unece.org/stat/platform/download/attachments/99484307/Virtual%20Sprint%20Big%20Data%20paper.docx?version=1&modificationDate=1395217470975&api=v2), a İlk SWOT təhlili və ardınca kobud risk/fayda təhlili aparıldı. Qeyd edilib ki, “tam risk təhlili həmçinin ehtimal və təsir kimi aspektləri əhatə edəcək və həmçinin risklərin azaldılması və idarəetmə strategiyalarını müəyyən etmək üçün genişləndirilə bilər”.

Bu sənəd tam risk təhlili olmaqdan uzaq olsa da, ilk strukturlaşdırılmış icmal yaratmaqla vəziyyəti dəqiq şəkildə yaxşılaşdırmaq məqsədi daşıyır. Xüsusi vurğulamaq istərdik ki, bu icmal Rəsmi Statistika Birliyində (OSC) ümumi müzakirələri stimullaşdırmaq üçün başlanğıc nöqtəsi kimi qəbul edilməlidir.

1.2. Kürə

Bu məqalə yalnız üstünlükləri deyil, həm də güclü, zəif tərəfləri, imkanları və təhdidləri istisna etməklə yalnız risklərə diqqət yetirir. Bu o deməkdir ki, “fəaliyyətsizlik riskləri” (məsələn, ASC-nin modernləşdirilmədiyi təqdirdə digər iştirakçılarla rəqabətdən kənarda qalması riski) əhatə dairəsinə daxil edilmir; daha çox təhlükədir. Bunun əvəzinə, biz yarana biləcək riskləri vurğulamağa çalışırıq (a) əgər ASC böyük verilənlərin verdiyi imkanlardan istifadə edərsə və xüsusi “böyük məlumatların rəsmi statistika məhsulu” (BOSP) hazırlamağa və ya təkmilləşdirməyə başlayarsa; (b) yeni "hər zamankı iş" üçün risklər, yəni "böyük məlumat" istehsalına əsaslanan rəsmi statistika üçün risklər. (Rəsmi statistikanın bütün istehsalı riskləri ehtiva etdiyi üçün biz özümüzü (b) “böyük məlumat” xüsusi riskləri, yəni mövcud olmayan və ya rəsmi statistikanın toplanmasının “ənənəvi” prosesi üçün əhəmiyyətsiz olan risklərlə məhdudlaşdırırıq.)

1.3. Struktur

Bölmə 2-də risklərin idarə edilməsi və risklərin idarə edilməsi üçün açıq şəkildə zəruri çərçivədən başlayaraq, bu vəzifə ilə bağlı əsas prinsipləri təqdim edirik (Bölmə 2.1). Biz həmçinin böyük məlumat statistikası üçün ilkin keyfiyyət çərçivəsini təqdim edirik (Bölmə 2.2), çünki keyfiyyət çərçivəsini risklə əlaqələndirmək iki məqsədə xidmət edir:

  • O, riskləri müəyyən etmək üçün kontekst təyin edir. Müəyyən keyfiyyət göstəriciləri nəzərdən keçirilən xüsusiyyətlərlə birlikdə obyektin müştərilərə və istifadəçilərə xidmətlərin göstərilməsi üçün vacib və həlledici sayılan dəyərlərini ifadə edir.
  • Bu, paylaşılan hiperməkanlarda yerləşdirilmiş və statistik məhsulların istehsalı prosesində xüsusi addımlarla əlaqəli olan keyfiyyət ölçmələrinə xüsusi risklər təyin etməyə imkan verir.

3, 4, 5 və 6-cı bölmələrdə biz müxtəlif kontekstlərdə indiyə qədər müəyyən edilmiş riskləri təqdim edirik (4 ESS-nin biznes nümunəsi sənədləri (https://www.europeansocialsurvey.org/about/structure_and_governance.html) Böyük Məlumat layihəsi də Big Data-da olduğu kimi ESSnets qismən layihə ilə və qismən də böyük məlumat mənbələrindən statistik məqsədlər üçün istifadə ilə bağlı risklərin siyahısını ehtiva edir.ESS Big Data layihəsinin biznes nümunəsi sənədlərində, eləcə də ESS Big Data şəbəkələrində siyahı var. qismən layihə ilə və qismən də statistik məqsədlər üçün böyük məlumat mənbələrindən istifadə ilə bağlı risklərin.keyfiyyət göstəriciləri ilə). Burada biz məlumat girişinin təsnifatı, hüquqi mühit, məlumatların məxfiliyi və təhlükəsizliyi və bacarıqlarından istifadə edirik; böyük verilənlərdən əldə edilən statistikanın keyfiyyət strukturuna uyğun olaraq yenidən təşkili (Bölmə 2.2) bu struktur daha tam statusa çatan kimi nəzərə alınmalıdır. Müəyyən edilmiş risklərin hər biri üçün biz (i) ehtimalın, eləcə də təsirin qiymətləndirilməsini təqdim edirik (Bölmə 2.1.3-ə uyğun olaraq) və (ii) risklərin azaldılması və risklərin idarə edilməsi strategiyalarını təklif edirik (bax: Bölmə 2.1.4).

Nəhayət, biz tapıntılarımızı müzakirə edirik və Bölmə 7-də bəzi növbəti addımları təsvir edirik.

2. Əsaslar

2.1. Risklər və risklərin idarə edilməsi

ISO 31000: 20095-ə görə risk “qeyri-müəyyənliyin məqsədlərə təsiri” kimi müəyyən edilir. Bu o deməkdir ki, risklər müəyyən edilməzdən əvvəl məqsədlər müəyyən edilməli və ya məlum olmalıdır. Bu məqsədlər adətən müvafiq təşkilatın institusional konteksti nəzərə alınmaqla müəyyən edilir. Digər mühüm mülahizə odur ki, risklər qeyri-müəyyənlik xarakteristikasını daşıyır, yəni təsvir olunan hadisənin baş verib-verməyəcəyi aydın deyil. Beləliklə, risklər bir hadisənin baş vermə ehtimalı və onun nəticələri, yəni bu hadisənin məqsədlərə nail olunmasına təsiri baxımından ölçülür. Riskin qiymətləndirilməsi mənfəət imkanlarının reallaşdırılması və mənfi təsirlərin minimuma endirilməsi arasında müvafiq tarazlığın yaradılmasına imkan verəcək daha obyektiv məlumat verməlidir. Risklərin idarə edilməsi idarəetmə praktikasının tərkib hissəsidir və yaxşı korporativ təcrübənin mühüm elementidir (6 Statistics Canada: Planlar və Prioritetlər üzrə 2014-2015 hesabatı, www.statcan.gc.ca/aboutapercu/rpp/2014-2015/s01p06-eng.htm). İdeal olaraq qərar qəbul etmədə davamlı təkmilləşdirməyə və performansda davamlı təkmilləşdirməyə imkan verən iterativ bir prosesdir.

Risklər də keyfiyyətlə bağlıdır. Keyfiyyət sisteminin tətbiqi bu nəticənin istifadəçilərin tələbatını ödəməsi mənasında müəyyən keyfiyyət səviyyəsinə nail olmaq üçün müxtəlif mənbələr və metodologiyaların verdiyi imkanlardan istifadə etməyə imkan verməlidir. Risklər kimi, keyfiyyət səviyyələri də institusional mühitdən və konkret qurumların məqsədlərindən götürülə bilər. Bu kontekstdə institusional mühit təşkilatın məqsədlərinə çatmaq üçün götürməyə hazır olduğu ümumi risk səviyyəsini müəyyən edir.

Risklərin qiymətləndirilməsi və idarə olunması prosesi kontekst yaratmaq, risklərin müəyyən edilməsi, risklərin ehtimal və təsir baxımından təhlili, risklərin qiymətləndirilməsi və nəhayət, riskin müalicəsi daxil olmaqla müxtəlif mərhələlərə bölünə bilər.

2.1.1. İnstitusional kontekst

İlk addım olaraq, prosesin qalan hissəsinin keçəcəyi strateji, təşkilati və risklərin idarə edilməsi kontekstini yaratmaq lazımdır. Buraya risklərin qiymətləndiriləcəyi meyarların müəyyən edilməsi və təhlilin strukturunun müəyyən edilməsi daxildir.

2.1.2. Riskin müəyyənləşdirilməsi

İkinci mərhələdə məqsədlərə çatmağa təsir edə biləcək hadisələr müəyyən edilməlidir. Müəyyənləşdirmə risklərin növü, hadisənin vaxtı, yeri və ya hadisələrin məqsədlərə nail olmağın qarşısını necə ala, pisləşdirə, gecikdirə və ya yaxşılaşdıra biləcəyi ilə bağlı suallardan ibarət olmalıdır.

2.1.3. Riskin qiymətləndirilməsi

Növbəti addım mövcud nəzarət vasitələrinin müəyyən edilməsindən və risklərin ehtimal və potensial nəticələr baxımından təhlilindən ibarətdir. Bu məqalənin kontekstində risklərin baş vermə ehtimalı və ya ehtimalı 1 (mümkün olmayan) ilə 5 (tez-tez) arasında olan şkaladır. Hadisələrin baş verməsinin təsiri 1 (cüzi) ilə 5 (ifrat) arasında miqyasda ölçülür. Cədvəl 1-də göstərildiyi kimi, ehtimal və təsir məhsulu 1 ilə 25 arasında dəyişən “risk səviyyəsi” yaradır.

Rəsmi statistika əldə etmək üçün BigData-dan istifadə edərkən risklərin və qərarların strukturlaşdırılması

Potensial faydalar və mənfi nəticələr arasında tarazlıq yaratmaq üçün qiymətləndirilmiş risk səviyyələri əvvəlcədən müəyyən edilmiş meyarlarla müqayisə edilə bilər. Bu, idarəetmə prioritetləri haqqında mühakimə yürütməyə imkan verir.

Rəsmi statistika əldə etmək üçün BigData-dan istifadə edərkən risklərin və qərarların strukturlaşdırılması

Fəaliyyət üçün prioritet kritik risklərə (bax Cədvəl 2), yəni baş vermə ehtimalı olan və təşkilatın məqsədləri üçün ağır və ya ekstremal nəticələri olan risklərə verilməlidir.

2.1.4. Risk cavabı

Son addım risklərə necə cavab vermək barədə qərarlardan ibarətdir. Əvvəlcədən müəyyən edilmiş risk səviyyəsindən aşağı olan bəzi risklərə məhəl qoyula və ya yol verilə bilər. Digərləri üçün risklərin həlli xərcləri o qədər yüksək ola bilər ki, onlar potensial faydaları üstələyir. Bu halda təşkilat müvafiq fəaliyyətdən imtina etmək barədə qərar qəbul edə bilər. Risklər, həmçinin sığorta kimi üçüncü tərəflərə ötürülə bilər ki, bu da çəkilən xərcləri qarşılayır. Sonuncu variant, xərcləri potensial fayda ilə balanslaşdıran strategiyaları və fəaliyyətləri müəyyən edərkən riskləri nəzərə almaqdır. Beləliklə, təşkilat faydaları artırmaq və potensial xərcləri minimuma endirmək üçün strategiyaları həyata keçirməyə qərar verəcəkdir.

Rəsmi statistika əldə etmək üçün BigData-dan istifadə edərkən risklərin və qərarların strukturlaşdırılması

2.2. Keyfiyyət sistemləri

Milli və beynəlxalq statistik təşkilatların nümayəndələrindən ibarət işçi qrupu 2014-cü ildə böyük məlumat statistikası üçün ilkin keyfiyyət çərçivəsini işləyib hazırlayıb. İşçi Qrup UNECE/HLG-nin “Statistik İstehsalın Müasirləşdirilməsində Böyük Məlumatların Rolu” layihəsinin himayəsi altında çalışmışdır. O, inzibati məlumat mənbələrindən əldə edilən statistik məlumatları böyük məlumat mənbələri üçün müvafiq hesab edilən keyfiyyət ölçüləri ilə qiymətləndirmək üçün hazırlanmış mövcud keyfiyyət sistemlərini genişləndirdi.

Bu sistem daxilində biznes prosesinin üç fazası arasında fərq qoyulur: giriş, performans və çıxış. Giriş mərhələsi GSBP-nin "dizayn" və "toplama" fazalarına, "proses" və "təhlil" mərhələləri üçün performansa uyğundur və çıxış "yayma" mərhələsinə ekvivalentdir.

Struktur Hollandiya Statistikası (7 Daas, P., S. Ossen, R. Vis-Visschers, and J. Arends-Toth, (2009), Checklist for the Keyfiyyət) tərəfindən hazırlanmış inzibati məlumat strukturundan götürülmüş iyerarxik strukturdan istifadə edir. İnzibati Məlumat Mənbələrinin qiymətləndirilməsi, Statistika Hollandiya, Haaqa/Heerlen). Keyfiyyət ölçüləri hiper boşluqlar adlanan iyerarxik strukturda yer alır. Üç müəyyən edilmiş hiperölçü "mənbə", "metadata" və "məlumat"dır. Keyfiyyət ölçmələri bu hiperölçülər daxilində yerləşdirilir və istehsal mərhələlərinin hər birinə təyin edilir. Daxiletmə mərhələsi üçün “məxfilik və məxfilik”, “mürəkkəblik” (məlumatların strukturuna görə), metaməlumatların “tamlığı” və “əlaqədarlıq” (məlumatları digər məlumatlarla əlaqələndirmək imkanı) kimi əlavə aspektlər təklif edilmişdir. modelə standart keyfiyyət əlavə edin. Keyfiyyət göstəricilərinin hər biri üçün onların təsviri ilə bağlı amillər, habelə mümkün göstəricilər təklif olunur.

Bu məqalənin kontekstində risklər bu amillərdən xaric edilə bilər. Məsələn, “institusional/iş mühitinin” keyfiyyətini ölçmək üçün nəzərə alınmalı olan amillər məlumat təminatçısının davamlılığıdır. Əlaqədar risk məlumatların gələcəkdə məlumat provayderindən əldə edilməməsi ola bilər. Başqa bir nümunə keyfiyyət, məxfilik və təhlükəsizlik kimi yaxınlarda təklif olunan aspektlə bağlıdır. Mühüm faktorlardan biri "qavrayış"dır ki, bu da müxtəlif maraqlı tərəflər tərəfindən konkret məlumat mənbələrinin məqsədli istifadəsinə dair mümkün mənfi qavrayışı ifadə edir.

3. Məlumatların əldə edilməsi ilə bağlı risklər

3.1. Məlumata çıxışın olmaması
3.1.1. Təsvir

Bu risk, tələb olunan böyük məlumat mənbəyinə (BDS) daxil olmayan BOSP inkişaf layihəsindən ibarətdir.

İndiyə qədər ASC çətin yolu öyrənib ki, hətta başlanğıc bloklarından çıxmaq və bu girişi əldə etmək bəzən keçilməz bir maneədir. Bəzən sınaq/tədqiqat məqsədləri üçün müəyyən mənbəyə - məsələn, zəng məlumatı qeydlərinə (CDR) daxil olmaq asandır, lakin istehsal məqsədləri üçün ona daxil olmaq daha çətindir (hüquqi və ya kommersiya səbəblərinə görə).

3.1.2. Ehtimal

Ehtimal əsasən BDS-nin xüsusiyyətlərindən asılıdır. Böyük inzibati məlumatlara gəldikdə, o, 1-ə qədər aşağı ola bilər, xüsusən də (Daas və başqaları tərəfindən tədqiq edilmiş trafik dövrə məlumatlarında olduğu kimi. 8 Daas, P., M. Puts, B. Buelens və P. van den Hurk. 2015. "Böyük Məlumat Rəsmi Statistikanın Mənbəyi kimi" Rəsmi Statistika Jurnalı 31 (2) (Gələcək; nəşr 2015-ci ilin iyununda nəzərdə tutulub.)) məxfiliklə bağlı heç bir narahatlıq yoxdur. Əgər BDS işi fərdi şəxsə məxsusdursa, xüsusən də o, həssasdırsa (məsələn, məlumatların qorunması baxımından) və ya dəyərlidirsə (kommersiya baxımından), ehtimal çox yüksək ola bilər (5).

3.1.3. Təsir

Təsir BOSP-dən və BDS-nin necə istifadə olunduğundan asılıdır. Əgər BDS tam mərkəzdədirsə, təsir çox yüksək ola bilər (4 = BOSP istehsal etmək ümumiyyətlə mümkün deyil), eyni zamanda BOSP istehsal etmək hələ də mümkün olduqda (aşağı keyfiyyətdə olsa da) daha aşağı ola bilər. digər BDS-yə əsaslanaraq, 2-3 diapazonunda təsirə səbəb olur.

3.1.4. Qarşısının alınması

Girişin olmaması riskini azaltmaq üçün məlumat provayderi ilə əvvəlcədən əlaqələr qurmalı və məlumat əldə etmək üçün uzunmüddətli müqavilə bağlamalısınız. Bundan əlavə, BDS və BOSP-nin xüsusi birləşməsi ilə bağlı hərtərəfli hüquqi təhlil aparılmalıdır. Mövcud və ya gələcək qanunvericilik vasitəsilə məlumatların əldə edilməsi imkanları da qiymətləndirilməlidir.

3.1.5. Yumşaldıcı

BOSP üçün istifadə edilə bilən alternativ BDS-lər varsa, onların əvəzinə araşdırıla bilər. BDS olmadan BOSP istehsal etmək üçün heç bir yol yoxdursa və giriş çatışmazlığı aradan qaldırıla bilmirsə, səydən imtina edilməlidir və heç bir yeni BOSP gün işığı görməyəcək.

3.2. Məlumata girişin itirilməsi
3.2.1. Təsvir

Bu risk ondan ibarətdir ki, statistika idarəsi BOSP-ni dəstəkləyən BDS-i itirir.

3.2.2. Ehtimal

Əgər BOSP artıq istehsal olunursa, adətən müəyyən stabillik olur və bəzi hallarda risk çox aşağı ola bilər (1). Bununla belə, xüsusən də kifayət qədər möhkəm müqavilələr bağlanmamış özəl qurumlara, məsələn, heç nə mane olmur. orta dərəcədə qırılma riski ilə nəticələnən məlumat təminatı siyasətindəki dəyişiklikdən yeni təlimat (3). Bundan əlavə, əgər BDS qeyri-sabit fəaliyyətlə əlaqələndirilirsə, provayderin sadəcə müflis olması riski həmişə mövcuddur və risk daha da yüksək ola bilər (4).

3.2.3. Təsir

Mövcud BOSP-ni istehsal etmək mümkün olmadığından, çox vaxt çox yüksək təsir olur (5). BDS-nin köməkçi xarakter daşıdığı digər hallarda, təsir 2-3 diapazonda təsirlə daha çox keyfiyyət itkisi ola bilər.

3.2.4. Qarşısının alınması

Qarşısının alınması strategiyası məlumatlara çıxışın olmaması strategiyasına bənzəyir, lakin istehsal mühitlərində də daimi sayıqlığa daha çox diqqət yetirilir.

Bütün yumurtalarınızı bir səbətə qoymamaq (yəni, hər BSOP-un əsasında çoxlu BDS-lərin olması) da strategiya ola bilər, lakin bu, ya qeyri-mümkün, ya da çox baha başa gələ bilər.

3.2.5. Yumşaldıcı

Əgər BDS qeyri-davamlı fəaliyyətin nəticəsidirsə, bəlkə də eyni sosial fenomeni əks etdirən yeni BDS tədricən əlçatan olacaq. Bununla belə, BSOP aşağı düşdükdən sonra "bazarı skan etməyə" başlamaq çox gec olardı; daimi sayıqlıq tələb edəcək - və buna nail olmaq çətin ola bilər.

4. Hüquqi mühitlə bağlı risk

4.1. Müvafiq qanunvericiliyə əməl edilməməsi
4.1.1. Təsvir

Bu risk müvafiq qanunvericiliyi nəzərə almayan BOSP inkişaf layihəsindən ibarətdir və bu, BOSP-ni sözügedən qanunvericiliyə zidd edir. Bu, məlumatların qorunması qanunvericiliyinə, cavab tədbirləri ilə bağlı qaydalara və s. aid ola bilər.

4.1.2. Ehtimal

ASC-nin böyük məlumatlara dair məlumatsızlığını nəzərə alaraq, təsadüfi (3) uyğunsuzluğun baş verə biləcəyi mümkündür. Ehtimal ümumiyyətlə BDS ilə əlaqələndirilir, çünki mənbə nə qədər az "həssas" olsa, uyğunsuzluğun baş vermə ehtimalı bir o qədər azdır.

4.1.3. Təsir

Təsir ümumiyyətlə kritikdir (4) o mənada ki, qeyri-uyğun istehsal BOSP-nin dayandırılmasını tələb edəcək (və ya hələ icra mərhələsinə çatmayıbsa, onun inkişafı dayandırılmalıdır). Bu, hətta həddindən artıq (5) ola bilər, çünki qeyri-qanuni (“qeyri-qanuni”) rəsmi statistika nəticəsində yaranan reputasiya riskləri öz əksini tapa bilər.

4.1.4. Qarşısının alınması

Hər hansı bir BOSP üçün hərtərəfli hüquqi təhlil aparılmalıdır - və bu, bir neçə mərhələdə baş verir (işlənmə / kəşfiyyat mərhələsində məqbul olan, icra / istehsal mərhələsində belə olmaya bilər). Bu da öz növbəsində BOSP-nin uyğun olması üçün yenidən dizayn edilməsinə səbəb ola bilər.

4.1.5. Yumşaldıcı

Uyğunsuzluğun şiddətindən asılı olaraq, ilk addım BOSP-ni oflayn etmək ola bilər.

BOSP-ni uyğunlaşdırmaq üçün yenidən dizayn etmək bir seçim ola bilər, lakin BOSP-nin bu şəkildə "xilas edilib-edilməməsi" uyğunsuzluğun təbiətindən çox asılıdır.

4.2. Hüquqi mühitdə əlverişsiz dəyişikliklər
4.2.1. Təsvir

Hazırlanma mərhələsində olan BOSP ilə bağlı yeni qanunvericilik tətbiq oluna bilər ki, bu da BOSP-ni effektiv şəkildə uyğunsuz edir.

4.2.2. Ehtimal

Mümkündür ki, güclü məlumatların mühafizəsi tərəfdarları xüsusi BOSP yaratmaq qabiliyyətinə birbaşa və ya dolayısı ilə təsir edəcək yeni tələblər təqdim edə bilsinlər. 2-3 aralığında bir ehtimal real təxmin kimi görünür.

4.2.3. Təsir

Təsir adətən kritikdir (4), o mənada ki, uyğun olmayan istehsal BOSP-nin bağlanmasını tələb edəcək.

4.2.4. Qarşısının alınması

Qanunvericiliyin təkamülünü izləmək üçün mütəmadi olaraq müəyyən biznes kəşfiyyatı aparılmalıdır - ola bilsin ki, müvafiq (məsələn, məsləhət xarakterli) forumlarda rəsmi statistikaya dair işi irəli sürməklə ona təsir etmək.

4.2.5. Yumşaldıcı

Proaktiv monitorinqin həyata keçirilməsi şərti ilə, BOSP-nin qüvvəyə mindiyi ilk gündən onu yeni qanunvericiliyə uyğunlaşdırmaq üçün yenidən dizayn edilməsi üçün vaxt ola bilər.

Digər tərəfdən, yeni qanunvericiliyin "sürpriz olması" üçün heç bir monitorinq aparılmayıbsa - və ya qanunvericilik o qədər radikal olsa ki, BOSP-ni uyğunsuz etmək üçün heç bir yol yoxdur - yeganə seçim BOSP-ni söndürmək ola bilər.

5. Məxfilik və məlumat təhlükəsizliyi ilə bağlı risklər

5.1. Məlumat təhlükəsizliyi pozuntuları
5.1.1. Təsvir

Bu risk statistika idarələri tərəfindən saxlanılan məlumatlara icazəsiz girişlə bağlıdır. Üçüncü tərəflər embarqo qoyulmuş məlumatları, məsələn, cədvəlin buraxılması səbəbindən əldə edə bilər (9 Tamamilə tək BDS-ə əsaslanan hər hansı BOSP üçün məlumatların məlumatın ilkin sahibinə dolayısı ilə məlum olması qaçılmazdır və əgər metodologiya şəffafdır, əldə edilmiş statistik məlumatlar da məlum olacaq. Bu vəziyyət burada deyil, daha çox sahibin səhv işləməsi riskindən bəhs edilir.) (10 Bundan əlavə, bu məlumatlar məxfilik riski daşıya bilər. Bu risk ayrıca nəzərdən keçiriləcək. ). Bu, məsələn, investorların fond bazarında gözlədiyi məlumatlar ola bilər.

5.1.2. Ehtimal

Statistik vahiddə İT mühitinin qorunmasının texniki aspektlərinə gəldikdə, risk BDS-lər üçün ənənəvi mənbələrlə eyni ehtimala malikdir. Bununla belə, nəzərə alınmalı olan iki əlavə aspekt var.

Birincisi, bəzi BDS ilə, ilkin sahibdə məlumatların təhlükəsizliyinin pozula biləcəyinə görə ümumi risk bir qədər artır. Bunun səbəbi, məsələn, sənaye casusluğu və ya hakerlik ola bilər.

İkincisi, potensial dəyərli məlumatlar ofisdə saxlanmağa başladıqdan sonra zərərli niyyəti cəlb etmək riski artacaq. Saxlanılan məlumatların çox yüksək biznes dəyəri varsa, İT infrastrukturuna yönəlmiş hücumların çox yüksək ehtimalına hazır olmaq lazımdır, beləliklə, sındırma ehtimalı potensial olaraq daha yüksək ola bilər (4).

Saxlanılan məlumat dəyərli kimi qəbul edilmirsə, məlumatların mənbəyindən asılı olaraq (1) ilə (3) arasında dəyişən ümumi ehtimal çox yüksək deyil.

5.1.3. Təsir

Potensial reputasiya zərəri böyük ola bilər (5). BDS vəziyyətində vacib olan odur ki, ilkin sahibdə təhlükəsizlik pozuntusu baş verərsə, statistika idarəsinin reputasiyasına təsirin onun saxladığı məlumatların pozulduğundan daha az olacağı gözlənilir.

Digər tərəfdən, ola bilsin ki, statistika idarəsində baş verən pozuntu ilkin sahibi üçün mənfi nəticələrə səbəb ola bilər. Bu zaman yenə də tədarükçü ilə statistika idarəsi arasında etimad baxımından zədələndiyinə görə güclü mənfi təsir mümkündür (5).

5.1.4. Qarşısının alınması

BDS işinə xas olan odur ki, ilk sahibin təhlükəsizlik prosedurları uyğun ola bilər. Çətin ki, statistika idarələri buna nəzarət etmək üçün audit səlahiyyəti alsınlar. Məlumatlarından məxfi buraxılış cədvəlləri ilə qeydlər hazırlamaq üçün istifadə edilən sahiblər öz binalarında potensial təhlükəsizliyin pozulmasının rəsmi statistikasına təsirləri barədə məlumatlandırılmalı və müvafiq təhlükəsizlik prosedurlarının mövcud olduğuna dair rəsmi təminat almalıdırlar.

Mülkiyyətçinin binasında təhlükəsizliyin pozulmasının statistika idarəsinə böyük təsir göstərməsinin qarşısını almağın birbaşa yolu eyni məhsul üçün birdən çox mənbənin istifadə olunmasını təmin etməkdir, beləliklə, bir güzəşt edilmiş mənbə yekun rəqəmi hazırlamaq üçün kifayət etməməlidir. Bu yanaşmanın üstünlüyü ondan ibarətdir ki, daha çox nəzarət statistika idarəsinin əlindədir.

Statistika idarəsində təhlükəsizliyin pozulmasının məlumatın ilkin sahibinə mənfi təsirinin qarşısını almağın yolu, sahibin nöqteyi-nəzərindən potensial həssas olan məlumatların statistika idarəsinə ötürülməsini nəzərdə tutmayan iş üsulunu tapmaqdır. . Xam. Mümkün profilaktik yanaşma ümumiləşdirilmiş məlumatlardan istifadə etməkdir. Bununla belə, yadda saxlamaq lazımdır ki, bəzi birləşmə formaları, məsələn, əhalinin ayrı-ayrı üzvlərinin identifikasiyasına mane olmaq üçün nəzərdə tutulmuş formalar bu halda uyğun olmaya bilər. Bunun bir səbəbi, sahibi üçün riskin anonimliyə nail olduqdan sonra belə əhəmiyyətli ola bilən məlumatların kommersiya dəyəri ilə əlaqəli olması ola bilər.

5.1.5. Yumşaldıcı

Statistika idarəsi tərəfindən saxlanılan məlumatların pozulması halında, ilkin sahibinə mənfi təsir göstərmədiyi halda, azaldıcı tədbirlər ənənəvi mənbələrlə eyni olacaq.

İlkin sahibinə mənfi təsir göstərdiyi halda, statistika idarəsi təhlükəsizlik prosedurlarını nəzərdən keçirməli və gücləndirməlidir və bununla bağlı öz öhdəliyini açıq şəkildə bildirməli və nümayiş etdirməlidir.

Əgər pozuntu ilkin sahibinin binasında baş veribsə, o zaman müvafiq statistika idarəsi vəziyyəti aydın şəkildə çatdırmalı və mülkiyyətçinin təhlükəsizlik prosedurlarının təkmilləşdirilməsində təkid etməlidir. Lazım gələrsə, alternativ təchizatçı axtara bilərsiniz.

5.2. Məlumat məxfiliyinin pozulması

5.2.1. Təsvir

Bu, əhalidəki bir və ya bir neçə şəxsin məxfiliyinin pozulacağı riskidir. Bu, digər dövlət qurumlarının təzyiqi və ya statistik məlumatların açıqlanması üçün qeyri-adekvat nəzarət tədbirləri nəticəsində İT infrastrukturuna hücum ola bilər.

5.2.2. Ehtimal

Məlumat təhlükəsizliyi riskində olduğu kimi, mikro məlumatların saxlanması spesifikasiyası BDS-nin əlavə edilməsi ilə çox dəyişmir. Bununla belə, burada da xəbərdarlıqlar var.

Müəyyən məlumat mənbələrindən mikrodata yüksək biznes dəyərinə malik ola bilər, ona görə də onları saxlamaq hücum şansını artıracaq.

Bundan əlavə, bəzi mikro məlumatların hüquq-mühafizə, vergi və ya səhiyyə kimi digər dövlət qurumları üçün çox faydalı ola bilmə potensialı var. Müəyyən şəraitdə statistik məxfilik prinsipinə riayət etmək böyük təzyiqə məruz qala bilər.

Statistik məlumatların açıqlanmasına nəzarətdə baş verən uğursuzluqlara gəlincə, bu gün artıq yaxşı formalaşmış təcrübə mövcuddur. BDS kiçik alt populyasiyalar üçün statistik məlumatların hazırlanmasına icazə verə bilər və ya riskin baş vermə ehtimalını artıra bilən müxtəlif BDS-lərdən toplanmış məlumatları əlaqələndirmək imkanı verə bilər. Bundan əlavə, yeni mənbələr yeni metodoloji inkişaflar tələb edəcək, ona görə də real təhlükə açıqlamaya nəzarət metodologiyasının lazımi qaydada yenilənməməsidir.

Ümumiyyətlə, ağlabatan profilaktik tədbirlərlə ehtimalı ağlabatan səviyyədə saxlamaq olar, lakin çoxlu müxtəlif və müxtəlif amillər olduğundan burada müvafiq qiymətləndirmə ehtimalın yüksək olması kimi görünür (4).

5.2.3. Təsir

Potensial reputasiya zərəri böyük ola bilər (5). Məlumatların pozulması riskində olduğu kimi, statistika idarəsindəki pozuntu ilkin sahibi üçün mənfi nəticələrə səbəb ola bilər. Burada belə bir hadisənin təsiri potensial olaraq daha böyük ola bilər, xüsusən də ictimai rəydə mövcud tendensiyalar davam edərsə. Məlumat təminatçısı ilə statistika idarəsi arasındakı əlaqəyə dəymiş ziyanın da çox böyük olacağı gözlənilir.

5.2.4. Qarşısının alınması

Bu riskin baş verməsinin qarşısını almağın etibarlı yolu heç bir BDS mikroməlumatına malik olmamaqdır (baxmayaraq ki, digər mikroməlumatların saxlanması fərqli ehtimal və təsirə malik olsa da, yenə də eyni risk daşıyır). Belə bir yol, məlumatların təhlükəsizliyi riski vəziyyətində olduğu kimi, statistik məqsədlər üçün məlumatlardan istifadənin digər yollarının işlənib hazırlanması ehtiyacına səbəb olacaqdır. Həmçinin, burada mənbələrin müxtəlif təbiəti o deməkdir ki, mümkün qədər çox faydalı məlumat əldə etmək və məxfiliyi təhlükədən qorumaq kimi rəqabətli məqsədləri olan yeni metodologiyalar işlənib hazırlanmalıdır.

Mikroməlumatların saxlanması vəziyyətində İT təhlükəsizliyi və girişə nəzarət mexanizmləri lazımi səviyyədə olmalı və daim nəzarətdə saxlanılmalıdır. Məlumatların əldə edilməsinin yeni üsullarının təhlükəsizliyinin təmin edilməsinə xüsusi diqqət yetirilməlidir. Qəribədir ki, bu yeni yol saxlama cihazlarının (məsələn, sabit disklər) fiziki daşınması ola bilər. Bu üsuldan istifadə edilərsə, çatdırılma fiziki cəhətdən təmin edilməli və şifrələmədən istifadə edilməlidir.

5.2.5. Yumşaldıcı

Burada azaldıcı tədbirlər əsasən məlumatların pozulması halında olduğu kimidir. Əgər qanun pozuntusunun səbəbi başqa dövlət orqanının təzyiqidirsə, o zaman idarənin müstəqilliyinin gücləndirilməsi üçün fürsətdən istifadə edilməlidir ki, gələcəkdə belə pozuntular daha da çətinləşsin.

5.3. Məlumat mənbəyi manipulyasiyası
5.3.1. Təsvir

Sosial media məlumatları və ya könüllü olaraq təqdim edilən məlumatlar kimi üçüncü tərəf məlumat təminatçıları manipulyasiya edilmə riski altındadır. Bu, ya məlumat provayderinin özü, ya da üçüncü tərəflər tərəfindən edilə bilər. Məsələn, indeksin belə məlumatlardan hesablandığı məlumdursa, bu məlumatlardan əldə edilən statistik göstəricini bu və ya digər şəkildə itələmək üçün sosial mediada çoxlu yalan yazılar yaradıla bilər.

Könüllü olaraq təqdim edilən məlumatlar üçün, könüllülərin xüsusi gündəliyi olan xüsusi maraq qrupunu təmsil etməsi halları ola bilər.

5.3.2. Ehtimal

Manipulyasiya edildikdə yüksək faydalı ola bilən məlumatlar üçün ehtimal daha yüksəkdir. Bu, birja kimi statistikanın maraq doğurduğu məlumatlar ola bilər. Son LIBOR və Forex qalmaqallarının işığında, stimul mövcud olduğu müddətdə məlumatların manipulyasiya cəhdlərinin mümkün olacağını güman etmək olar.

Könüllülərin məlumatlarına əsaslanan statistik məlumatlar üçün, ehtimalın az olmadığı qənaətinə gəlmək üçün sadəcə olaraq müəyyən fikir sahibi kimi görünən və ictimai ifadəsi üçün pul alan (məsələn, İnternet forumlarında) insanların işə götürülməsi ilə bağlı son PR təcrübəsinə baxmaq kifayətdir. Ümumiyyətlə, 3-dən 4-ə qədər rəqəm adekvat görünür.

5.3.3. Təsir

Manipulyasiyaların böyük problemi, aşkar edilmədən uzun müddət davam edə bilməsidir. Manipulyasiyalar uzun müddət davam edərsə, keyfiyyətə təsir əhəmiyyətli ola bilər. Bundan əlavə, rəsmi statistikaya ictimai etimadın zədələnməsi də böyük ola bilər, xüsusən də statistika idarələrinin keyfiyyətli məlumatların təminatçısı kimi rolu açıq şəkildə vurğulanırsa. Digər tərəfdən, əgər manipulyasiyalar vaxtında aşkar edilərsə və sonra dərc olunarsa, bu, əslində ictimai qavrayışı yaxşılaşdıra bilər. Çox pis hallar istisna olmaqla, maksimum təsir (3) təmsil oluna bilər.

5.3.4. Qarşısının alınması

Alternativ mənbələrlə müntəzəm nəzarət məşqlərinin həyata keçirilməsi mümkün profilaktik yanaşmalardan biridir. Bu alternativ mənbələr ənənəvi və ya başqa cür ola bilər. Mənbələrin birləşməsinə əsaslanan statistik məlumatların istifadəsi əhəmiyyətli manipulyasiya təsirlərinin qarşısını ala bilər. ISP-nin təşəbbüsü ilə manipulyasiyadan qorxduğu hallarda, hüquqi razılaşmalar da bu cür təcrübələrin qarşısını almağın bir yolu ola bilər.

5.3.5. Yumşaldıcı

İctimaiyyətlə əlaqələrə dəyən zərər baxımından burada görüləcək yumşaldıcı tədbirlər hər hansı böhranla mübarizədən çox da fərqlənmir.

Verilənlərin keyfiyyəti baxımından, keçmiş məlumatların uzun bir gecikmə ilə belə, düzgün seriyanın düzəldilməsi üçün korrektə edilə bilsəydi, faydalı olardı.
istehsal edilmişdir. Bunun üçün müntəzəm müqayisələr faydalı ola bilər. Qeyd edək ki, bu halda müqayisənin məqsədi profilaktika məqsədindən bir qədər fərqlidir. Qarşısının alınması üçün etalon məlumatları ilə BDS arasında şübhəli uyğunsuzluğu tez bir zamanda qeyd etmək və araşdırmaq vacibdir. Azaltma məqsədləri üçün köhnə yüklər həmişə faydalıdır.

Bundan əlavə, gələcəkdə oxşar manipulyasiyaların qarşısını almaq üçün diqqətli olmaq lazımdır - xüsusilə həssas hallarda, bu, müqayisəli təhlil üçün bir neçə təchizatçıdan potensial lazımsız məlumatların əldə edilməsi demək ola bilər.

5.4. Rəsmi statistika tərəfindən böyük məlumatların istifadəsinə dair ictimai rəyin əlverişsiz olması
5.4.1. Təsvir

Kütləvi informasiya vasitələri və geniş ictimaiyyət məxfilik məsələlərinə və böyük məlumat mənbələrindən şəxsi məlumatların istifadəsinə, xüsusən də dövlət qurumlarının vətəndaşlara qarşı inzibati və ya hüquqi tədbirlər görərək məlumatların ikincil istifadəsi kontekstində çox həssasdır. Mənfi qəbul edilən istifadə naviqasiya məlumatlarının təhlilinə əsaslanan sürətə nəzarətin yerləşdirilməsi ola bilər (11 Bax www.theguardian.com/technology/2011/apr/28/tomtom-satnav-data-police-speed-traps).
TomTom Hollandiyasının spesifik halı TomTom cihazlarına tələbatın əhəmiyyətli dərəcədə azalmasına səbəb oldu və şirkətin məlumatlara girişi məhdudlaşdırmaq qərarına səbəb oldu. Bu xüsusi halda, məlumatlar fərdlərə, lakin yol hissəsinə görə sürət səviyyələrinə aiddir.

Bununla belə, ictimaiyyət tərəfindən müsbət qarşılanan böyük məlumat tətbiqləri ola bilər. Bir nümunə, böyük məlumat texnikasına əsaslanan oğurluq kimi cinayətlərin qarşısını alan tətbiqlərdir.

Müsbət, eləcə də mənfi ictimai rəy rəsmi statistikanın istehsalı kontekstində BDS-dən istifadəyə güclü təsir göstərə bilər.

Mənfi ictimai rəy aşağıdakılarla nəticələnə bilər:

  • Məlumat təminatçısı və ya hökumətin məlumatlardan istifadə etməmək qərarına görə BDS artıq statistika idarələrində mövcud olmayacaq, yaxud
  • məlumatların istifadəsi məhdud olacaq, bu da müəyyən BOSP olduqda istehsala mane ola bilər.

5.4.2. Ehtimal

Belə bir hadisənin baş vermə ehtimalına və ya onun statistikanın istehsalına təsirinə təsir edə bilən amillər:

  • məlumat məxfiliyi, yəni insanların nə qədər asanlıqla tanınması;
  • məlumatların fərdlər haqqında aşkar etdiyi məlumatların miqdarı, məsələn, müxtəlif mənbələrdən məlumatların əlaqələndirilməsi ilə artırılır;
  • məlumat növü, məsələn, maliyyə əməliyyatları digər məlumatlara nisbətən daha məxfi kimi qəbul edilir;
  • vətəndaşlara qarşı görülə biləcək potensial tədbirlərin növü, məsələn, sürət həddini aşmağa görə insanları cərimələmək;
  • məlumat provayderlərinin və istifadəçilərinin fəaliyyət göstərdiyi və ya hüquqi şərtlərin ictimai etik rəylər/standartlarla ziddiyyət təşkil etdiyi aydın olmayan hüquqi mühit;
  • statistika əldə etmək üçün müəyyən məlumat mənbəyindən asılılıq dərəcəsi; kəşfiyyat mərhələsində bu amil kiçik əhəmiyyət kəsb edə bilər. Bununla belə, bu, sonrakı mərhələdə statistik məlumatların əldə edilməsinə çox güclü təsir göstərə bilər və buna görə də kəşfiyyat mərhələsində də nəzərə alınmalıdır. Problemlərdən biri o ola bilər ki, verilənlərdən istifadənin yekun həcmi əvvəldən məlum deyil, çünki məlumat mənbələri potensial olaraq birdən çox statistik sahəyə xidmət edə bilər.

Mənfi hadisələrin baş vermə vaxtını təxmin etmək mümkün deyil, çünki ictimai səfərbərlik çox vaxt vətəndaşlara mənfi təsir göstərən hadisələrin işıqlandırılması ilə baş verir. Bununla belə, hökumətlər və özəl müəssisələr tərəfindən böyük verilənlərdən istifadənin artması və xüsusən məlumatların ilkin toplanmasına səbəb olandan başqa məqsədlər üçün aktiv marketinqi ilə belə hadisələrin baş vermə ehtimalı daha yüksəkdir.

İctimai qavrayışa güclü təsir göstərən hadisələr tez-tez deyil, daha çox təsadüfi (3) və uzaq (2) olur. Böyük məlumat mənbələrindən istifadənin artması ilə ehtimal da artacaq.

5.4.3. Təsir

Hadisənin təsiri yuxarıda müzakirə olunan amillərdən çox asılıdır. Ümumiyyətlə, artıq qurulmuş statistik məlumatların istehsalı üçün təsir daha şiddətlidir, çünki bəlkə də əməliyyat dayandırılmalıdır. Təsir həm də alternativ məlumat mənbələrinin mövcudluğundan asılıdır, baxmayaraq ki, ictimai qavrayış hadisə baş verdikdə müxtəlif məlumat mənbələri arasında fərq qoymur. Böyük verilənlərdən istifadənin hazırkı vəziyyətində belə görünür ki, bu mənbələr ənənəvi məlumat mənbələrini tamamilə əvəz edə bilməz, əksinə, mövcud statistikanı tamamlayır. Bu, hadisələrin təsirini azaldacaq. Buna görə də, hadisənin təsiri 2 (kiçik) ilə 3 (böyük) aralığında nəzərə alınır. İstehsal mərhələsində təsir 4-ə qədər arta bilər (kritik dəyər).

5.4.4. Qarşısının alınması

Profilaktik tədbirlər rəsmi statistikada böyük verilənlər üçün etik prinsiplərin müəyyən edilməsi ola bilər. Etik təlimatlar Avropa statistikası üçün təcrübə kodeksi və ya rəsmi statistikanın əsas prinsipləri kimi prinsiplərə əsaslanmalıdır (12). unstats.un.org/unsd/dnss/gp/fundprinciples.aspx). Növbəti addım etik təlimatların nəticələrini ictimaiyyətə dərc edəcək və BOSP üçün BDS-nin etik istifadəsi haqqında maraqlı tərəfləri məlumatlandırmaq üçün istifadə edilə bilən kommunikasiya strategiyasını müəyyən etmək olacaq.

Riskləri müəyyən etmək və etik prinsiplərə əsaslanan qabaqlayıcı və ya azaldıcı tədbirlər təklif etmək üçün xüsusi BDS üçün ayrıca risk qiymətləndirməsi aparıla bilər. Bütün risklərin müəyyən edilməsini və fəaliyyətin təmin olunmasını təmin etmək üçün ayrıca risk qiymətləndirməsinə məlumatların mühafizəsi agentlikləri kimi maraqlı tərəflər də daxil ola bilər.

5.4.5. Yumşaldıcı

İctimaiyyətin mənfi münasibətinin artması halında kommunikasiya strategiyasına tədbirlər də daxil edilməlidir. Ayrı bir risk qiymətləndirməsi məlumatların istifadəsi ilə bağlı müsbət nümunələr və məlumatdan sui-istifadənin qarşısını almaq üçün tədbirlər toplamalıdır ki, bu da mütləq siyasi səviyyədə həyata keçirilə bilər və statistik ictimaiyyət onlara effektiv təsir göstərə bilməz.

5.5. Etibarın itirilməsi - müşahidə nəticəsində əldə olunmaması
5.5.1. Təsvir

Rəsmi statistikadan istifadə edənlər ümumiyyətlə statistikanın düzgünlüyünə və etibarlılığına yüksək inamla yanaşırlar. Bu, statistik məlumatların istehsalının etibarlı və ictimaiyyət üçün açıq olan metodoloji bazaya, habelə statistik məhsulun keyfiyyətinin sənədləşdirilməsinə əsaslanır. Bundan əlavə, statistikanın əksəriyyəti müşahidələrə əsaslanır, yəni. müşahidə və statistika arasında asanlıqla başa düşülən əlaqə quran sorğular və ya siyahıyaalmalardan əldə edilir. Statistikanın əsas məqsədləri üçün toplanmayan BDS-lərin istifadəsi bu əlaqələrin itirilməsi və istifadəçilərin rəsmi statistikaya inamının itirilməsi riskini daşıyır. Əhalinin siyahıyaalınmasının sonuncu raundu (2010) ilə bağlı misal kimi bəzi ölkələrdə statistikanın çoxsaylı mənbələrdən və statistik modellərdən istifadə etməklə əldə edilməsidir. Bir sıra hallarda maraqlı tərəflər statistikanı mübahisələndirdilər.

5.5.2. Ehtimal

Riskin baş vermə ehtimalı statistik/metodoloji modelin mürəkkəbliyi, BSD və BOSP arasındakı əlaqənin etibarlılığı və ya digər statistika ilə uyğunluq kimi amillərdən asılıdır. Ehtimal 3 (təsadüfi) ilə 4 (ehtimal) aralığında olmalıdır, yəni bir neçə dəfə və ya tez-tez baş verə bilər.

5.5.3. Təsir

Riskin baş verməsinin təsiri əsasən NSO-ların statistik məlumatların düzgünlüyünü və etibarlılığını uğurla sübut edib-etməməsindən asılı olacaq. Buna nail olmaq mümkün olmadıqda, etibar və etibarın itirilməsi baxımından təsir digər statistik sahələrə də təsir edə bilər, yəni yalnız bəzi statistik məlumatların etibarlılığına deyil, həm də təşkilatın özünə şübhə yarada bilər. NSO-lar bu sahədə fəaliyyət göstərən digər özəl təşkilatlar qarşısında rəqabət üstünlüklərini itirəcəklər.

5.5.4. Qarşısının alınması

Profilaktik tədbirlərə elmi ictimaiyyət tərəfindən tanınan sübuta əsaslanan metodologiyanın işlənib hazırlanması və dərc edilməsi, məlumatların keyfiyyətli metadata ilə zənginləşdirilməsi, BOSP-nin qeyri-BOSP ilə uyğunluğunun təmin edilməsi və ciddi keyfiyyətə nəzarətin həyata keçirilməsi daxildir.

Statistik istehsala başlamazdan əvvəl, BOSP eksperimental olaraq dərc oluna bilər və maraqlı tərəflər BOSP-ni təsdiqləmək və ya təkmilləşdirmək üçün BOSP-ə etiraz etməyə təşviq ediləcəklər.

5.5.5. Yumşaldıcı

Ayırmaq üçün iki hal var. Statistikanın mübahisəli olduğu, lakin yüksək/kifayət qədər keyfiyyətli (düzgün/dəqiq) olduğu halda, asan başa düşülən misallar göstərməklə statistikanın izah edilməsi və ictimaiyyətə çatdırılması kifayət edər.

6. Bacarıqlarla bağlı risklər

6.1. Mütəxəssis çatışmazlığı
6.1.1. Təsvir

Fəaliyyətlərini həyata keçirərkən insanların buraxdıqları rəqəmsal izlərin təhlili hazırda rəsmi statistikada ən çox yayılmayan müəyyən məlumat təhlili vasitələrini tələb edir. Birincisi, sorğularda birbaşa sorğular yerinə dolayı insan fəaliyyəti məlumatlarının istifadəsi statistik modellərin istifadəsini və buna görə də nəticə çıxarma və maşın öyrənmə bacarıqlarını tələb edir. İkincisi, bu rəqəmsal qeydlər çox vaxt sorğu nəticələri üçün ümumi olan adi cədvəl formatına malik olmayan, statistik vahidə uyğun sətirlər və həmin statistik vahidlərin spesifik xüsusiyyətlərinə malik sütunlar olan məlumatlardan ibarətdir. Rəqəmsal treklər mətn, səs, şəkil və video şəklində də təqdim olunur. Bu tip məlumatlardan müvafiq statistik məlumatların çıxarılması təbii dilin işlənməsi, audio siqnalın işlənməsi və təsvirin işlənməsi üzrə bacarıqlar tələb edir. Üçüncüsü, bu məlumat mənbələri emal etmək üçün paylanmış hesablama metodologiyalarını yaxşı başa düşməyi tələb edən kütləvi məlumat dəstləri təqdim etməyə meyllidir.

Mütəxəssis çatışmazlığı riski bu yeni böyük məlumat mənbələrindən birindən məlumatların əldə edilməsindədir, çünki statistika idarəsinin əməkdaşlarının lazımi bacarıqlara malik olmaması səbəbindən onları düzgün emal etmək və təhlil etmək imkanları yoxdur.

6.1.2. Ehtimal

Bu riskin ehtimalı üç amildən asılı olacaq: 1) böyük məlumat mənbəyinin hər bir növü üçün lazım olan xüsusi bacarıq növləri və statistika idarəsinin belə mənbəni öyrənmək imkanı tapmaq ehtimalı; 2) statistika idarəsində zəruri bacarıqların mövcud olması; və 3) statistika idarəsinin təşkilati mədəniyyəti.

Tələb oluna bilən bacarıq növlərinə gəlincə, qeyd etmək lazımdır ki, bütün mənbələr yuxarıda sadalanan bütün bacarıqları tələb etmir. Bəziləri (məsələn, Google Trends kimi məlumatlar) paylanmış hesablama tələb etmir, çünki onlar artıq məlumat sahibi tərəfindən əvvəlcədən işlənib və ya siqnal emal bacarıqlarına malikdirlər və əsasən statistik modelləşdirmə bacarıqlarına ehtiyac duyurlar. Bununla belə, çoxlu sayda böyük məlumat mənbələri mövcuddur ki, onların əksəriyyəti paylanmış hesablama, siqnal emalı və maşın öyrənmə bacarıqları tələb edir. Eyni zamanda, bu rəqəmsal izlərin düzgün öyrənilməsi bir neçə mənbənin işlənməsini tələb edəcəkdir. Beləliklə, böyük məlumat mənbələrinin statistika idarəsinə təqdim edilməsinin bu qeyri-adi bacarıqları tələb etməsi ehtimalı yüksəkdir və bu riskin ehtimalı çox yüksəkdir (5).

Lazımi bacarıqların mövcudluğuna gəlincə, bu, konkret statistika idarəsindən asılı olacaq. Sorğu metodologiyası sorğu metodologiyasından daha az yayılmış olsa belə, bəzi sahələrdə rəsmi statistikada da istifadə olunur. Buna görə də, bu, insan resurslarının müəyyən qədər yenidən bölüşdürülməsini tələb edə bilsə belə, statistika idarələri öz həllini tapa bilərlər. Paylanmış hesablama bacarıqları əsasən İT ilə əlaqəli olduğuna görə, onlar təşkilatda İT infrastrukturunun necə idarə olunmasından asılı olacaq. İT departamentinin nə dərəcədə autsorsinqə verilməsindən asılı olaraq, mövcud razılaşmalar kontekstində həllər tapıla bilər. Bununla belə, siqnalların işlənməsi və maşın öyrənmə bacarıqları, bir qayda olaraq, əksər rəsmi statistika idarələrində mövcud deyil və bu bacarıqların tətbiqi statistik ekspertlər tərəfindən tətbiq edilməli olduğu üçün xaricə verilə bilməz. Ona görə də bu baxımdan bu riskin ehtimalı da çox yüksək görünür (5).

Təşkilat mədəniyyəti də bu risk ehtimalına təsir edəcək. Öz-özünə öyrənmə yolu ilə lazımi bacarıqları əldə etmək istəyən heyətin olması təşkilata ənənəvi olanlardan başqa bacarıqlar tələb edən yeni məlumat mənbəyinə cavab vermək imkanı verə bilər. Bu, statistika idarəsinin təşkilati mədəniyyətindən, daha dəqiq desək, onun işçiləri yeni bacarıqlar öyrənməyə təşviq edib etməməsindən və bunun işçilərə özbaşına öyrənməyə vaxt verib-verməməsindən asılı olacaq.

Beləliklə, statistika idarəsinin işçiləri arasında bacarıq çatışmazlığı səbəbindən yeni məlumat mənbələrini emal edə və təhlil edə bilməyəcəyi ehtimalı təşkilatın özünü öyrənmə mədəniyyətindən asılı olaraq ehtimal (4) və tez-tez (5) arasında olacaqdır.

6.1.3. Təsir

İşçilərinin bacarıqlarının olmaması səbəbindən böyük məlumat mənbələrini emal edə və təhlil edə bilməyən statistika idarəsinin iki mümkün mənfi nəticəsi ola bilər: 1) məlumat mənbəyi ən azı tam olaraq öyrənilməyəcək; 2) mənbədən sui-istifadə ediləcək.

Dəyərli böyük məlumat mənbəyinin potensialını tam olaraq tədqiq edə bilməməyin qısa müddətdə (2) az təsiri olacaq, çünki statistika idarələrinin cari ehtiyacları ödəmək üçün statistik alətləri var. Bununla belə, uzunmüddətli perspektivdə (və bəlkə də hətta orta müddətli perspektivdə) bu fürsəti itirməyin nəticələri kritik olacaq (4), çünki statistika idarələri onlara imkan verəcək eyni institusional struktura malik olmayan özəl provayderlərin rəqabəti ilə getdikcə daha çox üzləşirlər. statistik məlumatların cəmiyyətin müstəqilliyinə təminat vermək.

Bununla belə, mənbədən sui-istifadə statistika idarələri üçün son dərəcə mənfi nəticələrə səbəb olacaq, çünki rəsmi statistika öz missiyasını yerinə yetirmək üçün onların reputasiyasından çox asılıdır. Bununla belə, iddia edə bilərik ki, buraxıldığı təqdirdə səhv nəticələrə səbəb ola biləcək ən vacib bacarıq statistik nəticədir, xüsusən də modelə əsaslanan nəticədir ki, bu da az ehtimal olunur. Buna görə də gözlənilən təsir həddindən artıq deyil, kritik (4) olacaqdır.

6.1.4. Qarşısının alınması

Statistika idarələri bu riskin qarşısını iki yolla aktiv şəkildə ala bilər: 1) təlim; və 2) təyin edin.

Statistika idarələri statistik istehsalda böyük məlumat mənbələrindən istifadə etmək üçün lazım olan bacarıqları təfərrüatlı şəkildə müəyyən etməklə, mövcud kadr bacarıqlarını sadalamaqla, təlim ehtiyaclarını müəyyən etməklə və sonra təlim kursları təşkil etməklə işçiləri lazımi bacarıqlarla təmin edə bilər.

Statistika idarələri lazımi bacarıqlara malik yeni işçiləri də işə qəbul edə bilər. Bunun ciddi məhdudiyyətləri var, çünki statistik idarələr ofisdə böyük məlumat mənbələrindən istifadənin geniş yayıldığı və yeni işçilərin mövcud təcrübə səviyyəsinə çatması hələ bir neçə il çəkdiyi bir vəziyyət üçün kritik işçi kütləsini işə götürə bilməyəcək. heyət. Bununla belə, müntəzəm kadr dövriyyəsinin bir hissəsi kimi işə götürülən yeni işçilərin ən azı bəziləri böyük məlumat bacarıqlarına malik ola bilər.

6.1.5. Yumşaldıcı

Lazımi bacarıqlara malik işçilər olmadan böyük məlumatların yeni mənbələrinin mövcud olduğu bir vəziyyətlə üzləşən statistika idarələri mənfi təsirləri iki yolla azalda bilər: 1) subpodratçı; və 2) əməkdaşlıq.

Statistika idarələri məlumatların emalı və yeni böyük məlumat mənbələrinin təhlili üçün bu növ xidmətləri göstərən digər təşkilatlarla müqavilələr bağlaya bilərlər. Bu, əlverişli bir həll kimi görünür, çünki bu cür məlumatların emalı üzrə ixtisaslaşan müəssisələrin yeni sektoru mövcuddur. Bununla belə, bu, özlüyündə müəyyən risklər daşıyan qərardır, çünki statistika idarəsi potensial həssas statistik məhsulların istehsalına daha az nəzarət edəcək. Bu həllin mənfi tərəfi də var ki, o, statistika idarəsinin işçilərinə lazımi bacarıqları öyrənməyə və əldə etməyə imkan vermir.

Lazımi bacarıqlara malik işçiləri olan və böyük məlumat mənbəyini araşdırmaqda maraqlı olan digər təşkilatlarla əməkdaşlıq daha perspektivli bir həll kimi görünür. Bu əməkdaşlıq statistika idarəsinin əməkdaşları və digər təşkilatların bərabərhüquqlu işçiləri ilə öz biliklərini bölüşən birgə layihələr formasında ola bilər. Bu, təkcə bacarıq çatışmazlığı riskini azaltmaqla yanaşı, statistika idarəsinin işçilərinə də bu bacarıqları əldə etməyə imkan verəcəkdir.

6.2. Ekspertlərin başqa təşkilatlara sızması
6.2.1. Təsvir

Bu risk ondan ibarətdir ki, statistika idarələri böyük verilənlərlə bağlı bacarıqları əldə etdikdən sonra öz işçilərini başqa təşkilatlara itirirlər.

6.2.2. Ehtimal

Bu riskin ehtimalı iki amildən asılı olacaq: 1) rəsmi statistikadan kənar təşkilatlarda mövcud cəlbedici imkanlar; 2) statistika idarələrində iş şəraiti.

Rəsmi statistik məlumatlardan kənar təşkilatlarda imkanlar baxımından bu riskin ehtimalı ehtimal kimi görünür (4). Özəl sektorda, eləcə də digər dövlət sektoru təşkilatlarında böyük məlumat bacarıqlarına malik insanlara yüksək tələbat var. Böyük məlumat bacarıqları əldə etdikdən sonra rəsmi statistiklər təcrübəli statistiklər kimi müqayisəli üstünlük əldə edəcəklər. Xüsusi böyük məlumat bacarıqlarına əlavə olaraq, digər təşkilatlar rəsmi statistiklər üçün ümumi olan istifadəçi ehtiyaclarını qiymətləndirmək və əsas performans göstəricilərini (KPI) inkişaf etdirmək kimi daha ənənəvi bacarıqlara malik data alimlərini tələb edir. Bundan əlavə, yeni bacarıqlara yiyələnmək ehtimalı yüksək olan işçi heyətin də karyera dəyişikliklərinə daha açıq olan və statistika idarəsini tərk edənlər olacağı gözlənilir.

Statistika idarələrində iş şəraitinə gəlincə, bu, təbii ki, əsasən konkret idarədən asılı olacaq. Bununla belə, statistika idarələri hələ də kəmiyyət baxımından insanlar üçün cəlbedici peşəkar imkanlar təklif edir. Statistika idarələri işləmək üçün mümkün domenlərin ən geniş çeşidini və işləmək üçün ən geniş məlumat seçimini təklif edir. Bu, statistika idarələrinin gözlənilməz hallar səbəbindən işçilərini itirmə ehtimalını bir növ azaldacaq (3).

6.2.3. Təsir

Bu riskin təsiri ilk növbədə lazımi bacarıqlara malik kadrların olmaması riski ilə eyni olacaq. Buna görə də təsir yuxarıdakı kimi kritik (4) olacaqdır.

6.2.4. Qarşısının alınması

Görünür, statistika idarələrinin bu riskin qarşısını almağın yeganə yolu işçilərini cəlbedici iş şəraiti ilə təmin etməkdir. Bu, ümumiyyətlə, bütün işçilərə aiddir. Bununla belə, işçilərin yeni bacarıqları, yəni böyük məlumat bacarıqlarını öyrənməyə açıq olduğu xüsusi halda, onlara peşəkar maraqlarını inkişaf etdirə biləcəkləri öyrənmə imkanları verməklə iş şəraiti yaxşılaşdırıla bilər. Statistika idarələri həmçinin statistikanın bir sıra sahələrində çalışan statistik mütəxəssislərdən gələn böyük məlumatların yeni mənbələri ilə bağlı yeni innovativ layihələrə və ideyalara açıq olmağa xüsusi diqqət yetirə bilərlər. Nəhayət, böyük məlumat bacarıqlarının ardıcıllığı ilə digər təşkilatlar üçün kadr itkisinin qarşısının alınması bu cür məlumatlarla işləməyi bacaran və istəyən kadrların yaxşı müəyyən edilməsindən və onların peşəkar inkişafı üçün yaxşı imkanların yaradılmasından asılı olacaqdır.

6.2.5. Yumşaldıcı

Bu riskin azaldılması müvafiq bacarıqlara malik kadr çatışmazlığı riski ilə əlaqədar həyata keçiriləcək: 1) subpodratçı; və 2) əməkdaşlıq.

7. Müzakirə

Bu ilk baxışdan aydın olur ki, verilmiş “böyük məlumat riski” üçün vahid ehtimal və ya təsir yaratmaq mümkün deyil – ümumiyyətlə, hər iki göstərici böyük məlumat mənbəyindən, eləcə də “rəsmi böyük məlumat statistikasından” çox asılıdır. ”.
məhsul."

Beləliklə, biz belə nəticəyə gəlirik ki, bu istiqamətdə növbəti məntiqi addım bir sıra mümkün pilot layihələri (hər biri bir və ya bir neçə BDS və bir və ya daha çox BDOS-un birləşməsini daxil olmaqla) başlanğıc nöqtəsi kimi götürmək və – hər bir belə pilot üçün – arzu etməkdir. hər bir riskin ehtimalını və təsirini qiymətləndirmək.

Bu məqsədlə biz maraqlı tərəflər arasında sorğu keçirməyə, bir sıra mümkün pilot layihələrin ehtimalını, təsirini (və mümkün qaçınma/azaltma tədbirlərini) ASC-nin qiymətləndirməsini qiymətləndirməyə çalışırıq və ASC-dən əlimizdə olan risklərlə bağlı təkliflər alırıq. bu sənədə daxil deyil..

8. İSTİFADƏLƏRUNECE (2014), "Böyük Verilənlərin Keyfiyyəti üçün Təklif olunan Çərçivə", UNECE Böyük Məlumatların Keyfiyyəti üzrə Tapşırıq Qrupunun təqdimatları, www1.unece.org/stat/platform/download/attachments/108102944/Big%20Dat
a%20Quality%20Framework%20-%20final-%20Jan08-2015.pdf?version=1&modificationDate=1420725063663&api=v2

UNECE (2014), “Big Data nə qədər böyükdür? Rəsmi Statistikada Big Datanın rolunun araşdırılması”, www1.unece.org/stat/platform/download/attachments/99484307/Virtual%20Sprint%20Big%20Data%20paper.docx?version=1&modificationDate=1395217470975&api=v2

Daas, P., S. Ossen, R. Vis-Visschers və J. Arends-Toth, (2009), İnzibati Məlumat Mənbələrinin Keyfiyyətinin Qiymətləndirilməsi üçün Yoxlama Siyahısı, Statistika Hollandiya, Haaqa/Heerlen

Dorfman, Mark S. (2007), Introduction to Risk Management (e ed.), Cambridge, UK, Woodhead-Faulkner, s. 18, ISBN 0-85941-332-22)

Eurostat (2014), "Qeyri-rəsmi mənbələrdən statistik məlumatların akkreditasiya proseduru" İnformasiya cəmiyyətinin və digər statistik məlumatların toplanması üçün İnternetdən istifadə üçün Metodologiyaların Təhlili, www.cros-portal.eu/content/analysismethodologies-using-internet-collection-information-society-and-other-statistics-1

Reimsbach-Kounatze, C. (2015), “The Proliferation of “Big Data” and implications for Rəsmi Statistika və Statistika Agentlikləri: İlkin Təhlil”, OECD Digital Economy Papers, No. 245, OECD Nəşriyyatı. dx.doi.org/10.1787/5js7t9wqzvg8-en

Reis, F., Ferreira, P., Perduca, V. (2014) “Rəsmi statistik göstəricilərin vaxt qrafiklərini artırmaq üçün internet fəaliyyəti sübutlarından istifadə”, IAOS 2014 konfransında təqdim olunan məqalə, iaos2014.gso.gov.vn/document/reis1.p1.v1.docx

Riskləri açıq şəkildə qeyd etməsə belə, bu sənəd əslində rəsmi statistika üçün veb-fəaliyyət məlumatlarının istifadəsi ilə bağlı çoxsaylı risklərə yaxınlaşır. Eurostat (2007), Məlumatların Keyfiyyətinin Qiymətləndirilməsi Metodları və Alətləri üzrə Təlimatlar, ec.europa.eu/eurostat/documents/64157/4373903/05-Handbook-ondata-quality-assessment-methods-and-tools.pdf/c8bbb146-4d59-4a69-b7c4-218c43952214

Mənbə: www.habr.com