Hey Habr!
Data minangka aset perusahaan sing paling larang. Meh saben perusahaan kanthi fokus digital nyatakake iki. Pancen angel mbantah iki: ora ana konferensi IT utama sing dianakake tanpa mbahas pendekatan kanggo ngatur, nyimpen lan ngolah data.
Data teka saka njaba, uga digawe ing perusahaan, lan yen kita ngomong babagan data saka perusahaan telekomunikasi, mula kanggo karyawan internal iki minangka gudang informasi babagan klien, kapentingan, kabiasaan, lan lokasi. Kanthi profil lan segmentasi sing tepat, tawaran iklan paling efektif. Nanging, ing laku, ora kabeh dadi rosy. Data sing disimpen perusahaan bisa uga wis ketinggalan jaman, keluwih, bola-bali, utawa ora dingerteni sapa wae kajaba bunder pangguna sing sempit. ¯_(ツ)_/¯
Ing tembung, data kudu dikelola kanthi efektif - mung banjur bakal dadi aset sing nggawa keuntungan lan bathi nyata kanggo bisnis. Sayange, ngrampungake masalah manajemen data mbutuhake ngatasi akeh kerumitan. Iki utamane amarga warisan sejarah ing bentuk "kebun binatang" sistem lan kekurangan proses lan pendekatan sing manunggal kanggo manajemen. Nanging apa tegese dadi "data mimpin"?
Iki persis apa sing bakal kita omongake ing ngisor iki, uga carane tumpukan opensource mbantu kita.
Konsep manajemen data strategis Data Governance (DG) wis cukup dikenal ing pasar Rusia, lan tujuan sing digayuh bisnis minangka asil implementasine jelas lan jelas. Perusahaan kita ora ana sing istiméwa lan nyetel dhewe tugas kanggo ngenalake konsep manajemen data.
Dadi ing ngendi kita miwiti? Kanggo miwiti, kita nggawe tujuan utama kanggo awake dhewe:
- Tansah data kita bisa diakses.
- Njamin transparansi siklus urip data.
- Nyedhiyani pangguna perusahaan kanthi data sing konsisten lan konsisten.
- Nyedhiyani pangguna perusahaan data sing wis diverifikasi.
Saiki, ana puluhan alat kelas Data Governance ing pasar piranti lunak.
Nanging sawise analisa rinci lan sinau babagan solusi kasebut, kita nyathet sawetara komentar kritis kanggo awake dhewe:
- Umume manufaktur nawakake solusi lengkap, sing kanggo kita keluwih lan nggawe duplikat fungsi sing wis ana. Kajaba iku, larang saka segi sumber daya, integrasi menyang lanskap IT saiki.
- Fungsi lan antarmuka dirancang kanggo teknologi, dudu pangguna pungkasan bisnis.
- Tingkat kaslametan produk sing kurang lan kurang implementasine sukses ing pasar Rusia.
- Biaya piranti lunak sing dhuwur lan dhukungan luwih lanjut.
Kritéria lan rekomendasi sing diucapake ing ndhuwur babagan substitusi impor piranti lunak kanggo perusahaan Rusia nggawe percoyo kita maju menyang pangembangan dhewe ing tumpukan opensource. Platform sing kita pilih yaiku Django, kerangka sumber gratis lan mbukak sing ditulis nganggo Python. Mangkono, kita wis nemtokake modul utama sing bakal menehi kontribusi kanggo tujuan kasebut ing ndhuwur:
- Register saka laporan.
- Glosarium bisnis.
- Modul kanggo njlentrehake transformasi teknis.
- Modul kanggo njlentrehake siklus urip data saka sumber menyang alat BI.
- Modul kontrol kualitas data.
Register saka laporan
Miturut asil panaliten internal ing perusahaan gedhe, nalika ngrampungake masalah sing gegandhengan karo data, karyawan nglampahi 40-80% wektu kanggo nggoleki. Mulane, kita nemtokake tugas kanggo nggawe informasi mbukak babagan laporan sing ana sing sadurunge mung kasedhiya kanggo pelanggan. Mangkono, kita nyuda wektu kanggo ngasilake laporan anyar lan njamin demokratisasi data.
Register pelaporan wis dadi jendela laporan tunggal kanggo pangguna internal saka macem-macem wilayah, departemen, lan divisi. Iki nggabungake informasi babagan layanan informasi sing digawe ing sawetara repositori perusahaan perusahaan, lan ana akeh ing Rostelecom.
Nanging registri ora mung dhaptar garing saka laporan sing dikembangake. Kanggo saben laporan, kita nyedhiyakake informasi sing dibutuhake supaya pangguna bisa ngerti:
- gambaran ringkes saka laporan;
- ambane kasedhiyan data;
- segmen pelanggan;
- alat visualisasi;
- jeneng panyimpenan perusahaan;
- syarat fungsional bisnis;
- pranala menyang laporan;
- link menyang aplikasi kanggo akses;
- status implementasine.
Analitik tingkat panggunaan kasedhiya kanggo laporan, lan laporan ana ing ndhuwur dhaptar adhedhasar analytics log adhedhasar jumlah pangguna unik. Lan ora iku. Saliyane karakteristik umum, kita uga menehi katrangan rinci babagan komposisi atribut laporan kanthi conto nilai lan metode pitungan. Rincian kasebut langsung menehi pangguna jawaban apa laporan kasebut migunani kanggo dheweke utawa ora.
Pangembangan modul iki minangka langkah penting ing demokratisasi data lan nyuda wektu sing dibutuhake kanggo nemokake informasi sing dibutuhake. Saliyane nyuda wektu telusuran, jumlah panjaluk menyang tim dhukungan kanggo menehi konsultasi uga wis suda. Sampeyan ora bisa nyathet asil migunani liyane sing digayuh kanthi ngembangake registrasi laporan gabungan - nyegah pangembangan laporan duplikat kanggo unit struktural sing beda.
Glosarium bisnis
Sampeyan kabeh ngerti manawa ing perusahaan sing padha, bisnis nganggo basa sing beda. Ya, padha nggunakake istilah sing padha, nanging tegese beda. Glosarium bisnis dirancang kanggo ngatasi masalah iki.
Kanggo kita, glosarium bisnis ora mung buku referensi kanthi deskripsi istilah lan metodologi pitungan. Iki minangka lingkungan lengkap kanggo ngembangake, nyetujoni lan nyetujoni terminologi, mbangun hubungan antarane istilah lan aset informasi liyane saka perusahaan. Sadurunge ngetik glosarium bisnis, istilah kudu ngliwati kabeh tahap persetujuan karo pelanggan bisnis lan pusat kualitas data. Mung sawise iki kasedhiya kanggo digunakake.
Nalika aku nulis ing ndhuwur, keunikan alat iki yaiku ngidini sambungan saka tingkat istilah bisnis menyang laporan pangguna tartamtu sing digunakake, uga tingkat obyek database fisik.
Iki bisa ditindakake kanthi nggunakake pengenal istilah glosarium ing katrangan rinci babagan laporan registri lan deskripsi obyek basis data fisik.
Saiki, luwih saka 4000 istilah wis ditetepake lan disepakati ing Glosarium. Panggunaan kasebut nyederhanakake lan nyepetake pangolahan panjaluk sing mlebu kanggo owah-owahan ing sistem informasi perusahaan. Yen indikator sing dibutuhake wis dileksanakake ing laporan apa wae, pangguna bakal langsung ndeleng sakumpulan laporan sing wis siap digunakake ing endi indikator iki digunakake, lan bakal bisa mutusake nggunakake efektif maneh fungsi sing ana utawa modifikasi minimal, tanpa miwiti. panjalukan anyar kanggo pangembangan laporan anyar.
Modul kanggo njlentrehake transformasi teknis lan DataLineage
Apa modul iki, sampeyan takon? Iku ora cukup kanggo mung ngleksanakake Report Register lan Glosarium; iku uga perlu kanggo lemah kabeh istilah bisnis ing model database fisik. Mangkono, kita bisa ngrampungake proses mbentuk siklus urip data saka sistem sumber menyang visualisasi BI liwat kabeh lapisan gudang data. Ing tembung liyane, mbangun DataLineage.
Kita ngembangake antarmuka adhedhasar format sing digunakake sadurunge ing perusahaan kanggo njlèntrèhaké aturan lan logika transformasi data. Informasi sing padha dilebokake liwat antarmuka kaya sadurunge, nanging definisi istilah pengenal saka glosarium bisnis wis dadi prasyarat. Iki carane kita mbangun sambungan antarane bisnis lan lapisan fisik.
Sapa sing butuh? Apa sing salah karo format lawas sing sampeyan kerjo pirang-pirang taun? Pira biaya tenaga kerja kanggo ngasilake syarat tambah? Kita kudu nangani pitakonan kasebut sajrone implementasine alat kasebut. Jawaban ing kene cukup prasaja - kita kabeh butuh iki, kantor data perusahaan lan pangguna.
Pancen, karyawan kudu adaptasi; ing wiwitan, iki nyebabake kenaikan biaya tenaga kerja kanggo nyiapake dokumentasi, nanging kita wis ngrampungake masalah iki. Laku, ngenali lan ngoptimalake wilayah masalah wis rampung tugase. Kita wis entuk sing utama - kita wis nambah kualitas syarat sing dikembangake. Kothak wajib, buku referensi manunggal, topeng input, pamriksa sing dibangun - kabeh iki bisa ningkatake kualitas deskripsi transformasi kanthi signifikan. Kita ngalih saka praktik nyerahake skrip minangka syarat pangembangan lan nuduhake kawruh sing mung kasedhiya kanggo tim pangembangan. Basis data metadata sing digawe kanthi signifikan nyuda wektu sing dibutuhake kanggo nganakake analisis regresi lan menehi kemampuan kanggo ngevaluasi kanthi cepet pengaruh owah-owahan ing lapisan lanskap IT (laporan pertunjukan, agregat, sumber).
Apa hubungane karo pangguna biasa laporan, apa keuntungane? Thanks kanggo kemampuan kanggo mbangun DataLineage, pangguna kita, sanajan sing adoh saka SQL lan basa pamrograman liyane, kanthi cepet nampa informasi babagan sumber lan obyek kanthi basis laporan tartamtu.
Modul Kontrol Kualitas Data
Kabeh sing diomongake ing ndhuwur babagan njamin transparansi data ora penting tanpa mangerteni yen data sing diwenehake marang pangguna bener. Salah sawijining modul penting ing konsep Tata Kelola Data yaiku modul kontrol kualitas data.
Ing tataran saiki, iki minangka katalog pamriksa kanggo entitas sing dipilih. Tujuan langsung kanggo pangembangan produk yaiku nggedhekake dhaptar pamriksa lan nggabungake karo registri pelapor.
Apa bakal menehi lan kanggo sapa? Pangguna pungkasan registri bakal duwe akses menyang informasi babagan tanggal sing direncanakake lan nyata saka kesiapan laporan, asil pamriksan sing wis rampung kanthi dinamika, lan informasi babagan sumber sing dimuat ing laporan kasebut.
Kanggo kita, modul kualitas data sing digabungake ing proses kerja yaiku:
- Tatanan cepet saka pangarepan pelanggan.
- Nggawe keputusan babagan panggunaan data luwih lanjut.
- Entuk set titik masalah awal ing tahap awal kerja kanggo pangembangan kontrol kualitas biasa.
Mesthi, iki minangka langkah pisanan kanggo mbangun proses manajemen data sing lengkap. Nanging kita yakin manawa mung kanthi sengaja nindakake pakaryan iki, kanthi aktif ngenalake alat Data Governance menyang proses kerja, kita bakal menehi konten informasi marang klien, tingkat kepercayaan sing dhuwur ing data, transparansi ing panrimo lan nambah kacepetan peluncuran. fungsi anyar.
Tim DataOffice
Source: www.habr.com