Héy Habr!
Data mangrupikeun aset perusahaan anu paling berharga. Ampir unggal perusahaan sareng fokus digital nyatakeun ieu. Hésé pikeun ngabantah ieu: teu aya konferensi IT utama tunggal anu dilaksanakeun tanpa ngabahas pendekatan pikeun ngatur, nyimpen sareng ngolah data.
Data datang ka urang ti luar, éta ogé dihasilkeun dina parusahaan, sarta lamun urang ngobrol ngeunaan data ti parusahaan Telecom, pikeun karyawan internal ieu gudang informasi ngeunaan klien, kapentingan na, kabiasaan, jeung lokasi. Kalayan profil sareng segmentasi anu leres, nawaran pariwara paling efektif. Sanajan kitu, dina prakna, teu sagalana jadi rosy. Data nu disimpen pausahaan bisa jadi asa tinggaleun jaman, kaleuleuwihan, repetitive, atawa ayana teu kanyahoan saha iwal bunderan sempit pamaké. ¯_(ツ)_/¯
Dina kecap, data kedah dikokolakeun sacara efektif - ngan teras éta bakal janten aset anu mawa kauntungan sareng kauntungan nyata pikeun bisnis. Hanjakal, ngarengsekeun masalah manajemén data merlukeun overcoming cukup loba complexities. Éta utamina kusabab warisan sajarah dina bentuk "kebon binatang" sistem sareng kurangna prosés ngahijikeun sareng pendekatan kana manajeménna. Tapi naon hartosna janten "data disetir"?
Ieu persis naon urang bakal ngobrol ngeunaan handapeun cut, kitu ogé kumaha tumpukan opensource mantuan kami.
Konsep manajemén data strategis Data Governance (DG) geus cukup dipikawanoh di pasar Rusia, sarta tujuan anu dihontal ku bisnis salaku hasil tina palaksanaan na jelas tur jelas nyatakeun. Pausahaan kami henteu aya pengecualian sareng nyetél tugasna pikeun ngenalkeun konsép manajemén data.
Janten dimana urang ngamimitian? Pikeun mimitian, urang ngawangun tujuan konci pikeun diri urang sorangan:
- Tetep data urang diaksés.
- Mastikeun transparansi daur hirup data.
- Nyadiakeun pamaké perusahaan kalawan konsisten, data konsisten.
- Nyadiakeun pamaké perusahaan sareng data anu diverifikasi.
Kiwari, aya belasan parabot kelas Data Governance dina pasar software.
Tapi saatos analisa lengkep sareng ngulik solusi, kami ngarékam sababaraha koméntar kritis pikeun diri urang sorangan:
- Kaseueuran pabrik nawiskeun sakumpulan solusi anu komprehensif, anu pikeun urang kaleuleuwihan sareng duplikat fungsionalitas anu tos aya. Tambih Deui, mahal dina hal sumberdaya, integrasi kana bentang IT ayeuna.
- Fungsionalitas sareng antarmuka dirarancang pikeun téknologi, sanés pangguna tungtung bisnis.
- Laju survival low produk jeung kurangna palaksanaan suksés di pasar Rusia.
- Biaya luhur parangkat lunak sareng dukungan salajengna.
Kriteria sareng saran anu disada di luhur ngeunaan substitusi impor parangkat lunak pikeun perusahaan Rusia ngayakinkeun urang pikeun ngalih ka arah pangwangunan sorangan dina tumpukan opensource. Platform anu kami pilih nyaéta Django, kerangka gratis sareng open source anu ditulis dina Python. Ku kituna kami geus ngaidentifikasi modul konci anu bakal nyumbang kana tujuan nu disebutkeun di luhur:
- Ngadaptar laporan.
- Glosarium bisnis.
- Modul pikeun ngajelaskeun transformasi téknis.
- Modul pikeun ngajéntrékeun daur hirup data tina sumber ka alat BI.
- modul kontrol kualitas data.
Ngadaptar laporan
Numutkeun hasil panilitian internal di perusahaan ageung, nalika ngarengsekeun masalah anu aya hubunganana sareng data, karyawan nyéépkeun 40-80% waktos milarianana. Ku alatan éta, urang nangtukeun sorangan tugas nyieun informasi kabuka ngeunaan laporan aya nu saméméhna ngan sadia pikeun konsumén. Ku kituna, urang ngurangan waktu keur ngahasilkeun laporan anyar jeung mastikeun demokratisasi data.
Daptar ngalaporkeun parantos janten jandela ngalaporkeun tunggal pikeun pangguna internal tina sababaraha daérah, departemén, sareng divisi. Éta ngahijikeun inpormasi ngeunaan jasa inpormasi anu didamel dina sababaraha gudang perusahaan perusahaan, sareng seueur di antarana di Rostelecom.
Tapi pendaptaran henteu ngan daptar garing laporan dimekarkeun. Pikeun unggal laporan, kami nyayogikeun inpormasi anu dipikabutuh pikeun pangguna pikeun familiarize diri sareng éta:
- pedaran ringkes laporan;
- jero kasadiaan data;
- bagean konsumén;
- alat visualisasi;
- ngaran gudang perusahaan;
- syarat fungsional bisnis;
- link ka laporan;
- link ka aplikasi pikeun aksés;
- status palaksanaan.
Analisis tingkat pamakean sayogi pikeun laporan, sareng laporan rengking di luhur daptar dumasar kana analitik log dumasar kana jumlah pangguna unik. Sareng sanés éta. Salian ciri umum, kami ogé nyayogikeun pedaran lengkep ngeunaan komposisi atribut laporan kalayan conto nilai sareng metode itungan. Detil sapertos langsung masihan pangguna jawaban naha laporan éta mangpaat pikeun anjeunna atanapi henteu.
Ngembangkeun modul ieu mangrupa hambalan penting dina demokratisasi data sarta nyata ngurangan waktu nu diperlukeun pikeun manggihan informasi diperlukeun. Salian ngurangan waktu pilarian, jumlah requests ka tim rojongan pikeun nyadiakeun consultations ogé geus turun. Teu mungkin mun teu catetan hasil sejen mangpaat nu urang kahontal ku ngamekarkeun register hasil ngahijikeun Tatar laporan - nyegah ngembangkeun duplikat laporan pikeun unit struktural béda.
Glosarium bisnis
Anjeun sadayana terang yén sanajan dina perusahaan anu sami, usaha nyarios basa anu béda. Leres, aranjeunna nganggo istilah anu sami, tapi hartosna béda-béda. Glosarium bisnis dirancang pikeun ngajawab masalah ieu.
Pikeun kami, glosarium bisnis sanés ngan ukur buku rujukan kalayan pedaran istilah sareng metodologi itungan. Ieu mangrupikeun lingkungan anu pinuh pikeun ngembangkeun, satuju sareng nyatujuan terminologi, ngawangun hubungan antara istilah sareng aset inpormasi sanés perusahaan. Sateuacan ngalebetkeun glosarium bisnis, hiji istilah kedah ngalangkungan sadaya tahapan persetujuan sareng palanggan bisnis sareng pusat kualitas data. Ngan saatos ieu tiasa dianggo.
Salaku I wrote luhur, nu uniqueness tina alat ieu nya éta ngamungkinkeun sambungan ti tingkat istilah bisnis ka laporan pamaké husus nu dipaké, kitu ogé ka tingkat objék database fisik.
Hal ieu dimungkinkeun ngaliwatan pamakéan istilah glosarium identifiers dina pedaran lengkep ngeunaan laporan pendaptaran jeung pedaran objék database fisik.
Ayeuna, langkung ti 4000 istilah parantos ditetepkeun sareng disatujuan dina Glosarium. Pamakéanna nyederhanakeun sareng nyepetkeun pamrosésan pamenta anu asup pikeun parobahan dina sistem inpormasi perusahaan. Upami indikator anu diperyogikeun parantos dilaksanakeun dina laporan naon waé, maka pangguna bakal langsung ningali sakumpulan laporan anu siap-siap dimana indikator ieu dianggo, sareng bakal tiasa mutuskeun dina ngagunakeun deui fungsionalitas anu aya atanapi modifikasi minimalna, tanpa ngamimitian. requests anyar pikeun ngembangkeun laporan anyar.
Modul pikeun ngajelaskeun transformasi téknis sareng DataLineage
Naon modul ieu, anjeun naros? Teu cukup ngan saukur nerapkeun Laporan Register na Glosarium; éta ogé diperlukeun pikeun grounds sagala istilah bisnis dina model database fisik. Ku kituna, urang tiasa ngalengkepan prosés ngabentuk siklus hirup data tina sistem sumber ka visualisasi BI ngaliwatan sakabéh lapisan gudang data. Dina basa sejen, ngawangun DataLineage.
Urang ngembangkeun hiji panganteur dumasar kana format dipaké saméméhna di parusahaan keur ngajelaskeun aturan jeung logika transformasi data. Inpormasi anu sami diasupkeun ngaliwatan antarmuka sapertos sateuacana, tapi definisi istilah identifier tina glosarium bisnis parantos janten syarat. Ieu kumaha urang ngawangun sambungan antara bisnis jeung lapisan fisik.
Saha anu peryogi? Naon anu lepat sareng format lami anu anjeun damel sababaraha taun? Sabaraha biaya tanaga gawé pikeun ngahasilkeun sarat ningkat? Urang kedah nungkulan patarosan sapertos nalika palaksanaan alat. Jawaban di dieu cukup saderhana - urang sadayana peryogi ieu, kantor data perusahaan sareng pangguna urang.
Mémang, para karyawan kedah adaptasi; mimitina, ieu nyababkeun kanaékan sakedik biaya tenaga kerja pikeun nyiapkeun dokuméntasi, tapi urang nyortir masalah ieu. Prakték, ngaidentipikasi sareng ngaoptimalkeun daérah masalah parantos ngalaksanakeun tugasna. Kami parantos ngahontal hal utama - kami parantos ningkatkeun kualitas sarat anu dikembangkeun. Widang wajib, buku rujukan ngahijikeun, masker input, cék anu diwangun - sadayana ieu ngamungkinkeun pikeun sacara signifikan ningkatkeun kualitas déskripsi transformasi. Urang dipindahkeun jauh ti prakték handing leuwih naskah salaku sarat ngembangkeun sarta pangaweruh dibagikeun nu ngan sadia pikeun tim ngembangkeun. Basis data metadata anu dihasilkeun sacara signifikan ngirangan waktos anu diperyogikeun pikeun ngalaksanakeun analisa régrési sareng nyayogikeun kamampuan pikeun gancang meunteun dampak parobahan dina lapisan mana waé bentang IT (laporan showcase, agrégat, sumber).
Naon hubunganana sareng pangguna laporan biasa, naon kauntungan pikeun aranjeunna? Hatur nuhun kana kamampuan ngawangun DataLineage, pangguna urang, bahkan anu jauh tina SQL sareng basa pamrograman anu sanés, gancang nampi inpormasi ngeunaan sumber sareng objék dumasar kana laporan anu khusus dibangkitkeun.
Modul Kontrol Kualitas Data
Sadayana anu urang bahas di luhur dina hal mastikeun transparansi data henteu penting tanpa ngartos yén data anu kami pasihan ka pangguna leres. Salah sahiji modul penting tina konsép Data Governance urang nyaéta modul kontrol kualitas data.
Dina tahap ayeuna, ieu mangrupikeun katalog cek pikeun éntitas anu dipilih. Tujuan langsung pikeun pamekaran produk nyaéta rék dilegakeun daptar cék sareng ngahijikeun sareng pendaptaran ngalaporkeun.
Naon anu bakal masihan sareng ka saha? Pamaké ahir pendaptaran bakal boga aksés ka informasi ngeunaan tanggal rencanana tur sabenerna kesiapan laporan, hasil cék réngsé kalawan dinamika, sarta informasi dina sumber dimuat kana laporan.
Pikeun kami, modul kualitas data terpadu kana prosés gawé urang nyaéta:
- Wangunan ajakan ekspektasi customer.
- Nyieun kaputusan ngeunaan pamakéan salajengna data.
- Kéngingkeun set awal titik masalah dina tahap awal padamelan pikeun ngembangkeun kadali kualitas biasa.
Tangtosna, ieu mangrupikeun léngkah munggaran dina ngawangun prosés manajemén data anu lengkep. Tapi kami yakin yén ngan ukur ku ngahaja ngalakukeun padamelan ieu, aktip ngenalkeun alat Data Governance kana prosés padamelan, kami bakal nyayogikeun kontén inpormasi ka klien kami, tingkat kapercayaan anu luhur dina data, transparansi dina resi sareng ningkatkeun kagancangan peluncuran. fungsionalitas anyar.
Tim DataOffice
sumber: www.habr.com