Hai Habr!
Data ialah aset syarikat yang paling berharga. Hampir setiap syarikat digital mendakwa ini. Sukar untuk berhujah dengan ini: tiada satu pun persidangan IT utama diadakan tanpa membincangkan pendekatan untuk mengurus, menyimpan dan memproses data.
Data datang kepada kami dari luar, ia juga dijana dalam syarikat, dan jika kita bercakap tentang data dari syarikat telekomunikasi, maka untuk pekerja dalaman ini adalah gudang maklumat tentang pelanggan, minat, tabiat dan lokasinya. Dengan pemprofilan dan pembahagian yang betul, tawaran pengiklanan adalah paling berkesan. Walau bagaimanapun, dalam amalan, tidak semuanya begitu cerah. Data yang disimpan oleh syarikat mungkin sudah lapuk, berlebihan, berulang, atau kewujudannya tidak diketahui sesiapa kecuali kalangan pengguna yang sempit. ¯_(ツ)_/¯
Pendek kata, data mesti diurus dengan berkesan - barulah ia akan menjadi aset yang membawa faedah dan keuntungan sebenar kepada perniagaan. Malangnya, menyelesaikan isu pengurusan data memerlukan mengatasi banyak kerumitan. Ini disebabkan terutamanya oleh kedua-dua warisan sejarah dalam bentuk "zoo" sistem dan kekurangan proses dan pendekatan bersatu untuk pengurusan mereka. Tetapi apakah yang dimaksudkan dengan "didorong data"?
Inilah yang akan kami bincangkan di bawah pemotongan, serta bagaimana timbunan sumber terbuka membantu kami.
Konsep pengurusan data strategik Tadbir Urus Data (DG) sudah cukup terkenal di pasaran Rusia, dan matlamat yang dicapai oleh perniagaan hasil daripada pelaksanaannya adalah jelas dan jelas diisytiharkan. Syarikat kami tidak terkecuali dan menetapkan sendiri tugas untuk memperkenalkan konsep pengurusan data.
Jadi di mana kita bermula? Sebagai permulaan, kami membentuk matlamat utama untuk diri kami sendiri:
- Pastikan data kami boleh diakses.
- Pastikan ketelusan kitaran hayat data.
- Menyediakan pengguna syarikat dengan data yang konsisten dan konsisten.
- Sediakan pengguna syarikat dengan data yang disahkan.
Hari ini, terdapat sedozen alat kelas Tadbir Urus Data di pasaran perisian.
Tetapi selepas analisis terperinci dan kajian penyelesaian, kami merekodkan beberapa komen kritikal untuk diri kami sendiri:
- Kebanyakan pengeluar menawarkan set penyelesaian yang komprehensif, yang bagi kami adalah berlebihan dan menduplikasi kefungsian sedia ada. Selain itu, mahal dari segi sumber, integrasi ke dalam landskap IT semasa.
- Fungsi dan antara muka direka untuk ahli teknologi, bukan pengguna akhir perniagaan.
- Kadar survival produk yang rendah dan kekurangan pelaksanaan yang berjaya di pasaran Rusia.
- Kos perisian yang tinggi dan sokongan selanjutnya.
Kriteria dan cadangan yang disuarakan di atas mengenai penggantian import perisian untuk syarikat Rusia meyakinkan kami untuk bergerak ke arah pembangunan kami sendiri pada timbunan sumber terbuka. Platform yang kami pilih ialah Django, rangka kerja sumber bebas dan terbuka yang ditulis dalam Python. Oleh itu, kami telah mengenal pasti modul utama yang akan menyumbang kepada matlamat yang dinyatakan di atas:
- Daftar laporan.
- Glosari perniagaan.
- Modul untuk menerangkan transformasi teknikal.
- Modul untuk menerangkan kitaran hayat data daripada sumber kepada alat BI.
- Modul kawalan kualiti data.
Daftar laporan
Menurut hasil kajian dalaman di syarikat besar, apabila menyelesaikan masalah berkaitan data, pekerja menghabiskan 40-80% masa mereka mencari mereka. Oleh itu, kami menetapkan sendiri tugas untuk membuat maklumat terbuka tentang laporan sedia ada yang sebelum ini hanya tersedia kepada pelanggan. Oleh itu, kami mengurangkan masa untuk menjana laporan baharu dan memastikan pendemokrasian data.
Daftar pelaporan telah menjadi satu tetingkap pelaporan untuk pengguna dalaman dari pelbagai wilayah, jabatan dan bahagian. Ia menyatukan maklumat mengenai perkhidmatan maklumat yang dibuat dalam beberapa repositori korporat syarikat, dan terdapat banyak daripada mereka di Rostelecom.
Tetapi pendaftaran bukan sekadar senarai kering laporan yang dibangunkan. Untuk setiap laporan, kami menyediakan maklumat yang diperlukan untuk pengguna membiasakan diri dengannya:
- penerangan ringkas laporan;
- kedalaman ketersediaan data;
- segmen pelanggan;
- alat visualisasi;
- nama storan korporat;
- keperluan fungsi perniagaan;
- pautan kepada laporan;
- pautan ke aplikasi untuk akses;
- status pelaksanaan.
Analitis tahap penggunaan tersedia untuk laporan dan laporan disenaraikan di bahagian atas senarai berdasarkan analitik log berdasarkan bilangan pengguna unik. Dan bukan itu sahaja. Sebagai tambahan kepada ciri umum, kami juga telah memberikan penerangan terperinci tentang komposisi atribut laporan dengan contoh nilai dan kaedah pengiraan. Perincian sedemikian serta-merta memberikan pengguna jawapan sama ada laporan itu berguna untuknya atau tidak.
Pembangunan modul ini merupakan langkah penting dalam pendemokrasian data dan dengan ketara mengurangkan masa yang diperlukan untuk mencari maklumat yang diperlukan. Selain mengurangkan masa carian, bilangan permintaan kepada pasukan sokongan untuk memberikan perundingan juga telah berkurangan. Adalah mustahil untuk tidak melihat satu lagi hasil berguna yang kami capai dengan membangunkan daftar laporan bersatu - menghalang pembangunan laporan pendua untuk unit struktur yang berbeza.
Glosari perniagaan
Anda semua tahu bahawa walaupun dalam syarikat yang sama, perniagaan bercakap bahasa yang berbeza. Ya, mereka menggunakan istilah yang sama, tetapi mereka bermaksud perkara yang sama sekali berbeza. Glosari perniagaan direka untuk menyelesaikan masalah ini.
Bagi kami, glosari perniagaan bukan sekadar buku rujukan dengan penerangan tentang istilah dan metodologi pengiraan. Ini adalah persekitaran yang lengkap untuk membangun, bersetuju dan meluluskan istilah, membina hubungan antara syarat dan aset maklumat lain syarikat. Sebelum memasuki glosari perniagaan, sesuatu istilah mesti melalui semua peringkat kelulusan dengan pelanggan perniagaan dan pusat kualiti data. Hanya selepas ini ia tersedia untuk digunakan.
Seperti yang saya tulis di atas, keunikan alat ini ialah ia membenarkan sambungan dari peringkat istilah perniagaan kepada laporan pengguna tertentu di mana ia digunakan, serta ke tahap objek pangkalan data fizikal.
Ini dimungkinkan melalui penggunaan pengecam istilah glosari dalam penerangan terperinci laporan pendaftaran dan penerangan objek pangkalan data fizikal.
Pada masa ini, lebih daripada 4000 istilah telah ditakrifkan dan dipersetujui dalam Glosari. Penggunaannya memudahkan dan mempercepatkan pemprosesan permintaan masuk untuk perubahan dalam sistem maklumat syarikat. Jika penunjuk yang diperlukan telah dilaksanakan dalam mana-mana laporan, maka pengguna akan segera melihat satu set laporan siap sedia di mana penunjuk ini digunakan, dan akan dapat memutuskan penggunaan semula fungsi sedia ada yang berkesan atau pengubahsuaian minimumnya, tanpa memulakan permintaan baharu untuk pembangunan laporan baharu.
Modul untuk menerangkan transformasi teknikal dan DataLineage
Apakah modul ini, anda bertanya? Ia tidak mencukupi untuk hanya melaksanakan Daftar Laporan dan Glosari; ia juga perlu untuk membumikan semua istilah perniagaan pada model pangkalan data fizikal. Oleh itu, kami dapat menyelesaikan proses membentuk kitaran hayat data daripada sistem sumber kepada visualisasi BI melalui semua lapisan gudang data. Dengan kata lain, bina DataLineage.
Kami membangunkan antara muka berdasarkan format yang digunakan sebelum ini dalam syarikat untuk menerangkan peraturan dan logik transformasi data. Maklumat yang sama dimasukkan melalui antara muka seperti sebelum ini, tetapi takrif istilah pengecam daripada glosari perniagaan telah menjadi prasyarat. Beginilah cara kami membina hubungan antara perniagaan dan lapisan fizikal.
Siapa yang memerlukannya? Apakah yang salah dengan format lama yang anda gunakan selama beberapa tahun? Berapakah kos buruh untuk keperluan penjanaan meningkat? Kami terpaksa menangani soalan sedemikian semasa pelaksanaan alat tersebut. Jawapan di sini agak mudah - kita semua memerlukan ini, pejabat data syarikat kami dan pengguna kami.
Memang, pekerja terpaksa menyesuaikan diri; pada mulanya, ini membawa kepada sedikit peningkatan dalam kos buruh untuk menyediakan dokumentasi, tetapi kami menyelesaikan isu ini. Berlatih, mengenal pasti dan mengoptimumkan kawasan masalah telah melaksanakan tugas mereka. Kami telah mencapai perkara utama - kami telah meningkatkan kualiti keperluan yang dibangunkan. Medan wajib, buku rujukan bersatu, topeng input, semakan terbina dalam - semua ini memungkinkan untuk meningkatkan kualiti perihalan transformasi dengan ketara. Kami beralih daripada amalan menyerahkan skrip sebagai keperluan pembangunan dan berkongsi pengetahuan yang hanya tersedia untuk pasukan pembangunan. Pangkalan data metadata yang dijana mengurangkan dengan ketara masa yang diperlukan untuk menjalankan analisis regresi dan menyediakan keupayaan untuk menilai dengan cepat kesan perubahan pada mana-mana lapisan landskap IT (laporan pameran, agregat, sumber).
Apakah kaitan ini dengan pengguna biasa laporan, apakah kelebihan untuk mereka? Terima kasih kepada keupayaan untuk membina DataLineage, pengguna kami, walaupun mereka yang jauh dari SQL dan bahasa pengaturcaraan lain, dengan cepat menerima maklumat tentang sumber dan objek berdasarkan laporan tertentu yang dihasilkan.
Modul Kawalan Kualiti Data
Semua yang kami bincangkan di atas dari segi memastikan ketelusan data tidak penting tanpa memahami bahawa data yang kami berikan kepada pengguna adalah betul. Salah satu modul penting dalam konsep Tadbir Urus Data kami ialah modul kawalan kualiti data.
Pada peringkat semasa, ini ialah katalog semakan untuk entiti terpilih. Matlamat segera untuk pembangunan produk adalah untuk mengembangkan senarai semakan dan disepadukan dengan pendaftaran pelaporan.
Apa yang akan diberikan dan kepada siapa? Pengguna akhir pendaftaran akan mempunyai akses kepada maklumat tentang tarikh kesediaan laporan yang dirancang dan sebenar, hasil pemeriksaan lengkap dengan dinamik, dan maklumat tentang sumber yang dimuatkan ke dalam laporan.
Bagi kami, modul kualiti data yang disepadukan ke dalam proses kerja kami ialah:
- Pembentukan segera jangkaan pelanggan.
- Membuat keputusan mengenai penggunaan data selanjutnya.
- Mendapatkan set awal titik masalah pada peringkat awal kerja untuk pembangunan kawalan kualiti biasa.
Sudah tentu, ini adalah langkah pertama dalam membina proses pengurusan data yang lengkap. Tetapi kami yakin bahawa hanya dengan sengaja melakukan kerja ini, secara aktif memperkenalkan alat Tadbir Urus Data ke dalam proses kerja, kami akan menyediakan pelanggan kami kandungan maklumat, tahap kepercayaan yang tinggi terhadap data, ketelusan dalam penerimaan mereka dan meningkatkan kelajuan pelancaran. fungsi baharu.
Pasukan DataOffice
Sumber: www.habr.com