Ey Habr!
Veriler bir şirketin en değerli varlığıdır. Hemen hemen her dijital şirket bunu iddia ediyor. Bununla tartışmak zor: Verilerin yönetilmesi, saklanması ve işlenmesine yönelik yaklaşımlar tartışılmadan tek bir büyük BT konferansı düzenlenmiyor.
Veriler bize dışarıdan geliyor, aynı zamanda şirket içinde de üretiliyor ve bir telekomünikasyon şirketinden gelen verilerden bahsedersek, o zaman iç çalışanlar için burası müşteri, onun ilgi alanları, alışkanlıkları ve konumu hakkında bir bilgi deposudur. Doğru profil oluşturma ve segmentasyonla reklam teklifleri en etkili olanıdır. Ancak pratikte her şey o kadar da pembe değil. Şirketlerin sakladığı veriler son derece güncelliğini yitirmiş, gereksiz, tekrarlı olabilir veya varlığı dar bir kullanıcı çevresi dışında hiç kimse tarafından bilinmiyor olabilir. ¯_(ツ)_/¯
Tek kelimeyle, veriler etkili bir şekilde yönetilmelidir; ancak o zaman işletmeye gerçek faydalar ve kâr getiren bir varlık haline gelecektir. Ne yazık ki veri yönetimi sorunlarını çözmek, pek çok karmaşıklığın üstesinden gelmeyi gerektiriyor. Bunlar esas olarak hem sistemlerin “hayvanat bahçeleri” biçimindeki tarihsel mirastan hem de bunların yönetimine yönelik birleşik süreç ve yaklaşımların eksikliğinden kaynaklanmaktadır. Peki “veri odaklı” olmak ne anlama geliyor?
Bu tam olarak kesim altında konuşacağımız konu ve açık kaynak yığınının bize nasıl yardımcı olduğu.
Stratejik veri yönetimi Veri Yönetişimi (DG) kavramı Rusya pazarında zaten oldukça iyi bilinmektedir ve bunun uygulanması sonucunda iş dünyasının ulaştığı hedefler açık ve net bir şekilde beyan edilmiştir. Şirketimiz bir istisna değildi ve veri yönetimi kavramını tanıtmayı kendine görev edindi.
Peki nereden başladık? Başlangıç olarak kendimiz için temel hedefler belirledik:
- Verilerimizi erişilebilir tutun.
- Veri yaşam döngüsünün şeffaflığını sağlayın.
- Şirket kullanıcılarına tutarlı, tutarlı veriler sağlayın.
- Şirket kullanıcılarına doğrulanmış veriler sağlayın.
Bugün yazılım pazarında bir düzine Veri Yönetişimi sınıfı araç bulunmaktadır.
Ancak çözümleri detaylı bir şekilde analiz edip inceledikten sonra kendimiz için bir takım kritik yorumları kaydettik:
- Çoğu üretici, bizim için yedekli olan ve mevcut işlevselliği kopyalayan kapsamlı bir çözüm seti sunmaktadır. Ayrıca, kaynaklar açısından pahalıdır ve mevcut BT ortamına entegrasyon sağlar.
- İşlevsellik ve arayüz, iş son kullanıcıları için değil, teknoloji uzmanları için tasarlanmıştır.
- Ürünlerin hayatta kalma oranının düşük olması ve Rusya pazarında başarılı uygulamaların olmayışı.
- Yüksek yazılım maliyeti ve daha fazla destek.
Rus şirketlerine yönelik yazılımların ithal ikamesine ilişkin yukarıda dile getirilen kriterler ve öneriler, bizi açık kaynak yığını üzerinde kendi geliştirmemize doğru ilerlemeye ikna etti. Seçtiğimiz platform, Python ile yazılmış ücretsiz ve açık kaynaklı bir çerçeve olan Django'ydu. Böylece yukarıda belirtilen hedeflere katkıda bulunacak temel modülleri belirledik:
- Raporların kaydı.
- İş sözlüğü.
- Teknik dönüşümleri açıklayan modül.
- Kaynaktan BI aracına kadar veri yaşam döngüsünü açıklayan modül.
- Veri kalitesi kontrol modülü.
Raporların kaydı
Büyük şirketlerde yapılan iç araştırmaların sonuçlarına göre, çalışanlar veriyle ilgili sorunları çözerken zamanlarının %40-80'ini bunları arayarak geçiriyor. Bu nedenle, daha önce yalnızca müşterilerin kullanımına sunulan mevcut raporlar hakkında açık bilgi sağlama görevini kendimize koyduk. Böylece yeni rapor oluşturma süresini kısaltıyor ve verilerin demokratikleşmesini sağlıyoruz.
Raporlama kaydı, çeşitli bölgelerden, departmanlardan ve bölümlerden dahili kullanıcılar için tek bir raporlama penceresi haline geldi. Şirketin çeşitli kurumsal depolarında oluşturulan bilgi hizmetlerine ilişkin bilgileri birleştirir ve bunların çoğu Rostelecom'da bulunmaktadır.
Ancak kayıt defteri yalnızca geliştirilen raporların kuru bir listesi değildir. Her rapor için, kullanıcının rapora alışması için gerekli bilgileri sağlıyoruz:
- raporun kısa açıklaması;
- veri kullanılabilirliğinin derinliği;
- Müşteri segmenti;
- görselleştirme aracı;
- kurumsal depolamanın adı;
- iş fonksiyonel gereksinimleri;
- rapora bağlantı;
- erişim için uygulamaya bağlantı;
- uygulama durumu.
Raporlar için kullanım düzeyi analizleri mevcuttur ve raporlar, benzersiz kullanıcı sayısına göre günlük analizlerine göre listenin en üstünde sıralanır. Ve hepsi bu değil. Genel özelliklerin yanı sıra, değerlerin ve hesaplama yöntemlerinin örnekleriyle raporların öznitelik kompozisyonunun ayrıntılı bir açıklamasını da sunduk. Bu tür bir detaylandırma, kullanıcıya raporun kendisi için yararlı olup olmadığı konusunda anında bir cevap verir.
Bu modülün geliştirilmesi, verilerin demokratikleştirilmesinde önemli bir adımdı ve gerekli bilgilerin bulunması için gereken süreyi önemli ölçüde azalttı. Arama süresini kısaltmanın yanı sıra, destek ekibine danışmanlık sağlama yönündeki taleplerin sayısı da azaldı. Birleşik bir rapor kaydı geliştirerek, farklı yapısal birimler için mükerrer raporların geliştirilmesini önleyerek elde ettiğimiz başka bir yararlı sonucu da not etmemek mümkün değildir.
İş sözlüğü
Hepiniz aynı şirket içinde bile işletmelerin farklı diller konuştuğunu biliyorsunuz. Evet, aynı terimleri kullanıyorlar ama tamamen farklı şeyleri kastediyorlar. Bu sorunu çözmek için bir iş sözlüğü tasarlanmıştır.
Bizim için bir iş sözlüğü yalnızca terimlerin ve hesaplama metodolojisinin açıklandığı bir referans kitabı değildir. Bu, terminolojinin geliştirilmesi, kabul edilmesi ve onaylanması, terimler ve şirketin diğer bilgi varlıkları arasında ilişkiler kurulması için tam teşekküllü bir ortamdır. İş sözlüğüne girmeden önce, bir terimin kurumsal müşteriler ve veri kalite merkezi ile onaylanmasının tüm aşamalarından geçmesi gerekir. Ancak bundan sonra kullanıma hazır hale gelir.
Yukarıda yazdığım gibi, bu aracın benzersizliği, bir iş terimi düzeyinden, kullanıldığı belirli kullanıcı raporlarına ve ayrıca fiziksel veritabanı nesneleri düzeyine bağlantılara izin vermesidir.
Bu, kayıt defteri raporlarının ayrıntılı açıklamasında ve fiziksel veritabanı nesnelerinin açıklamasında sözlük terim tanımlayıcılarının kullanılmasıyla mümkün olur.
Şu anda Sözlükte 4000'den fazla terim tanımlanmış ve üzerinde anlaşmaya varılmıştır. Kullanımı, şirketin bilgi sistemlerine gelen değişiklik taleplerinin işlenmesini basitleştirir ve hızlandırır. Gerekli gösterge herhangi bir raporda zaten uygulanmışsa, kullanıcı bu göstergenin kullanıldığı bir dizi hazır raporu hemen görecek ve herhangi bir girişimde bulunmadan mevcut işlevselliğin etkili bir şekilde yeniden kullanılmasına veya minimum düzeyde değiştirilmesine karar verebilecektir. yeni bir raporun geliştirilmesine yönelik yeni talepler.
Teknik dönüşümleri ve DataLineage'ı açıklayan modül
Bu modüllerin neler olduğunu mu soruyorsunuz? Rapor Kaydı ve Sözlüğünün basitçe uygulanması yeterli değildir; aynı zamanda tüm iş terimlerinin fiziksel veritabanı modeline dayandırılması da gereklidir. Böylece veri ambarının tüm katmanları üzerinden kaynak sistemlerden BI görselleştirmeye kadar veri yaşam döngüsünün oluşturulması sürecini tamamladık. Başka bir deyişle, bir DataLineage oluşturun.
Veri dönüşümünün kurallarını ve mantığını açıklamak için şirkette daha önce kullanılan formatı temel alan bir arayüz geliştirdik. Aynı bilgiler daha önce olduğu gibi arayüz üzerinden giriliyor ancak terim tanımlayıcısının iş sözlüğünden tanımlanması bir ön koşul haline geldi. İş ve fiziksel katmanlar arasında bağlantıyı bu şekilde kuruyoruz.
Kimin ihtiyacı var? Birkaç yıldır üzerinde çalıştığınız eski formatta yanlış olan neydi? Gereksinimleri oluşturmak için gereken işçilik maliyetleri ne kadar arttı? Aracın uygulanması sırasında bu tür sorularla uğraşmak zorunda kaldık. Buradaki cevaplar oldukça basit; buna hepimizin, şirketimizin veri ofisinin ve kullanıcılarımızın ihtiyacı var.
Aslında çalışanların da uyum sağlaması gerekiyordu, bu durum ilk etapta evrak hazırlama işçilik maliyetlerinin biraz artmasına neden oldu ama biz bu sorunu çözdük. Uygulama yapmak, sorunlu alanları belirlemek ve optimize etmek işini yaptı. Asıl şeyi başardık; geliştirilen gereksinimlerin kalitesini iyileştirdik. Zorunlu alanlar, birleştirilmiş referans kitapları, giriş maskeleri, yerleşik kontroller - tüm bunlar, dönüşüm açıklamalarının kalitesini önemli ölçüde artırmayı mümkün kıldı. Komut dosyalarını geliştirme gereksinimleri olarak devretme ve yalnızca geliştirme ekibinin kullanımına açık bilgi paylaşımı uygulamasından uzaklaştık. Oluşturulan meta veri veritabanı, regresyon analizini yürütmek için gereken süreyi önemli ölçüde azaltır ve değişikliklerin BT ortamının herhangi bir katmanı (gösteri raporları, toplamlar, kaynaklar) üzerindeki etkisini hızlı bir şekilde değerlendirme yeteneği sağlar.
Bunun sıradan rapor kullanıcılarıyla ne ilgisi var, onlara ne gibi avantajlar sağlıyor? DataLineage oluşturma yeteneği sayesinde kullanıcılarımız, hatta SQL ve diğer programlama dillerinden uzak olanlar bile, belirli bir raporun oluşturulduğu kaynaklar ve nesneler hakkında hızlı bir şekilde bilgi alır.
Veri Kalitesi Kontrol Modülü
Veri şeffaflığının sağlanması açısından yukarıda bahsettiğimiz her şeyin, kullanıcılara verdiğimiz verilerin doğru olduğunu anlamadan hiçbir önemi yoktur. Veri Yönetişimi konseptimizin önemli modüllerinden biri de veri kalitesi kontrol modülüdür.
Şu anki aşamada bu, seçilen varlıklara yönelik bir kontrol kataloğudur. Ürün geliştirmenin acil hedefi, kontrol listesini genişletmek ve raporlama kaydıyla entegre olmaktır.
Ne verecek ve kime? Kayıt defterinin son kullanıcısı, raporun planlanan ve fiili hazır olma tarihlerine, tamamlanmış dinamik kontrollerin sonuçlarına ve rapora yüklenen kaynaklara ilişkin bilgilere erişebilecektir.
Bizim için iş süreçlerimize entegre edilen veri kalitesi modülü:
- Müşteri beklentilerinin hızlı oluşturulması.
- Verilerin daha fazla kullanılmasına ilişkin kararlar almak.
- Düzenli kalite kontrollerinin geliştirilmesi için işin ilk aşamalarında bir dizi sorunlu noktanın elde edilmesi.
Elbette bunlar tam teşekküllü bir veri yönetimi süreci oluşturmanın ilk adımlarıdır. Ancak, yalnızca bu işi bilinçli olarak yaparak, Veri Yönetişimi araçlarını iş sürecine aktif olarak dahil ederek, müşterilerimize bilgi içeriği, verilere yüksek düzeyde güven, bunların alınmasında şeffaflık sağlayacağımıza ve lansman hızını artıracağımıza eminiz. yeni işlevsellik.
DataOffice Ekibi
Kaynak: habr.com