يا هبر!
البيانات هي الأصول الأكثر قيمة للشركة. تقريبًا كل شركة ذات تركيز رقمي تعلن ذلك. من الصعب الجدال مع هذا: لا يُعقد أي مؤتمر كبير لتكنولوجيا المعلومات دون مناقشة أساليب إدارة البيانات وتخزينها ومعالجتها.
تأتي البيانات إلينا من الخارج، ويتم إنشاؤها أيضًا داخل الشركة، وإذا تحدثنا عن بيانات من شركة اتصالات، فبالنسبة للموظفين الداخليين يعد هذا مخزنًا للمعلومات حول العميل واهتماماته وعاداته وموقعه. مع التنميط والتجزئة المناسبة، تكون العروض الإعلانية أكثر فعالية. ومع ذلك، في الممارسة العملية، ليس كل شيء ورديا جدا. قد تكون البيانات التي تخزنها الشركات قديمة بشكل ميؤوس منه، أو زائدة عن الحاجة، أو متكررة، أو أن وجودها غير معروف لأي شخص باستثناء دائرة ضيقة من المستخدمين. ¯_(ツ)_/¯
باختصار، يجب إدارة البيانات بشكل فعال - وعندها فقط ستصبح أحد الأصول التي تجلب فوائد وأرباحًا حقيقية للشركة. لسوء الحظ، يتطلب حل مشكلات إدارة البيانات التغلب على الكثير من التعقيدات. ويرجع ذلك أساسًا إلى الإرث التاريخي في شكل "حدائق الحيوان" للأنظمة وعدم وجود عمليات وأساليب موحدة لإدارتها. ولكن ماذا يعني أن تكون "مدفوعًا بالبيانات"؟
هذا هو بالضبط ما سنتحدث عنه تحت الخفض، وكذلك كيف ساعدنا المكدس مفتوح المصدر.
إن مفهوم إدارة البيانات الإستراتيجية (DG) معروف جيدًا بالفعل في السوق الروسية، والأهداف التي حققتها الأعمال نتيجة تنفيذها واضحة ومعلنة بوضوح. لم تكن شركتنا استثناءً وحددت لنفسها مهمة تقديم مفهوم إدارة البيانات.
إذن من أين بدأنا؟ في البداية، قمنا بتشكيل أهداف رئيسية لأنفسنا:
- إبقاء بياناتنا في متناول الجميع.
- ضمان شفافية دورة حياة البيانات.
- تزويد مستخدمي الشركة ببيانات متسقة ومتسقة.
- تزويد مستخدمي الشركة بالبيانات التي تم التحقق منها.
يوجد اليوم عشرات الأدوات الخاصة بإدارة البيانات في سوق البرمجيات.
ولكن بعد التحليل التفصيلي ودراسة الحلول، سجلنا لأنفسنا عدداً من الملاحظات النقدية:
- تقدم معظم الشركات المصنعة مجموعة شاملة من الحلول، والتي تعد بالنسبة لنا زائدة عن الحاجة وتكرر الوظائف الحالية. بالإضافة إلى أنها مكلفة من حيث الموارد والتكامل في المشهد الحالي لتكنولوجيا المعلومات.
- تم تصميم الوظائف والواجهة لأخصائيي التكنولوجيا، وليس للمستخدمين النهائيين للأعمال.
- انخفاض معدل بقاء المنتجات وعدم وجود تطبيقات ناجحة في السوق الروسية.
- ارتفاع تكلفة البرامج والمزيد من الدعم.
لقد أقنعتنا المعايير والتوصيات المذكورة أعلاه فيما يتعلق باستبدال البرمجيات المستوردة للشركات الروسية بالتحرك نحو التطوير الخاص بنا على مجموعة مفتوحة المصدر. النظام الأساسي الذي اخترناه هو Django، وهو إطار عمل مجاني ومفتوح المصدر مكتوب بلغة Python. وبالتالي فقد حددنا الوحدات الأساسية التي ستساهم في تحقيق الأهداف المذكورة أعلاه:
- سجل التقارير.
- معجم الأعمال.
- وحدة لوصف التحولات التقنية.
- وحدة لوصف دورة حياة البيانات من المصدر إلى أداة ذكاء الأعمال.
- وحدة مراقبة جودة البيانات.
سجل التقارير
وفقاً لنتائج الدراسات الداخلية في الشركات الكبيرة، عند حل المشكلات المتعلقة بالبيانات، يقضي الموظفون ما بين 40-80% من وقتهم في البحث عنها. لذلك، وضعنا على عاتقنا مهمة جعل المعلومات مفتوحة حول التقارير الموجودة والتي كانت متاحة في السابق للعملاء فقط. وبالتالي، فإننا نقوم بتقليل الوقت اللازم لإنشاء تقارير جديدة ونضمن إضفاء الطابع الديمقراطي على البيانات.
أصبح سجل التقارير بمثابة نافذة تقارير واحدة للمستخدمين الداخليين من مختلف المناطق والأقسام والأقسام. فهو يجمع المعلومات حول خدمات المعلومات التي تم إنشاؤها في العديد من مستودعات الشركة التابعة للشركة، ويوجد الكثير منها في Rostelecom.
لكن السجل ليس مجرد قائمة جافة من التقارير المتقدمة. ونقدم لكل تقرير المعلومات اللازمة للمستخدم للتعرف عليه:
- وصف موجز للتقرير؛
- عمق توافر البيانات؛
- شريحة من العملاء؛
- أداة التصور؛
- اسم مخزن الشركة؛
- المتطلبات الوظيفية للأعمال؛
- رابط التقرير؛
- رابط لتطبيق الوصول؛
- حالة التنفيذ.
تتوفر تحليلات مستوى الاستخدام للتقارير، ويتم تصنيف التقارير في أعلى القائمة بناءً على تحليلات السجل بناءً على عدد المستخدمين الفريدين. وهذا ليس كل شيء. بالإضافة إلى الخصائص العامة، قدمنا أيضًا وصفًا تفصيليًا لتكوين سمات التقارير مع أمثلة للقيم وطرق الحساب. مثل هذه التفاصيل تعطي المستخدم على الفور إجابة عما إذا كان التقرير مفيدًا له أم لا.
كان تطوير هذه الوحدة خطوة مهمة في إضفاء الطابع الديمقراطي على البيانات وقلل بشكل كبير من الوقت المستغرق للعثور على المعلومات المطلوبة. بالإضافة إلى تقليل وقت البحث، انخفض أيضًا عدد الطلبات المقدمة إلى فريق الدعم لتقديم الاستشارات. ومن المستحيل عدم الإشارة إلى نتيجة مفيدة أخرى حققناها من خلال تطوير سجل موحد للتقارير - منع تطوير تقارير مكررة للوحدات الهيكلية المختلفة.
معجم الأعمال
تعلمون جميعًا أنه حتى داخل نفس الشركة، تتحدث الشركات لغات مختلفة. نعم، إنهم يستخدمون نفس المصطلحات، لكن معانيهم مختلفة تمامًا. تم تصميم معجم الأعمال لحل هذه المشكلة.
بالنسبة لنا، لا يعد معجم الأعمال مجرد كتاب مرجعي يحتوي على وصف للمصطلحات ومنهجية الحساب. هذه بيئة كاملة لتطوير المصطلحات والموافقة عليها والموافقة عليها، وبناء العلاقات بين المصطلحات وأصول المعلومات الأخرى للشركة. قبل الدخول إلى قاموس الأعمال، يجب أن يمر المصطلح بجميع مراحل الموافقة مع عملاء الأعمال ومركز جودة البيانات. فقط بعد ذلك يصبح متاحًا للاستخدام.
كما كتبت أعلاه، فإن ما يميز هذه الأداة هو أنها تسمح بالاتصالات من مستوى مصطلح العمل إلى تقارير المستخدم المحددة التي يتم استخدامها فيها، وكذلك إلى مستوى كائنات قاعدة البيانات الفعلية.
أصبح هذا ممكنًا من خلال استخدام معرفات المصطلحات في الوصف التفصيلي لتقارير التسجيل ووصف كائنات قاعدة البيانات الفعلية.
حاليًا، تم تعريف أكثر من 4000 مصطلح والاتفاق عليها في المسرد. يؤدي استخدامه إلى تبسيط وتسريع معالجة الطلبات الواردة للتغييرات في أنظمة معلومات الشركة. إذا تم بالفعل تنفيذ المؤشر المطلوب في أي تقرير، فسوف يرى المستخدم على الفور مجموعة من التقارير الجاهزة حيث يتم استخدام هذا المؤشر، وسيكون قادرًا على اتخاذ قرار بشأن إعادة الاستخدام الفعال للوظائف الحالية أو الحد الأدنى من التعديل، دون البدء طلبات جديدة لتطوير تقرير جديد.
وحدة لوصف التحولات التقنية وDataLineage
ما هي هذه الوحدات، تسأل؟ لا يكفي مجرد تنفيذ سجل التقارير والمسرد، بل من الضروري أيضًا إرساء جميع مصطلحات الأعمال على نموذج قاعدة البيانات الفعلية. وهكذا، تمكنا من إكمال عملية تشكيل دورة حياة البيانات من أنظمة المصدر إلى تصور ذكاء الأعمال من خلال جميع طبقات مستودع البيانات. بمعنى آخر، قم ببناء DataLineage.
لقد قمنا بتطوير واجهة تعتمد على التنسيق المستخدم سابقًا في الشركة لوصف قواعد ومنطق تحويل البيانات. يتم إدخال نفس المعلومات من خلال الواجهة كما كان من قبل، ولكن تعريف مصطلح معرف من قاموس الأعمال أصبح شرطا أساسيا. هذه هي الطريقة التي نبني بها التواصل بين طبقات الأعمال والطبقات المادية.
من يحتاجها؟ ما هو الخطأ في التنسيق القديم الذي عملت به لعدة سنوات؟ ما مدى زيادة تكاليف العمالة لتوليد المتطلبات؟ كان علينا التعامل مع مثل هذه الأسئلة أثناء تنفيذ الأداة. الإجابات هنا بسيطة للغاية - نحن جميعًا بحاجة إلى ذلك، ومكتب بيانات شركتنا ومستخدمينا.
في الواقع، كان على الموظفين التكيف، في البداية، أدى ذلك إلى زيادة طفيفة في تكاليف العمالة لإعداد الوثائق، لكننا حللنا هذه المشكلة. إن الممارسة وتحديد وتحسين مجالات المشاكل قد قامت بعملها. لقد حققنا الشيء الرئيسي - قمنا بتحسين جودة المتطلبات المطورة. الحقول الإلزامية والكتب المرجعية الموحدة وأقنعة الإدخال والفحوصات المضمنة - كل هذا جعل من الممكن تحسين جودة أوصاف التحويل بشكل ملحوظ. لقد ابتعدنا عن ممارسة تسليم البرامج النصية كمتطلبات تطوير ومعرفة مشتركة كانت متاحة فقط لفريق التطوير. تعمل قاعدة بيانات البيانات التعريفية التي تم إنشاؤها على تقليل الوقت اللازم لإجراء تحليل الانحدار بشكل كبير وتوفر القدرة على تقييم تأثير التغييرات بسرعة على أي طبقة من مشهد تكنولوجيا المعلومات (تقارير العرض، والتجميعات، والمصادر).
ما علاقة ذلك بمستخدمي التقارير العاديين، وما المزايا التي تعود عليهم؟ بفضل القدرة على بناء DataLineage، فإن مستخدمينا، حتى أولئك البعيدين عن SQL ولغات البرمجة الأخرى، يتلقون بسرعة معلومات حول المصادر والكائنات التي يتم على أساسها إنشاء تقرير معين.
وحدة مراقبة جودة البيانات
كل ما تحدثنا عنه أعلاه فيما يتعلق بضمان شفافية البيانات ليس مهمًا دون فهم صحة البيانات التي نقدمها للمستخدمين. إحدى الوحدات المهمة لمفهوم إدارة البيانات لدينا هي وحدة مراقبة جودة البيانات.
في المرحلة الحالية، هذا هو كتالوج الشيكات لجهات مختارة. الهدف المباشر لتطوير المنتج هو توسيع قائمة الفحوصات والتكامل مع سجل التقارير.
ماذا سيعطي ولمن؟ سيتمكن المستخدم النهائي للسجل من الوصول إلى المعلومات حول التواريخ المخططة والفعلية لجاهزية التقرير، ونتائج عمليات التحقق المكتملة مع الديناميكيات، ومعلومات حول المصادر التي تم تحميلها في التقرير.
بالنسبة لنا، وحدة جودة البيانات المدمجة في عمليات عملنا هي:
- التشكيل الفوري لتوقعات العملاء.
- اتخاذ القرارات بشأن مواصلة استخدام البيانات.
- الحصول على مجموعة أولية من نقاط المشكلة في المراحل الأولية من العمل لتطوير ضوابط الجودة المنتظمة.
بالطبع، هذه هي الخطوات الأولى في بناء عملية إدارة بيانات كاملة. لكننا واثقون من أنه فقط من خلال القيام بهذا العمل بشكل هادف، وإدخال أدوات إدارة البيانات بشكل فعال في عملية العمل، سنوفر لعملائنا محتوى المعلومات، ومستوى عالٍ من الثقة في البيانات، والشفافية في استلامها وزيادة سرعة الإطلاق وظيفة جديدة.
فريق مكتب البيانات
المصدر: www.habr.com