هی هابر!
داده ها با ارزش ترین دارایی یک شرکت هستند. تقریباً هر شرکت دیجیتالی این ادعا را دارد. بحث در مورد این امر دشوار است: هیچ کنفرانس بزرگ فناوری اطلاعات بدون بحث در مورد رویکردهای مدیریت، ذخیره و پردازش داده ها برگزار نمی شود.
داده ها از خارج به ما می رسد، همچنین در داخل شرکت تولید می شود، و اگر در مورد داده های یک شرکت مخابراتی صحبت کنیم، برای کارمندان داخلی این یک انبار اطلاعات در مورد مشتری، علایق، عادات و مکان او است. با نمایه سازی و تقسیم بندی مناسب، پیشنهادات تبلیغاتی بیشترین تاثیر را دارند. با این حال، در عمل، همه چیز خیلی گلگون نیست. داده‌هایی که شرکت‌ها ذخیره می‌کنند ممکن است به طرز ناامیدکننده‌ای منسوخ، زائد، تکراری یا وجود آنها برای کسی به جز دایره باریکی از کاربران ناشناخته باشد. ¯_(ツ)_/¯
در یک کلام، داده ها باید به طور موثر مدیریت شوند - تنها در این صورت به دارایی تبدیل می شوند که منافع و سود واقعی را برای کسب و کار به ارمغان می آورد. متأسفانه، حل مسائل مدیریت داده ها نیازمند غلبه بر پیچیدگی های بسیار زیادی است. آنها عمدتاً به دلیل میراث تاریخی در قالب "باغ وحش" سیستم ها و فقدان فرآیندها و رویکردهای واحد برای مدیریت آنها هستند. اما «داده محور بودن» به چه معناست؟
این دقیقاً همان چیزی است که در زیر برش در مورد آن صحبت خواهیم کرد و همچنین چگونه پشته منبع باز به ما کمک کرد.
مفهوم مدیریت داده های استراتژیک مدیریت داده ها (DG) در حال حاضر کاملاً در بازار روسیه شناخته شده است و اهداف کسب و کار در نتیجه اجرای آن به وضوح و به وضوح اعلام شده است. شرکت ما نیز از این قاعده مستثنی نبود و وظیفه معرفی مفهوم مدیریت داده را بر عهده گرفت.
پس از کجا شروع کردیم؟ برای شروع، ما اهداف کلیدی را برای خود تشکیل دادیم:
- داده های ما را در دسترس نگه دارید.
- از شفافیت چرخه عمر داده ها اطمینان حاصل کنید.
- به کاربران شرکت داده های منسجم و منسجم را ارائه دهید.
- داده های تایید شده را به کاربران شرکت ارائه دهید.
امروزه ده ها ابزار کلاس Data Governance در بازار نرم افزار وجود دارد.
اما پس از تجزیه و تحلیل دقیق و مطالعه راه حل ها، تعدادی از نظرات انتقادی را برای خود ثبت کردیم:
- اکثر تولید کنندگان مجموعه ای جامع از راه حل ها را ارائه می دهند که برای ما اضافی است و عملکردهای موجود را تکرار می کند. به علاوه، گران بودن از نظر منابع، ادغام با چشم انداز فعلی فناوری اطلاعات.
- عملکرد و رابط کاربری برای فناوران طراحی شده است، نه کاربران نهایی تجاری.
- نرخ بقای پایین محصولات و عدم اجرای موفق در بازار روسیه.
- هزینه بالای نرم افزار و پشتیبانی بیشتر
معیارها و توصیه‌هایی که در بالا در مورد جایگزینی واردات نرم‌افزار برای شرکت‌های روسی بیان شد، ما را متقاعد کرد که به سمت توسعه خود در یک پشته منبع باز حرکت کنیم. پلتفرمی که ما انتخاب کردیم جنگو بود، یک فریم ورک متن باز و رایگان که با پایتون نوشته شده بود. و بنابراین ما ماژول های کلیدی را شناسایی کرده ایم که به اهداف ذکر شده در بالا کمک می کنند:
- ثبت گزارش ها
- واژه نامه کسب و کار.
- ماژول برای توصیف تحولات فنی.
- ماژول برای توصیف چرخه زندگی داده از منبع تا ابزار BI.
- ماژول کنترل کیفیت داده ها
ثبت گزارش ها
طبق نتایج مطالعات داخلی در شرکت های بزرگ، هنگام حل مشکلات مربوط به داده ها، کارمندان 40 تا 80 درصد از زمان خود را صرف جستجوی آنها می کنند. بنابراین، ما وظیفه داریم اطلاعات باز درباره گزارش‌های موجود که قبلاً فقط در دسترس مشتریان بود، ایجاد کنیم. بنابراین، ما زمان تولید گزارش‌های جدید را کاهش می‌دهیم و از دموکراسی‌سازی داده‌ها اطمینان می‌دهیم.
ثبت گزارش به یک پنجره گزارش واحد برای کاربران داخلی از مناطق، بخش ها و بخش های مختلف تبدیل شده است. اطلاعات مربوط به خدمات اطلاعاتی ایجاد شده در چندین مخزن شرکتی را ادغام می کند و بسیاری از آنها در Rostelecom وجود دارد.
اما رجیستری فقط یک لیست خشک از گزارش های توسعه یافته نیست. برای هر گزارش، اطلاعات لازم برای آشنایی کاربر با آن را ارائه می کنیم:
- شرح مختصری از گزارش؛
- عمق در دسترس بودن داده ها؛
- بخش مشتریان؛
- ابزار تجسم؛
- نام انبار شرکت؛
- الزامات عملکردی کسب و کار؛
- پیوند به گزارش؛
- پیوند به برنامه برای دسترسی؛
- وضعیت اجرا
تجزیه و تحلیل سطح استفاده برای گزارش ها در دسترس است و گزارش ها بر اساس تجزیه و تحلیل گزارش بر اساس تعداد کاربران منحصر به فرد در بالای لیست رتبه بندی می شوند. و این نیست. علاوه بر مشخصات کلی، ما همچنین شرح مفصلی از ترکیب ویژگی های گزارش ها با نمونه هایی از مقادیر و روش های محاسبه ارائه کرده ایم. چنین جزئیاتی بلافاصله به کاربر پاسخ می دهد که آیا گزارش برای او مفید است یا خیر.
توسعه این ماژول گام مهمی در دموکراسی سازی داده ها بود و زمان لازم برای یافتن اطلاعات مورد نیاز را به میزان قابل توجهی کاهش داد. علاوه بر کاهش زمان جستجو، تعداد درخواست های تیم پشتیبانی برای ارائه مشاوره نیز کاهش یافته است. غیرممکن است که به نتیجه مفید دیگری که با ایجاد یک ثبت گزارش یکپارچه به دست آوردیم توجه نکنیم - جلوگیری از توسعه گزارش های تکراری برای واحدهای ساختاری مختلف.
واژه نامه کسب و کار
همه شما می دانید که حتی در یک شرکت، مشاغل به زبان های مختلفی صحبت می کنند. بله، آنها از اصطلاحات یکسانی استفاده می کنند، اما معنای آنها کاملاً متفاوت است. یک واژه نامه تجاری برای حل این مشکل طراحی شده است.
برای ما، واژه نامه تجاری فقط یک کتاب مرجع با شرح اصطلاحات و روش محاسبه نیست. این یک محیط کامل برای توسعه، توافق و تأیید اصطلاحات، ایجاد روابط بین شرایط و سایر دارایی های اطلاعاتی شرکت است. قبل از ورود به واژه نامه کسب و کار، یک اصطلاح باید تمام مراحل تایید را با مشتریان تجاری و مرکز کیفیت داده طی کند. تنها پس از این، برای استفاده در دسترس می شود.
همانطور که در بالا نوشتم، منحصربه‌فرد بودن این ابزار این است که اجازه می‌دهد از سطح یک اصطلاح تجاری به گزارش‌های کاربر خاصی که در آن استفاده می‌شود، و همچنین به سطح اشیاء پایگاه داده فیزیکی ارتباط برقرار کند.
این امر از طریق استفاده از شناسه‌های واژه‌نامه در شرح مفصل گزارش‌های رجیستری و توصیف اشیاء پایگاه داده فیزیکی امکان‌پذیر است.
در حال حاضر بیش از 4000 اصطلاح در واژه نامه تعریف و توافق شده است. استفاده از آن پردازش درخواست های دریافتی برای تغییرات در سیستم های اطلاعاتی شرکت را ساده و سرعت می بخشد. اگر شاخص مورد نیاز قبلاً در هر گزارشی پیاده‌سازی شده باشد، کاربر بلافاصله مجموعه‌ای از گزارش‌های آماده را می‌بیند که در آن از این نشانگر استفاده می‌شود و می‌تواند در مورد استفاده مجدد مؤثر از عملکرد موجود یا حداقل تغییر آن، بدون شروع تصمیم بگیرد. درخواست های جدید برای تهیه گزارش جدید
ماژول برای توصیف تحولات فنی و DataLineage
می پرسی این ماژول ها چیست؟ تنها پیاده سازی ثبت گزارش و واژه نامه کافی نیست، بلکه لازم است تمام اصطلاحات تجاری را بر اساس مدل پایگاه داده فیزیکی پایه گذاری کنیم. بنابراین، ما توانستیم فرآیند شکل‌دهی چرخه عمر داده‌ها از سیستم‌های منبع تا تجسم BI را از طریق تمام لایه‌های انبار داده تکمیل کنیم. به عبارت دیگر، یک DataLineage بسازید.
ما یک رابط را بر اساس قالبی که قبلاً در شرکت برای توصیف قوانین و منطق تبدیل داده ها استفاده می شد، توسعه دادیم. همان اطلاعات از طریق رابط کاربری قبلی وارد می شود، اما تعریف اصطلاح شناسه از واژه نامه کسب و کار به یک پیش نیاز تبدیل شده است. به این ترتیب ما بین لایه های تجاری و فیزیکی ارتباط برقرار می کنیم.
چه کسی به آن نیاز دارد؟ فرمت قدیمی که چندین سال با آن کار کردید چه اشکالی داشت؟ هزینه های نیروی کار برای تولید نیازمندی ها چقدر افزایش یافته است؟ ما باید در حین اجرای ابزار با چنین سؤالاتی روبرو می شدیم. پاسخ‌ها در اینجا بسیار ساده است - همه ما، دفتر اطلاعات شرکت و کاربرانمان به این نیاز داریم.
در واقع، کارمندان مجبور بودند خود را تطبیق دهند؛ در ابتدا این امر منجر به افزایش جزئی هزینه های نیروی کار برای تهیه اسناد شد، اما ما این موضوع را حل کردیم. تمرین، شناسایی و بهینه سازی حوزه های مشکل کار خود را انجام داده است. ما به چیز اصلی دست یافته ایم - کیفیت الزامات توسعه یافته را بهبود بخشیده ایم. زمینه های اجباری، کتاب های مرجع یکپارچه، ماسک های ورودی، چک های داخلی - همه اینها باعث شد تا کیفیت توضیحات تحول به میزان قابل توجهی بهبود یابد. ما از روش واگذاری اسکریپت ها به عنوان الزامات توسعه و دانش مشترکی که فقط در اختیار تیم توسعه بود، فاصله گرفتیم. پایگاه داده ابرداده تولید شده به طور قابل توجهی زمان مورد نیاز برای انجام تحلیل رگرسیون را کاهش می دهد و توانایی ارزیابی سریع تأثیر تغییرات بر هر لایه از چشم انداز فناوری اطلاعات (گزارش های نمایشگاهی، جمع آوری ها، منابع) را فراهم می کند.
این چه ربطی به کاربران عادی گزارش ها دارد، چه مزیت هایی برای آنها دارد؟ به لطف توانایی ساخت DataLineage، کاربران ما، حتی کسانی که از SQL و سایر زبان های برنامه نویسی دور هستند، به سرعت اطلاعاتی در مورد منابع و اشیایی که بر اساس آنها یک گزارش خاص تولید می شود، دریافت می کنند.
ماژول کنترل کیفیت داده ها
همه چیزهایی که در بالا در مورد اطمینان از شفافیت داده ها صحبت کردیم بدون درک درستی داده هایی که به کاربران می دهیم مهم نیست. یکی از ماژول های مهم مفهوم حاکمیت داده ما، ماژول کنترل کیفیت داده است.
در مرحله فعلی، این کاتالوگ چک برای اشخاص انتخاب شده است. هدف فوری برای توسعه محصول، گسترش فهرست چک ها و ادغام با ثبت گزارش است.
چه چیزی و به چه کسی خواهد داد؟ کاربر نهایی رجیستری به اطلاعات مربوط به تاریخ های برنامه ریزی شده و واقعی آمادگی گزارش، نتایج بررسی های تکمیل شده با پویایی و اطلاعات مربوط به منابع بارگذاری شده در گزارش دسترسی خواهد داشت.
برای ما، ماژول کیفیت داده که در فرآیندهای کاری ما یکپارچه شده است:
- شکل گیری سریع انتظارات مشتری
- تصمیم گیری در مورد استفاده بیشتر از داده ها
- به دست آوردن مجموعه ای اولیه از نقاط مشکل در مراحل اولیه کار برای توسعه کنترل های کیفیت منظم.
البته اینها اولین گام ها برای ایجاد یک فرآیند مدیریت داده کامل هستند. اما ما مطمئن هستیم که تنها با انجام هدفمند این کار، معرفی فعال ابزارهای حاکمیت داده در فرآیند کار، محتوای اطلاعاتی، سطح اعتماد بالا به داده ها، شفافیت در دریافت آنها و افزایش سرعت راه اندازی را در اختیار مشتریان خود قرار خواهیم داد. عملکرد جدید
تیم دیتا آفیس
منبع: www.habr.com