اي حبر!
ڊيٽا هڪ ڪمپني جي سڀ کان قيمتي اثاثو آهي. تقريبن هر ڪمپني هڪ ڊجيٽل فوڪس سان هن جو اعلان ڪري ٿو. ان سان بحث ڪرڻ مشڪل آهي: هڪ به وڏي آئي ٽي ڪانفرنس منعقد نه ڪئي وئي آهي بغير ڪنهن بحث جي ڊيٽا کي منظم ڪرڻ، اسٽوريج ۽ پروسيسنگ ڪرڻ جي طريقن تي.
ڊيٽا اسان وٽ ٻاهران اچي ٿي، اها ڪمپني جي اندر به ٺاهي وئي آهي، ۽ جيڪڏهن اسان هڪ ٽيليڪ ڪمپني جي ڊيٽا جي باري ۾ ڳالهايون ٿا، ته اندروني ملازمن لاء، اهو ڪلائنٽ، سندس دلچسپين، عادتن ۽ مقام بابت معلومات جو هڪ ذخيرو آهي. مناسب پروفائلنگ ۽ ڀاڱيداري سان، اشتهارن جون آڇون تمام مؤثر آھن. بهرحال، عملي طور تي، هر شيء ايترو گلابي ناهي. اها ڊيٽا جيڪا ڪمپنيون ذخيرو ڪري ٿي نااميد طور تي پراڻي، بيڪار، بار بار، يا ان جو وجود ڪنهن کي اڻڄاتل آهي سواءِ استعمال ڪندڙن جي هڪ تنگ دائري جي. ¯_(ツ)_/¯
هڪ لفظ ۾، ڊيٽا کي مؤثر طريقي سان منظم ڪيو وڃي - صرف پوء اهو هڪ اثاثو بڻجي ويندو جيڪو ڪاروبار لاء حقيقي فائدي ۽ منافعو آڻيندو. بدقسمتي سان، ڊيٽا جي انتظام جي مسئلن کي حل ڪرڻ جي ضرورت آهي ڪافي پيچيدگين تي قابو پائڻ. اهي بنيادي طور تي ٻنهي تاريخي ورثي جي ڪري آهن سسٽم جي "زوز" جي صورت ۾ ۽ انهن جي انتظام جي گڏيل عملن ۽ طريقن جي گهٽتائي جي ڪري. پر اهو ڇا مطلب آهي "ڊيٽا هلائيندڙ" هجڻ جو؟
اهو بلڪل آهي جيڪو اسان ڪٽ جي هيٺان بابت ڳالهائينداسين، انهي سان گڏ ڪيئن اوپن سورس اسٽيڪ اسان جي مدد ڪئي.
اسٽريٽجڪ ڊيٽا مئنيجمينٽ ڊيٽا گورننس (ڊي جي) جو تصور اڳ ۾ ئي روسي مارڪيٽ ۾ تمام گهڻو مشهور آهي، ۽ ان جي عمل جي نتيجي ۾ ڪاروبار پاران حاصل ڪيل مقصد واضح ۽ واضح طور تي بيان ڪيا ويا آهن. اسان جي ڪمپني ڪا به استثنا نه هئي ۽ پاڻ کي ڊيٽا مينيجمينٽ جي تصور کي متعارف ڪرائڻ جو ڪم مقرر ڪيو.
پوء اسان ڪٿي شروع ڪيو؟ شروع ڪرڻ سان، اسان پاڻ لاءِ اھم مقصد ٺاھيو:
- اسان جي ڊيٽا تائين رسائي رکو.
- ڊيٽا لائف سائيڪل جي شفافيت کي يقيني بڻائي.
- ڪمپني جي صارفين کي مسلسل، مسلسل ڊيٽا مهيا ڪريو.
- ڪمپني صارفين کي تصديق ٿيل ڊيٽا سان مهيا ڪريو.
اڄ، سافٽ ويئر مارڪيٽ تي درجنين ڊيٽا گورنمينٽ ڪلاس جا اوزار آهن.
پر تفصيلي تجزيي ۽ حلن جي مطالعي کان پوءِ، اسان پاڻ لاءِ ڪيترائي تنقيدي رايا رڪارڊ ڪيا:
- اڪثر ٺاهيندڙن کي حل جو هڪ جامع سيٽ پيش ڪري ٿو، جيڪو اسان لاء بيڪار آهي ۽ موجوده ڪارڪردگي کي نقل ڪري ٿو. پلس، وسيلن جي لحاظ کان قيمتي، موجوده آئي ٽي جي منظوري ۾ انضمام.
- ڪارڪردگي ۽ انٽرفيس ٽيڪنالوجسٽن لاءِ ٺهيل آهن، نه ڪاروباري آخر استعمال ڪندڙن لاءِ.
- مصنوعات جي گھٽ بقا جي شرح ۽ روسي مارڪيٽ تي ڪامياب عملن جي کوٽ.
- سافٽ ويئر جي اعلي قيمت ۽ وڌيڪ سپورٽ.
روسي ڪمپنين لاءِ سافٽ ويئر جي درآمد جي متبادل جي حوالي سان مٿي بيان ڪيل معيار ۽ سفارشون اسان کي قائل ڪيو ته اسان کي اوپن سورس اسٽيڪ تي اسان جي پنهنجي ترقي ڏانهن وڌڻ لاءِ. پليٽ فارم جيڪو اسان چونڊيو هو Django، هڪ آزاد ۽ کليل ذريعو فريم ورڪ Python ۾ لکيل آهي. ۽ اهڙيء طرح اسان اهم ماڊلز جي نشاندهي ڪئي آهي جيڪي مٿي بيان ڪيل مقصدن ۾ حصو وٺندا:
- رپورٽن جو رجسٽر.
- ڪاروباري لغت.
- ٽيڪنيڪل تبديلين کي بيان ڪرڻ لاء ماڊل.
- ماڊيول بيان ڪرڻ لاءِ ڊيٽا جي زندگي جي چڪر کي ماخذ کان وٺي BI ٽول تائين.
- ڊيٽا معيار ڪنٽرول ماڊل.
رپورٽن جو رجسٽر
وڏن ڪمپنين ۾ اندروني مطالعي جي نتيجن موجب، جڏهن ڊيٽا سان لاڳاپيل مسئلا حل ڪري رهيا آهن، ملازمن انهن جي ڳولا ۾ 40-80٪ وقت گذاريندا آهن. تنهن ڪري، اسان پاڻ کي موجوده رپورٽن بابت کليل معلومات ٺاهڻ جو ڪم مقرر ڪيو آهي جيڪي اڳ ۾ صرف گراهڪن لاءِ موجود هئا. ان ڪري، اسان نئين رپورٽون پيدا ڪرڻ لاء وقت گھٽائي ۽ ڊيٽا جي جمهوريت کي يقيني بڻائي.
رپورٽنگ رجسٽر مختلف علائقن، شعبن ۽ ڊويزنن جي اندروني استعمال ڪندڙن لاءِ هڪ واحد رپورٽنگ ونڊو بڻجي ويو آهي. اهو ڪمپني جي ڪيترن ئي ڪارپوريٽ ريزنٽس ۾ پيدا ڪيل معلومات جي خدمتن تي معلومات کي گڏ ڪري ٿو، ۽ انهن مان ڪيترائي Rostelecom ۾ آهن.
پر رجسٽري صرف ترقي يافته رپورٽن جي خشڪ فهرست ناهي. هر رپورٽ لاءِ، اسان صارف لاءِ ضروري معلومات مهيا ڪريون ٿا ته جيئن پاڻ ان سان واقف ٿين:
- رپورٽ جي مختصر وضاحت؛
- ڊيٽا جي دستيابي جي کوٽائي؛
- ڪسٽمر حصو؛
- بصري اوزار؛
- ڪارپوريٽ اسٽوريج جو نالو؛
- ڪاروباري فنڪشنل گهرجن؛
- رپورٽ سان ڳنڍڻ؛
- رسائي لاء ايپليڪيشن سان ڳنڍيل؛
- عملدرآمد جي حالت.
استعمال جي سطح جا تجزيا رپورٽن لاءِ موجود آهن، ۽ رپورٽون فهرست جي چوٽي تي درج ٿيل آهن لاگ اينالائيٽڪس جي بنياد تي منفرد استعمال ڪندڙن جي تعداد جي بنياد تي. ۽ اهو نه آهي. عام خاصيتن کان علاوه، اسان رپورٽن جي خاصيت جي مجموعي جو تفصيلي بيان پڻ مهيا ڪيو آهي قدر ۽ حساب جي طريقن جي مثالن سان. اهڙي تفصيل سان فوري طور تي صارف کي هڪ جواب ڏئي ٿو ته ڇا رپورٽ هن لاء مفيد آهي يا نه.
هن ماڊل جي ترقي ڊيٽا جي جمهوريت ۾ هڪ اهم قدم هو ۽ ضروري معلومات کي ڳولڻ لاء وقت لڳ ڀڳ گھٽائي ڇڏيو. تلاش جي وقت کي گھٽائڻ کان علاوه، مشوري فراهم ڪرڻ لاءِ سپورٽ ٽيم کي درخواستن جو تعداد پڻ گھٽجي ويو آھي. اهو ناممڪن آهي ته هڪ ٻيو مفيد نتيجو نوٽ ڪيو وڃي جيڪو اسان رپورٽن جي متحد رجسٽر کي ترقي ڪندي حاصل ڪيو - مختلف ساختي يونٽن لاءِ نقل رپورٽن جي ترقي کي روڪڻ.
ڪاروباري لغت
توهان سڀني کي خبر آهي ته هڪ ئي ڪمپني جي اندر، ڪاروبار مختلف ٻوليون ڳالهائيندو آهي. ها، اهي ساڳيا اصطلاح استعمال ڪن ٿا، پر انهن جو مطلب مڪمل طور تي مختلف شيون آهن. هڪ ڪاروباري لغت هن مسئلي کي حل ڪرڻ لاء ٺهيل آهي.
اسان لاءِ، ڪاروباري لغت صرف اصطلاحن ۽ حساب ڪتاب جي طريقن جي وضاحت سان گڏ هڪ حوالو ڪتاب ناهي. هي اصطلاحن جي ترقي، اتفاق ۽ منظوري لاءِ هڪ مڪمل ماحول آهي، شرطن ۽ ڪمپني جي ٻين معلوماتي اثاثن جي وچ ۾ لاڳاپا قائم ڪرڻ. ڪاروباري لغت ۾ داخل ٿيڻ کان پهريان، هڪ اصطلاح لازمي طور تي ڪاروباري گراهڪن ۽ ڊيٽا جي معيار جي مرڪز سان منظوري جي سڀني مرحلن مان گذرڻ گهرجي. صرف ان کان پوء اهو استعمال لاء دستياب ٿي ويندو.
جيئن مون مٿي لکيو آهي، هن اوزار جي انفراديت اها آهي ته اهو ڪنيڪشن جي اجازت ڏئي ٿو ڪاروباري اصطلاح جي سطح کان مخصوص صارف جي رپورٽن تائين جنهن ۾ اهو استعمال ڪيو وڃي ٿو، انهي سان گڏ جسماني ڊيٽابيس جي شين جي سطح تائين.
اهو رجسٽري رپورٽن جي تفصيلي وضاحت ۽ فزيڪل ڊيٽابيس جي شين جي وضاحت ۾ لغت جي اصطلاح جي سڃاڻپ ڪندڙ جي استعمال ذريعي ممڪن ٿيو آهي.
في الحال، 4000 کان وڌيڪ اصطلاحن جي وضاحت ڪئي وئي آهي ۽ انهن تي اتفاق ڪيو ويو آهي لغت ۾. ان جو استعمال آسان بڻائي ٿو ۽ ڪمپني جي معلوماتي سسٽم ۾ تبديلين لاءِ ايندڙ درخواستن جي پروسيسنگ کي تيز ڪري ٿو. جيڪڏهن گهربل اشارو ڪنهن به رپورٽ ۾ اڳ ۾ ئي لاڳو ڪيو ويو آهي، ته پوءِ صارف فوري طور تي تيار ڪيل رپورٽن جو هڪ سيٽ ڏسندو جتي هي اشارو استعمال ڪيو ويو آهي، ۽ اهو فيصلو ڪرڻ جي قابل هوندو ته موجوده ڪارڪردگيءَ جي اثرائتي ٻيهر استعمال يا ان جي گهٽ ۾ گهٽ تبديليءَ کان سواءِ. نئين رپورٽ جي ترقي لاء نئين درخواستون.
ٽيڪنيڪل تبديلين ۽ DataLineage کي بيان ڪرڻ لاءِ ماڊل
اهي ماڊل ڇا آهن، توهان پڇو؟ اهو صرف رپورٽ رجسٽر ۽ لغت کي لاڳو ڪرڻ ڪافي ناهي؛ اهو پڻ ضروري آهي ته سڀني ڪاروباري اصطلاحن کي فزيڪل ڊيٽابيس ماڊل تي گرائونڊ ڪيو وڃي. اهڙيء طرح، اسان ڊيٽا گودام جي سڀني تہن جي ذريعي BI بصري کي ماخذ سسٽم کان ڊيٽا جي زندگي چڪر ٺاهڻ جي عمل کي مڪمل ڪرڻ جي قابل ٿي ويا. ٻين لفظن ۾، هڪ DataLineage ٺاهيو.
اسان ڊيٽا جي تبديليءَ جي قاعدن ۽ منطق کي بيان ڪرڻ لاءِ ڪمپني ۾ اڳ ۾ استعمال ڪيل فارميٽ جي بنياد تي هڪ انٽرفيس تيار ڪيو. ساڳي معلومات انٽرفيس ذريعي داخل ڪئي وئي آهي جيئن اڳ ۾، پر اصطلاح جي سڃاڻپ ڪندڙ اصطلاح جي ڪاروباري لغت مان هڪ شرط بڻجي وئي آهي. اهو ڪيئن آهي اسان ڪاروبار ۽ جسماني تہن جي وچ ۾ هڪ ڪنيڪشن ٺاهي.
ڪنهن کي ضرورت آهي؟ پراڻي فارميٽ ۾ ڇا غلط هو جنهن سان توهان ڪيترن سالن تائين ڪم ڪيو؟ ضرورتون پيدا ڪرڻ لاءِ مزدورن جي قيمتن ۾ ڪيترو اضافو ٿيو آهي؟ اسان کي اوزار تي عمل ڪرڻ دوران اهڙن سوالن سان منهن ڏيڻو پيو. هتي جواب بلڪل سادو آهن - اسان سڀني کي هن جي ضرورت آهي، اسان جي ڪمپني جي ڊيٽا آفيس ۽ اسان جي صارفين.
درحقيقت، ملازمن کي موافقت ڪرڻي هئي؛ پهرين ۾، اهو دستاويز تيار ڪرڻ لاء مزدورن جي خرچن ۾ ٿورو اضافو ٿيو، پر اسان هن مسئلي کي حل ڪيو. مشق، سڃاڻپ ۽ مسئلن جي علائقن کي بهتر ڪرڻ پنهنجو ڪم ڪيو آهي. اسان بنيادي شيء حاصل ڪئي آهي - اسان ترقي يافته گهرجن جي معيار کي بهتر ڪيو آهي. لازمي شعبا، متحد ريفرنس بڪ، ان پٽ ماسڪ، بلٽ ان چيڪس - اهو سڀ ڪجهه ممڪن ڪيو ته تبديلي جي وضاحتن جي معيار کي خاص طور تي بهتر بڻائي. اسان ڊولپمينٽ جي ضرورتن ۽ شيئر ڪيل علم جي طور تي اسڪرپٽ جي حوالي ڪرڻ جي مشق کان پري ٿي ويا آهيون جيڪا صرف ڊولپمينٽ ٽيم وٽ موجود هئي. ٺاهيل ميٽاداٽا ڊيٽابيس خاص طور تي ريگريشن تجزيو ڪرڻ لاءِ گهربل وقت گھٽائي ٿي ۽ آئي ٽي منظرنامي جي ڪنهن به پرت تي تبديلين جي اثر جو تڪڙو جائزو وٺڻ جي صلاحيت مهيا ڪري ٿي (شوڪيس رپورٽون، مجموعي، ذريعن).
رپورٽن جي عام استعمال ڪندڙن سان ان جو ڪهڙو تعلق آهي، انهن لاءِ ڪهڙا فائدا آهن؟ DataLineage ٺاهڻ جي صلاحيت جي مهرباني، اسان جا صارف، حتي اهي جيڪي SQL ۽ ٻين پروگرامنگ ٻولين کان پري آهن، انهن ذريعن ۽ شين جي باري ۾ جلدي معلومات حاصل ڪندا آهن جن جي بنياد تي هڪ خاص رپورٽ ٺاهي ويندي آهي.
ڊيٽا معيار ڪنٽرول ماڊل
ڊيٽا جي شفافيت کي يقيني بڻائڻ جي حوالي سان اسان مٿي ذڪر ڪيل سڀ ڪجهه اهم نه آهي اهو سمجهڻ کان سواءِ ته جيڪو ڊيٽا اسان صارفين کي ڏيون ٿا درست آهي. اسان جي ڊيٽا گورننس تصور جي اهم ماڊلز مان هڪ آهي ڊيٽا معيار ڪنٽرول ماڊل.
موجوده اسٽيج تي، هي چونڊيل ادارن جي چيڪن جو هڪ فهرست آهي. پيداوار جي ترقي لاءِ فوري مقصد چيڪن جي لسٽ کي وڌائڻ ۽ رپورٽنگ رجسٽري سان ضم ڪرڻ آهي.
اهو ڇا ڏيندو ۽ ڪنهن کي؟ رجسٽري جي آخري صارف کي رپورٽ جي تياري جي منصوبابندي ڪيل ۽ حقيقي تاريخن بابت معلومات تائين رسائي هوندي، مڪمل ٿيل چيڪن جا نتيجا متحرڪ سان، ۽ رپورٽ ۾ لوڊ ڪيل ذريعن تي معلومات.
اسان لاءِ، ڊيٽا جي معيار جو ماڊل اسان جي ڪم جي عملن ۾ ضم ٿيل آهي:
- ڪسٽمر جي اميدن جي تڪڙي ٺهڻ.
- ڊيٽا جي وڌيڪ استعمال تي فيصلا ڪرڻ.
- باقاعده معيار جي ڪنٽرول جي ترقي لاء ڪم جي شروعاتي مرحلن تي مسئلن جي پوائنٽن جي شروعاتي سيٽ حاصل ڪرڻ.
يقينن، اهي هڪ مڪمل ڊيٽا مينيجمينٽ جي عمل جي تعمير ۾ پهريون قدم آهن. پر اسان کي يقين آهي ته صرف مقصد سان اهو ڪم ڪرڻ سان، ڪم جي عمل ۾ ڊيٽا گورننس ٽولز کي فعال طور تي متعارف ڪرائڻ سان، اسان پنهنجي گراهڪ کي معلوماتي مواد، ڊيٽا تي هڪ اعليٰ سطحي اعتماد، انهن جي وصولي ۾ شفافيت ۽ لانچ ڪرڻ جي رفتار کي وڌائينداسين. نئين ڪارڪردگي.
DataOffice ٽيم
جو ذريعو: www.habr.com