ارے حبر!
ڈیٹا کمپنی کا سب سے قیمتی اثاثہ ہے۔ ڈیجیٹل فوکس والی تقریباً ہر کمپنی اس کا اعلان کرتی ہے۔ اس کے ساتھ بحث کرنا مشکل ہے: ڈیٹا کے انتظام، ذخیرہ اور پروسیسنگ کے طریقوں پر بحث کیے بغیر ایک بھی بڑی IT کانفرنس منعقد نہیں کی جاتی ہے۔
ڈیٹا ہمارے پاس باہر سے آتا ہے، یہ کمپنی کے اندر بھی تیار ہوتا ہے، اور اگر ٹیلی کام کمپنی کے ڈیٹا کی بات کریں تو اندرونی ملازمین کے لیے یہ کلائنٹ، اس کی دلچسپیوں، عادات اور مقام کے بارے میں معلومات کا ذخیرہ ہے۔ مناسب پروفائلنگ اور سیگمنٹیشن کے ساتھ، اشتہاری پیشکشیں زیادہ موثر ہوتی ہیں۔ تاہم، عملی طور پر، ہر چیز اتنی گلابی نہیں ہے. کمپنیاں جو ڈیٹا اسٹور کرتی ہیں وہ مایوس کن طور پر پرانا، بے کار، بار بار ہو سکتا ہے یا اس کا وجود صارفین کے ایک تنگ دائرے کے علاوہ کسی کو معلوم نہیں ہے۔ ¯_(ツ)_/¯
ایک لفظ میں، ڈیٹا کو مؤثر طریقے سے منظم کیا جانا چاہئے - تب ہی یہ ایک ایسا اثاثہ بن جائے گا جو کاروبار کو حقیقی فوائد اور منافع لاتا ہے۔ بدقسمتی سے، ڈیٹا مینجمنٹ کے مسائل کو حل کرنے کے لیے بہت سی پیچیدگیوں پر قابو پانے کی ضرورت ہوتی ہے۔ وہ بنیادی طور پر نظاموں کے "چڑیا گھر" کی شکل میں تاریخی میراث اور ان کے انتظام کے لیے متحد عمل اور نقطہ نظر کی کمی کی وجہ سے ہیں۔ لیکن "ڈیٹا پر مبنی" ہونے کا کیا مطلب ہے؟
یہ بالکل وہی ہے جس کے بارے میں ہم کٹ کے نیچے بات کریں گے، ساتھ ہی اوپن سورس اسٹیک نے ہماری مدد کیسے کی۔
اسٹریٹجک ڈیٹا مینجمنٹ ڈیٹا گورننس (DG) کا تصور روسی مارکیٹ میں پہلے ہی کافی مشہور ہے، اور اس کے نفاذ کے نتیجے میں کاروبار کے ذریعے حاصل کیے گئے اہداف واضح اور واضح طور پر بیان کیے گئے ہیں۔ ہماری کمپنی بھی اس سے مستثنیٰ نہیں تھی اور اس نے خود کو ڈیٹا مینجمنٹ کے تصور کو متعارف کرانے کا کام سونپا۔
تو ہم نے کہاں سے شروع کیا؟ شروع کرنے کے لیے، ہم نے اپنے لیے کلیدی اہداف بنائے:
- ہمارے ڈیٹا کو قابل رسائی رکھیں۔
- ڈیٹا لائف سائیکل کی شفافیت کو یقینی بنائیں۔
- کمپنی کے صارفین کو مستقل، مستقل ڈیٹا فراہم کریں۔
- کمپنی کے صارفین کو تصدیق شدہ ڈیٹا فراہم کریں۔
آج، سافٹ ویئر مارکیٹ میں ڈیٹا گورننس کلاس کے ایک درجن ٹولز موجود ہیں۔
لیکن حل کے تفصیلی تجزیہ اور مطالعہ کے بعد، ہم نے اپنے لیے کئی تنقیدی تبصرے درج کیے:
- زیادہ تر مینوفیکچررز حل کا ایک جامع سیٹ پیش کرتے ہیں، جو ہمارے لیے بے کار ہے اور موجودہ فعالیت کو نقل کرتا ہے۔ اس کے علاوہ، وسائل کے لحاظ سے مہنگا، موجودہ IT لینڈ اسکیپ میں انضمام۔
- فعالیت اور انٹرفیس ٹیکنولوجسٹوں کے لیے ڈیزائن کیے گئے ہیں، نہ کہ کاروباری اختتامی صارفین کے لیے۔
- مصنوعات کی کم بقا کی شرح اور روسی مارکیٹ میں کامیاب نفاذ کی کمی۔
- سافٹ ویئر کی اعلی قیمت اور مزید معاونت۔
روسی کمپنیوں کے لیے سافٹ ویئر کی درآمد کے متبادل کے حوالے سے اوپر بیان کیے گئے معیارات اور سفارشات نے ہمیں اوپن سورس اسٹیک پر اپنی ترقی کی طرف بڑھنے کے لیے قائل کیا۔ ہم نے جس پلیٹ فارم کا انتخاب کیا وہ Django تھا، ایک مفت اور اوپن سورس فریم ورک جو Python میں لکھا گیا تھا۔ اور اس طرح ہم نے کلیدی ماڈیولز کی نشاندہی کی ہے جو اوپر بیان کردہ اہداف میں حصہ ڈالیں گے:
- رپورٹوں کا رجسٹر۔
- کاروباری لغت۔
- تکنیکی تبدیلیوں کو بیان کرنے کے لیے ماڈیول۔
- ماخذ سے BI ٹول تک ڈیٹا لائف سائیکل کو بیان کرنے کے لیے ماڈیول۔
- ڈیٹا کوالٹی کنٹرول ماڈیول۔
رپورٹوں کا رجسٹر
بڑی کمپنیوں میں داخلی مطالعات کے نتائج کے مطابق، ڈیٹا سے متعلق مسائل کو حل کرتے وقت، ملازمین اپنا 40-80% وقت ان کی تلاش میں صرف کرتے ہیں۔ لہذا، ہم نے خود کو موجودہ رپورٹس کے بارے میں کھلی معلومات فراہم کرنے کا کام مقرر کیا ہے جو پہلے صرف صارفین کے لیے دستیاب تھیں۔ اس طرح، ہم نئی رپورٹس بنانے کے لیے وقت کو کم کرتے ہیں اور ڈیٹا کی جمہوریت کو یقینی بناتے ہیں۔
رپورٹنگ رجسٹر مختلف علاقوں، محکموں اور ڈویژنوں کے اندرونی صارفین کے لیے ایک واحد رپورٹنگ ونڈو بن گیا ہے۔ یہ کمپنی کے متعدد کارپوریٹ ذخیروں میں تخلیق کردہ معلوماتی خدمات کے بارے میں معلومات کو یکجا کرتا ہے، اور ان میں سے کئی Rostelecom میں موجود ہیں۔
لیکن رجسٹری صرف ترقی یافتہ رپورٹوں کی خشک فہرست نہیں ہے۔ ہر رپورٹ کے لیے، ہم صارف کے لیے ضروری معلومات فراہم کرتے ہیں تاکہ وہ خود کو اس سے واقف کر سکے۔
- رپورٹ کی مختصر وضاحت؛
- ڈیٹا کی دستیابی کی گہرائی؛
- کسٹمر طبقہ؛
- تصور کا آلہ؛
- کارپوریٹ اسٹوریج کا نام؛
- کاروباری فنکشنل ضروریات؛
- رپورٹ کا لنک؛
- رسائی کے لیے درخواست سے لنک؛
- عمل درآمد کی حیثیت
رپورٹس کے لیے استعمال کی سطح کے تجزیات دستیاب ہیں، اور منفرد صارفین کی تعداد کی بنیاد پر لاگ اینالیٹکس کی بنیاد پر رپورٹس کو فہرست میں سب سے اوپر درجہ دیا جاتا ہے۔ اور ایسا نہیں ہے۔ عمومی خصوصیات کے علاوہ، ہم نے رپورٹس کے انتساب مرکب کی قدروں اور حساب کے طریقوں کی مثالوں کے ساتھ تفصیلی وضاحت بھی فراہم کی ہے۔ اس طرح کی تفصیل صارف کو فوری طور پر جواب دیتی ہے کہ آیا رپورٹ اس کے لیے مفید ہے یا نہیں۔
اس ماڈیول کی ترقی ڈیٹا کی جمہوری کاری میں ایک اہم قدم تھا اور اس نے مطلوبہ معلومات کو تلاش کرنے میں لگنے والے وقت کو نمایاں طور پر کم کر دیا۔ تلاش کے وقت کو کم کرنے کے علاوہ، سپورٹ ٹیم کو مشاورت فراہم کرنے کی درخواستوں کی تعداد میں بھی کمی آئی ہے۔ یہ ناممکن ہے کہ ایک اور کارآمد نتیجہ کو نوٹ نہ کیا جائے جو ہم نے رپورٹس کا ایک متحد رجسٹر تیار کرکے حاصل کیا - مختلف ساختی اکائیوں کے لیے نقلی رپورٹس کی ترقی کو روک کر۔
کاروباری لغت
آپ سب جانتے ہیں کہ ایک ہی کمپنی کے اندر بھی کاروبار مختلف زبانیں بولتے ہیں۔ ہاں، وہ ایک جیسی اصطلاحات استعمال کرتے ہیں، لیکن ان کا مطلب بالکل مختلف ہے۔ اس مسئلے کو حل کرنے کے لیے ایک کاروباری لغت تیار کی گئی ہے۔
ہمارے لیے، ایک کاروباری لغت صرف ایک حوالہ کتاب نہیں ہے جس میں شرائط اور حساب کتاب کے طریقہ کار کی وضاحت ہو۔ یہ اصطلاحات کو تیار کرنے، اتفاق کرنے اور منظوری دینے، شرائط اور کمپنی کے دیگر معلوماتی اثاثوں کے درمیان تعلقات استوار کرنے کے لیے ایک مکمل ماحول ہے۔ کاروباری لغت میں داخل ہونے سے پہلے، ایک اصطلاح کو کاروباری صارفین اور ڈیٹا کوالٹی سینٹر کے ساتھ منظوری کے تمام مراحل سے گزرنا چاہیے۔ اس کے بعد ہی یہ استعمال کے لیے دستیاب ہوگا۔
جیسا کہ میں نے اوپر لکھا ہے، اس ٹول کی انفرادیت یہ ہے کہ یہ کسی کاروباری اصطلاح کی سطح سے مخصوص صارف کی رپورٹس کے ساتھ ساتھ فزیکل ڈیٹابیس اشیاء کی سطح تک کنکشن کی اجازت دیتا ہے۔
یہ رجسٹری رپورٹس کی تفصیلی وضاحت اور فزیکل ڈیٹابیس اشیاء کی تفصیل میں لغت کے اصطلاحی شناخت کنندگان کے استعمال سے ممکن ہوا ہے۔
فی الحال، لغت میں 4000 سے زیادہ اصطلاحات کی وضاحت اور ان پر اتفاق کیا گیا ہے۔ اس کا استعمال کمپنی کے انفارمیشن سسٹم میں تبدیلیوں کے لیے آنے والی درخواستوں کی کارروائی کو آسان اور تیز کرتا ہے۔ اگر کسی بھی رپورٹ میں مطلوبہ اشارے پہلے سے ہی لاگو کر دیا گیا ہے، تو صارف کو فوری طور پر تیار رپورٹوں کا ایک سیٹ نظر آئے گا جہاں یہ اشارے استعمال کیے گئے ہیں، اور وہ موجودہ فعالیت کے مؤثر دوبارہ استعمال یا اس میں کم سے کم ترمیم کے بارے میں فیصلہ کرنے کے قابل ہو جائے گا، بغیر شروع کیے نئی رپورٹ کی ترقی کے لیے نئی درخواستیں۔
تکنیکی تبدیلیوں اور ڈیٹا لائنیج کو بیان کرنے کے لیے ماڈیول
یہ ماڈیولز کیا ہیں، آپ پوچھتے ہیں؟ صرف رپورٹ رجسٹر اور لغت کو لاگو کرنا کافی نہیں ہے؛ یہ بھی ضروری ہے کہ تمام کاروباری شرائط کو فزیکل ڈیٹا بیس ماڈل پر گراؤنڈ کیا جائے۔ اس طرح، ہم ڈیٹا گودام کی تمام پرتوں کے ذریعے ماخذ نظام سے BI ویژولائزیشن تک ڈیٹا لائف سائیکل کی تشکیل کے عمل کو مکمل کرنے میں کامیاب ہو گئے۔ دوسرے الفاظ میں، ڈیٹا لائنیج بنائیں۔
ہم نے ڈیٹا کی تبدیلی کے قواعد اور منطق کو بیان کرنے کے لیے کمپنی میں پہلے استعمال کیے گئے فارمیٹ کی بنیاد پر ایک انٹرفیس تیار کیا ہے۔ وہی معلومات پہلے کی طرح انٹرفیس کے ذریعے درج کی گئی ہیں، لیکن کاروباری لغت سے شناخت کنندہ کی اصطلاح کی تعریف شرط بن گئی ہے۔ اس طرح ہم کاروبار اور جسمانی تہوں کے درمیان رابطہ قائم کرتے ہیں۔
کس کو اس کی ضرورت ہے؟ پرانے فارمیٹ میں کیا خرابی تھی جس کے ساتھ آپ نے کئی سالوں تک کام کیا؟ ضروریات پیدا کرنے کے لیے مزدوری کے اخراجات میں کتنا اضافہ ہوا ہے؟ ہمیں ٹول کے نفاذ کے دوران اس طرح کے سوالات سے نمٹنا پڑا۔ یہاں جوابات کافی آسان ہیں - ہم سب کو اس کی ضرورت ہے، ہماری کمپنی کا ڈیٹا آفس اور ہمارے صارفین۔
درحقیقت، ملازمین کو اپنانا پڑا؛ پہلے تو، اس کی وجہ سے دستاویزات کی تیاری کے لیے مزدوری کے اخراجات میں معمولی اضافہ ہوا، لیکن ہم نے اس مسئلے کو حل کیا۔ مشق، شناخت اور مسائل کے علاقوں کو بہتر بنانے نے اپنا کام کیا ہے۔ ہم نے اہم چیز حاصل کی ہے - ہم نے ترقی یافتہ ضروریات کے معیار کو بہتر بنایا ہے۔ لازمی فیلڈز، متحد حوالہ کتابیں، ان پٹ ماسک، بلٹ ان چیکس - ان سب نے تبدیلی کی وضاحت کے معیار کو نمایاں طور پر بہتر کرنا ممکن بنایا۔ ہم ترقی کے تقاضوں اور مشترکہ علم کے طور پر اسکرپٹس کے حوالے کرنے کی مشق سے دور ہو گئے جو صرف ترقیاتی ٹیم کو دستیاب تھا۔ تیار کردہ میٹا ڈیٹا ڈیٹا بیس ریگریشن تجزیہ کرنے کے لیے درکار وقت کو نمایاں طور پر کم کرتا ہے اور آئی ٹی لینڈ اسکیپ کی کسی بھی پرت (شوکیس رپورٹس، ایگریگیٹس، ذرائع) پر ہونے والی تبدیلیوں کے اثرات کا فوری جائزہ لینے کی صلاحیت فراہم کرتا ہے۔
اس کا رپورٹس کے عام صارفین سے کیا تعلق ہے، ان کے لیے کیا فوائد ہیں؟ DataLineage بنانے کی صلاحیت کی بدولت، ہمارے صارفین، یہاں تک کہ وہ جو SQL اور دیگر پروگرامنگ زبانوں سے دور ہیں، فوری طور پر ان ذرائع اور اشیاء کے بارے میں معلومات حاصل کرتے ہیں جن کی بنیاد پر کوئی خاص رپورٹ تیار کی جاتی ہے۔
ڈیٹا کوالٹی کنٹرول ماڈیول
ڈیٹا کی شفافیت کو یقینی بنانے کے سلسلے میں ہم نے اوپر جس چیز کے بارے میں بات کی ہے وہ یہ سمجھے بغیر اہم نہیں ہے کہ ہم جو ڈیٹا صارفین کو دیتے ہیں وہ درست ہے۔ ہمارے ڈیٹا گورننس تصور کے اہم ماڈیولز میں سے ایک ڈیٹا کوالٹی کنٹرول ماڈیول ہے۔
موجودہ مرحلے پر، یہ منتخب اداروں کے لیے چیک کا ایک کیٹلاگ ہے۔ مصنوعات کی ترقی کا فوری ہدف چیک کی فہرست کو بڑھانا اور رپورٹنگ رجسٹری کے ساتھ مربوط کرنا ہے۔
یہ کیا دے گا اور کس کو؟ رجسٹری کے آخری صارف کو رپورٹ کی تیاری کی منصوبہ بند اور حقیقی تاریخوں، ڈائنامکس کے ساتھ مکمل چیک کے نتائج، اور رپورٹ میں شامل ذرائع کے بارے میں معلومات تک رسائی حاصل ہوگی۔
ہمارے لیے، ڈیٹا کوالٹی ماڈیول جو ہمارے کام کے عمل میں ضم کیا گیا ہے:
- گاہک کی توقعات کی فوری تشکیل۔
- ڈیٹا کے مزید استعمال کے بارے میں فیصلے کرنا۔
- باقاعدہ کوالٹی کنٹرولز کی ترقی کے لیے کام کے ابتدائی مراحل میں مسائل کے نکات کا ابتدائی سیٹ حاصل کرنا۔
بلاشبہ، یہ ایک مکمل ڈیٹا مینجمنٹ کے عمل کی تعمیر کے پہلے اقدامات ہیں۔ لیکن ہمیں یقین ہے کہ صرف جان بوجھ کر یہ کام کرنے سے، ڈیٹا گورننس ٹولز کو کام کے عمل میں فعال طور پر متعارف کراتے ہوئے، ہم اپنے کلائنٹس کو معلوماتی مواد، ڈیٹا پر اعلیٰ سطح کا اعتماد، ان کی وصولی میں شفافیت اور لانچنگ کی رفتار میں اضافہ کریں گے۔ نئی فعالیت.
ڈیٹا آفس ٹیم
ماخذ: www.habr.com