پچھلے آٹھ سالوں سے میں ایک پروجیکٹ مینیجر کے طور پر کام کر رہا ہوں (میں کام پر کوڈ نہیں لکھتا)، جو قدرتی طور پر میرے تکنیکی پس منظر پر منفی اثر ڈالتا ہے۔ میں نے اپنے تکنیکی خلا کو ختم کرنے اور ڈیٹا انجینئر کا پیشہ اختیار کرنے کا فیصلہ کیا۔ ڈیٹا انجینئر کی بنیادی مہارت ڈیٹا گوداموں کو ڈیزائن، تعمیر اور برقرار رکھنے کی صلاحیت ہے۔
میں نے ایک تربیتی منصوبہ بنایا، مجھے لگتا ہے کہ یہ نہ صرف میرے لیے مفید ہوگا۔ منصوبہ خود مطالعہ کورسز پر مرکوز ہے۔ ترجیح روسی زبان میں مفت کورسز کو دی جاتی ہے۔
حصے:
- الگورتھم اور ڈیٹا ڈھانچے. کلیدی سیکشن۔ اسے سیکھیں اور باقی سب کام بھی چلے گا۔ کوڈ پر ہاتھ اٹھانا اور بنیادی ڈھانچے اور الگورتھم استعمال کرنا ضروری ہے۔
- ڈیٹا بیس اور ڈیٹا گودام، بزنس انٹیلی جنس۔ ہم الگورتھم سے ڈیٹا اسٹوریج اور پروسیسنگ کی طرف بڑھ رہے ہیں۔
- ہڈوپ اور بگ ڈیٹا۔ جب ڈیٹا بیس کو ہارڈ ڈرائیو میں شامل نہیں کیا جاتا ہے، یا جب ڈیٹا کا تجزیہ کرنے کی ضرورت ہوتی ہے، لیکن Excel انہیں مزید لوڈ نہیں کر سکتا، تو بڑا ڈیٹا شروع ہوتا ہے۔ میری رائے میں اس سیکشن پر آگے بڑھنا پہلے کے دو گہرے مطالعہ کے بعد ہی ضروری ہے۔
الگورتھم اور ڈیٹا ڈھانچے
اپنے منصوبے میں، میں نے Python سیکھنا، ریاضی کی بنیادی باتوں کو دہرانا اور الگورتھم کرنا شامل کیا۔
ڈیٹا بیس اور ڈیٹا گودام، بزنس انٹیلی جنس
- کتاب: مارٹن کلیپ مین - انتہائی بھری ہوئی ایپلی کیشنز۔ پروگرامنگ، اسکیلنگ، سپورٹ۔ کتاب میں بتایا گیا ہے کہ ڈیٹا کے مختلف ماڈلز کیسے کام کرتے ہیں، ان کا اندر سے نفاذ، حدود اور کام کے لحاظ سے انتخاب۔
ڈیٹا گوداموں کی تعمیر سے متعلق موضوعات، ETL، OLAP کیوبز ٹولز پر بہت زیادہ انحصار کرتے ہیں، اس لیے میں اس دستاویز میں کورسز کے لنکس نہیں دیتا۔ کسی مخصوص کمپنی میں کسی خاص پروجیکٹ پر کام کرتے وقت اس طرح کے سسٹمز کا مطالعہ کرنے کا مشورہ دیا جاتا ہے۔ ETL سے واقفیت کے لیے، آپ کوشش کر سکتے ہیں۔ یا .
میری رائے میں، جدید ڈیٹا والٹ ڈیزائن کے طریقہ کار کا مطالعہ کرنا ضروری ہے۔ , . اور اسے سیکھنے کا بہترین طریقہ یہ ہے کہ اسے لیں اور اسے ایک سادہ مثال کے ساتھ نافذ کریں۔ GitHub پر ڈیٹا والٹ کے نفاذ کی کئی مثالیں ہیں۔ . ماڈرن ڈیٹا ویئر ہاؤس بک: ہینس ہلٹگرین کے ڈیٹا والٹ کے ساتھ چست ڈیٹا گودام کی ماڈلنگ۔
اختتامی صارفین کے لیے بزنس انٹیلی جنس ٹولز سے واقف ہونے کے لیے، آپ رپورٹس، ڈیش بورڈز، منی ڈیٹا گودام پاور BI ڈیسک ٹاپ کے مفت ڈیزائنر کا استعمال کر سکتے ہیں۔ تعلیمی مواد: , .
ہڈوپ اور بگ ڈیٹا
- آپ کو تیسرے فریق کی لائبریریوں کے بغیر MapReduce کے آزادانہ نفاذ کے ساتھ شروع کرنے کی ضرورت ہے۔ یہ مستقبل میں ملٹی تھریڈڈ نفاذ کی بہتر تفہیم کی اجازت دے گا۔ Python میں ایک بہترین مثال بیان کی گئی ہے۔ .
حاصل يہ ہوا
آپ جو کچھ سیکھتے ہیں اسے کام پر لاگو نہیں کیا جا سکتا۔ لہذا، آپ کو ایک گریجویشن پروجیکٹ کی ضرورت ہے جس میں آپ نئے علم کو لاگو کرنے کی کوشش کریں گے۔
پلان میں ڈیٹا کے تجزیہ اور مشین لرننگ سے متعلق کوئی موضوعات نہیں ہیں۔ یہ ڈیٹا سائنٹسٹ کے پیشے پر زیادہ لاگو ہوتا ہے۔ AWS بادل، Azure سے متعلق کوئی عنوانات بھی نہیں ہیں۔ یہ تھیمز پلیٹ فارم کے انتخاب پر بہت زیادہ منحصر ہیں۔
کمیونٹی سے سوالات:
میرا لیولنگ پلان کتنا مناسب ہے؟ کیا ہٹانا یا شامل کرنا ہے؟
تھیسس کے طور پر آپ کس پروجیکٹ کی تجویز کریں گے؟
ماخذ: www.habr.com