ہیلو دوبارہ! مضمون کا عنوان خود ہی بولتا ہے۔ کورس کے آغاز کی توقع میں ہمارا مشورہ ہے کہ آپ سمجھیں کہ ڈیٹا انجینئر کون ہیں۔ مضمون میں بہت سارے مفید لنکس ہیں۔ خوش پڑھنا۔
ڈیٹا انجینئرنگ کی لہر کو کیسے پکڑنا ہے اور اسے آپ کو کھائی میں نہ جانے دینے کے بارے میں ایک سادہ گائیڈ۔
ایسا لگتا ہے کہ ان دنوں ہر کوئی ڈیٹا سائنٹسٹ بننا چاہتا ہے۔ لیکن ڈیٹا انجینئرنگ کا کیا ہوگا؟ بنیادی طور پر، یہ ڈیٹا تجزیہ کار اور ڈیٹا سائنسدان کا ایک قسم کا ہائبرڈ ہے۔ ایک ڈیٹا انجینئر عام طور پر ورک فلو، پروسیسنگ پائپ لائنز، اور ETL عمل کے انتظام کے لیے ذمہ دار ہوتا ہے۔. ان افعال کی اہمیت کی وجہ سے، یہ فی الحال ایک اور مقبول پیشہ ورانہ لفظ ہے جو فعال طور پر زور پکڑ رہا ہے۔
زیادہ تنخواہیں اور بہت زیادہ مانگ اس کام کا صرف ایک چھوٹا سا حصہ ہے جو اس کام کو انتہائی پرکشش بناتی ہے! اگر آپ ہیروز کی صف میں شامل ہونا چاہتے ہیں، تو سیکھنا شروع کرنے میں کبھی دیر نہیں لگتی۔ اس پوسٹ میں، میں نے آپ کے پہلے قدم اٹھانے میں مدد کے لیے تمام ضروری معلومات اکٹھی کی ہیں۔
تو ، آئیے شروع کرتے ہیں!
ڈیٹا انجینئرنگ کیا ہے؟
سچ میں، اس سے بہتر کوئی وضاحت نہیں ہے:
"ایک سائنس دان ایک نیا ستارہ دریافت کر سکتا ہے، لیکن وہ اسے تخلیق نہیں کر سکتا۔ اسے کسی انجینئر سے اس کے لیے یہ کام کرنے کو کہنا پڑے گا۔"
- گورڈن لنڈسے گلیگ
اس طرح ڈیٹا انجینئر کا کردار کافی اہم ہے۔
جیسا کہ نام سے پتہ چلتا ہے، ڈیٹا انجینئرنگ کا تعلق ڈیٹا سے ہے، یعنی اس کی ترسیل، اسٹوریج اور پروسیسنگ۔ اس کے مطابق انجینئرز کا بنیادی کام ڈیٹا کے لیے قابل اعتماد انفراسٹرکچر فراہم کرنا ہے۔ اگر ہم ضروریات کے AI درجہ بندی کو دیکھیں تو ڈیٹا انجینئرنگ پہلے 2-3 مراحل پر مشتمل ہے: جمع کرنا، نقل و حرکت اور ذخیرہ کرنا، ڈیٹا کی تیاری.
ڈیٹا انجینئر کیا کرتا ہے؟
بڑے اعداد و شمار کی آمد کے ساتھ، ذمہ داری کے دائرہ کار میں ڈرامائی طور پر تبدیلی آئی ہے۔ اگر پہلے یہ ماہرین انفارمیٹیکا ای ٹی ایل، پینٹاہو ای ٹی ایل، ٹیلنڈ جیسے ٹولز کا استعمال کرتے ہوئے بڑے ایس کیو ایل سوالات اور ڈسٹلڈ ڈیٹا لکھتے تھے تو اب ڈیٹا انجینئرز کی ضروریات بڑھ گئی ہیں۔
ڈیٹا انجینئر کے عہدے کے لیے کھلی آسامیاں رکھنے والی زیادہ تر کمپنیاں درج ذیل تقاضے رکھتی ہیں۔
- ایس کیو ایل اور ازگر کا بہترین علم۔
- کلاؤڈ پلیٹ فارمز، خاص طور پر ایمیزون ویب سروسز کے ساتھ تجربہ کریں۔
- جاوا/اسکالا کے علم کو ترجیح دی جاتی ہے۔
- SQL اور NoSQL ڈیٹا بیس (ڈیٹا ماڈلنگ، ڈیٹا گودام) کی اچھی سمجھ بوجھ۔
ذہن میں رکھو، یہ صرف ضروری چیزیں ہیں. اس فہرست سے یہ اندازہ لگایا جا سکتا ہے کہ ڈیٹا انجینئرز سافٹ ویئر ڈویلپمنٹ اور بیک اینڈ کے شعبے کے ماہر ہوتے ہیں۔
مثال کے طور پر، اگر کوئی کمپنی مختلف ذرائع سے ڈیٹا کی ایک بڑی مقدار پیدا کرنا شروع کر دیتی ہے، تو ڈیٹا انجینئر کے طور پر آپ کا کام معلومات کو جمع کرنے، اس کی پروسیسنگ اور اسٹوریج کو منظم کرنا ہے۔
اس معاملے میں استعمال ہونے والے آلات کی فہرست مختلف ہو سکتی ہے، یہ سب اس ڈیٹا کے حجم، اس کی وصولی کی رفتار اور متفاوت پر منحصر ہے۔ زیادہ تر کمپنیاں بڑے ڈیٹا سے بالکل بھی نمٹ نہیں پاتی ہیں، اس لیے ایک مرکزی ذخیرے کے طور پر، ایک نام نہاد ڈیٹا گودام، آپ ایس کیو ایل ڈیٹا بیس (پوسٹگری ایس کیو ایل، مائی ایس کیو ایل، وغیرہ) کو اسکرپٹ کے ایک چھوٹے سیٹ کے ساتھ استعمال کر سکتے ہیں جو ڈیٹا کو فیڈ کرتے ہیں۔ گودام
آئی ٹی کمپنیاں جیسے گوگل، ایمیزون، فیس بک یا ڈراپ باکس کے پاس زیادہ تقاضے ہیں: ازگر، جاوا یا اسکالا کا علم۔
- بڑے ڈیٹا کے ساتھ تجربہ: ہڈوپ، سپارک، کافکا۔
- الگورتھم اور ڈیٹا ڈھانچے کا علم۔
- تقسیم شدہ نظام کے بنیادی اصولوں کو سمجھنا۔
- ڈیٹا ویژولائزیشن ٹولز جیسے ٹیبلاؤ یا ایلسٹک سرچ کے ساتھ تجربہ ایک پلس ہوگا۔
یعنی بڑے ڈیٹا کی طرف واضح تبدیلی ہے، یعنی زیادہ بوجھ کے تحت اس کی پروسیسنگ میں۔ ان کمپنیوں نے سسٹم فالٹ ٹولرنس کی ضروریات میں اضافہ کیا ہے۔
ڈیٹا انجینئرز بمقابلہ ڈیٹا سائنسدانوں
ٹھیک ہے، یہ ایک سادہ اور مضحکہ خیز موازنہ تھا (ذاتی کچھ نہیں)، لیکن حقیقت میں یہ بہت زیادہ پیچیدہ ہے۔
سب سے پہلے، آپ کو معلوم ہونا چاہیے کہ ڈیٹا سائنسدان اور ڈیٹا انجینئر کے کرداروں اور مہارتوں کی وضاحت میں بہت زیادہ ابہام ہے۔ یعنی، آپ آسانی سے اس الجھن میں پڑ سکتے ہیں کہ ایک کامیاب ڈیٹا انجینئر بننے کے لیے کن مہارتوں کی ضرورت ہے۔ بلاشبہ، کچھ مہارتیں ہیں جو دونوں کرداروں کے ساتھ اوورلیپ ہوتی ہیں۔ لیکن متعدد متضاد مہارتیں بھی ہیں۔
ڈیٹا سائنس ایک سنجیدہ کاروبار ہے، لیکن ہم فعال ڈیٹا سائنس کی دنیا کی طرف بڑھ رہے ہیں جہاں پریکٹیشنرز اپنے تجزیات خود کرنے کے قابل ہیں۔ ڈیٹا پائپ لائنز اور مربوط ڈیٹا ڈھانچے کو فعال کرنے کے لیے، آپ کو ڈیٹا انجینئرز کی ضرورت ہے، ڈیٹا سائنسدانوں کی نہیں۔
کیا ڈیٹا سائنسدان کے مقابلے میں ڈیٹا انجینئر کی زیادہ مانگ ہے؟
- ہاں، کیونکہ اس سے پہلے کہ آپ گاجر کا کیک بنا سکیں، آپ کو پہلے گاجروں کو جمع کرنے، چھیلنے اور اسٹاک کرنے کی ضرورت ہے!
ایک ڈیٹا انجینئر کسی بھی ڈیٹا سائنسدان سے بہتر پروگرامنگ کو سمجھتا ہے، لیکن جب اعداد و شمار کی بات آتی ہے تو اس کے برعکس ہوتا ہے۔
لیکن یہاں ایک ڈیٹا انجینئر کا فائدہ ہے:
اس کے بغیر، پروٹوٹائپ ماڈل کی قدر، جو اکثر پائیتھون فائل میں خوفناک کوالٹی کوڈ کے ٹکڑے پر مشتمل ہوتی ہے، جو ڈیٹا سائنسدان سے حاصل کیا جاتا ہے اور کسی نہ کسی طرح نتیجہ نکالتا ہے، صفر ہو جاتا ہے۔
ڈیٹا انجینئر کے بغیر، یہ کوڈ کبھی بھی پراجیکٹ نہیں بنے گا اور کوئی بھی کاروباری مسئلہ مؤثر طریقے سے حل نہیں ہوگا۔ ڈیٹا انجینئر اس سب کو ایک پروڈکٹ میں تبدیل کرنے کی کوشش کر رہا ہے۔
بنیادی معلومات ایک ڈیٹا انجینئر کو جاننا چاہیے۔
لہذا، اگر یہ کام آپ میں روشنی ڈالتا ہے اور آپ پرجوش ہیں - آپ اسے سیکھ سکتے ہیں، آپ تمام ضروری مہارتوں میں مہارت حاصل کر سکتے ہیں اور ڈیٹا انجینئرنگ کے میدان میں ایک حقیقی راک اسٹار بن سکتے ہیں۔ اور، ہاں، آپ پروگرامنگ کی مہارت یا دیگر تکنیکی علم کے بغیر بھی اسے ختم کر سکتے ہیں۔ یہ مشکل ہے، لیکن ممکن ہے!
پہلے اقدامات کیا ہیں؟
آپ کو عام خیال ہونا چاہئے کہ کیا ہے۔
سب سے پہلے، ڈیٹا انجینئرنگ سے مراد کمپیوٹر سائنس ہے۔ مزید خاص طور پر، آپ کو موثر الگورتھم اور ڈیٹا ڈھانچے کو سمجھنا چاہیے۔ دوم، چونکہ ڈیٹا انجینئرز ڈیٹا کے ساتھ کام کرتے ہیں، اس لیے ڈیٹا بیس کے اصولوں اور ان کے ڈھانچے کو سمجھنا ضروری ہے۔
مثال کے طور پر، روایتی B-tree SQL ڈیٹا بیس B-Tree ڈیٹا ڈھانچے پر مبنی ہیں، نیز جدید تقسیم شدہ ذخیروں، LSM-Tree اور ہیش ٹیبلز کی دیگر ترمیمات میں۔
*یہ اقدامات ایک عظیم مضمون پر مبنی ہیں۔ . لہذا، اگر آپ روسی جانتے ہیں، تو اس مصنف کی حمایت کریں اور پڑھیں .
1. الگورتھم اور ڈیٹا ڈھانچہ
صحیح ڈیٹا ڈھانچہ کا استعمال الگورتھم کی کارکردگی کو نمایاں طور پر بہتر بنا سکتا ہے۔ مثالی طور پر، ہم سب کو اپنے اسکولوں میں ڈیٹا ڈھانچے اور الگورتھم کے بارے میں سیکھنا چاہیے، لیکن اس کا احاطہ شاذ و نادر ہی ہوتا ہے۔ کسی بھی صورت میں، واقف ہونے میں کبھی دیر نہیں ہوتی۔
تو یہاں ڈیٹا ڈھانچے اور الگورتھم سیکھنے کے لیے میرے پسندیدہ مفت کورسز ہیں:
نیز الگورتھم پر تھامس کورمین کے کلاسک کام کے بارے میں مت بھولنا - . جب آپ کو اپنی یادداشت کو تازہ کرنے کی ضرورت ہو تو یہ بہترین حوالہ ہے۔
- اپنی صلاحیتوں کو بہتر بنانے کے لیے استعمال کریں۔ .
آپ یوٹیوب پر کارنیگی میلن یونیورسٹی کے حیرت انگیز ویڈیوز کے ساتھ ڈیٹا بیس کی دنیا میں بھی غوطہ لگا سکتے ہیں:
- .
- .
2. SQL سیکھیں۔
ہماری پوری زندگی ڈیٹا ہے۔ اور ڈیٹا بیس سے اس ڈیٹا کو نکالنے کے لیے، آپ کو اس کے ساتھ وہی زبان "بولنا" ہوگی۔
SQL (Structured Query Language) ڈیٹا ڈومین میں رابطے کی زبان ہے۔ اس سے قطع نظر کہ کوئی بھی کہے، SQL زندہ ہے، زندہ ہے، اور بہت طویل عرصے تک زندہ رہے گا۔
اگر آپ طویل عرصے سے ترقی میں ہیں، تو آپ نے شاید محسوس کیا ہوگا کہ SQL کی موت کے بارے میں افواہیں وقتاً فوقتاً آتی رہتی ہیں۔ یہ زبان 70 کی دہائی کے اوائل میں تیار کی گئی تھی اور اب بھی تجزیہ کاروں، ڈویلپرز اور محض شائقین کے درمیان بہت مقبول ہے۔
ایس کیو ایل کے علم کے بغیر ڈیٹا انجینئرنگ میں کوئی کام نہیں ہے کیونکہ آپ کو لامحالہ ڈیٹا کو بازیافت کرنے کے لیے سوالات کرنے پڑیں گے۔ تمام جدید بڑے ڈیٹا گودام SQL کو سپورٹ کرتے ہیں:
- ایمیزون ریڈ شفٹ
- HP ورٹیکا
- اوریکل
- SQL سرور
... اور کئی دوسرے.
تقسیم شدہ نظاموں میں ذخیرہ شدہ ڈیٹا کی ایک بڑی تہہ کا تجزیہ کرنے کے لیے جیسے کہ HDFS، SQL انجن ایجاد کیے گئے: Apache Hive، Impala، وغیرہ۔ دیکھیں، یہ کہیں نہیں جا رہا ہے۔
ایس کیو ایل کیسے سیکھیں؟ بس اسے عملی طور پر کریں۔
ایسا کرنے کے لیے، میں ایک بہترین ٹیوٹوریل چیک کرنے کی سفارش کروں گا، جو، ویسے، مفت ہے۔ .
جو چیز ان کورسز کو خاص بناتی ہے وہ یہ ہے کہ ان میں ایک انٹرایکٹو ماحول ہے جہاں آپ اپنے براؤزر میں ہی SQL سوالات لکھ اور چلا سکتے ہیں۔ وسیلہ ضرورت سے زیادہ نہیں ہو گا. اور آپ اس علم کا اطلاق کرسکتے ہیں۔ ڈیٹا بیس سیکشن میں۔
3. Python اور Java/Scala میں پروگرامنگ
آپ کو ازگر کی پروگرامنگ زبان کیوں سیکھنی چاہیے، میں پہلے ہی مضمون میں لکھ چکا ہوں۔ . جب جاوا اور اسکالا کی بات آتی ہے تو، ڈیٹا کی بھاری مقدار کو ذخیرہ کرنے اور اس پر کارروائی کرنے کے زیادہ تر ٹولز ان زبانوں میں لکھے جاتے ہیں۔ مثال کے طور پر:
- اپاچی کافکا (اسکالا)
- ہڈوپ، ایچ ڈی ایف ایس (جاوا)
- Apache Spark (Scala)
- اپاچی کیسینڈرا (جاوا)
- HBase (جاوا)
- Apache Hive (جاوا)
یہ سمجھنے کے لیے کہ یہ ٹولز کیسے کام کرتے ہیں، آپ کو ان زبانوں کو جاننا ہوگا جن میں وہ لکھے گئے ہیں۔ Scala کا فعال نقطہ نظر آپ کو متوازی ڈیٹا پروسیسنگ کے مسائل کو مؤثر طریقے سے حل کرنے کی اجازت دیتا ہے۔ Python، بدقسمتی سے، رفتار اور متوازی پروسیسنگ پر فخر نہیں کر سکتا۔ عام طور پر، مسائل کو حل کرنے کے نقطہ نظر کی وسعت کے لیے کئی زبانوں اور پروگرامنگ پیراڈائمز کا علم اچھا ہے۔
Scala زبان میں غوطہ لگانے کے لیے، آپ پڑھ سکتے ہیں۔ زبان کے مصنف سے۔ ٹویٹر نے ایک اچھی تعارفی گائیڈ بھی شائع کی ہے۔ .
جہاں تک ازگر کا تعلق ہے، مجھے یقین ہے۔ درمیانی درجے کی بہترین کتاب۔
4. بڑے ڈیٹا کے ساتھ کام کرنے کے لیے ٹولز
بگ ڈیٹا کی دنیا میں سب سے زیادہ مقبول ٹولز کی فہرست یہ ہے:
- اپاچی چمک
- اپاچی کافکا
- Apache Hadoop (HDFS، HBase، Hive)
- اپاچی Cassandra
آپ اس حیرت انگیز میں بڑے ڈیٹا بلاکس کی تعمیر کے بارے میں مزید معلومات حاصل کرسکتے ہیں۔ . سب سے زیادہ مقبول ٹولز سپارک اور کافکا ہیں۔ وہ یقینی طور پر مطالعہ کے قابل ہیں، یہ سمجھنے کے لئے مشورہ دیا جاتا ہے کہ وہ اندر سے کیسے کام کرتے ہیں. جے کریپس (کافکا کے شریک مصنف) نے 2013 میں ایک یادگار کام شائع کیا ویسے، اپاچی کافکا کی تخلیق کے لیے اس تلمود کے مرکزی خیالات کا استعمال کیا گیا۔
- ہڈوپ کا تعارف ہو سکتا ہے۔ .
- میرے لیے اپاچی اسپارک کا سب سے جامع گائیڈ ہے - .
5. کلاؤڈ پلیٹ فارم
ڈیٹا انجینئر کے عہدے کے لیے درخواست دہندگان کے لیے بنیادی ضروریات کی فہرست میں کم از کم ایک کلاؤڈ پلیٹ فارم کا علم ہے۔ آجر ایمیزون ویب سروسز کو ترجیح دیتے ہیں، جس میں گوگل کا کلاؤڈ پلیٹ فارم دوسرے نمبر پر ہے اور مائیکروسافٹ ایزور ٹاپ تھری میں ہے۔
آپ کو Amazon EC2، AWS Lambda، Amazon S3، DynamoDB کے بارے میں اچھی معلومات ہونی چاہیے۔
6. تقسیم شدہ نظام
بڑے ڈیٹا کے ساتھ کام کرنے کا مطلب آزادانہ طور پر کام کرنے والے کمپیوٹرز کے کلسٹرز کی موجودگی ہے، جن کے درمیان مواصلات ایک نیٹ ورک پر ہوتے ہیں۔ کلسٹر جتنا بڑا ہوگا، اس کے ممبر نوڈس کی ناکامی کا امکان اتنا ہی زیادہ ہوگا۔ ایک عظیم ڈیٹا سائنسدان بننے کے لیے، آپ کو تقسیم شدہ نظاموں کے مسائل اور موجودہ حل کو سمجھنے کی ضرورت ہے۔ یہ علاقہ پرانا اور پیچیدہ ہے۔
اینڈریو ٹیننبام کو اس میدان میں سرخیل سمجھا جاتا ہے۔ ان لوگوں کے لئے جو نظریہ سے خوفزدہ نہیں ہیں، میں ان کی کتاب کی سفارش کرتا ہوں۔ شروع کرنے والوں کے لیے یہ مشکل لگ سکتا ہے، لیکن یہ واقعی آپ کو اپنی صلاحیتوں کو نکھارنے میں مدد دے گا۔
میں غور کرتا ہوں بہترین تعارفی کتاب۔ ویسے، مارٹن ایک شاندار ہے . اس کا کام بڑے ڈیٹا کو ذخیرہ کرنے اور اس پر کارروائی کرنے کے لیے جدید انفراسٹرکچر کی تعمیر کے بارے میں علم کو منظم کرنے میں مدد کرے گا۔
ان لوگوں کے لیے جو ویڈیوز دیکھنا پسند کرتے ہیں، یوٹیوب پر ایک کورس ہے۔ .
7. ڈیٹا پائپ لائنز
ڈیٹا پائپ لائنز ایسی چیز ہیں جس کے بغیر آپ بطور ڈیٹا انجینئر نہیں رہ سکتے۔
زیادہ تر وقت، ایک ڈیٹا انجینئر ایک نام نہاد ڈیٹا پائپ لائن بناتا ہے، یعنی وہ ڈیٹا کو ایک جگہ سے دوسری جگہ پہنچانے کا عمل تخلیق کرتا ہے۔ یہ حسب ضرورت اسکرپٹس ہو سکتی ہیں جو کسی بیرونی سروس کے API پر جاتی ہیں یا SQL استفسار کرتی ہیں، ڈیٹا کو بڑھاتی ہیں، اور اسے مرکزی اسٹور (ڈیٹا گودام) یا غیر ساختہ ڈیٹا اسٹور (ڈیٹا لیکس) میں ڈالتی ہیں۔
خلاصہ کرنے کے لیے: ڈیٹا انجینئر کے لیے بنیادی چیک لسٹ
خلاصہ کرنے کے لیے، درج ذیل کی اچھی تفہیم کی ضرورت ہے:
- معلوماتی نظام؛
- سافٹ ویئر ڈویلپمنٹ (Agile, DevOps, Design Techniques, SOA)؛
- تقسیم شدہ نظام اور متوازی پروگرامنگ؛
- ڈیٹا بیس کے بنیادی اصول - منصوبہ بندی، ڈیزائن، آپریشن اور ٹربل شوٹنگ؛
- تجربات کا ڈیزائن - تصورات کو ثابت کرنے کے لیے A/B ٹیسٹ، وشوسنییتا، نظام کی کارکردگی کا تعین، اور اچھے حل کو تیزی سے فراہم کرنے کے لیے قابل اعتماد راستے تیار کرنا۔
ڈیٹا انجینئر بننے کے لیے یہ صرف چند تقاضے ہیں، اس لیے ڈیٹا سسٹم، انفارمیشن سسٹم، مسلسل ڈیلیوری/تعینات/انضمام، پروگرامنگ لینگویجز، اور کمپیوٹر سائنس کے دیگر موضوعات (تمام مضامین کے شعبے نہیں) سیکھیں اور سمجھیں۔
اور آخر میں، آخری لیکن بہت اہم بات جو میں کہنا چاہتا ہوں۔
ڈیٹا انجینئرنگ بننے کا راستہ اتنا آسان نہیں جتنا لگتا ہے۔ وہ معاف نہیں کرتا، وہ مایوس کرتا ہے، اور آپ کو اس کے لیے تیار رہنا چاہیے۔ اس سفر کے کچھ لمحات آپ کو ہار ماننے پر مجبور کر سکتے ہیں۔ لیکن یہ حقیقی کام اور سیکھنے کا عمل ہے۔
بس اسے شروع سے ہی شوگر کوٹ نہ کریں۔ سفر کا پورا مقصد زیادہ سے زیادہ سیکھنا اور نئے چیلنجوں کے لیے تیار رہنا ہے۔
یہ ایک عمدہ تصویر ہے جو میں نے دیکھا جو اس نکتے کو اچھی طرح سے واضح کرتی ہے:
اور ہاں، برن آؤٹ اور آرام سے بچنا یاد رکھیں۔ یہ بھی بہت ضروری ہے۔ اچھی قسمت!
آپ کا مضمون کے بارے میں کیا خیال ہے دوستو؟ ہم آپ کو دعوت دیتے ہیں۔ ، جو آج 20.00 بجے ہوگا۔ ویبینار کے دوران، ہم اس بات پر تبادلہ خیال کریں گے کہ کم سے کم قیمت پر ایک چھوٹی کمپنی یا اسٹارٹ اپ کے لیے ایک موثر اور قابل توسیع ڈیٹا پروسیسنگ سسٹم کیسے بنایا جائے۔ ایک مشق کے طور پر، ہم گوگل کلاؤڈ ڈیٹا پروسیسنگ ٹولز سے واقف ہوں گے۔ ملتے ہیں!
ماخذ: www.habr.com