ڈیٹا انجینئر کے پیشے میں سب سے زیادہ طلب کی مہارت

کے مطابق شماریات 2019ڈیٹا انجینئر فی الحال ایک ایسا پیشہ ہے جس کی طلب کسی بھی دوسرے کے مقابلے میں تیزی سے بڑھ رہی ہے۔ ڈیٹا انجینئر کسی تنظیم میں ایک اہم کردار ادا کرتا ہے - پائپ لائنز اور ڈیٹا بیس بنانا اور برقرار رکھنا جو ڈیٹا کو پروسیس کرنے، تبدیل کرنے اور اسٹور کرنے کے لیے استعمال ہوتے ہیں۔ اس پیشے کے نمائندوں کو سب سے پہلے کن مہارتوں کی ضرورت ہے؟ کیا یہ فہرست ڈیٹا سائنسدانوں کی ضرورت سے مختلف ہے؟ آپ میرے مضمون سے یہ سب سیکھیں گے۔

میں نے ڈیٹا انجینئر کی آسامیوں کا تجزیہ کیا کیونکہ وہ جنوری 2020 میں ہیں یہ سمجھنے کے لیے کہ کون سی ٹیکنالوجی کی مہارتیں سب سے زیادہ مقبول ہیں۔ پھر میں نے نتائج کا موازنہ ڈیٹا سائنسدان کی آسامیوں کے اعدادوشمار سے کیا - اور کچھ دلچسپ اختلافات سامنے آئے۔

بہت زیادہ تمہید کے بغیر، یہاں سرفہرست دس ٹیکنالوجیز ہیں جن کا اکثر ملازمت کی پوسٹنگ میں ذکر کیا جاتا ہے:

2020 میں ڈیٹا انجینئر کے عہدے کے لیے خالی آسامیوں میں ٹیکنالوجیز کا ذکر

آئیے اس کا پتہ لگائیں۔

ڈیٹا انجینئر کی ذمہ داریاں

آج، ڈیٹا انجینئرز جو کام کرتے ہیں وہ تنظیموں کے لیے بہت اہمیت کا حامل ہے - یہ وہ لوگ ہیں جو معلومات کو ذخیرہ کرنے اور اسے اس شکل میں لانے کے ذمہ دار ہیں کہ دوسرے ملازمین اس کے ساتھ کام کر سکیں۔ ڈیٹا انجینئر متعدد ذرائع سے ڈیٹا کو سٹریم یا بیچ کرنے کے لیے پائپ لائن بناتے ہیں۔ اس کے بعد پائپ لائنیں نکالنے، تبدیلی، اور لوڈنگ کے کام انجام دیتی ہیں (دوسرے لفظوں میں، ETL عمل)، ڈیٹا کو مزید استعمال کے لیے زیادہ موزوں بناتی ہیں۔ اس کے بعد، ڈیٹا تجزیہ کاروں اور ڈیٹا سائنسدانوں کو گہری پروسیسنگ کے لیے پیش کیا جاتا ہے۔ آخر میں، ڈیٹا ڈیش بورڈز، رپورٹس، اور مشین لرننگ ماڈلز میں اپنا سفر ختم کرتا ہے۔

میں ایسی معلومات کی تلاش میں تھا جو مجھے اس نتیجے پر پہنچنے کی اجازت دے گی کہ اس وقت ڈیٹا انجینئر کے کام میں کن ٹیکنالوجیز کی سب سے زیادہ مانگ ہے۔

طریقے۔

میں نے ملازمت کی تلاش کی تین سائٹوں سے معلومات اکٹھی کیں۔ بس ہائرڈ, بے شک и مونسٹر اور یہ دیکھا کہ امریکی باشندوں کے لیے خالی آسامیوں کے متن میں "ڈیٹا انجینئر" کے ساتھ مل کر کون سے کلیدی الفاظ آئے۔ اس کام کے لیے میں نے ازگر کی دو لائبریریاں استعمال کیں۔ درخواستیں и خوبصورت سوپ. کلیدی الفاظ میں، میں نے ان دونوں کو شامل کیا جو ڈیٹا سائنسدان کے عہدے کے لیے خالی آسامیوں کا تجزیہ کرنے کے لیے پچھلی فہرست میں شامل تھے، اور وہ جو میں نے ڈیٹا انجینئرز کے لیے ملازمت کی پیشکشوں کو پڑھتے ہوئے دستی طور پر منتخب کیے تھے۔ LinkedIn کو ذرائع کی فہرست میں شامل نہیں کیا گیا تھا، کیونکہ ڈیٹا اکٹھا کرنے کی میری آخری کوشش کے بعد وہاں مجھ پر پابندی لگا دی گئی تھی۔

ہر کلیدی لفظ کے لیے، میں نے ہر سائٹ پر متن کی کل تعداد سے ہٹس کے فیصد کا الگ الگ حساب لگایا، اور پھر تین ذرائع کے لیے اوسط کا حساب لگایا۔

نتائج

ذیل میں تیس تکنیکی ڈیٹا انجینئرنگ کی اصطلاحات ہیں جن میں تینوں جاب سائٹس پر سب سے زیادہ اسکور ہیں۔

اور یہاں وہی نمبر ہیں، لیکن جدول کی شکل میں پیش کیے گئے ہیں:

آئیے ترتیب سے چلتے ہیں۔

نتائج کا جائزہ

SQL اور Python دونوں کام کے دو تہائی سے زیادہ مواقع پر نظرثانی کیے گئے ہیں۔ یہ دو ٹیکنالوجیز ہیں جو پہلے مطالعہ کرنے کا مطلب رکھتی ہیں۔ ازگر ایک بہت مشہور پروگرامنگ زبان ہے جو ڈیٹا کے ساتھ کام کرنے، ویب سائٹس بنانے اور اسکرپٹ لکھنے کے لیے استعمال ہوتی ہے۔ SQL Structured Query Language کا مطلب ہے؛ اس میں زبانوں کے ایک گروپ کے ذریعہ نافذ کردہ ایک معیار شامل ہے اور اسے متعلقہ ڈیٹا بیس سے ڈیٹا بازیافت کرنے کے لیے استعمال کیا جاتا ہے۔ یہ کافی عرصہ پہلے نمودار ہوا اور اس نے خود کو انتہائی مزاحم ثابت کیا ہے۔

تقریباً نصف آسامیوں میں چنگاری کا ذکر ہے۔ اپاچی چمک اسٹریمنگ، ایس کیو ایل، مشین لرننگ، اور گراف پروسیسنگ کے لیے بلٹ ان ماڈیولز کے ساتھ ایک "متحد بڑا ڈیٹا اینالیٹکس انجن ہے۔" یہ خاص طور پر ان لوگوں میں مقبول ہے جو بڑے ڈیٹا بیس کے ساتھ کام کرتے ہیں۔

AWS تقریباً 45% جاب پوسٹنگ میں ظاہر ہوتا ہے۔ یہ ایک کلاؤڈ کمپیوٹنگ پلیٹ فارم ہے جسے ایمیزون نے تیار کیا ہے۔ تمام کلاؤڈ پلیٹ فارمز میں اس کا سب سے بڑا مارکیٹ شیئر ہے۔
اس کے بعد جاوا اور ہڈوپ آئیں - ان کے بھائی کے لیے 40% سے کچھ زیادہ۔ اعلی درجے کا Java ایک وسیع پیمانے پر بولی جانے والی، جنگ کی آزمائشی زبان ہے۔ 2019 اسٹیک اوور فلو ڈیولپر سروے پروگرامرز کے درمیان خوف پیدا کرنے والی زبانوں میں دسویں نمبر سے نوازا گیا۔ اس کے برعکس، Python دوسری سب سے زیادہ پسند کی جانے والی زبان تھی۔ جاوا کی زبان اوریکل کے ذریعے چلائی جاتی ہے، اور آپ کو اس کے بارے میں جاننے کے لیے درکار ہر چیز جنوری 2020 سے آفیشل پیج کے اس اسکرین شاٹ سے سمجھی جا سکتی ہے۔

یہ ٹائم مشین میں سوار ہونے کی طرح ہے۔
اپاچی ہیدوپ بڑے ڈیٹا کے لیے سرور کلسٹرز کے ساتھ MapReduce پروگرامنگ ماڈل استعمال کرتا ہے۔ اب اس ماڈل کو تیزی سے ترک کیا جا رہا ہے۔

پھر ہم Hive، Scala، Kafka اور NoSQL دیکھتے ہیں - ان میں سے ہر ایک ٹیکنالوجی کا تذکرہ جمع کرائی گئی اسامیوں کے ایک چوتھائی میں کیا گیا ہے۔ Apache Hive ایک ڈیٹا ویئر ہاؤس سافٹ ویئر ہے جو "SQL کا استعمال کرتے ہوئے تقسیم شدہ اسٹورز میں رہنے والے بڑے ڈیٹاسیٹس کو پڑھنا، لکھنا اور ان کا نظم کرنا آسان بناتا ہے۔" بڑے پیمانے پر - ایک پروگرامنگ زبان جو بڑے ڈیٹا کے ساتھ کام کرتے وقت فعال طور پر استعمال ہوتی ہے۔ خاص طور پر، Spark Scala میں پیدا کیا گیا تھا. خوف زدہ زبانوں کی پہلے ہی بیان کردہ درجہ بندی میں، اسکالا گیارہویں نمبر پر ہے۔ اپاچی کافکا - سلسلہ بندی کے پیغامات پر کارروائی کرنے کے لیے ایک تقسیم شدہ پلیٹ فارم۔ ڈیٹا سٹریمنگ کے ایک ذریعہ کے طور پر بہت مشہور ہے۔

NoSQL ڈیٹا بیس اپنے آپ کو ایس کیو ایل سے متضاد کریں۔ ان میں فرق ہے کہ وہ غیر متعلقہ، غیر ساختہ، اور افقی طور پر توسیع پذیر ہیں۔ NoSQL نے کچھ مقبولیت حاصل کی ہے، لیکن نقطہ نظر کا جنون، یہاں تک کہ پیشین گوئیوں تک کہ یہ SQL کو غالب اسٹوریج کے نمونے کے طور پر بدل دے گا، ختم ہوتا دکھائی دے رہا ہے۔

ڈیٹا سائنسدان کی اسامیوں کی شرائط کے ساتھ موازنہ

ڈیٹا سائنس کے آجروں میں سب سے زیادہ عام ٹیکنالوجی کی تیس اصطلاحات ہیں۔ میں نے یہ فہرست اسی طرح حاصل کی ہے جیسا کہ ڈیٹا انجینئرنگ کے لیے اوپر بیان کیا گیا ہے۔

2020 میں ڈیٹا سائنسدان کے عہدوں کے لیے خالی آسامیوں میں ٹیکنالوجی کا تذکرہ

اگر ہم کل تعداد کے بارے میں بات کریں، پہلے سمجھی جانے والی بھرتیوں کے مقابلے، 28% زیادہ اسامیاں تھیں (12 بمقابلہ 013)۔ آئیے دیکھتے ہیں کہ ڈیٹا انجینئرز کے مقابلے ڈیٹا سائنسدانوں کے لیے خالی آسامیوں میں کونسی ٹیکنالوجیز کم عام ہیں۔

ڈیٹا انجینئرنگ میں زیادہ مقبول

نیچے کا گراف 10% سے زیادہ یا -10% سے کم کے اوسط فرق کے ساتھ مطلوبہ الفاظ کو دکھاتا ہے۔

ڈیٹا انجینئر اور ڈیٹا سائنسدان کے درمیان مطلوبہ الفاظ کی فریکوئنسی میں سب سے بڑا فرق

AWS سب سے نمایاں اضافہ ظاہر کرتا ہے: ڈیٹا انجینئرنگ میں یہ ڈیٹا سائنس کی نسبت 25% زیادہ باقاعدگی سے ظاہر ہوتا ہے (تقریباً 45% اور 20% خالی آسامیوں کی کل تعداد میں، بالترتیب)۔ فرق نمایاں ہے!

یہاں قدرے مختلف پریزنٹیشن میں وہی ڈیٹا ہے - گراف میں، ڈیٹا انجینئر اور ڈیٹا سائنسدان کی آسامیوں کے لیے ایک ہی مطلوبہ الفاظ کے نتائج ساتھ ساتھ موجود ہیں۔

ڈیٹا انجینئر اور ڈیٹا سائنسدان کے درمیان مطلوبہ الفاظ کی فریکوئنسی میں سب سے بڑا فرق

اگلی سب سے بڑی چھلانگ جو میں نے نوٹ کی تھی وہ سپارک میں تھی - ایک ڈیٹا انجینئر کو اکثر بڑے ڈیٹا کے ساتھ کام کرنا پڑتا ہے۔ Kafka میں بھی 20% اضافہ ہوا، یعنی ڈیٹا سائنسدان کی آسامیوں کے نتائج کے مقابلے میں تقریباً چار گنا۔ ڈیٹا ٹرانسفر ڈیٹا انجینئر کی اہم ذمہ داریوں میں سے ایک ہے۔ آخر میں، جاوا، NoSQL، Redshift، SQL اور Hadoop کے لیے ڈیٹا انجینئرنگ کے شعبے میں تذکروں کی تعداد 15% زیادہ تھی۔

ڈیٹا انجینئرنگ میں کم مقبول

اب دیکھتے ہیں کہ ڈیٹا انجینئر کی اسامیوں میں کونسی ٹیکنالوجیز کم مقبول ہیں۔
ڈیٹا سائنس کے شعبے کے مقابلے میں سب سے زیادہ کمی آئی R: وہاں وہ تقریباً 56% آسامیوں پر نمودار ہوئے، یہاں - صرف 17% میں۔ متاثر کن۔ R ایک پروگرامنگ زبان ہے جسے سائنسدانوں اور شماریات دانوں نے پسند کیا ہے، اور یہ دنیا کی آٹھویں سب سے زیادہ خوف زدہ زبان ہے۔

SAS ڈیٹا انجینئر کی اسامیوں میں بھی نمایاں طور پر کم پایا جاتا ہے - فرق 14% ہے۔ SAS ایک ملکیتی زبان ہے جسے اعداد و شمار اور ڈیٹا کے ساتھ کام کرنے کے لیے ڈیزائن کیا گیا ہے۔ دلچسپ نقطہ: نتائج کی طرف سے فیصلہ ڈیٹا سائنسدانوں کے لیے ملازمت کے مواقع پر میری تحقیق، اس نے حال ہی میں بہت ساری زمین کھو دی ہے - کسی بھی دوسری ٹیکنالوجی سے زیادہ۔

ڈیٹا انجینئرنگ اور ڈیٹا سائنس دونوں میں مانگ ہے۔

واضح رہے کہ دونوں سیٹوں میں پہلی دس میں سے آٹھ پوزیشنیں ایک جیسی ہیں۔ SQL، Python، Spark، AWS، Java، Hadoop، Hive اور Scala نے اسے ڈیٹا انجینئرنگ اور ڈیٹا سائنس دونوں صنعتوں کے لیے ٹاپ ٹین میں جگہ دی۔ نیچے دیے گئے گراف میں آپ ڈیٹا انجینئر آجروں کے درمیان پندرہ مقبول ترین ٹیکنالوجیز دیکھ سکتے ہیں، اور ان کے آگے ڈیٹا سائنسدانوں کے لیے ان کی خالی جگہ کی شرح ہے۔

سفارشات

اگر آپ ڈیٹا انجینئرنگ میں جانا چاہتے ہیں، تو میں آپ کو مندرجہ ذیل ٹیکنالوجیز میں مہارت حاصل کرنے کا مشورہ دوں گا - میں ان کی فہرست اندازاً ترجیح کے مطابق کرتا ہوں۔

ایس کیو ایل سیکھیں۔ میں PostgreSQL کی طرف جھک رہا ہوں کیونکہ یہ اوپن سورس ہے، کمیونٹی میں بہت مقبول ہے، اور ترقی کے مرحلے میں ہے۔ آپ کتاب My Memorable SQL سے زبان استعمال کرنے کا طریقہ سیکھ سکتے ہیں - اس کا پائلٹ ورژن دستیاب ہے۔ یہاں.

ماسٹر ازگر، چاہے انتہائی سخت سطح پر نہ ہو۔ میرا یادگار ازگر خاص طور پر ابتدائی افراد کے لیے ڈیزائن کیا گیا ہے۔ پر خریدا جا سکتا ہے۔ ایمیزون، الیکٹرانک یا فزیکل کاپی، آپ کی پسند، یا pdf یا epub فارمیٹ میں ڈاؤن لوڈ کریں۔ اس سائٹ پر.

ایک بار جب آپ Python سے واقف ہو جائیں تو، پانڈوں کی طرف بڑھیں، ایک Python لائبریری جو ڈیٹا کی صفائی اور پروسیسنگ کے لیے استعمال ہوتی ہے۔ اگر آپ کسی ایسی کمپنی میں کام کرنا چاہتے ہیں جس کے لیے Python میں لکھنے کی صلاحیت کی ضرورت ہو (اور یہ ان میں سے اکثریت ہے)، تو آپ یقین کر سکتے ہیں کہ پانڈوں کا علم ڈیفالٹ کے طور پر فرض کیا جائے گا۔ میں فی الحال پانڈا کے ساتھ کام کرنے کے لیے ایک تعارفی گائیڈ تیار کر رہا ہوں - آپ کر سکتے ہیں۔ سبسکرائبتاکہ رہائی کا لمحہ ضائع نہ ہو۔

ماسٹر AWS اگر آپ ڈیٹا انجینئر بننا چاہتے ہیں، تو آپ سٹیش میں کلاؤڈ پلیٹ فارم کے بغیر نہیں کر سکتے، اور AWS ان میں سب سے زیادہ مقبول ہے۔ کورسز نے میری بہت مدد کی۔ لینکس اکیڈمیجب میں پڑھ رہا تھا گوگل کلاؤڈ پر ڈیٹا انجینئرنگ، مجھے لگتا ہے کہ ان کے پاس AWS پر بھی اچھا مواد ہوگا۔

اگر آپ نے یہ پوری فہرست پہلے ہی مکمل کر لی ہے اور ایک ڈیٹا انجینئر کے طور پر آجروں کی نظروں میں مزید ترقی کرنا چاہتے ہیں، تو میں بڑے ڈیٹا کے ساتھ کام کرنے کے لیے Apache Spark کو شامل کرنے کا مشورہ دیتا ہوں۔ اگرچہ ڈیٹا سائنسدان کی اسامیوں پر میری تحقیق نے دلچسپی میں کمی کو ظاہر کیا، لیکن ڈیٹا انجینئرز کے درمیان یہ اب بھی تقریباً ہر دوسری جگہ پر ظاہر ہوتا ہے۔

آخر میں

مجھے امید ہے کہ آپ کو ڈیٹا انجینئرز کے لیے انتہائی مطلوبہ ٹیکنالوجیز کا یہ جائزہ کارآمد معلوم ہوا۔ اگر آپ سوچ رہے ہیں کہ تجزیہ کاروں کی ملازمتیں کیسے چل رہی ہیں، تو پڑھیں میرا دوسرا مضمون. مبارک ہو انجینئرنگ!

ماخذ: www.habr.com