ڊيٽا انجنيئر ڪير آهن، ۽ توهان ڪيئن بڻجي ويا آهيو؟

هڪ ڀيرو ٻيهر ڀليڪار! مضمون جو عنوان پاڻ لاء ڳالهائيندو آهي. ڪورس جي شروعات جي اميد ۾ ڊيٽا انجنيئر اسان مشورو ڏيون ٿا ته توهان سمجھو ته ڊيٽا انجنيئر ڪير آهن. مضمون ۾ ڪيترائي مفيد لنڪس آھن. خوش پڙهڻ.

ڊيٽا انجنيئر ڪير آهن، ۽ توهان ڪيئن بڻجي ويا آهيو؟

ڊيٽا انجنيئرنگ موج کي ڪيئن پڪڙيو ۽ ان کي توهان کي اوندهه ۾ ڇڪڻ نه ڏيو ته هڪ سادي گائيڊ.

اهو لڳي ٿو ته هرڪو انهن ڏينهن ۾ ڊيٽا سائنسدان ٿيڻ چاهي ٿو. پر ڊيٽا انجنيئرنگ بابت ڇا؟ لازمي طور تي، هي هڪ قسم جو هائبرڊ آهي ڊيٽا تجزيه نگار ۽ هڪ ڊيٽا سائنسدان؛ هڪ ڊيٽا انجنيئر عام طور تي ڪم فلوز، پروسيسنگ پائپ لائنز، ۽ اي ٽي ايل عملن کي منظم ڪرڻ جو ذميوار آهي.. انهن ڪمن جي اهميت جي ڪري، هي في الحال هڪ ٻيو مشهور پروفيشنل جرگن آهي جيڪو فعال طور تي رفتار حاصل ڪري رهيو آهي.

اعليٰ تنخواه ۽ وڏي گهرج صرف هڪ ننڍڙو حصو آهي جيڪا هن نوڪري کي انتهائي پرڪشش بڻائي ٿي! جيڪڏهن توهان هيروز جي صف ۾ شامل ٿيڻ چاهيو ٿا، اهو سکڻ شروع ڪرڻ ۾ ڪڏهن به دير ناهي. ھن پوسٽ ۾، مون گڏ ڪيو آھي سڀ ضروري معلومات توھان جي مدد لاءِ توھان جا پھريون قدم کڻڻ ۾.

تنهن ڪري اچو ته شروع ڪريون!

ڊيٽا انجنيئرنگ ڇا آهي؟

ايمانداري سان، هن کان وڌيڪ بهتر وضاحت ناهي:

”هڪ سائنسدان هڪ نئون تارو ڳولي سگهي ٿو، پر هو ٺاهي نٿو سگهي. هن کي ڪنهن انجنيئر کان پڇڻو پوندو ته اهو هن لاءِ ڪري.

- گورڊن لنڊسي گليگ

اهڙيء طرح، هڪ ڊيٽا انجنيئر جو ڪردار ڪافي اهم آهي.

جيئن ته نالو مشورو ڏئي ٿو، ڊيٽا انجنيئرنگ ڊيٽا سان لاڳاپيل آهي، يعني ان جي پهچائڻ، اسٽوريج ۽ پروسيسنگ. ان جي مطابق، انجنيئرن جو بنيادي ڪم ڊيٽا لاء هڪ قابل اعتماد زيربنا مهيا ڪرڻ آهي. جيڪڏهن اسان ضرورتن جي AI درجي بندي تي نظر رکون ٿا، ڊيٽا انجنيئرنگ پهرين 2-3 مرحلن تي قبضو ڪري ٿو: گڏ ڪرڻ، حرڪت ۽ اسٽوريج، ڊيٽا تيار ڪرڻ.

ڊيٽا انجنيئر ڪير آهن، ۽ توهان ڪيئن بڻجي ويا آهيو؟

ڊيٽا انجنيئر ڇا ڪندو آهي؟

وڏي ڊيٽا جي آمد سان، ذميواري جو دائرو ڊرامي طور تبديل ٿي چڪو آهي. جيڪڏهن اڳي اهي ماهر لکندا هئا وڏا SQL سوالن ۽ اوزارن کي استعمال ڪندي ڊسٽل ٿيل ڊيٽا جهڙوڪ Informatica ETL، Pentaho ETL، Talend، هاڻي ڊيٽا انجنيئرن جون گهرجون وڌي ويون آهن.

ڊيٽا انجنيئر جي پوزيشن لاءِ کليل خالي جاين سان گهڻيون ڪمپنيون هيٺيون گهرجون آهن:

  • SQL ۽ Python جي بهترين ڄاڻ.
  • ڪلائوڊ پليٽ فارمن سان تجربو، خاص طور تي Amazon ويب سروسز.
  • جاوا / اسڪالا جي ڄاڻ کي ترجيح ڏني وئي.
  • SQL ۽ NoSQL ڊيٽابيس جي سٺي ڄاڻ (ڊيٽا ماڊلنگ، ڊيٽا گودام).

ذهن ۾ رکو، اهي صرف ضروري آهن. هن فهرست مان، اهو فرض ڪري سگهجي ٿو ته ڊيٽا انجنيئرز سافٽ ويئر ڊولپمينٽ ۽ پس منظر جي شعبي ۾ ماهر آهن.
مثال طور، جيڪڏهن هڪ ڪمپني مختلف ذريعن کان ڊيٽا جي وڏي مقدار پيدا ڪرڻ شروع ڪري ٿي، توهان جو ڪم ڊيٽا انجنيئر جي طور تي معلومات جي گڏ ڪرڻ، ان جي پروسيسنگ ۽ اسٽوريج کي منظم ڪرڻ آهي.

هن معاملي ۾ استعمال ٿيل اوزارن جي فهرست مختلف ٿي سگهي ٿي، اهو سڀ ان ڊيٽا جي مقدار تي منحصر آهي، ان جي وصولي جي رفتار ۽ heterogeneity. گهڻيون ڪمپنيون وڏي ڊيٽا سان معاملو نه ڪنديون آهن، تنهنڪري هڪ مرڪزي ذخيري جي طور تي، هڪ نام نهاد ڊيٽا گودام، توهان استعمال ڪري سگهو ٿا SQL ڊيٽابيس (PostgreSQL، MySQL، وغيره.) اسڪرپٽ جي هڪ ننڍڙي سيٽ سان جيڪا ڊيٽا کي فيڊ ڪري ٿي. گودام.

آئي ٽي جائنٽس جهڙوڪ گوگل، ايمازون، فيس بڪ يا ڊروپ باڪس کي اعليٰ ضرورتون آهن: پٿون، جاوا يا اسڪالا جو علم.

  • وڏي ڊيٽا سان تجربو: Hadoop، Spark، Kafka.
  • الگورتھم ۽ ڊيٽا جي جوڙجڪ جو علم.
  • ورهايل نظام جي بنيادي اصولن کي سمجهڻ.
  • ڊيٽا بصري اوزارن سان تجربو جيئن ته ٽيبلائو يا ايلسٽڪ سرچ هڪ پلس هوندو.

اهو آهي، وڏي ڊيٽا ڏانهن هڪ واضح شفٽ آهي، يعني ان جي پروسيسنگ ۾ وڏي لوڊ هيٺ. انهن ڪمپنين کي سسٽم جي غلطي رواداري جي گهرج ۾ اضافو ڪيو آهي.

ڊيٽا انجنيئرز بمقابله. ڊيٽا سائنسدان

ڊيٽا انجنيئر ڪير آهن، ۽ توهان ڪيئن بڻجي ويا آهيو؟
ٺيڪ، اهو هڪ سادو ۽ مضحکہ خیز مقابلو هو (ڪجهه به ذاتي ناهي)، پر حقيقت ۾ اهو تمام گهڻو پيچيده آهي.

پهرين، توهان کي ڄاڻڻ گهرجي ته ڊيٽا سائنسدان ۽ ڊيٽا انجنيئر جي ڪردار ۽ صلاحيتن جي وضاحت ۾ تمام گهڻو مونجهارو آهي. اهو آهي، توهان آساني سان پريشان ٿي سگهو ٿا ته هڪ ڪامياب ڊيٽا انجنيئر ٿيڻ لاء ڪهڙي صلاحيتن جي ضرورت آهي. يقينا، اتي ڪي صلاحيتون آهن جيڪي ٻنهي ڪردارن سان اوورليپ ڪن ٿيون. پر اتي پڻ ڪيترائي اختلافي صلاحيتون آھن.

ڊيٽا سائنس هڪ سنجيده ڪاروبار آهي، پر اسان فنڪشنل ڊيٽا سائنس جي دنيا ڏانهن وڌي رهيا آهيون جتي عملي وارا پنهنجا تجزيا ڪرڻ جي قابل آهن. ڊيٽا پائپ لائنز ۽ مربوط ڊيٽا جي جوڙجڪ کي فعال ڪرڻ لاء، توهان کي ڊيٽا انجنيئرن جي ضرورت آهي، نه ڊيٽا سائنسدان.

ڇا هڪ ڊيٽا انجنيئر هڪ ڊيٽا سائنسدان کان وڌيڪ طلب ۾ آهي؟

- ها، ڇاڪاڻ ته ان کان اڳ توهان گاجر ڪيڪ ٺاهي سگهو ٿا، توهان کي پهرين گڏ ڪرڻ جي ضرورت آهي، ڇول ۽ اسٽاڪ گاجر!

هڪ ڊيٽا انجنيئر پروگرامنگ کي ڪنهن به ڊيٽا سائنسدان کان بهتر سمجهي ٿو، پر جڏهن اهو انگن اکرن تي اچي ٿو، ان جي سامهون سچ آهي.

پر هتي هڪ ڊيٽا انجنيئر جو فائدو آهي:

هن جي بغير، پروٽوٽائپ ماڊل جي قيمت، اڪثر ڪري هڪ پيٿون فائل ۾ خوفناڪ معيار جي ڪوڊ جو هڪ ٽڪرو شامل آهي، جيڪو ڊيٽا سائنسدان کان حاصل ڪيو ويو آهي ۽ ڪنهن به طريقي سان نتيجو پيدا ڪري ٿو، صفر ڏانهن وڌي ٿو.

ڊيٽا انجنيئر جي بغير، هي ڪوڊ ڪڏهن به پروجيڪٽ نه بڻجي سگهندو ۽ ڪو به ڪاروباري مسئلو مؤثر طريقي سان حل نه ٿيندو. ڊيٽا انجنيئر ڪوشش ڪري رهيو آهي ته اهو سڀ ڪجهه هڪ پيداوار ۾ تبديل ڪري.

بنيادي معلومات هڪ ڊيٽا انجنيئر کي ڄاڻڻ گهرجي

ڊيٽا انجنيئر ڪير آهن، ۽ توهان ڪيئن بڻجي ويا آهيو؟

تنهن ڪري، جيڪڏهن هي نوڪري توهان ۾ روشني آڻيندي ۽ توهان پرجوش آهيو - توهان ان کي سکي سگهو ٿا، توهان سڀني ضروري صلاحيتن کي ماهر ڪري سگهو ٿا ۽ ڊيٽا انجنيئرنگ جي ميدان ۾ هڪ حقيقي راڪ اسٽار بڻجي سگهو ٿا. ۽، ها، توهان هن کي ڇڪي سگهو ٿا جيتوڻيڪ پروگرامنگ جي صلاحيتن يا ٻين ٽيڪنيڪل ڄاڻ کان سواء. اهو ڏکيو آهي، پر ممڪن آهي!

پهرين قدم ڇا آهن؟

توهان کي هڪ عام خيال هجڻ گهرجي ته ڇا آهي.

سڀ کان پهريان، ڊيٽا انجنيئرنگ ڪمپيوٽر سائنس ڏانهن اشارو ڪري ٿو. وڌيڪ خاص طور تي، توهان کي سمجهڻ گهرجي موثر الگورتھم ۽ ڊيٽا جي جوڙجڪ. ٻيو، جيئن ته ڊيٽا انجنيئر ڊيٽا سان ڪم ڪن ٿا، اهو ضروري آهي ته ڊيٽابيس جي اصولن ۽ انهن جي جوڙجڪ کي سمجهڻ گهرجي.

مثال طور، روايتي B-tree SQL ڊيٽابيس B-Tree ڊيٽا ڍانچي تي ٻڌل آهن، انهي سان گڏ، جديد ورهايل ذخيرو ۾، LSM-Tree ۽ هيش ٽيبل جي ٻين ترميمن ۾.

* اهي قدم هڪ عظيم مضمون تي ٻڌل آهن عادليا خشتاموا. تنهن ڪري، جيڪڏهن توهان روسي ڄاڻو ٿا، هن ليکڪ جي حمايت ڪريو ۽ پڙهو سندس پوسٽ.

1. الگورتھم ۽ ڊيٽا جي جوڙجڪ

صحيح ڊيٽا جي جوڙجڪ کي استعمال ڪندي خاص طور تي الورورٿم جي ڪارڪردگي کي بهتر بڻائي سگھي ٿو. مثالي طور، اسان سڀني کي اسان جي اسڪولن ۾ ڊيٽا جي جوڙجڪ ۽ الگورتھم بابت سکڻ گهرجي، پر اهو گهٽ ۾ گهٽ ڪڏهن ڍڪيل آهي. ڪنهن به صورت ۾، واقف ٿيڻ ۾ ڪڏهن به دير ناهي.
تنهن ڪري هتي آهن منهنجي پسنديده مفت ڪورسز سکڻ لاءِ ڊيٽا جي جوڙجڪ ۽ الگورتھم:

پلس توماس ڪورمن جي الگورتھم تي شاندار ڪم جي باري ۾ نه وساريو - Algorithms جو تعارف. اهو صحيح حوالو آهي جڏهن توهان کي پنهنجي يادگيري کي تازو ڪرڻ جي ضرورت آهي.

  • توهان جي صلاحيتن کي بهتر ڪرڻ لاء، استعمال ڪريو ليٽ ڪوڊ.

توهان يوٽيوب تي ڪارنيگي ميلن يونيورسٽي مان حيرت انگيز وڊيوز سان گڏ ڊيٽابيس جي دنيا ۾ پڻ غوطه هڻي سگهو ٿا:

2. سکو SQL

اسان جي سڄي زندگي ڊيٽا آهي. ۽ انهي ڊيٽا کي ڊيٽابيس مان ڪڍڻ لاء، توهان کي ان سان ساڳي ٻولي "ڳالهائڻ" جي ضرورت آهي.

SQL (Structured Query Language) ڊيٽا ڊومين ۾ رابطي جي ٻولي آھي. بغير ڪنهن جي چوڻ جي، SQL جيئرو آهي، جيئرو آهي، ۽ گهڻو وقت تائين رهندو.

جيڪڏهن توهان ڊگهي عرصي تائين ترقي ۾ آهيو، توهان شايد اهو محسوس ڪيو آهي ته SQL پاپ اپ وقتي طور تي موت جي موت بابت افواهون. ٻولي 70 جي شروعات ۾ ترقي ڪئي وئي هئي ۽ اڃا تائين تجزيه نگارن، ڊولپرز ۽ صرف شوقينن جي وچ ۾ تمام مشهور آهي.
SQL جي ڄاڻ کان سواءِ ڊيٽا انجنيئرنگ ۾ ڪرڻ لاءِ ڪجھ به نه آهي جيئن توهان کي لازمي طور تي ڊيٽا ٻيهر حاصل ڪرڻ لاءِ سوال پيدا ڪرڻا پوندا. سڀ جديد وڏا ڊيٽا گودام SQL جي حمايت ڪن ٿا:

  • ايم ڪيو ايم ريڊ شفٽ
  • ايڇ پي ورٽيڪا
  • Oracle
  • SQL سرور

... ۽ ٻيا ڪيترائي.

ورهايل سسٽم ۾ ذخيرو ٿيل ڊيٽا جي هڪ وڏي پرت جو تجزيو ڪرڻ لاءِ جيئن ته HDFS، SQL انجڻ ايجاد ڪيا ويا: Apache Hive، Impala، وغيره. ڏسو، اهو ڪٿي به نه وڃي رهيو آهي.

SQL ڪيئن سکڻ؟ بس عملي طور تي ڪريو.

هن کي ڪرڻ لاء، مان هڪ بهترين سبق جي جانچ ڪرڻ جي سفارش ڪندس، جيڪو، رستي جي ذريعي، مفت آهي تجزياتي موڊ.

  1. وچولي SQL
  2. SQL ۾ ڊيٽا شامل ٿيڻ

انهن ڪورسن کي ڇا خاص بڻائي ٿو اهو آهي ته انهن وٽ هڪ انٽرويو ماحول آهي جتي توهان لکي سگهو ٿا ۽ هلائي سگهو ٿا SQL سوالن کي پنهنجي برائوزر ۾. وسيلو جديد SQL ضرورت کان وڌيڪ نه ٿيندو. ۽ توھان ھن علم کي لاڳو ڪري سگھو ٿا Leetcode ڪم ڊيٽابيس سيڪشن ۾.

3. پٿون ۽ جاوا/اسڪالا ۾ پروگرامنگ

توهان کي پٿون پروگرامنگ ٻولي ڇو سکڻ گهرجي، مون اڳ ۾ ئي مضمون ۾ لکيو آهي پٿون بمقابله آر. AI، ML ۽ ڊيٽا سائنس لاءِ بهترين اوزار چونڊڻ. جڏهن اهو اچي ٿو جاوا ۽ اسڪالا، ڊيٽا جي وڏي مقدار کي محفوظ ڪرڻ ۽ پروسيسنگ لاءِ اڪثر اوزار انهن ٻولين ۾ لکيل آهن. مثال طور:

  • اپاچي ڪافڪا (اسڪالا)
  • Hadoop، HDFS (جاوا)
  • Apache Spark (Scala)
  • Apache Cassandra (جاوا)
  • ايڇ بيس (جاوا)
  • Apache Hive (جاوا)

اهو سمجهڻ لاءِ ته اهي اوزار ڪيئن ڪم ڪن ٿا، توهان کي انهن ٻولين کي ڄاڻڻ جي ضرورت آهي جن ۾ اهي لکيل آهن. اسڪالا جي فنڪشنل طريقي سان توهان کي مؤثر طريقي سان متوازي ڊيٽا پروسيسنگ مسئلن کي حل ڪرڻ جي اجازت ڏئي ٿي. پٿون، بدقسمتي سان، رفتار ۽ متوازي پروسيسنگ جو فخر نٿو ڪري سگهي. عام طور تي، ڪيترن ئي ٻولين جي ڄاڻ ۽ پروگرامنگ پيراڊمز مسئلن کي حل ڪرڻ جي طريقن جي وسعت لاء سٺو آهي.

اسڪالا ٻولي ۾ ٻڏڻ لاء، توهان پڙهي سگهو ٿا اسڪالا ۾ پروگرامنگ ٻوليءَ جي ليکڪ کان. Twitter هڪ سٺو تعارفي گائيڊ پڻ شايع ڪيو - اسڪالا اسڪول.

جيئن پٿون لاءِ، مان سمجهان ٿو فلو پٿون بهترين وچولي سطح جو ڪتاب.

4. وڏي ڊيٽا سان ڪم ڪرڻ لاء اوزار

هتي وڏي ڊيٽا جي دنيا ۾ سڀ کان وڌيڪ مشهور اوزارن جي هڪ فهرست آهي:

  • Apache Apache
  • ايپيڪي ڪيفيڪا
  • Apache Hadoop (HDFS، HBase، Hive)
  • ايپليسي ڪاسڌرا

توهان هن حيرت انگيز ۾ وڏي ڊيٽا بلاڪ جي تعمير بابت وڌيڪ معلومات حاصل ڪري سگهو ٿا انٽرويو ماحول. سڀ کان وڌيڪ مشهور اوزار Spark ۽ Kafka آهن. اهي ضرور پڙهڻ جي لائق آهن، اهو سمجهڻ جي صلاح ڏني وئي آهي ته اهي اندر کان ڪيئن ڪم ڪن ٿا. Jay Kreps (ڪافڪا جو گڏيل ليکڪ) 2013 ۾ هڪ يادگار ڪم شايع ڪيو لاگ ان: ڇا هر سافٽ ويئر ڊولپر کي ڄاڻڻ گهرجي حقيقي وقت ڊيٽا گڏ ڪرڻ جي باري ۾رستي جي ذريعي، هن Talmud مان مکيه خيال اپاچي ڪافڪا ٺاهڻ لاء استعمال ڪيا ويا.

5. ڪلائوڊ پليٽ فارم

ڊيٽا انجنيئر ڪير آهن، ۽ توهان ڪيئن بڻجي ويا آهيو؟

گهٽ ۾ گهٽ هڪ ڪلائوڊ پليٽ فارم جو علم ڊيٽا انجنيئر جي پوزيشن لاءِ درخواست ڏيندڙن جي بنيادي ضرورتن جي فهرست تي آهي. ملازمت وارا Amazon ويب سروسز کي ترجيح ڏين ٿا، گوگل جي ڪلائوڊ پليٽ فارم سان ٻئي نمبر تي ۽ Microsoft Azure مٿين ٽن کي گول ڪري ٿو.

توھان کي لازمي ڄاڻ آھي Amazon EC2، AWS Lambda، Amazon S3، DynamoDB.

6. ورهايل نظام

وڏي ڊيٽا سان ڪم ڪرڻ جو مطلب آهي ڪلسٽرز جي موجودگي کي آزاد طور تي آپريٽنگ ڪمپيوٽرن، جنهن جي وچ ۾ رابطي جو نيٽ ورڪ ذريعي ڪيو ويندو آهي. وڏو ڪلستر، ان جي ميمبر نوڊس جي ناڪامي جو امڪان وڌيڪ. هڪ عظيم ڊيٽا سائنسدان بڻجڻ لاءِ، توهان کي ورهايل نظامن جي مسئلن ۽ موجوده حلن کي سمجهڻ جي ضرورت آهي. هي علائقو پراڻو ۽ پيچيده آهي.

Andrew Tanenbaum هن ميدان ۾ هڪ علمبردار سمجهيو ويندو آهي. انهن لاء جيڪي نظريي کان ڊپ نه آهن، مان هن جي ڪتاب جي سفارش ڪريان ٿو "ورهايل نظام"، اهو شايد شروعات ڪندڙن لاءِ مشڪل لڳي سگهي ٿو، پر اهو واقعي توهان جي صلاحيتن کي وڌائڻ ۾ مدد ڪندو.

مان سوچيان ٿو مارٽن ڪلپمن پاران ڊيٽا-گھڻي ايپليڪيشنن کي ڊزائين ڪرڻ بهترين تعارفي ڪتاب. رستي جي ذريعي، مارٽن وٽ هڪ شاندار آهي بلاگ. هن جو ڪم وڏي ڊيٽا کي محفوظ ڪرڻ ۽ پروسيسنگ لاءِ جديد انفراسٽرڪچر جي تعمير بابت ڄاڻ کي منظم ڪرڻ ۾ مدد ڪندو.
انهن لاءِ جيڪي وڊيوز ڏسڻ پسند ڪن ٿا، يوٽيوب تي هڪ ڪورس آهي ورهايل ڪمپيوٽر سسٽم.

7. ڊيٽا پائپ لائنز

ڊيٽا انجنيئر ڪير آهن، ۽ توهان ڪيئن بڻجي ويا آهيو؟

ڊيٽا پائپ لائنون ڪجهه آهن جيڪي توهان بغير نٿا رهي سگهو ڊيٽا انجنيئر جي حيثيت سان.

اڪثر وقت، هڪ ڊيٽا انجنيئر هڪ نام نهاد ڊيٽا پائپ لائن ٺاهيندو آهي، اهو آهي، هو ڊيٽا کي هڪ هنڌ کان ٻئي هنڌ پهچائڻ لاء هڪ عمل ٺاهي ٿو. اهي ڪسٽم اسڪرپٽ ٿي سگهن ٿيون جيڪي ٻاهرئين خدمت جي API ڏانهن وڃن ٿيون يا هڪ SQL سوال ٺاهيو، ڊيٽا کي وڌايو، ۽ ان کي مرڪزي اسٽور (ڊيٽا گودام) يا غير منظم ٿيل ڊيٽا اسٽور (ڊيٽا ڍنڍون) ۾ رکون.

اختصار ڪرڻ لاءِ: ڊيٽا انجنيئر لاءِ بنيادي چيڪ لسٽ

ڊيٽا انجنيئر ڪير آهن، ۽ توهان ڪيئن بڻجي ويا آهيو؟

اختصار ڪرڻ لاءِ، هيٺين ڳالهين کي چڱيءَ طرح سمجهڻ جي ضرورت آهي:

  • معلوماتي نظام؛
  • سافٽ ويئر ڊولپمينٽ (Agile, DevOps, Design Techniques, SOA)؛
  • ورهايل نظام ۽ متوازي پروگرامنگ؛
  • ڊيٽابيس جا بنيادي اصول - منصوبه بندي، ڊيزائن، آپريشن ۽ مسئلا حل ڪرڻ؛
  • تجربن جي ڊيزائن - تصورن کي ثابت ڪرڻ لاءِ A/B ٽيسٽ، اعتبار جو تعين ڪرڻ، سسٽم جي ڪارڪردگيءَ جو تعين ڪرڻ، ۽ سٺي حل کي جلدي پهچائڻ لاءِ قابل اعتماد رستا تيار ڪرڻ.

اهي صرف چند ضرورتون آهن هڪ ڊيٽا انجنيئر ٿيڻ لاءِ، تنهن ڪري سکو ۽ سمجھو ڊيٽا سسٽم، انفارميشن سسٽم، مسلسل ترسيل/تعميرات/انضمام، پروگرامنگ ٻوليون، ۽ ڪمپيوٽر سائنس جا ٻيا موضوع (نه سڀ موضوع وارا علائقا).

۽ آخر ۾، آخري پر تمام ضروري شيء مان چوڻ چاهيان ٿو.

ڊيٽا انجنيئرنگ ٿيڻ جو رستو ايترو سادو ناهي جيترو اهو لڳي سگهي ٿو. هو معاف نٿو ڪري، هو مايوس ڪري ٿو، ۽ توهان کي هن لاء تيار ٿيڻ گهرجي. هن سفر ۾ ڪجهه لمحا شايد توهان کي ڇڏي ڏيڻ لاء زور ڏين ٿا. پر اهو حقيقي ڪم ۽ هڪ سکيا وارو عمل آهي.

بس ان کي شروع کان شوگر نه ڪريو. سفر جو سڄو نقطو اهو آهي ته جيترو ٿي سگهي سکڻ ۽ نئين چئلينج لاء تيار ٿي.
هتي هڪ عظيم تصوير آهي جيڪا مون وٽ آئي آهي جيڪا هن نقطي کي چڱي طرح بيان ڪري ٿي:

ڊيٽا انجنيئر ڪير آهن، ۽ توهان ڪيئن بڻجي ويا آهيو؟

۽ ها، برن آئوٽ ۽ آرام کان بچڻ لاءِ ياد رکو. اهو پڻ تمام ضروري آهي. سدا خوشقسمت رهو!

دوستو مضمون بابت توهان جو ڇا خيال آهي؟ اسان توهان کي دعوت ڏيون ٿا مفت ويبينار، جيڪو اڄ 20.00 تي ٿيندو. ويبينار جي دوران، اسان بحث ڪنداسين ته ڪيئن هڪ مؤثر ۽ اسپيبلبل ڊيٽا پروسيسنگ سسٽم هڪ ننڍڙي ڪمپني لاء يا گهٽ ۾ گهٽ قيمت تي شروع ڪرڻ لاء. عمل جي طور تي، اسان Google Cloud ڊيٽا پروسيسنگ اوزارن سان واقف ٿينداسين. ملندا سين!

جو ذريعو: www.habr.com

تبصرو شامل ڪريو