ڊسمبر جي شروعات ۾، مون هڪ موتمار غلطي ڪئي ۽ هڪ ڊولپر جي حيثيت ۾ منهنجي زندگي ۾ هڪ موڙ پيدا ڪيو ۽ ڪمپني جي اندر ڊيٽا انجنيئرنگ (DE) ٽيم ڏانهن منتقل ڪيو ويو. هن آرٽيڪل ۾ آئون ڪجهه مشاهدو شيئر ڪندس جيڪي مون ڊي ٽيم تي ڪم ڪرڻ جي ٻن مهينن دوران ڪيا.
ڊيٽا انجنيئرنگ ڇو؟
منهنجو DE ڏانهن سفر 2019 جي اونهاري ۾ شروع ٿيو، جڏهن اسان اچو ته وڃون ، ۽ اتي مون کي روشني حاصل ڪئي. مون موضوع ۾ دلچسپي وٺڻ شروع ڪيو، الگورتھم جو مطالعو ۽ ان بابت پڻ ، ۽ پوءِ ايپليڪيشن جي دائري جي باري ۾ سوچيو ۽ جلدي معلوم ٿيو ته اسان جي ڪمپني ۾ عملي ايپليڪيشن ڊيٽابيس ورهايل آهي.
اسان جي ٽيم ڇا ڪري ٿي؟ اسان، سڀني فيشني ڇوڪرن ۽ ڇوڪرين وانگر، هڪ Data Driven Company ٿيڻ چاهيون ٿا. ۽ انهي لاءِ ممڪن ٿيڻ لاءِ، اسان کي گهٽ ۾ گهٽ هڪ قابل اعتماد اسٽوريج سهولت ٺاهڻ جي ضرورت آهي، جيڪا ڪمپني جي ضرورتن جي ڪا به رپورٽ ٺاهڻ لاءِ استعمال ٿي سگهي. پر سڀ کان اهم شيء اها آهي ته هن اسٽوريج ۾ ڊيٽا کي قابل اعتماد هجڻ گهرجي. ان کان علاوه، انهن ڊيٽا کي استعمال ڪندي، توهان کي وقت تي سسٽم جي حالت کي بحال ڪرڻ جي قابل هوندو. اهو سڀ ڪجهه هن حقيقت کان پيچيده آهي ته اسان مائڪرو سروسز جي هڪ بهادر نئين دنيا ۾ رهون ٿا، ۽ اهو نظريو اهو آهي ته هر خدمت پنهنجي ننڍڙي ڪارڪردگي کي لاڳو ڪري ٿي، ان جو ڊيٽابيس ان جو پنهنجو ڪاروبار آهي، ۽ اهو گهٽ ۾ گهٽ هر روز ان کي ختم ڪري سگهي ٿو، پر ساڳئي وقت اسان کي لازمي طور تي خدمت جي حالت حاصل ڪرڻ ۽ عمل ڪرڻ جي قابل هوندو.
جيڪڏھن توھان چاھيو ٿا Data Driven، پھريون ٿي وڃو ايونٽ ڊريون
ايترو سادو ناهي. واقعا مختلف آهن، ۽ ڊولپر ۽ ڊيٽا انجنيئر انهن کي مختلف طرح سان ڏسندا آهن. واقعن بابت ڳالهائڻ هڪ الڳ مضمون لاءِ هڪ موضوع آهي، تنهنڪري مان هتي ان ۾ نه ويندس. ان کان سواء، اهڙي مضمون اڳ ۾ ئي آهي هڪ خاص مارٽن فولر، مان هن جا اعزاز نه کڻندس، هن کي پڻ مشهور ٿيڻ ڏيو.
عام طور تي، سوچڻ لاء گهڻو ڪجهه آهي ۽ اهو ئي سبب آهي ته هي علائقو پرڪشش آهي. بس ائين ٿئي ٿو ته اسان جي ڪمپني ۾، هڪ ڊيٽا انجنيئر صرف هڪ شخص جي ڀيٽ ۾ ذميواري جو تمام گهڻو وسيع علائقو آهي جيڪو ETL/ELT پائپ لائنون لکي ٿو (جيڪڏهن توهان کي خبر ناهي ته انهن مخففات جو مطلب ڇا آهي، اچو . جيئن ته لاڳاپيل اشتهارسازي).
اسان اسٽوريج آرڪيٽيڪچر، ڊيٽا ماڊلنگ، ڊيٽا سيڪيورٽي سان لاڳاپيل مسئلن، ۽ پاڻ پائپ لائنز سان معاملو ڪندا آهيون، يقينا. اسان کي اهو به يقيني بڻائڻو پوندو ته، هڪ طرف، اسان جي موجودگي پراڊڪٽ ڊولپرز لاءِ تمام گهڻو بوجھل نه آهي ۽ انهن کي اسان جي ضرورتن کان گهٽ ۾ گهٽ پريشان ٿيڻو پوندو جڏهن سسٽم ۾ نئين خاصيتن کي ڪٽيندا آهيون، ۽ ٻئي طرف، اسان. انهن کي مهيا ڪرڻ جي ضرورت آهي آساني سان اسٽوريج ڊيٽا ۾ تجزيه نگارن ۽ BI ٽيم لاءِ. ائين ئي اسان جي زندگي آهي.
مشڪلاتون جڏهن ترقي کان منتقلي
منهنجي ڪم جي پهرين ڏينهن تي، مون کي ڪيتريون ئي مشڪلاتون پيش آيون جيڪي مان توهان سان شيئر ڪرڻ چاهيان ٿو.
1. پھرين شيءِ جيڪا مون ڏٺي، سا ٽيلنگ جي غير موجودگي ۽ ڪجھ عملن جي ھئي. وٺو، مثال طور، ٽيسٽ سان ڪوڊ ڪوريج. اسان وٽ ترقي ۾ سوين جاچ فريم ورڪ آهن. جڏهن ڊيٽا سان ڪم ڪندي، هر شيء وڌيڪ پيچيده آهي. ها، اسان ٽيسٽ ڊيٽا تي اي ٽي ايل پائپ لائنز کي جانچ ڪري سگهون ٿا، پر اسان کي اهو سڀ دستي طور تي ڪرڻو پوندو ۽ هر مخصوص ڪيس لاء حل ڳولڻو پوندو. نتيجي طور، ٽيسٽ ڪوريج تمام خراب آهي. خوشقسمتيءَ سان، مانيٽرنگ ۽ لاگز جي صورت ۾ راءِ جي هڪ ٻي پرت موجود آهي، پر ان لاءِ اڳ ۾ ئي اسان کي ضرورت آهي ته اسان کي رد عمل جي بجاءِ فعال طور تي رد عمل جو اظهار ڪيو وڃي، جيڪو بيزار ڪندڙ ۽ بيزار ڪندڙ آهي.
2. DE جي نقطه نظر کان دنيا بلڪل نه آهي جيڪا هڪ عام پراڊڪٽ ڊولپر کي لڳي ٿي (چڱو، يقيناً پڙهندڙ اهڙو ناهي، ۽ هو اڳ ۾ ئي سڀ ڪجهه ڄاڻي ٿو، پر مون کي خبر نه هئي ۽ هاڻي مان ڇڪي رهيو آهيان. اهو مٿي). هڪ ڊولپر جي حيثيت سان، مان پنهنجو مائڪرو سروس ٺاهيان ٿو، ڊيٽا [توهان جي پسند جي ڊيٽابيس] ۾ رکان ٿو، اتي منهنجي رياست محفوظ ڪريان ٿو، ID ذريعي ڪجهه حاصل ڪريو ۽ اهو ٺيڪ آهي. خدمت سست آهي، آرڊر پريشان آهن، اهو سڀ ڪجهه آهي. اهي مون کان پڇن ٿا ته منهنجي رياست کي ڪنهن ٻئي خدمت ۾ ڳولڻ لاء، تنهنڪري آئون هڪ واقعو ڪجهه RabbitMQ ۾ اڇلائي ڇڏيندس ۽ اهو ئي آهي. ۽ هتي اسان وري مٿي بيان ڪيل واقعن جي مسئلي ڏانهن موٽي آيا آهيون.
آپريشنل ڪم لاءِ ڪهڙي خدمت جي ضرورت آهي اسان کي تاريخي ڊيٽا لاءِ مناسب ناهي، تنهن ڪري سروس جي معاهدن کي ٻيهر ڪم ڪرڻ جو سوال ۽ ترقياتي ٽيمن سان ويجهي ڪم شروع ٿئي ٿو. توهان اهو تصور به نٿا ڪري سگهو ته اسان کي اتفاق ڪرڻ ۾ ڪيترا ڪلاڪ لڳا: هو اسان جي ڪمپني ۾ ڪهڙي قسم جو واقعو هلائي ٿو.
3. توھان کي پنھنجي سر سان سوچڻ جي ضرورت آھي. نه، منهنجو مطلب اهو ناهي ته ڊولپر اهو نه ٿا سوچين (جيتوڻيڪ مان ڪير آهيان هر ڪنهن لاءِ ڳالهائڻ)، اهو صرف اهو آهي ته پيداوار جي ترقي ۾ گهڻو ڪري توهان وٽ اڳ ۾ ئي ڪجهه قسم جو فن تعمير هوندو آهي، ۽ توهان بيڪ لاگ مان مختلف شفلز ڪٽيندا آهيو. يقينن، ان لاءِ رٿابندي ۽ سوچ جي ضرورت آهي، پر اهو ڪم آهي وهڪرو، جتي بنيادي مسئلو صرف اهو آهي ته ان کي چڱيءَ طرح ۽ موثر طريقي سان ڪرڻ.
اسان لاءِ، اهو ايترو سادو نه آهي، ڇاڪاڻ ته مختلف سسٽم جي اجزاء کي گرم ۽ آرامده مانوليٿ کان جهنگلي مائڪرو سروس جي جنگل جي دنيا ۾ منتقل ڪرڻ ايترو سادو ناهي. جڏهن خدمت شروع ٿئي ٿي واقعن کي ڦهلائڻ، توهان کي اسٽوريج ڀرڻ جي منطق تي ٻيهر غور ڪرڻو پوندو، ڇاڪاڻ ته ڊيٽا هاڻي مختلف نظر اچي ٿي. هي اهو آهي جتي توهان کي تمام گهڻو ۽ چڱي طرح سوچڻ جي ضرورت آهي، هاڻي هڪ ڊولپر جي حيثيت ۾ نه، پر هڪ ڊيٽا انجنيئر جي حيثيت سان. اها هڪ عام ڪهاڻي آهي جڏهن توهان ڏينهن گذاريندا آهيو نوٽ بڪ ۽ قلم سان يا بورڊ تي مارڪر سان. اهو تمام ڏکيو آهي، مان سوچڻ پسند نٿو ڪريان، مون کي پيداوار پڻ پسند آهي.
4. شايد سڀ کان اهم شيء ڄاڻ آهي. جڏهن اسان وٽ علم جي کوٽ آهي ته اسان ڇا ڪريون؟ ڪنهن چيو stackoverflow؟ هن شخص کي ڪمري مان ٻاهر ڪڍو. اسان موضوع تي دستاويز، ڪتاب پڙهندا آهيون، ۽ اتي پڻ هڪ ڪميونٽي آهي جيڪا منظم ڪري ٿي فورم، ملاقاتون ۽ ڪانفرنسون. دستاويز عظيم آهي، پر بدقسمتي سان، اهو ناممڪن ٿي سگهي ٿو. اسان ڪيترن ئي منصوبن ۾ Cosmos DB استعمال ڪندا آهيون. سٺي قسمت هن پيداوار لاء دستاويز پڙهڻ. ڪتاب ئي نجات آهن؛ خوشقسمتيءَ سان، اهي موجود آهن ۽ ڳولي سگهجن ٿا، انهن ۾ تمام گهڻو بنيادي علم آهي ۽ توهان کي تمام گهڻو ۽ مسلسل پڙهڻو پوندو. پر مسئلو سماج جو آهي.
هاڻي اسان جي علائقي ۾ گهٽ ۾ گهٽ هڪ مناسب ڪانفرنس يا گڏجاڻي ڳولڻ ڏکيو آهي. نه، يقيناً، لفظ Data سان تمام گهڻا ملن ٿا، پر هن لفظ جي اڳيان عام طور تي عجيب مخفف آهن جهڙوڪ ML يا AI. تنهن ڪري، اهو اسان لاء نه آهي، اسان انهي بابت ڳالهائي رهيا آهيون ته اسٽوريج سهولتون ڪيئن ٺاهيون، ۽ نه پاڻ کي نيورسن سان سمير ڪيئن ڪجي. هنن هپسٽرن هر شيءِ تي قبضو ڪري ورتو آهي. نتيجي طور، اسان هڪ ڪميونٽي کان سواء آهيون. رستي جي ذريعي، جيڪڏهن توهان هڪ ڊيٽا انجنيئر آهيو ۽ سٺي ڪميونٽي کي ڄاڻو ٿا، مهرباني ڪري تبصرن ۾ لکندا.
گڏجاڻي جا نتيجا ۽ اعلان
اسان آخر ڇا ڪريون؟ منهنجو پهريون تجربو مون کي ٻڌائي ٿو ته ڊيٽا انجنيئر جي بوٽن ۾ احساس هر ڊولپر لاء ڪارائتو ٿيندو. اهو صرف اسان کي اجازت ڏئي ٿو ته شين کي مختلف طرح سان ڏسڻ ۽ حيران نه ٿيو جڏهن اسان جون اکيون رت جي شاٽ ٿينديون آهن جڏهن اسان ڏسون ٿا ته ڊولپرز انهن جي ڊيٽا کي ڪيئن علاج ڪن ٿا. تنهن ڪري، جيڪڏهن توهان جي ڪمپني ۾ هڪ DE آهي، صرف انهن ماڻهن سان ڳالهايو، توهان تمام گهڻو نيون شيون سکندا (پنهنجي باري ۾).
۽ آخر ۾، اعلان. جيئن ته ڏينهن دوران اسان جي موضوع تي ملاقاتون ڳولڻ ڏکيو آهي، اسان پنهنجو پاڻ ٺاهڻ جو فيصلو ڪيو. اسان ڇو بدتر آهيون؟ خوش قسمت اسان وٽ هڪ عجيب آهي ۽ اسان جي دوستن کان ، جيڪي، اسان وانگر، محسوس ڪن ٿا ته ڊيٽا انجنيئر غير منصفانه طور تي ڌيان کان محروم آهن.
هن موقعي کي کڻندي، مان هر ڪنهن کي دعوت ڏيان ٿو جيڪو اسان جي پهرين ڪميونٽي ميٽنگ ۾ اچڻ جي پرواهه ڪري ٿو جيڪو وعدو ڪندڙ عنوان “DE or DIE” سان گڏ هوندو، جيڪو 27.02.2020 فيبروري XNUMX تي ڊوڊو پيزا آفيس ۾ ٿيندو. تفصيلات تي .
جيڪڏهن ڪجهه ٿئي ٿو، مان اتي ويندس، توهان مون کي ذاتي طور تي منهنجي منهن تي ٻڌائي سگهو ٿا ته مان ڊولپرز بابت ڪيترو غلط آهيان.
جو ذريعو: www.habr.com