د ډسمبر په پیل کې، ما یوه وژونکې تېروتنه وکړه او د پراختیا کونکي په توګه زما په ژوند کې یو مهم ټکی رامینځته کړ او په شرکت کې د ډیټا انجینرۍ (DE) ټیم ته لاړم. پدې مقاله کې به زه ځینې مشاهدات شریک کړم چې ما د DE ټیم کې د دوه میاشتو کار کولو په جریان کې کړي.
ولې د ډیټا انجینرۍ؟
DE ته زما سفر د 2019 په دوبي کې پیل شو ، کله چې موږ ځه چې ځو ، او هلته ما روښانتیا ترلاسه کړه. ما د موضوع سره علاقه پیدا کړه، د الګوریتم مطالعه او حتی د دوی په اړه ، او بیا یې د غوښتنلیک ساحې په اړه فکر وکړ او ژر یې وموندله چې زموږ په شرکت کې عملي غوښتنلیک ډیټابیسونه ویشل شوي.
زموږ ټیم واقعیا څه کوي؟ موږ، د ټولو فیشني هلکانو او نجونو په څیر، غواړو چې د ډیټا چلونکي شرکت جوړ شو. او د دې لپاره چې دا ممکنه شي، موږ لږ تر لږه د باور وړ ذخیره کولو تاسیساتو جوړولو ته اړتیا لرو، کوم چې د هر هغه راپورونو جوړولو لپاره کارول کیدی شي چې شرکت ورته اړتیا لري. مګر ترټولو مهمه خبره دا ده چې پدې ذخیره کې معلومات باید باوري وي. سربیره پردې ، د دې معلوماتو په کارولو سره ، تاسو اړتیا لرئ د دې وړتیا ولرئ چې په وخت کې د سیسټم حالت بحال کړئ. دا ټول د دې حقیقت له مخې پیچلي دي چې موږ د مایکرو خدماتو په زړه پورې نوې نړۍ کې ژوند کوو، او دا نظریه پدې معنی ده چې هر خدمت خپل کوچني فعالیت پلي کوي، ډیټابیس یې خپل کاروبار دی، او دا کولی شي لږترلږه هره ورځ حذف کړي، مګر په ورته وخت کې موږ باید د دې وړتیا ولرو چې د خدماتو حالت ترلاسه او پروسس کړو.
که تاسو غواړئ د ډیټا ډرایوین اوسئ ، لومړی د پیښې ډرایوین شئ
دومره ساده نه. پیښې مختلف دي، او پراختیا کونکی او د معلوماتو انجنیر دوی په مختلف ډول ګوري. د پیښو په اړه خبرې کول د جلا مقالې لپاره موضوع ده، نو زه به یې دلته نه ځم. برسېره پردې، دا ډول مقاله لا دمخه شتون لري یو ځانګړی مارټین فولر، زه به د هغه ویاړونه له لاسه ورنکړم، اجازه راکړئ چې هغه هم مشهور شي.
په عموم کې ، د فکر کولو لپاره ډیر څه شتون لري او له همدې امله دا سیمه په زړه پوري ده. دا یوازې داسې پیښیږي چې زموږ په شرکت کې ، د ډیټا انجینر د مسؤلیت خورا پراخه ساحه ده یوازې د هغه چا په پرتله چې د ETL/ELT پایپ لاینونه لیکي (که تاسو نه پوهیږئ دا لنډیزونه څه معنی لري ، راشئ . د متناسب اعلاناتو په توګه).
موږ د ذخیره کولو جوړښت ، ډیټا ماډلینګ ، د ډیټا امنیت پورې اړوند مسلو او پخپله پایپ لاینونو سره معامله کوو. موږ باید ډاډ ترلاسه کړو چې له یوې خوا ، زموږ شتون د محصول پراختیا کونکو لپاره خورا دروند بار نه دی او دوی باید زموږ اړتیاو ته د امکان تر حده لږ متوجه شي کله چې سیسټم کې نوي ب featuresې پرې کوي ، او له بلې خوا ، موږ د شنونکو او BI ټیم لپاره د ذخیره کولو ډیټا کې په اسانۍ سره چمتو کولو ته اړتیا لري. همداسې ژوند کوو.
د پرمختګ څخه د لیږد په وخت کې ستونزې
زما د کار په لومړۍ ورځ، زه د یو شمیر ستونزو سره مخ شوم چې زه غواړم تاسو سره شریک کړم.
1. لومړی شی چې ما ولیدل د ټلینګ نشتوالی او ځینې تمرینونه وو. د مثال په توګه، د ازموینې سره د کوډ پوښښ واخلئ. موږ په پراختیا کې د سلګونو ازموینې چوکاټونه لرو. کله چې د معلوماتو سره کار کول، هرڅه خورا پیچلي دي. هو، موږ کولی شو د ازموینې ډیټا کې د ETL پایپ لاینونه ازموینه وکړو، مګر موږ باید دا ټول په لاسي ډول ترسره کړو او د هرې ځانګړې قضیې لپاره حلونه وګورو. د پایلې په توګه، د ازموینې پوښښ خورا خراب دی. خوشبختانه، د څارنې او لاګونو په بڼه د فیډبیک یوه بله طبقه شتون لري، مګر دا دمخه موږ ته اړتیا لري چې د فعاله پر ځای په فعال ډول غبرګون وښیو، کوم چې قهرجن او ناخوښه دی.
2. د DE له نظره نړۍ هغه څه نه ده چې دا د عادي محصول جوړونکي ته ښکاري (ښه، البته، لوستونکی داسې نه دی، او هغه دمخه په هرڅه پوهیږي، مګر زه نه پوهیږم او اوس زه یم. خرابوي). د یو پرمخ وړونکي په توګه، زه خپل مایکرو خدمت جوړوم، ډاټا [ستاسو د خوښې ډیټابیس] کې واچوم، زما حالت هلته خوندي کړم، د ID لخوا یو څه ترلاسه کړم او دا ښه ده. خدمت ورو دی، سپارښتنې ګډوډ دي، بس. دوی له ما څخه غوښتنه کوي چې زما ریاست په بل خدمت کې وګورم، نو زه به یوه پیښه په ځینو RabbitMQ کې واچوم او بس. او دلته موږ بیا د پورته ذکر شوي پیښو مسلې ته راستانه شو.
هغه څه چې د عملیاتي کار لپاره خدمت ته اړتیا لري د تاریخي معلوماتو لپاره موږ ته مناسب ندي، نو د خدماتو قراردادونو بیا کار کولو پوښتنه او د پراختیایی ټیمونو سره نږدې کار پیل کیږي. تاسو حتی تصور هم نشئ کولی چې موږ موافق کیدو ته څومره ساعتونه وخت نیولی: هغه زموږ په شرکت کې څه ډول پیښه پرمخ وړي.
3. تاسو باید په خپل سر فکر وکړئ. نه، زما مطلب دا نه دی چې پراختیا کونکي فکر نه کوي (که څه هم زه څوک یم چې د هرچا لپاره خبرې وکړم)، دا یوازې دا ده چې د محصول په پراختیا کې ډیری وختونه تاسو دمخه یو ډول جوړښت لرئ، او تاسو د بیکلاګ څخه مختلف بدلونونه پرې کوئ. البته، دا پلان او فکر ته اړتیا لري، مګر دا د جریان کار دی، چیرې چې اصلي ستونزه یوازې دا ده چې دا په ښه او اغیزمنه توګه ترسره شي.
زموږ لپاره، دا دومره ساده نده ځکه چې د تودوخې او آرامۍ مونولیت څخه د وحشي مایکرو سرویس ځنګل نړۍ ته د سیسټم مختلف اجزاو لیږدول دومره ساده ندي. کله چې خدمت د پیښو سپیول پیل کوي ، تاسو اړتیا لرئ د ذخیره ډکولو لپاره منطق له سره غور وکړئ ، ځکه چې ډاټا اوس مختلف ښکاري. دا هغه ځای دی چې تاسو اړتیا لرئ ډیر او بشپړ فکر وکړئ ، نور د پراختیا کونکي په توګه نه ، مګر د ډیټا انجینر په توګه. دا یوه عادي کیسه ده کله چې تاسو د نوټ بوک او قلم سره یا په تخته کې د مارکر سره ورځې تیروئ. دا خورا ستونزمن دی، زه فکر کول نه خوښوم، زه تولید هم خوښوم.
4. شاید تر ټولو مهم شی معلومات دی. کله چې موږ پوهه نه لرو څه وکړو؟ چا وویل stackoverflow؟ دا سړی د کوټې څخه وباسه. موږ د موضوع په اړه اسناد، کتابونه لوستلو، او دلته یوه ټولنه هم شتون لري چې فورمونه، ناستې او کنفرانسونه تنظیموي. اسناد خورا ښه دي، مګر له بده مرغه، دا کیدای شي نیمګړتیا وي. موږ په یو شمیر پروژو کې کاسموس DB کاروو. د دې محصول لپاره د اسنادو لوستلو ښه بخت. کتابونه یوازینی نجات دی؛ له نېکه مرغه، دوی شتون لري او موندل کیدی شي، دوی ډیری بنسټیز پوهه لري او تاسو باید ډیر او دوامداره ولولئ. خو ستونزه په ټولنه کې ده.
اوس دا ستونزمنه ده چې زموږ په سیمه کې لږترلږه یو مناسب کنفرانس یا ناسته ومومئ. نه، البته، د ډیټا کلمې سره ډیری ملاقاتونه شتون لري، مګر د دې کلمې په څنګ کې معمولا عجیب لنډیزونه شتون لري لکه ML یا AI. نو، دا زموږ لپاره نه دی، موږ د ذخیره کولو تاسیساتو جوړولو څرنګوالي په اړه خبرې کوو، او نه دا چې څنګه خپل ځان د نیورونونو سره بوغ کړو. دې هیپسټرانو هرڅه په لاس کې اخیستي دي. د پایلې په توګه، موږ د ټولنې پرته یو. په هرصورت ، که تاسو د ډیټا انجینر یاست او ښې ټولنې پیژنئ ، مهرباني وکړئ په نظرونو کې ولیکئ.
د غونډې پایلې او اعلان
په پای کې به څه وکړو؟ زما لومړۍ تجربه ماته وايي چې د ډیټا انجینر بوټانو کې احساس کول به د هر پراختیا کونکي لپاره ګټور وي. دا یوازې موږ ته اجازه راکوي چې شیان په مختلف ډول وګورو او حیرانتیا مه کوئ کله چې زموږ سترګې وینه وخوري کله چې موږ وګورو چې پراختیا کونکي د دوی ډیټا څنګه چلند کوي. نو، که ستاسو په شرکت کې DE شتون ولري، یوازې د دې هلکانو سره خبرې وکړئ، تاسو به ډیر نوي شیان زده کړئ (د خپل ځان په اړه).
او په پای کې، اعلان. څرنګه چې د ورځې په اوږدو کې زموږ په موضوع کې د غونډو موندل ګران دي، موږ پریکړه وکړه چې خپل ځان جوړ کړو. ولې موږ بدتر یو؟ خوشبختانه موږ یو حیرانتیا لرو او زموږ ملګري له ، څوک چې زموږ په څیر احساس کوي چې د ډیټا انجینران په غیر عادلانه ډول له پاملرنې څخه محروم دي.
د دې فرصت په اخیستلو سره، زه هر هغه چا ته بلنه ورکوم چې زموږ د ټولنې لومړنۍ غونډې ته د ژمن سرلیک "DE یا DIE" سره راشي، کوم چې به د فبروري په 27.02.2020، XNUMX کې د ډوډو پیزا دفتر کې ترسره شي. جزیات په کې .
که څه پیښ شي، زه به هلته یم، تاسو کولی شئ ما په شخصي توګه زما مخ ته ووایاست چې زه د پراختیا کونکو په اړه څومره غلط یم.
سرچینه: www.habr.com