د ډیټا ساینس پوه او ډیټا انجینر مسلکونه اکثرا مغشوش کیږي. هر شرکت د معلوماتو سره د کار کولو خپل مشخصات لري، د دوی تحلیل لپاره مختلف اهداف او مختلف نظرونه چې کوم متخصص باید د کار کومې برخې سره معامله وکړي، نو هر یو یې خپلې اړتیاوې لري.
راځئ چې معلومه کړو چې د دې متخصصینو ترمنځ توپیر څه دی، دوی کومې سوداګریزې ستونزې حل کوي، دوی کوم مهارتونه لري او څومره پیسې ترلاسه کوي. مواد لوی و، نو موږ یې په دوو خپرونو وویشل.
په لومړۍ مقاله کې، الینا ګیراسیمووا، د پوهنځي مشر ""په نیټولوژي کې ، د ډیټا ساینس پوه او ډیټا انجینر ترمینځ څه توپیر دی او د کومو وسیلو سره کار کوي.
د انجنیرانو او ساینس پوهانو رول څنګه توپیر لري
د ډیټا انجینر یو متخصص دی چې له یوې خوا د معلوماتو زیربنا رامینځته کوي ، ازموینه کوي او ساتي: ډیټابیسونه ، ذخیره کول او د ډله ایز پروسس کولو سیسټمونه. له بلې خوا ، دا هغه څوک دی چې د تحلیل کونکو او ډیټا ساینس پوهانو لخوا د کارولو لپاره ډیټا پاکوي او "کمبس" کوي ، دا د ډیټا پروسس کولو پایپ لاینونه رامینځته کوي.
د ډیټا ساینس پوه د ماشین زده کړې الګوریتمونو او عصبي شبکو په کارولو سره وړاندوینې (او نور) ماډلونه رامینځته کوي او روزنه ورکوي ، له سوداګرۍ سره د پټو نمونو موندلو کې مرسته کوي ، د پرمختګونو وړاندوینه کوي او د سوداګرۍ کلیدي پروسې غوره کوي.
د ډیټا ساینس پوه او ډیټا انجینر ترمینځ اصلي توپیر دا دی چې دوی معمولا مختلف اهداف لري. دواړه کار کوي ترڅو ډاډ ترلاسه کړي چې ډاټا د لاسرسي وړ او لوړ کیفیت لري. مګر د ډیټا ساینس پوه خپلو پوښتنو ته ځوابونه لټوي او فرضیې په ډیټا ایکوسیستم کې ازموي (د مثال په توګه ، د هاډوپ پراساس) ، او د ډیټا انجینر د ماشین زده کړې الګوریتم خدمت کولو لپاره پایپ لاین رامینځته کوي چې د ډیټا ساینس پوه لخوا په ورته دننه کې په سپارک کلستر کې لیکل شوی. ایکوسیستم
د ډیټا انجنیر د ټیم د یوې برخې په توګه کار کولو سره سوداګرۍ ته ارزښت راوړي. د دې دنده دا ده چې د مختلف برخه اخیستونکو ترمینځ د یوې مهمې اړیکې په توګه عمل وکړي: له پراختیا کونکو څخه د راپور ورکولو سوداګرۍ مصرف کونکو پورې ، او د شنونکو تولید زیاتول ، له بازارموندنې او محصول څخه BI ته.
د ډیټا ساینس پوه، برعکس، د شرکت په ستراتیژۍ کې فعاله برخه اخلي او د بصیرت استخراج، پریکړې کول، د اتوماتیک الګوریتم پلي کول، ماډل کول او د ډاټا څخه ارزښت تولیدوي.
د ډیټا سره کار کول د GIGO (کثافاتو کې - کثافات بهر) اصول تابع دي: که شنونکي او د ډیټا ساینس پوهان د چمتو شوي او احتمالي غلط معلوماتو سره معامله وکړي ، نو پایلې به حتی د خورا پیچلي تحلیل الګوریتمونو کارولو سره غلط وي.
د ډیټا انجنیران دا ستونزه د ډیټا پروسس کولو، پاکولو او بدلولو لپاره د پایپ لاینونو په جوړولو سره حل کوي او د ډیټا ساینس پوهانو ته اجازه ورکوي چې د لوړ کیفیت ډاټا سره کار وکړي.
په بازار کې د ډیټا سره کار کولو لپاره ډیری وسیلې شتون لري چې هره مرحله پوښي: د ډیټا له څرګندیدو څخه تر محصول پورې د مدیرانو بورډ لپاره ډشبورډ پورې. او دا مهمه ده چې د دوی کارولو پریکړه د انجینر لخوا ترسره شي - نه دا چې دا فیشن دی، مګر دا چې هغه به واقعیا په پروسه کې د نورو ګډون کونکو کار سره مرسته وکړي.
په دودیز ډول: که چیرې یو شرکت د BI او ETL ترمینځ اړیکې رامینځته کولو ته اړتیا ولري - د ډیټا بار کول او راپورونه تازه کول ، دلته یو ځانګړی میراث بنسټ دی چې د ډیټا انجینر به ورسره معامله وکړي (دا ښه ده که چیرې په ټیم کې معمار هم وي).
د ډیټا انجنیر مسؤلیتونه
- د ډیټا پروسس کولو زیربنا پراختیا، جوړونه او ساتنه.
- د غلطیو اداره کول او د اعتبار وړ ډیټا پروسس پایپ لاینونه رامینځته کول.
- د مختلفو متحرک سرچینو څخه غیر منظم شوي ډاټا راوستل د شنونکو د کار لپاره اړین فارم ته.
- د معلوماتو ثبات او کیفیت ښه کولو لپاره سپارښتنې چمتو کول.
- د ډیټا ساینس پوهانو او ډیټا شنونکو لخوا کارول شوي ډیټا جوړښت چمتو کول او ساتل.
- د لسګونو یا سلګونو سرورونو توزیع شوي کلستر کې په دوامداره او مؤثره توګه ډاټا پروسس او ذخیره کړئ.
- د ساده مګر قوي جوړښتونو رامینځته کولو لپاره د وسیلو تخنیکي سوداګرۍ ارزونه وکړئ چې کولی شي د ګډوډي ژوندي پاتې شي.
- د معلوماتو جریان او اړوند سیسټمونو کنټرول او ملاتړ (د څارنې او خبرتیاو تنظیم کول).
د ډیټا انجینر په لاره کې یو بل تخصص شتون لري - ML انجینر. په لنډه توګه، دا انجنیران د صنعتي پلي کولو او کارولو لپاره د ماشین زده کړې ماډلونو راوستلو کې تخصص لري. ډیری وختونه، د ډیټا ساینس پوه څخه ترلاسه شوي ماډل د مطالعې برخه ده او ممکن په جنګي شرایطو کې کار ونکړي.
د ډیټا ساینس پوه مسؤلیتونه
- د ماشین زده کړې الګوریتم پلي کولو لپاره د معلوماتو څخه د ځانګړتیاو استخراج.
- په ډیټا کې د نمونو وړاندوینې او طبقه بندي کولو لپاره د مختلف ماشین زده کړې وسیلو کارول.
- د الګوریتمونو ښه کولو او اصلاح کولو سره د ماشین زده کړې الګوریتمونو فعالیت او دقت ښه کول.
- د شرکت د ستراتیژۍ سره سم د "پیاوړې" فرضیې رامینځته کول چې ازموینې ته اړتیا لري.
د ډیټا انجینر او ډیټا ساینس پوه دواړه د ډیټا کلتور پراختیا کې د پام وړ مرسته شریکوي ، د کوم له لارې شرکت کولی شي اضافي ګټې رامینځته کړي یا لګښتونه کم کړي.
انجنیران او ساینس پوهان په کومو ژبو او وسایلو کار کوي؟
نن ورځ، د معلوماتو ساینس پوهانو تمه بدله شوې. پخوا، انجنیرانو لوی SQL پوښتنې راټولولې، په لاسي ډول یې MapReduce لیکلې او پروسس شوي ډاټا د وسیلو په کارولو سره لکه Informatica ETL، Pentaho ETL، Talend.
په 2020 کې ، یو متخصص د پیتون او عصري محاسبې وسیلو (د مثال په توګه ، ایر فلو) د پوهې پرته نشي کولی ، د کلاوډ پلیټ فارمونو سره د کار کولو اصولو پوهه (د دوی په هارډویر کې خوندي کولو لپاره کارول ، پداسې حال کې چې د امنیت اصول مشاهده کوي).
SAP، Oracle، MySQL، Redis په لویو شرکتونو کې د ډیټا انجنیرانو لپاره دودیز وسایل دي. دوی ښه دي، مګر د جوازونو لګښت دومره لوړ دی چې د دوی سره د کار کولو زده کړه یوازې په صنعتي پروژو کې معنی لري. په ورته وخت کې، د Postgres په بڼه یو وړیا بدیل شتون لري - دا وړیا او نه یوازې د روزنې لپاره مناسب دی.
په تاریخي توګه، د جاوا او سکالا غوښتنې ډیری وختونه موندل کیږي، که څه هم لکه څنګه چې ټیکنالوژي او طریقې وده کوي، دا ژبې پس منظر ته ځي.
په هرصورت، سخت BigData: Hadoop، Spark او د ژوبڼ پاتې برخه نور د ډیټا انجنیر لپاره شرط نه دی، مګر د ستونزو حل کولو لپاره یو ډول وسیلې دي چې د دودیز ETL لخوا نشي حل کیدی.
رجحان د وسیلو کارولو لپاره خدمتونه دي پرته له دې چې د ژبې په اړه پوهه ولري په کوم کې چې دوی لیکل شوي (د مثال په توګه ، هډوپ د جاوا له پوهې پرته) ، او همدارنګه د سټیمینګ ډیټا پروسس کولو لپاره چمتو شوي خدماتو چمتو کول (د غږ پیژندنه یا په ویډیو کې د عکس پیژندنه. ).
د SAS او SPSS څخه صنعتي حلونه مشهور دي، پداسې حال کې چې Tableau، Rapidminer، Stata او جولیا هم د سیمه ایزو دندو لپاره د ډیټا ساینس پوهانو لخوا په پراخه کچه کارول کیږي.
پخپله د پایپ لاینونو رامینځته کولو وړتیا یوازې څو کاله دمخه شنونکو او ډیټا ساینس پوهانو ته ښکاره شوه: د مثال په توګه ، دا دمخه ممکنه ده چې د نسبتا ساده سکریپټونو په کارولو سره د PostgreSQL میشته ذخیره ته ډیټا ولیږئ.
په عموم کې، د پایپ لاینونو او مدغم ډیټا جوړښتونو کارول د ډیټا انجینرانو مسؤلیت پاتې دی. مګر نن ورځ، په اړونده برخو کې د پراخو وړتیاوو سره د T شکل متخصصینو رجحان د پخوا په پرتله پیاوړی دی، ځکه چې وسایل په دوامداره توګه ساده کیږي.
ولې د ډیټا انجینر او ډیټا ساینس پوه په ګډه کار کوي
د انجینرانو سره نږدې کار کولو سره ، د ډیټا ساینس پوهان کولی شي د څیړنې اړخ باندې تمرکز وکړي ، د تولید لپاره چمتو ماشین زده کړې الګوریتمونه رامینځته کړي.
او انجینران اړتیا لري چې د توزیع کولو ، د معلوماتو بیا کارولو ، او ډاډ ترلاسه کولو باندې تمرکز وکړي چې په هره انفرادي پروژه کې د معلوماتو داخل او محصول پایپ لاین د نړیوال جوړښت سره مطابقت لري.
د مسؤلیتونو دا جلا کول د ټیمونو په اوږدو کې د ماشین زده کړې مختلف پروژو کې کار کولو ثبات تضمینوي.
همکاري د نوي محصولاتو په مؤثره توګه رامینځته کولو کې مرسته کوي. سرعت او کیفیت د هرچا لپاره د خدماتو رامینځته کولو (نړیوال ذخیره یا د ډشبورډونو ادغام) او د هرې ځانګړې اړتیا یا پروژې پلي کول (ډیر ځانګړي پایپ لاین ، د بهرنیو سرچینو سره نښلول) تر مینځ د توازن له لارې ترلاسه کیږي.
د ډیټا ساینس پوهانو او شنونکو سره نږدې کار کول د انجینرانو سره د غوره کوډ لیکلو لپاره د تحلیلي او څیړنې مهارتونو رامینځته کولو کې مرسته کوي. د ګودام او ډیټا لیک کاروونکو ترمنځ د پوهې شریکول ښه کیږي، پروژې ډیرې چټکې کوي او ډیرې دوامدارې اوږدې مودې پایلې وړاندې کوي.
په شرکتونو کې چې هدف یې د ډیټا سره د کار کولو کلتور رامینځته کول او د دوی پراساس د سوداګرۍ پروسې رامینځته کول دي ، د ډیټا ساینس پوه او ډیټا انجینر یو بل بشپړوي او د ډیټا تحلیل بشپړ سیسټم رامینځته کوي.
په راتلونکې مقاله کې به موږ د دې په اړه وغږیږو چې د ډیټا انجینر او ډیټا ساینس پوهان باید څه ډول زده کړې ولري ، دوی کوم مهارتونه رامینځته کولو ته اړتیا لري او بازار څنګه کار کوي.
د نیټولوژي د مدیرانو څخه
که تاسو د ډیټا انجینر یا ډیټا ساینس پوه مسلک ته ګورئ ، موږ تاسو ته بلنه درکوو چې زموږ د کورس برنامې مطالعه کړئ:
- مسلک "".
- مسلک "".
سرچینه: www.habr.com