د ، د ډیټا انجینر اوس مهال یو مسلک دی چې غوښتنه یې د بل هرچا په پرتله ګړندۍ وده کوي. د ډیټا انجینر په یوه سازمان کې مهم رول لوبوي - د پایپ لاینونو او ډیټابیسونو رامینځته کول او ساتل چې د معلوماتو پروسس کولو ، بدلولو او ذخیره کولو لپاره کارول کیږي. کوم مهارتونه د دې مسلک استازي لومړی اړتیا لري؟ ایا لیست د هغه څه څخه توپیر لري چې د ډیټا ساینس پوهانو ته اړتیا لري؟ تاسو به زما د مقالې څخه د دې ټولو په اړه زده کړئ.
ما د ډیټا انجینر پوسټ لپاره خالي ځایونه تحلیل کړل ځکه چې دوی د جنوري 2020 کې دي ترڅو پوه شي چې کوم ټیکنالوژي مهارتونه خورا مشهور دي. بیا ما پایلې د ډیټا ساینس پوه موقعیت لپاره د خالي ځایونو احصایو سره پرتله کړې - او ځینې په زړه پوري توپیرونه راڅرګند شول.
د ډیرو وړاندیزونو پرته، دلته لس غوره ټیکنالوژي دي چې ډیری وختونه د دندې پوستونو کې یادونه کیږي:
په 2020 کې د ډیټا انجینر پوسټ لپاره په خالي ځایونو کې د ټیکنالوژیو یادونه
راځئ چې سم یې کړو.
د ډیټا انجنیر مسؤلیتونه
نن ورځ، هغه کار چې د ډیټا انجنیران یې کوي د سازمانونو لپاره خورا مهم دی - دا هغه خلک دي چې د معلوماتو ذخیره کولو او داسې بڼه کې یې راوړي چې نور کارمندان ورسره کار کولی شي. د ډیټا انجینران د ډیری سرچینو څخه ډیټا جریان یا بسته کولو لپاره پایپ لاینونه جوړوي. پایپ لاینونه بیا د استخراج، بدلون، او بارولو عملیات ترسره کوي (په بل عبارت، د ETL پروسې)، ډاټا د نورو کارولو لپاره خورا مناسب کوي. له دې وروسته، ډاټا د ژورې پروسس لپاره شنونکو او ډیټا ساینس پوهانو ته سپارل کیږي. په نهایت کې ، ډاټا خپل سفر په ډشبورډونو ، راپورونو ، او د ماشین زده کړې ماډلونو کې پای ته رسوي.
زه د معلوماتو په لټه کې وم چې ما ته اجازه راکړئ چې پایلې راولولم چې دا مهال د ډیټا انجینر په کار کې د کوم ټیکنالوژۍ ډیری غوښتنې دي.
میتودونه
ما د کار لټون د دریو سایټونو څخه معلومات راټول کړل - , и او وګوره چې د متحده ایالاتو د اوسیدونکو په هدف د خالي ځایونو متنونو کې د "ډاټا انجینر" سره په ګډه کې کومې کلیمې راغلې. د دې کار لپاره ما د Python دوه کتابتونونه کارولي - и . د کلیدي کلمو په مینځ کې ، ما دواړه هغه شامل کړل چې په تیرو لیست کې د ډیټا ساینس پوه موقعیت لپاره د خالي ځایونو تحلیل لپاره شامل شوي و ، او هغه چې ما په لاسي ډول د ډیټا انجینرانو لپاره د دندې وړاندیزونو لوستلو پرمهال غوره کړل. LinkedIn د سرچینو په لیست کې شامل نه و، ځکه چې زه د معلوماتو راټولولو لپاره زما د وروستۍ هڅې وروسته منع شوی وم.
د هرې کلیمې لپاره، ما په جلا توګه په هر سایټ کې د متنونو ټولیز شمیر څخه د هټیو فیصده محاسبه کړه، او بیا د دریو سرچینو لپاره اوسط محاسبه کړه.
پایلې
لاندې دېرش تخنیکي ډیټا انجینري شرایط دي چې په ټولو دریو دندو سایټونو کې ترټولو لوړې نمرې لري.
او دلته ورته شمیرې دي، مګر د جدول په بڼه وړاندې شوي:
راځئ چې په ترتیب سره لاړ شو.
د پایلو بیاکتنه
دواړه SQL او Python د بیاکتنې د دندې خلاصولو دوه پر دریمه برخه کې ښکاري. دا دوه ټیکنالوژي دي چې لومړی د مطالعې لپاره معنی لري. د پروګرام کولو یوه خورا مشهوره ژبه ده چې د ډیټا سره کار کولو، ویب پاڼې جوړولو، او سکریپټونو لیکلو لپاره کارول کیږي. د ساختماني پوښتنو ژبه ده؛ پدې کې یو معیار شامل دی چې د ژبې د یوې ډلې لخوا پلي کیږي او د اړوند ډیټابیسونو څخه د معلوماتو ترلاسه کولو لپاره کارول کیږي. دا ډیر وخت دمخه څرګند شوی او ځان یې ثابت کړی چې خورا مقاومت لري.
سپارک شاوخوا نیمایي خالي بستونو کې یادونه شوې. د "یو متحد لوی ډیټا تحلیلي انجن دی چې د سټیمینګ، SQL، ماشین زده کړې، او ګراف پروسس کولو لپاره جوړ شوي ماډلونه لري." دا په ځانګړې توګه د هغو کسانو ترمنځ مشهور دی چې د لوی ډیټابیسونو سره کار کوي.
AWS نږدې 45٪ د دندې پوستونو کې ښکاري. دا د کلاوډ کمپیوټري پلیټ فارم دی چې د ایمیزون لخوا تولید شوی؛ دا د ټولو کلاوډ پلیټ فارمونو په مینځ کې ترټولو لوی بازار ونډه لري.
بیا جاوا او هډوپ راځي - د دوی د ورور لپاره له 40٪ څخه لږ څه. په پراخه کچه ویل کیږي، د جګړې ازموینه شوې ژبه ده د هغو ژبو په منځ کې لسم ځای ورکړل شو چې د پروګرام کونکو ترمنځ وحشت رامنځته کوي. په مقابل کې، Python دویمه ډیره مینه ژبه وه. د جاوا ژبه د اوریکل لخوا پرمخ وړل کیږي ، او هرڅه چې تاسو ورته اړتیا لرئ د دې په اړه پوه شئ د جنوري 2020 راهیسې د رسمي پا pageې دې سکرین شاټ څخه پوهیدلی شئ.
دا د وخت په ماشین کې د سواری په څیر دی
د لوی ډیټا لپاره د سرور کلسترونو سره د MapReduce پروګرام کولو ماډل کاروي. اوس دا ماډل په زیاتیدونکي توګه پریښودل کیږي.
بیا موږ Hive، Scala، Kafka او NoSQL وګورو - د دې ټیکنالوژیو څخه هر یو د سپارل شوي خالي ځایونو په څلورمه برخه کې ذکر شوي. Apache Hive د ډیټا ګودام سافټویر دی چې "د SQL په کارولو سره توزیع شوي پلورنځیو کې میشته لوی ډیټاسیټونه لوستل ، لیکل او اداره کول اسانه کوي." - د پروګرام کولو ژبه چې په فعاله توګه کارول کیږي کله چې د لوی ډیټا سره کار کوي. په ځانګړې توګه، سپارک په سکالا کې رامینځته شوی. د ویره لرونکو ژبو دمخه ذکر شوي درجه بندي کې، سکالا یوولسم ځای لري. - د سټیمینګ پیغامونو پروسس کولو لپاره توزیع شوی پلیټ فارم. د معلوماتو سټینګ کولو وسیلې په توګه خورا مشهور.
ځان د SQL سره توپیر لري. دوی په دې کې توپیر لري چې دوی غیر اړونده، غیر جوړښت شوي، او په افقی ډول د توزیع وړ دي. NoSQL یو څه شهرت ترلاسه کړی ، مګر د لید لپاره لیوالتیا ، حتی د وړاندوینو نقطې ته چې دا به د غالب ذخیره کولو تمثیل په توګه SQL ځای په ځای کړي ، داسې بریښي چې پای ته رسیدلی وي.
د ډیټا ساینس پوهانو خالي ځایونو کې شرایطو سره پرتله کول
دلته د ټیکنالوژۍ دېرش اصطلاحات دي چې د ډیټا ساینس کارمندانو ترمینځ خورا عام دي. ما دا لیست په ورته ډول ترلاسه کړ لکه څنګه چې د ډیټا انجینرۍ لپاره پورته بیان شوي.
په 2020 کې د ډیټا ساینس پوه پوسټ لپاره په خالي ځایونو کې د ټیکنالوژۍ یادونه
که موږ د ټول شمیر په اړه وغږیږو، د پخوا په پرتله د ګمارل شوي ګمارنې په پرتله، 28٪ ډیر خالي بستونه شتون لري (12 د 013 په پرتله). راځئ وګورو چې کوم ټیکنالوژي د ډیټا انجینرانو په پرتله د ډیټا ساینس پوهانو لپاره په خالي ځایونو کې لږ عام دي.
د ډیټا انجینرۍ کې ډیر مشهور
لاندې ګراف د 10٪ څخه ډیر یا د -10٪ څخه کم اوسط توپیر سره کلیدي ټکي ښیې.
د ډیټا انجینر او ډیټا ساینس پوه ترمینځ د کلیدي کلمې فریکونسۍ کې ترټولو لوی توپیر
AWS خورا د پام وړ زیاتوالی ښیې: د ډیټا انجینرۍ کې دا د ډیټا ساینس په پرتله په منظم ډول 25٪ ډیر ښکاري (په ترتیب سره د ټول خالي ځایونو شاوخوا 45٪ او 20٪). توپیر د پام وړ دی!
دلته په یو څه مختلف پریزنټشن کې ورته معلومات شتون لري - په ګراف کې ، د ډیټا انجینر او ډیټا ساینس پوه پوسټ لپاره په خالي ځایونو کې د ورته کلیمې پایلې څنګ په څنګ موقعیت لري.
د ډیټا انجینر او ډیټا ساینس پوه ترمینځ د کلیدي کلمې فریکونسۍ کې ترټولو لوی توپیر
بل لوی کود چې ما یادونه وکړه په سپارک کې وه - د ډیټا انجینر اکثرا د لوی ډیټا سره کار کوي. هم د 20٪ لخوا زیاتوالی موندلی، دا د ډیټا ساینس پوهانو د خالي ځایونو لپاره د پایلو په پرتله نږدې څلور ځله. د ډیټا لیږد د ډیټا انجینر یو له کلیدي مسؤلیتونو څخه دی. په نهایت کې ، د جاوا ، NoSQL ، Redshift ، SQL او Hadoop لپاره د ډیټا انجینرۍ په برخه کې د ذکرونو شمیر 15٪ لوړ و.
د ډیټا انجینرۍ کې لږ مشهور
اوس راځئ وګورو چې کوم ټیکنالوژي د ډیټا انجینر خالي ځایونو کې لږ مشهور دي.
د ډیټا ساینس سکټور په پرتله خورا ګړندی کمښت په کې رامینځته شوی : هلته هغه نږدې 56٪ خالي بستونو کې څرګند شوی ، دلته - یوازې په 17٪ کې. اغېزمن. R د پروګرام کولو ژبه ده چې د ساینس پوهانو او احصایه پوهانو لخوا خوښیږي، او په نړۍ کې اتمه ویره لرونکې ژبه ده.
د ډیټا انجینر پوسټ لپاره په خالي ځایونو کې د پام وړ لږ ځله موندل کیږي - توپیر 14٪ دی. SAS یوه ملکیت ژبه ده چې د احصایې او معلوماتو سره کار کولو لپاره ډیزاین شوې. په زړه پورې ټکی: د پایلو له مخې قضاوت ، دا په دې وروستیو کې ډیره ځمکه له لاسه ورکړې - د نورو ټیکنالوژۍ څخه ډیر.
د ډیټا انجینرۍ او ډیټا ساینس دواړو کې غوښتنې کې
دا باید په یاد ولرئ چې په دواړو سیټونو کې له لومړیو لسو پوستونو څخه اته یو شان دي. SQL، Python، Spark، AWS، Java، Hadoop، Hive او Scala دا د ډیټا انجینرۍ او ډیټا ساینس صنعتونو دواړو لپاره په غوره لسو کې ځای په ځای کړل. په لاندې ګراف کې تاسو کولی شئ د ډیټا انجینر کارمندانو ترمینځ پنځلس خورا مشهور ټیکنالوژي وګورئ ، او د دوی په څنګ کې د ډیټا ساینس پوهانو لپاره د دوی د خالي کولو کچه ده.
سپارښتنې
که تاسو غواړئ د ډیټا انجینرۍ ته لاړشئ ، زه به تاسو ته مشوره درکوم چې لاندې ټیکنالوژیو کې ماسټري وکړئ - زه یې د نږدې لومړیتوبونو په ترتیب سره لیست کوم.
SQL زده کړئ. زه د PostgreSQL په لور تکیه کوم ځکه چې دا خلاص سرچینه ده، په ټولنه کې خورا مشهور، او د ودې په مرحله کې دی. تاسو کولی شئ د My Memorable SQL کتاب څخه د ژبې کارولو څرنګوالی زده کړئ - د دې پیلوټ نسخه شتون لري .
ماسټر پایتون ، حتی که په خورا سخت کچه کې نه وي. زما د یادولو وړ پایتون په ځانګړي ډول د پیل کونکو لپاره ډیزاین شوی. دا په کې اخیستل کیدی شي بریښنایی یا فزیکي کاپي، ستاسو انتخاب، یا په pdf یا epub بڼه ډاونلوډ کړئ .
یوځل چې تاسو د Python سره آشنا شئ ، پانډا ته لاړشئ ، د Python کتابتون چې د معلوماتو پاکولو او پروسس کولو لپاره کارول کیږي. که تاسو په یوه شرکت کې د کار کولو هدف یاست چې په پایتون کې د لیکلو وړتیا ته اړتیا لري (او دا د دوی اکثریت دی) ، تاسو ډاډه اوسئ چې د پانډا پوهه به په ډیفالټ فرض شي. زه اوس مهال د پانډا سره د کار کولو لپاره یو تعارفي لارښود بشپړوم - تاسو کولی شئ ترڅو د خوشې کیدو شیبه له لاسه ورنکړي.
ماسټر AWS. که تاسو غواړئ د ډیټا انجینر شئ ، تاسو نشئ کولی په سټیش کې د کلاوډ پلیټ فارم پرته ترسره کړئ ، او AWS د دوی خورا مشهور دی. کورسونو زما سره ډیره مرسته وکړه کله چې ما زده کړه کوله ، زه فکر کوم چې دوی به په AWS کې ښه توکي هم ولري.
که تاسو دمخه دا ټول لیست بشپړ کړی وي او غواړئ د ډیټا انجینر په توګه د کارمندانو په سترګو کې نور وده وکړئ ، زه وړاندیز کوم د لوی ډیټا سره کار کولو لپاره د اپاچي سپارک اضافه کول. که څه هم د ډیټا ساینس پوهانو خالي ځایونو په اړه زما څیړنې په علاقه کې کمښت ښودلی ، د ډیټا انجینرانو ترمینځ دا لاهم په نږدې هره ثانیه کې څرګندیږي.
په اخري کې
زه امید لرم چې تاسو د ډیټا انجینرانو لپاره د خورا تقاضا ټیکنالوژیو دا کتنه ګټوره موندلې. که تاسو حیران یاست چې د شنونکي دندې څنګه پرمخ ځي، ولولئ . انجینرۍ ته مبارک شه!
سرچینه: www.habr.com