ডেটা ইঞ্জিনিয়ার পেশায় সবচেয়ে বেশি চাহিদা থাকা দক্ষতা

অনুযায়ী পরিসংখ্যান 2019, ডেটা ইঞ্জিনিয়ার বর্তমানে এমন একটি পেশা যার চাহিদা অন্য যেকোনো সময়ের চেয়ে দ্রুত বাড়ছে। একজন ডেটা ইঞ্জিনিয়ার একটি প্রতিষ্ঠানে গুরুত্বপূর্ণ ভূমিকা পালন করে - পাইপলাইন এবং ডেটাবেস তৈরি এবং বজায় রাখা যা ডেটা প্রক্রিয়া, রূপান্তর এবং সংরক্ষণ করতে ব্যবহৃত হয়। এই পেশার প্রতিনিধিদের প্রথমে কী দক্ষতা প্রয়োজন? তালিকা কি তথ্য বিজ্ঞানীদের প্রয়োজন থেকে ভিন্ন? আপনি আমার নিবন্ধ থেকে এই সব সম্পর্কে শিখতে হবে.

কোন প্রযুক্তি দক্ষতা সবচেয়ে জনপ্রিয় তা বোঝার জন্য আমি 2020 সালের জানুয়ারিতে ডেটা ইঞ্জিনিয়ারের পদের জন্য শূন্যপদগুলি বিশ্লেষণ করেছি। তারপরে আমি ডেটা সায়েন্টিস্ট পদের জন্য শূন্যপদের পরিসংখ্যানের সাথে ফলাফলের তুলনা করেছি - এবং কিছু আকর্ষণীয় পার্থক্য দেখা দিয়েছে।

অনেক প্রস্তাবনা ছাড়া, এখানে শীর্ষ দশটি প্রযুক্তি রয়েছে যা প্রায়শই চাকরির পোস্টিংয়ে উল্লেখ করা হয়:

2020 সালে ডেটা ইঞ্জিনিয়ার পদের জন্য শূন্যপদে প্রযুক্তির উল্লেখ

এটি ঠিক করা যাক।

একজন ডেটা ইঞ্জিনিয়ারের দায়িত্ব

আজ, ডেটা ইঞ্জিনিয়াররা যে কাজগুলি করে তা সংস্থাগুলির জন্য অত্যন্ত গুরুত্বপূর্ণ - এই লোকেরাই যারা তথ্য সংরক্ষণ এবং এটিকে এমন একটি ফর্মে নিয়ে আসার জন্য দায়ী যাতে অন্যান্য কর্মীরা এটির সাথে কাজ করতে পারে। ডেটা ইঞ্জিনিয়াররা একাধিক উত্স থেকে ডেটা স্ট্রিম বা ব্যাচ করার জন্য পাইপলাইন তৈরি করে। পাইপলাইনগুলি তারপর নিষ্কাশন, রূপান্তর এবং লোডিং অপারেশনগুলি (অন্য কথায়, ETL প্রক্রিয়াগুলি) সম্পাদন করে, যা ডেটাকে আরও ব্যবহারের জন্য আরও উপযুক্ত করে তোলে। এর পরে, ডেটা গভীর প্রক্রিয়াকরণের জন্য বিশ্লেষক এবং ডেটা বিজ্ঞানীদের কাছে জমা দেওয়া হয়। অবশেষে, ডেটা ড্যাশবোর্ড, রিপোর্ট এবং মেশিন লার্নিং মডেলে তার যাত্রা শেষ করে।

আমি এমন তথ্য খুঁজছিলাম যা আমাকে এই মুহুর্তে ডেটা ইঞ্জিনিয়ারের কাজে কোন প্রযুক্তির চাহিদা সবচেয়ে বেশি সে সম্পর্কে একটি উপসংহার টানতে দেয়।

পদ্ধতি

আমি তিনটি কাজের অনুসন্ধান সাইট থেকে তথ্য সংগ্রহ করেছি - SimplyHired, প্রকৃতপক্ষে и দৈত্য এবং মার্কিন বাসিন্দাদের লক্ষ্য করে খালি পদের পাঠ্যগুলিতে "ডেটা ইঞ্জিনিয়ার" এর সাথে কী কীওয়ার্ডগুলি এসেছে তা দেখেছি। এই কাজের জন্য আমি দুটি পাইথন লাইব্রেরি ব্যবহার করেছি - অনুরোধ и সুন্দর স্যুপ. কীওয়ার্ডগুলির মধ্যে, ডেটা সায়েন্টিস্টের পদের জন্য শূন্যপদ বিশ্লেষণ করার জন্য আগের তালিকায় যেগুলি অন্তর্ভুক্ত ছিল এবং ডেটা ইঞ্জিনিয়ারদের চাকরির অফার পড়ার সময় আমি নিজে যেগুলি বেছে নিয়েছিলাম সেগুলিকে আমি অন্তর্ভুক্ত করেছি৷ লিঙ্কডইনকে উৎসের তালিকায় অন্তর্ভুক্ত করা হয়নি, যেহেতু আমার শেষ ডেটা সংগ্রহ করার চেষ্টা করার পরে সেখানে আমাকে নিষিদ্ধ করা হয়েছিল।

প্রতিটি কীওয়ার্ডের জন্য, আমি আলাদাভাবে প্রতিটি সাইটের মোট পাঠ্য সংখ্যা থেকে হিটের শতাংশ গণনা করেছি, এবং তারপর তিনটি উৎসের গড় গণনা করেছি।

Результаты

নীচে ত্রিশটি প্রযুক্তিগত ডেটা ইঞ্জিনিয়ারিং পদ রয়েছে যেখানে তিনটি চাকরির সাইটে সর্বোচ্চ স্কোর রয়েছে।

এবং এখানে একই সংখ্যা, কিন্তু টেবিল আকারে উপস্থাপিত:

এর ক্রমানুযায়ী যান.

ফলাফল পর্যালোচনা

SQL এবং Python উভয়ই দুই-তৃতীয়াংশেরও বেশি চাকরির রিভিউতে দেখা যায়। এটি এই দুটি প্রযুক্তি যা প্রথমে অধ্যয়ন করার অর্থ করে। পাইথন ডেটা নিয়ে কাজ করা, ওয়েবসাইট তৈরি করা এবং স্ক্রিপ্ট লেখার জন্য ব্যবহৃত একটি খুব জনপ্রিয় প্রোগ্রামিং ভাষা। এসকিউএল স্ট্রাকচার্ড কোয়েরি ল্যাঙ্গুয়েজ মানে; এটি ভাষার একটি গ্রুপ দ্বারা বাস্তবায়িত একটি মান জড়িত এবং রিলেশনাল ডাটাবেস থেকে ডেটা পুনরুদ্ধার করতে ব্যবহৃত হয়। এটি অনেক আগে উপস্থিত হয়েছিল এবং নিজেকে অত্যন্ত প্রতিরোধী বলে প্রমাণ করেছে।

প্রায় অর্ধেক শূন্যপদে স্পার্ক উল্লেখ করা হয়েছে। আপা স্পার্ক স্ট্রিমিং, এসকিউএল, মেশিন লার্নিং এবং গ্রাফ প্রসেসিংয়ের জন্য অন্তর্নির্মিত মডিউল সহ একটি "ইউনিফায়েড বিগ ডেটা অ্যানালিটিক্স ইঞ্জিন।" যারা বড় ডাটাবেস নিয়ে কাজ করেন তাদের মধ্যে এটি বিশেষভাবে জনপ্রিয়।

AWS প্রায় 45% চাকরির পোস্টিংয়ে উপস্থিত হয়। এটি আমাজন দ্বারা নির্মিত একটি ক্লাউড কম্পিউটিং প্ল্যাটফর্ম; সমস্ত ক্লাউড প্ল্যাটফর্মের মধ্যে এটির সবচেয়ে বেশি মার্কেট শেয়ার রয়েছে।
এরপরে আসে জাভা এবং হাদুপ - তাদের ভাইয়ের জন্য 40% এর একটু বেশি। জাভা একটি ব্যাপকভাবে কথ্য, যুদ্ধ-পরীক্ষিত ভাষা 2019 স্ট্যাক ওভারফ্লো বিকাশকারী সমীক্ষা প্রোগ্রামারদের মধ্যে আতঙ্ক সৃষ্টিকারী ভাষাগুলির মধ্যে দশম স্থান পেয়েছে। বিপরীতে, পাইথন ছিল দ্বিতীয় সর্বাধিক প্রিয় ভাষা। জাভা ভাষা ওরাকল দ্বারা চালিত হয় এবং এটি সম্পর্কে আপনার যা কিছু জানা দরকার তা জানুয়ারী 2020 থেকে অফিসিয়াল পেজের এই স্ক্রিনশট থেকে বোঝা যাবে।

এটা একটা টাইম মেশিনে চড়ার মত
অ্যাপাচি হাদুপ বড় ডেটার জন্য সার্ভার ক্লাস্টার সহ MapReduce প্রোগ্রামিং মডেল ব্যবহার করে। এখন এই মডেল ক্রমবর্ধমান পরিত্যক্ত করা হচ্ছে.

তারপরে আমরা Hive, Scala, Kafka এবং NoSQL দেখি - এই প্রযুক্তিগুলির প্রতিটি জমা দেওয়া শূন্যপদগুলির এক চতুর্থাংশে উল্লেখ করা হয়েছে। Apache Hive হল একটি ডেটা গুদামঘর সফ্টওয়্যার যা "এসকিউএল ব্যবহার করে বিতরণ করা স্টোরগুলিতে থাকা বড় ডেটাসেটগুলি পড়া, লিখতে এবং পরিচালনা করা সহজ করে তোলে।" scala - একটি প্রোগ্রামিং ভাষা যা বড় ডেটা নিয়ে কাজ করার সময় সক্রিয়ভাবে ব্যবহৃত হয়। বিশেষ করে স্কালায় স্পার্ক তৈরি হয়েছিল। ভয়ঙ্কর ভাষাগুলির ইতিমধ্যে উল্লিখিত র‌্যাঙ্কিংয়ে, স্কালা একাদশ স্থানে রয়েছে। আপাচি কাফকা - স্ট্রিমিং বার্তা প্রক্রিয়াকরণের জন্য একটি বিতরণ প্ল্যাটফর্ম। ডাটা স্ট্রিমিং এর মাধ্যম হিসেবে খুবই জনপ্রিয়।

NoSQL ডাটাবেস এসকিউএল সঙ্গে নিজেদের বৈসাদৃশ্য. তারা আলাদা যে তারা অ-সম্পর্কহীন, কাঠামোবিহীন এবং অনুভূমিকভাবে মাপযোগ্য। NoSQL কিছু জনপ্রিয়তা অর্জন করেছে, কিন্তু পদ্ধতির উন্মাদনা, এমনকি ভবিষ্যদ্বাণী পর্যন্ত যে এটি এসকিউএল-কে প্রভাবশালী স্টোরেজ প্যারাডাইম হিসাবে প্রতিস্থাপন করবে, শেষ হয়ে গেছে বলে মনে হচ্ছে।

ডেটা সায়েন্টিস্টের শূন্যপদে পদের সাথে তুলনা

এখানে তথ্য বিজ্ঞান নিয়োগকারীদের মধ্যে ত্রিশটি প্রযুক্তি পদ সবচেয়ে সাধারণ। ডেটা ইঞ্জিনিয়ারিংয়ের জন্য উপরে বর্ণিত হিসাবে আমি এই তালিকাটি একইভাবে পেয়েছি।

2020 সালে ডেটা সায়েন্টিস্ট পদের জন্য শূন্যপদে প্রযুক্তির উল্লেখ

যদি আমরা মোট সংখ্যা সম্পর্কে কথা বলি, পূর্বে বিবেচনা করা নিয়োগের তুলনায়, সেখানে 28% বেশি শূন্যপদ ছিল (12 বনাম 013)। আসুন দেখে নেওয়া যাক ডেটা ইঞ্জিনিয়ারদের তুলনায় ডেটা বিজ্ঞানীদের শূন্যপদে কোন প্রযুক্তি কম সাধারণ।

ডেটা ইঞ্জিনিয়ারিংয়ে আরও জনপ্রিয়

নীচের গ্রাফটি 10%-এর বেশি বা -10%-এর কম গড় পার্থক্য সহ কীওয়ার্ডগুলি দেখায়৷

ডেটা ইঞ্জিনিয়ার এবং ডেটা সায়েন্টিস্টের মধ্যে কীওয়ার্ড ফ্রিকোয়েন্সির সবচেয়ে বড় পার্থক্য

AWS সবচেয়ে উল্লেখযোগ্য বৃদ্ধি দেখায়: ডেটা ইঞ্জিনিয়ারিংয়ে এটি ডেটা সায়েন্সের তুলনায় নিয়মিতভাবে 25% বেশি দেখা যায় (যথাক্রমে মোট শূন্যপদ সংখ্যার প্রায় 45% এবং 20%)। পার্থক্য লক্ষণীয়!

এখানে কিছুটা ভিন্ন উপস্থাপনায় একই ডেটা রয়েছে - গ্রাফে, ডেটা ইঞ্জিনিয়ার এবং ডেটা সায়েন্টিস্ট পদের শূন্যপদগুলিতে একই কীওয়ার্ডের ফলাফল পাশাপাশি রয়েছে।

ডেটা ইঞ্জিনিয়ার এবং ডেটা সায়েন্টিস্টের মধ্যে কীওয়ার্ড ফ্রিকোয়েন্সির সবচেয়ে বড় পার্থক্য

পরবর্তী বৃহত্তম লাফটি আমি উল্লেখ করেছি স্পার্ক-এ - একজন ডেটা ইঞ্জিনিয়ারকে প্রায়শই বড় ডেটা নিয়ে কাজ করতে হয়। কাফকা এছাড়াও 20% বৃদ্ধি পেয়েছে, অর্থাৎ, ডেটা সায়েন্টিস্ট শূন্যপদগুলির ফলাফলের তুলনায় প্রায় চার গুণ। ডেটা ট্রান্সফার করা একজন ডাটা ইঞ্জিনিয়ারের অন্যতম প্রধান দায়িত্ব। অবশেষে, জাভা, NoSQL, Redshift, SQL এবং Hadoop-এর ডেটা ইঞ্জিনিয়ারিং ক্ষেত্রে উল্লেখের সংখ্যা 15% বেশি ছিল।

ডেটা ইঞ্জিনিয়ারিংয়ে কম জনপ্রিয়

এখন দেখা যাক ডেটা ইঞ্জিনিয়ার শূন্য পদে কোন প্রযুক্তি কম জনপ্রিয়।
ডাটা সায়েন্স সেক্টরের তুলনায় সবচেয়ে তীব্র পতন ঘটেছিল ২০০৯ সালে R: সেখানে তিনি প্রায় 56% শূন্যপদে উপস্থিত হয়েছেন, এখানে - মাত্র 17%। চিত্তাকর্ষক। R হল একটি প্রোগ্রামিং ভাষা যা বিজ্ঞানী এবং পরিসংখ্যানবিদদের পছন্দ, এবং এটি বিশ্বের অষ্টম ভয়ঙ্কর ভাষা।

করা SAS ডেটা ইঞ্জিনিয়ারের পদের জন্য শূন্যপদগুলিতে উল্লেখযোগ্যভাবে কম প্রায়ই পাওয়া যায় - পার্থক্যটি 14%। SAS হল একটি মালিকানাধীন ভাষা যা পরিসংখ্যান এবং ডেটা নিয়ে কাজ করার জন্য ডিজাইন করা হয়েছে। আকর্ষণীয় পয়েন্ট: ফলাফল দ্বারা বিচার ডেটা সায়েন্টিস্টদের জন্য চাকরির সুযোগ নিয়ে আমার গবেষণা, এটি সম্প্রতি অনেক স্থল হারিয়েছে - অন্য যেকোনো প্রযুক্তির চেয়ে বেশি।

ডেটা ইঞ্জিনিয়ারিং এবং ডেটা সায়েন্স উভয় ক্ষেত্রেই চাহিদা রয়েছে

উল্লেখ্য যে উভয় সেটের প্রথম দশটির মধ্যে আটটিই একই। SQL, Python, Spark, AWS, Java, Hadoop, Hive এবং Scala ডেটা ইঞ্জিনিয়ারিং এবং ডেটা সায়েন্স ইন্ডাস্ট্রির জন্য সেরা দশে জায়গা করে নিয়েছে। নীচের গ্রাফে আপনি ডেটা ইঞ্জিনিয়ার নিয়োগকারীদের মধ্যে পনেরটি সবচেয়ে জনপ্রিয় প্রযুক্তি দেখতে পারেন এবং তাদের পাশেই ডেটা বিজ্ঞানীদের জন্য তাদের শূন্যতার হার।

সুপারিশ

আপনি যদি ডেটা ইঞ্জিনিয়ারিংয়ে যেতে চান তবে আমি আপনাকে নিম্নলিখিত প্রযুক্তিগুলি আয়ত্ত করার পরামর্শ দেব - আমি সেগুলিকে আনুমানিক অগ্রাধিকার অনুসারে তালিকাভুক্ত করি৷

এসকিউএল শিখুন। আমি PostgreSQL এর দিকে ঝুঁকছি কারণ এটি ওপেন সোর্স, সম্প্রদায়ে খুব জনপ্রিয় এবং এটি একটি বৃদ্ধির পর্যায়ে রয়েছে। আপনি My Memorable SQL বই থেকে ভাষাটি কীভাবে ব্যবহার করবেন তা শিখতে পারেন - এর পাইলট সংস্করণ উপলব্ধ এখানে.

সবচেয়ে হার্ডকোর পর্যায়ে না হলেও মাস্টার পাইথন। আমার স্মরণীয় পাইথন নতুনদের জন্য বিশেষভাবে ডিজাইন করা হয়েছে। এটা কেনা যাবে মর্দানী স্ত্রীলোক, ইলেকট্রনিক বা ফিজিক্যাল কপি, আপনার পছন্দ, অথবা pdf বা epub ফরম্যাটে ডাউনলোড করুন এই সাইটে.

একবার আপনি পাইথনের সাথে পরিচিত হয়ে গেলে, পান্ডাসে যান, একটি পাইথন লাইব্রেরি যা ডেটা পরিষ্কার এবং প্রক্রিয়াকরণের জন্য ব্যবহৃত হয়। আপনি যদি এমন একটি কোম্পানিতে কাজ করার লক্ষ্য নিয়ে থাকেন যার জন্য পাইথনে লেখার ক্ষমতা প্রয়োজন (এবং এটি তাদের বেশিরভাগ), আপনি নিশ্চিত হতে পারেন যে ডিফল্টরূপে পান্ডাদের জ্ঞান ধরে নেওয়া হবে। আমি বর্তমানে পান্ডাদের সাথে কাজ করার জন্য একটি পরিচায়ক নির্দেশিকা শেষ করছি - আপনি করতে পারেন সাবস্ক্রাইবযাতে মুক্তির মুহূর্তটি মিস না হয়।

মাস্টার AWS. আপনি যদি ডেটা ইঞ্জিনিয়ার হতে চান তবে আপনি স্ট্যাশে ক্লাউড প্ল্যাটফর্ম ছাড়া করতে পারবেন না এবং AWS তাদের মধ্যে সবচেয়ে জনপ্রিয়। কোর্সগুলো আমাকে অনেক সাহায্য করেছে লিনাক্স একাডেমিযখন আমি পড়াশোনা করতাম গুগল ক্লাউডে ডেটা ইঞ্জিনিয়ারিং, আমি মনে করি যে তারা AWS এ ভাল উপকরণও থাকবে।

আপনি যদি ইতিমধ্যে এই সম্পূর্ণ তালিকাটি সম্পন্ন করে থাকেন এবং একজন ডেটা ইঞ্জিনিয়ার হিসাবে নিয়োগকর্তাদের দৃষ্টিতে আরও বাড়তে চান, তাহলে আমি বড় ডেটা নিয়ে কাজ করার জন্য Apache Spark যোগ করার পরামর্শ দিচ্ছি। যদিও ডেটা সায়েন্টিস্টের শূন্যপদের উপর আমার গবেষণায় আগ্রহ কমে গেছে, ডেটা ইঞ্জিনিয়ারদের মধ্যে এটি এখনও প্রায় প্রতি সেকেন্ডের শূন্যপদে দেখা যায়।

শেষ পর্যন্ত

আমি আশা করি আপনি ডেটা ইঞ্জিনিয়ারদের জন্য সবচেয়ে বেশি চাহিদার প্রযুক্তির এই ওভারভিউটি দরকারী খুঁজে পেয়েছেন। আপনি যদি ভাবছেন যে বিশ্লেষকের চাকরি কীভাবে চলছে, পড়ুন আমার অন্য নিবন্ধ. হ্যাপি ইঞ্জিনিয়ারিং!

উত্স: www.habr.com