ডেটা ইঞ্জিনিয়ার এবং ডেটা সায়েন্টিস্ট: পার্থক্য কী?

ডেটা সায়েন্টিস্ট এবং ডেটা ইঞ্জিনিয়ারের পেশাগুলি প্রায়শই বিভ্রান্ত হয়। প্রতিটি কোম্পানির ডেটা নিয়ে কাজ করার নিজস্ব বৈশিষ্ট্য, তাদের বিশ্লেষণের জন্য বিভিন্ন উদ্দেশ্য এবং কোন বিশেষজ্ঞের কাজের কোন অংশটি মোকাবেলা করা উচিত সে সম্পর্কে একটি ভিন্ন ধারণা রয়েছে, তাই প্রত্যেকটির নিজস্ব প্রয়োজনীয়তা রয়েছে। 

আসুন এই বিশেষজ্ঞদের মধ্যে পার্থক্য কী, তারা কোন ব্যবসায়িক সমস্যাগুলি সমাধান করে, তাদের কী দক্ষতা রয়েছে এবং তারা কত উপার্জন করে তা খুঁজে বের করুন। উপাদানটি বড় হয়ে উঠেছে, তাই আমরা এটিকে দুটি প্রকাশনায় বিভক্ত করেছি।

প্রথম নিবন্ধে, এলেনা গেরাসিমোভা, অনুষদের প্রধান "তথ্য বিজ্ঞান এবং বিশ্লেষণ"নেটোলজিতে, একজন ডেটা সায়েন্টিস্ট এবং একজন ডেটা ইঞ্জিনিয়ারের মধ্যে পার্থক্য কী এবং তারা কোন সরঞ্জামগুলির সাথে কাজ করে তা বলে।

প্রকৌশলী এবং বিজ্ঞানীদের ভূমিকা কীভাবে আলাদা

একজন ডেটা ইঞ্জিনিয়ার হলেন একজন বিশেষজ্ঞ যিনি একদিকে, ডেটা অবকাঠামো বিকাশ, পরীক্ষা এবং রক্ষণাবেক্ষণ করেন: ডাটাবেস, স্টোরেজ এবং ভর প্রক্রিয়াকরণ সিস্টেম। অন্যদিকে, এটি সেই ব্যক্তি যিনি বিশ্লেষক এবং ডেটা বিজ্ঞানীদের দ্বারা ব্যবহারের জন্য ডেটা পরিষ্কার এবং "ঝুঁটি" করেন, অর্থাৎ ডেটা প্রসেসিং পাইপলাইন তৈরি করেন।

ডেটা সায়েন্টিস্ট মেশিন লার্নিং অ্যালগরিদম এবং নিউরাল নেটওয়ার্কগুলি ব্যবহার করে ভবিষ্যদ্বাণীমূলক (এবং অন্যান্য) মডেল তৈরি করে এবং প্রশিক্ষণ দেয়, ব্যবসাগুলিকে লুকানো নিদর্শনগুলি খুঁজে পেতে, বিকাশের পূর্বাভাস দিতে এবং মূল ব্যবসায়িক প্রক্রিয়াগুলিকে অপ্টিমাইজ করতে সহায়তা করে৷

একজন ডেটা সায়েন্টিস্ট এবং ডেটা ইঞ্জিনিয়ারের মধ্যে প্রধান পার্থক্য হল যে তাদের সাধারণত বিভিন্ন লক্ষ্য থাকে। উভয়ই ডেটা অ্যাক্সেসযোগ্য এবং উচ্চ মানের নিশ্চিত করতে কাজ করে। কিন্তু একজন ডেটা সায়েন্টিস্ট তার প্রশ্নের উত্তর খুঁজে পান এবং ডেটা ইকোসিস্টেমে অনুমান পরীক্ষা করেন (উদাহরণস্বরূপ, হ্যাডুপের উপর ভিত্তি করে), এবং একজন ডেটা ইঞ্জিনিয়ার একই মধ্যে একটি স্পার্ক ক্লাস্টারে একজন ডেটা বিজ্ঞানী দ্বারা লেখা একটি মেশিন লার্নিং অ্যালগরিদম পরিষেবা দেওয়ার জন্য একটি পাইপলাইন তৈরি করেন। বাস্তুতন্ত্র 

একজন ডেটা ইঞ্জিনিয়ার একটি দলের অংশ হিসাবে কাজ করার মাধ্যমে একটি ব্যবসায় মূল্য নিয়ে আসে। এর কাজ হল বিভিন্ন অংশগ্রহণকারীদের মধ্যে একটি গুরুত্বপূর্ণ যোগসূত্র হিসেবে কাজ করা: ডেভেলপার থেকে শুরু করে রিপোর্টিং এর ব্যবসায়িক ভোক্তা, এবং বিপণন এবং পণ্য থেকে বিআই পর্যন্ত বিশ্লেষকদের উৎপাদনশীলতা বৃদ্ধি করা। 

বিপরীতে, একজন ডেটা সায়েন্টিস্ট কোম্পানির কৌশল এবং অন্তর্দৃষ্টি আহরণ, সিদ্ধান্ত নেওয়া, অটোমেশন অ্যালগরিদম বাস্তবায়ন, মডেলিং এবং ডেটা থেকে মান তৈরিতে সক্রিয় অংশ নেয়।


ডেটা নিয়ে কাজ করা GIGO (গার্বেজ ইন - গার্বেজ আউট) নীতির সাপেক্ষে: যদি বিশ্লেষক এবং ডেটা বিজ্ঞানীরা অপ্রস্তুত এবং সম্ভাব্যভাবে ভুল ডেটা নিয়ে কাজ করেন, তাহলে সবচেয়ে পরিশীলিত বিশ্লেষণ অ্যালগরিদম ব্যবহার করেও ফলাফলগুলি ভুল হবে৷ 

ডেটা ইঞ্জিনিয়াররা ডেটা প্রক্রিয়াকরণ, পরিষ্কার এবং রূপান্তর করার জন্য পাইপলাইন তৈরি করে এবং ডেটা বিজ্ঞানীদের উচ্চ-মানের ডেটা নিয়ে কাজ করার অনুমতি দিয়ে এই সমস্যার সমাধান করে। 

ডেটা নিয়ে কাজ করার জন্য বাজারে অনেকগুলি সরঞ্জাম রয়েছে যা প্রতিটি পর্যায়কে কভার করে: ডেটার উপস্থিতি থেকে আউটপুট পর্যন্ত পরিচালক বোর্ডের জন্য একটি ড্যাশবোর্ড পর্যন্ত৷ এবং এটি গুরুত্বপূর্ণ যে সেগুলি ব্যবহার করার সিদ্ধান্ত একজন প্রকৌশলী দ্বারা নেওয়া হয় - কারণ এটি ফ্যাশনেবল নয়, তবে সে প্রক্রিয়ায় অন্যান্য অংশগ্রহণকারীদের কাজকে সত্যই সাহায্য করবে। 

প্রচলিতভাবে: যদি কোনো কোম্পানিকে BI এবং ETL-এর মধ্যে সংযোগ স্থাপন করতে হয় - ডেটা লোড করা এবং রিপোর্ট আপডেট করা, এখানে একটি সাধারণ লিগ্যাসি ফাউন্ডেশন রয়েছে যা একজন ডেটা ইঞ্জিনিয়ারকে মোকাবেলা করতে হবে (এটি ভাল যদি দলে একজন স্থপতিও থাকে)।

একজন ডেটা ইঞ্জিনিয়ারের দায়িত্ব

• ডেটা প্রসেসিং অবকাঠামোর উন্নয়ন, নির্মাণ এবং রক্ষণাবেক্ষণ।
• ত্রুটিগুলি পরিচালনা করা এবং নির্ভরযোগ্য ডেটা প্রক্রিয়াকরণ পাইপলাইন তৈরি করা।
• বিশ্লেষকদের কাজের জন্য প্রয়োজনীয় ফর্মে বিভিন্ন গতিশীল উত্স থেকে অসংগঠিত ডেটা আনা।
• ডেটা ধারাবাহিকতা এবং গুণমান উন্নত করার জন্য সুপারিশ প্রদান করা।
• ডেটা বিজ্ঞানী এবং ডেটা বিশ্লেষকদের দ্বারা ব্যবহৃত ডেটা আর্কিটেকচার সরবরাহ করা এবং বজায় রাখা।
• দশ বা শত শত সার্ভারের বিতরণ করা ক্লাস্টারে ধারাবাহিকভাবে এবং দক্ষতার সাথে ডেটা প্রক্রিয়া এবং সংরক্ষণ করুন।
• সহজ কিন্তু মজবুত আর্কিটেকচার তৈরি করতে টুলগুলির প্রযুক্তিগত ট্রেড-অফগুলি মূল্যায়ন করুন যা ব্যাঘাত থেকে বাঁচতে পারে।
• ডেটা প্রবাহ এবং সম্পর্কিত সিস্টেমগুলির নিয়ন্ত্রণ এবং সমর্থন (মনিটরিং এবং সতর্কতা সেট আপ করা)।

ডেটা ইঞ্জিনিয়ার ট্রাজেক্টোরির মধ্যে আরেকটি বিশেষত্ব রয়েছে - এমএল ইঞ্জিনিয়ার। সংক্ষেপে, এই প্রকৌশলীরা মেশিন লার্নিং মডেলগুলিকে শিল্প বাস্তবায়ন এবং ব্যবহারে আনতে বিশেষজ্ঞ। প্রায়শই, ডেটা বিজ্ঞানীর কাছ থেকে প্রাপ্ত একটি মডেল একটি গবেষণার অংশ এবং যুদ্ধের পরিস্থিতিতে কাজ নাও করতে পারে।

একজন ডেটা সায়েন্টিস্টের দায়িত্ব

• মেশিন লার্নিং অ্যালগরিদম প্রয়োগ করতে ডেটা থেকে বৈশিষ্ট্যগুলি বের করা।
• ভবিষ্যদ্বাণী করতে এবং ডেটাতে প্যাটার্ন শ্রেণীবদ্ধ করতে বিভিন্ন মেশিন লার্নিং টুল ব্যবহার করে।
• সূক্ষ্ম-টিউনিং এবং অ্যালগরিদম অপ্টিমাইজ করে মেশিন লার্নিং অ্যালগরিদমগুলির কার্যকারিতা এবং নির্ভুলতা উন্নত করা।
• কোম্পানির কৌশল অনুসারে "শক্তিশালী" হাইপোথিসিস গঠন করা যা পরীক্ষা করা দরকার।

ডেটা ইঞ্জিনিয়ার এবং ডেটা সায়েন্টিস্ট উভয়ই একটি ডেটা সংস্কৃতির বিকাশে একটি বাস্তব অবদান শেয়ার করে, যার মাধ্যমে একটি কোম্পানি অতিরিক্ত মুনাফা তৈরি করতে পারে বা খরচ কমাতে পারে।

প্রকৌশলী এবং বিজ্ঞানীরা কোন ভাষা এবং সরঞ্জাম নিয়ে কাজ করেন?

আজ, ডেটা বিজ্ঞানীদের প্রত্যাশা পরিবর্তিত হয়েছে। পূর্বে, ইঞ্জিনিয়াররা বড় এসকিউএল কোয়েরি সংগ্রহ করতেন, ম্যাপরিডুস ম্যানুয়ালি লিখতেন এবং ইনফরম্যাটিকা ইটিএল, পেন্টাহো ইটিএল, ট্যালেন্ডের মতো টুল ব্যবহার করে ডেটা প্রসেস করতেন। 

2020 সালে, একজন বিশেষজ্ঞ পাইথন এবং আধুনিক গণনার সরঞ্জামগুলি (উদাহরণস্বরূপ, এয়ারফ্লো), ক্লাউড প্ল্যাটফর্মগুলির সাথে কাজ করার নীতিগুলি বোঝা (নিরাপত্তা নীতিগুলি পর্যবেক্ষণ করার সময় হার্ডওয়্যারে সংরক্ষণ করার জন্য সেগুলি ব্যবহার করে) জ্ঞান ছাড়া করতে পারবেন না।

SAP, Oracle, MySQL, Redis হল বড় কোম্পানীর ডেটা ইঞ্জিনিয়ারদের ঐতিহ্যবাহী টুল। তারা ভাল, কিন্তু লাইসেন্সের খরচ এত বেশি যে তাদের সাথে কাজ করা শেখার অর্থ শুধুমাত্র শিল্প প্রকল্পে। একই সময়ে, পোস্টগ্রেসের আকারে একটি বিনামূল্যের বিকল্প রয়েছে - এটি বিনামূল্যে এবং শুধুমাত্র প্রশিক্ষণের জন্য উপযুক্ত নয়। 

ঐতিহাসিকভাবে, জাভা এবং স্কালার জন্য অনুরোধগুলি প্রায়ই পাওয়া যায়, যদিও প্রযুক্তি এবং পদ্ধতির বিকাশের সাথে সাথে এই ভাষাগুলি পটভূমিতে বিবর্ণ হয়ে যায়।

যাইহোক, হার্ডকোর বিগডেটা: হ্যাডুপ, স্পার্ক এবং চিড়িয়াখানার বাকি অংশগুলি আর ডেটা ইঞ্জিনিয়ারের জন্য পূর্বশর্ত নয়, তবে সমস্যাগুলি সমাধানের জন্য এক ধরণের সরঞ্জাম যা ঐতিহ্যগত ETL দ্বারা সমাধান করা যায় না। 

প্রবণতা হল সেগুলি যে ভাষাতে লেখা হয়েছে সে ভাষা না জেনেই সরঞ্জামগুলি ব্যবহার করার পরিষেবা (উদাহরণস্বরূপ, জাভা সম্পর্কে জ্ঞান ছাড়াই হ্যাডুপ), সেইসাথে স্ট্রিমিং ডেটা প্রক্রিয়াকরণের জন্য তৈরি পরিষেবার বিধান (ভয়েস রিকগনিশন বা ভিডিওতে চিত্র স্বীকৃতি )

SAS এবং SPSS-এর শিল্প সমাধানগুলি জনপ্রিয়, অন্যদিকে Tableau, Rapidminer, Stata এবং Julia এছাড়াও স্থানীয় কাজের জন্য ডেটা বিজ্ঞানীদের দ্বারা ব্যাপকভাবে ব্যবহৃত হয়।

পাইপলাইন তৈরি করার ক্ষমতা বিশ্লেষক এবং ডেটা বিজ্ঞানীদের কাছে মাত্র কয়েক বছর আগে উপস্থিত হয়েছিল: উদাহরণস্বরূপ, তুলনামূলকভাবে সহজ স্ক্রিপ্ট ব্যবহার করে পোস্টগ্রেএসকিউএল-ভিত্তিক স্টোরেজে ডেটা পাঠানো ইতিমধ্যেই সম্ভব। 

সাধারণত, পাইপলাইন এবং সমন্বিত ডেটা স্ট্রাকচারের ব্যবহার ডেটা ইঞ্জিনিয়ারদের দায়িত্ব থেকে যায়। কিন্তু আজ, সংশ্লিষ্ট ক্ষেত্রে বিস্তৃত দক্ষতার সাথে টি-আকৃতির বিশেষজ্ঞদের প্রবণতা আগের চেয়ে শক্তিশালী, কারণ সরঞ্জামগুলি ক্রমাগত সরলীকৃত হচ্ছে।

কেন ডেটা ইঞ্জিনিয়ার এবং ডেটা সায়েন্টিস্ট একসাথে কাজ করে

প্রকৌশলীদের সাথে ঘনিষ্ঠভাবে কাজ করার মাধ্যমে, ডেটা বিজ্ঞানীরা গবেষণার দিকে মনোনিবেশ করতে পারেন, উৎপাদন-প্রস্তুত মেশিন লার্নিং অ্যালগরিদম তৈরি করতে পারেন।
এবং প্রকৌশলীদের স্কেলেবিলিটি, ডেটা পুনঃব্যবহার এবং প্রতিটি পৃথক প্রকল্পে ডেটা ইনপুট এবং আউটপুট পাইপলাইনগুলি গ্লোবাল আর্কিটেকচারের সাথে মেনে চলা নিশ্চিত করার উপর ফোকাস করতে হবে।

দায়িত্বের এই বিচ্ছেদ বিভিন্ন মেশিন লার্নিং প্রকল্পে কাজ করা দলগুলির মধ্যে ধারাবাহিকতা নিশ্চিত করে। 

সহযোগিতা দক্ষতার সাথে নতুন পণ্য তৈরি করতে সাহায্য করে। প্রত্যেকের জন্য একটি পরিষেবা তৈরি করা (গ্লোবাল স্টোরেজ বা ড্যাশবোর্ডের একীকরণ) এবং প্রতিটি নির্দিষ্ট প্রয়োজন বা প্রকল্প বাস্তবায়নের মধ্যে ভারসাম্যের মাধ্যমে গতি এবং গুণমান অর্জন করা হয় (অতি বিশেষায়িত পাইপলাইন, বাহ্যিক উত্স সংযোগ)। 

ডেটা বিজ্ঞানী এবং বিশ্লেষকদের সাথে ঘনিষ্ঠভাবে কাজ করা ইঞ্জিনিয়ারদের আরও ভাল কোড লেখার জন্য বিশ্লেষণাত্মক এবং গবেষণা দক্ষতা বিকাশে সহায়তা করে। গুদাম এবং ডেটা লেক ব্যবহারকারীদের মধ্যে জ্ঞান ভাগাভাগি উন্নত করে, প্রকল্পগুলিকে আরও চটপটে করে তোলে এবং আরও টেকসই দীর্ঘমেয়াদী ফলাফল প্রদান করে।

যে সংস্থাগুলি ডেটা নিয়ে কাজ করার সংস্কৃতি বিকাশের লক্ষ্য রাখে এবং তাদের উপর ভিত্তি করে ব্যবসায়িক প্রক্রিয়া তৈরি করে, ডেটা সায়েন্টিস্ট এবং ডেটা ইঞ্জিনিয়ার একে অপরের পরিপূরক এবং একটি সম্পূর্ণ ডেটা বিশ্লেষণ সিস্টেম তৈরি করে। 

পরবর্তী নিবন্ধে আমরা একজন ডেটা ইঞ্জিনিয়ার এবং ডেটা সায়েন্টিস্টদের কী ধরনের শিক্ষা থাকা উচিত, তাদের কী কী দক্ষতা বিকাশ করতে হবে এবং কীভাবে বাজার কাজ করে সে সম্পর্কে কথা বলব।

নেটোলজির সম্পাদকদের কাছ থেকে

আপনি যদি ডেটা ইঞ্জিনিয়ার বা ডেটা সায়েন্টিস্টের পেশার দিকে তাকিয়ে থাকেন তবে আমরা আপনাকে আমাদের কোর্স প্রোগ্রামগুলি অধ্যয়নের জন্য আমন্ত্রণ জানাই:

• পেশা "ডেটা ইঞ্জিনিয়ার».  
• পেশা "ডেটা সায়েন্টিস্ট».

উত্স: www.habr.com